WO2018070727A1 - 외부 전자 장치와 통신 방법 및 이를 지원하는 전자 장치 - Google Patents

외부 전자 장치와 통신 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2018070727A1
WO2018070727A1 PCT/KR2017/010982 KR2017010982W WO2018070727A1 WO 2018070727 A1 WO2018070727 A1 WO 2018070727A1 KR 2017010982 W KR2017010982 W KR 2017010982W WO 2018070727 A1 WO2018070727 A1 WO 2018070727A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
data
display
group
external electronic
Prior art date
Application number
PCT/KR2017/010982
Other languages
English (en)
French (fr)
Inventor
최용하
김태형
이상헌
박지윤
염동현
이정은
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/338,805 priority Critical patent/US20200053417A1/en
Publication of WO2018070727A1 publication Critical patent/WO2018070727A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Definitions

  • Various embodiments of the present disclosure relate to a method of transmitting / receiving data by an miracast communication method with an external electronic device and an electronic device supporting the same.
  • Electronic devices such as smartphones and tablet PCs may perform various functions such as wireless data communication, video playback, and Internet search.
  • the electronic device may establish a communication channel with surrounding electronic devices and transmit and receive data.
  • the Miracast communication method may be a method in which a source device for transmitting content forms a direct communication channel with a sink device for receiving content and is connected thereto.
  • the content output from the display of the source device may be mirrored and output in real time to the display of the surrounding sink device.
  • a signal related to the input may be transmitted to the source device and executed in the source device.
  • the source apparatus may provide a control image corresponding to a hardware button to the sink apparatus when mirroring a screen by a Miracast technique.
  • the sink device may output the control image to a portion of the display.
  • the sink device may transmit information about the received user input to the source device to be processed.
  • the source device operates in a manner of packetizing and processing the control image together with the video image.
  • signal transmission may be delayed due to buffering or the like.
  • the control image is simultaneously output on the display of the source device, which may be inconvenient for the user.
  • An electronic device may include a display, a memory, a communication module capable of transmitting and receiving data with an external electronic device, a processor electrically connected to the memory, the display, and the communication module.
  • the processor forms a miracast channel with the external electronic device through the communication module, packetizes first data including video data or audio data into a first group, and then, in the external electronic device, Packetizing second data including control image data output to receive a user input into a second group that is separated from the first group, and packetizing the first group of packets according to a first communication protocol And transmit the packet of the second group to the external electronic device according to a second communication protocol.
  • a communication method and an electronic device supporting the same may packetize data constituting a control image to be output from the sink device separately from video data or audio data.
  • a communication method and an electronic device supporting the same may transmit data regarding a control image to be output from the sink device to the sink device through a communication protocol different from video data or audio data.
  • a communication method and an electronic device supporting the same may quickly transmit data constituting a control image to be output from the sink device to the sink device, and may quickly respond to a user input.
  • FIG. 1 is a view illustrating a connection between an electronic device and an external electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a flowchart illustrating a communication method using a Miracast method performed in a source device according to various embodiments of the present disclosure.
  • FIG. 3 is a flowchart illustrating a communication method using a Miracast method performed in a sink device according to various embodiments of the present disclosure.
  • FIG. 4 illustrates an example of screen mirroring between a source device and a sink device according to various embodiments of the present disclosure.
  • FIG. 5 is a block diagram of a source device according to various embodiments of the present disclosure.
  • FIG. 6 is a block diagram of a sink device according to various embodiments of the present disclosure.
  • FIG. 7 is a signal flow diagram of transferring a user input in a sink device according to various embodiments of the present disclosure.
  • FIG. 8 is a signal flowchart illustrating a negotiation process in a Miracast communication according to various embodiments of the present disclosure.
  • FIG. 9 is a first exemplary diagram illustrating transmission of a video image and a control image according to the shape of a sink device according to various embodiments of the present disclosure.
  • FIG. 10 is a second exemplary view illustrating transmission of a video image and a control image according to the shape of a sink device according to various embodiments of the present disclosure.
  • FIG. 11 is a third exemplary view illustrating transmission of a video image and a control image according to the form of a sink apparatus according to various embodiments of the present disclosure.
  • FIG. 12 illustrates an electronic device in a network environment.
  • FIG. 13 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 14 is a block diagram of a program module according to various embodiments of the present disclosure.
  • expressions such as “have”, “may have”, “include”, or “may contain” include the presence of a corresponding feature (e.g., numerical, functional, operational, or component such as a component). Does not exclude the presence of additional features.
  • expressions such as “A or B”, “at least one of A or / and B”, or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” as used herein may modify various components, regardless of order and / or importance, and may modify one component to another. It is used to distinguish a component and does not limit the components.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be called a second component, and similarly, the second component may be renamed to the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • the expression “configured to” used in this document is, for example, “suitable for”, “having the capacity to” depending on the situation. It may be used interchangeably with “designed to”, “adapted to”, “made to”, or “capable of”.
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • An electronic device may include, for example, a smartphone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, Desktop personal computer (PC), laptop personal computer (PC), netbook computer, workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MP3 player, mobile medical It may include at least one of a device, a camera, or a wearable device.
  • a wearable device may be an accessory type (eg, a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD)), a fabric, or a clothing type (for example, it may include at least one of an electronic garment, a body attachment type (eg, a skin pad or a tattoo), or a living implantable type (eg, an implantable circuit).
  • HMD head-mounted-device
  • the electronic device may be a home appliance.
  • Home appliances are, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwaves, washing machines, air purifiers, set-top boxes, home automation controls Panel (home automation control panel), security control panel, TV box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ), game console (e.g. Xbox TM , PlayStation TM ), electronic dictionary It may include at least one of an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Such as computed tomography (CT), imaging or ultrasound, navigation devices, satellite navigation systems (global navigation satellite systems), event data recorders (EDRs), flight data recorders (FDRs), and automotive infotainment ) Devices, ship electronics (e.g., ship navigation devices, gyro compasses, etc.), avionics 101 (avionics), security devices, vehicle head units, industrial or household robots, automatic teller's at financial institutions machine, point of sales (POS), or Internet of things (e.g., light bulbs, sensors, electricity or gas meters, sprinkler devices, smoke alarms, thermostats, street lights) , Toaster, exercise equipment, hot water tank, heater, boiler, and the like.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, or body
  • an electronic device may be a furniture or part of a building / structure, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measuring instrument).
  • the electronic device may be one or a combination of the aforementioned various devices.
  • An electronic device according to an embodiment may be a flexible electronic device.
  • the electronic device according to an embodiment of the present disclosure is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a view illustrating a connection between an electronic device and an external electronic device according to various embodiments of the present disclosure.
  • the first electronic device 101 may form a wireless channel 150 with the second electronic device 102 and transmit and receive data.
  • the first electronic device 101 may be connected to the second electronic device 102 through miracast communication.
  • Content such as an image or text output through the display 110 of the first electronic device 101 may be output to the display of the second electronic device 102 in real time (or within a specified time difference).
  • Miracast uses video and audio content from the first electronic device 101 (e.g. tablet, smartphone, etc.) to the second electronic device 102 (e.g., without the use of cables (e.g., HDMI cable, USB cable, etc.).
  • Miracast technology can share content by simplifying the process of establishing a direct high speed wireless connection between two electronic devices.
  • the first electronic device 101 may transmit a unicast, multicast signal, or broadcast signal to an electronic device in a specified range, so as to confirm a response of the peripheral electronic device.
  • the first electronic device 101 may form a communication channel 150 through an identification process or an authentication process.
  • Miracast connections may be established via Wi-Fi Direct, which provides a direct peer-to-peer Wi-Fi connection without the need for intermediate network components (e.g. servers, wireless access points, etc.).
  • Wi-Fi Direct provides a direct peer-to-peer Wi-Fi connection without the need for intermediate network components (e.g. servers, wireless access points, etc.).
  • the first electronic device 101 uses a Miracast technology to display content (eg, a YouTube video stream) output on the display 110 of a TV 102a having a Wi-Fi communication module nearby. You can output the same on the display.
  • Miracast protocols or standards are advantageous for the communication of large amounts of information (eg, compressed video files), operate over Wi-Fi communication links, and can support unidirectional (or forward only) communication.
  • One of the electronic devices communicating with the Miracast scheme may be a source device that provides content, and the other may be a sink device that receives content.
  • the first electronic device 101 is a source device and the second electronic device 102 is a sink device, but the present invention is not limited thereto.
  • the first electronic device 101 may additionally output additional data (hereinafter, referred to as main content) that is output through the display 110 (or a speaker (not shown)).
  • main content additional data
  • Sub content to the second electronic device 102.
  • the sub content may be a control image for allowing a user to control an application executed in the first electronic device 101.
  • the hardware button 111 mounted on the first electronic device 101 (for example, a physical button, Alternatively, the sub content for the same function as the manipulation of the touch button may be transmitted to the second electronic device 102.
  • the second electronic device 102 may generate a control image based on the sub content and output the generated control image together with the main content.
  • the second electronic device 102 may transmit execution information according to the user input to the first electronic device 101.
  • the first electronic device 101 may execute the same function (or task) as the execution of the hardware button 111 based on the received execution information. For example, when the user touches the control image corresponding to the home button on the second electronic device 102, the first electronic device 101 has the same function as the home button is pressed (for example, moves to the home screen). You can run
  • the sub content may be packetized separately from the main content.
  • the sub content may be transmitted based on a communication method (or communication protocol) different from the main content. Additional information regarding the transmission method of the main content and the sub content may be provided through FIGS. 2A to 6.
  • FIG. 2 is a flowchart illustrating a communication method using a Miracast method performed in a source device according to various embodiments of the present disclosure.
  • the first electronic device 101 may be wirelessly connected to the second electronic device 102 (sink device) according to a Miracast scheme.
  • the first electronic device 101 may transmit one of anycast, unicast, multicast signal, or broadcast signal to the second electronic device 102.
  • the first electronic device 101 may perform an identification process or an authentication process (for example, input of an authentication number or input of a password).
  • the first electronic device 101 may identify a format, a protocol, and the like supported by the second electronic device 102.
  • the first electronic device 101 may transmit main content (eg, video data, audio data) or sub content (eg, control image data) according to a format or protocol supported by the second electronic device 102. .
  • the first electronic device 101 may packetize first data about main content including video data or audio data into a first group.
  • the first electronic device 101 may packetize the first data on the main content into a packetized elementary stream (hereinafter referred to as PES) according to a moving picture experts group 2 (MPEG 2). Can be.
  • PES packetized elementary stream
  • MPEG 2 moving picture experts group 2
  • the first electronic device 101 may packetize the second data about the sub content including the control image data output to receive the user input into a second group.
  • the first electronic device 101 may packetize the second data about the sub content into a separate packet from the first data about the main content.
  • the first electronic device 101 may packetize the second data regarding the sub content into a packetized elementary stream (PES) according to MPEG 2.
  • PES packetized elementary stream
  • operations 220 and 230 may be exchanged with each other or performed simultaneously.
  • the first electronic device 101 may transmit a packet of the first group to the external electronic device 102 according to the first communication protocol.
  • the first electronic device 101 may transmit the packet of the first group to the second electronic device 102 according to a Transmission Control Protocol (TCP) that guarantees the reliability of data transmission and reception.
  • TCP Transmission Control Protocol
  • the first electronic device 101 may transmit a packet of the second group to the external electronic device 102 according to the second communication protocol.
  • the first electronic device 101 may transmit data of the second group to the second electronic device 102 according to a User Datagram Protocol (UDP).
  • UDP User Datagram Protocol
  • the data of the packet of the second group is not guaranteed for transmission, but can be transmitted at a relatively high speed.
  • operations 240 and 250 may be exchanged with each other or performed simultaneously.
  • a method of forming a channel according to a miracast method with an external electronic device packetizing first data including video data or audio data into a first group, and the external Packetizing second data including control image data output to receive a user input from the electronic device into a second group separated from the first group, and packetizing the first group of packets according to a first communication protocol Transmitting to the external electronic device and transmitting the packet of the second group to the external electronic device according to a second communication protocol.
  • the packetizing of the first data may include extracting media data stored in a graphics RAM included in a display driving circuit driving a display of the electronic device.
  • the packetizing of the first data may include extracting at least a portion of a media file stored in a memory of the electronic device as video data or audio data.
  • FIG. 3 is a flowchart illustrating a communication method using a Miracast method performed in a sink device according to various embodiments of the present disclosure.
  • the second electronic device 102 may be wirelessly connected to the first electronic device 101 (source device) according to a Miracast scheme. For example, when the second electronic device 102 receives one of the unicast, multicast signal, or broadcast signal from the first electronic device 101, the second electronic device 102 transmits a response signal to the first electronic device 101. can do.
  • the second electronic device 102 may wait in a state in which data can be received from the first electronic device 101 through an identification process or an authentication process (for example, an authentication number input or a password input).
  • the second electronic device 102 may receive a packet of a first group for main content including video data or audio data.
  • the first group of packets for the main content may be PES according to MPEG 2.
  • the second electronic device 102 may depacketize the packet of the first group to configure video data or audio data.
  • the second electronic device 102 may receive a second group of packets regarding the sub content including the control image data output to receive a user input.
  • the second group of packets for the sub content may be PES according to MPEG 2.
  • the second electronic device 102 may depacketize the packets of the second group to form a control image.
  • operations 280 and 285 may be exchanged with each other or performed simultaneously with operations 270 and 275.
  • the second electronic device 102 may output the main content and the sub content.
  • the second electronic device 102 may output main content based on video data or audio data through a display or a speaker.
  • the second electronic device 102 may output the control image along with the video image to the display.
  • the second electronic device 102 may transmit a corresponding signal to the first electronic device 101.
  • 4 illustrates an example of screen mirroring between a source device and a sink device according to various embodiments of the present disclosure. 4 is illustrative and is not limited thereto.
  • the first electronic device 101 may operate as a source device providing main content based on video data or audio data, and the second electronic device 102 may output a received main content.
  • the second electronic device 102 may output the same image as the home screen output on the display 110 of the first electronic device 101 to at least a portion 120a of the display 120.
  • 4 exemplarily illustrates a case in which the main content is output on a part of the display 120, but is not limited thereto.
  • the main content may be output on the full screen of the display 120 of the second electronic device 102.
  • the first electronic device 101 may transmit data 111a related to a control image output to receive a user input.
  • the data 111a related to the control image may be the same as the operation of the hardware button 111 (for example, a physical button or a touch button) mounted on the first electronic device 101.
  • the image may be output to the display 120 of the.
  • the first electronic device 101 stores the data 111a about the control image in a second group separate from the first group in which video data (eg, the image 120a) or audio data is packetized. It can be packetized. Packets of the first group and packets of the second group may be independently transmitted to the second electronic device 102. According to various embodiments of the present disclosure, the first group of packets may be transmitted through a protocol in which reliability of data transmission is guaranteed according to TCP, and the second group of packets may be transmitted through a protocol having a relatively high data transmission rate according to UDP. Can be sent.
  • a first group in which video data (eg, image 120a) or audio data is packetized and a second group in which data 111a regarding control image is packetized have different communication priorities.
  • packets of the second group may have a higher communication priority than packets of the first group.
  • the electronic device 101 may preferentially transmit the packet of the second group to the first electronic device 102 according to the communication environment. In this case, the packet associated with the control image may be transmitted first and processed.
  • packets of the first group may have a higher communication priority than packets of the second group.
  • the electronic device 101 may preferentially transmit a packet of a first group to the first electronic device 102 according to a communication environment. In this case, the packet associated with the background image may first be transmitted and processed.
  • the data 111a related to the control image may be displayed by the control button 121 on the display 120 of the second electronic device 102.
  • FIG. 4 a case in which the control button 121 is output at the bottom of the image 120a related to the main content is illustrated as an example, but is not limited thereto.
  • the data 111a related to the control image may include information about an output position, an output size, direction information, rotation information, and the like of the control button 121.
  • the second electronic device 102 may transmit a corresponding signal to the first electronic device 101.
  • the second electronic device 102 may form a reverse channel called a user input back channel (UIBC) with the first electronic device 101.
  • UIBC user input back channel
  • each button included in the control button 121 may be mapped to different codes.
  • the second electronic device 102 may transmit a code corresponding to the back button to the first electronic device 101 through the UIBC.
  • the first electronic device 101 may execute the same function (for example, undoing, ending an app, a previous screen, etc.) when the back button is touched among the hardware buttons 111 of the first electronic device 101.
  • FIG. 5 is a block diagram of a source device according to various embodiments of the present disclosure.
  • the configuration for data transmission of the Miracast method is illustrated, but the present invention is not limited thereto, and some configurations may be omitted or added.
  • the source device 401 may include a storage unit 410, an encoding unit 415, a packetizer 420, a multiplexer 430, a transmitter 440, and a modem 450. have.
  • the components of the source device 401 may include one or more microprocessors, digital signal processors (DSPs), application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), discrete logic, software, hardware, firmware or theirs. It can be implemented in various circuit elements such as any combinations.
  • the storage unit 410 may store the video data 411, the audio data 412, and the control image data 413.
  • storage 410 may include random access memory (RAM), such as synchronous dynamic random access memory (SDRAM), read-only memory (ROM), non-volatile random access memory (NVRAM), and electrically erasable.
  • RAM random access memory
  • SDRAM synchronous dynamic random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • EEPROM Electrically erasable.
  • FLASH memory and the like.
  • the storage unit 410 may store the entire media data file, or may include a frame buffer that stores a portion of the streamed media data file.
  • the video data 411 and the audio data 412 may be media files stored in the form of a file.
  • storage 410 is a frame buffer that stores a portion of a streamed media data file
  • video data 411, and audio data 412 are displayed (not shown) of source device 401. It may be image or sound data in units of frames output through the.
  • the control image data 413 may store various types of control buttons to be displayed on the display of the sink device. According to various embodiments of the present disclosure, data related to the control image data 413 may be packetized independently of the video data 411 and the audio data 412.
  • the encoding unit 415 may obtain video data and audio data from the storage unit 410, and may encode the video data, the audio data, and the control image data in a designated format.
  • the video encoder 415a is an ITU-T H.261, an ISO / IEC MPEG-1 Visual, an ITU-T H.262 or an ISO / IEC MPEG-2 Visual, an ITU-T H.263, an ISO / IEC MPEG-4 Video can be encoded according to any number of video compression standards such as Visual, ITU-T H.264 (also known as ISO / IEC MPEG-4 AVC), VP8, and High Efficiency Video Coding (HEVC).
  • video encoder 415a may compress video data 411 using a lossless or lossy compression technique.
  • the audio encoder 415b may obtain the audio data 412 from the storage 410 and encode the audio data 412 in a designated format.
  • Audio data 412 may be coded using multi-channel formats such as Digital (AC-3) or Digital Theater System (DTS).
  • Audio data 412 may be coded using a compressed or uncompressed format. Examples of compressed audio formats may include MPEG-1, two audio layers II and III, AC-3, AAC, and an example of an uncompressed audio format includes a pulse-code modulation (PCM) audio format. can do.
  • PCM pulse-code modulation
  • the control image encoder 415c may obtain the control image data 413 from the storage 410 and encode the control image data 413 in a designated format.
  • the packetizer 420 includes a first packetization module 421 for packetizing the video data 411 and the audio data 412, and a second packetization module 422 for packetizing the control image data 413. can do.
  • the first packetization module 421 may packetize the encoded video data and the audio data into a first group.
  • the first packetization module 421 may packetize the encoded video data and audio data, as defined in accordance with MPEG-2 Part 1.
  • the first packetization module 421 may include a video packetization module 421a and an audio packetization module 421b.
  • the video packetization module 421a may packetize the encoded video data
  • the audio packetization module 421b may packetize the encoded audio data.
  • the second packetization module 422 may packetize the control image data 413 into a second group.
  • the second packetization module 422 may operate independently of the first packetization module 421, and the control image data 413 may be packetized separately from the video data and audio data included in the first group. have.
  • the multiplexer 430 may include a first combiner 431 for processing a packet of a first group and a second combiner 432 for processing a packet of a second group.
  • the first combiner 431 may apply multiplexing techniques to combine the video payload data and the audio payload data.
  • the first combiner 431 is an MPEG2 transport stream defined according to MPEG-2 Part 1, and may encapsulate packetized video data and audio data.
  • the first combiner 431 may provide error correction techniques as well as synchronization for audio and video packets.
  • the second combiner 432 may process packets of the second group.
  • the second combiner 432 is an MPEG2 transport stream defined according to MPEG-2 Part 1, and may encapsulate the packetized control image data.
  • the transmitter 440 may include a first transmission module 441 for processing a packet of a first group and a second transmission module 442 for processing a packet of a second group.
  • the first transmission module 441 can process the media data for transmission to the sink device.
  • the first transmission module 441 may be configured to communicate using one of IP, TCP, UDP, RTP, or RSTP.
  • the second transmission module 442 can process the control image data for transmission to the sink device.
  • the second transmission module 442 may be configured to communicate using UDP.
  • an encryption module may be included between the transmitter 440 and the modem 450.
  • the encryption module may write a special digital mark on the transport packet for copyright protection of the image.
  • the data encryption module may be High-bandwidth Digital Content Protection (HDCP).
  • HDCP High-bandwidth Digital Content Protection
  • Modem 450 may perform physical and MAC layer processing.
  • the modem 450 may perform physical layer and MAC layer processing on the physical and MAC layers defined by the Wi-Fi (eg, IEEE 802.11x) standard, as provided by the WFD. Can be configured.
  • modem 450 may be configured to perform physical layer and MAC layer processing on one of WirelessHD, WiMedia, Wireless Home Digital Interface (WHDI), WiGig, and Wireless USB.
  • Wi-Fi eg, IEEE 802.11x
  • WFD Wireless Fidelity
  • FIG. 6 is a block diagram of a sink device according to various embodiments of the present disclosure.
  • the configuration for receiving the Miracast data is mainly illustrated, but is not limited thereto. Some components may be omitted or added.
  • the sink device 501 may include a modem 505, a transmitter 510, a demultiplexer 520, a depacketizer 525, a decoder 530, a processor 540, and a display ( 550 and a speaker 560.
  • Each of the components of the sink device 501 may include one or more microprocessors, digital signal processors (DSPs), application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), discrete logic, software, hardware, firmware or It can be implemented in various circuit elements such as any combination thereof.
  • DSPs digital signal processors
  • ASICs application specific integrated circuits
  • FPGAs field programmable gate arrays
  • the modem 505 may perform physical and MAC layer processing.
  • the modem 505 may perform physical layer and MAC layer processing on the physical and MAC layers defined by the Wi-Fi (eg, IEEE 802.11x) standard, as provided by WFD. Can be configured.
  • modem 450 may be configured to perform physical layer and MAC layer processing on one of WirelessHD, WiMedia, Wireless Home Digital Interface (WHDI), WiGig, and Wireless USB.
  • the transmitter 510 may include a first transmission module 511 for processing media data received from the source device 401, and a second transmission module 512 for processing data for a control image.
  • the first transmission module 511 may process the feedback packets for transmission to the source device 401.
  • the first transmission module 511 may be configured to communicate using IP, TCP, UDP, RTP, and RSTP.
  • the second transmission module 512 may process the second group of packets.
  • the first transmission module 511 may be configured to communicate using UDP.
  • the demultiplexer 520 may include a first demultiplexer 521 for processing packets of the first group and a second demultiplexer 522 for processing packets of the second group.
  • the first demultiplexer 521 can apply de-multiplexing techniques to separate video payload data and audio payload data from the data stream.
  • the first demultiplexer 521 may separate the packetized video stream and the audio stream of the MPEG2 transport stream defined according to MPEG-2 Part 1.
  • the second demultiplexer 522 may process a second group of packets including the control image data.
  • the depacketizer 525 and the decoder 530 reversely perform the operations performed by the packetizer 420 and the encoder 415 in FIG. 5 to extract video data, audio data, and control image data. Can be.
  • the depacketizer 525 may include a first inverse packetization module 526 and a second inverse packetization module 527.
  • the decoding unit 530 may include a video decoder 531, an audio decoder 532, and a control image decoder 533.
  • the video combiner 535 may combine the video data decoded through the video decoder 531 and the control image data decoded through the control image decoder 531.
  • the video combiner 535 may allow a part of the video data to be replaced with the control image data, or a part of the video data may be overlaid and output.
  • the video combiner 535 may provide the combined video data to the video processor 541.
  • the processor 540 may generate a sound or an image based on the extracted video data, audio data, and control image data, and output the sound or image through the speaker 540 or the display 550.
  • the video processor 541 may receive the combined video data from the video combiner 535.
  • the video processor 541 may obtain captured video frames from the combined video data and may process the video data for output on the display 550.
  • the display 550 may be various display devices such as a liquid crystal display (LCD), a plasma display, an organic light emitting diode (OLED) display, and the like.
  • LCD liquid crystal display
  • plasma display a plasma display
  • OLED organic light emitting diode
  • the audio processor 542 may obtain audio data from the audio decoder 532 and process the audio data for output to the speaker 560.
  • Speaker 560 may be various audio output devices, such as headphones, single-speaker system, multi-speaker system, or surround sound system.
  • FIG. 7 is a signal flowchart illustrating a user's input in a sink device according to various embodiments of the present disclosure.
  • the source device 601 and the sink device 602 may be wirelessly connected according to a Miracast scheme.
  • the source device 601 may transmit the main content and the sub content to the sink device 602.
  • the source device 601 may packetize the first data related to the main content including the video data or the audio data into a first group, and transmit the packet to the sink device 602.
  • the source device 601 may packetize the second data about the sub content including the control image data into the second group and transmit the packetized data to the sink device 602.
  • the sink device 602 may detect a user's input generated in the control image. For example, when the user touches a button included in the control image, the sink device 602 may check a code mapped to the touched button.
  • the sink device 602 may transmit a signal corresponding to the corresponding button to the source device 601 through the UIBC.
  • the sink device 602 may transmit the code mapped to the button touched by the user to the source device 601.
  • the sink device 602 may transmit a coordinate value in a coordinate system in which a touch signal for a button touched by a user is negotiated to the source device 601 through UIBC.
  • the negotiation process may be a process of checking a configuration or an output method between devices before transmitting video data according to Miracast communication.
  • the source device 601 calculates a corresponding point in the coordinate system of the image (portrait mode or landscape mode) transmitting the coordinate value received from the sink device 602 to the sink device 602, and touches at the corresponding point. You can execute the action.
  • the source device 601 may be a smartphone operating in the portrait mode
  • the sink device 602 may be a TV device output in the landscape mode.
  • the source device 601 and the sink device 602 may be wirelessly connected according to a Miracast method to perform a screen mirroring operation.
  • a user's touch input eg, touch input
  • the touched coordinates may be converted into coordinate values in the negotiated coordinate system and transmitted to the source device 601.
  • the source device 601 may convert the received coordinate value into corresponding coordinates in the virtual display of the landscape mode, not the portrait mode which is the current output method.
  • the source device 601 executes a touch operation at a corresponding point (for example, when a back key is disposed at the corresponding point, and the source device 601 is touched when a back key is touched). The same operation as can be performed).
  • the sink device 602 may transmit a signal corresponding to the user input to the source device 601 using the same communication protocol as the control protocol in which the control image data is transmitted.
  • the source device 601 may perform a designated function based on a signal corresponding to a user input. For example, when the user executes the back button among the control images, functions such as undoing, exiting the app, or the previous screen may be executed.
  • FIG. 8 is a signal flowchart illustrating a negotiation process in a Miracast communication according to various embodiments of the present disclosure.
  • the source device 601 and the sink device 602 may start a negotiation process in a Miracast communication.
  • the negotiation process may be a process of checking a configuration or an output method between devices before transmitting video data according to Miracast communication.
  • the source device 601 may transmit, to the sink device 602, a request signal (eg, an RSTP message) for confirming whether transmission of the sub content by the second communication protocol is possible.
  • a request signal eg, an RSTP message
  • the sink device 602 may transmit a response signal (eg, an RSTP message) to the source device 601 when it is possible to receive the sub content by the second communication protocol.
  • a response signal eg, an RSTP message
  • the response signal may include information about display information (eg, resolution, display size, display ratio, display direction, etc.) of the sink device 602.
  • the source device 601 may set video data or control image data to be transmitted using Miracast communication using the display information of the sink device 602.
  • the source device 601 eg smartphone in portrait mode and the sink device 602 (eg TV) in landscape mode
  • the source device 601 is provided by the sink device 602.
  • a transmission range and a transmission size of video data may be determined based on display direction information or resolution information included in one display information.
  • the source device 601 may generate a control image (or user interface) suitable for the landscape mode through the virtual display.
  • the source device 601 e.g. smartphone
  • the sink device 602 e.g. TV
  • the source device 601 is in a direct stream.
  • the video data may be transmitted to the sink device 602 by the scheme.
  • the source device 601 transmits video data to the sink device 602 in a direct stream, and generates a separate user interface in a landscape mode suitable for the sink device 602 through a virtual display, so that the sink device 602 can receive the video data. Can be delivered to.
  • the source device 601 and the sink device 602 may terminate the negotiation process.
  • the sink device 602 may check whether the display information is changed and transmit the changed display information to the source device 601. For example, when the display direction of the sink device 602 is changed from the portrait mode to the landscape mode, the sink device 602 may transmit an RTSP message including information about the landscape mode to the source device 601.
  • FIG. 9 is a first exemplary diagram illustrating transmission of a video image and a control image according to the shape of a sink device according to various embodiments of the present disclosure.
  • the source device 601 may be wirelessly connected to the sink device 602a according to a Miracast scheme.
  • the video image 660 and the control image 670 may be output to the display of the source device 601.
  • Source device 601 transmits video image 660 over a first channel 681 using a first communication protocol, and transmits control image 670 over a second channel 682 using a second communication protocol.
  • the first communication protocol may be TCP
  • the second communication protocol may be UDP.
  • the source device 601 may transmit a transmission video image 661 in which all or part of the video image 660 is modified through the first channel 681.
  • the first channel 681 may be a channel using the video encoder 415a, the first packetization module 421, the first combiner 431, and the first transmission module 441 in FIG. 5.
  • the source device 601 may generate the transmission video image 661 by reflecting display information (eg, display direction (eg, landscape) or resolution) of the sink device 602a. In various embodiments, the display information of the sink device 602a may be exchanged during the negotiation process in FIG. 7.
  • the source device 601 may transmit a control image 671 for transmission in which the control image 670 is transformed through the second channel 682.
  • the second channel 682 may be a channel using the control image encoder 415c, the second packetization module 422, the second combiner 432, and the second transmission module 442 in FIG. 5.
  • the source device 601 may generate the control image 671 for transmission by reflecting display information (eg, display direction (eg, landscape) or resolution) of the sink device 602a.
  • the transmission control image 671 may be an image in which the output size, button position, etc. are changed in the control image 670.
  • the source device 602a may receive the transmission video image 661 and the transmission control image 671, respectively.
  • the source device 602a may output a screen based on the transmission video image 661 and the transmission control image 671.
  • FIG. 10 is a second exemplary view illustrating transmission of a video image and a control image according to the shape of a sink device according to various embodiments of the present disclosure.
  • the source device 601 may be wirelessly connected to the sink device 602b according to a Miracast scheme.
  • the video image 660 and the control image 670 may be output to the display of the source device 601.
  • the source device 601 may transmit the transmission video image 662 obtained by transforming the video image 660 through the first channel 681. Unlike FIG. 9, the source device 601 and the sink device 602b may have the same display direction (eg, portrait mode), but may have different total sizes, vertical / left / right ratios, and the like of the display. The source device 601 may generate the transmission video image 662 by reflecting display information (eg, resolution or overall size) of the sink device 602.
  • display information eg, resolution or overall size
  • the source device 601 may transmit a control image 672 for transmitting the control image 670 through the second channel 682.
  • the source device 601 may generate the control image 672 for transmission by reflecting the display information (eg, the overall size of the display, the top / bottom / left / right ratio, etc.) of the sink device 602a.
  • the source device 602 may receive the transmission video image 662 and the transmission control image 672, respectively.
  • the source device 602 may output a screen based on the transmission video image 662 and the transmission control image 672.
  • FIG. 11 is a third exemplary view illustrating transmission of a video image and a control image according to the form of a sink apparatus according to various embodiments of the present disclosure.
  • the source device 601 may be wirelessly connected to the sink device 602c according to a Miracast scheme.
  • the video image 660 and the control image 670 may be output to the display of the source device 601.
  • the source device 601 may transmit a transmission video image 663 that is modified from the video image 660 through the first channel 681. Unlike FIG. 9 or FIG. 10, the source device 601 may reflect the control image 670 to generate a transmission video image 663. For example, the source device 601 may reflect display information (eg, resolution or full size) of the sink device 602 to the video image 660 and the control image 670, respectively. The source device 601 may combine the video image 660 reflecting the display information of the sink device 602 and the control image 670 into one packet. The source device 602 may output a screen based on the transmission video image 663.
  • display information eg, resolution or full size
  • the electronic device 701 may include a bus 710, a processor 720, a memory 730, an input / output interface 750, a display 760, and a communication interface 770.
  • the electronic device 701 may omit at least one of the components or additionally include other components.
  • the bus 710 may include circuitry that connects the components 710-770 to each other and transfers communication (eg, control messages or data) between the components.
  • the processor 720 may include one or more of a central processing unit, an application processor, or a communication processor (CP).
  • the processor 720 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 701.
  • the memory 730 may include volatile and / or nonvolatile memory.
  • the memory 730 may store, for example, commands or data related to at least one other element of the electronic device 701.
  • the memory 730 may store software and / or a program 740.
  • the program 740 may include, for example, a kernel 741, middleware 743, an application programming interface (API) 745, and / or an application program (or “application”) 747, or the like.
  • API application programming interface
  • At least a portion of kernel 741, middleware 743, or API 745 may be referred to as an operating system.
  • the kernel 741 is, for example, system resources used to execute an action or function implemented in other programs (eg, middleware 743, API 745, or application program 747) (eg, The bus 710, the processor 720, or the memory 730 may be controlled or managed.
  • the kernel 741 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 701 from the middleware 743, the API 745, or the application program 747. Can be.
  • the middleware 743 may serve as an intermediary for allowing the API 745 or the application program 747 to communicate with the kernel 741 to exchange data.
  • the middleware 743 may process one or more work requests received from the application program 747 according to priority.
  • the middleware 743 may use system resources (eg, the bus 710, the processor 720, or the memory 730) of the electronic device 701 for at least one of the application programs 747. Prioritize and process the one or more work requests.
  • the API 745 is an interface for the application 747 to control functions provided by the kernel 741 or the middleware 743.
  • the API 745 may include at least a file control, window control, image processing, or character control. It can contain one interface or function (eg command).
  • the input / output interface 750 may transmit, for example, a command or data input from a user or another external device to other component (s) of the electronic device 701, or other component (s) of the electronic device 701. Commands or data received from the device) can be output to the user or other external device.
  • Display 760 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display, or an electronic paper display. It may include.
  • the display 760 may display, for example, various contents (eg, text, images, videos, icons, and / or symbols, etc.) to the user.
  • the display 760 may include a touch screen, and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 770 may communicate communication between the electronic device 701 and an external electronic device (eg, the first external electronic device 702, the second external electronic device 704, or the server 706). Can be set.
  • the communication interface 770 may be connected to the network 762 through wireless or wired communication to communicate with an external electronic device (eg, the second external electronic device 704 or the server 706).
  • the wireless communication may be, for example, LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), or global network (GSM).
  • LTE Long Term Evolution
  • LTE-A LTE Advance
  • CDMA code division multiple access
  • WCDMA wideband CDMA
  • UMTS universal mobile telecommunications system
  • WiBro wireless broadband
  • GSM global network
  • the wireless communication may include, for example, wireless fidelity (WiFi), Bluetooth, Bluetooth low power (BLE), Zigbee, near field communication (NFC), magnetic secure transmission, and radio. It may include at least one of a frequency (RF) or a body area network (BAN).
  • GNSS GNSS.
  • the GNSS may be, for example, a Global Positioning System (GPS), a Global Navigation Satellite System (Glonass), a Beidou Navigation Satellite System (hereinafter referred to as “Beidou”) or Galileo, the European global satellite-based navigation system.
  • GPS Global Positioning System
  • Glonass Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a standard standard232 (RS-232), a power line communication, a plain old telephone service (POTS), and the like.
  • the network 762 may comprise at least one of a telecommunications network, eg, a computer network (eg, LAN or WAN), the Internet, or a telephone network.
  • Each of the first and second external electronic devices 702 and 704 may be the same or different type of device as the electronic device 701. According to various embodiments of the present disclosure, all or part of operations executed in the electronic device 701 may be executed in another or a plurality of electronic devices (for example, the electronic devices 702 and 704 or the server 706.) According to this, when the electronic device 701 needs to perform a function or service automatically or by request, the electronic device 701 may instead execute or execute the function or service by itself or at least some function associated with it.
  • the other electronic device may request the requested function or The additional function may be executed and the result may be transferred to the electronic device 701.
  • the electronic device 701 may provide the requested function or service by processing the received result as it is or additionally.
  • Cloud computing distributed computing, or client-server computing technology may be used.
  • FIG. 13 is a block diagram of an electronic device 801 according to various embodiments of the present disclosure.
  • the electronic device 801 may include, for example, all or part of the electronic device 701 illustrated in FIG. 12.
  • the electronic device 801 may include one or more processors (eg, an AP) 88, a communication module 820, a subscriber identification module 824, a memory 830, a sensor module 840, an input device 850, and a display. 860, an interface 870, an audio module 880, a camera module 891, a power management module 895, a battery 896, an indicator 897, and a motor 898.
  • the processor 810 may control a plurality of hardware or software components connected to the processor 810 by running an operating system or an application program, for example, and may perform various data processing and operations.
  • the processor 810 may further include a graphic processing unit (GPU) and / or an image signal processor. 810 may include at least some of the components shown in FIG. 13 (eg, cellular module 821). The processor 810 other components: processing by loading the command or data received from at least one (e.g., non-volatile memory) in the volatile memory) and can store the result data into the nonvolatile memory.
  • a graphic processing unit GPU
  • an image signal processor may include at least some of the components shown in FIG. 13 (eg, cellular module 821).
  • the processor 810 other components: processing by loading the command or data received from at least one (e.g., non-volatile memory) in the volatile memory) and can store the result data into the nonvolatile memory.
  • the communication module 820 may include, for example, a cellular module 821, a WiFi module 823, a Bluetooth module 825, a GNSS module 827, an NFC module 828, and an RF module 829. have.
  • the cellular module 821 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network.
  • the cellular module 821 may perform identification and authentication of the electronic device 801 in a communication network using a subscriber identification module (eg, a SIM card) 824.
  • a subscriber identification module eg, a SIM card
  • the cellular module 821 may perform at least some of the functions that the processor 810 may provide.
  • the cellular module 821 may include a communication processor (CP).
  • CP communication processor
  • at least some (eg, two or more) of the cellular module 821, the WiFi module 823, the Bluetooth module 825, the GNSS module 827, or the NFC module 828 may be one integrated chip. (IC) or in an IC package.
  • the RF module 829 may transmit / receive, for example, a communication signal (eg, an RF signal).
  • the RF module 829 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • at least one of the cellular module 821, the WiFi module 823, the Bluetooth module 825, the GNSS module 827, or the NFC module 828 may transmit and receive an RF signal through a separate RF module.
  • Subscriber identification module 824 may include, for example, a card or embedded SIM that includes a subscriber identification module, and may include unique identification information (such as an integrated circuit card identifier (ICCID)) or subscriber information (such as IMSI). (international mobile subscriber identity)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 830 may include, for example, an internal memory 832 or an external memory 834.
  • the internal memory 832 may be, for example, volatile memory (eg, DRAM, SRAM, or SDRAM), nonvolatile memory (eg, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM). It may include at least one of a flash memory, a hard drive, or a solid state drive (SSD)
  • the external memory 834 may be a flash drive, for example, a compact flash (CF), a secure digital (SD). ), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), memory stick, etc.
  • the external memory 834 may be functionally connected with the electronic device 801 through various interfaces. Or physically connected.
  • the sensor module 840 may measure a physical quantity or detect an operation state of the electronic device 801 to convert the measured or detected information into an electrical signal.
  • the sensor module 840 may include, for example, a gesture sensor 840A, a gyro sensor 840B, an air pressure sensor 840C, a magnetic sensor 840D, an acceleration sensor 840E, a grip sensor 840F, and a proximity sensor ( 840G), color sensor 840H (e.g. red, green, blue) sensor, biometric sensor 840I, temperature / humidity sensor 840J, illuminance sensor 840K, or UV (ultra violet) ) May include at least one of the sensors 840M.
  • the sensor module 840 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electrocardiogram (EEG) sensor, an electrocardiogram (ECG) sensor, Infrared (IR) sensors, iris sensors and / or fingerprint sensors.
  • the sensor module 840 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 801 further includes a processor configured to control the sensor module 840 as part of or separately from the processor 810, while the processor 810 is in a sleep state, The sensor module 840 may be controlled.
  • the input device 850 may include, for example, a touch panel 852, a (digital) pen sensor 854, a key 856, or an ultrasonic input device 858.
  • the touch panel 852 may use, for example, at least one of capacitive, resistive, infrared, or ultrasonic methods.
  • the touch panel 852 may further include a control circuit.
  • the touch panel 852 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 854 may be, for example, part of a touch panel or may include a separate sheet for recognition.
  • the key 856 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 858 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 9) and check data corresponding to the detected ultrasonic waves.
  • Display 860 may include panel 862, hologram device 864, projector 866, and / or control circuitry to control them.
  • the panel 862 may be implemented to be flexible, transparent, or wearable, for example.
  • the panel 862 may be configured with the touch panel 852 and one or more modules.
  • the panel 862 may include a pressure sensor (or force sensor) capable of measuring the intensity of pressure with respect to a user's touch.
  • the pressure sensor may be integrated with the touch panel 852 or may be implemented with one or more sensors separate from the touch panel 852.
  • the hologram device 864 may show a stereoscopic image in the air by using interference of light.
  • the projector 866 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 801.
  • the interface 870 may include, for example, an HDMI 872, a USB 874, an optical interface 876, or a D-subminiature 878.
  • the interface 870 may be included in, for example, the communication interface 170 shown in FIG. 1.
  • the interface 870 may include, for example, a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. have.
  • MHL mobile high-definition link
  • MMC Secure Digital Card
  • IrDA infrared data association
  • the audio module 880 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 880 may be included in, for example, the input / output interface 145 illustrated in FIG. 1.
  • the audio module 880 may process sound information input or output through, for example, a speaker 882, a receiver 884, an earphone 886, a microphone 9, or the like.
  • the camera module 891 may be, for example, a device capable of capturing still images and moving images. According to an embodiment, the camera module 891 may include one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). Or flash (eg, LED or xenon lamp, etc.).
  • ISP image signal processor
  • the power management module 895 may manage power of the electronic device 801, for example.
  • the power management module 895 may include a power management integrated circuit (PMIC), a charger IC, or a battery or a fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 896, the voltage, the current, or the temperature during charging.
  • the battery 896 may include, for example, a rechargeable cell and / or a solar cell.
  • the indicator 897 may display a specific state of the electronic device 801 or a part thereof (for example, the processor 810), for example, a booting state, a message state, or a charging state.
  • the motor 898 may convert electrical signals into mechanical vibrations, and may generate vibrations or haptic effects.
  • the electronic device 801 may be, for example, a mobile TV supporting device capable of processing media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFloTM. GPU).
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • GPU mediaFloTM.
  • Each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device eg, the electronic device 801) may include some components, omit additional components, or combine some of the components to form a single object. It is possible to perform the same function of the previous corresponding components.
  • a first electronic device may include a display, a memory, a communication module capable of transmitting and receiving data with an external electronic device, a processor electrically connected to the memory, the display, and the communication module.
  • Form a miracast channel with the external electronic device through the communication module packetize first data including video data or audio data into a first group, and input a user from the external electronic device.
  • the video data or audio data may be part of media data stored in the graphics RAM included in the display driving circuit for driving the display. In another embodiment, the video data or audio data may be part of media data stored in a file in the memory.
  • control image data may include information regarding the position, size, and type of the control image output on the display of the external electronic device.
  • the control image data may include a timing signal associated with the first data.
  • the first communication protocol may be a different communication protocol from the second communication protocol.
  • the first communication protocol may be Transmission Control Protocol (TCP)
  • the second communication protocol may be User Datagram Protocol (UDP).
  • TCP Transmission Control Protocol
  • UDP User Datagram Protocol
  • the first communication protocol may be a bidirectional communication method between the electronic device and the external electronic device, and the second communication protocol may be a unidirectional communication method in which data is transmitted from the electronic device to the external electronic device.
  • the processor may packetize the first data and the second data into a packetized elementary stream (PES) according to a moving picture experts group 2 (MPEG 2).
  • PES packetized elementary stream
  • MPEG 2 moving picture experts group 2
  • the processor may connect with the external electronic device through a Wi-Fi Direct method through the communication module.
  • the processor may receive display information from the external electronic device and change the video data or the control image data based on the display information.
  • the display information may include at least one of resolution information, orientation information, and top / bottom ratio information of a display mounted on the external electronic device.
  • a second electronic device may perform wireless communication with a first electronic device, and may include a display, a sound output module capable of outputting a sound, a memory, a communication module capable of transmitting and receiving data with an external electronic device, And a processor electrically connected to the memory, the display, and the communication module, wherein the processor forms a miracast channel with the first electronic device through the communication module, Receiving, from the electronic device, a packet of a first group including video data or audio data and a packet of a second group including control image data, extracting the video data or audio data from the packet of the first group, Extracting the control image data from the second group of packets, and extracting the video data In combination with the control image data outputted through the display, and can be output via the audio output module wherein the audio data.
  • the processor may receive the packet of the first group from the first electronic device according to a first communication protocol, and the packet of the second group from the first electronic device according to a second communication protocol. Can be received.
  • the processor when the processor receives a user input on a control image output based on the control image data, the processor transmits a signal corresponding to the user input to the first electronic device according to the second communication protocol. can do.
  • the processor may continuously output a control image output based on the control image data while the main content is output through the display.
  • the processor may limit the output of the control image output based on the control image data to the display according to a specified event.
  • the program module 910 may include an operating system and / or various applications running on the operating system for controlling resources related to the electronic device (eg, the electronic device 101).
  • the application program 147 may be included.
  • the operating system may include, for example, Android TM, iOS TM, Windows TM, Symbian TM, Tizen TM, or Bada TM.
  • the program module 910 may include a kernel 920 (eg, kernel 141), middleware 930 (eg, middleware 743), and an API 960 (eg, API 745).
  • an application 970 eg, an application program 147) At least a portion of the program module 910 may be preloaded on the electronic device or may be an external electronic device (eg, an electronic device ( 702, 704, server 706, and the like.
  • the kernel 920 may include, for example, a system resource manager 921 and / or a device driver 923.
  • the system resource manager 921 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 921 may include a process manager, a memory manager, or a file system manager.
  • the device driver 923 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver. .
  • IPC inter-process communication
  • the middleware 930 may provide various functions through the API 960, for example, to provide functions commonly required by the application 970, or to allow the application 970 to use limited system resources inside the electronic device. May be provided to the application 970.
  • the middleware 930 may include a runtime library 935, an application manager 941, a window manager 942, a multimedia manager 943, a resource manager 944, a power manager 945, and a database manager. 946, a package manager 947, a connection manager 948, a notification manager 949, a location manager 950, a graphic manager 951, or a security manager 952.
  • the runtime library 935 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 970 is running.
  • the runtime library 935 may perform input / output management, memory management, or arithmetic function processing.
  • the application manager 941 may manage, for example, the life cycle of the application 970.
  • the window manager 942 may manage GUI resources used on the screen.
  • the multimedia manager 943 may identify a format necessary for playing the media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 944 may manage space of source code or memory of the application 970.
  • the power manager 945 may manage, for example, the capacity or power of the battery and provide power information necessary for the operation of the electronic device.
  • the power manager 945 may interwork with a basic input / output system (BIOS).
  • the database manager 946 may, for example, create, retrieve, or change a database to be used in the application 970.
  • the package manager 947 may manage installation or update of an application distributed in the form of a package file.
  • the connectivity manager 948 may manage, for example, a wireless connection.
  • the notification manager 949 may provide an event to the user, for example, an arrival message, an appointment, a proximity notification, and the like.
  • the location manager 950 may manage location information of the electronic device, for example.
  • the graphic manager 951 may manage, for example, graphic effects to be provided to a user or a user interface related thereto.
  • the security manager 952 may, for example, provide system security or user authentication.
  • the middleware 930 may include a telephony manager for managing a voice or video call function of the electronic device or a middleware module capable of forming a combination of functions of the above-described components. .
  • the middleware 930 may provide a module specialized for each type of OS.
  • the middleware 930 may dynamically delete some of the existing components or add new components.
  • the API 960 is, for example, a set of API programming functions and may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 970 is, for example, a home 971, a dialer 972, an SMS / MMS 973, an instant message (974), a browser 975, a camera 976, an alarm 997. , Contacts (978), voice dial (979), email (980), calendar (981), media player (982), album (983), watch (984), health care (e.g., exercise or blood glucose, etc.) Or an application for providing environmental information (eg, barometric pressure, humidity, or temperature information).
  • the application 970 may include an information exchange application capable of supporting information exchange between the electronic device and the external electronic device.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may deliver notification information generated by another application of the electronic device to the external electronic device, or receive notification information from the external electronic device and provide the notification information to the user.
  • the device management application may be, for example, the ability of an external electronic device to communicate with the electronic device (e.g. turn-on / turn-off of the external electronic device itself (or some component) or the brightness (or resolution) of the display). Control), or install, delete, or update an application running on the external electronic device.
  • the application 970 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • the application 970 may include an application received from an external electronic device.
  • At least a portion of the program module 910 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 720), or a combination of at least two of them, and a module for performing one or more functions; It can include a program, routine, instruction set, or process.
  • module includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) according to various embodiments may be stored in a computer-readable storage medium (eg, memory 130) in the form of a program module. It can be implemented as.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical recording media (e.g. CD-ROM, DVD, magnetic-optical media (e.g. floppy disks), internal memory, etc.
  • Instructions may include code generated by a compiler or code executable by an interpreter Modules or program modules according to various embodiments may include at least one or more of the above-described components. According to various embodiments of the present disclosure, operations performed by a module, a program module, or another component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least in some cases. Some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 다양한 실시 예에 따른 전자 장치는, 디스플레이, 메모리, 통신 모듈, 및 프로세서를 포함하고, 상기 프로세서는 상기 통신 모듈을 통해 외부 전자 장치와 미라캐스트(miracast) 방식에 따른 채널을 형성하고, 비디오 데이터 또는 오디오 데이터를 포함하는 제1 데이터를 제1 그룹으로 패킷화하고, 상기 외부 전자 장치에서 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 제2 데이터를 상기 제1 그룹과 구분되는 제2 그룹으로 패킷화하고, 상기 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 상기 외부 전자 장치에 송신하고, 상기 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 상기 외부 전자 장치로 송신할 수 있다.

Description

외부 전자 장치와 통신 방법 및 이를 지원하는 전자 장치
본 문서의 다양한 실시 예는 외부 전자 장치와 미라캐스트(miracast) 통신 방식에 의해 데이터를 송수신하는 방법 및 이를 지원하는 전자 장치에 관한 것이다.
스마트폰, 태블릿 PC 등과 같은 전자 장치는 무선 데이터 통신, 동영상 재생, 인터넷 검색 등 다양한 기능을 수행할 수 있다. 상기 전자 장치는 주변의 전자 장치들과 통신 채널을 형성하고, 데이터를 송수신할 수 있다. 다양한 통신 방식 중, 미라캐스트 통신 방식은 컨텐츠를 전송하는 소스 장치가, 컨텐츠를 수신하는 싱크 장치와 직접 통신 채널을 형성하여, 연결되는 방식일 수 있다. 소스 장치의 디스플레이에서 출력되고 있는 컨텐츠는 주변의 싱크 장치의 디스플레이에 실시간으로 미러링 되어 출력될 수 있다. 또한, 싱크 장치에서 화면 또는 어플리케이션을 조작하는 사용자 입력이 발생한 경우, 상기 입력에 관한 신호는 소스 장치로 전달되어, 소스 장치에서 실행될 수 있다.
종래 기술에 따른 소스 장치는 미라캐스트 기술에 의해 화면을 미러링 하는 경우, 하드웨어 버튼에 대응하는 제어 이미지를 싱크 장치에 제공할 수 있다. 싱크 장치는 제어 이미지를 디스플레이의 일부에 출력할 수 있다. 싱크 장치는 제어 이미지에 대응하는 사용자 입력을 수신하면, 수신한 사용자 입력에 관한 정보를 소스 장치에 전송하여 처리되도록 할 수 있다. 소스 장치는 제어 이미지를 비디오 이미지와 함께 패킷화하여 처리하는 방식으로 동작하여, 사용자가 제어 버튼을 조작하면 버퍼링 등으로 인해 신호 전달이 지연될 수 있다. 또한, 소스 장치의 디스플레이에서 제어 이미지가 동시에 출력되어, 사용자에게 불편함을 줄 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 디스플레이, 메모리, 외부 전자 장치와 데이터를 송수신할 수 있는 통신 모듈, 상기 메모리, 상기 디스플레이, 및 상기 통신 모듈과 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 통신 모듈을 통해 상기 외부 전자 장치와 미라캐스트(miracast) 방식에 따른 채널을 형성하고, 비디오 데이터 또는 오디오 데이터를 포함하는 제1 데이터를 제1 그룹으로 패킷화하고, 상기 외부 전자 장치에서 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 제2 데이터를 상기 제1 그룹과 구분되는 제2 그룹으로 패킷화하고, 상기 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 상기 외부 전자 장치에 송신하고, 상기 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 상기 외부 전자 장치로 송신할 수 있다.
본 발명의 다양한 실시 예에 따른 통신 방법 및 이를 지원하는 전자 장치는 싱크 장치에서 출력될 제어 이미지를 구성하는 데이터를 비디오 데이터 또는 오디오 데이터와 별개로 패킷화할 수 있다.
본 발명의 다양한 실시 예에 따른 통신 방법 및 이를 지원하는 전자 장치는 싱크 장치에서 출력될 제어 이미지에 관한 데이터를 비디오 데이터 또는 오디오 데이터와 다른 통신 프로토콜을 통해 싱크 장치에 전달할 수 있다.
본 발명의 다양한 실시 예에 따른 통신 방법 및 이를 지원하는 전자 장치는 싱크 장치에서 출력될 제어 이미지를 구성하는 데이터를 싱크 장치에 빠르게 전송할 수 있고, 사용자의 입력에 빠르게 대응할 수 있다.
도 1은 다양한 실시 예에 따른, 전자 장치와 외부 전자 장치의 연결을 나타낸다.
도 2는 다양한 실시 예에 따른 소스 장치에서 수행되는 미라 캐스트 방식을 이용한 통신 방법을 설명하는 순서도이다.
도 3는 다양한 실시 예에 따른 싱크 장치에서 수행되는 미라 캐스트 방식을 이용한 통신 방법을 설명하는 순서도이다.
도 4은 다양한 실시 예에 따른 소스 장치와 싱크 장치의 화면 미러링에 관한 화면 예시도이다.
도 5는 다양한 실시 예에 따른 소스 장치의 블럭도이다.
도 6는 다양한 실시 예에 따른 싱크 장치의 블럭도이다.
도 7은 다양한 실시 예에 따른 싱크 장치에서 사용자의 입력을 전달하는 신호 흐름도이다.
도 8는 다양한 실시 예에 따른 미라캐스트 통신에서 negotiation 과정을 나타내는 신호 흐름도이다.
도 9는 다양한 실시 예에 따른 싱크 장치의 형태에 따른 비디오 이미지 및 제어 이미지의 전송을 설명하는 제1 예시도이다.
도 10는 다양한 실시 예에 따른 싱크 장치의 형태에 따른 비디오 이미지 및 제어 이미지의 전송을 설명하는 제2 예시도이다.
도 11는 다양한 실시 예에 따른 싱크 장치의 형태에 따른 비디오 이미지 및 제어 이미지의 전송을 설명하는 제3 예시도이다.
도 12은 네트워크 환경 내의 전자 장치를 도시한다.
도 13는 다양한 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도 14는 다양한 실시 예에 따른 프로그램 모듈의 블록도를 나타낸다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자 장치(101(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른, 전자 장치와 외부 전자 장치의 연결을 나타낸다.
도 1을 참조하면, 제1 전자 장치(101)는 제2 전자 장치(102)와 무선 채널(150)을 형성하고, 데이터를 송수신할 수 있다. 다양한 실시 예에서, 제1 전자 장치(101)는 미라 캐스트(miracast) 방식의 통신을 통해 제2 전자 장치(102)와 연결될 수 있다. 제1 전자 장치(101)의 디스플레이(110)를 통해 출력되는 이미지, 텍스트 등의 컨텐츠가 실시간(또는 지정된 시간 차 이내)으로 제2 전자 장치(102)의 디스플레이에 출력될 수 있다(mirroring).
미라캐스트는, 비디오 및 오디오 컨텐츠를 케이블(예: HDMI 케이블, USB 케이블 등)의 사용 없이, 제1 전자 장치(101)(예: 태블릿, 스마트폰 등)로부터 제2 전자 장치(102)(예: TV, 모니터(102a), 태블릿 PC(102b), 노트북 PC(102c), 스마트폰(102d) 등)로 무선으로 송신하게 하는 무선 스크린캐스트 기술/표준이다.
미라캐스트 기술은, 2개의 전자 장치들 간의 직접 고속 무선 접속을 형성하는 프로세스를 단순화함으로써 콘텐츠를 공유할 수 있다. 예를 들어, 제1 전자 장치(101)는 지정된 범위의 전자 장치에 유니 캐스트, 멀티 캐스트 신호 또는 브로드 캐스트 신호 중 하나를 송신하여, 주변 전자 장치의 응답을 확인할 수 있다. 제1 전자 장치(101)는 주변의 전자 장치에서 응답이 발생하는 경우, 식별과정 또는 인증 과정을 거쳐 통신 채널(150)을 형성할 수 있다.
미라캐스트 접속은 Wi-Fi 다이렉트를 통해 형성될 수도 있으며, Wi-Fi 다이렉트는 중간 네트워크 컴포넌트 (예를 들어, 서버, 무선 액세스 포인트 등)에 대한 필요성 없이 직접적인 peer-to-peer Wi-Fi 접속하는 방식일 수 있다. 예를 들어, 제1 전자 장치(101)는 미라캐스트 기술을 이용하여, 디스플레이(110) 상에 출력되는 컨텐츠(예: 유튜브 비디오 스트림)를 주변의 Wi-Fi 통신 모듈을 가지는 TV(102a)의 디스플레이에 동일하게 출력할 수 있다.
미라캐스트 프로토콜 또는 표준은 대량의 정보 (예: 압축된 비디오 파일들)의 통신에 유리하고, Wi-Fi 통신 링크들을 통해 동작하며, 단방향성 (또는 순방향 전용) 통신을 지원할 수 있다. 미라캐스트 방식을 통신을 하는 전자 장치들 중 하나는 컨텐츠를 제공하는 소스(source) 장치일 수 있고, 다른 하나는 컨텐츠를 수신하는 싱크(sink) 장치일 수 있다. 이하에서는, 제1 전자 장치(101)가 소스 장치이고, 제2 전자 장치(102)가 싱크 장치인 경우를 중심으로 설명하지만, 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제1 전자 장치(101)는 디스플레이(110)(또는 스피커(미도시))를 통해 출력되는 비디오 또는 오디오 데이터(이하, 메인 컨텐츠)와 함께 출력될 부가적인 데이터(이하, 서브 컨텐츠)를 제2 전자 장치(102)에 송신할 수 있다. 상기 서브 컨텐츠는 제1 전자 장치(101)에서 실행되는 어플리케이션을 사용자가 제어할 수 있도록 하는 제어 이미지일 수 있다.
제1 전자 장치(101)가 소스 장치로 동작하고, 제2 전자 장치(102)가 싱크 장치로 동작하는 경우, 제1 전자 장치(101)에 장착된 하드웨어 버튼(111)(예: 물리 버튼, 또는 터치 버튼)의 조작과 동일한 기능을 하기 위한 서브 컨텐츠가 제2 전자 장치(102)에 전송될 수 있다. 제2 전자 장치(102)는 서브 컨텐츠를 기반으로 제어 이미지를 생성하고, 생성된 제어 이미지를 메인 컨텐츠와 함께 출력할 수 있다.
사용자가 제어 이미지에 사용자 입력을 발생시키는 경우, 제2 전자 장치(102)는 상기 사용자 입력에 따른 실행 정보를 제1 전자 장치(101)에 전송할 수 있다. 제1 전자 장치(101)는 수신한 실행 정보를 기반으로 하드웨어 버튼(111)의 실행과 동일한 기능(또는 작업)을 실행할 수 있다. 예를 들어, 사용자가 제2 전자 장치(102)에서, 홈 버튼에 대응하는 제어 이미지를 터치하는 경우, 제1 전자 장치(101)는 홈 버튼이 눌린 것과 동일한 기능(예: 홈 화면으로 이동)을 실행할 수 있다.
다양한 실시 예에 따르면, 서브 컨텐츠는 메인 컨텐츠와 분리되어 패킷화 될 수 있다. 또한, 서브 컨텐츠는 메인 컨텐츠와 서로 다른 통신 방식(또는 통신 프로토콜)을 기반으로 전송될 수 있다. 메인 컨텐츠 및 서브 컨텐츠의 전송 방식에 관한 추가 정보는 도2a 내지 도 6을 통해 제공될 수 있다.
도 2는 다양한 실시 예에 따른 소스 장치에서 수행되는 미라 캐스트 방식을 이용한 통신 방법을 설명하는 순서도이다.
도 2를 참조하면, 동작 210에서, 제1 전자 장치(101)(소스 장치)는 제2 전자 장치(102)(싱크 장치)와 미라캐스트 방식에 따라, 무선으로 연결될 수 있다. 예를 들어, 제1 전자 장치(101)는 제2 전자 장치(102)에, 애니 캐스트, 유니 캐스트, 멀티 캐스트 신호 또는 브로드 캐스트 신호 중 하나를 송신할 수 있다. 제1 전자 장치(101)는 제2 전자 장치(102)으로부터 응답 신호를 수신하는 경우, 식별 과정 또는 인증 과정(예: 인증 번호 입력, 비밀 번호 입력 등)을 수행할 수 있다.
다양한 실시 예에 따르면, 제1 전자 장치(101)는 제2 전자 장치(102)를 인식하는 과정에서, 제2 전자 장치(102)에서 지원하는 포맷, 프로토콜 등을 확인할 수 있다. 제1 전자 장치(101)는 제2 전자 장치(102)에서 지원하는 포맷 또는 프로토콜에 따라, 메인 컨텐츠(예: 비디오 데이터, 오디오 데이터) 또는 서브 컨텐츠(예: 제어 이미지 데이터)를 송신할 수 있다.
동작 220에서, 제1 전자 장치(101)는 비디오 데이터 또는 오디오 데이터를 포함하는 메인 컨텐츠에 대한 제1 데이터를 제1 그룹으로 패킷화할 수 있다. 예를 들어, 제1 전자 장치(101)는 메인 컨텐츠에 대한 제1 데이터를 MPEG 2(moving picture experts group 2)에 따른 패킷화된 엘리멘터리 스트림(packetized elementary stream; 이하, PES)으로 패킷화할 수 있다.
동작 230에서, 제1 전자 장치(101)는 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 서브 컨텐츠에 관한 제2 데이터를 제2 그룹으로 패킷화할 수 있다. 제1 전자 장치(101)는 서브 컨텐츠에 관한 제2 데이터를 메인 컨텐츠에 대한 제1 데이터와 별개의 패킷으로 패킷화할 수 있다. 예를 들어, 제1 전자 장치(101)는 서브 컨텐츠에 관한 제2 데이터를 MPEG 2에 따른 패킷화된 엘리멘터리 스트림(PES)으로 패킷화할 수 있다.
다양한 실시 예에서, 동작 220 및 동작 230은 서로 순서가 교환되거나 동시에 수행될 수도 있다.
동작 240에서, 제1 전자 장치(101)는 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 외부 전자 장치(102)에 송신할 수 있다. 예를 들어, 제1 전자 장치(101)는 제1 그룹의 패킷을 데이터 송수신의 확실성을 보장하는 TCP (Transmission Control Protocol)에 따라 제2 전자 장치(102)에 전송할 수 있다.
동작 250에서, 제1 전자 장치(101)는 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 외부 전자 장치(102)에 송신할 수 있다. 예를 들어, 제1 전자 장치(101)는 제2 그룹의 패킷을 데이터를 UDP(User Datagram Protocol)에 따라 제2 전자 장치(102)에 전송할 수 있다. 이 경우, 제2 그룹의 패킷의 데이터는 전송의 확실성이 보장되지 않으나, 상대적으로 빠른 속도로 전송될 수 있다.
다양한 실시 예에서, 동작 240 및 동작 250은 서로 순서가 교환되거나 동시에 수행될 수도 있다.
다양한 실시 예에 따른 무선 통신 방법은 외부 전자 장치와 미라캐스트(miracast) 방식에 따른 채널을 형성하는 동작, 비디오 데이터 또는 오디오 데이터를 포함하는 제1 데이터를 제1 그룹으로 패킷화하는 동작, 상기 외부 전자 장치에서 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 제2 데이터를 상기 제1 그룹과 구분되는 제2 그룹으로 패킷화하는 동작, 상기 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 상기 외부 전자 장치에 송신하는 동작 및 상기 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 상기 외부 전자 장치로 송신하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 데이터를 패킷화하는 동작은 상기 전자 장치의 디스플레이를 구동하는 디스플레이 구동 회로의 내부에 포함된 그래픽 램에 저장된 미디어 데이터를 추출하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 데이터를 패킷화하는 동작은 상기 전자 장치의 메모리에 저장된 미디어 파일의 적어도 일부를 비디오 데이터 또는 오디오 데이터로 추출하는 동작을 포함할 수 있다.
도 3는 다양한 실시 예에 따른 싱크 장치에서 수행되는 미라 캐스트 방식을 이용한 통신 방법을 설명하는 순서도이다.
도 3를 참조하면, 동작 260에서, 제2 전자 장치(102)(싱크 장치)는 제1 전자 장치(101)(소스 장치)와 미라캐스트 방식에 따라, 무선으로 연결될 수 있다. 예를 들어, 제2 전자 장치(102)는 제1 전자 장치(101)로부터, 유니 캐스트, 멀티 캐스트 신호 또는 브로드 캐스트 신호 중 하나를 수신하는 경우, 제1 전자 장치(101)에 응답 신호를 송신할 수 있다. 제2 전자 장치(102)는 식별 과정 또는 인증 과정(예: 인증 번호 입력, 비밀 번호 입력 등)을 통해 제1 전자 장치(101)로부터 데이터를 수신할 수 있는 상태로 대기할 수 있다.
동작 270에서, 제2 전자 장치(102)는 비디오 데이터 또는 오디오 데이터를 포함하는 메인 컨텐츠에 대한 제1 그룹의 패킷을 수신할 수 있다. 예를 들어, 메인 컨텐츠에 대한 제1 그룹의 패킷은 MPEG 2에 따른 PES일 수 있다.
동작 275에서, 제2 전자 장치(102)는 제1 그룹의 패킷을 역패킷화하여, 비디오 데이터 또는 오디오 데이터를 구성할 수 있다.
동작 280에서, 제2 전자 장치(102)는 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 서브 컨텐츠에 관한 제2 그룹의 패킷을 수신할 수 있다. 예를 들어, 서브 컨텐츠에 대한 제2 그룹의 패킷은 MPEG 2에 따른 PES일 수 있다.
동작 285에서, 제2 전자 장치(102)는 제2 그룹의 패킷을 역패킷화하여, 제어 이미지를 구성할 수 있다.
다양한 실시 예에서, 동작 280 및 동작 285는 동작 270 및 동작 275와 서로 순서가 교환되거나 동시에 수행될 수도 있다.
동작 290에서, 제2 전자 장치(102)는 메인 컨텐츠 및 서브 컨텐츠를 출력할 수 있다. 예를 들어, 제2 전자 장치(102)는 비디오 데이터 또는 오디오 데이터에 의한 메인 컨텐츠를 디스플레이 또는 스피커를 통해 출력할 수 있다. 제2 전자 장치(102)는 제어 이미지를 비디오 이미지와 함께 디스플레이에 출력할 수 있다.
다양한 실시 예에 따르면, 제2 전자 장치(102)는 제어 이미지에 사용자 입력이 발생하는 경우, 대응하는 신호를 제1 전자 장치(101)에 전송할 수 있다.
도 4은 다양한 실시 예에 따른 소스 장치와 싱크 장치의 화면 미러링에 관한 화면 예시도이다. 도 4은 예시적인 것으로 이에 한정되는 것은 아니다.
도 4을 참조하면, 제1 전자 장치(101)는 비디오 데이터 또는 오디오 데이터에 의한 메인 컨텐츠를 제공하는 소스 장치로 동작할 수 있고, 제2 전자 장치(102)는 수신한 메인 컨텐츠를 출력하는 싱크 장치로 동작할 수 있다. 예를 들어, 제2 전자 장치(102)는 제1 전자 장치(101)의 디스플레이(110)에 출력되는 홈 화면과 동일한 이미지를 디스플레이(120)의 적어도 일부(120a)에 출력할 수 있다. 도 4에서는 메인 컨텐츠가 디스플레이(120)의 일부에 출력되는 경우를 예시적으로 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 메인 컨텐츠는 제2 전자 장치(102)의 디스플레이(120)의 전체 화면으로 출력될 수도 있다.
다양한 실시 예에 따르면, 제1 전자 장치(101)는 사용자 입력을 수신하기 위해 출력되는 제어 이미지에 관한 데이터(111a)를 전송할 수 있다. 제어 이미지에 관한 데이터(111a)는 제1 전자 장치(101)에 장착된 하드웨어 버튼(111)(예: 물리 버튼, 또는 터치 버튼)의 조작과 동일한 기능을 하기 위해, 제2 전자 장치(102)의 디스플레이(120)에 출력되는 이미지일 수 있다.
다양한 실시 예에 따르면, 제1 전자 장치(101)는 비디오 데이터(예: 이미지(120a)) 또는 오디오 데이터가 패킷화된 제1 그룹과 별개의 제2 그룹으로 제어 이미지에 관한 데이터(111a)를 패킷화할 수 있다. 제1 그룹의 패킷과 제2 그룹의 패킷은 각각 독립적으로 제2 전자 장치(102)로 전송될 수 있다. 다양한 실시 예에서, 제1 그룹의 패킷은 TCP에 따라 상대적으로 데이터 전송의 신뢰성이 보장되는 프로토콜을 통해 송신될 수 있고, 제2 그룹의 패킷은 UDP에 따라 상대적으로 데이터 전송 속도가 빠른 프로토콜을 통해 송신될 수 있다.
다양한 실시 예에 따르면, 비디오 데이터(예: 이미지(120a)) 또는 오디오 데이터가 패킷화된 제1 그룹과 제어 이미지에 관한 데이터(111a)가 패킷화된 제2 그룹은 서로 다른 통신 우선 순위를 가질 수 있다. 예를 들어, 제2 그룹의 패킷은 제1 그룹의 패킷보다 높은 통신 우선 순위를 가질 수 있다. 전자 장치(101)는 통신 환경에 따라 제2 그룹의 패킷을 우선적으로 제1 전자 장치(102)에 전송할 수 있다. 이 경우, 제어 이미지와 관련된 패킷이 우선 송신되어 처리될 수 있다. 다른 예를 들어, 제1 그룹의 패킷은 제2 그룹의 패킷보다 높은 통신 우선 순위를 가질 수 있다. 전자 장치(101)는 통신 환경에 따라 제1 그룹의 패킷을 우선적으로 제1 전자 장치(102)에 전송할 수 있다. 이 경우, 배경 이미지와 관련된 패킷이 우선 송신되어 처리될 수 있다.
제어 이미지에 관한 데이터(111a)는 제2 전자 장치(102)의 디스플레이(120)에서, 제어 버튼(121)으로 표시될 수 있다. 도 4에서는 제어 버튼(121)이 메인 컨텐츠에 관한 이미지(120a)의 하단에 출력되는 경우를 예시적으로 도시하였으나, 이에 한정되는 것은 아니다. 다양한 실시 예에서, 제어 이미지에 관한 데이터(111a)는 제어 버튼(121)의 출력 위치, 출력 크기, 방향 정보, 회전 정보 등에 관한 정보를 포함할 수 있다.
제2 전자 장치(102)는 제어 버튼(121)에 사용자의 입력이 발생하는 경우, 대응하는 신호를 제1 전자 장치(101)에 전송할 수 있다. 제2 전자 장치(102)은 사용자 입력 백 채널(UIBC)로 지칭되는 역방향 채널을 제1 전자 장치(101)와 형성할 수 있다. 예를 들어, 제어 버튼(121)에 포함된 각각의 버튼은 서로 다른 코드에 맵핑될 수 있다. 사용자가 뒤로 가기 버튼을 터치하는 경우, 제2 전자 장치(102)는 뒤로 가기 버튼에 대응하는 코드를 UIBC를 통해, 제1 전자 장치(101)에 전송할 수 있다. 제1 전자 장치(101)는 제1 전자 장치(101)의 하드웨어 버튼(111) 중 뒤로 가기 버튼이 터치된 경우와 동일한 기능(예: 실행 취소, 앱 종료, 이전 화면 등)을 실행할 수 있다.
도 5는 다양한 실시 예에 따른 소스 장치의 블럭도이다. 도 5에서는 미라캐스트 방식의 데이터 전송을 위한 구성을 중심으로 도시하였으나, 이에 한정되는 것은 아니며, 일부 구성이 생략되거나 추가될 수 있다.
도 5를 참조하면, 소스 장치(401)는 저장부(410), 인코딩부(415), 패킷화부(420), 다중화부(430), 전송부(440), 모뎀(450)을 포함할 수 있다. 소스 장치(401)의 컴포넌트들은, 하나 또는 둘 이상의 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 결합들과 같은 다양한 회로소자로 구현될 수 있다.
저장부(410)는 비디오 데이터(411), 오디오 데이터(412), 제어 이미지 데이터(413)를 저장할 수 있다. 예를 들어, 저장부(410)는, 동기식 동적 랜덤 액세스 메모리(SDRAM)와 같은 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거 가능한 프로그램가능 판독-전용 메모리(EEPROM), FLASH 메모리 등을 포함할 수 있다.
저장부(410)는, 전체 미디어 데이터 파일을 저장할 수 있거나, 스트리밍되는 미디어 데이터 파일의 일부분을 저장하는 프레임 버퍼를 포함할 수 있다. 예를 들어, 저장부(410)가 전체 미디어 데이터 파일을 저장하는 경우, 비디오 데이터(411), 및 오디오 데이터(412)는 파일 형태로 저장된 미디어 파일일 수 있다. 다른 예를 들어, 저장부(410)가 스트리밍되는 미디어 데이터 파일의 일부분을 저장하는 프레임 버퍼인 경우, 비디오 데이터(411), 및 오디오 데이터(412)는 소스 장치(401)의 디스플레이(미도시)를 통해 출력되는 프레임 단위의 이미지 또는 사운드 데이터일 수 있다.
제어 이미지 데이터(413)는 싱크 장치의 디스플레이에 표시될 제어 버튼의 다양한 형태를 저장할 수 있다. 다양한 실시 예에 따르면, 제어 이미지 데이터(413)와 관련된 데이터는 비디오 데이터(411) 및 오디오 데이터(412)와 별개로 독립적으로 패킷화될 수 있다.
인코딩부(415)는 비디오 데이터 및 오디오 데이터를 저장부(410)로부터 획득하고, 비디오 데이터, 오디오 데이터, 및 제어 이미지 데이터를 지정된 포맷으로 인코딩할 수 있다.
비디오 인코더(415a)는, ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual, ITU-T H.264(또한, ISO/IEC MPEG-4 AVC로 알려짐), VP8 및 고효율 비디오 코딩(HEVC)과 같은 임의의 수의 비디오 압축 표준들에 따라 비디오를 인코딩할 수 있다. 다양한 실시 예에서, 비디오 인코더(415a)는 비디오 데이터(411)을 무손실(lossless) 또는 손실적인(lossy) 압축 기법을 이용하여 압축할 수 있다.
오디오 인코더(415b)는 오디오 데이터(412)를 저장부(410)로부터 획득하고, 오디오 데이터(412)를 지정된 포맷으로 인코딩할 수 있다. 오디오 데이터(412)는, Digital(AC-3) 또는 DTS(Digital Theater System)과 같은 멀티-채널 포맷들을 이용하여 코딩될 수 있다. 오디오 데이터(412)는 압축된 또는 압축되지 않은 포맷을 이용하여 코딩될 수 있다. 압축된 오디오 포맷들의 예들은 MPEG-1, 2개의 오디오 계층들 II 및 III, AC-3, AAC를 포함할 수 있고, 압축되지 않은 오디오 포맷의 예는 펄스-코드 변조(PCM) 오디오 포맷을 포함할 수 있다.
제어 이미지 인코더(415c)는 제어 이미지 데이터(413)를 저장부(410)로부터 획득하고, 제어 이미지 데이터(413)를 지정된 포맷으로 인코딩할 수 있다.
패킷화부(420)는 비디오 데이터(411) 및 오디오 데이터(412)를 패킷화하는 제1 패킷화 모듈(421) 및 제어 이미지 데이터(413)를 패킷화하는 제2 패킷화 모듈(422)를 포함할 수 있다.
제1 패킷화 모듈(421)은 인코딩된 비디오 데이터 및 오디오 데이터를 제1 그룹으로 패킷화할 수 있다. 예를 들어, 제1 패킷화 모듈(421)은 MPEG-2 파트 1에 따라 정의된 바와 같이, 인코딩된 비디오 데이터 및 오디오 데이터를 패킷화할 수 있다.
다양한 실시 예에 따르면, 제1 패킷화 모듈(421)은 비디오 패킷화 모듈(421a) 및 오디오 패킷화 모듈(421b)를 포함할 수 있다. 비디오 패킷화 모듈(421a)은 인코딩된 비디오 데이터를 패킷화하고, 오디오 패킷화 모듈(421b)은 인코딩된 오디오 데이터를 패킷화할 수 있다.
제2 패킷화 모듈(422)은 제어 이미지 데이터(413)를 제2 그룹으로 패킷화할 수 있다. 제2 패킷화 모듈(422)은 제1 패킷화 모듈(421)과 독립적으로 동작할 수 있고, 제어 이미지 데이터(413)는 제1 그룹에 포함된 비디오 데이터 및 오디오 데이터와 구분되어 패킷화될 수 있다.
다중화부(430)는 제1 그룹의 패킷을 처리하는 제1 결합부(431) 및 제2 그룹의 패킷을 처리하는 제2 결합부(432)를 포함할 수 있다. 제1 결합부(431)는 비디오 페이로드 데이터 및 오디오 페이로드 데이터를 결합하기 위해 멀티플렉싱 기법들을 적용할 수 있다. 예를 들어, 제1 결합부(431)는 MPEG-2 파트 1에 따라 정의된 MPEG2 전송 스트림으로, 패킷화된 비디오 데이터 및 오디오 데이터를 캡슐화할 수 있다. 다양한 실시 예에서, 제1 결합부(431)는 오디오 및 비디오 패킷들에 대한 동기화뿐만 아니라 에러 정정 기법들을 제공할 수 있다.
제2 결합부(432)는 제2 그룹의 패킷을 처리할 수 있다. 예를 들어, 제2 결합부(432)는 MPEG-2 파트 1에 따라 정의된 MPEG2 전송 스트림으로, 패킷화된 제어 이미지 데이터를 캡슐화 할 수 있다.
전송부(440)는 제1 그룹의 패킷을 처리하는 제1 전송 모듈(441) 및 제2 그룹의 패킷을 처리하는 제2 전송 모듈(442)을 포함할 수 있다.
제1 전송 모듈(441)은 싱크 장치로 전송을 위해 미디어 데이터를 프로세싱할 수 있다. 다양한 실시 예에서, 제1 전송 모듈(441)은 IP, TCP, UDP, RTP, 또는 RSTP 중 하나를 이용하여 통신하도록 구성될 수 있다.
제2 전송 모듈(442)은 싱크 장치로 전송을 위해 제어 이미지 데이터를 프로세싱할 수 있다. 다양한 실시 예에서, 제2 전송 모듈(442)은 UDP를 이용하여 통신하도록 구성될 수 있다.
다양한 실시 예에 따르면, 전송부(440)과 모뎀(450) 사이에는 암호화 모듈(미도시)을 포함할 수 있다. 암호화 모듈은 영상의 저작권 보호를 위해 전송 패킷에 특수한 디지털 표식을 기재할 수 있다. 예를 들어, 데이터 암호화 모듈은 HDCP(High-bandwidth Digital Content Protection)일 수 있다.
모뎀(450)은 물리 및 MAC 계층 프로세싱을 수행할 수 있다. 예를 들어, 모뎀(450)은, WFD에의해 제공된 것과 같이, Wi-Fi(예를 들어, IEEE 802.11x) 표준에 의해 정의된 물리 및 MAC 계층들에 대해 물리계층 및 MAC 계층 프로세싱을 수행하도록 구성될 수 있다. 다른 예들에서, 모뎀(450)은 WirelessHD, WiMedia, WHDI(Wireless Home Digital Interface), WiGig, 및 Wireless USB 중 하나에 물리 계층 및 MAC 계층 프로세싱을 수행하도록 구성될 수 있다.
도 6는 다양한 실시 예에 따른 싱크 장치의 블럭도이다. 도 6에서는 미라캐스트 방식의 데이터 수신을 위한 구성을 중심으로 도시하였으나, 이에 한정되는 것은 아니며, 일부 구성이 생략되거나 추가될 수 있다.
도 6를 참조하면, 싱크 장치(501)는 모뎀(505), 전송부(510), 역다중화부(520), 역패킷화부(525), 디코딩부(530), 프로세서(540), 디스플레이(550) 및 스피커(560)를 포함할 수 있다. 싱크 장치(501)의 컴포넌트들 각각은, 하나 또는 둘 이상의 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 결합들과 같은 다양한 회로소자로 구현될 수 있다.
모뎀(505)은 물리 및 MAC 계층 프로세싱을 수행할 수 있다. 예를 들어, 모뎀(505)은, WFD에의해 제공된 것과 같이, Wi-Fi(예를 들어, IEEE 802.11x) 표준에 의해 정의된 물리 및 MAC 계층들에 대해 물리계층 및 MAC 계층 프로세싱을 수행하도록 구성될 수 있다. 다른 예들에서, 모뎀(450)은 WirelessHD, WiMedia, WHDI(Wireless Home Digital Interface), WiGig, 및 Wireless USB 중 하나에 물리 계층 및 MAC 계층 프로세싱을 수행하도록 구성될 수 있다.
전송부(510)는 소스 장치(401)로부터 수신된 미디어 데이터를 프로세싱하는 제1 전송 모듈(511) 및 제어 이미지에 대한 데이터를 프로세싱하는 제2 전송 모듈(512)을 포함할 수 있다.
제1 전송 모듈(511)은 소스 장치(401)로의 전송을 위해 피드백 패킷들을 프로세싱할 수 있다. 예를 들어, 제1 전송 모듈(511)은 IP, TCP, UDP, RTP, 및 RSTP를 이용하여 통신하도록 구성될 수 있다.
제2 전송 모듈(512)은 제2 그룹의 패킷을 프로세싱할 수 있다. 예를 들어, 제1 전송 모듈(511)은 UDP를 이용하여 통신하도록 구성될 수 있다.
역다중화부(520)는 제1 그룹의 패킷을 처리하는 제1 역다중화기(521) 및 제2 그룹의 패킷을 처리하는 제2 역다중화기(522)를 포함할 수 있다.
제1 역다중화기(521)는 데이터 스트림으로부터 비디오 페이로드 데이터 및 오디오 페이로드 데이터를 분리시키기 위해 디-멀티플렉싱 기법들을 적용할 수 있다. 일 실시 예에서, 제1 역다중화기(521)는, MPEG-2 파트 1에 따라 정의된 MPEG2 전송 스트림의 패킷화된 비디오 스트림 및 오디오 스트림을 분리시킬 수 있다.
제2 역다중화기(522)는 제어 이미지 데이터가 포함된 제2 그룹의 패킷을 처리할 수 있다.
역패킷화부(525) 및 디코딩부(530)는 도 5에서의 패킷화부(420) 및 인코딩부(415)에서 수행된 작업을 역으로 수행하여, 비디오 데이터, 오디오 데이터, 제어 이미지 데이터를 추출할 수 있다. 일 실시 예에서, 역패킷화부(525)는 제1 역 패킷화 모듈(526) 및 제2 역 패킷화 모듈(527)을 포함할 수 있다. 디코딩부(530)는 비디오 디코더(531), 오디오 디코더(532), 및 제어 이미지 디코더(533)를 포함할 수 있다.
다양한 실시 예에 따르면, 비디오 결합부(535)는 비디오 디코더(531)를 통해 디코딩된 비디오 데이터와 제어 이미지 디코더(531)를 통해 디코딩된 제어 이미지 데이터를 결합할 수 있다. 비디오 결합부(535)는 비디오 데이터의 일부가 제어 이미지 데이터로 치환되도록 하거나, 비디오 데이터의 일부가 제어 이미지 데이터가 겹쳐서 출력되도록 할 수 있다. 비디오 결합부(535)는 결합된 비디오 데이터를 비디오 프로세서(541)에 제공할 수 있다.
프로세서(540)는 추출된 비디오 데이터, 오디오 데이터, 제어 이미지 데이터를 기반으로 소리 또는 이미지를 생성하여, 스피커(540) 또는 디스플레이(550)를 통해 출력할 수 있다.
비디오 프로세서(541)는 비디오 결합부(535)로부터, 결합된 비디오 데이터를 수신할 수 있다. 비디오 프로세서(541)는, 결합된 비디오 데이터에서, 캡처된 비디오 프레임들을 획득할 수 있고, 디스플레이(550) 상의 출력을 위해 비디오 데이터를 프로세싱할 수 있다.
디스플레이(550)는, 액정 디스플레이(LCD), 플라즈마 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 등의 다양한 디스플레이 장치일 수 있다.
오디오 프로세서(542)는, 오디오 디코더(532)로부터 오디오 데이터를 획득할 수 있고, 스피커(560)로의 출력을 위해 오디오 데이터를 프로세싱할 수 있다.
스피커(560)은, 헤드폰들, 단일-스피커 시스템, 멀티-스피커 시스템, 또는 서라운드 음향 시스템과 같은 다양한 오디오 출력 디바이스일 수 있다.
도 7는 다양한 실시 예에 따른 싱크 장치에서 사용자의 입력을 전달하는 신호 흐름도이다.
도 7를 참조하면, 동작 610에서, 소스 장치(601) 및 싱크 장치(602)는 미라캐스트 방식에 따라 무선으로 연결될 수 있다.
동작 620에서, 소스 장치(601)는 메인 컨텐츠 및 서브 컨텐츠를 싱크 장치(602)에 전송할 수 있다. 소스 장치(601)는 비디오 데이터 또는 오디오 데이터를 포함하는 메인 컨텐츠에 관한 제1 데이터를 제1 그룹으로 패킷화 하여, 싱크 장치(602)에 전송할 수 있다. 소스 장치(601)는 제어 이미지 데이터를 포함하는 서브 컨텐츠에 관한 제2 데이터를 제2 그룹으로 패킷화하여, 싱크 장치(602)에 전송할 수 있다.
동작 630에서, 싱크 장치(602)는 제어 이미지에 발생한 사용자의 입력을 감지할 수 있다. 예를 들어, 사용자가 제어 이미지에 포함된 버튼을 터치하는 경우, 싱크 장치(602)는 터치된 버튼에 맵핑된 코드를 확인할 수 있다.
동작 640에서, 싱크 장치(602)는 해당 버튼에 대응하는 신호를 UIBC를 통해, 소스 장치(601)에 전송할 수 있다. 예를 들어, 싱크 장치(602)는 사용자가 터치한 버튼에 맵핑된 코드를 소스 장치(601)에 전송할 수 있다.
다양한 실시 예에 따르면, 싱크 장치(602)는 사용자가 터치한 버튼에 대한 터치 신호를 negotiation한 좌표계에서의 좌표값을 UIBC를 통해서, 소스 장치(601)에 전송 할 수 있다. negotiation 과정은 미라캐스트 통신에 따라 비디오 데이터를 송신하기 전에, 장치간의 구성 또는 출력 방식 등을 확인하는 과정일 수 있다. 소스 장치(601)는 싱크 장치(602)로부터 수신한 좌표값을, 싱크 장치(602)로 전송하고 있는 이미지(portrait 모드 or landscape 모드)의 좌표계에서 대응하는 지점을 계산하고, 대응하는 지점에서 터치 동작을 실행할 수 있다.
예를 들어, 소스 장치(601)는 portrait 모드로 동작하는 스마트폰이고, 싱크 장치(602)는 landscape 모드로 출력되는 TV 장치일 수 있다. 소스 장치(601) 및 싱크 장치(602)는 미라캐스트 방식에 따라 무선으로 연결되어 화면 미러링 동작을 수행할 수 있다. 싱크 장치(602)에서 사용자의 터치 입력(예: 터치 입력)이 발생하는 경우, 터치 된 좌표는 negotiation한 좌표계 안의 좌표값으로 변환되어 소스 장치(601)로 전송될 수 있다. 소스 장치(601)는 수신한 좌표값을 현재 출력 방식인 portrait 모드가 아닌, landscape 모드의 가상의 디스플레이에서 대응하는 좌표로 변환할 수 있다. 소스 장치(601)는 대응하는 지점에서 터치 동작을 실행(예: 대응하는 지점에 뒤로 가기 버튼(back key)이 배치되는 경우, 소스 장치(601)는 뒤로 가기 버튼(back key)이 터치된 경우와 동일한 동작을 수행)할 수 있다.
다양한 실시 예에서, 싱크 장치(602)는 제어 이미지 데이터가 송신된 통신 프로토콜과 동일한 통신 프로토콜을 이용하여, 사용자 입력에 대응하는 신호를 소스 장치(601)에 송신할 수 있다.
동작 650에서, 소스 장치(601)는 사용자 입력에 대응하는 신호를 기반으로 지정된 기능을 수행할 수 있다. 예를 들어, 사용자가 제어 이미지 중 뒤로 가기 버튼을 실행한 경우, 실행 취소, 앱 종료, 또는 이전 화면 등의 기능이 실행될 수 있다.
도 8는 다양한 실시 예에 따른 미라캐스트 통신에서 negotiation 과정을 나타내는 신호 흐름도이다.
도 8를 참조하면, 동작 651에서, 소스 장치(601) 및 싱크 장치(602)는 미라캐스트 통신에서 negotiation 과정을 시작할 수 있다. negotiation 과정은 미라캐스트 통신에 따라 비디오 데이터를 송신하기 전에, 장치간의 구성 또는 출력 방식 등을 확인하는 과정일 수 있다.
동작 652에서, 소스 장치(601)는 싱크 장치(602)에, 제2 통신 프로토콜에 의한 서브 컨텐츠의 전송이 가능한지를 확인하기 위한 요청(request) 신호(예: RSTP 메시지 )를 송신할 수 있다.
동작 653에서, 싱크 장치(602)는 상기 요청 신호에 대응하여, 제2 통신 프로토콜에 의한 서브 컨텐츠의 수신이 가능한 경우, 응답(response) 신호(예: RSTP 메시지 )를 소스 장치(601)에 전송할 수 있다. 다양한 실시 예에서, 상기 응답(response) 신호(예: RSTP 메시지 )는 싱크 장치(602)의 디스플레이 정보(예: 해상도, 디스플레이 크기, 디스플레이 비율, 디스플레이 방향 등)에 관한 정보를 포함할 수 있다.
다양한 실시 예에 따르면, 소스 장치(601)는 싱크 장치(602)의 디스플레이 정보를 이용하여, 미라 캐스트 통신을 이용하여 전송할 비디오 데이터 또는 제어 이미지 데이터를 설정할 수 있다.
예를 들어, 소스 장치(601)(예: 스마트폰)가 portrait 모드이고, 싱크 장치(602)(예: TV)가 landscape 모드인 상태에서, 소스 장치(601)는 싱크 장치(602)에서 제공한 디스플레이 정보에 포함된 디스플레이 방향 정보 또는 해상도 정보를 기반으로, 비디오 데이터의 전송 범위, 전송 크기를 결정할 수 있다. 또한, 소스 장치(601)는 virtual display를 통해서 landscape 모드에 적합한 제어 이미지(또는 사용자 인터페이스)를 생성할 수 있다.
다른 예를 들어, 소스 장치(601)(예: 스마트폰)가 portrait 모드이고, 싱크 장치(602)(예: TV)가 landscape 모드인 상태에서, 소스 장치(601)가 다이렉트 스트림(direct stream) 방식에 의해 비디오 데이터를 싱크 장치(602)에 전송할 수 있다. 이 경우, 소스 장치(601)는 비디오 데이터를 direct stream으로 싱크 장치(602)에 전송하고, 별도의 사용자 인터페이스를 virtual display를 통해서 싱크 장치(602)에 맞는 landscape 모드로 생성하여 싱크 장치(602)에 전달할 수 있다.
동작 654에서, 소스 장치(601) 및 싱크 장치(602)는 negotiation 과정을 종료할 수 있다.
다양한 실시 예에 따르면, 동작 655 및 656에서, 싱크 장치(602)는 디스플레이 정보가 변경되는지를 확인하고, 변경된 디스플레이 정보를 소스 장치(601)에 전송할 수 있다. 예를 들어, 싱크 장치(602)의 디스플레이 방향이 portrait 모드에서 landscape 모드로 변경된 경우, 싱크 장치(602)는 landscape 모드에 관한 정보를 포함하는 RTSP 메시지를 소스 장치(601)에 전송할 수 있다.
도 9는 다양한 실시 예에 따른 싱크 장치의 형태에 따른 비디오 이미지 및 제어 이미지의 전송을 설명하는 제1 예시도이다.
도 9를 참조하면, 소스 장치(601)는 싱크 장치(602a)와 미라캐스트 방식에 따라, 무선으로 연결될 수 있다. 소스 장치(601)의 디스플레이에는 비디오 이미지(660)과 제어 이미지(670)가 출력 중일 수 있다.
소스 장치(601)는 비디오 이미지(660)를 제1 통신 프로토콜을 이용하는 제1 채널(681)을 통해 송신하고, 제어 이미지(670)를 제2 통신 프로토콜을 이용하는 제2 채널(682)을 통해 송신할 수 있다. 예를 들어, 제1 통신 프로토콜은 TCP일 수 있고, 제2 통신 프로토콜은 UDP일 수 있다.
소스 장치(601)는 제1 채널(681)을 통해 비디오 이미지(660)의 전체 또는 일부를 변형한 전송용 비디오 이미지(661)를 전송할 수 있다. 제1 채널(681)은 도 5에서의 비디오 인코더(415a), 제1 패킷화 모듈(421), 제1 결합부(431), 제1 전송 모듈(441)을 이용하는 채널일 수 있다. 소스 장치(601)는 싱크 장치(602a)의 디스플레이 정보(예: 디스플레이 방향(예: landscape) 또는 해상도)를 반영하여 전송용 비디오 이미지(661)를 생성할 수 있다. 다양한 실시 예에서, 싱크 장치(602a)의 디스플레이 정보는 도 7에서의 negotiation 과정에서 교환될 수 있다.
소스 장치(601)는 제2 채널(682)을 통해 제어 이미지(670)를 변형한 전송용 제어 이미지(671)를 전송할 수 있다. 제2 채널(682)은 도 5에서의 제어 이미지 인코더(415c), 제2 패킷화 모듈(422), 제2 결합부(432), 제2 전송 모듈(442)을 이용하는 채널일 수 있다. 소스 장치(601)는 싱크 장치(602a)의 디스플레이 정보(예: 디스플레이 방향(예: landscape) 또는 해상도)를 반영하여 전송용 제어 이미지(671)를 생성할 수 있다. 예를 들어, 전송용 제어 이미지(671)는 제어 이미지(670)에서, 출력 크기, 버튼 위치 등이 변경된 이미지일 수 있다.
소스 장치(602a)는 전송용 비디오 이미지(661) 및 전송용 제어 이미지(671)을 각각 수신할 수 있다. 소스 장치(602a)는 전송용 비디오 이미지(661) 및 전송용 제어 이미지(671)를 기반으로 화면을 출력할 수 있다.
도 10는 다양한 실시 예에 따른 싱크 장치의 형태에 따른 비디오 이미지 및 제어 이미지의 전송을 설명하는 제2 예시도이다.
도 10를 참조하면, 소스 장치(601)는 싱크 장치(602b)와 미라캐스트 방식에 따라, 무선으로 연결될 수 있다. 소스 장치(601)의 디스플레이에는 비디오 이미지(660)과 제어 이미지(670)가 출력 중일 수 있다.
소스 장치(601)는 제1 채널(681)을 통해 비디오 이미지(660)를 변형한 전송용 비디오 이미지(662)를 전송할 수 있다. 도 9와 달리, 소스 장치(601)와 싱크 장치(602b)는 디스플레이 방향(예: portrait 모드)이 동일할 수 있으나, 디스플레이의 전체 크기, 상하/좌우 비율 등이 상이할 수 있다. 소스 장치(601)는 싱크 장치(602)의 디스플레이 정보(예: 해상도 또는 전체 크기 등)를 반영하여 전송용 비디오 이미지(662)를 생성할 수 있다.
소스 장치(601)는 제2 채널(682)을 통해 제어 이미지(670)를 변형한 전송용 제어 이미지(672)를 전송할 수 있다. 소스 장치(601)는 싱크 장치(602a)의 디스플레이 정보(예: 디스플레이의 전체 크기, 상하/좌우 비율 등)를 반영하여 전송용 제어 이미지(672)를 생성할 수 있다.
소스 장치(602)는 전송용 비디오 이미지(662) 및 전송용 제어 이미지(672)를 각각 수신할 수 있다. 소스 장치(602)는 전송용 비디오 이미지(662) 및 전송용 제어 이미지(672)를 기반으로 화면을 출력할 수 있다.
도 11는 다양한 실시 예에 따른 싱크 장치의 형태에 따른 비디오 이미지 및 제어 이미지의 전송을 설명하는 제3 예시도이다.
도 11를 참조하면, 소스 장치(601)는 싱크 장치(602c)와 미라캐스트 방식에 따라, 무선으로 연결될 수 있다. 소스 장치(601)의 디스플레이에는 비디오 이미지(660)과 제어 이미지(670)가 출력 중일 수 있다.
소스 장치(601)는 제1 채널(681)을 통해 비디오 이미지(660)를 변형한 전송용 비디오 이미지(663)를 전송할 수 있다. 도 9 또는 도 10와 달리, 소스 장치(601)는 제어 이미지(670)을 반영하여, 전송용 비디오 이미지(663)을 생성할 수 있다. 예를 들어, 소스 장치(601)는 싱크 장치(602)의 디스플레이 정보(예: 해상도 또는 전체 크기 등)를 비디오 이미지(660) 및 제어 이미지(670)에 각각 반영할 수 있다. 소스 장치(601)는 싱크 장치(602)의 디스플레이 정보가 반영된 비디오 이미지(660)와 제어 이미지(670)를 결합하여 하나의 패킷에 포함시킬 수 있다. 소스 장치(602)는 전송용 비디오 이미지(663)를 기반으로 화면을 출력할 수 있다.
도 12을 참조하여, 다양한 실시 예에서의, 네트워크 환경(700) 내의 전자 장치(701)가 기재된다. 전자 장치(701)는 버스(710), 프로세서(720), 메모리(730), 입출력 인터페이스(750), 디스플레이(760), 및 통신 인터페이스(770)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(701)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(710)는 구성요소들(710-770)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(720)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(720)는, 예를 들면, 전자 장치(701)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(730)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(730)는, 예를 들면, 전자 장치(701)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(730)는 소프트웨어 및/또는 프로그램(740)을 저장할 수 있다. 프로그램(740)은, 예를 들면, 커널(741), 미들웨어(743), 어플리케이션 프로그래밍 인터페이스(API)(745), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(747) 등을 포함할 수 있다. 커널(741), 미들웨어(743), 또는 API(745)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(741)은, 예를 들면, 다른 프로그램들(예: 미들웨어(743), API(745), 또는 어플리케이션 프로그램(747))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(710), 프로세서(720), 또는 메모리(730) 등)을 제어 또는 관리할 수 있다. 또한, 커널(741)은 미들웨어(743), API(745), 또는 어플리케이션 프로그램(747)에서 전자 장치(701)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(743)는, 예를 들면, API(745) 또는 어플리케이션 프로그램(747)이 커널(741)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(743)는 어플리케이션 프로그램(747)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(743)는 어플리케이션 프로그램(747) 중 적어도 하나에 전자 장치(701)의 시스템 리소스(예: 버스(710), 프로세서(720), 또는 메모리(730) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(745)는 어플리케이션(747)이 커널(741) 또는 미들웨어(743)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(750)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(701)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(701)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(760)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(760)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(760)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(770)는, 예를 들면, 전자 장치(701)와 외부 전자 장치(예: 제 1 외부 전자 장치(702), 제 2 외부 전자 장치(704), 또는 서버(706)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(770)는 무선 통신 또는 유선 통신을 통해서 네트워크(762)에 연결되어 외부 전자 장치(예: 제 2 외부 전자 장치(704) 또는 서버(706))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시 예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시 예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(762)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(702, 704) 각각은 전자 장치(701)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예에 따르면, 전자 장치(701)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(702,704), 또는 서버(706)에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(701)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(701)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(702, 704), 또는 서버(706))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(702, 704), 또는 서버(706))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(701)로 전달할 수 있다. 전자 장치(701)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 13는 다양한 실시 예에 따른 전자 장치(801)의 블록도이다.
전자 장치(801)는, 예를 들면, 도 12에 도시된 전자 장치(701)의 전체 또는 일부를 포함할 수 있다. 전자 장치(801)는 하나 이상의 프로세서(예: AP)(88), 통신 모듈(820), (가입자 식별 모듈(824), 메모리(830), 센서 모듈(840), 입력 장치(850), 디스플레이(860), 인터페이스(870), 오디오 모듈(880), 카메라 모듈(891), 전력 관리 모듈(895), 배터리(896), 인디케이터(897), 및 모터(898)를 포함할 수 있다. 프로세서(810)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(810)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(810)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(810)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(810)는 도 13에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(821))를 포함할 수도 있다. 프로세서(810) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(820)(예: 통신 인터페이스(770))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(820)은, 예를 들면, 셀룰러 모듈(821), WiFi 모듈(823), 블루투스 모듈(825), GNSS 모듈(827), NFC 모듈(828) 및 RF 모듈(829)를 포함할 수 있다. 셀룰러 모듈(821)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(821)은 가입자 식별 모듈(예: SIM 카드)(824)을 이용하여 통신 네트워크 내에서 전자 장치(801)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(821)은 프로세서(810)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(821)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(821), WiFi 모듈(823), 블루투스 모듈(825), GNSS 모듈(827) 또는 NFC 모듈(828) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(829)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(829)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(821), WiFi 모듈(823), 블루투스 모듈(825), GNSS 모듈(827) 또는 NFC 모듈(828) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(824)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(830)(예: 메모리(730))는, 예를 들면, 내장 메모리(832) 또는 외장 메모리(834)를 포함할 수 있다. 내장 메모리(832)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(834)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(834)는 다양한 인터페이스를 통하여 전자 장치(801)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(840)은, 예를 들면, 물리량을 계측하거나 전자 장치(801)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(840)은, 예를 들면, 제스처 센서(840A), 자이로 센서(840B), 기압 센서(840C), 마그네틱 센서(840D), 가속도 센서(840E), 그립 센서(840F), 근접 센서(840G), 컬러(color) 센서(840H)(예: RGB(red, green, blue) 센서), 생체 센서(840I), 온/습도 센서(840J), 조도 센서(840K), 또는 UV(ultra violet) 센서(840M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(840)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(840)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(801)는 프로세서(810)의 일부로서 또는 별도로, 센서 모듈(840)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(810)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(840)을 제어할 수 있다.
입력 장치(850)는, 예를 들면, 터치 패널(852), (디지털) 펜 센서(854), 키(856), 또는 초음파 입력 장치(858)를 포함할 수 있다. 터치 패널(852)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(852)은 제어 회로를 더 포함할 수도 있다. 터치 패널(852)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(854)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(856)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(858)는 마이크(예: 마이크(9))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(860)(예: 디스플레이(760))는 패널(862), 홀로그램 장치(864), 프로젝터(866), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(862)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(862)은 터치 패널(852)과 하나 이상의 모듈로 구성될 수 있다. 한 실시 예에 따르면, 패널(862)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(852)과 일체형으로 구현되거나, 또는 터치 패널(852)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(864)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(866)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(801)의 내부 또는 외부에 위치할 수 있다. 인터페이스(870)는, 예를 들면, HDMI(872), USB(874), 광 인터페이스(optical interface)(876), 또는 D-sub(D-subminiature)(878)를 포함할 수 있다. 인터페이스(870)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(870)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(880)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(880)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(880)은, 예를 들면, 스피커(882), 리시버(884), 이어폰(886), 또는 마이크(9) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(891)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(895)은, 예를 들면, 전자 장치(801)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(895)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(896)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(896)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(897)는 전자 장치(801) 또는 그 일부(예: 프로세서(810))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(898)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(801)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치(예: 전자 장치(801))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
다양한 실시 예에 따른 제1 전자 장치는 디스플레이, 메모리, 외부 전자 장치와 데이터를 송수신할 수 있는 통신 모듈, 상기 메모리, 상기 디스플레이, 및 상기 통신 모듈과 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 통신 모듈을 통해 상기 외부 전자 장치와 미라캐스트(miracast) 방식에 따른 채널을 형성하고, 비디오 데이터 또는 오디오 데이터를 포함하는 제1 데이터를 제1 그룹으로 패킷화하고, 상기 외부 전자 장치에서 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 제2 데이터를 상기 제1 그룹과 구분되는 제2 그룹으로 패킷화하고, 상기 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 상기 외부 전자 장치에 송신하고, 상기 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 상기 외부 전자 장치로 송신할 수 있다.
일 실시 예에서, 상기 비디오 데이터 또는 오디오 데이터는 상기 디스플레이를 구동하는 디스플레이 구동 회로의 내부에 포함된 그래픽 램에 저장된 미디어 데이터의 일부일 수 있다. 다른 일 실시 예에서, 상기 비디오 데이터 또는 오디오 데이터는 상기 메모리에 파일 형태로 저장된 미디어 데이터의 일부일 수 있다.
다양한 실시 예에 따르면, 상기 제어 이미지 데이터는 상기 외부 전자 장치의 디스플레이 상 출력되는 제어 이미지의 위치, 크기, 종류에 관한 정보를 포함할 수 있다. 상기 제어 이미지 데이터는 상기 제1 데이터와 연관된 타이밍 신호를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 통신 프로토콜은 상기 제2 통신 프로토콜과 서로 다른 통신 프로토콜일 수 있다. 상기 제1 통신 프로토콜은 TCP (Transmission Control Protocol)이고, 상기 제2 통신 프로토콜은 UDP(User Datagram Protocol)일 수 있다. 상기 제1 통신 프로토콜은 상기 전자 장치와 상기 외부 전자 장치 사이의 양방향 통신 방식이고, 상기 제2 통신 프로토콜은 상기 전자 장치로부터 상기 외부 전자 장치로 데이터가 전송되는 단방향 통신 방식일 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 1 데이터 및 상기 제2 데이터를 MPEG 2(moving picture experts group 2)에 따른 패킷화된 엘리멘터리 스트림(packetized elementary stream; PES)으로 각각 패킷화할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 통신 모듈을 통해 상기 외부 전자 장치와 와이 파이 다이렉트(WiFi Direct) 방식을 통해 연결할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 외부전자 장치로부터 디스플레이 정보를 수신하고, 상기 디스플레이 정보를 기반으로 상기 비디오 데이터 또는 상기 제어 이미지 데이터를 변경할 수 있다. 상기 디스플레이 정보는 상기 외부 전자 장치에 장착된 디스플레이의 해상도 정보, 방향 정보, 상하/좌우 비율 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 제2 전자 장치는 제1 전자 장치와 무선 통신을 수행할 수 있고, 디스플레이, 소리를 출력할 수 있는 음향 출력 모듈, 메모리, 외부 전자 장치와 데이터를 송수신할 수 있는 통신 모듈, 상기 메모리, 상기 디스플레이, 및 상기 통신 모듈과 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 통신 모듈을 통해 상기 제1 전자 장치와 미라캐스트(miracast) 방식에 따른 채널을 형성하고, 상기 제1 전자 장치로부터, 비디오 데이터 또는 오디오 데이터를 포함하는 제1 그룹의 패킷 및 제어 이미지 데이터를 포함하는 제2 그룹의 패킷을 수신하고, 상기 제1 그룹의 패킷으로부터 상기 비디오 데이터 또는 오디오 데이터를 추출하고, 상기 제2 그룹의 패킷으로부터 상기 제어 이미지 데이터를 추출하고, 상기 비디오 데이터를 상기 제어 이미지 데이터와 결합하여 상기 디스플레이를 통해 출력하고, 상기 오디오 데이터를 상기 음향 출력 모듈을 통해 출력할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 상기 제1 전자 장치로부터 수신하고, 상기 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 상기 제1 전자 장치로부터 수신할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 제어 이미지 데이터를 기반으로 출력되는 제어 이미지에 사용자 입력을 수신하는 경우, 상기 제2 통신 프로토콜에 따라 상기 사용자 입력에 대응하는 신호를 상기 제1 전자 장치에 송신할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 제어 이미지 데이터를 기반으로 출력되는 제어 이미지를 상기 메인 컨텐츠가 상기 디스플레이를 통해 출력되는 동안 계속적으로 출력할 수 있다. 다른 일 실시 예에 따르면, 상기 프로세서는 상기 제어 이미지 데이터를 기반으로 출력되는 제어 이미지를 지정된 이벤트에 따라 상기 디스플레이에 출력되는 것을 제한할 수 있다.
도 14는 다양한 실시 예에 따른 프로그램 모듈의 블록도이다. 한 실시 예에 따르면, 프로그램 모듈(910)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 14를 참조하면, 프로그램 모듈(910)은 커널(920)(예: 커널(141)), 미들웨어(930)(예: 미들웨어(743)), (API(960)(예: API(745)), 및/또는 어플리케이션(970)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(910)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(702, 704), 서버(706) 등)로부터 다운로드 가능하다.
커널(920)은, 예를 들면, 시스템 리소스 매니저(921) 및/또는 디바이스 드라이버(923)를 포함할 수 있다. 시스템 리소스 매니저(921)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(921)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(923)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(930)는, 예를 들면, 어플리케이션(970)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(970)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(960)를 통해 다양한 기능들을 어플리케이션(970)으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(930) 는 런타임 라이브러리(935), 어플리케이션 매니저(941), 윈도우 매니저(942), 멀티미디어 매니저(943), 리소스 매니저(944), 파워 매니저(945), 데이터베이스 매니저(946), 패키지 매니저(947), 연결 매니저(948), 통지 매니저(949), 위치 매니저(950), 그래픽 매니저(951), 또는 보안 매니저(952) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(935)는, 예를 들면, 어플리케이션(970)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(935)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(941)는, 예를 들면, 어플리케이션(970)의 생명 주기를 관리할 수 있다. 윈도우 매니저(942)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(943)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(944)는 어플리케이션(970)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(945)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시 예에 따르면, 파워 매니저(945)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(946)는, 예를 들면, 어플리케이션(970)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(947)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(948)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(949)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(950)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(951)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(952)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(930)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시 예에 따르면, 미들웨어(930)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(930)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(960)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(970)은, 예를 들면, 홈(971), 다이얼러(972), SMS/MMS(973), IM(instant message)(974), 브라우저(975), 카메라(976), 알람(977), 컨택트(978), 음성 다이얼(979), 이메일(980), 달력(981), 미디어 플레이어(982), 앨범(983), 와치(984), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(970)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시 예에 따르면, 어플리케이션(970)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(970)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(910)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(720)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    메모리;
    외부 전자 장치와 데이터를 송수신할 수 있는 통신 모듈; 및
    상기 메모리, 상기 디스플레이, 및 상기 통신 모듈과 전기적으로 연결되는 프로세서;를 포함하고,
    상기 프로세서는
    상기 통신 모듈을 통해 상기 외부 전자 장치와 미라캐스트(miracast) 방식에 따른 채널을 형성하고,
    비디오 데이터 또는 오디오 데이터를 포함하는 제1 데이터를 제1 그룹으로 패킷화하고,
    상기 외부 전자 장치에서 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 제2 데이터를 상기 제1 그룹과 구분되는 제2 그룹으로 패킷화하고,
    상기 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 상기 외부 전자 장치에 송신하고,
    상기 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 상기 외부 전자 장치로 송신하는 전자 장치.
  2. 제1항에 있어서, 상기 비디오 데이터 또는 오디오 데이터는
    상기 디스플레이를 구동하는 디스플레이 구동 회로의 내부에 포함된 그래픽 램에 저장된 미디어 데이터의 일부인 전자 장치.
  3. 제1항에 있어서, 상기 비디오 데이터 또는 오디오 데이터는
    상기 메모리에 파일 형태로 저장된 미디어 데이터의 일부인 전자 장치.
  4. 제1항에 있어서, 상기 제어 이미지 데이터는
    상기 외부 전자 장치의 디스플레이 상 출력되는 제어 이미지의 위치, 크기, 종류에 관한 정보를 포함하는 전자 장치.
  5. 제1항에 있어서, 상기 제어 이미지 데이터는
    상기 제1 데이터와 연관된 타이밍 신호를 포함하는 전자 장치.
  6. 제1항에 있어서, 상기 제1 통신 프로토콜은
    상기 제2 통신 프로토콜과 서로 다른 통신 프로토콜인 전자 장치.
  7. 제1항에 있어서, 상기 제1 통신 프로토콜은
    TCP (Transmission Control Protocol)이고,
    상기 제2 통신 프로토콜은 UDP(User Datagram Protocol)인 전자 장치.
  8. 제1항에 있어서, 상기 제1 통신 프로토콜은
    상기 전자 장치와 상기 외부 전자 장치 사이의 양방향 통신 방식이고,
    상기 제2 통신 프로토콜은
    상기 전자 장치로부터 상기 외부 전자 장치로 데이터가 전송되는 단방향 통신 방식인 전자 장치.
  9. 제1항에 있어서, 상기 프로세서는
    상기 1 데이터 및 상기 제2 데이터를 MPEG 2(moving picture experts group 2)에 따른 패킷화된 엘리멘터리 스트림(packetized elementary stream; PES)으로 각각 패킷화하는 전자 장치.
  10. 제1항에 있어서, 상기 프로세서는
    상기 통신 모듈을 통해 상기 외부 전자 장치와 와이 파이 다이렉트(Wi-Fi Direct) 방식을 통해 연결하는 전자 장치.
  11. 제1항에 있어서, 상기 프로세서는
    상기 외부 전자 장치로부터 디스플레이 정보를 수신하고,
    상기 디스플레이 정보를 기반으로 상기 비디오 데이터 또는 상기 제어 이미지 데이터를 변경하는 전자 장치.
  12. 제10항에 있어서, 상기 디스플레이 정보는
    상기 외부 전자 장치에 장착된 디스플레이의 해상도 정보, 방향 정보, 상하/좌우 비율 정보 중 적어도 하나를 포함하는 전자 장치.
  13. 전자 장치에서 수행되는 무선 통신 방법에 있어서,
    외부 전자 장치와 미라캐스트(miracast) 방식에 따른 채널을 형성하는 동작;
    비디오 데이터 또는 오디오 데이터를 포함하는 제1 데이터를 제1 그룹으로 패킷화하는 동작;
    상기 외부 전자 장치에서 사용자 입력을 수신하기 위해 출력되는 제어 이미지 데이터를 포함하는 제2 데이터를 상기 제1 그룹과 구분되는 제2 그룹으로 패킷화하는 동작;
    상기 제1 그룹의 패킷을 제1 통신 프로토콜에 따라 상기 외부 전자 장치에 송신하는 동작; 및
    상기 제2 그룹의 패킷을 제2 통신 프로토콜에 따라 상기 외부 전자 장치로 송신하는 동작;을 포함하는 통신 방법.
  14. 제13항에 있어서, 상기 제1 데이터를 패킷화하는 동작은
    상기 전자 장치의 디스플레이를 구동하는 디스플레이 구동 회로의 내부에 포함된 그래픽 램에 저장된 미디어 데이터를 추출하는 동작;을 포함하는 통신 방법.
  15. 제13항에 있어서, 상기 제1 데이터를 패킷화하는 동작은
    상기 전자 장치의 메모리에 저장된 미디어 파일의 적어도 일부를 비디오 데이터 또는 오디오 데이터로 추출하는 동작;을 포함하는 통신 방법.
PCT/KR2017/010982 2016-10-10 2017-09-29 외부 전자 장치와 통신 방법 및 이를 지원하는 전자 장치 WO2018070727A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/338,805 US20200053417A1 (en) 2016-10-10 2017-09-29 Method for communicating with external electronic device and electronic device supporting same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0130519 2016-10-10
KR1020160130519A KR20180039341A (ko) 2016-10-10 2016-10-10 외부 장치와 통신 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2018070727A1 true WO2018070727A1 (ko) 2018-04-19

Family

ID=61906356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010982 WO2018070727A1 (ko) 2016-10-10 2017-09-29 외부 전자 장치와 통신 방법 및 이를 지원하는 전자 장치

Country Status (3)

Country Link
US (1) US20200053417A1 (ko)
KR (1) KR20180039341A (ko)
WO (1) WO2018070727A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7154833B2 (ja) * 2018-06-20 2022-10-18 キヤノン株式会社 通信装置、通信方法、およびプログラム
JP7118764B2 (ja) * 2018-06-20 2022-08-16 キヤノン株式会社 通信装置、制御方法、およびプログラム
CN110442366B (zh) * 2019-08-09 2021-06-15 广州视源电子科技股份有限公司 一种传屏处理方法、装置、设备和存储介质
CN110399112A (zh) * 2019-08-28 2019-11-01 北京小米移动软件有限公司 一种投屏方法及装置
CN114201128A (zh) 2020-09-02 2022-03-18 华为技术有限公司 一种显示方法及设备
CN114363678A (zh) * 2020-09-29 2022-04-15 华为技术有限公司 一种投屏方法及设备
CN116405758A (zh) * 2020-11-26 2023-07-07 华为技术有限公司 一种数据传输方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334381A1 (en) * 2013-05-08 2014-11-13 Qualcomm Incorporated Video streaming in a wireless communication system
US20150172757A1 (en) * 2013-12-13 2015-06-18 Qualcomm, Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system
US20150249714A1 (en) * 2014-02-28 2015-09-03 Samsung Electronics Co., Ltd. Method and apparatus for displaying application data in wireless communication system
US20150312524A1 (en) * 2014-04-24 2015-10-29 Balaji Vembu Encrypted Screencasting
US20160073155A1 (en) * 2014-09-05 2016-03-10 Qualcomm Incorporated Synchronization and control of overlay contents for video streaming in a wireless communication system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102071573B1 (ko) * 2013-06-13 2020-03-02 삼성전자주식회사 외부 클락 신호를 이용하여 오실레이터의 주파수를 조절할 수 있는 디스플레이 드라이버 ic, 이를 포함하는 장치, 및 이들의 동작 방법
KR20160045062A (ko) * 2013-08-20 2016-04-26 엘지전자 주식회사 직접 통신을 이용한 타 기기의 원격 제어 방법 및 이를 위한 장치
JP6430646B2 (ja) * 2014-12-11 2018-11-28 エルジー エレクトロニクス インコーポレイティド Ｗｆｄにおける補助コンテンツを出力する方法及び装置
US20170026439A1 (en) * 2015-07-22 2017-01-26 Qualcomm Incorporated Devices and methods for facilitating video and graphics streams in remote display applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334381A1 (en) * 2013-05-08 2014-11-13 Qualcomm Incorporated Video streaming in a wireless communication system
US20150172757A1 (en) * 2013-12-13 2015-06-18 Qualcomm, Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system
US20150249714A1 (en) * 2014-02-28 2015-09-03 Samsung Electronics Co., Ltd. Method and apparatus for displaying application data in wireless communication system
US20150312524A1 (en) * 2014-04-24 2015-10-29 Balaji Vembu Encrypted Screencasting
US20160073155A1 (en) * 2014-09-05 2016-03-10 Qualcomm Incorporated Synchronization and control of overlay contents for video streaming in a wireless communication system

Also Published As

Publication number Publication date
US20200053417A1 (en) 2020-02-13
KR20180039341A (ko) 2018-04-18

Similar Documents

Publication Publication Date Title
WO2018070727A1 (ko) 외부 전자 장치와 통신 방법 및 이를 지원하는 전자 장치
WO2016137187A1 (en) Apparatus and method for providing screen mirroring service
WO2018182296A1 (ko) 전자 장치 및 전자 장치의 화면 공유 방법
WO2018101777A1 (ko) 무선 연결을 이용한 오디오 스트리밍 방법 및 장치
WO2017014489A1 (en) Operating method for contents searching function and electronic device supporting the same
WO2016175480A1 (en) Electronic device, adapter device, and video data processing method thereof
WO2015105345A1 (en) Method and apparatus for screen sharing
WO2019004657A1 (en) WIRELESS COMMUNICATION METHOD WITH EXTERNAL DEVICE AND ELECTRONIC DEVICE SUPPORTING THE SAME
WO2015167236A1 (en) Electronic device and method for providing emergency video call service
WO2018048130A1 (ko) 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
WO2018139870A1 (en) Electronic device and method for capturing image in electronic device
WO2018128509A1 (en) Electronic device and method for sensing fingerprints
WO2017026644A1 (en) Method and device for generating video content
WO2018034518A1 (en) Electronic device and method thereof for grip recognition
WO2015199505A1 (en) Apparatus and method for preventing malfunction in an electronic device
WO2017043925A1 (ko) 무선 전력 전송 방법 및 장치
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
KR102187227B1 (ko) 컨텐츠 생성 방법 및 그 전자 장치
WO2017126767A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2018124774A1 (ko) 전자 장치 및 그 제어 방법
WO2018097514A1 (en) Mobile device for providing exercise contents and wearable device connected therewith
WO2016032252A1 (en) Electronic device and method for providing ip network service
WO2017026645A1 (en) Content security processing method and electronic device supporting the same
WO2016036124A1 (en) Electronic device and method for configuring message, and wearable electronic device and method for receiving and executing the message
WO2018194285A1 (ko) 전자 장치 및 전자 장치의 동작을 제어하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860713

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17860713

Country of ref document: EP

Kind code of ref document: A1