WO2018048130A1 - 컨텐츠 재생 방법 및 이를 지원하는 전자 장치 - Google Patents

컨텐츠 재생 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2018048130A1
WO2018048130A1 PCT/KR2017/009400 KR2017009400W WO2018048130A1 WO 2018048130 A1 WO2018048130 A1 WO 2018048130A1 KR 2017009400 W KR2017009400 W KR 2017009400W WO 2018048130 A1 WO2018048130 A1 WO 2018048130A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
content
processor
user
peripheral
Prior art date
Application number
PCT/KR2017/009400
Other languages
English (en)
French (fr)
Inventor
임준학
강혁
김태호
박태건
최규철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/331,696 priority Critical patent/US11245948B2/en
Publication of WO2018048130A1 publication Critical patent/WO2018048130A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Definitions

  • Various embodiments of the present disclosure relate to a content reproduction method and an electronic device supporting the same.
  • wearable electronic devices are, for example, head-mounted displays (HMDs), smart glasses, smart watches, smartbands, contact lenses, and the like.
  • HMDs head-mounted displays
  • Devices ring devices, shoe devices, garment devices, armored devices, and the like. Since the wearable electronic device is directly worn on the body or clothing, portability and accessibility of the user can be dramatically improved, and a realistic image can be provided to the user.
  • a head-worn display device is cumbersome to connect to send and receive content by searching for an external electronic device, requires various steps to execute content, and has a user interface characteristic provided in virtual reality. Is difficult to enter.
  • Various embodiments of the present disclosure relate to a method of continuously executing content running on an external electronic device on a head wearable display device as a user wears the head wearable display device, and an electronic device supporting the same.
  • various embodiments of the present disclosure relate to a method of continuously connecting to a peripheral electronic device as a head wearable display device is worn, and an electronic device supporting the same.
  • a method may include detecting wearing of the electronic device by a user; Acquiring content at an external electronic device in response to detecting the wearing of the electronic device by the user; As the content is acquired by the external electronic device, an operation of executing the obtained content may be included.
  • a method may include detecting wearing of the electronic device by a user; Searching for a peripheral electronic device in response to detecting the wearing of the electronic device by the user; Storing state information of the discovered peripheral electronic device; And connecting to the found neighboring electronic device according to the state information.
  • a method may include detecting wearing of the electronic device by a user; Searching for a peripheral electronic device in response to detecting the wearing of the electronic device by the user; Connecting with the discovered peripheral electronic device; And activating the connected peripheral device as the electronic device executes a function related to the connected peripheral electronic device.
  • An electronic device may include a sensor module operatively connected to the electronic device; A receiving module functionally connected with the electronic device; And a processor, wherein the processor is configured to detect wearing of the electronic device by the user, obtain content from the external electronic device in response to the detection of wearing of the electronic device by the user, and obtain content from the external electronic device. Accordingly, the obtained content can be executed.
  • An electronic device may include a sensor module operatively connected to the electronic device; Memory; And a processor, wherein the processor detects the wearing of the electronic device by the user, searches for the peripheral electronic device in response to the detection of the wearing of the electronic device by the user, and retrieves state information of the found peripheral electronic device.
  • the memory may be stored in a memory and connected to the discovered peripheral electronic device according to the state information.
  • An electronic device may include a sensor module operatively connected to the electronic device; And a processor, wherein the processor detects the wearing of the electronic device by the user, searches for a peripheral electronic device in response to the detection of the wearing of the electronic device by the user, connects to the found peripheral electronic device, and As the electronic device executes a function related to the connected peripheral electronic device, the connected peripheral device may be activated.
  • a content playback method and an electronic device supporting the same may continuously play content of an external electronic device based on wearing of the electronic device. Accordingly, the convenience of the user playing the content with the wearable device and the accessibility of the device are increased.
  • FIG. 1 illustrates an environment for a network including an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • FIG. 4 is a conceptual diagram illustrating a method of continuously playing content according to various embodiments of the present disclosure.
  • FIG. 5 is a flowchart illustrating a method of continuously playing content according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a system for continuously playing content according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of activating a receiving module and receiving an external signal according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of playing content according to a content source according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an operation of an external electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is an exemplary view illustrating a method of continuously playing content according to an embodiment of the present invention.
  • FIG. 11 is a conceptual diagram illustrating a method of connecting an electronic device and a peripheral electronic device according to another embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of connecting an electronic device and a peripheral electronic device according to another exemplary embodiment of the present disclosure.
  • FIG. 13 is a flowchart illustrating a method of connecting an electronic device with a peripheral electronic device associated with an application according to another embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating a system for connecting an electronic device with a peripheral electronic device associated with an application according to another embodiment of the present invention.
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • processor configured (or configured to) perform A, B, and C may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general purpose processor (eg, a CPU or an application processor) capable of performing the corresponding operations.
  • An electronic device may be, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a PMP. It may include at least one of a portable multimedia player, an MP3 player, a medical device, a camera, or a wearable device. Wearable devices may be accessory (e.g. watches, rings, bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), textiles or clothing integrated (e.g.
  • HMDs head-mounted-devices
  • an electronic device may comprise, for example, a television, a digital video disk (DVD) player, Audio, Refrigerator, Air Conditioner, Cleaner, Oven, Microwave Oven, Washing Machine, Air Purifier, Set Top Box, Home Automation Control Panel, Security Control Panel, Media Box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ) , A game console (eg, Xbox TM , PlayStation TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include a variety of medical devices (e.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI) Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI) Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters
  • MRA magnetic resonance angiography
  • an electronic device may be a part of a furniture, building / structure or automobile, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, water, electricity, Gas, or a radio wave measuring device).
  • the electronic device may be flexible or a combination of two or more of the aforementioned various devices.
  • Electronic devices according to embodiments of the present disclosure are not limited to the above-described devices.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 illustrates an environment for a network including an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, and a communication interface 170.
  • the electronic device 101 may omit at least one of the components or additionally include other components.
  • the bus 110 may include circuitry that connects the components 110-170 to each other and transfers communication (eg, control messages or data) between the components.
  • the processor 120 may include one or more of a central processing unit, an application processor, or a communication processor (CP).
  • the processor 120 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 101.
  • the memory 130 may include volatile and / or nonvolatile memory.
  • the memory 130 may store, for example, commands or data related to at least one other element of the electronic device 101.
  • the memory 130 may store software and / or a program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, an application program (or “application”) 147, or the like. . At least a portion of kernel 141, middleware 143, or API 145 may be referred to as an operating system.
  • the kernel 141 may be a system resource (eg, used to execute an action or function implemented in, for example, other programs (eg, middleware 143, API 145, or application program 147).
  • the bus 110, the processor 120, or the memory 130 may be controlled or managed.
  • the kernel 141 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147. Can be.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may process one or more work requests received from the application program 147 according to priority.
  • the middleware 143 may use system resources (eg, the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 for at least one of the application programs 147. Prioritize and process the one or more work requests.
  • the API 145 is an interface for the application 147 to control functions provided by the kernel 141 or the middleware 143.
  • the API 145 may include at least the following: file control, window control, image processing, or character control. It can contain one interface or function (eg command).
  • the input / output interface 150 may transmit, for example, a command or data input from a user or another external device to other component (s) of the electronic device 101, or another component of the electronic device 101 ( Commands or data received from the device) can be output to the user or other external device.
  • Display 160 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display, or an electronic paper display. It may include.
  • the display 160 may display, for example, various types of content (eg, text, images, videos, icons, and / or symbols, etc.) to the user.
  • the display 160 may include a touch screen and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106). Can be.
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 104 or the server 106).
  • the wireless communication may be, for example, LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), or global network (GSM).
  • LTE Long Term Evolution
  • LTE-A LTE Advance
  • CDMA code division multiple access
  • WCDMA wideband CDMA
  • UMTS universal mobile telecommunications system
  • WiBro wireless broadband
  • GSM global network
  • the wireless communication may include, for example, wireless fidelity (WiFi), Bluetooth, Zigbee, near field communication (NFC), magnetic secure transmission, radio frequency (RF), or It may include at least one of a body area network (BAN).
  • BAN body area network
  • the wireless communication may include GNSS.
  • the GNSS may be, for example, a Global Positioning System (GPS), a Global Navigation Satellite System (Glonass), a Beidou Navigation Satellite System (hereinafter referred to as "Beidou”), or a Galileo, the European global satellite-based navigation system.
  • GPS Global Positioning System
  • Glonass Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system.
  • Wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a standard standard232 (RS-232), a power line communication, a plain old telephone service (POTS), and the like. have.
  • the network 162 may comprise a telecommunications network, for example at least one of a computer network (eg, LAN or WAN), the Internet, or a telephone network.
  • Each of the first and second external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101. According to various embodiments of the present disclosure, all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 106). According to this, when the electronic device 101 needs to perform a function or service automatically or by request, the electronic device 101 may instead execute or execute the function or service by itself, or at least some function associated therewith.
  • the other electronic device may request the requested function or The additional function may be executed and the result may be transmitted to the electronic device 101.
  • the electronic device 101 may provide the requested function or service by processing the received result as it is or additionally.
  • Cloud computing distributed computing, or client-server computing techniques can be used.
  • FIG. 2 is a block diagram of an electronic device 201 according to various embodiments.
  • the electronic device 201 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 201 may include one or more processors (eg, an AP) 210, a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, and a display. 260, an interface 270, an audio module 280, a camera module 291, a power management module 295, a battery 296, an indicator 297, and a motor 298.
  • the processor 210 may control, for example, a plurality of hardware or software components connected to the processor 210 by running an operating system or an application program, and may perform various data processing and operations.
  • the processor 210 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 210 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the processor 210 may include at least some of the components illustrated in FIG. 2 (eg, the cellular module 221).
  • the processor 210 may load and process instructions or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store the result data in the nonvolatile memory.
  • the communication module 220 may be, for example, a cellular module 221, a WiFi module 223, a Bluetooth (BT) module 225, a Bluetooth low energy (BLE) module 226, a GNSS module. 227, NFC module 228 and RF module 229.
  • the cellular module 221 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network.
  • the cellular module 221 may perform identification and authentication of the electronic device 201 in a communication network by using a subscriber identification module (eg, a SIM card) 224.
  • a subscriber identification module eg, a SIM card
  • the cellular module 221 may perform at least some of the functions that the processor 210 may provide.
  • the cellular module 221 may include a communication processor (CP).
  • CP communication processor
  • at least some (eg, two) of cellular module 221, WiFi module 223, Bluetooth module 225, low power Bluetooth module 226, GNSS module 227, or NFC module 228. The above) may be included in one integrated chip (IC) or IC package.
  • the RF module 229 may transmit / receive a communication signal (for example, an RF signal), for example.
  • the RF module 229 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • At least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the low power Bluetooth module 226, the GNSS module 227, or the NFC module 228 is a separate RF module. It can transmit and receive the RF signal through.
  • Subscriber identification module 224 may include, for example, a card or embedded SIM that includes a subscriber identification module, and may include unique identification information (eg, integrated circuit card identifier (ICCID)) or subscriber information (eg, IMSI). (international mobile subscriber identity)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may include, for example, volatile memory (for example, DRAM, SRAM, or SDRAM), nonvolatile memory (for example, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM).
  • the flash memory may include at least one of a flash memory, a hard drive, or a solid state drive (SSD)
  • the external memory 234 may be a flash drive, for example, a compact flash (CF) or a secure digital (SD). ), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), memory stick, etc.
  • the external memory 234 may be functionally connected to the electronic device 201 through various interfaces. Or physically connected.
  • the sensor module 240 may measure, for example, a physical quantity or detect an operation state of the electronic device 201 and convert the measured or detected information into an electrical signal.
  • the sensor module 240 includes, for example, a gesture sensor 240A, a gyro sensor 240B, an air pressure sensor 240C, a magnetic sensor 240D, an acceleration sensor 240E, a grip sensor 240F, and a proximity sensor ( 240G), color sensor 240H (e.g., red (green, blue) sensor), biometric sensor 240I, temperature / humidity sensor 240J, illuminance sensor 240K, or UV (ultra violet) ) May include at least one of the sensors 240M.
  • sensor module 240 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electrocardiogram (EEG) sensor, an electrocardiogram (ECG) sensor, Infrared (IR) sensors, iris sensors and / or fingerprint sensors.
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 201 further includes a processor configured to control the sensor module 240 as part of or separately from the processor 210, while the processor 210 is in a sleep state.
  • the sensor module 240 may be controlled.
  • the proximity sensor 240G may detect user's wearing of the head worn electronic device.
  • the input device 250 may include, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device 258.
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate recognition sheet.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 288) and check data corresponding to the detected ultrasonic waves.
  • Display 260 may include panel 262, hologram device 264, projector 266, and / or control circuitry to control them.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured with the touch panel 252 and one or more modules.
  • the hologram 264 may show a stereoscopic image in the air by using interference of light.
  • the projector 266 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 201.
  • the interface 270 may include, for example, an HDMI 272, a USB 274, an optical interface 276, or a D-subminiature 278.
  • the interface 270 may be included in, for example, the communication interface 170 illustrated in FIG. 1. Additionally or alternatively, interface 270 may include, for example, a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. have.
  • MHL mobile high-definition link
  • MMC multi-media card
  • IrDA infrared data association
  • the audio module 280 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 280 may be included in, for example, the input / output interface 145 illustrated in FIG. 1.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images. According to one embodiment, the camera module 291 is one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). Or flash (eg, LED or xenon lamp, etc.).
  • the power management module 295 may manage power of the electronic device 201, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger IC, or a battery or fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the battery 296 may include, for example, a rechargeable cell and / or a solar cell.
  • the indicator 297 may display a specific state of the electronic device 201 or a part thereof (for example, the processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert electrical signals into mechanical vibrations, and may generate vibrations or haptic effects.
  • the electronic device 201 may be, for example, a mobile TV supporting device capable of processing media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo TM . : GPU).
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • mediaFlo TM . : GPU mediaFlo TM .
  • Each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device eg, the electronic device 201) may include some components, omit additional components, or combine some of the components to form a single entity. It is possible to perform the same function of the previous corresponding
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • the program module 310 may include an operating system and / or various applications running on the operating system for controlling resources related to the electronic device (eg, the electronic device 101).
  • the application program 147 may be included.
  • the operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • the program module 310 may include the kernel 320 (eg, the kernel 141), the middleware 330 (eg, the middleware 143), and the API 360 (eg, the API 145).
  • At least a portion of the program module 310 may be preloaded on the electronic device or may be an external electronic device (eg, an electronic device ( 102, 104, server 106, etc.).
  • the kernel 320 may include, for example, a system resource manager 321 and / or a device driver 323.
  • the system resource manager 321 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 321 may include a process manager, a memory manager, or a file system manager.
  • the device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • the middleware 330 may provide various functions through the API 360, for example, to provide functions commonly required by the application 370, or to allow the application 370 to use limited system resources inside the electronic device.
  • the middleware 330 may include a runtime library 335, an application manager 341, a window manager 342, a multimedia manager 343, a resource manager 344, a power manager 345, and a database manager ( 346, a package manager 347, a connectivity manager 348, a notification manager 349, a location manager 350, a graphic manager 351, or a security manager 352.
  • the runtime library 335 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 370 is running.
  • the runtime library 335 may perform input / output management, memory management, or arithmetic function processing.
  • the application manager 341 may manage, for example, the life cycle of the application 370.
  • the window manager 342 may manage GUI resources used on the screen.
  • the multimedia manager 343 may identify a format necessary for playing the media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 344 may manage space of source code or memory of the application 370.
  • the power manager 345 may manage, for example, the capacity or power of the battery and provide power information necessary for the operation of the electronic device.
  • the power manager 345 may interwork with a basic input / output system (BIOS).
  • the database manager 346 may create, retrieve, or change a database to be used, for example, in the application 370.
  • the package manager 347 may manage installation or update of an application distributed in the form of a package file.
  • the connectivity manager 348 may manage, for example, a wireless connection.
  • the notification manager 349 may provide the user with events such as, for example, an arrival message, an appointment, a proximity notification, and the like.
  • the location manager 350 may manage location information of the electronic device, for example.
  • the graphic manager 351 may manage, for example, graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 352 may provide system security or user authentication, for example.
  • the middleware 330 may include a telephony manager for managing a voice or video call function of the electronic device or a middleware module capable of forming a combination of functions of the above-described components. .
  • the middleware 330 may provide a module specialized for each type of operating system.
  • the middleware 330 may dynamically delete some of the existing components or add new components.
  • API 360 is, for example, a set of API programming functions, which may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 370 is, for example, a home 371, a dialer 372, an SMS / MMS 373, an instant message (IM) 374, a browser 375, a camera 376, an alarm 377. , Contacts 378, voice dials 379, emails 380, calendars 381, media players 382, albums 383, watches 384, health care (e.g., measures exercise or blood sugar) Or an application for providing environmental information (eg, barometric pressure, humidity, or temperature information).
  • the application 370 may include an information exchange application capable of supporting information exchange between the electronic device and the external electronic device.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may deliver notification information generated by another application of the electronic device to the external electronic device, or receive notification information from the external electronic device and provide the notification information to the user.
  • the device management application may be, for example, the ability of an external electronic device to communicate with the electronic device (e.g. turn-on / turn-off of the external electronic device itself (or some component) or the brightness (or resolution) of the display). Control), or install, delete, or update an application running on the external electronic device.
  • the application 370 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • the application 370 may include an application received from an external electronic device.
  • At least a portion of the program module 310 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 210), or a combination of at least two or more thereof, and a module for performing one or more functions; It can include a program, routine, instruction set, or process.
  • module includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) according to various embodiments may be stored on a computer-readable storage medium (eg, memory 130) in the form of a program module. It can be implemented as.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical recording media (e.g. CD-ROM, DVD, magnetic-optical media (e.g. floppy disks), internal memory, etc.
  • Instructions may include code generated by a compiler or code executable by an interpreter Modules or program modules according to various embodiments may include at least one or more of the above-described components. In some embodiments, operations performed by a module, a program module, or another component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least, or may include other components. Some operations may be executed in a different order, omitted, or other operations may be added.
  • an electronic device may include: a sensor module functionally connected to the electronic device; A receiving module functionally connected with the electronic device; And a processor, wherein the processor is configured to detect wearing of the electronic device by the user, obtain content from the external electronic device in response to the detection of wearing of the electronic device by the user, and obtain content from the external electronic device. Accordingly, the obtained content can be executed.
  • the processor may activate a proximity sensor included in a sensor module functionally connected to the electronic device, and detect the user's wearing of the electronic device using the proximity sensor.
  • the processor may activate the receiving module in response to detecting the wearing of the electronic device by the user, and receive a signal including content information from the external electronic device using the receiving module.
  • the processor, the receiving module may include at least one of an audio module, a camera module, and an RF module.
  • the processor determines whether the virtual reality content exists in the content information, and if the virtual reality content exists in the content information, executes the virtual reality content, and the virtual reality content does not exist in the content information. If not, the content may be converted into virtual reality content.
  • the processor may determine whether the content is content streamed from a server.
  • the processor may execute the streamed content.
  • the processor may acquire content running on the external electronic device.
  • An electronic device may include a sensor module operatively connected to the electronic device; Memory; And a processor, wherein the processor detects the wearing of the electronic device by the user, searches for the peripheral electronic device in response to the detection of the wearing of the electronic device by the user, and retrieves state information of the found peripheral electronic device.
  • the memory may be stored in a memory and connected to the discovered peripheral electronic device according to the state information.
  • the processor may activate a proximity sensor included in a sensor module functionally connected to the electronic device, and detect the user's wearing of the electronic device using the proximity sensor.
  • the processor may execute an application in response to a user input, determine whether a peripheral electronic device related to the executed application exists, and execute the application if there is a peripheral electronic device related to the executed application.
  • the peripheral electronic device related to the application may be connected.
  • the processor may determine whether there is a peripheral electronic device associated with the executed application based on the state information.
  • the processor may activate the peripheral device as the electronic device executes a function related to the peripheral electronic device.
  • An electronic device may include a sensor module operatively connected to the electronic device; And a processor, wherein the processor detects the wearing of the electronic device by the user, searches for a peripheral electronic device in response to the detection of the wearing of the electronic device by the user, connects to the found peripheral electronic device, and As the electronic device executes a function related to the connected peripheral electronic device, the connected peripheral device may be activated.
  • a computer recording medium executed by at least one processor and storing computer readable instructions, the instructions comprising: detecting a user's wearing of the electronic device; Acquiring content at an external electronic device in response to detecting the wearing of the electronic device by the user; And executing the acquired content as the content is acquired by the external electronic device.
  • FIG. 4 is a conceptual diagram illustrating a method of continuously playing content according to various embodiments of the present disclosure.
  • an electronic device 201 an external electronic device 410, and a server 420 are illustrated.
  • the electronic device 201 may play content by transmitting and receiving with the external electronic device 410, or play content by transmitting and receiving with the external electronic device 410 and the server 420.
  • the technical spirit of the present invention is not limited thereto.
  • the electronic device 201 may detect the user's wearing of the electronic device 201 through at least one sensor module 240 functionally connected with the electronic device 201.
  • the user may wear the head worn electronic device 201 on the head as shown in FIG. 4, and in addition, the electronic device 201 may be mounted on the body of the user in various forms according to the type of the wearable device. Can be attached.
  • smart glasses may be worn on the head, and in addition, a smart band, a contact lens device, a ring device, a shoe device, a clothing device, a glove device, and the like may be worn on a human body.
  • the technical spirit of the present invention is not limited thereto.
  • the electronic device 201 will be described on the premise that it is a head worn electronic device.
  • the electronic device 201 may detect the user's wearing of the electronic device 201 using the proximity sensor 240G.
  • the proximity sensor 240G is a sensor for detecting that an object has come close to each other, and includes a high frequency oscillation type, a capacitive type, a magnetic type, a photoelectric type, an ultrasonic type, and the like according to a detection principle.
  • the electronic device 201 may activate the receiving module according to the detection of the user's wearing of the electronic device 201.
  • the receiving module may include at least one of an RF module 229, an audio module 280, and a camera module 291. The receiving module may be activated when the user wears the electronic device 201 and may be activated by an external request or a user input. Operation of the reception module of the electronic device 201 will be described in detail later with reference to FIG. 7.
  • the electronic device 201 may receive a signal transmitted from the external electronic device 410 in response to detecting the user's wearing of the electronic device 201.
  • the electronic device 201 may be a device for scanning the external electronic device 410, and the external electronic device 410 may be a device for advertising its identification information.
  • the electronic device 201 may search for the external electronic device 410 by using at least one receiving module. That is, the electronic device 201 may search for the external electronic device 410 by receiving a signal transmitted from the external electronic device 410 and analyzing the received signal. For example, the electronic device 201 according to an embodiment of the present invention may receive advertisement information broadcast from the external electronic device 410. In this case, the electronic device 201 analyzes the advertisement information to identify identification information of the external electronic device 410, capability information regarding communication methods supported by the external electronic device 410, and Information about a communication method and state information of the external electronic device 410 may be checked.
  • the electronic device 201 may search for the external electronic device 410 as the electronic device 201 is turned on or the user wears the electronic device. For example, as the electronic device 201 is turned on, the electronic device 201 may activate the receiving module to receive advertisement information broadcast from the external electronic device 410.
  • the electronic device 201 may include a seamless sensing platform (SSP).
  • SSP seamless sensing platform
  • the SSP may operate independently of the processor 210.
  • the electronic device 100 may connect the sensor module 240 or the communication module 220 to a sensor hub of the SSP to collect sensing information or to collect sensing information without waking the processor 210 in the sleep mode.
  • the search for the electronic device 201 and the surroundings of the electronic device 201 may be recognized by searching the 410.
  • the external electronic device 410 may transmit information about the external electronic device 410 (eg, identification information, function information, status information, information on a preferred communication method, and communication connection information) through a plurality of communication methods. Etc.) and the content information may be advertised (eg, broadcasted).
  • the external device 410 may transmit information about content running in the external electronic device 410 to the peripheral device through short range wireless communication.
  • the external device 410 may include information about the external electronic device 410 through wireless communication such as BLE communication, Ant + communication, near field communication (NFC), sound communication, Zigbee communication, and WAVE, and the external electronic device 410. May broadcast information about the content being executed in the.
  • broadcast may mean providing data to the outside. That is, the broadcast may include providing, transmitting, displaying, outputting data, and the like.
  • the content may include various pieces of information or contents transmitted and received in both directions through a network, such as an image, a video, a sound source, a game, and the like, information digitally produced, sold, and used through an information device. Can be.
  • the content may include virtual reality content and augmented reality content.
  • the present invention is not limited thereto.
  • the virtual reality content means one of the types of three-dimensional content in the following it will be described mixed with the virtual reality content and three-dimensional content in the same meaning.
  • the sound communication means a communication scheme for transmitting and receiving data using sound.
  • the external electronic device 410 may insert data into an inaudible region of sound or music or a guide broadcast to broadcast to the outside.
  • the external electronic device 410 may transmit and receive data using time information, and the data transmission and reception method is not limited thereto.
  • the external electronic device 410 may vary. That is, the external electronic device 410 may be a display device including a screen capable of playing at least one content.
  • the external electronic device 410 described in the present specification may be a television, a mobile phone, a smart phone, a laptop computer, a desktop PC, a laptop PC, a tablet PC, an e-book terminal, a digital broadcasting terminal. , Personal digital assistants (PDAs), portable multimedia players (PMPs), medical devices, digital cameras, smart TVs, set-top boxes, and the like, but are not limited thereto. Operations between the external electronic device 410 and the electronic device 201 will be described in detail later with reference to FIGS. 9 and 10.
  • the electronic device 201 acquires the content from the external electronic device 410 according to the detection of the user's wearing of the electronic device 201, and acquires the content from the external electronic device 410. You can run Specifically, in an embodiment, the electronic device 201 may receive a signal including content information running on the external electronic device 410 in response to the detection of wearing the electronic device 201, and receive the signal. After that, the content that is being executed by the external electronic device 410 may be continuously executed. An operation of executing content of the electronic device 201 will be described in detail later with reference to FIGS. 5 and 6.
  • the server 420 may transmit streaming data to the external electronic device 410 or the electronic device 201.
  • the electronic device 201 may receive content from the external electronic device 410 or from the server 420. Operation between the server 420 and the electronic device 201 will be described in detail later with reference to FIG. 8.
  • FIG. 5 is a flowchart illustrating a method of continuously playing content according to an embodiment of the present invention.
  • the electronic device 201 will be described on the premise that it is a head worn electronic device. However, the electronic device 201 is not limited thereto and may be another type of wearable device. In addition, hereinafter, it will be described on the premise that the virtual reality content and the two-dimensional content are executable content in the electronic device 201.
  • content transmitted from the external electronic device 410 may be content compatible with each other so as to be executable in the electronic device 201.
  • the electronic device 201 may include a conversion module that converts the content so that the transmitted content can be executed. However, it is not limited to this.
  • the processor 210 may activate at least one receiving module 240 electrically connected to the electronic device 101 to obtain motion information of a nearby object.
  • the processor 210 may acquire movement information of a nearby object by activating at least one proximity sensor 240G electrically connected to the electronic device 101.
  • the processor 210 may detect the user's wearing of the electronic device 201 through the proximity sensor 240G.
  • the proximity sensor 240G may detect a series of behaviors in which the user's head is worn in proximity to the electronic device 201.
  • the processor 210 may activate a receiving module that detects an external signal according to the wearing detection of the electronic device 201 by the user.
  • the receiving module may include at least one of an RF module 229, an audio module 280, and a camera module 291.
  • the receiving module may be activated when the user wears the electronic device 201 and may be activated based on a user input. Operation of the reception module of the electronic device 201 will be described in detail later with reference to FIG. 7.
  • the processor 210 receives a signal transmitted from the external electronic device 410 through a receiving module.
  • the signal may be a broadcasting signal transmitted from the external electronic device 410.
  • the signal may include information corresponding to content being executed in the external electronic device 410.
  • the information corresponding to the content may include information such as an image, a video, a sound source, a game, and the like, and may also include virtual reality content and augmented reality content information.
  • the processor 210 may receive a signal according to the detection of wearing of the electronic device by the user.
  • the processor 210 decodes the received signal.
  • the processor 210 may request additional data from the external electronic device 410 through the communication module 220.
  • the electronic device 201 may form a channel with the external electronic device 410 and may receive additional data.
  • the processor 210 may determine whether at least one virtual reality content exists in the content information.
  • the head wearable electronic device is a device specialized for playing virtual reality content, and the processor 210 may detect whether the virtual reality content exists in the received content information.
  • the processor 210 may search for at least one virtual reality content when the virtual reality content exists in the content information.
  • the processor 210 may execute the retrieved virtual reality content.
  • the processor 210 may execute virtual reality content related to content running on the external electronic device 410.
  • the virtual reality content may be linked content included in content running on the external electronic device 410. For example, when the soccer image content running on the external electronic device 410 includes a soccer highlight image composed of virtual reality content, the soccer highlight image may be searched as the virtual reality content.
  • the virtual reality content running on the external electronic device 410 may be searched. However, it is not limited to this.
  • the processor 210 may search for at least one content when there is no virtual reality content in the content information.
  • the electronic device 201 may be terminated, or the processor 210 may display a basic menu.
  • the processor 210 may convert the content into virtual reality content when the content is retrieved.
  • the processor 210 may convert 2D content into virtual reality content.
  • the electronic device 201 may include a virtual reality content conversion module.
  • the virtual reality content conversion module may convert the content into virtual reality content (3D content).
  • the virtual reality content (3D content) conversion module generates a 3D image by giving a depth to the 2D image.
  • the virtual reality content conversion module divides a frame of video data of a 2D image into blocks having a predetermined size, and selects a block most similar to a predetermined block of the current frame among blocks of previous frames.
  • the virtual reality content conversion module obtains a motion vector for each divided block of the current frame and synthesizes the selected blocks to generate a new frame.
  • the present invention is not limited thereto, and the virtual reality content conversion module may generate a depth map using the composition information of the frame and give a new frame by using the composition information of the frame to give a sense of depth to the image.
  • the virtual reality content conversion module determines one of the new frame and the current frame as the left eye image, and determines the remaining frames as the right eye image, or refreshes the left and right eye images using the new frame and the current frame.
  • Create The virtual reality content conversion module generates a frame in 3D format such that both left and right images are included in one frame, and sends the frame to the display 260.
  • the display 260 alternately outputs left and right eye images included in a frame whose brightness is compensated in units of 1/120 seconds.
  • the virtual reality content conversion module is not limited thereto and may convert the content into virtual reality content using various methods.
  • the processor 210 may execute the converted virtual reality content.
  • the processor 210 may play the virtual reality content using the received content information.
  • the processor 210 may transmit a streaming data request signal to the server 420, and The server 420 receiving the request signal may provide virtual reality content to the electronic device 201 in a streaming manner in real time.
  • the processor 210 detects the wearing of the electronic device 201 by the user, and activates a receiving module when the user wears the electronic device 201, an external signal receiving operation, a received signal decoding operation, a virtual reality content search operation,
  • the virtual reality content conversion operation and the virtual reality content operation may be continuously executed. That is, in the operation disclosed in FIG. 5, as the user wears the electronic device 201, the user may continuously execute the virtual reality content associated with the content running on the external electronic device 410. Accordingly, the user may simply watch the virtual reality content related to the content running on the external electronic device by only wearing the electronic device 201.
  • the processor 210 may directly execute the content transmitted from the external electronic device 410 without determining whether the virtual reality content is included in the content information. For example, when only one content is transmitted from the external electronic device 410, the electronic device 201 may immediately play the content. In addition, when the electronic device 201 receives a plurality of contents from the external electronic device 410, the electronic device 201 may selectively play the content. For example, the first transmitted content or the last transmitted content can be immediately played back. According to an embodiment of the present invention, at least one of the plurality of contents is first selected according to the situation of the electronic device, the priority set by the user, the user's preference determined according to the accumulated contents playlist of the user, the playing time of the contents, etc. Can play. However, the contents of the reproduction order and method can be set in various ways, and are not limited to the method.
  • FIG. 6 is a flowchart illustrating a system for continuously playing content according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an operation relationship between the electronic device 601, the external electronic device 610, and the server 620.
  • the electronic device 601, the external electronic device 610, and the server 620 may be connected to each other through a network or a communication interface.
  • the server 620 may transmit content to the external electronic device 610 through a network.
  • the server 620 may stream content in real time.
  • the external electronic device 610 may execute content transmitted from the server 620.
  • the user may be watching content through the external electronic device 610.
  • it is not limited to this.
  • the electronic device 601 may detect the user's wearing of the electronic device 601 using the sensor module 240 functionally connected to the electronic device 601. For example, the user may recognize the existence of the virtual reality content on the external electronic device 610 while watching the content on the external electronic device 610, and the electronic device 601 to view the virtual reality content. I can wear it. However, it is not limited to this.
  • the electronic device 601 may activate the receiving module according to the wearing detection of the electronic device 601 by the user.
  • the external electronic device 610 may transmit a signal including content information to the electronic device 601.
  • the external electronic device 610 may periodically broadcast a signal including the content information without transmitting a signal including the content information at any particular step.
  • the external electronic device 610 may broadcast a signal including the content information to the electronic device 610.
  • the electronic device 601 may determine whether virtual reality content exists in the received content information after decoding the received signal.
  • the processor 210 may search for at least one virtual reality content when the virtual reality content exists in the content information.
  • the server 620 streams the content retrieved from the electronic device 601 according to a request of the electronic device 601. Since the virtual reality content has a large amount of data, the server 620 may provide the content in a streaming format. For example, the electronic device 601 may transmit a signal for requesting the same content as the content received from the external electronic device 610 to the server 620 using the received content information. As the server 620 receives the signal, the server 620 may stream the content to the electronic device 601. In this case, the server 620 may continuously stream or stop streaming content to the external electronic device 610.
  • the external electronic device 610 may send a request signal to the server 620 to stream content to the electronic device 601. Accordingly, the server 620 may provide content to the electronic device 610.
  • the electronic device 601 may execute the content using only the content information received from the external electronic device 610 without receiving the content from the server 620. According to another embodiment, the electronic device 601 may request additional data from the external electronic device 610 when it is difficult to execute content only by the content information provided from the external electronic device 610.
  • the electronic device 601 may search for the content when the virtual reality content does not exist.
  • the processor 210 may perform an operation of converting content into virtual reality content.
  • the processor 210 may perform an operation of converting 2D content into virtual reality content.
  • the electronic device 601 may execute the searched virtual reality content or the converted virtual reality content. For example, when the user wears the electronic device 601, the user may continuously execute and watch content that is being executed on the external electronic device 610.
  • FIG. 7 is a flowchart illustrating a method of activating a receiving module and receiving an external signal according to an embodiment of the present invention.
  • FIG. 7 is a flowchart specifically describing an operation (operation 505 of FIG. 5) of the electronic device 201 activating a receiving module according to a type of a signal transmitted from an external electronic device.
  • operations 701, 715, and 717 of FIG. 7 are the same as operations 503, 507, and 509 of FIG. 5, and thus descriptions thereof will be omitted.
  • the processor 120 activates the audio module 280 when the signal transmitted from the external electronic device 410 is a voice signal.
  • the audio module 280 may receive an external voice signal by using at least one of a speaker, a receiver, an earphone, and a microphone.
  • the external electronic device 410 may broadcast a voice signal to the outside by inserting data into an inaudible region of sound or music or a guide broadcast.
  • the processor 210 may activate the audio module 280 to receive a voice signal according to the detection of wearing of the electronic device 201 by the user without a separate user input.
  • the processor 210 may receive an external voice signal as the user detects an input that activates at least one of the speaker 282, the receiver 284, the earphones 286, and the microphone 288. have.
  • the processor 120 activates the camera module 291 when the signal transmitted from the external electronic device 410 is a visual signal.
  • the camera module 291 may receive an external visual signal.
  • the external electronic device 410 may broadcast the visual signal to the outside by inserting data in the invisible region or the image of the visual image.
  • the processor 210 may receive a visual signal by activating the camera module 291 according to the detection of wearing of the electronic device 201 by the user. According to an embodiment of the present disclosure, the processor 210 may receive an external visual signal as the user detects an input for activating the camera module 291.
  • the processor 120 activates the RF module 229 when the signal transmitted from the external electronic device 410 is a radio (RF) signal.
  • the RF module 229 may receive an external radio signal.
  • the external electronic device 410 may broadcast a wireless signal to the outside using a plurality of communication methods.
  • the processor 210 may activate the RF module 229 to receive a radio signal according to the detection of the wearing of the electronic device 201 by the user.
  • the processor 210 may receive an external wireless signal as the user detects an input for activating the communication module 220.
  • the operation of recognizing the voice signal, the visual signal, and the RF signal is not limited to the operations performed sequentially and is not limited to the order shown in the drawings. According to an embodiment of the present disclosure, the operation of determining the signal type may be performed at least simultaneously, or the order may be variably adjusted according to the type, characteristic, or setting of the electronic device.
  • operations 511, 513, and 515 described in FIG. 5 may be executed sequentially, or operations 511, 517, 519, and 515 described in FIG. 5 may be executed sequentially.
  • at least one of the audio module 280, the camera module 291, and the RF module 229 may be used to receive a signal including content information running in the external electronic device 410, and to receive the received signal. Decode.
  • the virtual reality content is searched and executed when the virtual reality content exists, and the content is executed when the virtual reality content does not exist.
  • the virtual reality content converted to the content may be executed. (Return)
  • the present invention is not limited thereto.
  • FIG. 8 is a flowchart illustrating a method of playing content according to a content source according to another embodiment of the present invention.
  • the content transmitted from the external electronic device 410 may be content stored in the external storage device 410, content delivered in real time from the server 420, or live. (Live) may be broadcast content.
  • live live
  • the technical spirit of the present invention is not limited thereto.
  • operations 801 to 809 are the same as operations 501 to 509 described with reference to FIG. 5, a detailed description thereof will be omitted.
  • the processor 210 may decode the received signal and determine whether the received signal includes streaming data of the server 420.
  • the processor 210 may determine whether at least one virtual reality content exists in the streaming data.
  • the processor 210 may stream at least one virtual reality content when the virtual reality content exists in the streaming data.
  • the processor 210 may make a streaming data transmission request to the server 420.
  • the processor 210 may play the virtual reality content.
  • the server 420 may be connected to the electronic device 201 through the network 162.
  • the server 420 receives a request from the external electronic device 401 or the electronic device 201 to play content played on the external electronic device 410 on the electronic device 201
  • the server 420 sends the request to the external electronic device 401.
  • the streaming may be stopped and content may be streamed to the electronic device 201 by converting the streaming data so that the electronic device 201 may reproduce the streaming data.
  • the present disclosure is not limited thereto, and the electronic device 201 may receive content from the server 420 in various ways.
  • the processor 210 may stream at least one content when there is no virtual reality content in the streaming data.
  • the processor 210 may convert the content into virtual reality content.
  • the electronic device 201 may include a virtual reality content conversion module.
  • the virtual reality content conversion module may convert the content into virtual reality content (3D content).
  • the virtual reality content conversion module generates a 3D image by giving a depth to the 2D image.
  • the virtual reality content conversion module divides a frame of video data of a 2D image into blocks having a predetermined size, and selects a block most similar to a predetermined block of the current frame among blocks of previous frames.
  • the virtual reality content conversion module obtains a motion vector for each divided block of the current frame and synthesizes the selected blocks to generate a new frame.
  • the present invention is not limited thereto, and the virtual reality content conversion module may generate a depth map using the composition information of the frame and give a new frame by using the composition information of the frame to give a sense of depth to the image.
  • the virtual reality content conversion module determines one of the new frame and the current frame as the left eye image, and determines the remaining frames as the right eye image, or refreshes the left and right eye images using the new frame and the current frame.
  • Create The virtual reality content conversion module generates a frame in 3D format such that both left and right images are included in one frame, and sends the frame to the display 260.
  • the display 260 alternately outputs left and right eye images included in a frame whose brightness is compensated in units of 1/120 seconds.
  • the virtual reality content conversion module is not limited thereto and may convert 2D content into 3D content using various methods.
  • the processor 210 may play the converted virtual reality content.
  • the processor 210 may include at least a portion of the content information included in the received signal to the virtual reality content. It may be determined whether the corresponding data or packet is included. When there is no streaming data of the server 420, the received content information may be content stored in the external electronic device 410 or live broadcast content. In one embodiment, the processor 210 may play the searched virtual reality content or convert the searched 2D content into 3D content to play.
  • a mirroring technique may be applied to the electronic device 201 and the external electronic device 410.
  • the mirroring technique is a technique capable of sharing and manipulating screen data between devices having a display unit.
  • mirroring technology allows screen data to be shared and used between personal computers.
  • the mirroring technology is widely developed to be applied to any electronic device capable of outputting a screen through a display unit such as a portable computer such as a laptop, a netbook or a tablet PC, a portable terminal such as a smart phone or a PDA, and a TV. It is becoming.
  • a mirroring technology to a plurality of electronic devices, it is possible to provide a mirroring service (mirroring service) that allows the screen sharing and remote control between each other.
  • Airplay and Miracast can both display common multimedia content on the screen of the television via Wi-Fi, as well as enable full mirroring.
  • the television may display a display screen.
  • the smartphone can be used like a handle.
  • the present invention is not limited thereto.
  • FIG. 9 is a flowchart illustrating an operation of an external electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is an exemplary view illustrating a method of continuously playing content according to an embodiment of the present invention.
  • 9 and 10 illustrate an operation of an external electronic device and a corresponding operation of the electronic device when the user wears the electronic device 201 to execute content.
  • the external electronic device 410 executes content.
  • the content is content provided by the server 420 in a streaming format or stored inside the external electronic device 410.
  • the content may be virtual reality content, and a part of the content may include an event associated with the virtual reality content. However, it is not limited to this.
  • the external electronic device 410 may include information about the external electronic device 410 (eg, identification information, function information, status information, information on a preferred communication method, communication connection information, etc.). , The content information can be advertised.
  • the external electronic device 410 may process the advertisement information in the form of an advertising packet and broadcast it to the outside through a BLE (Bluetooth Low Energy) communication unit.
  • BLE Bluetooth Low Energy
  • the external electronic device 410 may not know a communication method supported by the electronic device 201, and thus may broadcast advertisement information through a plurality of communication methods.
  • the external electronic device 410 includes a speaker and a BLE communication unit
  • the external electronic device 410 outputs the advertisement signal with the advertisement information to the outside through the speaker and simultaneously outputs the advertisement information in the form of an advertising packet. It can be processed and broadcast to the outside through the BLE communication unit.
  • it is not limited to this.
  • the electronic device 201 may automatically search for the external electronic device 410 when a predetermined event occurs.
  • the electronic device 201 may detect occurrence of a predetermined event related to device search.
  • the predetermined event may be an event that triggers a search of the external electronic device 410.
  • the predetermined event may be an event in which the user wears the electronic device 201, but is not limited thereto.
  • the electronic device 201 may switch at least one receiving module in an inactive state for communicating with the external electronic device 410 to an active state based on the occurrence of a predetermined event. That is, in one embodiment, the electronic device 201 may switch at least one of the RF module 229, the audio module 280, and the camera module 291 to an active state. In an embodiment, the electronic device 201 may scan the external electronic device 410 through the activated receiving module. That is, according to an embodiment of the present disclosure, the electronic device 201 may receive information about the external electronic device 410 and information about contents, which are broadcast from the external electronic device 410 through the activated receiving module. .
  • the external electronic device 410 may form a communication link (channel) for transmitting and receiving data with the electronic device 201.
  • the communication link may be formed using the same communication method as the communication method for receiving the advertisement information broadcast from the external electronic device 410, or a communication method different from the communication method for receiving the advertisement information (Out of Band). It may be formed using.
  • the electronic device 201 may form a communication link using the same BLE communication method. It is also possible to form a communication link with different Wi-Fi Direct communication methods. However, it is not limited to this.
  • the communication link may be a virtual connection link of a non-connection type that transmits and receives advertising packets by mutual scanning between the electronic device 201 and the external electronic device 410, or connects the electronic device 201. It may also be a communication link of a connection type in which a session is formed by request.
  • the external electronic device 410 is connected to the electronic device 201 via the advertising channel connection information (eg, SSID, IP address, MAC address, channel number, security key, Bluetooth address (BT) By exchanging an address, a product name, profile information, etc., a Bluetooth communication link or a Wi-Fi communication link can be formed.
  • the advertising channel connection information eg, SSID, IP address, MAC address, channel number, security key, Bluetooth address (BT)
  • BT Bluetooth address
  • the external electronic device 410 may provide the content information to the electronic device 201 through a communication link.
  • the external electronic device 410 stops content that is running after being connected to the electronic device 201 and providing content information, and the content related additional function. You can run For example, when content that is being executed in the external electronic device 410 is continuously executed in the electronic device 201, the external electronic device 410 has a speaker function that supports sound of content executed in the electronic device 201. Can be done. That is, the external electronic device 410 may act as a speaker while content is being executed in the electronic device 201.
  • the performing of the additional function of the external electronic device 410 is not limited thereto and may support the electronic device 201 in various ways.
  • the external electronic device 410 may be turned off without executing the content related additional function.
  • the external electronic device 410 may be turned off without executing the content related additional function.
  • it is not limited to this.
  • the external electronic device 410 may continue executing content or stop temporarily executing content.
  • the electronic device 201 may execute content linked with content running on the external electronic device 410.
  • the external electronic device 410 may pause the running soccer image for a while, and the highlight image related to the soccer image may be executed in the electronic device 201.
  • the external electronic device 410 stops the communication link formed with the electronic device 201 and the electronic device 201.
  • the connection is interrupted.
  • the external electronic device 410 executes the content that was stopped again when the connection with the electronic device 201 was stopped.
  • the external electronic device 410 obtains information on a reproduction degree, a time point, a position, and the like of the content played back on the electronic device 201 from the electronic device 201, and the electronic device 201.
  • the connection is interrupted, the content can be played at the corresponding position.
  • the electronic device 20 determines the non-wearing state of the electronic device 20 and stops playing the content that is being played on the electronic device 201.
  • the external electronic device 410 may continue to play the content.
  • the present invention is not limited thereto, and the external electronic device 410 may execute other content or set as a standby screen.
  • FIG. 11 is a conceptual diagram illustrating a method of connecting an electronic device and a peripheral electronic device according to another embodiment of the present invention.
  • the electronic device 201 may be connected to the peripheral electronic device 1110 and detect a user input using the connected peripheral electronic device 1110.
  • the peripheral electronic device 1110 may include a mobile terminal 1111, a Bluetooth headset 1112, and a controller 1113.
  • the technical idea of the present invention is not limited thereto.
  • the peripheral electronic device 1110 may be a display device including a screen or an accessory device not including a screen.
  • the peripheral electronic device 1110 described herein may be a mobile phone, a smart phone, a personal digital assistant (PDA), a portable multimedia player (PMP), an audio device, an MP3 player, a digital camera, or a wireless speaker.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • An audio device an MP3 player
  • a digital camera or a wireless speaker.
  • At least one of a Bluetooth headset, a controller (joystick), or a wearable device but is not limited thereto.
  • the wearable device included in the peripheral electronic device 1110 may be an accessory type (e.g., a watch, ring, bracelet, anklet, necklace, glasses, or contact lens), a fabric or clothing integral type (e.g., an electronic garment), or It may include, but is not limited to, at least one of a body attachment type (eg, a skin pad or a tattoo).
  • an accessory type e.g., a watch, ring, bracelet, anklet, necklace, glasses, or contact lens
  • a fabric or clothing integral type e.g., an electronic garment
  • It may include, but is not limited to, at least one of a body attachment type (eg, a skin pad or a tattoo).
  • the peripheral electronic device 1110 may be an accessory device that may assist the function of the head worn electronic device 201.
  • FIG. 12 is a flowchart illustrating a method of connecting an electronic device and a peripheral electronic device according to another exemplary embodiment of the present disclosure.
  • the processor 210 detects a user's wearing of the electronic device 201 in one embodiment.
  • the detailed description is omitted in the operations 501 and 503 of FIG. 5.
  • the processor 210 searches for the peripheral electronic device 1110 according to the detection of wearing of the electronic device 201 by the user. In one embodiment, the processor 201 discovers the peripheral electronic device 1110 according to the detection of wearing of the electronic device 201. The processor 210 detects the presence of the neighboring electronic device 1110 that is nearby by using a probe request, a probe response, a broadcast data, a scan response, and the like.
  • the processor 210 transmits a service discovery request to the peripheral electronic device 1110 to search for services supported by the peripheral electronic devices 1110.
  • the service search request includes service information of the electronic device 201.
  • the service information includes identification information (ID) of the electronic device 201, a service currently being used, service category version information of the electronic device 201, provision information of a service category table, and the like.
  • the electronic device 201 informs its neighbor electronic device 1110 of its service information by transmitting a service search request including its service information.
  • each peripheral electronic device 1110 that receives the service discovery request analyzes the service information included in the service discovery request.
  • the peripheral electronic device 1110 may provide a service that the peripheral electronic device 1110 may provide.
  • the service discovery response including the information is transmitted to the electronic device 201.
  • at least one of the plurality of peripheral electronic devices may not transmit a service search response when the electronic device 201 does not support an executable service even if a service search request is received.
  • the processor 210 stores state information of the discovered peripheral electronic device 1110 in the memory 230.
  • the state information of the peripheral electronic device 1110 may include at least one or more of identification information (ID) of the peripheral electronic device 1110, currently available services, and service category version information of the peripheral electronic device 1110. have.
  • ID identification information
  • the processor 210 is connected to the peripheral electronic device 1110. Specifically, in one embodiment, the processor 210 performs a session connection with the peripheral electronic device 1110 based on the service discovery response from the peripheral electronic device 1110.
  • the processor 210 may first attempt a session connection in the order of receiving the service discovery response.
  • the processor 210 may first attempt a session connection in the order of receiving the service discovery response.
  • it is not limited to this.
  • the processor 210 may preferentially connect only the peripheral electronic device 1110 providing basic functions required for the electronic device 201. For example, when the Bluetooth headset 1112 is essential for the electronic device 201 to perform a function, the processor 210 may first connect the Bluetooth headset 1112 to the electronic device 201. In another embodiment, the processor 210 may connect all of the plurality of peripheral electronic devices 1110 providing services available in the electronic device 201. Accordingly, when the user executes the application, the user may immediately use the peripheral electronic device 1110 that provides a service related to the application.
  • the processor 210 may detect a user's input through the connected peripheral electronic device 1110. For example, a user may execute an application using the electronic device 201, input a gesture, etc. using the connected peripheral electronic device 1110, and the processor 210 may connect the connected peripheral electronic device 1110. The user's input can be detected through. That is, for example, when the game application is executed, the user may proceed with input through the connected controller.
  • the processor 210 may provide a function such as a speaker to the user by using the connected peripheral electronic device 1110. That is, for example, when the electronic device 201 is connected to the Bluetooth headset 1112, the Bluetooth headset 1112 supports sound to the user.
  • the processor 210 executes a search operation of the peripheral electronic device 1110, a state operation of storing the discovered peripheral electronic device 1110, and a connection operation with the peripheral electronic device.
  • a search operation of the peripheral electronic device 1110 a search operation of the peripheral electronic device 1110
  • a state operation of storing the discovered peripheral electronic device 1110 a connection operation with the peripheral electronic device.
  • the processor 210 may activate the peripheral electronic device 1110 as the electronic device 201 executes a function related to the peripheral electronic device 1110. Specifically, when the peripheral electronic device 1110 is not activated immediately after the electronic device 201 and the peripheral electronic device 1110 are connected, and the function related to the peripheral electronic device 1110 is executed in the electronic device 201.
  • the peripheral electronic device 1110 may be activated. For example, when an application or content related to the peripheral electronic device 1110 is executed in the electronic device 201, the peripheral electronic device 1110 may be activated.
  • FIG. 13 is a flowchart illustrating a method of connecting an electronic device with a peripheral electronic device associated with an application according to another embodiment of the present disclosure.
  • the processor 210 may execute an application according to a user input.
  • the application may be one of applications built in the electronic device 201.
  • the processor 210 may determine whether there is a peripheral electronic device 1110 associated with the application as the application is executed.
  • the peripheral device search operation related to the application execution operation may be performed sequentially or simultaneously.
  • the processor 210 may determine whether there is a peripheral electronic device 1110 capable of interworking with a corresponding application using state information stored in the memory 230.
  • the processor 210 may stop searching for the peripheral electronic device 1110 until another application is executed.
  • the processor 210 may select the peripheral electronic device 1110 associated with the application.
  • the processor 210 may connect the selected peripheral electronic device 1110 with the electronic device 201.
  • the processor 210 may detect a user input through a connected peripheral electronic device. For example, when executing a game application, the processor 210 may detect, select, and connect the controller 1113 to detect a user input. In addition, when executing a music application, the processor 210 may execute a Bluetooth headset 1112. Search, select, and link) to provide sound to the user and detect user input, such as increasing or decreasing the volume.
  • the present disclosure is not limited thereto, and the electronic device 201 may be connected to various peripheral electronic devices 1110 to receive related services.
  • FIG. 14 is a flowchart illustrating a system for connecting an electronic device with a peripheral electronic device associated with an application according to another embodiment of the present invention.
  • Operation 1411 to operation 1420 are operations that embody operation 1313 of FIG. 13.
  • the electronic device 1401 may transmit a pre-association request to the selected peripheral electronic device 1430.
  • the pre-subscription request and response are steps of confirming location information and service information of each device in advance before at least two devices are connected.
  • the electronic device 1401 may request and determine the location information of the selected peripheral electronic device 1430 before connection while transmitting the pre-subscription request.
  • the electronic device 1401 may make a pre-subscription request and check whether the selected peripheral electronic device 1430 is still able to provide the pre-stored state information (ex).
  • the peripheral electronic device 1430 may transmit a pre-association response to the electronic device 1401 in response to a pre-association request.
  • the peripheral electronic device 1430 may provide the electronic device 1401 with location information, status information, etc. of the peripheral electronic device 1430 in response to the pre-subscription request.
  • the electronic device 1401 and the peripheral electronic device 1430 may form a pre-association state. Therefore, the electronic device 1401 may grasp the location information, the state information, and the like of the peripheral electronic device 1430 in which the subscription state is established.
  • the electronic device 1401 may display an input guide of the selected peripheral electronic device 1430.
  • the electronic device 1401 may perform an authentication procedure with the peripheral electronic device 1430 through an input guide before connecting to the peripheral electronic device 1430.
  • the electronic device 1401 may display an input guide using the selected peripheral electronic device 1430 to the user.
  • the electronic device 1401 may transmit an authentication request to the selected peripheral electronic device 1430.
  • the electronic device 1401 may transmit an authentication request for connection with the peripheral electronic device 1430 so that the peripheral device 1430 may detect a user input.
  • the peripheral electronic device 1430 may transmit an authentication request to the electronic device 1401.
  • the peripheral electronic device 1430 may detect a user input.
  • the peripheral electronic device 1430 may transmit an authentication response including the user input data to the electronic device 1401. Unlike this, the electronic device 1401 may transmit an authentication response to the peripheral electronic device 1430.
  • the electronic device 1401 may receive an authentication response and make an authentication decision. For example, when the peripheral electronic device 1430 receives the user input data and the operation according to the input is executed in the electronic device 1401, the authentication may be determined.
  • the electronic device 1401 may request a connection to the selected peripheral electronic device 1430 according to the authentication decision.
  • the peripheral electronic device 1430 may request a connection to the electronic device 1401.
  • the connected electronic device 1401 and the peripheral electronic device 1430 may form a channel. Accordingly, the electronic device 1401 may detect a user's input using the peripheral electronic device 1430, and execute content or the like according to the user's input.
  • a method of operating an electronic device may include: detecting a user's wearing of the electronic device; Acquiring content at an external electronic device in response to detecting the wearing of the electronic device by the user; And executing the obtained content as the content is acquired by the external electronic device.
  • the detecting of the wearing may include activating a proximity sensor functionally connected with the electronic device; And detecting wearing of the electronic device by the user using the proximity sensor.
  • the obtaining of the content may include: activating a receiving module in response to detecting the wearing of the electronic device by the user; And receiving a signal including content information from the external electronic device using the receiving module.
  • the receiving module may include at least one of an audio module, a camera module, and an RF module.
  • the executing of the obtained content may include: determining whether virtual reality content exists in the content information; Executing the virtual reality content when the virtual reality content exists in the content information; And converting the content into the virtual reality content when the virtual reality content does not exist in the content information.
  • the operation of executing the obtained content may include an operation of determining whether the content is content streamed from a server.
  • the executing the obtained content may include executing the streamed content when the content is streamed from a server.
  • the operation of acquiring the content may be an operation of acquiring content running on the external electronic device.
  • a method may include detecting wearing of the electronic device by a user; Searching for a peripheral electronic device in response to detecting the wearing of the electronic device by the user; Storing state information of the discovered peripheral electronic device; And connecting to the found neighboring electronic device according to the state information.
  • the detecting of the wearing may include activating a proximity sensor functionally connected with the electronic device; And detecting wearing of the electronic device by the user using the proximity sensor.
  • the operation of connecting to the found peripheral electronic device may include: executing an application in response to a user input; Determining whether there is a peripheral electronic device associated with the executed application; If there is a peripheral electronic device related to the executed application, the method may include connecting the peripheral electronic device related to the executed application.
  • the operation of determining whether the peripheral electronic device exists may be determined based on the state information.
  • the peripheral device may be activated as the electronic device executes a function related to the peripheral electronic device.
  • a method may include detecting wearing of the electronic device by a user; Searching for a peripheral electronic device in response to detecting the wearing of the electronic device by the user; Connecting with the discovered peripheral electronic device; And activating the connected peripheral device as the electronic device executes a function related to the connected peripheral electronic device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시예들에 따른 전자 장치는, 상기 전자 장치와 기능적으로 연결된 센서 모듈; 상기 전자 장치와 기능적으로 연결된 수신 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 전자 장치의 착용을 검출하고, 상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하고, 상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행할 수 있다.

Description

컨텐츠 재생 방법 및 이를 지원하는 전자 장치
본 발명의 다양한 실시예들은 컨텐츠 재생 방법 및 이를 지원하는 전자 장치에 관한 것이다.
최근, 신체에 직접 착용될 수 있는 형태의 다양한 전자 장치들이 개발되고 있다. 이러한 웨어러블(Wearable) 전자 장치는, 예를 들어, 머리 착용형 디스플레이 장치(HMD; Head-Mounted Display), 스마트 안경 (smart glass), 스마트 시계(smart watch), 스마트 밴드(wristband), 콘텍트렌즈형 장치, 반지형 장치, 신발형 장치, 의복형 장치, 장갑형 장치 등을 포함할 수 있다. 이러한 웨어러블 전자 장치는 신체 또는 의복에 직접 착용되므로 이동성(portability) 및 사용자의 접근성(accessibility)을 비약적으로 향상시킬 수 있고, 사용자에게 실감나는 영상을 제공할 수 있다.
종래 머리 착용형 디스플레이 장치는, 예를 들어, 외부 전자 장치를 탐색하여 컨텐츠를 송수신하기 위해 연결하는 방법이 번거롭고, 컨텐츠를 실행하기 위해 여러 단계를 거쳐야 하고, 가상 현실에서 제공되는 사용자 인터페이스 특성 상 사용자가 입력하기가 어려운 점이 있다.
본 발명의 다양한 실시예들은 머리 착용형 디스플레이 장치를 착용함에 따라 외부 전자 장치에서 실행 중인 컨텐츠를 머리 착용형 디스플레이 장치에서 연속적으로 실행하는 방법 및 이를 지원하는 전자 장치에 관한 것이다.
또한, 본 발명의 다양한 실시예들은 머리 착용형 디스플레이 장치를 착용함에 따라 주변 전자 장치와 연속적으로 연결되는 방법 및 이를 지원하는 전자 장치에 관한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시예들에 따른 방법은, 사용자의 상기 전자 장치의 착용을 검출하는 동작; 상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하는 동작; 상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따른 방법은, 사용자의 상기 전자 장치의 착용을 검출하는 동작; 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하는 동작; 상기 탐색된 주변 전자 장치의 상태 정보를 저장하는 동작; 및 상기 상태 정보에 따라 상기 탐색된 주변 전자 장치와 연결하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따른 방법은, 사용자의 상기 전자 장치의 착용을 검출하는 동작; 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하는 동작; 상기 탐색된 주변 전자 장치와 연결하는 동작; 및 상기 전자 장치에서 상기 연결된 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 연결된 주변 장치를 활성화하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 상기 전자 장치와 기능적으로 연결된 센서 모듈; 상기 전자 장치와 기능적으로 연결된 수신 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 전자 장치의 착용을 검출하고, 상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하고, 상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 상기 전자 장치와 기능적으로 연결된 센서 모듈; 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 전자 장치의 착용을 검출하고, 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하고, 상기 탐색된 주변 전자 장치의 상태 정보를 상기 메모리에 저장하고, 상기 상태 정보에 따라 상기 탐색된 주변 전자 장치와 연결할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 상기 전자 장치와 기능적으로 연결된 센서 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 전자 장치의 착용을 검출하고, 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하고, 상기 탐색된 주변 전자 장치와 연결하고, 상기 전자 장치에서 상기 연결된 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 연결된 주변 장치를 활성화할 수 있다.
본 발명의 다양한 실시예에 따른 컨텐츠 재생 방법 및 이를 지원하는 전자 장치는 전자 장치 착용에 기반하여 외부 전자 장치의 컨텐츠를 연속적으로 재생할 수 있다. 따라서, 웨어러블 장치로 컨텐츠를 재생하는 사용자의 편의성 및 장치의 접근성이 높아진다.
도 1은 본 발명의 다양한 실시예들에 따른 전자 장치를 포함하는 네트워크에 대한 환경을 도시한다.
도 2는 본 발명의 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 4는 본 발명의 다양한 실시예들에 따른 컨텐츠를 연속적으로 재생하는 방법을 설명하는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠를 연속적으로 재생하는 방법을 설명하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 컨텐츠를 연속적으로 재생하는 시스템을 설명하는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 수신 모듈을 활성화하고 외부 신호를 수신하는 방법을 설명하는 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 컨텐츠 소스(source)에 따라 컨텐츠를 재생하는 방법을 설명하는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 외부 전자 장치의 동작을 설명하는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 컨텐츠를 연속적으로 재생하는 방법을 설명하는 예시도이다.
도 11은 본 발명의 또 다른 실시예에 따른 전자 장치와 주변 전자 장치를 연결하는 방법을 설명하는 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 전자 장치와 주변 전자 장치를 연결하는 방법을 설명하는 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 어플리케이션과 관련된 주변 전자 장치와 전자 장치를 연결하는 방법을 설명하는 흐름도이다.
도 14는 본 발명의 또 다른 실시예에 따른 어플리케이션과 관련된 주변 전자 장치와 전자 장치를 연결하는 시스템을 설명하는 흐름도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료장치, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료장치(예: 각종 휴대용 의료측정장치(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자장치(avionics), 보안 장치, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 장치(예: 수도, 전기, 가스, 또는 전파 계측 장치 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 장치들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 다양한 실시예들에 따른 전자 장치를 포함하는 네트워크에 대한 환경을 도시한다.
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다.
프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 장치로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 장치로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다.
전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), (가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스(Bluetooth; BT) 모듈(225), 저전력 블루투스(Bluetooth Low energy; BLE) 모듈(226), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), 저전력 블루투스 모듈(226), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), 저전력 블루투스 모듈(226), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다. 근접 센서(240G)는 머리 착용형 전자 장치의 사용자 착용을 감지할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 장치의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 전자 장치에 있어서, 상기 전자 장치와 기능적으로 연결된 센서 모듈; 상기 전자 장치와 기능적으로 연결된 수신 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 전자 장치의 착용을 검출하고, 상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하고, 상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 전자 장치와 기능적으로 연결된 센서 모듈에 포함된 근접 센서를 활성화하고, 상기 근접 센서를 이용하여 상기 사용자의 전자 장치 착용을 검출할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 사용자의 전자 장치 착용 검출에 응답하여 상기 수신 모듈을 활성화하고, 상기 수신 모듈을 이용하여 상기 외부 전자 장치에서 컨텐츠 정보를 포함하는 신호를 수신할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 수신 모듈은 오디오 모듈, 카메라 모듈, 및 RF 모듈 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재하는지 판단하고, 상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재할 경우, 가상 현실 컨텐츠를 실행하고, 상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재하지 않을 경우, 컨텐츠를 가상 현실 컨텐츠로 변환할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 컨텐츠가 서버로부터 스트리밍되는 컨텐츠인지 판단할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 컨텐츠가 서버로부터 스트리밍되는 컨텐츠일 경우, 상기 스트리밍되는 컨텐츠를 실행할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 외부 전자 장치에서 실행 중인 컨텐츠를 획득할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 상기 전자 장치와 기능적으로 연결된 센서 모듈; 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 전자 장치의 착용을 검출하고, 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하고, 상기 탐색된 주변 전자 장치의 상태 정보를 상기 메모리에 저장하고, 상기 상태 정보에 따라 상기 탐색된 주변 전자 장치와 연결할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 전자 장치와 기능적으로 연결된 센서 모듈에 포함된 근접 센서를 활성화하고, 상기 근접 센서를 이용하여 상기 사용자의 전자 장치 착용을 검출할 수 있다.
일 실시예에서, 상기 프로세서는, 사용자의 입력에 대응하여 어플리케이션을 실행하고, 상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재하는지 판단하고, 상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재할 경우, 상기 실행된 어플리케이션과 관련된 주변 전자 장치를 연결할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 상태 정보에 기반하여 상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재하는지 판단할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 전자 장치에서 상기 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 주변 장치를 활성화할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 상기 전자 장치와 기능적으로 연결된 센서 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 전자 장치의 착용을 검출하고, 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하고, 상기 탐색된 주변 전자 장치와 연결하고, 상기 전자 장치에서 상기 연결된 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 연결된 주변 장치를 활성화할 수 있다.
본 발명의 다양한 실시예에 따르며, 적어도 하나의 프로세서에 의해 실행되며, 컴퓨터로 읽을 수 있는 명령어가 저장된 컴퓨터 기록 매체에 있어서, 상기 명령어는, 사용자의 상기 전자 장치의 착용을 검출하는 동작; 상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하는 동작; 및 상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행하는 동작을 수행하도록 설정된다.
도 4는 본 발명의 다양한 실시예들에 따른 컨텐츠를 연속적으로 재생하는 방법을 설명하는 개념도이다.
도 4를 참조하면, 전자 장치(201), 외부 전자 장치(410), 및 서버(420)를 도시하고 있다. 전자 장치(201)는 외부 전자 장치(410)와 송수신하여 컨텐츠를 재생하거나, 외부 전자 장치(410) 및 서버(420)와 송수신하여 컨텐츠를 재생할 수 있다. 다만, 본 발명의 기술적 사상은 이에 제한되지 않는다.
일 실시예에서, 전자 장치(201)는 전자 장치(201)와 기능적으로 연결된 적어도 하나의 센서 모듈(240)를 통해 사용자의 전자 장치(201) 착용을 검출할 수 있다. 일 실시예에서, 사용자는 도 4에 도시된 바와 같이 머리 착용형 전자 장치(201)를 머리에 착용할 수 있고, 이외에도 웨어러블 장치의 종류에 따라 다양한 형태로 사용자의 신체에 전자 장치(201)가 부착될 수 있다. 예를 들어, 스마트 안경을 머리에 착용할 수 있고, 이외에도 스마트 밴드, 콘텍트렌즈형 장치, 반지형 장치, 신발형 장치, 의복형 장치, 장갑형 장치 등을 사람의 신체에 착용할 수 있다. 다만, 본 발명의 기술적 사상은 이에 제한되지 않는다. 하기에서 설명의 편의를 위해 머리 착용형 전자 장치임을 전제로 전자 장치(201)를 설명한다.
일 실시예에서, 전자 장치(201)는 근접 센서(240G)를 이용하여 사용자의 전자 장치(201) 착용을 검출할 수 있다. 근접 센서(240G)는 대상물이 근접해 온 것을 검출하는 센서로서 검출 원리에 따라 고주파 발진형, 정전 용량형, 자기(magnetic)형, 광전형, 초음파형 등이 있다.
일 실시예에서, 전자 장치(201)는 사용자의 전자 장치(201) 착용을 검출함에 따라 수신 모듈을 활성화 할 수 있다. 일 실시예에서, 수신 모듈은 RF 모듈(229), 오디오 모듈(280), 및 카메라 모듈(291) 중 적어도 하나를 포함할 수 있다. 수신 모듈은 사용자의 전자 장치(201) 착용 감지시 활성화될 수 있고, 외부 요청 또는 사용자 입력으로 활성화될 수 있다. 전자 장치(201)의 수신 모듈에 관한 동작은 도 7에서 구체적으로 후술한다.
일 실시예에서, 전자 장치(201)는 사용자의 전자 장치(201) 착용을 검출함에 따라 외부 전자 장치(410)에서 송신된 신호를 수신할 수 있다. 일 실시예에서, 전자 장치(201)는 외부 전자 장치(410)를 검색(Scan)하는 장치이고, 외부 전자 장치(410)는 자신의 식별 정보 등을 광고하는 장치일 수 있다.
일 실시예에서, 전자 장치(201)는, 적어도 하나의 수신 모듈을 이용하여, 외부 전자 장치(410)를 검색할 수 있다. 즉, 전자 장치(201)는 외부 전자 장치(410)에서 송신된 신호를 수신하고, 수신된 신호를 분석함으로써, 외부 전자 장치(410)를 검색할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 전자 장치(201)는 외부 전자 장치(410)에서 브로드캐스트(broadcast)되는 광고 정보를 수신할 수 있다. 이때, 전자 장치(201)는 광고 정보를 분석하여, 외부 전자 장치(410)의 식별 정보(Identification information), 외부 전자 장치(410)에서 지원하는 통신 방식에 관한 기능 정보(capability information), 선호하는 통신 방식에 관한 정보, 외부 전자 장치(410)의 상태 정보 등을 확인할 수 있다.
발명의 한 실시예에 따르면 전자 장치(201)는 전자 장치(201)의 전원이 켜지거나 사용자의 전자 장치 착용을 검출함에 따라 외부 전자 장치(410)를 검색할 수 있다. 예를 들어, 전자 장치(201)의 전원이 켜짐에 따라 전자 장치(201)는 수신 모듈을 활성화시켜 외부 전자 장치(410)에서 브로드캐스트(broadcast)되는 광고 정보를 수신할 수 있다.
발명의 한 실시예에 따르면 전자 장치(201)는 SSP(Seamless Sensing Platform)를 포함할 수 있다.
발명의 한 실시예에 따르면 상기 SSP는 상기 프로세서 (210)과 독립적으로 동작할 수 있다. 예컨대, 전자 장치(100)는 SSP의 센서 허브(sensor hub)에 센서 모듈(240) 또는 통신 모듈(220)을 연결해 슬립 모드의 프로세서(210)를 깨우지 않고, 센싱 정보를 수집하거나 외부 전자 장치(410)를 검색함으로써, 전자 장치(201) 및 전자 장치(201)의 주변 상황을 인지할 수 있다.
일 실시예에서, 외부 전자 장치(410)는 복수의 통신 방식을 통해서 외부 전자 장치(410)에 관한 정보(예컨대, 식별 정보, 기능 정보, 상태 정보, 선호하는 통신 방식에 관한 정보, 통신 연결 정보 등), 컨텐츠 정보를 광고(예: 브로드 캐스팅)할 수 있다. 이때, 외부 장치(410)는 근거리 무선 통신 을 통해 외부 전자 장치 (410)에서 실행중인 컨텐츠에 관한 정보를 주변 장치에 전송할 수 있다. 예컨대 상기 외부 장치 (410)은 BLE 통신, Ant+ 통신, 근거리 무선 통신(NFC), 사운드 통신, 지그비 통신, WAVE 등의 무선 통신을 통해 외부 전자 장치(410)에 관한 정보, 외부 전자 장치(410)에서 실행 중인 컨텐츠에 관한 정보 등을 브로드캐스트할 수 있다. 이때, 브로드캐스트란 데이터를 외부에 제공하는 것을 의미할 수 있다. 즉, 브로드캐스트는 데이터의 제공, 전송, 표시, 출력 등을 포함할 수 있다.
일 실시예에서, 컨텐츠는 이미지, 동영상, 음원, 게임 등의 다중매체 저작물과 네트워크 등을 통해 양방향으로 송수신되는 각종 정보 또는 내용물, 디지털화되어 정보기기를 통해 제작, 판매 및 이용되는 정보 등을 포함할 수 있다. 또한, 일 실시예에서 컨텐츠는 가상 현실(Virtual reality) 컨텐츠 및 증강 현실(Augmented Reality) 컨텐츠를 포함할 수 있다. 다만, 이에 제한되지 않는다. 한편, 가상 현실 컨텐츠는 3차원 컨텐츠의 종류 중 하나를 의미하므로 하기에서 가상 현실 컨텐츠와 3차원 컨텐츠를 동일한 의미로 혼용하여 기재한다.
일 실시예에서, 사운드 통신은, 사운드를 이용하여 데이터를 송수신하는 통신 방식을 의미한다. 예를 들어, 외부 전자 장치(410)는, 사운드의 비가청 영역 또는 음악이나 안내 방송 속에 데이터를 삽입하여 외부로 브로드캐스트할 수 있다. 이외에도 외부 전자 장치(410)는, 시각 정보를 이용하여 데이터를 송수신할 수 있고, 데이터 송수신 방식은 이에 한정하지 않는다.
일 실시예에서, 외부 전자 장치(410)는 다양할 수 있다. 즉, 외부 전자 장치(410)는 적어도 하나의 컨텐츠를 재생할 수 있는 스크린을 포함하는 디스플레이 장치일 수 있다. 예를 들어, 본 명세서에서 기술되는 외부 전자 장치(410)는 텔레비전, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크탑 PC, 랩탑 PC, 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 의료장치, 디지털 카메라, 스마트 TV, 셋톱 박스 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 외부 전자 장치(410)와 전자 장치(201)간 동작은 도 9 및 도 10에서 구체적으로 후술한다.
일 실시예에서, 전자 장치(201)는 사용자의 전자 장치(201) 착용 검출에 따라 외부 전자 장치(410)에서 컨텐츠를 획득하고, 외부 전자 장치(410)에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행할 수 있다. 구체적으로, 일 실시예에서, 전자 장치(201)는 전자 장치(201) 착용의 검출에 응답하여 외부 전자 장치(410)에서 실행 중인 컨텐츠 정보를 포함하는 신호를 수신할 수 있고, 상기 신호를 수신한 이후에 외부 전자 장치(410)에서 실행 중인 컨텐츠를 연속적으로 실행할 수 있다. 전자 장치(201)의 컨텐츠 실행하는 동작은 하기에서 도 5 및 도 6을 참조하여 구체적으로 후술한다.
한편, 일 실시예에서, 서버(420)는 스트리밍 데이터를 외부 전자 장치(410) 또는 전자 장치(201)에 전송할 수 있다. 전자 장치(201)는 컨텐츠를 외부 전자 장치(410)에서 전송받거나 서버(420)에서 전송받을 수 있다. 서버(420)와 전자 장치(201)간 동작은 도 8에서 구체적으로 후술한다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠를 연속적으로 재생하는 방법을 설명하는 흐름도이다.
하기에서 설명의 편의를 위해 전자 장치(201)는 머리 착용형 전자 장치임을 전제로 설명한다. 다만, 전자 장치(201)는 이에 한정되지 않고 다른 타입의 웨어러블 장치일 수 있다. 또한, 하기에서 가상 현실(Virtual Reality, VR) 컨텐츠 및 2차원 컨텐츠는 전자 장치(201)에서 실행 가능한 컨텐츠임을 전제로 설명한다. 예를 들어, 도면에는 도시되지 않았지만, 외부 전자 장치(410)에서 전송된 컨텐츠는 전자 장치(201)에서 실행 가능하도록 상호 호환된 컨텐츠일 수 있다. 이외에도, 전자 장치(201)는 전송된 컨텐츠가 실행될 수 있도록 컨텐츠를 변환하는 변환 모듈을 포함할 수 있다. 단, 이에 한정되지 않는다.
도 5를 참조하면, 동작 501에서, 일 실시예에서, 프로세서(210)는 전자 장치(101)에 전기적으로 연결된 적어도 하나의 수신 모듈(240)을 활성화하여 근접한 물체의 움직임 정보를 획득할 수 있다. 예를 들어, 프로세서(210)는 전자 장치(101)에 전기적으로 연결된 적어도 하나의 근접 센서(240G)를 활성화하여 근접한 물체의 움직임 정보를 획득할 수 있다.
동작 503에서, 일 실시예에서, 프로세서(210)는 근접 센서(240G)를 통해 사용자의 전자 장치(201) 착용을 검출할 수 있다. 예를 들어, 근접 센서(240G)는 사용자의 머리가 전자 장치(201)에 근접하여 착용되는 일련의 행동을 감지할 수 있다.
동작 505에서, 일 실시예에서, 프로세서(210)는 사용자의 전자 장치(201) 착용 검출에 따라 외부 신호를 검출하는 수신 모듈을 활성화할 수 있다. 일 실시예에서 수신 모듈은 RF 모듈(229), 오디오 모듈(280), 및 카메라 모듈(291) 중 적어도 하나를 포함할 수 있다. 수신 모듈은 사용자의 전자 장치(201) 착용 감지시 활성화될 수 있고, 사용자 입력에 기반하여 활성화될 수 있다. 전자 장치(201)의 수신 모듈에 관한 동작은 도 7에서 구체적으로 후술한다.
동작 507에서, 일 실시예에서, 프로세서(210)는 수신 모듈을 통해 외부 전자 장치(410)에서 전송된 신호를 수신한다. 일 실시예에서, 신호는 외부 전자 장치(410)에서 전송하는 브로드캐스팅 신호일 수 있다. 일 실시예에서, 신호는 외부 전자 장치(410)에서 실행 중인 컨텐츠에 대응하는 정보를 포함할 수 있다. 컨텐츠에 대응하는 정보는 이미지, 동영상, 음원, 게임 등의 정보를 포함할 수 있고, 이외에도 가상 현실 컨텐츠 및 증강 현실 컨텐츠 정보를 포함할 수 있다. 일 실시예에서, 프로세서(210)는 사용자의 전자 장치 착용 검출에 따라 신호를 수신 받을 수 있다.
동작 509에서, 일 실시예에서, 프로세서(210)는 수신된 신호를 디코딩한다. 일 실시예에서, 디코딩한 신호를 분석한 결과 컨텐츠를 인식하기에 데이터가 부족한 경우, 프로세서(210)는 통신 모듈(220)을 통해 외부 전자 장치(410)에 추가 데이터를 요청할 수 있다. 추가 데이터를 요청한 경우에 전자 장치(201)는 외부 전자 장치(410)와 채널을 형성할 수 있고, 추가 데이터를 전송 받을 수 있다.
동작 511에서, 일 실시예에서, 프로세서(210)는 컨텐츠 정보에 적어도 하나의 가상 현실 컨텐츠가 존재하는 지 판단할 수 있다. 머리 착용형 전자 장치는 가상 현실 컨텐츠를 재생하는 데 특화된 기기로서 프로세서(210)는 수신된 컨텐츠 정보에 가상 현실 컨텐츠가 존재하는 지 검출할 수 있다.
동작 513에서, 일 실시예에서, 프로세서(210)는 컨텐츠 정보에 가상 현실 컨텐츠가 존재하는 경우에 적어도 하나의 가상 현실 컨텐츠를 검색할 수 있다.
동작 515에서, 일 실시예에서, 프로세서(210)는 검색된 가상 현실 컨텐츠를 실행할 수 있다. 일 실시예에서, 프로세서(210)는 외부 전자 장치(410)에서 실행 중인 컨텐츠와 관련된 가상 현실 컨텐츠를 실행할 수 있다. 일 실시예에서, 가상 현실 컨텐츠는 외부 전자 장치(410)에서 실행 중인 컨텐츠에 포함된 연동 컨텐츠일 수 있다. 예를 들어, 외부 전자 장치(410)에서 실행 중인 축구 영상 컨텐츠가 가상 현실 컨텐츠로 구성된 축구 하이라이트 영상을 포함할 경우, 상기 축구 하이라이트 영상이 가상 현실 컨텐츠로서 검색될 수 있다. 이외에도, 외부 전자 장치(410)에서 실행 중인 가상 현실 컨텐츠가 검색될 수 있다. 단, 이에 한정되지 않는다.
동작 517에서, 일 실시예에서, 프로세서(210)는 컨텐츠 정보에 가상 현실 컨텐츠가 존재하지 않을 경우에 적어도 하나의 컨텐츠를 검색할 수 있다. 도면에는 도시되지 않았지만, 일 실시예에서, 컨텐츠가 검색되지 않을 경우에 전자 장치(201)가 종료되거나, 프로세서(210)는 기본 메뉴 등을 디스플레이할 수 있다.
동작 519에서, 일 실시예에서, 프로세서(210)는 컨텐츠가 검색될 경우에 컨텐츠를 가상 현실 컨텐츠로 변환할 수 있다. 예를 들어, 프로세서(210)는 2차원 컨텐츠를 가상 현실 컨텐츠로 변환할 수 있다. 일 실시예에서, 도면에 도시되지 않았지만 전자 장치(201)는 가상 현실 컨텐츠 변환 모듈을 포함할 수 있다. 가상 현실 컨텐츠 변환 모듈은 컨텐츠를 가상 현실 컨텐츠(3차원 컨텐츠)로 변환할 수 있다.
일 실시예에서, 가상 현실 컨텐츠 (3차원 컨텐츠 )변환 모듈은 2차원 영상에 깊이 감을 부여하여 3차원 영상을 생성한다. 가상 현실 컨텐츠 변환 모듈은 2차원 영상의 비디오 데이터의 프레임을 소정 크기의 블록으로 분할하고, 이전 프레임들의 블록들 중 현재 프레임의 소정 블록과 가장 유사한 블록을 선택한다. 가상 현실 컨텐츠 변환 모듈은 현재 프레임의 분할된 블록별로 모션 벡터를 구하고, 선택된 블록들을 합성하여 새로운 프레임을 생성한다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 가상 현실 컨텐츠 변환 모듈은 영상에 깊이 감을 주기 위해 프레임의 구도 정보를 이용하여 뎁쓰(depth) 맵을 생성하고 이를 이용하여 새로운 프레임을 생성할 수도 있다.
일 실시예에서, 가상 현실 컨텐츠 변환 모듈은 새로운 프레임과 현재 프레임 중 어느 하나를 좌안 영상으로 결정하고 나머지 프레임을 우안 영상으로 결정하거나, 또는 새로운 프레임과 현재 프레임을 이용하여 좌안 영상 및 우안 영상을 새로 생성한다. 가상 현실 컨텐츠 변환 모듈은 하나의 프레임에 좌, 우 영상이 모두 포함되도록 3차원 포맷의 프레임을 생성하고, 이를 디스플레이(260)에 보낸다. 디스플레이(260)는 밝기가 보상된 프레임에 포함된 좌안, 우안 영상을 1/120초 단위로 교대로 출력한다. 단, 가상 현실 컨텐츠 변환 모듈은 이에 한정되지 않고, 다양한 방법을 이용하여 컨텐츠를 가상 현실 컨텐츠로 변환할 수 있다.
동작 515에서, 프로세서(210)는 변환된 가상 현실 컨텐츠를 실행할 수 있다.
한편, 일 실시예에서, 가상 현실 컨텐츠가 외부 전자 장치에 저장된 컨텐츠일 경우, 프로세서(210)는 수신된 컨텐츠 정보를 이용하여 가상 현실 컨텐츠를 재생할 수 있다. 이와 달리, 가상 현실 컨텐츠가 실시간으로 스트리밍 방식으로 서버(420)에서 외부 전자 장치(410)에 제공되고 있을 경우, 프로세서(210)는 서버(420)에 스트리밍 데이터 요청 신호를 송신할 수 있고, 상기 요청 신호를 수신한 서버(420)는 전자 장치(201)에 가상 현실 컨텐츠를 스트리밍 방식으로 실시간 제공할 수 있다.
한편, 프로세서(210)는 사용자의 전자 장치(201) 착용을 검출하고, 사용자의 전자 장치(201) 착용시 수신 모듈 활성화 동작, 외부 신호 수신 동작, 수신된 신호 디코딩 동작, 가상 현실 컨텐츠 검색 동작, 가상 현실 컨텐츠 변환 동작, 및 가상 현실 컨텐츠 동작을 연속적으로 실행할 수 있다. 즉, 도 5에 개시된 동작에서 사용자는 전자 장치(201)를 착용함에 따라 외부 전자 장치(410)에서 실행 중인 컨텐츠와 연관된 가상 현실 컨텐츠를 연속적으로 실행할 수 있다. 따라서, 사용자는 전자 장치(201)를 착용하는 동작만으로 외부 전자 장치에서 실행 중인 컨텐츠와 관련된 가상 현실 컨텐츠를 간단하게 시청할 수 있다.
한편, 도면에는 도시되지 않았지만, 다른 실시예에서, 프로세서(210)는 컨텐츠 정보에 가상 현실 컨텐츠가 포함되는 지 여부를 판단하지 아니하고 외부 전자 장치(410)에서 전송된 컨텐츠를 곧바로 실행할 수 있다. 예를 들어, 전자 장치(201)는 외부 전자 장치(410)에서 하나의 컨텐츠만을 전송받을 경우에 상기 컨텐츠를 곧바로 재생할 수 있다. 이외에도 전자 장치(201)는 외부 전자 장치(410)에서 복수의 컨텐츠를 전송받을 경우, 선택적으로 재생할 수 있다. 예컨대 가장 먼저 전송된 컨텐츠 또는 가장 나중에 전송된 컨텐츠를 곧바로 재생할 수 있다. 발명의 한 실시예에 따르면, 전자 장치의 상황, 사용자가 기설정한 우선순위, 누적된 사용자의 컨텐츠 재생 목록에 따라 결정된 사용자의 선호도, 컨텐츠의 재생시간 등에 따라 상기 복수의 컨텐츠 중 적어도 하나를 먼저 재생할 수 있다. 단, 상기 재생 순서 및 방법에 관한 내용은 다양한 방법으로 설정할 수 있으며, 상기 방법에한정되지 않는다.
도 6은 본 발명의 일 실시예에 따른 컨텐츠를 연속적으로 재생하는 시스템을 설명하는 흐름도이다.
도 6은 전자 장치(601), 외부 전자 장치(610), 서버(620) 간 동작 관계를 함께 설명한 도면이다. 도 6을 참조하면, 전자 장치(601), 외부 전자 장치(610), 및 서버(620)가 네트워크 또는 통신 인터페이스를 통해 각각 연결될 수 있다.
동작 602에서, 일 실시예에서, 서버(620)는 네트워크를 통해 외부 전자 장치(610)에 컨텐츠를 전송할 수 있다. 예를 들어, 일 실시예에서 서버(620)는 실시간으로 컨텐츠를 스트리밍할 수 있다.
동작 603에서, 일 실시예에서, 외부 전자 장치(610)는 서버(620)에서 전송된 컨텐츠를 실행할 수 있다. 예를 들어, 사용자는 외부 전자 장치(610)를 통해 컨텐츠를 시청하고 있는 중일 수 있다. 단, 이에 한정되지 않는다.
동작 604에서, 일 실시예에서, 전자 장치(601)는 전자 장치(601)와 기능적으로 연결된 센서 모듈(240)을 이용하여 사용자의 전자 장치(601) 착용을 검출할 수 있다. 예를 들어, 사용자는 외부 전자 장치(610)에서 컨텐츠를 시청하는 도중에 외부 전자 장치(610)에서 가상 현실 컨텐츠의 존재를 인지할 수 있고, 상기 가상 현실 컨텐츠를 시청하기 위해 전자 장치(601)를 착용할 수 있다. 단, 이에 한정되지 않는다.
동작 605에서, 일 실시예에서, 전자 장치(601)는 사용자의 전자 장치(601) 착용 검출에 따라 수신 모듈을 활성화할 수 있다.
동작 606에서, 일 실시예에서, 외부 전자 장치(610)는 컨텐츠 정보를 포함하는 신호를 전자 장치(601)에 전송할 수 있다. 외부 전자 장치(610)는 어느 특정 단계에서 컨텐츠 정보를 포함하는 신호를 전송하지 않고, 주기적으로 컨텐츠 정보를 포함하는 신호를 브로드캐스트할 수 있다.
다른 실시예에서, 외부 전자 장치(610)는 전자 장치(610)에서 상기 컨텐츠 정보 등을 요구하는 신호가 수신된 경우에 컨텐츠 정보를 포함하는 신호를 전자 장치(610)에 브로드캐스트할 수 있다.
동작 607에서, 일 실시예에서, 전자 장치(601)는 수신한 신호를 디코딩한 이후에 전송 받은 컨텐츠 정보에서 가상 현실 컨텐츠가 존재하는지 판단할 수 있다.
동작 608에서, 일 실시예에서, 프로세서(210)는 컨텐츠 정보에 가상 현실 컨텐츠가 존재하는 경우에 적어도 하나의 가상 현실 컨텐츠를 검색할 수 있다.
동작 609에서, 일 실시예에서, 서버(620)는 전자 장치(601)의 요청에 따라 전자 장치(601)에서 검색된 컨텐츠를 스트리밍한다. 가상 현실 컨텐츠는 데이터량이 많으므로 서버(620)에서 스트리밍 형식으로 컨텐츠를 제공할 수 있다. 예를 들어, 전자 장치(601)는 수신받은 컨텐츠 정보를 이용하여 외부 전자 장치(610)에서 수신된 컨텐츠와 동일한 컨텐츠를 요청하는 신호를 서버(620)에 전송할 수 있다. 서버(620)는 상기 신호를 수신함에 따라 전자 장치(601)에 상기 컨텐츠를 스트리밍할 수 있다. 이 경우에 서버(620)는 외부 전자 장치(610)에 컨텐츠를 지속적으로 스트리밍하거나 스트리밍을 중단할 수 있다.
다른 실시예에서, 외부 전자 장치(610)가 서버(620)에 전자 장치(601)로 컨텐츠를 스트리밍하라는 요청 신호를 보낼 수 있다. 이에 따라 서버(620)는 전자 장치(610)에 컨텐츠를 제공할 수 있다.
다른 실시예에서, 전자 장치(601)는 서버(620)에서 컨텐츠를 전송 받지 않고, 외부 전자 장치(610)에서 전송 받은 컨텐츠 정보만으로 컨텐츠를 실행할 수 있다. 또 다른 실시예에서, 전자 장치(601)는 외부 전자 장치(610)에서 제공 받은 컨텐츠 정보만으로 컨텐츠 실행이 어려울 경우에 외부 전자 장치(610)에 추가 데이터를 요청할 수 있다.
동작 611에서, 일 실시예에서, 전자 장치(601)는 가상현실 컨텐츠가 존재하지 않을 경우에 컨텐츠의 검색을 수행할 수 있다.
동작 612에서, 일 실시예에서, 프로세서(210)는 컨텐츠를 가상 현실 컨텐츠로 변환하는 동작을 수행할 수 있다. 예를 들어, 프로세서(210)는 2차원 컨텐츠를 가상 현실 컨텐츠로 변환하는 동작을 수행할 수 있다.
동작 610에서, 일 실시예에서, 전자 장치(601)는 검색된 가상 현실 컨텐츠 또는 변환된 가상 현실 컨텐츠를 실행할 수 있다. 예를 들어, 사용자는 전자 장치(601) 착용시 외부 전자 장치(610)에서 실행 중인 컨텐츠를 연속적으로 실행하여 시청할 수 있다.
도 7은 본 발명의 일 실시예에 따른 수신 모듈을 활성화하고 외부 신호를 수신하는 방법을 설명하는 흐름도이다.
도 7은 외부 전자 장치가 송신하는 신호의 종류에 따라 전자 장치(201)가 수신 모듈을 활성화하는 동작(도5의 505 동작)을 구체적으로 설명하는 흐름도이다. 설명의 편의를 위해, 도 7의 동작 701, 715, 717은 도 5의 동작 503, 507, 509과 각각 동일하므로 설명을 생략한다.
도 7을 참조하면, 동작 703 및 711에서, 일 실시예에서, 프로세서(120)는 외부 전자 장치(410)에서 송신하는 신호가 음성 신호일 경우에 오디오 모듈(280)을 활성화시킨다. 오디오 모듈(280)은 스피커, 리시버, 이어폰, 및 마이크 중 적어도 하나를 이용함으로써, 외부의 음성 신호를 수신할 수 있다. 외부 전자 장치(410)는 사운드의 비가청 영역 또는 음악이나 안내 방송 속에 데이터를 삽입하여 외부로 음성 신호를 브로드캐스트할 수 있다. 일 실시예에서, 프로세서(210)는 별도의 사용자 입력 없이 사용자의 전자 장치(201) 착용 검출에 따라 오디오 모듈(280)을 활성화하여 음성 신호를 수신할 수 있다. 다른 실시예에서, 프로세서(210)는 사용자가 스피커(282), 리시버(284), 이어폰(286) 및 마이크(288) 중 적어도 하나를 활성화하는 입력을 검출함에 따라 외부의 음성 신호를 수신할 수 있다.
동작 705 및 713에서, 일 실시예에서, 프로세서(120)는 외부 전자 장치(410)에서 송신하는 신호가 시각 신호일 경우에 카메라 모듈(291)을 활성화시킨다. 카메라 모듈(291)은 외부의 시각 신호를 수신할 수 있다. 외부 전자 장치(410)는 시각적 이미지의 비가시 영역 또는 이미지 속에 데이터를 삽입하여 외부로 시각 신호를 브로드캐스트할 수 있다. 일 실시예에서, 프로세서(210)는 사용자의 전자 장치(201) 착용 검출에 따라 카메라 모듈(291)을 활성화하여 시각 신호를 수신할 수 있다. 발명의 한 실시예에 따르면, 프로세서(210)는 사용자가 카메라 모듈(291)을 활성화하는 입력을 검출함에 따라 외부의 시각 신호를 수신할 수 있다.
동작 707 및 709에서, 일 실시예에서, 프로세서(120)는 외부 전자 장치(410)에서 송신하는 신호가 무선(RF) 신호일 경우에 RF 모듈(229)을 활성화시킨다. RF 모듈(229)은 외부의 무선 신호를 수신할 수 있다. 외부 전자 장치(410)는 복수의 통신 방식을 이용하여 외부로 무선 신호를 브로드캐스트할 수 있다. 일 실시예에서, 프로세서(210)는 사용자의 전자 장치(201) 착용 검출에 따라 RF 모듈(229)을 활성화하여 무선 신호를 수신할 수 있다. 다른 실시예에서, 프로세서(210)는 사용자가 통신 모듈(220)을 활성화하는 입력을 검출함에 따라 외부의 무선 신호를 수신할 수 있다.
상기 음성 신호, 시각 신호, RF 신호를 인식하는 동작은 순차적으로 수행되는 동작으로 한정 되지 않으며 도면에 도시된 순서에 한정되지 않는다. 발명의 한 실시예에 따르면, 상기 신호 종류를 판단하는 동작은 적어도 동시에 수행되거나, 전자 장치의 종류, 특성 또는 설정 등에 따라 순서는 가변적으로 조정될 수 있다.
일 실시예에서, 동작 715 및 717 이후에 도면 5에 개시된 동작 511, 동작 513 및 동작 515가 순차적으로 실행되거나, 도면 5에 개시된 동작 511, 동작 517, 동작 519 및 동작 515가 순차적으로 실행될 수 있다. 구체적으로, 오디오 모듈(280), 카메라 모듈(291), 및 RF 모듈(229) 중 적어도 하나를 이용하여 외부 전자 장치(410)에서 실행 중인 컨텐츠 정보를 포함하는 신호를 수신하고, 수신된 신호를 디코팅한다. 그 이후 도 5에 설명한 바와 같이 컨텐츠 정보에 가상 현실 컨텐츠가 존재하는 지 판단하고, 가상 현실 컨텐츠가 존재할 경우에 가상 현실 컨텐츠를 검색하여 실행하고, 가상 현실 컨텐츠가 존재하지 않을 경우에 컨텐츠를 가상 현실 컨텐츠로 변환하여 변환된 가상 현실 컨텐츠를 실행할 수 있다.(리턴) 단, 이에 한정되지 않는다.
도 8은 본 발명의 다른 실시예에 따른 컨텐츠 소스(source)에 따라 컨텐츠를 재생하는 방법을 설명하는 흐름도이다.
도 8을 참조하면, 일 실시예에서, 외부 전자 장치(410)에서 전송하는 컨텐츠는 외부 저장 장치(410) 내부에 저장된 컨텐츠이거나, 서버(420)에서 실시간으로 스트리밍 방식으로 전달된 컨텐츠이거나, 라이브(Live) 방송 컨텐츠일 수 있다. 다만, 본 발명의 기술적 사상은 이에 제한되지 않는다.
동작 801 내지 동작 809는 도 5에서 설명한 동작 501 내지 동작 509와 동일하므로 자세한 설명은 생략한다.
동작 811에서, 일 실시예에서, 프로세서(210)는 수신된 신호를 디코딩하고, 수신된 신호에 서버(420)의 스트리밍 데이터가 포함된 지 여부를 판단할 수 있다.
동작 813에서, 일 실시예에서, 수신된 신호에 서버(420)의 스트리밍 데이터가 존재할 경우에 프로세서(210)는 스트리밍 데이터에 적어도 하나의 가상 현실 컨텐츠가 존재하는 지 판단할 수 있다.
동작 819에서, 일 실시예에서, 프로세서(210)는 스트리밍 데이터에 가상 현실 컨텐츠가 존재하는 경우에 적어도 하나의 가상 현실 컨텐츠를 스트리밍할 수 있다. 이 경우에 프로세서(210)는 서버(420)에 스트리밍 데이터 송신 요청을 할 수 있다. 이어서, 동작 823에서, 프로세서(210)는 가상 현실 컨텐츠를 재생할 수 있다.
구체적으로, 일 실시예에서, 서버(420)는 네트워크(162)를 통해 전자 장치(201)와 연결될 수 있다. 서버(420)는 외부 전자 장치(410)에서 재생 중인 컨텐츠를 전자 장치(201)에서 재생하기 위한 요청을 외부 전자 장치(401) 또는 전자 장치(201)에서 받을 경우, 외부 전자 장치(401)로의 스트리밍을 중지하고, 전자 장치(201)에서 재생될 수 있도록 스트리밍 데이터를 변환하여 전자 장치(201)에 컨텐츠를 스트리밍할 수 있다. 단, 이에 한정되지 아니하고 전자 장치(201)는 다양한 방식으로 서버(420)에서 컨텐츠를 스트리밍받을 수 있다.
동작 817에서, 일 실시예에서, 프로세서(210)는 스트리밍 데이터에 가상 현실 컨텐츠가 존재하지 않을 경우에 적어도 하나의 컨텐츠를 스트리밍할 수 있다.
동작 821에서, 일 실시예에서, 프로세서(210)는 컨텐츠를 가상 현실 컨텐츠로 변환할 수 있다. 일 실시예에서, 도면에 도시되지 않았지만 전자 장치(201)는 가상 현실 컨텐츠 변환 모듈을 포함할 수 있다. 가상 현실 컨텐츠 변환 모듈은 컨텐츠를 가상 현실 컨텐츠(3차원 컨텐츠)로 변환할 수 있다.
일 실시예에서, 가상 현실 컨텐츠 변환 모듈은 2차원 영상에 깊이 감을 부여하여 3차원 영상을 생성한다. 가상 현실 컨텐츠 변환 모듈은 2차원 영상의 비디오 데이터의 프레임을 소정 크기의 블록으로 분할하고, 이전 프레임들의 블록들 중 현재 프레임의 소정 블록과 가장 유사한 블록을 선택한다. 가상 현실 컨텐츠 변환 모듈은 현재 프레임의 분할된 블록별로 모션 벡터를 구하고, 선택된 블록들을 합성하여 새로운 프레임을 생성한다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 가상 현실 컨텐츠 변환 모듈은 영상에 깊이 감을 주기 위해 프레임의 구도 정보를 이용하여 뎁쓰(depth) 맵을 생성하고 이를 이용하여 새로운 프레임을 생성할 수도 있다.
일 실시예에서, 가상 현실 컨텐츠 변환 모듈은 새로운 프레임과 현재 프레임 중 어느 하나를 좌안 영상으로 결정하고 나머지 프레임을 우안 영상으로 결정하거나, 또는 새로운 프레임과 현재 프레임을 이용하여 좌안 영상 및 우안 영상을 새로 생성한다. 가상 현실 컨텐츠 변환 모듈은 하나의 프레임에 좌, 우 영상이 모두 포함되도록 3차원 포맷의 프레임을 생성하고, 이를 디스플레이(260)에 보낸다. 디스플레이(260)는 밝기가 보상된 프레임에 포함된 좌안, 우안 영상을 1/120초 단위로 교대로 출력한다. 단, 가상 현실 컨텐츠 변환 모듈은 이에 한정되지 않고, 다양한 방법을 이용하여 2차원 컨텐츠를 3차원 컨텐츠로 변환할 수 있다.
동작 823에서, 프로세서(210)는 변환된 가상 현실 컨텐츠를 재생할 수 있다.
동작 815 및 동작 823에서, 일 실시예에서, 수신된 신호에 서버(420)의 스트리밍 데이터가 포함되지 않을 경우에 프로세서(210)는 수신된 신호에 포함된 컨텐츠 정보의 적어도 일부에 가상 현실 컨텐츠에 해당하는 데이터 또는 패킷이 포함되어 있는 지 판단할 수 있다. 서버(420)의 스트리밍 데이터가 없을 경우에 수신된 컨텐츠 정보는 외부 전자 장치(410) 내부에 저장된 컨텐츠이거나 라이브(Live) 방송 컨텐츠일 수 있다. 일 실시예에서, 프로세서(210)는 검색된 가상 현실 컨텐츠를 재생하거나, 검색된 2차원 컨텐츠를 3차원 컨텐츠로 변환하여 재생할 수 있다.
일 실시예에서, 수신된 가상 현실 컨텐츠가 외부 전자 장치(410) 내부에 저장된 컨텐츠이거나 라이브(Live) 방송 컨텐츠일 경우, 전자 장치(201)와 외부 전자 장치(410)는 미러링 기술이 적용될 수 있다.
일 실시예에서, 미러링 기술은 디스플레이 부(display unit)를 가진 장치들 간에 스크린 데이터(screen data)를 공유하고 조작할 수 있는 기술이다. 예를 들어, 미러링 기술은 개인 컴퓨터(personal computer) 간에 스크린 데이터를 공유하여 이용할 수 있도록 한다. 또한, 미러링 기술은 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA 와 같은 휴대용 단말기, TV 등과 같이 디스플레이 부를 통하여 화면(screen)을 출력할 수 있는 모든 전자기기에 적용할 수 있도록 널리 개발되고 있다. 다수개의 전자기기들에 미러링 기술을 적용하여, 화면을 공유하고 상호간 원격 제어를 할 수 있도록 하는 미러링 서비스(mirroring service)를 제공할 수 있다. 미러링 서비스를 제공하기 위한 기술로 Daas(Display as a service), 디지털 생활 네트워크 단체(Digital Living Network Alliance, DLNA), 에어플레이(AirPlay) 및 미라캐스트(Miracast)를 포함한다. 에어플레이 및 미라캐스트는 모두 일반적인 멀티미디어 컨텐츠를 와이파이를 통해 텔레비전의 화면에 나타낼 수 있을 뿐 아니라, 완전한 미러링(mirroring) 기능을 실현할 수도 있다.예를 들어, 사용자가 게임을 할 때, 텔레비전이 디스플레이 화면이 되고, 스마트폰은 핸들처럼 사용될 수 있다. 다만, 이에 제한되지 않는다.
도 9는 본 발명의 일 실시예에 따른 외부 전자 장치의 동작을 설명하는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 컨텐츠를 연속적으로 재생하는 방법을 설명하는 예시도이다.
도 9, 도 10은 사용자가 전자 장치(201)를 착용해서 컨텐츠를 실행할 경우에 외부 전자 장치의 동작 및 그에 따른 전자 장치의 동작을 설명하고 있다. 도 9, 도 10을 참조하면, 동작 901에서, 일 실시예에서, 외부 전자 장치(410)는 컨텐츠를 실행한다. 컨텐츠는 스트리밍 형식으로 서버(420)에서 제공되거나 외부 전자 장치(410) 내부에 저장된 컨텐츠이다. 컨텐츠는 가상 현실 컨텐츠일 수 있고, 컨텐츠 일부에 가상 현실 컨텐츠와 연동된 이벤트 등을 포함할 수 있다. 단, 이에 한정되지 않는다.
동작 903에서, 일 실시예에서, 외부 전자 장치(410)는 외부 전자 장치(410)에 관한 정보(예컨대, 식별 정보, 기능 정보, 상태 정보, 선호하는 통신 방식에 관한 정보, 통신 연결 정보 등), 컨텐츠 정보를 광고할 수 있다. 예를 들어, 외부 전자 장치(410)는 광고 정보를 Advertising packet 형태로 가공하여 BLE (Bluetooth Low Energy) 통신부를 통해 외부로 브로드캐스트할 수 있다. 단, 이에 한정되는 것은 아니다.
일 실시예에서, 외부 전자 장치(410)는, 전자 장치(201)에서 지원하는 통신 방식을 알 수 없으므로, 복수의 통신 방식을 통해서 광고 정보를 브로드캐스트할 수도 있다. 예를 들어, 외부 전자 장치(410)가 스피커 및 BLE 통신부를 포함하는 경우, 외부 전자 장치(410)는 광고 정보가 삽입된 음향 신호를 스피커를 통해 외부로 출력하면서 동시에 광고 정보를 Advertising packet 형태로 가공하여 BLE 통신부를 통해 외부로 브로드캐스트할 수 있다. 단, 이에 한정하지 않는다.
한편, 도면에는 도시되지 않았지만, 일 실시예에서 전자 장치(201)는 소정 이벤트 발생 시 자동으로 외부 전자 장치(410)를 검색할 수 있다. 예를 들어, 전자 장치(201)는, 장치 검색과 관련된 소정 이벤트 발생을 감지할 수 있다. 일 실시예에서, 소정 이벤트는, 외부 전자 장치(410)의 검색을 트리거하는 이벤트일 수 있다. 예를 들어, 소정 이벤트는, 사용자가 전자 장치(201)를 착용하는 이벤트일 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 전자 장치(201)는, 소정 이벤트 발생을 기초로, 외부 전자 장치(410)와 통신하기 위한 비활성 상태의 적어도 하나의 수신 모듈을 활성 상태로 전환할 수 있다. 즉, 일 실시예에서 전자 장치(201)는 RF 모듈(229), 오디오 모듈(280), 및 카메라 모듈(291) 중 적어도 하나를 활성 상태로 전환할 수 있다. 일 실시예에서, 전자 장치(201)는, 활성화된 수신 모듈을 통해 외부 전자 장치(410)를 검색(scan)할 수 있다. 즉, 일 실시예에서, 전자 장치(201)는, 활성화된 수신 모듈을 통해 외부 전자 장치(410)에서 브로드캐스트되는 외부 전자 장치(410)에 관한 정보 및 컨텐츠에 관한 정보 등을 수신할 수 있다.
동작 905에서, 일 실시예에서, 외부 전자 장치(410)는 전자 장치(201)와 데이터를 송수신하는 통신 링크(채널)를 형성할 수 있다. 이때, 통신 링크는 외부 전자 장치(410)에서 브로드캐스트되는 광고 정보를 수신하는 통신 방식과 동일한 통신 방식을 이용하여 형성될 수도 있고, 광고 정보를 수신하는 통신 방식과 상이한 통신 방식(Out of Band)을 이용하여 형성될 수도 있다. 예를 들어, 전자 장치(201)가 BLE 통신을 통해 외부 전자 장치(410)에서 브로드캐스트되는 광고 정보를 수신한 경우, 전자 장치(201)는, 동일한 BLE 통신 방식으로 통신 링크를 형성할 수도 있고, 상이한 Wi-Fi Direct 통신 방식으로 통신 링크를 형성할 수도 있다. 단, 이에 한정되지 않는다.
한편, 일 실시예에서, 통신 링크는, 전자 장치(201) 및 외부 전자 장치(410) 간에 상호 스캔으로 advertising packet을 송수신하는 비 연결 방식의 가상 통신 링크일 수도 있고, 전자 장치(201)의 연결 요청으로 세션이 형성되어 있는 연결 방식의 통신 링크일 수도 있다.
일 실시예에서, 외부 전자 장치(410)는 광고 채널을 통해 전자 장치(201)와 통신 링크 형성에 필요한 연결 정보(예컨대, SSID, IP 주소, MAC 주소, 채널 번호, 보안 키, 블루투스 어드레스(BT Address), 기기명(Product Name), 프로파일(Profile) 정보 등)를 교환함으로써, 블루투스 통신 링크 또는 와이파이 통신 링크 등을 형성할 수 있다. 단, 이에 한정되지 않는다.
일 실시예에서, 외부 전자 장치(410)는 통신 링크를 통해 컨텐츠 정보를 전자 장치(201)에 제공할 수 있다.
동작 907에서, 일 실시예에서, 도 10에 도시된 바와 같이, 외부 전자 장치(410)는 전자 장치(201)와 연결되어 컨텐츠 정보를 제공한 이후에 실행 중인 컨텐츠를 중지하고, 컨텐츠 관련 부가 기능을 실행할 수 있다. 예를 들어, 외부 전자 장치(410)에서 실행 중이던 컨텐츠가 전자 장치(201)에서 연속적으로 실행될 경우, 외부 전자 장치(410)는 전자 장치(201)에서 실행되는 컨텐츠의 음향을 지원하는 스피커 기능을 수행할 수 있다. 즉, 전자 장치(201)에서 컨텐츠가 실행되는 도중에 외부 전자 장치(410)는 스피커 역할을 수행할 수 있다. 단, 외부 전자 장치(410)의 부가 기능 수행은 이에 한정되지 않고, 전자 장치(201)를 다양한 방식으로 서포트할 수 있다.
한편, 동작 907에서, 다른 실시예에서, 외부 전자 장치(410)는 컨텐츠 관련 부가 기능을 실행하지 않고 전원 OFF 될 수 있다. 단, 이에 한정되지 않는다.
한편, 동작 907에서, 또 다른 실시예에서, 외부 전자 장치(410)는 실행 중이던 컨텐츠를 계속 실행하거나 일시적으로 실행 중인 컨텐츠를 정지할 수 있다. 이러할 경우에 전자 장치(201)는 외부 전자 장치(410)에서 실행 중인 컨텐츠와 연동된 컨텐츠를 실행할 수 있다. 예를 들어, 외부 전자 장치(410)는 실행 중인 축구 영상을 잠시 정지시키고, 전자 장치(201)에서 축구 영상과 관련된 하이라이트 영상이 실행될 수 있다.
동작 909에서, 일 실시예에서, 사용자가 전자 장치(201)의 사용을 중지할 경우, 외부 전자 장치(410)는 전자 장치(201)와 형성한 통신 링크가 중단되고, 전자 장치(201)와 연결이 중단된다. 일 실시예에서, 외부 전자 장치(410)는 전자 장치(201)와 연결이 중단된 경우에 중지되었던 컨텐츠를 다시 실행한다. 발명의 한 실시예에 따르면 외부 전자 장치 (410)은 전자 장치(201)로부터 전자 장치 (201)에서 재생되었던 컨텐츠의 재생 정도, 시점, 위치 등에 대한 정보를 획득하고, 상기 전자 장치 (201)와 연결이 중단된 경우에, 해당 위치해서 상기 컨텐츠의 재생을 수행할 수 있다. 발명의 한 실시예에 따르면 사용자가 전자 장치(201)을 착용하지 않을 경우, 상기 전자 장치(20)의 착용하지 않은 상태를 파악하고, 상기 전자 장치(201)에서 재생되고 있는 컨텐츠의 재생을 중단하고, 상기 외부 전자 장치 (410)에서 컨텐츠의 재생을 계속수행할 수 있다. 단, 이에 한정되지 않고, 외부 전자 장치(410)는 다른 컨텐츠를 실행하거나 대기 화면 등으로 설정될 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 전자 장치와 주변 전자 장치를 연결하는 방법을 설명하는 개념도이다.
도 11을 참조하면, 일 실시예에서, 전자 장치(201)는 주변 전자 장치(1110)와 연결될 수 있고, 연결된 주변 전자 장치(1110)를 이용하여 사용자의 입력을 검출할 수 있다. 예를 들어, 주변 전자 장치(1110)는 이동형 터미널(1111), 블루투스 헤드셋(1112), 및 컨트롤러(1113)를 포함할 수 있다. 단, 본 발명의 기술적 사상은 이에 제한되지 않는다.
일 실시예에서, 주변 전자 장치(1110)는 스크린을 포함하는 디스플레이 장치일 수도 있고, 스크린을 포함하지 않는 액세서리 장치일 수도 있다.
예를 들어, 본 명세서에서 기술되는 주변 전자 장치(1110)는 휴대폰, 스마트 폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 오디오 장치, MP3 플레이어, 디지털 카메라, 무선 스피커, 블루투스 헤드셋, 컨트롤러(조이스틱), 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서 주변 전자 장치(1110)에 포함되는 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 또는 콘택트 렌즈), 직물 또는 의류 일체형(예: 전자 의복), 또는 신체 부착형(예: 스킨 패드 또는 문신) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 주변 전자 장치(1110)는 머리 착용형 전자 장치(201)의 기능을 보조할 수 있는 액세서리형 장치일 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 전자 장치와 주변 전자 장치를 연결하는 방법을 설명하는 흐름도이다.
도 12를 참조하면, 동작 1201에서, 일 실시예에서 프로세서(210)는 사용자의 전자 장치(201) 착용을 검출한다. 상세한 설명은 도 5의 501, 503 동작에서 설명한 바, 생략한다.
동작 1203에서, 일 실시예에서, 프로세서(210)는 사용자의 전자 장치(201) 착용 검출에 따라 주변 전자 장치(1110)를 탐색한다. 일 실시예에서, 프로세서(201)는 전자 장치(201)의 착용 검출에 따라 주변 전자 장치(1110)를 탐색한다. 프로세서(210)는 프로브 요청 및 응답(Probe Request, Probe Response), 브로드캐스팅(Advertise Data), 스캔 응답(Scan response) 등을 이용하여 근처에 존재하는 주변 전자 장치(1110)의 존재를 감지한다.
일 실시예에서, 프로세서(210)는 주변 전자 장치(1110)들이 지원하는 서비스를 탐색하기 위해 주변 전자 장치(1110)로 서비스 탐색 요청을 전송한다. 이때, 서비스 탐색 요청은 전자 장치(201)의 서비스 정보를 포함한다. 구체적으로, 서비스 정보는 전자 장치(201)의 식별 정보(ID), 현재 이용 중인 서비스, 전자 장치(201)이 가지고 있는 서비스 카테고리 버전 정보, 서비스 카테고리 테이블의 제공 의사 정보 등을 포함한다. 이와 같이 전자 장치(201)은 자신의 서비스 정보를 포함하는 서비스 탐색 요청을 전송함으로써, 자신의 주변 전자 장치(1110)에게 자신의 서비스 정보를 알려준다.
일 실시예에서, 이러한 서비스 탐색 요청을 수신한 각 주변 전자 장치(1110)은 서비스 탐색 요청에 포함된 서비스 정보를 분석한다. 분석 결과 복수의 주변 전자 장치(1110) 중 적어도 하나가 전자 장치(201)에서 요청한 서비스 예컨대, 조이스틱 서비스를 지원할 수 있는 경우 주변 전자 장치(1110)는 주변 전자 장치(1110)가 제공할 수 있는 서비스 정보를 포함하는 서비스 탐색 응답을 전자 장치(201)로 전송한다. 일 실시예에서, 복수의 주변 전자 장치 중 적어도 하나는 서비스 탐색 요청을 수신하였더라도 전자 장치(201)에서 실행 가능한 서비스를 지원하지 않는 경우에 서비스 탐색 응답을 전송하지 않을 수 있다.
동작 1205에서, 일 실시예에서, 프로세서(210)는 탐색된 주변 전자 장치(1110)의 상태 정보를 메모리(230)에 저장한다. 주변 전자 장치(1110)의 상태 정보는 주변 전자 장치(1110)의 식별 정보(ID), 현재 제공 가능한 서비스, 및 주변 전자 장치(1110)가 가지고 있는 서비스 카테고리 버전 정보 중 적어도 하나 이상을 포함할 수 있다.
동작 1207에서, 일 실시예에서, 프로세서(210)는 주변 전자 장치(1110)와 연결된다. 구체적으로, 일 실시예에서, 프로세서(210)는 주변 전자 장치(1110)로부터의 서비스 탐색 응답을 기반으로 주변 전자 장치(1110)와의 세션 연결을 수행한다.
일 실시예에서, 동일한 서비스를 복수의 주변 전자 장치(1110)가 지원 가능할 경우, 프로세서(210)는 서비스 탐색 응답을 받은 순서로 세션 연결을 먼저 시도할 수 있다. 단, 이에 한정되지 않는다.
일 실시예에서, 프로세서(210)는 전자 장치(201)에 필요한 기본 기능을 제공하는 주변 전자 장치(1110)만을 우선적으로 연결할 수 있다. 예를 들어, 전자 장치(201)가 기능을 수행하는 데 블루투스 헤드셋(1112)이 필수적인 경우, 프로세서(210)는 블루투스 헤드셋(1112)을 우선적으로 전자 장치(201)에 연결할 수 있다. 다른 실시예에서, 프로세서(210)는 전자 장치(201)에서 사용 가능한 서비스를 제공하는 복수의 주변 전자 장치(1110)를 모두 연결시킬 수 있다. 따라서, 사용자는 어플리케이션을 실행할 경우에 어플리케이션과 관련된 서비스를 제공하는 주변 전자 장치(1110)를 곧바로 사용할 수 있다.
동작 1209에서, 일 실시예에서, 프로세서(210)는 연결된 주변 전자 장치(1110)를 통해 사용자의 입력을 검출할 수 있다. 예를 들어, 사용자는 전자 장치(201)를 이용하여 어플리케이션을 실행할 수 있고, 연결된 주변 전자 장치(1110)를 이용하여 제스처 등을 입력할 수 있고, 프로세서(210)는 연결된 주변 전자 장치(1110)를 통해 사용자의 입력을 검출할 수 있다. 즉, 예를 들어 게임 어플리케이션이 실행된 경우에 사용자는 연결된 컨트롤러를 통해 입력을 진행할 수 있다. 다른 실시예에서, 프로세서(210)는 연결된 주변 전자 장치(1110)를 이용하여 스피커 등의 기능을 사용자에 제공할 수 있다. 즉, 예를 들어, 전자 장치(201)가 블루투스 헤드셋(1112)과 연결될 경우, 블루투스 헤드셋(1112)은 사용자에게 음향을 지원한다.
한편, 프로세서(210)는 사용자의 전자 장치(201) 착용을 검출함에 따라 주변 전자 장치(1110) 탐색 동작, 탐색된 주변 전자 장치(1110) 상태 정보 저장 동작, 및 주변 전자 장치와 연결 동작을 실행할 수 있다. 즉, 도 12에 개시된 동작에서 사용자는 전자 장치(201)를 착용함에 따라 주변 전자 장치(1110)에서 제공하는 서비스를 전자 장치(201)에서 실행할 수 있다. 따라서, 사용자는 전자 장치(201)를 착용하는 동작만으로 주변 전자 장치(1110)를 통해 전자 장치(201)에서 제공하는 컨텐츠 등을 이용할 수 있다.
한편, 도면에는 도시되지 않았지만, 일 실시예에서, 프로세서(210)는 전자 장치(201)에서 주변 전자 장치(1110)와 관련된 기능을 실행함에 따라 주변 전자 장치(1110)를 활성화할 수 있다. 구체적으로, 전자 장치(201)와 주변 전자 장치(1110)가 연결된 이후에 곧바로 주변 전자 장치(1110)가 활성화되지 않고, 전자 장치(201)에서 주변 전자 장치(1110)와 관련된 기능이 실행될 경우에 주변 전자 장치(1110)가 활성화될 수 있다. 예를 들어, 전자 장치(201)에서 주변 전자 장치(1110)와 관련된 어플리케이션 또는 컨텐츠 등이 실행될 경우에 주변 전자 장치(1110)가 활성화될 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 어플리케이션과 관련된 주변 전자 장치와 전자 장치를 연결하는 방법을 설명하는 흐름도이다.
도 13을 참조하면, 동작 1301 내지 동작 1305는 도 12의 동작 1201 내지 동작 1205와 동일하므로 자세한 설명은 생략한다.
동작 1307에서, 일 실시예에서, 프로세서(210)는 사용자 입력에 따라 어플리케이션을 실행할 수 있다. 어플리케이션은 전자 장치(201)에 내장된 어플리케이션 중 하나일 수 있다.
동작 1309에서, 일 실시예에서, 프로세서(210)는 어플리케이션을 실행함에 따라 어플리케이션과 관련된 주변 전자 장치(1110)가 존재하는지 판단할 수 있다. 어플리케이션 실행 동작과 관련된 주변 장치 검색 동작은 순차적으로 이루어지거나 동시에 이루어질 수 있다. 예를 들어, 프로세서(210)는 메모리(230)에 저장된 상태 정보를 이용하여 해당 어플리케이션과 연동이 가능한 주변 전자 장치(1110)가 존재하는지 판단할 수 있다.
한편, 일 실시예에서, 실행한 어플리케이션과 관련된 주변 전자 장치(1110)가 존재하지 않을 경우에 프로세서(210)는 다른 어플리케이션이 실행되기 전까지 주변 전자 장치(1110) 검색을 중단할 수 있다.
동작 1311에서, 일 실시예에서, 실행한 어플리케이션과 관련된 주변 전자 장치(1110)가 검색된 경우에 프로세서(210)는 어플리케이션과 관련된 주변 전자 장치(1110)를 선택할 수 있다.
동작 1313에서, 일 실시예에서, 프로세서(210)는 선택한 주변 전자 장치(1110)를 전자 장치(201)와 연결할 수 있다.
동작 1315에서, 일 실시예에서, 프로세서(210)는 연결된 주변 전자 장치를 통해 사용자 입력을 검출할 수 있다. 예를 들어, 게임 어플리케이션을 실행할 경우에 프로세서(210)는 컨트롤러(1113)를 검색, 선택 및 연결하여 사용자 입력을 검출할 수 있다, 이외에도 음악 어플리케이션을 실행할 경우에 프로세서(210)는 블루투스 헤드셋(1112)을 검색, 선택 및 연결하여 사용자에게 음향을 제공하고, 음량을 높이거나 낮추는 등의 사용자 입력을 검출할 수 있다. 단, 이에 한정되지 않고 전자 장치(201)는 다양한 주변 전자 장치(1110)와 연결되어 관련 서비스를 제공 받을 수 있다.
도 14는 본 발명의 또 다른 실시예에 따른 어플리케이션과 관련된 주변 전자 장치와 전자 장치를 연결하는 시스템을 설명하는 흐름도이다.
도 14를 참조하면, 동작 1402 내지 동작 1410은 도 13의 동작 1301 내지 동작 1311과 동일하므로 자세한 설명은 생략한다. 동작 1411 내지 동작 1420은 도 13의 동작 1313을 구체화한 동작들이다.
동작 1411에서, 일 실시예에서, 전자 장치(1401)는 선택된 주변 전자 장치(1430)에 선가입(Pre-association) 요청을 전송할 수 있다. 선가입 요청 및 응답은 적어도 두 장치 간 연결 전에 각 장치의 위치 정보, 서비스 정보 등을 미리 확인하는 단계이다. 예를 들어, 전자 장치(1401)는 선가입 요청을 전송하면서 선택된 주변 전자 장치(1430)의 위치 정보 등을 연결 전에 미리 요청하여 파악할 수 있다. 이외에도 전자 장치(1401)는 선가입 요청을 하면서 미리 저장된 상태 정보(ex) 현재 제공 가능한 서비스)를 선택된 주변 전자 장치(1430)가 여전히 제공 가능한지를 확인할 수 있다.
동작 1412에서, 주변 전자 장치(1430)는 선가입(Pre-association) 요청에 대응하여 전자 장치(1401)에 선가입(Pre-association) 응답을 전송할 수 있다. 예를 들어, 주변 전자 장치(1430)는 선가입 요청에 대응하여 주변 전자 장치(1430)의 위치 정보, 상태 정보 등을 전자 장치(1401)에 제공할 수 있다.
동작 1413에서, 전자 장치(1401)와 주변 전자 장치(1430)는 선가입(Pre-association) 상태를 형성할 수 있다. 따라서, 전자 장치(1401)는 선가입 상태를 형성한 주변 전자 장치(1430)의 위치 정보, 상태 정보 등을 파악할 수 있다.
동작 1414에서, 전자 장치(1401)는 선택된 주변 전자 장치(1430)의 입력 가이드를 표시할 수 있다. 전자 장치(1401)는 주변 전자 장치(1430)와 연결 전에 입력 가이드를 통해 주변 전자 장치(1430)와 인증 절차를 수행할 수 있다. 예를 들어, 전자 장치(1401)는 사용자에게 선택된 주변 전자 장치(1430)를 이용하는 입력 가이드를 표시할 수 있다.
동작 1415에서, 전자 장치(1401)는 선택된 주변 전자 장치(1430)에 인증(Authentication) 요청을 전송할 수 있다. 예를 들어, 전자 장치(1401)는 주변 장치(1430)가 사용자의 입력을 검출할 수 있도록 주변 전자 장치(1430)와 연결을 위한 인증 요청을 전송할 수 있다. 이와는 달리 주변 전자 장치(1430)가 전자 장치(1401)에 인증(Authentication) 요청을 전송할 수 있다.
동작 1416에서, 주변 장치(1430)의 입력 장치를 이용하여 사용자가 적어도 하나의 터치 등을 입력할 경우, 주변 전자 장치(1430)는 사용자 입력을 검출할 수 있다.
동작 1417에서, 사용자 입력을 검출함에 따라 주변 전자 장치(1430)는 전자 장치(1401)에 사용자 입력 데이터를 포함한 인증(Authentication) 응답을 전송할 수 있다. 이와는 달리 전자 장치(1401)가 주변 전자 장치(1430)에 인증(Authentication) 응답을 전송할 수 있다.
동작 1418에서, 전자 장치(1401)는 인증(Authentication) 응답을 전송 받아 인증 결정을 할 수 있다. 예를 들어, 주변 전자 장치(1430)에서 사용자 입력 데이터를 전송 받아 상기 입력에 따른 동작이 전자 장치(1401)에서 실행될 경우 인증 결정을 할 수 있다.
동작 1419에서, 전자 장치(1401)는 인증 결정에 따라 선택된 주변 전자 장치(1430)에 연결을 요청할 수 있다. 이와는 달리 주변 전자 장치(1430)에서 전자 장치(1401)에 연결을 요청할 수 있다. 동작 1420에서, 연결된 전자 장치(1401)와 주변 전자 장치(1430)는 채널을 형성할 수 있다. 따라서, 전자 장치(1401)는 주변 전자 장치(1430)를 이용하여 사용자의 입력을 검출하고, 사용자 입력에 따라 컨텐츠 등을 실행할 수 있다.
본 발명의 다양한 실시예들에 따른 방법은, 전자 장치의 동작 방법에 있어서, 사용자의 상기 전자 장치의 착용을 검출하는 동작; 상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하는 동작; 및 상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행하는 동작을 포함할 수 있다.
일 실시예에서, 상기 착용을 검출하는 동작은, 상기 전자 장치와 기능적으로 연결된 근접 센서를 활성화하는 동작; 및 상기 근접 센서를 이용하여 상기 사용자의 전자 장치 착용을 검출하는 동작을 포함할 수 있다.
일 실시예에서, 상기 컨텐츠를 획득하는 동작은, 상기 사용자의 전자 장치 착용 검출에 응답하여 수신 모듈을 활성화하는 동작; 및 상기 수신 모듈을 이용하여 상기 외부 전자 장치에서 컨텐츠 정보를 포함하는 신호를 수신하는 동작을 포함할 수 있다.
일 실시예에서, 상기 수신 모듈은 오디오 모듈, 카메라 모듈, 및 RF 모듈 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 획득한 컨텐츠를 실행하는 동작은, 상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재하는지 판단하는 동작; 상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재할 경우, 가상 현실 컨텐츠를 실행하는 동작; 및 상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재하지 않을 경우, 컨텐츠를 가상 현실 컨텐츠로 변환하는 동작을 포함할 수 있다.
일 실시예에서, 상기 획득한 컨텐츠를 실행하는 동작은, 상기 컨텐츠가 서버로부터 스트리밍되는 컨텐츠인지 판단하는 동작을 포함할 수 있다.
일 실시예에서, 상기 획득한 컨텐츠를 실행하는 동작은, 상기 컨텐츠가 서버로부터 스트리밍되는 컨텐츠일 경우, 상기 스트리밍되는 컨텐츠를 실행하는 동작을 포함할 수 있다.
일 실시예에서, 상기 컨텐츠를 획득하는 동작은, 상기 외부 전자 장치에서 실행 중인 컨텐츠를 획득하는 동작일 수 있다.
본 발명의 다양한 실시예들에 따른 방법은, 사용자의 상기 전자 장치의 착용을 검출하는 동작; 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하는 동작; 상기 탐색된 주변 전자 장치의 상태 정보를 저장하는 동작; 및 상기 상태 정보에 따라 상기 탐색된 주변 전자 장치와 연결하는 동작을 포함할 수 있다.
일 실시예에서, 상기 착용을 검출하는 동작은, 상기 전자 장치와 기능적으로 연결된 근접 센서를 활성화하는 동작; 및 상기 근접 센서를 이용하여 상기 사용자의 전자 장치 착용을 검출하는 동작을 포함할 수 있다.
일 실시예에서, 상기 탐색된 주변 전자 장치와 연결하는 동작은, 사용자의 입력에 대응하여 어플리케이션을 실행하는 동작; 상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재하는지 판단하는 동작; 상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재할 경우, 상기 실행된 어플리케이션과 관련된 주변 전자 장치를 연결하는 동작을 포함할 수 있다.
일 실시예에서, 상기 주변 전자 장치가 존재하는지 판단하는 동작은 상기 상태 정보에 기반하여 판단할 수 있다.
일 실시예에서, 상기 전자 장치에서 상기 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 주변 장치를 활성화할 수 있다.
본 발명의 다양한 실시예들에 따른 방법은, 사용자의 상기 전자 장치의 착용을 검출하는 동작; 상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하는 동작; 상기 탐색된 주변 전자 장치와 연결하는 동작; 및 상기 전자 장치에서 상기 연결된 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 연결된 주변 장치를 활성화하는 동작을 포함할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    상기 전자 장치와 기능적으로 연결된 센서 모듈;
    상기 전자 장치와 기능적으로 연결된 수신 모듈; 및
    프로세서를 포함하고, 상기 프로세서는,
    사용자의 상기 전자 장치의 착용을 검출하고,
    상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하고,
    상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행하는 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 전자 장치와 기능적으로 연결된 센서 모듈에 포함된 근접 센서를 활성화하고,
    상기 근접 센서를 이용하여 상기 사용자의 전자 장치 착용을 검출하는 전자 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 사용자의 전자 장치 착용 검출에 응답하여 상기 수신 모듈을 활성화하고,
    상기 수신 모듈을 이용하여 상기 외부 전자 장치에서 컨텐츠 정보를 포함하는 신호를 수신하는 전자 장치.
  4. 제3항에 있어서, 상기 수신 모듈은 오디오 모듈, 카메라 모듈, 및 RF 모듈 중 적어도 하나를 포함하는 전자 장치.
  5. 제3 항에 있어서, 상기 프로세서는,
    상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재하는지 판단하고,
    상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재할 경우, 가상 현실 컨텐츠를 실행하고,
    상기 컨텐츠 정보에 가상 현실 컨텐츠가 존재하지 않을 경우, 컨텐츠를 가상 현실 컨텐츠로 변환하는 전자 장치.
  6. 제1 항에 있어서, 상기 프로세서는,
    상기 컨텐츠가 서버로부터 스트리밍되는 컨텐츠인지 판단하는 전자 장치.
  7. 제1항에 있어서, 상기 프로세서는, 상기 컨텐츠가 서버로부터 스트리밍되는 컨텐츠일 경우, 상기 스트리밍되는 컨텐츠를 실행하는 전자 장치.
  8. 제1항에 있어서, 상기 프로세서는, 상기 외부 전자 장치에서 실행 중인 컨텐츠를 획득하는 전자 장치.
  9. 전자 장치에 있어서,
    상기 전자 장치와 기능적으로 연결된 센서 모듈;
    메모리; 및
    프로세서를 포함하고, 상기 프로세서는,
    사용자의 상기 전자 장치의 착용을 검출하고,
    상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하고,
    상기 탐색된 주변 전자 장치의 상태 정보를 상기 메모리에 저장하고,
    상기 상태 정보에 따라 상기 탐색된 주변 전자 장치와 연결하는 전자 장치.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 전자 장치와 기능적으로 연결된 센서 모듈에 포함된 근접 센서를 활성화하고,
    상기 근접 센서를 이용하여 상기 사용자의 전자 장치 착용을 검출하는 전자 장치.
  11. 제9 항에 있어서, 상기 프로세서는,
    사용자의 입력에 대응하여 어플리케이션을 실행하고,
    상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재하는지 판단하고,
    상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재할 경우, 상기 실행된 어플리케이션과 관련된 주변 전자 장치를 연결하는 전자 장치.
  12. 제11 항에 있어서, 상기 프로세서는, 상기 상태 정보에 기반하여 상기 실행된 어플리케이션과 관련된 주변 전자 장치가 존재하는지 판단하는 전자 장치.
  13. 제9 항에 있어서, 상기 프로세서는, 상기 전자 장치에서 상기 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 주변 장치를 활성화하는 장치.
  14. 전자 장치에 있어서,
    상기 전자 장치와 기능적으로 연결된 센서 모듈; 및
    프로세서를 포함하고, 상기 프로세서는,
    사용자의 상기 전자 장치의 착용을 검출하고,
    상기 사용자의 전자 장치 착용의 검출에 응답하여 주변 전자 장치를 탐색하고,
    상기 탐색된 주변 전자 장치와 연결하고,
    상기 전자 장치에서 상기 연결된 주변 전자 장치와 관련된 기능을 실행함에 따라 상기 연결된 주변 장치를 활성화하는 전자 장치.
  15. 적어도 하나의 프로세서에 의해 실행되며, 컴퓨터로 읽을 수 있는 명령어가 저장된 컴퓨터 기록 매체에 있어서,
    상기 명령어는,
    사용자의 상기 전자 장치의 착용을 검출하는 동작;
    상기 사용자의 전자 장치 착용의 검출에 응답하여 외부 전자 장치에서 컨텐츠를 획득하는 동작; 및
    상기 외부 전자 장치에서 컨텐츠를 획득함에 따라 상기 획득한 컨텐츠를 실행하는 동작;을 수행하도록 설정된 컴퓨터 기록 매체.
PCT/KR2017/009400 2016-09-08 2017-08-29 컨텐츠 재생 방법 및 이를 지원하는 전자 장치 WO2018048130A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/331,696 US11245948B2 (en) 2016-09-08 2017-08-29 Content playback method and electronic device supporting same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160115505A KR102452314B1 (ko) 2016-09-08 2016-09-08 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
KR10-2016-0115505 2016-09-08

Publications (1)

Publication Number Publication Date
WO2018048130A1 true WO2018048130A1 (ko) 2018-03-15

Family

ID=61561463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009400 WO2018048130A1 (ko) 2016-09-08 2017-08-29 컨텐츠 재생 방법 및 이를 지원하는 전자 장치

Country Status (3)

Country Link
US (1) US11245948B2 (ko)
KR (1) KR102452314B1 (ko)
WO (1) WO2018048130A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681430B2 (en) * 2004-12-13 2020-06-09 Kuo-Ching Chiang Smart TV with cloud service
US10595000B1 (en) * 2018-08-02 2020-03-17 Facebook Technologies, Llc Systems and methods for using depth information to extrapolate two-dimentional images
CN109379498B (zh) * 2018-11-13 2020-12-22 Oppo广东移动通信有限公司 电磁干扰控制方法及相关装置
GB2605545B (en) * 2020-08-03 2023-04-12 Cirrus Logic Int Semiconductor Ltd Dynamic resource allocation
US11736748B2 (en) * 2020-12-16 2023-08-22 Tencent America LLC Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points
WO2024071632A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 메타버스 영상을 표시하는 영상 표시 장치 및 그 표시 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102015A (en) * 1870-04-19 Improved horse-power
KR20120057942A (ko) * 2010-11-29 2012-06-07 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
KR20150006195A (ko) * 2013-07-08 2015-01-16 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR20150088599A (ko) * 2014-01-24 2015-08-03 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20160000330A (ko) * 2014-06-24 2016-01-04 엘지전자 주식회사 이동 단말기

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243485B (zh) 2005-09-29 2011-05-18 株式会社尼康 内容再现系统
KR101395613B1 (ko) 2007-08-31 2014-05-16 에스케이플래닛 주식회사 연속적인 콘텐츠 사용을 위한 이동단말기 플랫폼 관리 방법및 그를 위한 이동단말기
KR101546280B1 (ko) 2009-03-23 2015-08-24 에스케이플래닛 주식회사 동영상 컨텐츠의 심리스 서비스 제공 시스템, 사용자단말, 서버 및 방법
KR20150095124A (ko) 2014-02-12 2015-08-20 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP3149554B1 (en) * 2014-05-30 2024-05-01 Apple Inc. Continuity
US9946509B2 (en) * 2015-11-18 2018-04-17 Gaudio Lab, Inc. Apparatus and method for processing audio signal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102015A (en) * 1870-04-19 Improved horse-power
KR20120057942A (ko) * 2010-11-29 2012-06-07 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
KR20150006195A (ko) * 2013-07-08 2015-01-16 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR20150088599A (ko) * 2014-01-24 2015-08-03 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20160000330A (ko) * 2014-06-24 2016-01-04 엘지전자 주식회사 이동 단말기

Also Published As

Publication number Publication date
KR20180028165A (ko) 2018-03-16
KR102452314B1 (ko) 2022-10-07
US11245948B2 (en) 2022-02-08
US20190246161A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
WO2018182296A1 (ko) 전자 장치 및 전자 장치의 화면 공유 방법
AU2017210821B2 (en) Electronic device and method for controlling the same
WO2016137187A1 (en) Apparatus and method for providing screen mirroring service
WO2018043884A1 (ko) 카메라를 제어하기 위한 방법 및 그 전자 장치
WO2018174545A1 (en) Method and electronic device for transmitting audio data to multiple external devices
WO2016085219A1 (en) Method for transmitting and receiving signals in proximity network and electronic device thereof
WO2017209528A1 (en) Electronic apparatus and operating method thereof
WO2018048130A1 (ko) 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
WO2017086656A1 (ko) 무선 통신 방법 및 이를 제공하는 전자 장치
WO2017048000A1 (en) Method and electronic device for providing content
WO2015186987A1 (en) Method and apparatus for providing location information
WO2017142373A1 (en) Method of controlling the sharing of videos and electronic device adapted thereto
WO2017014489A1 (en) Operating method for contents searching function and electronic device supporting the same
WO2018190650A1 (ko) 전자 장치 및 전자 장치에서 인증 정보 전송 및 수신 방법
WO2018217066A1 (ko) 생체 정보를 측정하는 전자 장치와 이의 동작 방법
WO2015167236A1 (en) Electronic device and method for providing emergency video call service
WO2018139824A1 (ko) 전자 장치 및 전자 장치의 테더링 연결 방법
WO2018097683A1 (ko) 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
WO2017034166A1 (en) Method for processing sound by electronic device and electronic device thereof
WO2018139870A1 (en) Electronic device and method for capturing image in electronic device
WO2018128432A1 (ko) 전자 장치 간 콘텐츠 공유 시스템 및 전자 장치의 콘텐츠 공유 방법
WO2018236150A1 (en) ELECTRONIC CONTENT READING DEVICE AND METHOD OF OPERATION
WO2017209446A1 (en) Electronic device and information processing system including the same
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
WO2018048217A1 (en) Electronic apparatus and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17849014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17849014

Country of ref document: EP

Kind code of ref document: A1