WO2021096063A1 - 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법 - Google Patents

스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법 Download PDF

Info

Publication number
WO2021096063A1
WO2021096063A1 PCT/KR2020/013317 KR2020013317W WO2021096063A1 WO 2021096063 A1 WO2021096063 A1 WO 2021096063A1 KR 2020013317 W KR2020013317 W KR 2020013317W WO 2021096063 A1 WO2021096063 A1 WO 2021096063A1
Authority
WO
WIPO (PCT)
Prior art keywords
streaming data
electronic device
deep learning
resolution
learning model
Prior art date
Application number
PCT/KR2020/013317
Other languages
English (en)
French (fr)
Inventor
전형준
조상욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021096063A1 publication Critical patent/WO2021096063A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Definitions

  • Various embodiments relate to a method and apparatus for selecting a deep learning model for restoring streaming data by an electronic device displaying multimedia streaming data.
  • deep learning super resolution technology is a neural network model that plays the role of changing the picture quality of low resolution to high resolution.
  • level of technology is quite high enough that TVs are commercialized, and the technology is being developed to a level similar to the original even images that cannot be fully recognized due to the recent grafting with GAN network.
  • Various embodiments may adaptively select a deep learning model corresponding to a plurality of resolutions of the original streaming data for a plurality of domains to restore low-resolution streaming data acquired from an external electronic device as much as the original streaming data.
  • the electronic device includes a display, a communication module, a processor operatively connected to the display and the communication module, and a memory operatively connected to the processor, and the memory, when executed, the The processor, through the communication module, obtains first streaming data corresponding to a first resolution of the original streaming data for a first domain from an external electronic device, and a plurality of Selecting a first deep learning model corresponding to the first resolution of the original streaming data from among deep learning models, and converting the first streaming data into first reconstructed streaming data using the first deep learning model, And instructions for displaying the first reconstructed streaming data through the display.
  • a method of providing streaming data includes an operation of acquiring first streaming data corresponding to a first resolution of the original streaming data for a first domain from an external electronic device through a communication module, the original Selecting a first deep learning model corresponding to the first resolution of the original streaming data from among a plurality of deep learning models corresponding to a plurality of resolutions of streaming data, the first deep learning model using the first deep learning model It may include an operation of converting the first streaming data into first reconstructed streaming data, and an operation of displaying the first reconstructed streaming data through a display.
  • the streaming service providing server includes a communication module, a processor operatively connected to the communication module, and a memory operatively connected to the processor, and the memory is, when executed, the processor And transmitting a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for a specific domain through the communication module to a plurality of electronic devices, and the plurality of resolutions of the original streaming data and the original streaming data Train a plurality of deep learning models corresponding to the plurality of resolutions of the original streaming data using the plurality of streaming data corresponding to, and included in the plurality of electronic devices through the communication module.
  • the image difference degree for the specific domain or the resolution of the original streaming data is obtained from the electronic device, and the plurality of deep learning models corresponding to the plurality of resolutions of the original streaming data are obtained through the communication module.
  • a deep learning model corresponding to the image difference degree for a specific domain or the resolution of the original streaming data may be transmitted to the electronic device.
  • the electronic device adaptively checks a deep learning model corresponding to the resolution of the original streaming data from among a plurality of deep learning models trained for a plurality of resolutions, and determines the confirmed deep learning model.
  • Streaming data similar to the original streaming data of ultra-high resolution can be provided by restoring the streaming data by using.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a flowchart illustrating a method of displaying, by an electronic device, restored streaming data using a deep learning model, according to various embodiments.
  • FIG. 3 is a diagram illustrating an embodiment in which an electronic device restores streaming data using a deep learning model and transmits the restored streaming data to an external electronic device, according to various embodiments.
  • 4A is a diagram illustrating an embodiment in which an external electronic device transmits a plurality of deep learning models corresponding to a plurality of resolutions of original streaming data to a plurality of electronic devices, according to various embodiments.
  • FIG. 4B is a diagram for describing an embodiment in which an external electronic device checks an image difference degree for a deep learning model using reconstructed streaming data, according to various embodiments.
  • FIG. 5 is a diagram for describing an embodiment in which an electronic device selects a specific sub deep learning model corresponding to a specific resolution of original streaming data for a specific sub domain, according to various embodiments.
  • FIG. 6 is a flowchart illustrating a method of selecting, by an electronic device, a specific deep learning model based on a user input, and displaying restored streaming data using the selected specific deep learning model, according to various embodiments.
  • FIG. 7A is a diagram illustrating a first embodiment in which an electronic device selects a specific deep learning model based on a user input for an image difference diagram, according to various embodiments.
  • FIG. 7B is a diagram illustrating a second embodiment in which an electronic device selects a specific deep learning model based on a user input for an image difference diagram, according to various embodiments.
  • an electronic device selects a specific deep learning model based on a compression rate corresponding to a plurality of resolutions and an image difference degree, and displays the restored streaming data using the selected specific deep learning model. This is a flow chart for explaining how to do it.
  • FIG. 9 is a diagram for describing a first embodiment in which an electronic device selects a specific deep learning model corresponding to a specific resolution based on a compression rate corresponding to a plurality of resolutions and an image difference degree according to various embodiments. .
  • FIG. 10 is a diagram illustrating a second embodiment in which an electronic device selects a specific deep learning model corresponding to a specific resolution based on a compression rate corresponding to a plurality of resolutions and an image difference degree according to various embodiments. .
  • FIG. 11 is a diagram for describing an embodiment in which an external electronic device trains a specific deep learning model corresponding to a specific resolution range, according to various embodiments.
  • FIG. 12 is a diagram for describing an embodiment in which an external electronic device trains a specific deep learning model using patched streaming data, according to various embodiments.
  • FIG. 13 is a diagram for describing an embodiment in which an external electronic device trains a plurality of deep learning models corresponding to a plurality of resolutions of original streaming data for a plurality of domains, according to various embodiments.
  • FIG. 14 is a flowchart illustrating a method of transmitting, by an external electronic device, a deep learning model corresponding to an image difference degree for a specific domain or a resolution of original streaming data for a specific domain to the electronic device, according to various embodiments .
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (for example, a short-range wireless communication network), or a second network 199 It is possible to communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ) Can be included.
  • a sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197
  • at least one of these components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg, a display.
  • the processor 120 for example, executes software (eg, a program 140) to implement at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least a part of data processing or operation, the processor 120 may transfer commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132. It is loaded into, processes commands or data stored in the volatile memory 132, and the result data may be stored in the nonvolatile memory 134.
  • software eg, a program 140
  • the processor 120 may transfer commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132. It is loaded into, processes commands or data stored in the volatile memory 132, and the result data may be stored in the nonvolatile memory 134.
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphic processing unit, an image signal processor) that can be operated independently or together. , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function. The secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, an image signal processor
  • the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • the co-processor 123 is, for example, in place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ) While in the state, together with the main processor 121, at least one of the components of the electronic device 101 (for example, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the functions or states associated with it.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as a part of other functionally related components eg, the camera module 180 or the communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176).
  • the data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component of the electronic device 101 (eg, the processor 120) from outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output an sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls.
  • the receiver may be implemented separately from the speaker or as part of the speaker.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 170 may convert sound into an electrical signal, or conversely, may convert an electrical signal into sound. According to an embodiment, the audio module 170 acquires sound through the input device 150, the sound output device 155, or an external electronic device (eg: Sound may be output through the electronic device 102 (for example, a speaker or headphones).
  • an external electronic device eg: Sound may be output through the electronic device 102 (for example, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through tactile or motor sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture a still image and a video.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 includes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It is possible to support establishment and communication through the established communication channel.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : A local area network (LAN) communication module, or a power line communication module) may be included.
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg : A local area network (LAN) communication module, or a power line communication module
  • a corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 199 (e.g., a cellular network, the Internet, Alternatively, it may communicate with an external electronic device through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • a computer network for example, a telecommunication network such as a LAN or WAN.
  • These various types of communication modules may be integrated into one component (eg, a single chip), or may be implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information stored in the subscriber identification module 196 (eg, International Mobile Subscriber Identifier (IMSI)) in a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 can be checked and authenticated.
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, provided by the communication module 190 from the plurality of antennas. Can be chosen.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 197.
  • At least some of the components are connected to each other through a communication method (e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and a signal ( E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or part of the operations executed by the electronic device 101 may be executed by one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology Can be used.
  • FIG. 2 is a flowchart illustrating a method of displaying, by an electronic device (eg, the electronic device 101 of FIG. 1 ), reconstructed streaming data using a deep learning model, according to various embodiments.
  • an electronic device eg, the electronic device 101 of FIG. 1
  • reconstructed streaming data using a deep learning model according to various embodiments.
  • FIG. 3 is a diagram in which the electronic device 101 restores streaming data using a deep learning model and transmits the restored streaming data to an external electronic device (eg, the server 108 of FIG. 1) according to various embodiments. It is a figure showing an Example.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is through a communication module (for example, the communication module 190 of FIG. 1), and the external electronic device 108 ) From the first streaming data (eg, the first streaming data 311 of FIG. 3) corresponding to the first resolution of the original streaming data (eg, the original streaming data 301 of FIG. 3) for the first domain can do.
  • Streaming data described herein may mean a plurality of frames or a single frame, and may include media streaming data (eg, video streaming data).
  • the external electronic device 108 may be a server that provides a streaming service for a plurality of domains.
  • a domain may include a specific application (eg, a game application), a specific function, or a specific service, and includes various contents capable of providing an image frame. can do.
  • the external electronic device 108 may convert the original streaming data 301 for the first domain into the first streaming data 311. For example, referring to FIG. 3, in order to transmit the streaming data to the electronic device 101, the external electronic device 108 sets the original resolution (eg, 100%) of the original streaming data 301 to the first resolution ( Example: The first streaming data 311 resized to 80% of the original resolution) may be generated.
  • the external electronic device 108 may transmit the generated first streaming data 311 to the electronic device 101.
  • the external electronic device 108 resizes the original resolution (eg, 100%) of the original streaming data 301 to a second resolution (eg, 60% of the original resolution). ) Can be created.
  • the external electronic device 108 uses the original streaming data 301 and specific streaming data corresponding to a specific resolution of the original streaming data 301 to correspond to a specific resolution of the original streaming data 301. You can train specific deep learning models. For example, referring to FIG.
  • the external electronic device 108 corresponds to the first streaming data 311 as training data and the original streaming data 301 as correct answer data to a first resolution of the original streaming data 301
  • the first deep learning model 310 may be trained by providing it to a first deep learning model (eg, the first deep learning model 310 of FIG. 3) (eg, a training model).
  • the external electronic device 108 converts the second streaming data 412 as training data and the original streaming data 301 as correct answer data to a second resolution of the original streaming data 301.
  • the second deep learning model 320 may be trained by providing it to a second deep learning model (eg, the second deep learning model 320 of FIG. 3) corresponding to.
  • the external electronic device 108 uses data obtained by encoding specific streaming data corresponding to a specific resolution of the original streaming data 301 or data that has undergone additional image processing as training data, and uses the original streaming data 301 ), a specific deep learning model corresponding to a specific resolution can be trained.
  • a specific deep learning model corresponding to a specific resolution can be trained against.
  • a plurality of deep learning models include a deep neural network, a convolutional neural network, a recurrent neural network, a restricted Boltzmann machine, and a deep trust neural network. Deep belief network) or deep Q-network, and the above-described algorithm is only an example, and is not limited to the above-described example, and various algorithms applicable by those skilled in the art Can be trained based on
  • the external electronic device 108 may include a streaming service providing server.
  • a streaming data transmission server for transmitting streaming data and a streaming data training server for training streaming data may be included in the external electronic device 108 that is a streaming service providing server as one structure, or each The structure of can be divided and exist as a separate structure.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is an original among a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data 301.
  • the first deep learning model 310 corresponding to the first resolution of the streaming data 301 may be selected.
  • the electronic device 101 may acquire a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data 301 from the external electronic device 108 through the communication module 190.
  • the electronic device 101 may store a plurality of acquired deep learning models in a memory (eg, the memory 130 of FIG. 1 ). For example, referring to FIG.
  • the electronic device 101 corresponds to a first deep learning model 310 corresponding to a first resolution of the original streaming data 301 and a second resolution of the original streaming data 301.
  • the second deep learning model 320 may be stored in the memory 130.
  • the electronic device 101 may delete at least one of a plurality of deep learning models from the memory 130 based on a user's request, an external electronic device 108's request, or a specified period.
  • the electronic device 101 can confirm that the first streaming data 311 acquired from the external electronic device 108 corresponds to the first resolution of the original streaming data 301, and a plurality of deep learning Among the models, a first deep learning model 310 corresponding to the first resolution of the original streaming data 301 may be selected.
  • the electronic device 101 includes a first deep learning model 310 and a second deep learning model 320 corresponding to a first resolution of the original streaming data 301.
  • a deep learning model 310 may be selected.
  • the electronic device 101 corresponds to the first resolution of the original streaming data 301 among a plurality of deep learning models based on a user input.
  • the first deep learning model 310 may be selected.
  • the user input may include a user input for selecting an image difference degree between the original streaming data 301 and specific streaming data (eg, the first reconstructed streaming data 321 in FIG. 3 ).
  • the electronic device 101 is configured to perform a first program corresponding to a specific resolution (eg, the lowest resolution) of the original streaming data 301 among at least one deep learning model that satisfies the image difference degree selected by the user.
  • a deep learning model 310 may be selected.
  • the degree of video difference between the original streaming data 301 and the specific streaming data is an error rate (e.g., MSE (mean square error)), PSNR (peak signal-to-noise ratio), or SSIM (structural similarity index). )).
  • the error rate may represent a difference between a pixel value of the original streaming data 301 and a pixel value of the specific streaming data.
  • the above-described example regarding the degree of difference between the original streaming data 301 and the specific streaming data is only an embodiment, is not limited to the above example, and may include various criteria for confirming the degree of similarity between the images.
  • the user input may include a user input for selecting the first resolution of the original streaming data 301.
  • the electronic device 101 may select the first deep learning model 310 corresponding to the first resolution selected by the user. According to an embodiment, the electronic device 101 may obtain a user input for selecting a network latency, and check the resolution of the original streaming data 301 corresponding to the network delay selected by the user. , A deep learning model corresponding to the resolution of the verified original streaming data 301 may be selected. A specific operation of selecting the first deep learning model 310 based on a user input will be described later in the description of FIGS.
  • the electronic device 101 may also provide a compression rate corresponding to a plurality of resolutions of the original streaming data 301 and an image difference corresponding to the plurality of resolutions. Based on, from among a plurality of deep learning models, a first deep learning model 310 corresponding to a first resolution of the original streaming data 301 may be selected.
  • the compression rate corresponding to the specific resolution may mean a value (A/B) obtained by dividing the size (A) of the streaming data corresponding to the specific resolution of the original streaming data by the size (B) of the original streaming data.
  • the electronic device 101 satisfies a specified condition among values obtained by applying an image difference degree corresponding to each of the plurality of resolutions to a compression rate corresponding to each of the plurality of resolutions (eg, the lowest value).
  • a first resolution derived from) can be checked, and a first deep learning model 310 corresponding to the checked first resolution can be selected.
  • the image difference degree corresponding to a specific resolution may mean an image difference degree for a specific deep learning model corresponding to the specific resolution.
  • a specific operation of selecting the first deep learning model 310 based on a compression rate corresponding to a plurality of resolutions and an image difference degree will be described later in the description of FIGS. 8 to 10.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is based on the network bandwidth of the electronic device 101, the original streaming data among a plurality of deep learning models.
  • the first deep learning model 310 corresponding to the first resolution of 301 may be selected.
  • the electronic device 101 may measure a network bandwidth for receiving streaming data, and may transmit the measured network bandwidth to the external electronic device 108.
  • the external electronic device 108 may select a first resolution of the original streaming data 301 corresponding to the received network bandwidth, and the first streaming data corresponding to the first resolution of the original streaming data 301 ( 311) may be transmitted to the electronic device 101.
  • the electronic device 101 may check the first resolution of the original streaming data 301 selected based on the network bandwidth, and select a first deep learning model 310 corresponding to the checked first resolution.
  • the electronic device may check usage statistics of image difference degrees for a plurality of deep learning models for a specified period, and the most used image difference A first deep learning model 310 corresponding to may be selected.
  • the external electronic device 108 may check the usage statistics of the image difference degree for the plurality of deep learning models for a period specified by the plurality of electronic devices, and the most used image difference degree A corresponding first deep learning model 310 may be selected.
  • the external electronic device 108 may check usage statistics of image difference degrees for a plurality of deep learning models for a period specified by the plurality of electronic devices, and determine the most used image difference degrees.
  • a specific deep learning model corresponding to an optimal resolution may be selected by applying the equations described in FIGS. 8 to 10 to be described later.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is based on the network bandwidth of the electronic device 101, the first resolution of the original streaming data 301 among a plurality of deep learning models.
  • a first deep learning model 310 corresponding to may be selected.
  • the electronic device 101 first restores the first streaming data 311 using the first deep learning model 310. It can be converted into streaming data 321.
  • the electronic device 101 may apply the first streaming data 311 as input data to the first deep learning model 310, and upscale the first streaming data 311 as output data. Upscaling first restored streaming data 321 may be obtained.
  • the electronic device 101 applies the first streaming data 311 to the first deep learning model 310 (for example, an inference model), thereby first reconstruction streaming.
  • Data 321 may be obtained.
  • the electronic device 101 transmits the first restored streaming data 321 to the external electronic device 108 through the communication module 190.
  • the external electronic device 108 uses the first reconstructed streaming data 321 obtained from the electronic device 101 to provide a first deep learning model corresponding to the first resolution of the original streaming data 301.
  • An image difference degree for 310 may be calculated. A specific operation of calculating an image difference degree for the first deep learning model 310 using the first reconstructed streaming data 321 will be described later in the description of FIG. 4B.
  • the electronic device 101 may transmit the first restored streaming data (eg, the display device 160 of FIG. 1). 321)) can be displayed.
  • FIG. 4A illustrates a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data (eg, the original streaming data 301 of FIG. 3) by the external electronic device 108 according to various embodiments. It is a diagram for explaining an embodiment of transmitting to devices.
  • the external electronic device 108 may transmit specific streaming data corresponding to a specific resolution of the original streaming data 301 for the first domain to a plurality of electronic devices.
  • the external electronic device 108 transmits first streaming data (eg, the first streaming data 311 of FIG. 3) corresponding to the first resolution of the original streaming data 301 to a first electronic device (eg: Transmission may be made to a plurality of first electronic devices including the electronic device 101 of FIG. 1.
  • the external electronic device 108 stores the second streaming data 412 corresponding to the second resolution of the original streaming data 301 as a plurality of second electronic devices including the second electronic device 401. Can be sent to.
  • the external electronic device 108 stores third streaming data (not shown) corresponding to the third resolution of the original streaming data 301 and includes a plurality of third electronic devices (not shown). It can be transmitted to electronic devices.
  • the second electronic device 401 and the third electronic device (not shown) may include the same components as the first electronic device 101.
  • the external electronic device 108 corresponds to a specific resolution of the original streaming data 301 by using the original streaming data 301 and specific streaming data corresponding to a specific resolution of the original streaming data 301
  • the external electronic device 108 uses first streaming data 311 as training data and original streaming data 301 as correct answer data as a first deep learning model corresponding to a first resolution of the original streaming data 301.
  • the first deep learning model 310 may be trained by providing it to (eg, the first deep learning model 310 of FIG. 3) (eg, a training model).
  • the external electronic device 108 may train the second deep learning model (eg, the second deep learning model 320 of FIG. 3) and the third deep learning model 430 using the above-described method.
  • the external electronic device 108 may transmit a specific deep learning model corresponding to a specific resolution of the original streaming data 301 to at least one electronic device.
  • the external electronic device 108 may transmit the first deep learning model 310 corresponding to the first resolution of the original streaming data 301 to the first electronic device 101, and the original streaming data ( The second deep learning model 320 corresponding to the second resolution of the 301 may be transmitted to the second electronic device 401.
  • the external electronic device 108 may transmit at least one deep learning model to at least one electronic device according to a specified period.
  • the external electronic device 108 converts the requested specific deep learning model to the first electronic device 101 based on obtaining a request for a specific deep learning model from the first electronic device 101.
  • the external electronic device 108 after obtaining a request for transmission of specific streaming data corresponding to a specific resolution from the first electronic device 101, the external electronic device 108 transmits the specific streaming data to the first electronic device 101. Before transmission, a specific deep learning model corresponding to a specific resolution may be transmitted to the first electronic device 101 in advance. According to an embodiment, the external electronic device 108 may transmit a specific deep learning model to the first electronic device 101 at a first time point while training a specific deep learning model, and after the first time point. At the second time point, an updated version of a specific deep learning model may be transmitted to the first electronic device 101.
  • a plurality of electronic devices may store a plurality of deep learning models acquired from the external electronic device 108 in a memory (eg, the memory 130 of FIG. 1 ).
  • the first electronic device 101 may store the first deep learning model 310 and the third deep learning model 430 in the memory 130, and the second electronic device 401
  • the learning model 310 and the second deep learning model 320 may be stored in the memory 130.
  • the first electronic device 101 may update a specific deep learning model stored in the memory 130 by using an updated version of a specific deep learning model obtained from the external electronic device 108. I can.
  • FIG. 4B is a diagram for describing an embodiment in which an external electronic device (eg, the server 108 of FIG. 1) checks an image difference diagram for a deep learning model by using reconstructed streaming data, according to various embodiments. .
  • an external electronic device eg, the server 108 of FIG. 1
  • the external electronic device 108 includes first streaming data corresponding to a first resolution of the original streaming data (eg, the original streaming data 301 of FIG. 3) (eg, the first streaming data of FIG. 3).
  • the data 311 may be transmitted to a first electronic device (eg, the electronic device 101 of FIG. 1 ), and second streaming data 412 corresponding to the second resolution of the original streaming data 301 is provided. 2 Can be transmitted to the electronic device 401.
  • the second electronic device 401 may include the same components as the first electronic device 101.
  • the first electronic device 101 is a first deep learning model corresponding to the first resolution of the original streaming data 301 (eg, the processor 120 of FIG. 3 ).
  • the first streaming data 311 may be converted into first reconstructed streaming data (eg, the first reconstructed streaming 321 of FIG. 3) using the first deep learning model 310.
  • the second electronic device 401 second reconstructs the second streaming data 412 using the second deep learning model 320 corresponding to the second resolution of the original streaming data 301. It can be converted into streaming data 422.
  • the first electronic device 101 may transmit the first restored streaming data 321 to the external electronic device 108.
  • the first electronic device 101 may transmit some frames of the first restored streaming data 321 to the external electronic device 108 at a specified period or in real time.
  • the first electronic device 101 transmits the first restored streaming data 321 in response to receiving a request for the first restored streaming data 321 from the external electronic device 108 or a user It can be transmitted to the external electronic device 108.
  • the second electronic device 401 may transmit the second reconstructed streaming data 422 to the external electronic device 108.
  • the external electronic device 108 is converted from each of the plurality of first electronic devices including the first electronic device 101 by using the first deep learning model 310
  • An image of the first deep learning model 310 may be obtained by obtaining the data 321 and using the original streaming data 301 and the first reconstructed streaming data 321 obtained from each of the plurality of first electronic devices You can check the difference.
  • the external electronic device 108 may calculate an image difference degree for the first deep learning model 310 by using frames of the first reconstructed streaming data 321 acquired during a specified period.
  • the external electronic device 108 may calculate an image difference degree for each frame of the original streaming data 301 and the first reconstructed streaming data 321, as an image difference degree for the first deep learning model 310, It is possible to calculate the average of the image difference of each frame acquired during a specified period.
  • the external electronic device 108 is an image difference diagram with respect to the first deep learning model 310, and the frame of the original streaming data 301 and the first reconstructed streaming data 321 It is possible to calculate the image difference degree of the frame.
  • the external electronic device 108 is a second restoration streaming converted from each of a plurality of second electronic devices including the second electronic device 401 using the second deep learning model 320.
  • the data 422 can be obtained, and an image of the second deep learning model 320 using the original streaming data 301 and the second reconstructed streaming data 422 obtained from each of a plurality of second electronic devices You can check the difference.
  • the external electronic device 108 may store an image difference degree for each deep learning model in a memory in the form of a mapping table.
  • FIG. 5 is a diagram for describing an embodiment in which the electronic device 101 selects a specific sub deep learning model corresponding to a specific resolution of original streaming data for a specific sub domain, according to various embodiments.
  • the electronic device corresponds to the first resolution of the original streaming data for the first domain (eg, the original streaming data 301 of FIG. 3).
  • the first streaming data (eg, the first streaming data 311 of FIG. 3) may be obtained from an external electronic device (eg, the server 108 of FIG. 1 ).
  • the first domain may include a plurality of designated areas or a plurality of sub-domains corresponding to at least one of a plurality of designated periods.
  • the first domain may include a plurality of sub-domains corresponding to a plurality of designated areas.
  • a first domain (eg, a first game application) includes a first sub-domain 510a and a second area (eg, a general field area) corresponding to a first area (eg, a general field area).
  • a second sub-domain 510b corresponding to the dungeon area A) may be included.
  • the first domain may include a plurality of sub-domains corresponding to a plurality of designated periods.
  • a first domain eg, a first game application
  • the electronic device 101 may obtain the first streaming data 311 corresponding to the first resolution of the original streaming data 301 for a specific sub-domain from the external electronic device 108.
  • the electronic device is a first deep learning model corresponding to the first resolution of the original streaming data 301 for the first domain (eg, the processor 120 of FIG. 3 ).
  • the first deep learning model 310) may be selected.
  • the first deep learning model 310 may include a plurality of sub deep learning models corresponding to a plurality of sub domains. For example, referring to ⁇ 501>, the first deep learning model 310 corresponds to the first sub-deep learning model 511 and the second sub-domain 510b corresponding to the first sub-domain 510a.
  • a second sub deep learning model 512 may be included.
  • the first deep learning model 310 is in the first sub-deep learning model 511 and the second sub-domain 520b corresponding to the first sub-domain 520a.
  • a corresponding second sub deep learning model 512 may be included.
  • the first sub-deep learning model 511 corresponding to the first sub-domain 510a is a first sub-deep learning model corresponding to the first resolution of the original streaming data 301 for the first sub-domain 510a ( 511).
  • the electronic device 101 obtains the first streaming data 311 corresponding to the first resolution of the original streaming data 301 for the first sub-domain 510a from the external electronic device 108 Based on this, the first sub deep learning model 511 corresponding to the first resolution of the original streaming data 301 for the first sub domain 510a may be selected.
  • FIG. 6 illustrates a streaming restored by using an electronic device (for example, the electronic device 101 of FIG. 1) selects a specific deep learning model based on a user input, and reconstructs the selected specific deep learning model according to various embodiments.
  • an electronic device for example, the electronic device 101 of FIG. 1 selects a specific deep learning model based on a user input, and reconstructs the selected specific deep learning model according to various embodiments.
  • This is a flow chart for explaining how to display data.
  • FIG. 7A is a diagram illustrating a first embodiment in which the electronic device 101 selects a specific deep learning model based on a user input for an image difference diagram, according to various embodiments.
  • FIG. 7B is a diagram illustrating a second embodiment in which the electronic device 101 selects a specific deep learning model based on a user input for an image difference diagram, according to various embodiments.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is through a communication module (for example, the communication module 190 of FIG. : It is possible to obtain specific streaming data corresponding to a specific resolution of the original streaming data for a specific domain from the server 108 of FIG. 1.
  • a communication module for example, the communication module 190 of FIG. : It is possible to obtain specific streaming data corresponding to a specific resolution of the original streaming data for a specific domain from the server 108 of FIG. 1.
  • the electronic device 101 transmits specific streaming data corresponding to a specific resolution of the original streaming data to the external electronic device 108 based on a user input.
  • the request may be made, and in response to the request, specific streaming data corresponding to a specific resolution may be obtained from the external electronic device 108.
  • the user input is a user input for selecting an image difference degree for a specific domain, a user input for selecting a network delay for a specific domain, or a user input for selecting a specific resolution of the original streaming data for a specific domain. It may include.
  • the electronic device 101 receives the first streaming data corresponding to the first resolution of the original streaming data from the external electronic device 108, based on acquiring a user input, Second streaming data corresponding to the second resolution may be received from 108.
  • Second streaming data corresponding to the second resolution may be received from 108.
  • the electronic device 101 2 Based on obtaining a user input for selecting a resolution (eg, 60% of the original resolution), the external electronic device 108 may request second streaming data corresponding to the second resolution, and in response to the request, Second streaming data corresponding to the second resolution may be obtained from the external electronic device 108.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data based on a user input. Among them, a specific deep learning model corresponding to a specific resolution of the original streaming data can be selected.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) generates a specific deep learning model corresponding to a specific resolution of the original streaming data based on a user input for selecting an image difference degree. You can choose.
  • the electronic device 101 is at least one deep learning model that satisfies an image difference degree selected by a user from among a plurality of deep learning models corresponding to a plurality of resolutions of original streaming data for a specific domain. can confirm.
  • the electronic device 101 includes a first deep learning model 710 corresponding to a first resolution (eg, 80% of the original resolution) of the original streaming data for the first domain 701.
  • a first deep learning model 710 to a third deep learning model 730 that satisfies an image difference degree (eg, an error rate of 3%) selected by the user at the first time point T1 (eg, a user selected time point) I can confirm.
  • the electronic device 101 may select a specific deep learning model corresponding to a specific resolution of the original streaming data from among at least one deep learning model that satisfies the image difference degree selected by the user. For example, referring to FIG. 7A, the electronic device 101 includes first to third deep learning models 710 to 3 satisfying an image difference degree (eg, 3%) selected by a user at a first time point T1. Among the deep learning models 730, a third deep learning model 730 corresponding to the lowest resolution (eg, 40% of the original resolution) of the original streaming data may be selected.
  • the electronic device 101 may select a specific deep learning model corresponding to a resolution having a specific network delay from among at least one deep learning model that satisfies an image difference degree selected by a user.
  • the electronic device 101 may include a first deep learning model 710 to a third deep learning model 730 that satisfies an image difference (eg, 3%) selected by a user at a first time point T1.
  • the electronic device 101 while at least one deep learning model that does not satisfy the image difference selected by the user at the first time point acquires updated versions of the plurality of deep learning models from the external electronic device 108 at a specified period, Based on the confirmation that the image difference degree is satisfied at the second view point, the electronic device 101 selects a resolution lower than the resolution selected at the first view point among at least one deep learning model that satisfies the image difference degree at the second view point. You can choose the corresponding deep learning model. For example, referring to FIG.
  • the fourth deep learning model 740 and the fifth deep learning model (not shown) that do not satisfy the image difference (eg, an error rate of 3%) selected by the user at the first time point T1 are the second time point ( Based on the confirmation that the image difference degree is satisfied in T2), the electronic device 101 provides a fourth deep learning model 740 and a fifth deep learning model ( 750), the fourth deep learning model 740 corresponding to the lowest resolution (eg, 20% of the original resolution) may be selected.
  • the electronic device 101 selects a specific deep learning model corresponding to a specific resolution of the original streaming data based on a user input for selecting a network delay.
  • the electronic device 101 may check a specific resolution of original streaming data corresponding to a network delay selected by a user input, and select a specific deep learning model corresponding to the identified specific resolution.
  • the first streaming data corresponding to the first resolution of the original streaming data has a network delay of 5 to 6 ms
  • the second streaming data corresponding to the second resolution has a network delay of 6 to 7 ms
  • the third streaming data corresponding to the resolution has a network delay of 7 to 8 ms.
  • the electronic device 101 may check the first streaming data corresponding to the first resolution of the original streaming data having a network delay (eg, 5.5 ms) selected by the user input, and A first deep learning model corresponding to the first resolution may be selected.
  • the external electronic device 108 may obtain an image difference degree selected by the user from the electronic device 101, and correspond to a specific resolution among deep learning models that satisfy the selected image difference degree.
  • the deep learning model may be transmitted to the electronic device 101.
  • the external electronic device 108 may obtain an image difference degree selected by a user (eg, an error rate of 3%) from the electronic device 101, and satisfy the selected image difference degree.
  • the third deep learning model 730 corresponding to the lowest resolution among the first to third deep learning models 710 to 730 may be transmitted to the electronic device 101.
  • at least one deep learning model that does not satisfy the image difference selected by the user at the first time point is configured to calculate the image difference degree at the second time point.
  • the external electronic device 108 may transmit, to the electronic device 101, a deep learning model corresponding to a specific resolution from among at least one deep learning model that satisfies the image difference degree at the second view point. .
  • a deep learning model corresponding to a specific resolution from among at least one deep learning model that satisfies the image difference degree at the second view point For example, referring to FIG.
  • the external electronic device 108 while training of the first deep learning model 710 to the fifth deep learning model (not shown) is in progress, the external electronic device 108
  • the external electronic device 108 Based on the confirmation of, the external electronic device 108 has the lowest resolution among the fourth deep learning model 740 and the fifth deep learning model (not shown) that satisfy the image difference degree at the second view point T2.
  • a fourth deep learning model 740 corresponding to 20% of the original resolution may be transmitted to the electronic device 101.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is based on a user input for selecting an image difference degree for a specific domain, a specific resolution of the original streaming data for a specific domain. You can select a specific deep learning model corresponding to.
  • the electronic device 101 is based on a user input for selecting an image difference degree for a specific domain, among at least one deep learning model that satisfies the selected image difference degree. You can select a specific deep learning model that corresponds to the lowest resolution.
  • the electronic device 101 is a user who selects an image difference 751 (eg, a first error rate of 5%) for a first domain 701 (eg, A game app).
  • the third deep learning model 730 may be selected.
  • the electronic device 101 selects an image difference degree 752 (eg, a second error rate of 10%) for the second domain 702 (eg, B game app).
  • a fourth deep learning model 741 corresponding to may be selected.
  • the external electronic device 108 may obtain an image difference degree for a specific domain selected by the user from the electronic device 401, and is the most A deep learning model corresponding to a low resolution may be transmitted to the electronic device 101.
  • the external electronic device 108 is a deep learning model that satisfies the image difference 761 (eg, a first error rate of 3%) for the first domain 701 selected by the user.
  • the first deep learning model 710 corresponding to the lowest resolution of the original streaming data for the first domain 701 may be transmitted to the electronic device 401.
  • FIG. 7B the external electronic device 108 is a deep learning model that satisfies the image difference 761 (eg, a first error rate of 3%) for the first domain 701 selected by the user.
  • the first deep learning model 710 corresponding to the lowest resolution of the original streaming data for the first domain 701 may be transmitted to the electronic device 401.
  • FIG. 7B the image difference 761 (eg, a first error rate of 3%) for the first domain 701 selected
  • the external electronic device 108 satisfies the image difference 762 (eg, a second error rate of 5%) for the second domain 702 selected by the user.
  • the image difference 762 e.g, a second error rate of 5%
  • the third deep learning model 731 corresponding to the lowest resolution of the original streaming data for the second domain 702 is used as the electronic device 401. I can send it.
  • the electronic device 101 uses a selected specific deep learning model to determine a specific resolution corresponding to a specific resolution of the original streaming data for a specific domain.
  • Streaming data can be converted into restored streaming data.
  • the electronic device 101 may apply specific streaming data as input data to a selected specific deep learning model, and obtain restored streaming data by upscaling specific streaming data as output data. have.
  • the electronic device 101 may display the restored streaming data through a display (eg, the display device 160 of FIG. 1). I can.
  • FIG. 8 shows, according to various embodiments, an electronic device (eg, the electronic device 101 of FIG. 1) selecting a specific deep learning model based on a compression rate corresponding to a plurality of resolutions and an image difference
  • an electronic device eg, the electronic device 101 of FIG. 1 selecting a specific deep learning model based on a compression rate corresponding to a plurality of resolutions and an image difference
  • FIG. 9 illustrates a first embodiment in which the electronic device 101 selects a specific deep learning model corresponding to a specific resolution based on a compression rate corresponding to a plurality of resolutions and an image difference degree according to various embodiments It is a drawing for.
  • FIG. 10 illustrates a second embodiment in which the electronic device 101 selects a specific deep learning model corresponding to a specific resolution based on a compression rate corresponding to a plurality of resolutions and an image difference degree according to various embodiments It is a drawing for.
  • the electronic device 101 (for example, the electronic device 101 of FIG. 1) is through a communication module (for example, the communication module 190 of FIG. Example: It is possible to obtain specific streaming data corresponding to a specific resolution of the original streaming data for a specific domain from the server 108 of FIG. 1.
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is based on a compression rate corresponding to a plurality of resolutions of the original streaming data and an image difference degree corresponding to the plurality of resolutions.
  • a specific resolution of the original streaming data for a specific domain can be checked, specific streaming data corresponding to a specific resolution of the original streaming data can be requested from the external electronic device 108, and in response to the request, the external electronic device 108 ), it is possible to obtain specific streaming data corresponding to a specific resolution.
  • a method of checking a specific resolution of the original streaming data for a specific domain based on a compression rate corresponding to the plurality of resolutions and an image difference degree corresponding to the plurality of resolutions will be described later in operation 803.
  • the electronic device 101 Second streaming data corresponding to the second resolution may be received from the external electronic device 108 based on the image difference corresponding to the data. For example, while receiving the first streaming data corresponding to the first resolution (eg, 80% of the original resolution) of the original streaming data from the external electronic device 108, the electronic device 101 A second resolution (eg, 60% of the original resolution) for deriving a value that satisfies a specified condition may be identified by using a corresponding compression rate and an image difference degree corresponding to a plurality of resolutions. In this case, the electronic device 101 may request the second streaming data corresponding to the second resolution from the external electronic device 108, and in response to the request, the external electronic device 108 It is possible to acquire second streaming data.
  • the first streaming data corresponding to the first resolution eg, 80% of the original resolution
  • the electronic device 101 A second resolution eg, 60% of the original resolution
  • the electronic device 101 may request the second streaming data corresponding to the second resolution from the external electronic device 108, and in response
  • the electronic device 101 determines a compression rate corresponding to a plurality of resolutions of the original streaming data and an image difference corresponding to the plurality of resolutions Based on the diagram, a specific deep learning model corresponding to a specific resolution of the original streaming data may be selected from among a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data.
  • the electronic device 101 applies an image difference degree corresponding to each of the plurality of resolutions to a compression rate corresponding to each of the plurality of resolutions.
  • a specific resolution that derives a value that satisfies a specified condition can be checked, and a specific deep learning model corresponding to the identified specific resolution can be selected.
  • the compression rate corresponding to the specific resolution may mean a value (A/B) obtained by dividing the size (A) of the streaming data corresponding to the specific resolution of the original streaming data by the size (B) of the original streaming data.
  • an image difference degree corresponding to a specific resolution may mean an image difference degree for a specific deep learning model corresponding to a specific resolution.
  • a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data may be initially stored in the electronic device 101 in an untrained state, and a plurality of The image difference degree (eg, error rate) for each of the deep learning models may be equal to '1'.
  • the electronic device 101 is selected from among values 911 (for example, a value obtained by summing a compression rate and an error rate) to which an image difference degree corresponding to each of the plurality of resolutions is applied to a compression rate corresponding to each of the plurality of resolutions.
  • a specific resolution 931 e.g., 100% original resolution
  • the condition (921) e.g., the lowest value
  • the specific resolution 931 corresponding to 100% of the original resolution has a value with an image difference of 0
  • the value 921 (eg, the lowest value) that satisfies the specified condition is the specific resolution ( 931).
  • a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data are stored in a trained state in the electronic device 101 after a certain period of time.
  • the image difference degree for each of the plurality of deep learning models may be different from each other.
  • the electronic device 101 is selected from among values 912 (eg, a value obtained by adding a compression rate and an error rate) to which an image difference degree corresponding to each of the plurality of resolutions is applied to a compression rate corresponding to each of the plurality of resolutions.
  • values 912 eg, a value obtained by adding a compression rate and an error rate
  • the electronic device 101 may provide a compression rate corresponding to a plurality of resolutions of the original streaming data, an image difference degree corresponding to the plurality of resolutions, and an electronic device. Based on the network bandwidth of the device 101, a specific deep learning model corresponding to a specific resolution of the original streaming data may be selected from among a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data. . According to an embodiment, the electronic device 101 uses the following [Equation 1] and the following [Equation 2], from among a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data. You can select a specific deep learning model that corresponds to a specific resolution of the streaming data.
  • E denotes the image difference degree corresponding to the specific resolution of the original streaming data
  • D/O denotes the specific resolution obtained by dividing the size (D) of the streaming data corresponding to the specific resolution of the original streaming data by the size (O) of the original streaming data. It may represent a compression rate corresponding to.
  • L represents the network bandwidth measured by the electronic device 101 at a specific time point
  • D/L represents the time it takes to transmit the streaming data corresponding to the specific resolution
  • O/L represents the time it takes to transmit the original streaming data.
  • the g function can send the video difference as 0. Also, when the transmission time of streaming data corresponding to a specific resolution is delayed than a predetermined maximum network latency, the g function outputs an arbitrary large value because it is not appropriate to provide streaming data corresponding to a specific resolution. Thus, it can be induced to search for a lower resolution than a specific resolution.
  • the electronic device 101 may check the value as a more optimized value.
  • the electronic device 101 may check a specific resolution for deriving the lowest f-value, and select a specific deep learning model corresponding to the identified specific resolution. For example, referring to ⁇ 1001> of FIG. 10, the electronic device 101 provides a second resolution (eg, 20% of the original resolution) of the original streaming data that derives the lowest f value at the first time point T1.
  • a second resolution eg, 20% of the original resolution
  • the first 2 It is possible to check the first resolution (eg, 80% of the original resolution) of the original streaming data that derives the lowest f-value at the time point T2, and select the first deep learning model 1010 corresponding to the first resolution.
  • the restored streaming data can be generated.
  • the electronic device 101 determines the first resolution of the original streaming data (e.g., 80 of the original resolution) for deriving the lowest f value at the first time point T3.
  • the second resolution eg, 20% of the original resolution
  • the reconstructed streaming data can be generated by selecting a second deep learning model 1020 corresponding to the second resolution.
  • operations for checking a specific resolution described in FIGS. 8 to 10 may be performed by the external electronic device 108, and the external electronic device 108 is The running model may be transmitted to the electronic device 101.
  • the electronic device 101 uses a selected specific deep learning model to determine a specific resolution corresponding to a specific resolution of the original streaming data for a specific domain.
  • Streaming data can be converted into restored streaming data.
  • the electronic device 101 may apply specific streaming data as input data to a selected specific deep learning model, and obtain restored streaming data by upscaling specific streaming data as output data. have.
  • the electronic device 101 may display the restored streaming data through a display (eg, the display device 160 of FIG. 1). I can.
  • FIG. 11 is a diagram for describing an embodiment in which an external electronic device (eg, the server 108 of FIG. 1) trains a specific deep learning model corresponding to a specific resolution range, according to various embodiments.
  • an external electronic device eg, the server 108 of FIG. 1 trains a specific deep learning model corresponding to a specific resolution range
  • the electronic device 101 (for example, the processor 120 of FIG. 1) is a network for the electronic device 101 based on a specified period, a user's request, or an external electronic device 108's request. You can check the bandwidth. According to an embodiment, the electronic device 101 may transmit the identified network bandwidth to the external electronic device 108.
  • the external electronic device 108 includes a compression rate corresponding to a plurality of resolutions of the original streaming data, an image difference degree corresponding to the plurality of resolutions, and a network bandwidth of the electronic device 101. ), a specific deep learning model corresponding to a specific resolution of the original streaming data may be selected from among a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data.
  • a method for the external electronic device 108 to check a specific resolution based on a compression rate, an image difference, and a network bandwidth may use the method for checking by the electronic device 101 described in operation 805 of FIG. 8.
  • the external electronic device 108 may transmit a specific deep learning model corresponding to the identified specific resolution to the electronic device 101.
  • the external electronic device 108 is a specific deep learning model corresponding to a specific resolution identified among the first deep learning model 1110, the second deep learning model 1120, and the third deep learning model 1130. May be transmitted to the electronic device 101.
  • the external electronic device 108 may train a specific deep learning model corresponding to a specific resolution range of original streaming data for a specific domain.
  • the external electronic device 108 may train a first deep learning model 1110 corresponding to a first resolution range of the original streaming data (eg, 100% or less than 80% of the original resolution), and the first 2 Can train a second deep learning model 1120 corresponding to a resolution range (e.g., less than or equal to 80% and greater than 60% of the original resolution), and a third resolution range (e.g., less than or equal to 60% and greater than 40% of the original resolution)
  • a third deep learning model 1130 corresponding to may be trained.
  • the external electronic device 108 may transmit a specific deep learning model corresponding to a specific resolution range including the identified specific resolution to the electronic device 101.
  • the external electronic device 108 may transmit the second deep learning model 1120 corresponding to the second resolution range including the identified specific resolution (eg, 70%) to the electronic device 101. .
  • FIG. 12 is a diagram for describing an embodiment in which an external electronic device (eg, the server 108 of FIG. 1) trains a specific deep learning model using patched streaming data, according to various embodiments.
  • an external electronic device eg, the server 108 of FIG. 1 trains a specific deep learning model using patched streaming data, according to various embodiments.
  • the external electronic device 108 stores original streaming data (eg, original streaming data 301 of FIG. 3) for the first domain based on a deep learning algorithm or software algorithm related to image conversion. Can be converted.
  • the external electronic device 108 applies a software algorithm (eg, a graphic patch) to the original streaming data 301, without changing the program code constituting the original streaming data 301, 301 may be converted into patched streaming data 1201.
  • the external electronic device 108 may convert the patched streaming data 1201 into first streaming data 1211 corresponding to a first resolution of the patched streaming data 1201.
  • the external electronic device 108 resizes the original resolution (eg, 100%) of the patched streaming data 1201 to a first resolution (eg, 80% of the original resolution). Can be created.
  • the external electronic device 108 may transmit the generated first streaming data 1211 to the electronic device 101.
  • the external electronic device 108 uses patched streaming data 1201 and first streaming data 1211 corresponding to a first resolution of the patched streaming data 1201.
  • the first deep learning model 1210 corresponding to the first resolution of 1201) may be trained.
  • the external electronic device 108 may apply the first streaming data 1211 as training data and the patched streaming data 1201 as correct answer data to a first dip corresponding to the first resolution of the patched streaming data 1201.
  • the first deep learning model 1210 may be trained.
  • the external electronic device 108 may transmit the first deep learning model 1210 corresponding to the first resolution of the patched streaming data 1201 to the electronic device 101.
  • the patched streaming data 1201 may be included in the original streaming data 301, and in this case, the first deep learning model 1210 corresponding to the first resolution of the patched streaming data 1201 May be included in a first deep learning model (eg, the first deep learning model 310 of FIG. 3) corresponding to the first resolution of the original streaming data 301.
  • FIG. 13 is a diagram in which an external electronic device (eg, the server 108 of FIG. 1) trains a plurality of deep learning models corresponding to a plurality of resolutions of original streaming data for a plurality of domains, according to various embodiments. It is a figure for explaining an embodiment.
  • an external electronic device eg, the server 108 of FIG. 1
  • trains a plurality of deep learning models corresponding to a plurality of resolutions of original streaming data for a plurality of domains according to various embodiments. It is a figure for explaining an embodiment.
  • the external electronic device 108 may generate a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for a plurality of domains.
  • the external electronic device 108 may generate a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for the first domain 1301 (eg, movie A as the first content).
  • the external electronic device 108 may generate a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for the second domain 1302 (eg, drama B as second content). have.
  • the external electronic device 108 may generate a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for the third domain 1303 (eg, live broadcast news C as third content). I can.
  • the external electronic device 108 corresponds to a plurality of resolutions of the original streaming data by using original streaming data for a specific domain and a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data. It is possible to train a plurality of deep learning models.
  • the external electronic device 108 may train a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data for the first domain 1301. For example, the external electronic device 108 may provide first streaming data corresponding to a first resolution of the original streaming data for the first domain 1301 as training data and original streaming data for the first domain as correct answer data.
  • the first deep learning model 1310 corresponding to the first resolution of the original streaming data for the first domain is provided to the first deep learning model 1310 corresponding to the first resolution of the original streaming data for the first domain. You can train.
  • the external electronic device 108 includes second streaming data corresponding to a second resolution of the original streaming data for the first domain 1301 as training data and original streaming data for the first domain as correct answer data. Is provided to a second deep learning model (not shown) corresponding to the second resolution of the original streaming data for the first domain, and a second deep learning model corresponding to the second resolution of the original streaming data for the first domain ( Not shown) can be trained.
  • the external electronic device 108 may train a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data for the second domain 1302. For example, the external electronic device 108 may provide first streaming data corresponding to a first resolution of the original streaming data for the second domain 1302 as training data and original streaming data for the second domain as correct answer data.
  • a first deep learning model (not shown) corresponding to the first resolution of the original streaming data for the second domain by providing it to a first deep learning model (not shown) corresponding to the first resolution of the original streaming data for the second domain. ) Can be trained.
  • the external electronic device 108 includes second streaming data corresponding to a second resolution of the original streaming data for the second domain 1302 as training data and original streaming data for the second domain as correct answer data. Is provided to the second deep learning model 1320 corresponding to the second resolution of the original streaming data for the second domain, and a second deep learning model 1320 corresponding to the second resolution of the original streaming data for the second domain. ) Can be trained.
  • the external electronic device 108 may train a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data for the third domain 1303. For example, the external electronic device 108 provides third streaming data corresponding to a third resolution of the original streaming data for the third domain 1303 as training data and original streaming data for the third domain as correct answer data.
  • the third deep learning model 1330 corresponding to the third resolution of the original streaming data for the third domain is provided to the third deep learning model 1330 corresponding to the third resolution of the original streaming data for the 3 domain. You can train.
  • FIG. 14 is an electronic diagram of a deep learning model corresponding to an image difference diagram for a specific domain or a resolution of original streaming data for a specific domain by an external electronic device (eg, the server 108 of FIG. 1) according to various embodiments.
  • This is a flowchart illustrating a method of transmitting to a device (eg, the electronic device 101 of FIG. 1 ).
  • the external electronic device 108 corresponds to a plurality of resolutions of the original streaming data for a specific domain through a communication module (eg, the communication module 190 of FIG. 1).
  • a plurality of streaming data may be transmitted to a plurality of electronic devices.
  • the external electronic device 108 includes a first electronic device (eg, the electronic device 101 of FIG. 1) with a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for the first domain. It may be transmitted to a plurality of first electronic devices.
  • the external electronic device 108 may transmit a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for the second domain to a second electronic device (for example, the second electronic device 401 of FIG. 4 ). )).
  • the external electronic device 108 may include a streaming service providing server.
  • a streaming data transmission server for transmitting streaming data and a streaming data training server for training streaming data may be included in the external electronic device 108 that is a streaming service providing server as one structure, or each The structure of can be divided and exist as a separate structure.
  • the external electronic device 108 uses the original streaming data and a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data.
  • the external electronic device 108 trains a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data.
  • the external electronic device 108 stores a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for the first domain as training data and the original streaming data for the first domain as correct answer data in the first domain.
  • Training a plurality of first deep learning models corresponding to a plurality of resolutions of the original streaming data for a first domain by providing them to a plurality of first deep learning models corresponding to a plurality of resolutions of the original streaming data for can do.
  • the external electronic device 108 provides a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for the second domain as training data and original streaming data for the second domain as correct answer data.
  • a plurality of second deep learning models corresponding to a plurality of resolutions of the original streaming data for the second domain by providing to a plurality of second deep learning models corresponding to a plurality of resolutions of the original streaming data for the 2 domain Can train them.
  • the external electronic device 108 (for example, the processor 120 of FIG. 1) is transmitted from the electronic device 101 included in the plurality of electronic devices through the communication module 190.
  • An image difference degree for a specific domain or a resolution of the original streaming data for a specific domain may be obtained.
  • the electronic device 101 obtains a corresponding image difference based on a user input for selecting an image difference degree for a specific domain or a user input for selecting a resolution of the original streaming data for a specific domain
  • the resolution of the original streaming data may be transmitted to the external electronic device 108.
  • the external electronic device 108 corresponds to a plurality of resolutions of the original streaming data for a specific domain through the communication module 190.
  • a deep learning model corresponding to an image difference degree for a specific domain or a resolution of the original streaming data for a specific domain among the plurality of deep learning models to be transmitted may be transmitted to the electronic device 101.
  • the external electronic device 108 may perform operation 1407 described above using the method described in FIGS. 6, 7A, and 7B. .
  • An electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • the electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • phrases such as “at least one of B or C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the component from other Order) is not limited.
  • Some (eg, a first) component is referred to as “coupled” or “connected” to another (eg, a second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components may be connected to the other components directly (eg by wire), wirelessly, or via a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) that can be read by a machine (eg, electronic device 101). It may be implemented as software (for example, the program 140) including them.
  • the processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more commands stored from a storage medium. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • non-transient only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal e.g., electromagnetic waves
  • a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices (e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones), online.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones), online.
  • At least a part of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. Or one or more other actions may be added.
  • the electronic device 101 includes a display 160, a communication module 190, a processor 120 operatively connected to the display 160 and the communication module 190, and the processor ( 120) and a memory 130 operatively connected to the memory 130, and the memory 130, when executed, the processor, through the communication module 190, streams the original from an external electronic device to the first domain Acquiring first streaming data corresponding to a first resolution of data, and a first dip corresponding to the first resolution of the original streaming data from among a plurality of deep learning models corresponding to a plurality of resolutions of the original streaming data Instructions for selecting a learning model, converting the first streaming data into first restored streaming data using the first deep learning model, and displaying the first restored streaming data through the display 160 You can store instructions.
  • the instructions may cause the processor to transmit the first restored streaming data to the external electronic device through the communication module.
  • the first domain may include a plurality of designated areas or a plurality of sub-domains corresponding to at least one of a plurality of designated periods.
  • the instructions may cause the processor to select the first deep learning model corresponding to the first resolution based on a user input.
  • the user input includes a first user input for selecting an image difference degree
  • the instructions include, by the processor, the plurality of deep learning models based on the first user input.
  • the at least one deep learning model that satisfies the image difference degree is identified, and the first deep learning model corresponding to the first resolution, which is the lowest resolution of the original streaming data, is selected from among the at least one deep learning model. You can choose.
  • the user input includes a second user input for selecting a network delay
  • the instructions include, by the processor, the original corresponding to the network delay, based on the second user input.
  • the first resolution of streaming data may be checked, and the first deep learning model corresponding to the first resolution may be selected.
  • the instructions based on a compression rate corresponding to the plurality of resolutions of the original streaming data and an image difference degree corresponding to the plurality of resolutions, the first resolution.
  • the corresponding first deep learning model may be selected.
  • the instructions include, by the processor, a value that satisfies a specified condition among values obtained by applying the image difference degree corresponding to the plurality of resolutions to the compression rate corresponding to the plurality of resolutions.
  • the first resolution to be derived may be checked, and the first deep learning model corresponding to the first resolution may be selected.
  • the instructions include, by the processor, the compression rate corresponding to the plurality of resolutions of the original streaming data, the image difference degree corresponding to the plurality of resolutions, and the network of the electronic device. Based on the bandwidth, the first deep learning model corresponding to the first resolution may be selected.
  • the first deep learning model may correspond to a resolution range including the first resolution.
  • a method of providing streaming data includes an operation of acquiring first streaming data corresponding to a first resolution of the original streaming data for a first domain from an external electronic device through a communication module, the original Selecting a first deep learning model corresponding to the first resolution of the original streaming data from among a plurality of deep learning models corresponding to a plurality of resolutions of streaming data, the first deep learning model using the first deep learning model It may include an operation of converting the first streaming data into first reconstructed streaming data, and an operation of displaying the first reconstructed streaming data through a display.
  • the method of providing streaming data may further include transmitting the first restored streaming data to the external electronic device through the communication module.
  • the operation of selecting the first deep learning model corresponding to the first resolution includes an operation of selecting the first deep learning model corresponding to the first resolution based on a user input. can do.
  • the user input includes a first user input for selecting an image difference degree
  • the operation of selecting a first deep learning model corresponding to the first resolution may be performed based on the first user input.
  • the lowest resolution of the original streaming data among the at least one deep learning model It may include an operation of selecting the first deep learning model corresponding to the resolution.
  • the user input includes a second user input for selecting a network delay
  • the operation of selecting a first deep learning model corresponding to the first resolution is based on the second user input.
  • it may include an operation of checking the first resolution of the original streaming data corresponding to the network delay, and an operation of selecting the first deep learning model corresponding to the first resolution.
  • the operation of selecting the first deep learning model corresponding to the first resolution includes a compression rate corresponding to the plurality of resolutions of the original streaming data and an image difference corresponding to the plurality of resolutions. Based on the diagram, it may include an operation of selecting the first deep learning model corresponding to the first resolution.
  • the operation of selecting the first deep learning model corresponding to the first resolution includes calculating the image difference degree corresponding to the plurality of resolutions with respect to the compression rate corresponding to the plurality of resolutions. An operation of checking the first resolution for deriving a value that satisfies a specified condition among applied values, and an operation of selecting the first deep learning model corresponding to the first resolution.
  • the operation of selecting the first deep learning model corresponding to the first resolution includes the compression rate corresponding to the plurality of resolutions of the original streaming data, and the compression rate corresponding to the plurality of resolutions.
  • An operation of selecting the first deep learning model corresponding to the first resolution based on an image difference degree and a network bandwidth of the electronic device may be included.
  • the streaming service providing server includes a communication module, a processor operatively connected to the communication module, and a memory operatively connected to the processor, and the memory is, when executed, the processor And transmitting a plurality of streaming data corresponding to a plurality of resolutions of the original streaming data for a specific domain through the communication module to a plurality of electronic devices, and the plurality of resolutions of the original streaming data and the original streaming data Train a plurality of deep learning models corresponding to the plurality of resolutions of the original streaming data using the plurality of streaming data corresponding to, and included in the plurality of electronic devices through the communication module.
  • the image difference degree for the specific domain or the resolution of the original streaming data is obtained from the electronic device, and the plurality of deep learning models corresponding to the plurality of resolutions of the original streaming data are obtained through the communication module.
  • a deep learning model corresponding to the image difference degree for a specific domain or the resolution of the original streaming data may be transmitted to the electronic device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

다양한 실시예들에 따라서, 전자 장치는 디스플레이, 통신 모듈, 상기 디스플레이 및 상기 통신 모듈과 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 통신 모듈을 통하여, 외부 전자 장치로부터 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 획득하고, 상기 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 상기 원본 스트리밍 데이터의 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하고, 상기 제 1 딥러닝 모델을 이용하여 상기 제 1 스트리밍 데이터를 제 1 복원 스트리밍 데이터로 변환하고, 및 상기 디스플레이를 통하여, 상기 제 1 복원 스트리밍 데이터를 표시하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법
다양한 실시예들은, 멀티미디어 스트리밍 데이터를 표시하는 전자 장치가 스트리밍 데이터를 복원하기 위한 딥러닝 모델을 선택하는 방법 및 장치에 관한 것이다.
오늘날 네트워크의 발달과 더불어 모바일 단말기의 대중화로 인해 데스크톱, 태블릿 PC, 스마트 폰 등을 통한 멀티미디어 스트리밍 서비스를 이용하는 사용자들이 증가하고 있다. 이에 멀티미디어 스트리밍 서비스를 제공하는 서비스 제공자들은 소비자의 니즈에 따라 멀티미디어를 안정적으로 제공하기 위해 서비스 품질과 사용자 체감품질 향상을 중요시하게 되었다.
한편, 딥러닝 초고해상도(super resolution) 기술은 저해상도의 화질을 고해상도로 바꾸는 역할을 하는 신경망 모델이다. 현재는 TV등의 상용화가 되어 있을 정도로 해당 기술 수준이 상당이 높은 편이며, 최근 GAN network와의 접목으로 완전히 알아 볼 수 없는 이미지 조차 원본과 유사 수준으로 만들 정도로 기술이 발전되고 있다.
고해상도의 스트리밍 데이터를 전자 장치에서 실시간으로 재생하기 위해서는 스트리밍 데이터를 인코딩하기 위한 특정 인코딩 기법의 성능이 중요하였다. 최근 고해상도를 뛰어넘어 초고해상도의 스트리밍 데이터를 실시간으로 재생하기 위해서, 단순히 특정 인코딩 기법 또는 특정 알고리즘을 사용하는 upscaling 기법으로는 스트리밍 데이터가 초고해상도의 원시 데이터로 충분히 복원되지 않는 문제점이 있다.
다양한 실시예들은, 복수의 도메인들에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 딥러닝 모델을 적응적으로 선택하여 외부 전자 장치로부터 획득한 저해상도의 스트리밍 데이터를 원본 스트리밍 데이터만큼 복원할 수 있다.
다양한 실시예들에 따라서, 전자 장치는 디스플레이, 통신 모듈, 상기 디스플레이 및 상기 통신 모듈과 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 통신 모듈을 통하여, 외부 전자 장치로부터 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 획득하고, 상기 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 상기 원본 스트리밍 데이터의 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하고, 상기 제 1 딥러닝 모델을 이용하여 상기 제 1 스트리밍 데이터를 제 1 복원 스트리밍 데이터로 변환하고, 및 상기 디스플레이를 통하여, 상기 제 1 복원 스트리밍 데이터를 표시하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
다양한 실시예들에 따라서, 스트리밍 데이터를 제공하는 방법은, 통신 모듈을 통하여, 외부 전자 장치로부터 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 획득하는 동작, 상기 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 상기 원본 스트리밍 데이터의 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작, 상기 제 1 딥러닝 모델을 이용하여 상기 제 1 스트리밍 데이터를 제 1 복원 스트리밍 데이터로 변환하는 동작, 및 디스플레이를 통하여, 상기 제 1 복원 스트리밍 데이터를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 스트리밍 서비스 제공 서버는, 통신 모듈, 상기 통신 모듈과 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 통신 모듈을 통하여 특정 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 복수의 전자 장치들로 송신하고, 상기 원본 스트리밍 데이터 및 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 상기 복수의 스트리밍 데이터를 이용하여 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련(train)하고, 상기 통신 모듈을 통하여 상기 복수의 전자 장치들에 포함된 전자 장치로부터 상기 특정 도메인에 대한 영상 차이도 또는 상기 원본 스트리밍 데이터의 해상도를 획득하고, 및 상기 통신 모듈을 통하여 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 상기 복수의 딥러닝 모델들 중에서 상기 특정 도메인에 대한 상기 영상 차이도 또는 상기 원본 스트리밍 데이터의 상기 해상도에 대응하는 딥러닝 모델을 상기 전자 장치로 송신하도록 할 수 있다.
다양한 실시예들에 따라서, 전자 장치는 복수의 해상도들에 대하여 훈련된 복수의 딥러닝 모델들 중에서, 원본 스트리밍 데이터의 해상도에 대응하는 딥러닝 모델을 적응적으로 확인하고, 확인된 딥러닝 모델을 이용하여 스트리밍 데이터를 복원함으로써, 초고해상도의 원본 스트리밍 데이터와 유사한 스트리밍 데이터를 제공할 수 있다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른, 전자 장치가 딥러닝 모델을 이용하여 복원된 스트리밍 데이터를 표시하는 방법을 설명하기 위한 흐름도이다.
도 3은 다양한 실시예들에 따른, 전자 장치가 딥러닝 모델을 이용하여 스트리밍 데이터를 복원하고, 복원된 스트리밍 데이터를 외부 전자 장치로 송신하는 실시예를 나타내는 도면이다.
도 4a는 다양한 실시예들에 따른, 외부 전자 장치가 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델을 복수의 전자 장치들로 송신하는 실시예를 설명하기 위한 도면이다.
도 4b는 다양한 실시예들에 따른, 외부 전자 장치가 복원 스트리밍 데이터를 이용하여 딥러닝 모델에 대한 영상 차이도를 확인하는 실시예를 설명하기 위한 도면이다.
도 5는 다양한 실시예들에 따른, 전자 장치가 특정 서브 도메인에 대한 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 서브 딥러닝 모델을 선택하는 실시예를 설명하기 위한 도면이다.
도 6은 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 기반하여, 특정 딥러닝 모델을 선택하고, 선택된 특정 딥러닝 모델을 이용하여 복원된 스트리밍 데이터를 표시하는 방법을 설명하기 위한 흐름도이다.
도 7a는 다양한 실시예들에 따른, 전자 장치가 영상 차이도에 대한 사용자 입력에 기반하여, 특정 딥러닝 모델을 선택하는 제 1 실시예를 설명하기 위한 도면이다.
도 7b는 다양한 실시예들에 따른, 전자 장치가 영상 차이도에 대한 사용자 입력에 기반하여, 특정 딥러닝 모델을 선택하는 제 2 실시예를 설명하기 위한 도면이다.
도 8은 다양한 실시예들에 따른, 전자 장치가 복수의 해상도들에 대응하는 압축률 및 영상 차이도에 기반하여 특정 딥러닝 모델을 선택하고, 선택된 특정 딥러닝 모델을 이용하여 복원된 스트리밍 데이터를 표시하는 방법을 설명하기 위한 흐름도이다.
도 9는 다양한 실시예들에 따른, 전자 장치가 복수의 해상도들에 대응하는 압축률 및 영상 차이도에 기반하여 특정 해상도에 대응하는 특정 딥러닝 모델을 선택하는 제 1 실시예를 설명하기 위한 도면이다.
도 10은 다양한 실시예들에 따른, 전자 장치가 복수의 해상도들에 대응하는 압축률 및 영상 차이도에 기반하여 특정 해상도에 대응하는 특정 딥러닝 모델을 선택하는 제 2 실시예를 설명하기 위한 도면이다.
도 11은 다양한 실시예들에 따른, 외부 전자 장치가 특정 해상도 범위에 대응하는 특정 딥러닝 모델을 훈련하는 실시예를 설명하기 위한 도면이다.
도 12는 다양한 실시예들에 따른, 외부 전자 장치가 패치된 스트리밍 데이터를 이용하여 특정 딥러닝 모델을 훈련하는 실시예를 설명하기 위한 도면이다.
도 13은 다양한 실시예들에 따른, 외부 전자 장치가 복수의 도메인들에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련하는 실시예를 설명하기 위한 도면이다.
도 14는 다양한 실시예들에 따른, 외부 전자 장치가 특정 도메인에 대한 영상 차이도 또는 특정 도메인에 대한 원본 스트리밍 데이터의 해상도에 대응하는 딥러닝 모델을 전자 장치로 송신하는 방법을 설명하기 위한 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예들에 따른, 전자 장치(예: 도 1의 전자 장치(101))가 딥러닝 모델을 이용하여 복원된 스트리밍 데이터를 표시하는 방법을 설명하기 위한 흐름도이다.
도 3은 다양한 실시예들에 따른, 전자 장치(101)가 딥러닝 모델을 이용하여 스트리밍 데이터를 복원하고, 복원된 스트리밍 데이터를 외부 전자 장치(예: 도 1의 서버(108))로 송신하는 실시예를 나타내는 도면이다.
201 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 외부 전자 장치(108)로부터 제 1 도메인에 대한 원본 스트리밍 데이터(예: 도 3의 원본 스트리밍 데이터(301))의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(예: 도 3의 제 1 스트리밍 데이터(311))를 획득할 수 있다. 본 명세서에서 설명되는 스트리밍 데이터는 복수의 프레임들 또는 단일의 프레임을 의미할 수 있고, 미디어 스트리밍 데이터(예: 영상 스트리밍 데이터)를 포함할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 복수의 도메인들에 대한 스트리밍 서비스를 제공하는 서버일 수 있다. 다양한 실시예들에 따르면, 도메인(domain)은 특정 어플리케이션(예: 게임 어플리케이션), 특정 기능(function), 또는 특정 서비스(service)를 포함할 수 있고, 영상 프레임을 제공할 수 있는 다양한 컨텐트를 포함할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 제 1 도메인에 대한 원본 스트리밍 데이터(301)를 제 1 스트리밍 데이터(311)로 변환할 수 있다. 예를 들어, 도 3을 참조하면, 외부 전자 장치(108)는 전자 장치(101)로 스트리밍 데이터를 송신하기 위하여, 원본 스트리밍 데이터(301)의 원본 해상도(예: 100%)를 제 1 해상도(예: 원본 해상도의 80%)로 리사이즈한 제 1 스트리밍 데이터(311)를 생성할 수 있다. 외부 전자 장치(108)는 생성된 제 1 스트리밍 데이터(311)를 전자 장치(101)로 송신할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)의 원본 해상도(예: 100%)를 제 2 해상도(예: 원본 해상도의 60%)로 리사이즈한 제 2 스트리밍 데이터(412)를 생성할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 원본 스트리밍 데이터(301) 및 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 스트리밍 데이터를 이용하여 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 딥러닝 모델을 훈련(train)할 수 있다. 예를 들어, 도 3을 참조하면, 외부 전자 장치(108)는 학습 데이터로서의 제 1 스트리밍 데이터(311) 및 정답 데이터로서의 원본 스트리밍 데이터(301)를 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(예: 도 3의 제 1 딥러닝 모델(310))(예: 훈련 모델)에 제공하여, 제 1 딥러닝 모델(310)을 훈련할 수 있다. 또 다른 예를 들어, 도 3을 참조하면, 외부 전자 장치(108)는 학습 데이터로서의 제 2 스트리밍 데이터(412) 및 정답 데이터로서의 원본 스트리밍 데이터(301)를 원본 스트리밍 데이터(301)의 제 2 해상도에 대응하는 제 2 딥러닝 모델(예: 도 3의 제 2 딥러닝 모델(320))에 제공하여, 제 2 딥러닝 모델(320)을 훈련할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 스트리밍 데이터를 인코딩한 데이터 또는 추가적인 이미지 처리를 수행한 데이터를 학습 데이터로 하여 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 딥러닝 모델을 훈련할 수 있다. 다양한 실시예들에 따르면, 학습 데이터가 되는 스트리밍 데이터에는 제한이 없고, 외부 전자 장치(108)에 의하여 원본 스트리밍 데이터(301)로부터 이미지 처리된 다양한 스트리밍 데이터들이 특정 해상도에 대응하는 특정 딥러닝 모델에 대하여 훈련될 수 있다. 일실시예에 따르면, 복수의 딥러닝 모델들은 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine), 심층 신뢰 신경망(deep belief network), 또는 심층 Q-네트워크(deep Q-network) 중 하나에 기반하여 훈련될 수 있고, 상술한 알고리즘은 일실시예일 뿐, 상술한 예에 한정되지 않고, 당업자에 의하여 적용 가능한 다양한 알고리즘에 기반하여 훈련될 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 스트리밍 서비스 제공 서버를 포함할 수 있다. 일실시예에 따르면, 스트리밍 데이터를 송신하기 위한 스트리밍 데이터 송신 서버 및 스트리밍 데이터를 훈련하기 위한 스트리밍 데이터 훈련 서버는 하나의 구조로서 스트리밍 서비스 제공 서버인 외부 전자 장치(108)에 포함될 수 있고, 또는 각각의 구조가 구분되어 별개의 구조로서 존재할 수 있다.
203 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 원본 스트리밍 데이터(301)의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 원본 스트리밍 데이터(301)의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 외부 전자 장치(108)로부터 통신 모듈(190)을 통하여 획득할 수 있다. 일실시예에 따르면, 전자 장치(101)는 획득한 복수의 딥러닝 모델들을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다. 예를 들어, 도 3을 참조하면, 전자 장치(101)는 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310) 및 원본 스트리밍 데이터(301)의 제 2 해상도에 대응하는 제 2 딥러닝 모델(320)을 메모리(130)에 저장할 수 있다. 일실시예에 따르면, 전자 장치(101)는 사용자의 요청, 외부 전자 장치(108)의 요청, 또는 지정된 주기에 기반하여 복수의 딥러닝 모델들 중 적어도 하나를 메모리(130)에서 삭제할 수 있다. 일실시예에 따르면, 전자 장치(101)는 외부 전자 장치(108)로부터 획득한 제 1 스트리밍 데이터(311)가 원본 스트리밍 데이터(301)의 제 1 해상도에 대응함을 확인할 수 있고, 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 예를 들어, 도 3을 참조하면, 전자 장치(101)는 제 1 딥러닝 모델(310) 및 제 2 딥러닝 모델(320) 중에서, 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 사용자의 입력에 기반하여, 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 일실시예에 따르면, 사용자의 입력은 원본 스트리밍 데이터(301)와 특정 스트리밍 데이터(예: 도 3의 제 1 복원 스트리밍 데이터(321)) 사이의 영상 차이도를 선택하는 사용자 입력을 포함할 수 있다. 일실시예에 따르면, 전자 장치(101)는 사용자에 의하여 선택된 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델 중에서 원본 스트리밍 데이터(301)의 특정 해상도(예: 가장 낮은 해상도)에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 원본 스트리밍 데이터(301)와 특정 스트리밍 데이터 사이의 영상 차이도는, 에러율(error rate)(예: MSE(mean square error)), PSNR(peak signal-to-noise ratio), 또는 SSIM(structural similarity index)) 중 하나의 값으로 나타낼 수 있다. 예를 들어, 에러율은 원본 스트리밍 데이터(301)의 픽셀 값과 특정 스트리밍 데이터의 픽셀 값의 차이를 나타낼 수 있다. 원본 스트리밍 데이터(301)와 특정 스트리밍 데이터 사이의 영상 차이도에 관한 상술한 예는, 일실시예일뿐, 상기 예에 한정되지 않고, 영상 간의 유사도를 확인할 수 있는 다양한 기준들을 포함할 수 있다. 일실시예에 따르면, 사용자 입력은 원본 스트리밍 데이터(301)의 제 1 해상도를 선택하는 사용자 입력을 포함할 수 있다. 일실시예에 따르면, 전자 장치(101)는 사용자에 의하여 선택된 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 네트워크 지연(network latency)을 선택하는 사용자 입력을 획득할 수 있고, 사용자에 의하여 선택된 네트워크 지연에 대응하는 원본 스트리밍 데이터(301)의 해상도를 확인할 수 있고, 확인된 원본 스트리밍 데이터(301)의 해상도에 대응하는 딥러닝 모델을 선택할 수 있다. 사용자 입력에 기반하여 제 1 딥러닝 모델(310)을 선택하는 구체적인 동작은 도 6, 도 7a, 및 도 7b에 관한 설명에서 후술하도록 한다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 원본 스트리밍 데이터(301)의 복수의 해상도들에 대응하는 압축률 및 복수의 해상도들에 대응하는 영상 차이도에 기반하여, 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 특정 해상도에 대응하는 압축률은, 원본 스트리밍 데이터의 특정 해상도에 대응하는 스트리밍 데이터의 사이즈(A)를 원본 스트리밍 데이터의 사이즈(B)로 나눈 값(A/B)을 의미할 수 있다. 일실시예에 따르면, 전자 장치(101)는 복수의 해상도들 각각에 대응하는 압축률에 대하여 복수의 해상도들 각각에 대응하는 영상 차이도를 적용한 값들 중 지정된 조건을 만족하는 값(예: 가장 낮은 값)을 도출하는 제 1 해상도를 확인할 수 있고, 확인된 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 여기서, 특정 해상도에 대응하는 영상 차이도는, 특정 해상도에 대응하는 특정 딥러닝 모델에 대한 영상 차이도를 의미할 수 있다. 복수의 해상도들에 대응하는 압축률 및 영상 차이도에 기반하여, 제 1 딥러닝 모델(310)을 선택하는 구체적인 동작은 도 8 내지 도 10에 관한 설명에서 후술하도록 한다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 전자 장치(101)의 네트워크 대역폭(network bandwidth)에 기반하여, 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 스트리밍 데이터를 수신하기 위한 네트워크 대역폭을 측정할 수 있고, 측정된 네트워크 대역폭을 외부 전자 장치(108)로 송신할 수 있다. 이 경우, 외부 전자 장치(108)는 수신된 네트워크 대역폭에 대응하는 원본 스트리밍 데이터(301)의 제 1 해상도를 선택할 수 있고, 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(311)를 전자 장치(101)로 송신할 수 있다. 전자 장치(101)는 네트워크 대역폭에 기반하여 선택된 원본 스트리밍 데이터(301)의 제 1 해상도를 확인할 수 있고, 확인된 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120))는 지정된 기간 동안 복수의 딥러닝 모델들에 대한 영상 차이도의 이용 통계를 확인할 수 있고, 가장 많이 이용된 영상 차이도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 복수의 전자 장치들에 의하여 지정된 기간 동안 복수의 딥러닝 모델들에 대한 영상 차이도의 이용 통계를 확인할 수 있고, 가장 많이 이용된 영상 차이도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 복수의 전자 장치들에 의하여 지정된 기간 동안 복수의 딥러닝 모델들에 대한 영상 차이도의 이용 통계를 확인할 수 있고, 가장 많이 이용된 영상 차이도를 후술하는 도 8 내지 도 10에서 설명된 수학식들에 적용하여 최적의 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다.
203 동작에서 설명된 방법을 이용하여 각 딥러닝 모델에 대한 영상 차이도를 확인할 수 있고,
전자 장치(101)(예: 도 1의 프로세서(120))는 전자 장치(101)의 네트워크 대역폭(network bandwidth)에 기반하여, 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 선택할 수 있다.
205 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제 1 딥러닝 모델(310)을 이용하여 제 1 스트리밍 데이터(311)를 제 1 복원 스트리밍 데이터(321)로 변환할 수 있다. 일실시예에 따르면, 전자 장치(101)는 입력 데이터로서 제 1 스트리밍 데이터(311)를 제 1 딥러닝 모델(310)에 적용할 수 있고, 출력 데이터로서 제 1 스트리밍 데이터(311)를 업스케일링한(upscaling) 제 1 복원 스트리밍 데이터(321)를 획득할 수 있다. 예를 들어, 도 3을 참조하면, 전자 장치(101)는 제 1 스트리밍 데이터(311)를 제 1 딥러닝 모델(310)(예: 추론 모델(inference model))에 적용함으로써, 제 1 복원 스트리밍 데이터(321)를 획득할 수 있다.
다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 통신 모듈(190)을 통하여, 제 1 복원 스트리밍 데이터(321)를 외부 전자 장치(108)로 송신할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 전자 장치(101)로부터 획득한 제 1 복원 스트리밍 데이터(321)를 이용하여 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)에 대한 영상 차이도를 산출할 수 있다. 제 1 복원 스트리밍 데이터(321)를 이용하여 제 1 딥러닝 모델(310)에 대한 영상 차이도를 산출하는 구체적인 동작은 도 4b에 관한 설명에서 후술하도록 한다.
207 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 디스플레이(예: 도 1의 표시 장치(160))를 통하여, 제 1 복원 스트리밍 데이터(321))를 표시할 수 있다.
도 4a는 다양한 실시예들에 따른, 외부 전자 장치(108)가 원본 스트리밍 데이터(예: 도 3의 원본 스트리밍 데이터(301))의 복수의 해상도들에 대응하는 복수의 딥러닝 모델을 복수의 전자 장치들로 송신하는 실시예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 제 1 도메인에 대한 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 스트리밍 데이터를 복수의 전자 장치들로 송신할 수 있다. 예를 들어, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(예: 도 3의 제 1 스트리밍 데이터(311))를 제 1 전자 장치(예: 도 1의 전자 장치(101))를 포함하는 복수의 제 1 전자 장치들로 송신할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)의 제 2 해상도에 대응하는 제 2 스트리밍 데이터(412)를 제 2 전자 장치(401)를 포함하는 복수의 제 2 전자 장치들로 송신할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)의 제 3 해상도에 대응하는 제 3 스트리밍 데이터(미도시)를 제 3 전자 장치(미도시)를 포함하는 복수의 제 3 전자 장치들로 송신할 수 있다. 제 2 전자 장치(401) 및 제 3 전자 장치(미도시)는 제 1 전자 장치(101)와 동일한 구성요소들을 포함할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 원본 스트리밍 데이터(301) 및 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 스트리밍 데이터를 이용하여 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 딥러닝 모델을 훈련(train)할 수 있다. 예를 들어, 외부 전자 장치(108)는 학습 데이터로서의 제 1 스트리밍 데이터(311) 및 정답 데이터로서의 원본 스트리밍 데이터(301)를 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(예: 도 3의 제 1 딥러닝 모델(310))(예: 훈련 모델)에 제공하여, 제 1 딥러닝 모델(310)을 훈련할 수 있다. 외부 전자 장치(108)는 상술한 방법을 이용하여 제 2 딥러닝 모델(예: 도 3의 제 2 딥러닝 모델(320)) 및 제 3 딥러닝 모델(430)을 훈련할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)의 특정 해상도에 대응하는 특정 딥러닝 모델을 적어도 하나의 전자 장치로 송신할 수 있다. 예를 들어, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(310)을 제 1 전자 장치(101)로 송신할 수 있고, 원본 스트리밍 데이터(301)의 제 2 해상도에 대응하는 제 2 딥러닝 모델(320)을 제 2 전자 장치(401)로 송신할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 지정된 주기에 따라 적어도 하나의 딥러닝 모델을 적어도 하나의 전자 장치로 송신할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 제 1 전자 장치(101)로부터 특정 딥러닝 모델에 대한 요청을 획득한 것에 기반하여, 요청된 특정 딥러닝 모델을 제 1 전자 장치(101)로 송신할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 제 1 전자 장치(101)로부터 특정 해상도에 대응하는 특정 스트리밍 데이터의 송신의 요청을 획득한 후, 특정 스트리밍 데이터를 제 1 전자 장치(101)로 송신하기 전에 특정 해상도에 대응하는 특정 딥러닝 모델을 제 1 전자 장치(101)로 미리 송신할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 특정 딥러닝 모델의 훈련을 진행하면서, 제 1 시점에 특정 딥러닝 모델을 제 1 전자 장치(101)로 송신할 수 있고, 제 1 시점 이후인 제 2 시점에 특정 딥러닝 모델의 업데이트 버전(version)을 제 1 전자 장치(101)로 송신할 수 있다.
다양한 실시예들에 따르면, 복수의 전자 장치들은 외부 전자 장치(108)로부터 획득한 복수의 딥러닝 모델들을 메모리(예: 도 1의 메모리(130))에 저장할 수 있다. 예를 들어, 제 1 전자 장치(101)는 제 1 딥러닝 모델(310) 및 제 3 딥러닝 모델(430)을 메모리(130)에 저장할 수 있고, 제 2 전자 장치(401)는 제 1 딥러닝 모델(310) 및 제 2 딥러닝 모델(320)을 메모리(130)에 저장할 수 있다. 일실시예에 따르면, 제 1 전자 장치(101)는 외부 전자 장치(108)로부터 획득한 특정 딥러닝 모델의 업데이트 버전(version)을 이용하여, 메모리(130)에 저장된 특정 딥러닝 모델을 업데이트할 수 있다.
도 4b는 다양한 실시예들에 따른, 외부 전자 장치(예: 도 1의 서버(108))가 복원 스트리밍 데이터를 이용하여 딥러닝 모델에 대한 영상 차이도를 확인하는 실시예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 원본 스트리밍 데이터(예: 도 3의 원본 스트리밍 데이터(301))의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(예: 도 3의 제 1 스트리밍 데이터(311))를 제 1 전자 장치(예: 도 1의 전자 장치(101))로 송신할 수 있고, 원본 스트리밍 데이터(301)의 제 2 해상도에 대응하는 제 2 스트리밍 데이터(412)를 제 2 전자 장치(401)로 송신할 수 있다. 제 2 전자 장치(401)는 제 1 전자 장치(101)와 동일한 구성요소들을 포함할 수 있다.
다양한 실시예들에 따르면, 제 1 전자 장치(101)(예: 도 1의 프로세서(120))는 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(예: 도 3의 제 1 딥러닝 모델(310))을 이용하여 제 1 스트리밍 데이터(311)를 제 1 복원 스트리밍 데이터(예: 도 3의 제 1 복원 스트리밍(321))로 변환할 수 있다. 다양한 실시예들에 따르면, 제 2 전자 장치(401)는 원본 스트리밍 데이터(301)의 제 2 해상도에 대응하는 제 2 딥러닝 모델(320)을 이용하여 제 2 스트리밍 데이터(412)를 제 2 복원 스트리밍 데이터(422)로 변환할 수 있다.
다양한 실시예들에 따르면, 제 1 전자 장치(101)(예: 도 1의 프로세서(120))는 외부 전자 장치(108)로 제 1 복원 스트리밍 데이터(321)를 송신할 수 있다. 일실시예에 따르면, 제 1 전자 장치(101)는 지정된 주기로 또는 실시간으로 제 1 복원 스트리밍 데이터(321)의 일부 프레임을 외부 전자 장치(108)로 송신할 수 있다. 일실시예에 따르면, 제 1 전자 장치(101)는 외부 전자 장치(108) 또는 사용자로부터 제 1 복원 스트리밍 데이터(321)에 대한 요청을 수신한 것에 응답하여, 제 1 복원 스트리밍 데이터(321)를 외부 전자 장치(108)로 송신할 수 있다. 일실시예에 따르면, 제 2 전자 장치(401)는 외부 전자 장치(108)로 제 2 복원 스트리밍 데이터(422)를 송신할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 제 1 전자 장치(101)를 포함하는 복수의 제 1 전자 장치들 각각으로부터 제 1 딥러닝 모델(310)을 이용하여 변환된 제 1 복원 스트리밍 데이터(321)를 획득할 수 있고, 원본 스트리밍 데이터(301) 및 복수의 제 1 전자 장치들 각각으로부터 획득한 제 1 복원 스트리밍 데이터(321)를 이용하여 제 1 딥러닝 모델(310)에 대한 영상 차이도를 확인할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 지정된 기간 동안 획득한 제 1 복원 스트리밍 데이터(321)의 프레임들을 이용하여 제 1 딥러닝 모델(310)에 대한 영상 차이도를 산출할 수 있다. 외부 전자 장치(108)는 원본 스트리밍 데이터(301) 및 제 1 복원 스트리밍 데이터(321)의 각 프레임마다 영상 차이도를 산출할 수 있고, 제 1 딥러닝 모델(310)에 대한 영상 차이도로서, 지정된 기간 동안 획득한 각 프레임의 영상 차이도의 평균을 산출할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 제 1 딥러닝 모델(310)에 대한 영상 차이도로서, 특정 시점에서의 원본 스트리밍 데이터(301)의 프레임 및 제 1 복원 스트리밍 데이터(321)의 프레임의 영상 차이도를 산출할 수 있다. 다양한 실시예들에 따르면, 외부 전자 장치(108)는 제 2 전자 장치(401)를 포함하는 복수의 제 2 전자 장치들 각각으로부터 제 2 딥러닝 모델(320)을 이용하여 변환된 제 2 복원 스트리밍 데이터(422)를 획득할 수 있고, 원본 스트리밍 데이터(301) 및 복수의 제 2 전자 장치들 각각으로부터 획득한 제 2 복원 스트리밍 데이터(422)를 이용하여 제 2 딥러닝 모델(320)에 대한 영상 차이도를 확인할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 각 딥러닝 모델에 대한 영상 차이도를 맵핑 테이블(mapping table)의 형태로 메모리에 저장할 수 있다.
도 5는 다양한 실시예들에 따른, 전자 장치(101)가 특정 서브 도메인에 대한 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 서브 딥러닝 모델을 선택하는 실시예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는 제 1 도메인에 대한 원본 스트리밍 데이터(예: 도 3의 원본 스트리밍 데이터(301))의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(예: 도 3의 제 1 스트리밍 데이터(311))를 외부 전자 장치(예: 도 1의 서버(108))로부터 획득할 수 있다. 다양한 실시예들에 따르면, 제 1 도메인은 복수의 지정된 영역들 또는 복수의 지정된 기간 중 적어도 하나에 대응하는 복수의 서브 도메인들을 포함할 수 있다. 일실시예에 따르면, 제 1 도메인은 복수의 지정된 영역들에 대응하는 복수의 서브 도메인들을 포함할 수 있다. 예를 들어, <501>을 참조하면, 제 1 도메인(예: 제 1 게임 어플리케이션)은 제 1 영역(예: 일반 필드 영역)에 대응하는 제 1 서브 도메인(510a) 및 제 2 영역(예: 던전 A 영역)에 대응하는 제 2 서브 도메인(510b)을 포함할 수 있다. 일실시예에 따르면, 제 1 도메인은 복수의 지정된 기간들에 대응하는 복수의 서브 도메인들을 포함할 수 있다. 예를 들어, <502>를 참조하면, 제 1 도메인(예: 제 1 게임 어플리케이션)은 제 1 기간(예: 낮)에 대응하는 제 1 서브 도메인(520a) 및 제 2 기간(예: 밤)에 대응하는 제 2 서브 도메인(520b)을 포함할 수 있다. 일실시예에 따르면, 전자 장치(101)는 특정 서브 도메인에 대한 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(311)를 외부 전자 장치(108)로부터 획득할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120))는 제 1 도메인에 대한 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(예: 도 3의 제 1 딥러닝 모델(310))을 선택할 수 있다. 일실시예에 따르면, 제 1 딥러닝 모델(310)은 복수의 서브 도메인들에 대응하는 복수의 서브 딥러닝 모델들을 포함할 수 있다. 예를 들어, <501>을 참조하면, 제 1 딥러닝 모델(310)은 제 1 서브 도메인(510a)에 대응하는 제 1 서브 딥러닝 모델(511) 및 제 2 서브 도메인(510b)에 대응하는 제 2 서브 딥러닝 모델(512)을 포함할 수 있다. 또 다른 예를 들어, <502>를 참조하면, 제 1 딥러닝 모델(310)은 제 1 서브 도메인(520a)에 대응하는 제 1 서브 딥러닝 모델(511) 및 제 2 서브 도메인(520b)에 대응하는 제 2 서브 딥러닝 모델(512)을 포함할 수 있다. 제 1 서브 도메인(510a)에 대응하는 제 1 서브 딥러닝 모델(511)은, 제 1 서브 도메인(510a)에 대한 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 서브 딥러닝 모델(511)을 의미할 수 있다. 일실시예에 따르면, 전자 장치(101)는 제 1 서브 도메인(510a)에 대한 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(311)를 외부 전자 장치(108)로부터 획득한 것에 기반하여, 제 1 서브 도메인(510a)에 대한 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 서브 딥러닝 모델(511)을 선택할 수 있다.
도 6은 다양한 실시예들에 따른, 전자 장치(예: 도 1의 전자 장치(101))가 사용자 입력에 기반하여, 특정 딥러닝 모델을 선택하고, 선택된 특정 딥러닝 모델을 이용하여 복원된 스트리밍 데이터를 표시하는 방법을 설명하기 위한 흐름도이다.
도 7a는 다양한 실시예들에 따른, 전자 장치(101)가 영상 차이도에 대한 사용자 입력에 기반하여, 특정 딥러닝 모델을 선택하는 제 1 실시예를 설명하기 위한 도면이다.
도 7b는 다양한 실시예들에 따른, 전자 장치(101)가 영상 차이도에 대한 사용자 입력에 기반하여, 특정 딥러닝 모델을 선택하는 제 2 실시예를 설명하기 위한 도면이다.
601 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 외부 전자 장치(예: 도 1의 서버(108))로부터 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 스트리밍 데이터를 획득할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 사용자 입력에 기반하여, 외부 전자 장치(108)로 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 스트리밍 데이터를 요청할 수 있고, 상기 요청에 응답하여, 외부 전자 장치(108)로부터 특정 해상도에 대응하는 특정 스트리밍 데이터를 획득할 수 있다. 일실시예에 따르면, 사용자 입력은 특정 도메인에 대한 영상 차이도를 선택하는 사용자 입력, 특정 도메인에 대한 네트워크 지연을 선택하는 사용자 입력, 또는 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도를 선택하는 사용자 입력을 포함할 수 있다. 일실시예에 따르면, 전자 장치(101)는 외부 전자 장치(108)로부터 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 수신하는 도중, 사용자 입력을 획득하는 것에 기반하여, 외부 전자 장치(108)로부터 제 2 해상도에 대응하는 제 2 스트리밍 데이터를 수신할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(108)로부터 원본 스트리밍 데이터의 제 1 해상도(예: 원본 해상도의 80%)에 대응하는 제 1 스트리밍 데이터를 수신하는 도중, 원본 스트리밍 데이터의 제 2 해상도(예: 원본 해상도의 60%)를 선택하는 사용자 입력을 획득하는 것에 기반하여, 외부 전자 장치(108)로 제 2 해상도에 대응하는 제 2 스트리밍 데이터를 요청할 수 있고, 요청에 응답하여, 외부 전자 장치(108)로부터 제 2 해상도에 대응하는 제 2 스트리밍 데이터를 획득할 수 있다.
603 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 사용자 입력에 기반하여, 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 영상 차이도를 선택하는 사용자 입력에 기반하여, 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 특정 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 사용자에 의하여 선택된 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델을 확인할 수 있다. 예를 들어, 도 7a를 참조하면, 전자 장치(101)는 제 1 도메인(701)에 대한 원본 스트리밍 데이터의 제 1 해상도(예: 원본 해상도의 80%)에 대응하는 제 1 딥러닝 모델(710), 제 2 해상도(예: 원본 해상도의 60%)에 대응하는 제 2 딥러닝 모델(720), 제 3 해상도(예: 원본 해상도의 40%)에 대응하는 제 3 딥러닝 모델(730), 제 4 해상도(예: 원본 해상도의 20%)에 대응하는 제 4 딥러닝 모델(740), 및 제 5 해상도(예: 원본 해상도의 30%)에 대응하는 제 5 딥러닝 모델(미도시) 중에서, 제 1 시점(T1)(예: 사용자 선택 시점)에서 사용자에 의하여 선택된 영상 차이도(예: 에러율 3%)를 만족하는 제 1 딥러닝 모델(710) 내지 제 3 딥러닝 모델(730)을 확인할 수 있다. 일실시예에 따르면, 전자 장치(101)는 사용자에 의하여 선택된 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델 중에서 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 예를 들어, 도 7a를 참조하면, 전자 장치(101)는 제 1 시점(T1)에서 사용자에 의하여 선택된 영상 차이도(예: 3%)를 만족하는 제 1 딥러닝 모델(710) 내지 제 3 딥러닝 모델(730) 중에서, 원본 스트리밍 데이터의 가장 낮은 해상도(예: 원본 해상도의 40%)에 대응하는 제 3 딥러닝 모델(730)을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 사용자에 의하여 선택된 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델 중에서 특정 네트워크 지연을 갖는 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 예를 들어, 전자 장치(101)는 제 1 시점(T1)에서 사용자에 의하여 선택된 영상 차이도(예: 3%)를 만족하는 제 1 딥러닝 모델(710) 내지 제 3 딥러닝 모델(730) 중에서, 가장 낮은 네트워크 지연(예: 5ms)을 갖는 해상도(예: 원본 해상도의 40%)에 대응하는 스트리밍 데이터(예: 제 3 스트리밍 데이터)를 확인할 수 있고, 확인된 스트리밍 데이터의 해상도에 대응하는 제 3 딥러닝 모델(730)을 선택할 수 있다. 일실시예에 따르면, 제 1 시점에 사용자에 의하여 선택된 영상 차이도를 만족하지 못한 적어도 하나의 딥러닝 모델이 지정된 주기로 복수의 딥러닝 모델의 업데이트 버전을 외부 전자 장치(108)로부터 획득하는 도중, 제 2 시점에 상기 영상 차이도를 만족함을 확인한 것에 기반하여, 전자 장치(101)는 제 2 시점에 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델 중에서 제 1 시점에 선택된 해상도보다 더 낮은 해상도에 대응하는 딥러닝 모델을 선택할 수 있다. 예를 들어, 도 7a를 참조하면, 전자 장치(101)가 지정된 주기로 제 1 딥러닝 모델(710) 내지 제 5 딥러닝 모델(미도시)의 업데이트 버전을 외부 전자 장치(108)로부터 획득하는 동안, 제 1 시점(T1)에 사용자에 의하여 선택된 영상 차이도(예: 에러율 3%)를 만족하지 못한 제 4 딥러닝 모델(740) 및 제 5 딥러닝 모델(미도시)이, 제 2 시점(T2)에 상기 영상 차이도를 만족함을 확인한 것에 기반하여, 전자 장치(101)는 제 2 시점(T2)에 상기 영상 차이도를 만족하는 제 4 딥러닝 모델(740) 및 제 5 딥러닝 모델(750) 중에서 가장 낮은 해상도(예: 원본 해상도의 20%)에 대응하는 제 4 딥러닝 모델(740)을 선택할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 네트워크 지연을 선택하는 사용자 입력에 기반하여, 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 사용자 입력에 의하여 선택된 네트워크 지연에 대응하는 원본 스트리밍 데이터의 특정 해상도를 확인할 수 있고, 확인된 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 예를 들어, 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터는 5~6ms의 네트워크 지연을 갖고, 제 2 해상도에 대응하는 제 2 스트리밍 데이터는 6~7ms의 네트워크 지연을 가지며, 제 3 해상도에 대응하는 제 3 스트리밍 데이터는 7~8ms의 네트워크 지연을 갖는 경우를 가정해보자. 이 경우, 전자 장치(101)는 사용자 입력에 의하여 선택된 네트워크 지연(예: 5.5ms)을 갖는 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 확인할 수 있고, 확인된 제 1 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택할 수 있다. 다양한 실시예들에 따르면, 외부 전자 장치(108)는 사용자에 의하여 선택된 영상 차이도를 전자 장치(101)로부터 획득할 수 있고, 선택된 영상 차이도를 만족하는 딥러닝 모델들 중에서 특정 해상도에 대응하는 딥러닝 모델을 전자 장치(101)로 송신할 수 있다. 예를 들어, 도 7a를 참조하면, 외부 전자 장치(108)는 사용자에 의하여 선택된 영상 차이도(예: 에러율 3%)를 전자 장치(101)로부터 획득할 수 있고, 선택된 영상 차이도를 만족하는 제 1 딥러닝 모델(710) 내지 제 3 딥러닝 모델(730) 중에서 가장 낮은 해상도에 대응하는 제 3 딥러닝 모델(730)을 전자 장치(101)로 송신할 수 있다. 일실시예에 따르면, 복수의 딥러닝 모델들의 훈련이 진행되는 동안, 제 1 시점에 사용자에 의하여 선택된 영상 차이도를 만족하지 못한 적어도 하나의 딥러닝 모델이, 제 2 시점에 상기 영상 차이도를 만족함을 확인한 것에 기반하여, 외부 전자 장치(108)는 제 2 시점에 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델 중에서 특정 해상도에 대응하는 딥러닝 모델을 전자 장치(101)로 송신할 수 있다. 예를 들어, 도 7a를 참조하면, 제 1 딥러닝 모델(710) 내지 제 5 딥러닝 모델(미도시)의 훈련이 진행되는 동안, 외부 전자 장치(108)는 제 1 시점(T1)에 사용자에 의하여 선택된 영상 차이도(예: 에러율 3%)를 만족하지 못한 제 4 딥러닝 모델(740) 및 제 5 딥러닝 모델(미도시)이, 제 2 시점(T2)에 상기 영상 차이도를 만족함을 확인한 것에 기반하여, 외부 전자 장치(108)는 제 2 시점(T2)에 상기 영상 차이도를 만족하는 제 4 딥러닝 모델(740) 및 제 5 딥러닝 모델(미도시) 중에서 가장 낮은 해상도(예: 원본 해상도의 20%)에 대응하는 제 4 딥러닝 모델(740)을 전자 장치(101)로 송신할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 특정 도메인에 대한 영상 차이도를 선택하는 사용자 입력에 기반하여, 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 특정 도메인에 대한 영상 차이도를 선택하는 사용자 입력에 기반하여, 선택된 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델 중에서 특정 도메인에 대한 원본 스트리밍 데이터의 가장 낮은 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 예를 들어, 도 7b를 참조하면, 전자 장치(101)는 제 1 도메인(701)(예: A 게임 앱)에 대한 영상 차이도(751)(예: 제 1 에러율 5%)를 선택하는 사용자 입력에 기반하여, 선택된 영상 차이도(751)를 만족하는 제 1 딥러닝 모델(710) 내지 제 3 딥러닝 모델(730) 중에서 제 1 도메인(701)에 대한 원본 스트리밍 데이터의 가장 낮은 해상도에 대응하는 제 3 딥러닝 모델(730)을 선택할 수 있다. 또 다른 예를 들어, 도 7b를 참조하면, 전자 장치(101)는 제 2 도메인(702)(예: B 게임 앱)에 대한 영상 차이도(752)(예: 제 2 에러율 10%)를 선택하는 사용자 입력에 기반하여, 선택된 영상 차이도(752)를 만족하는 제 1 딥러닝 모델(711) 내지 제 4 딥러닝 모델(741) 중에서 제 2 도메인(702)에 대한 원본 스트리밍 데이터의 가장 낮은 해상도에 대응하는 제 4 딥러닝 모델(741)을 선택할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 사용자에 의하여 선택된 특정 도메인에 대한 영상 차이도를 전자 장치(401)로부터 획득할 수 있고, 선택된 영상 차이도를 만족하는 딥러닝 모델들 중에서 가장 낮은 해상도에 대응하는 딥러닝 모델을 전자 장치(101)로 송신할 수 있다. 예를 들어, 도 7b를 참조하면, 외부 전자 장치(108)는 사용자에 의하여 선택된 제 1 도메인(701)에 대한 영상 차이도(761)(예: 제 1 에러율 3%)를 만족하는 딥러닝 모델들 중에서 제 1 도메인(701)에 대한 원본 스트리밍 데이터의 가장 낮은 해상도에 대응하는 제 1 딥러닝 모델(710)을 전자 장치(401)로 송신할 수 있다. 또 다른 예를 들어, 도 7b를 참조하면, 외부 전자 장치(108)는 사용자에 의하여 선택된 제 2 도메인(702)에 대한 영상 차이도(762)(예: 제 2 에러율 5%)를 만족하는 제 1 딥러닝 모델(711) 내지 제 3 딥러닝 모델(731) 중에서 제 2 도메인(702)에 대한 원본 스트리밍 데이터의 가장 낮은 해상도에 대응하는 제 3 딥러닝 모델(731)을 전자 장치(401)로 송신할 수 있다.
605 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 선택된 특정 딥러닝 모델을 이용하여 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 스트리밍 데이터를 복원 스트리밍 데이터로 변환할 수 있다. 일실시예에 따르면, 전자 장치(101)는 입력 데이터로서 특정 스트리밍 데이터를 선택된 특정 딥러닝 모델에 적용할 수 있고, 출력 데이터로서 특정 스트리밍 데이터를 업스케일링한(upscaling) 복원 스트리밍 데이터를 획득할 수 있다.
607 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 디스플레이(예: 도 1의 표시 장치(160))를 통하여, 복원 스트리밍 데이터를 표시할 수 있다.
도 8은 다양한 실시예들에 따른, 전자 장치(예: 도 1의 전자 장치(101))가 복수의 해상도들에 대응하는 압축률 및 영상 차이도에 기반하여 특정 딥러닝 모델을 선택하고, 선택된 특정 딥러닝 모델을 이용하여 복원된 스트리밍 데이터를 표시하는 방법을 설명하기 위한 흐름도이다.
도 9는 다양한 실시예들에 따른, 전자 장치(101)가 복수의 해상도들에 대응하는 압축률 및 영상 차이도에 기반하여 특정 해상도에 대응하는 특정 딥러닝 모델을 선택하는 제 1 실시예를 설명하기 위한 도면이다.
도 10은 다양한 실시예들에 따른, 전자 장치(101)가 복수의 해상도들에 대응하는 압축률 및 영상 차이도에 기반하여 특정 해상도에 대응하는 특정 딥러닝 모델을 선택하는 제 2 실시예를 설명하기 위한 도면이다.
801 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 전자 장치(101))는 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 외부 전자 장치(예: 도 1의 서버(108))로부터 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 스트리밍 데이터를 획득할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 압축률 및 복수의 해상도들에 대응하는 영상 차이도에 기반하여 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도를 확인할 수 있고, 외부 전자 장치(108)로 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 스트리밍 데이터를 요청할 수 있고, 상기 요청에 응답하여, 외부 전자 장치(108)로부터 특정 해상도에 대응하는 특정 스트리밍 데이터를 획득할 수 있다. 복수의 해상도들에 대응하는 압축률 및 복수의 해상도들에 대응하는 영상 차이도에 기반하여, 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도를 확인하는 방법은 803 동작에서 후술하도록 한다.
일실시예에 따르면, 전자 장치(101)는 외부 전자 장치(108)로부터 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 수신하는 도중, 복수의 해상도들에 대응하는 압축률 및 복수의 해상도들에 대응하는 영상 차이도에 기반하여, 외부 전자 장치(108)로부터 제 2 해상도에 대응하는 제 2 스트리밍 데이터를 수신할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(108)로부터 원본 스트리밍 데이터의 제 1 해상도(예: 원본 해상도의 80%)에 대응하는 제 1 스트리밍 데이터를 수신하는 도중, 복수의 해상도들에 대응하는 압축률 및 복수의 해상도들에 대응하는 영상 차이도를 이용하여, 지정된 조건을 만족하는 값을 도출하는 제 2 해상도(예: 원본 해상도의 60%)를 확인할 수 있다. 이 경우, 전자 장치(101)는 외부 전자 장치(108)로 제 2 해상도에 대응하는 제 2 스트리밍 데이터를 요청할 수 있고, 상기 요청에 응답하여, 외부 전자 장치(108)로부터 제 2 해상도에 대응하는 제 2 스트리밍 데이터를 획득할 수 있다.
803 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 압축률 및 복수의 해상도들에 대응하는 영상 차이도에 기반하여, 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 복수의 해상도들 각각에 대응하는 압축률에 대하여 복수의 해상도들 각각에 대응하는 영상 차이도를 적용한 값들 중 지정된 조건을 만족하는 값을 도출하는 특정 해상도를 확인할 수 있고, 확인된 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 특정 해상도에 대응하는 압축률은, 원본 스트리밍 데이터의 특정 해상도에 대응하는 스트리밍 데이터의 사이즈(A)를 원본 스트리밍 데이터의 사이즈(B)로 나눈 값(A/B)을 의미할 수 있다. 일실시예에 따르면, 특정 해상도에 대응하는 영상 차이도는, 특정 해상도에 대응하는 특정 딥러닝 모델에 대한 영상 차이도를 의미할 수 있다. 예를 들어, 도 9의 <901>을 참조하면, 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들은 최초에는 미훈련 상태로 전자 장치(101)에 저장될 수 있고, 복수의 딥러닝 모델들 각각에 대한 영상 차이도(예: 에러율)는 '1'로 동일할 수 있다. 이 경우, 전자 장치(101)는 복수의 해상도들 각각에 대응하는 압축률에 대하여 복수의 해상도들 각각에 대응하는 영상 차이도를 적용한 값들(911)(예: 압축률과 에러율을 합산한 값) 중 지정된 조건을 만족하는 값(921)(예: 가장 낮은 값)을 도출하는 특정 해상도(931)(예: 원본 해상도 100%)를 확인할 수 있고, 특정 해상도(931)에 대응하는 특정 딥러닝 모델을 선택할 수 있다. <901> 그래프에서, 원본 해상도 100%에 해당하는 특정 해상도(931)는 영상 차이도가 0인 값을 가지기 때문에, 지정된 조건을 만족하는 값(921)(예: 가장 낮은 값)이 특정 해상도(931)에서 도출될 수 있다. 또 다른 예를 들어, 도 9의 <902>를 참조하면, 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들은 일정 기간이 경과하면, 훈련된 상태로 전자 장치(101)에 저장될 수 있고, 복수의 딥러닝 모델들 각각에 대한 영상 차이도는 서로 상이할 수 있다. 이 경우, 전자 장치(101)는 복수의 해상도들 각각에 대응하는 압축률에 대하여 복수의 해상도들 각각에 대응하는 영상 차이도를 적용한 값들(912)(예: 압축률과 에러율을 합산한 값) 중 지정된 조건을 만족하는 값(922)(예: 가장 낮은 값)을 도출하는 특정 해상도(932)(예: 원본 해상도의 80%)를 확인할 수 있고, 특정 해상도(932)에 대응하는 특정 딥러닝 모델을 선택할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 압축률, 복수의 해상도들에 대응하는 영상 차이도, 및 전자 장치(101)의 네트워크 대역폭(network bandwidth)에 기반하여, 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 일실시예에 따르면, 전자 장치(101)는 하기의 [수학식 1] 및 하기의 [수학식 2]를 이용하여, 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다.
Figure PCTKR2020013317-appb-M000001
Figure PCTKR2020013317-appb-M000002
E는 원본 스트리밍 데이터의 특정 해상도에 대응하는 영상 차이도를 나타내고, D/O는 원본 스트리밍 데이터의 특정 해상도에 대응하는 스트리밍 데이터의 사이즈(D)를 원본 스트리밍 데이터의 사이즈(O)로 나눈 특정 해상도에 대응하는 압축률을 나타낼 수 있다. L은 특정 시점에서 전자 장치(101)에서 측정한 네트워크 대역폭을 나타내고, D/L는 특정 해상도에 대응하는 스트리밍 데이터를 송신하는데 걸리는 시간을 나타내며, O/L는 원본 스트리밍 데이터를 송신하는데 걸리는 시간을 나타낼 수 있다.
Figure PCTKR2020013317-appb-I000001
는 특정 해상도에 대응하는 스트리밍 데이터를 제공하기 위하여 미리 정해진 최대 네트워크 지연(network latency)을 나타내고,
Figure PCTKR2020013317-appb-I000002
는 원본 스트리밍 데이터를 송신하기 위하여 미리 정해진 최소 네트워크 지연을 나타낼 수 있다. g 함수는 원본 스트리밍 데이터를 송신해도 시간이 충분할 경우, 영상 차이도를 0으로 보낼 수 있다. 또한, g 함수는 특정 해상도에 대응하는 스트리밍 데이터의 송신 시간이 미리 정해진 최대 네트워크 지연(network latency)보다 지연될 경우, 특정 해상도에 대응하는 스트리밍 데이터의 제공이 적절하지 않기 때문에 임의의 큰 값을 출력하여서 특정 해상도보다 더 낮은 해상도를 탐색할 수 있도록 유도할 수 있다.
Figure PCTKR2020013317-appb-I000003
는 영상 차이도와 네트워크 지연 사이의 가중치를 의미할 수 있다. 일실시예에 따르면,
Figure PCTKR2020013317-appb-I000004
는 전자 장치(101)의 사용자에 의하여 선택될 수 있고 또는 외부 전자 장치(108)에 의하여 미리 설정될 수 있다. 일실시예에 따르면,
Figure PCTKR2020013317-appb-I000005
는 상술한 [수학식 1] 및 [수학식 2]에서 생략 할 수 있다. 일실시예에 따르면, f 함수 값이 0에 가까워 질수록 영상 차이도 및 압축률이 낮아지므로, 전자 장치(101)는 더 최적화 된 값으로 확인할 수 있다. 일실시예에 따르면, 전자 장치(101)는 가장 낮은 f값을 도출하는 특정 해상도를 확인할 수 있고, 확인된 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 예를 들어, 도 10의 <1001>을 참조하면, 전자 장치(101)는 제 1 시점(T1)에 가장 낮은 f값을 도출하는 원본 스트리밍 데이터의 제 2 해상도(예: 원본 해상도의 20%)에 대응하는 제 2 딥러닝 모델(1020)을 이용하여 복원 스트리밍 데이터를 생성한 후에, 원본 스트리밍 데이터의 제 2 해상도에 대응하는 스트리밍 데이터의 픽셀 변화량이 지정된 범위를 초과함을 확인한 것에 기반하여, 제 2 시점(T2)에 가장 낮은 f값을 도출하는 원본 스트리밍 데이터의 제 1 해상도(예: 원본 해상도의 80%)를 확인할 수 있고, 제 1 해상도에 대응하는 제 1 딥러닝 모델(1010)을 선택하여 복원 스트리밍 데이터를 생성할 수 있다. 또 다른 예를 들어, 도 10의 <1002>를 참조하면, 전자 장치(101)는 제 1 시점(T3)에 가장 낮은 f값을 도출하는 원본 스트리밍 데이터의 제 1 해상도(예: 원본 해상도의 80%)에 대응하는 제 1 딥러닝 모델(1010)을 이용하여 복원 스트리밍 데이터를 생성한 후에, 전자 장치(101)의 네트워크 대역폭이 낮아짐을 확인한 것에 기반하여, 제 2 시점(T4)에 가장 낮은 f값을 도출하는 원본 스트리밍 데이터의 제 2 해상도(예: 원본 해상도의 20%)를 확인할 수 있고, 제 2 해상도에 대응하는 제 2 딥러닝 모델(1020)을 선택하여 복원 스트리밍 데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 도 8 내지 도 10에서 설명한 특정 해상도를 확인하는 동작들은 외부 전자 장치(108)에 의하여 수행될 수 있고, 외부 전자 장치(108)는 확인된 특정 해상도에 대응하는 특정 딥러닝 모델을 전자 장치(101)로 송신할 수 있다.
805 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 선택된 특정 딥러닝 모델을 이용하여 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 스트리밍 데이터를 복원 스트리밍 데이터로 변환할 수 있다. 일실시예에 따르면, 전자 장치(101)는 입력 데이터로서 특정 스트리밍 데이터를 선택된 특정 딥러닝 모델에 적용할 수 있고, 출력 데이터로서 특정 스트리밍 데이터를 업스케일링한(upscaling) 복원 스트리밍 데이터를 획득할 수 있다.
807 동작에서, 다양한 실시예들에 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 디스플레이(예: 도 1의 표시 장치(160))를 통하여, 복원 스트리밍 데이터를 표시할 수 있다.
도 11은 다양한 실시예들에 따른, 외부 전자 장치(예: 도 1의 서버(108))가 특정 해상도 범위에 대응하는 특정 딥러닝 모델을 훈련하는 실시예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 지정된 주기, 사용자의 요청 또는 외부 전자 장치(108)의 요청에 기반하여 전자 장치(101)에 대한 네트워크 대역폭을 확인할 수 있다. 일실시예에 따르면, 전자 장치(101)는 확인된 네트워크 대역폭을 외부 전자 장치(108)로 송신할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 압축률, 복수의 해상도들에 대응하는 영상 차이도, 및 전자 장치(101)의 네트워크 대역폭(network bandwidth)에 기반하여, 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 원본 스트리밍 데이터의 특정 해상도에 대응하는 특정 딥러닝 모델을 선택할 수 있다. 외부 전자 장치(108)가 압축률, 영상 차이도, 및 네트워크 대역폭에 기반하여 특정 해상도를 확인하는 방법은 도 8의 805 동작에서 설명된 전자 장치(101)가 확인하는 방법을 이용할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 확인된 특정 해상도에 대응하는 특정 딥러닝 모델을 전자 장치(101)로 송신할 수 있다. 예를 들어, 외부 전자 장치(108)는 제 1 딥러닝 모델(1110), 제 2 딥러닝 모델(1120), 및 제 3 딥러닝 모델(1130) 중 확인된 특정 해상도에 대응하는 특정 딥러닝 모델을 전자 장치(101)로 송신할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 특정 도메인에 대한 원본 스트리밍 데이터의 특정 해상도 범위에 대응하는 특정 딥러닝 모델을 훈련할 수 있다. 예를 들어, 외부 전자 장치(108)는 원본 스트리밍 데이터의 제 1 해상도 범위(예: 원본 해상도의 100% 이하 80% 초과)에 대응하는 제 1 딥러닝 모델(1110)을 훈련할 수 있고, 제 2 해상도 범위(예: 원본 해상도의 80% 이하 60% 초과)에 대응하는 제 2 딥러닝 모델(1120)을 훈련할 수 있고, 제 3 해상도 범위(예: 원본 해상도의 60% 이하 40% 초과)에 대응하는 제 3 딥러닝 모델(1130)을 훈련할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 확인된 특정 해상도를 포함하는 특정 해상도 범위 대응하는 특정 딥러닝 모델을 전자 장치(101)로 송신할 수 있다. 예를 들어, 외부 전자 장치(108)는 확인된 특정 해상도(예: 70%)를 포함하는 제 2 해상도 범위에 대응하는 제 2 딥러닝 모델(1120)를 전자 장치(101)로 송신할 수 있다.
도 12는 다양한 실시예들에 따른, 외부 전자 장치(예: 도 1의 서버(108))가 패치된 스트리밍 데이터를 이용하여 특정 딥러닝 모델을 훈련하는 실시예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 이미지 변환에 관한 딥러닝 알고리즘 또는 소프트웨어 알고리즘에 기반하여, 제 1 도메인에 대한 원본 스트리밍 데이터(예: 도 3의 원본 스트리밍 데이터(301))를 변환할 수 있다. 예를 들어, 외부 전자 장치(108)는 원본 스트리밍 데이터(301)에 소프트웨어 알고리즘(예: 그래픽 패치)을 적용함으로써, 원본 스트리밍 데이터(301)를 구성하는 프로그램 코드를 변경하지 않고, 원본 스트리밍 데이터(301)를 패치된 스트리밍 데이터(1201)로 변환할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 패치된 스트리밍 데이터(1201)를 패치된 스트리밍 데이터(1201)의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(1211)로 변환할 수 있다. 예를 들어, 외부 전자 장치(108)는 패치된 스트리밍 데이터(1201)의 원본 해상도(예: 100%)를 제 1 해상도(예: 원본 해상도의 80%)로 리사이즈한 제 1 스트리밍 데이터(1211)를 생성할 수 있다. 외부 전자 장치(108)는 생성된 제 1 스트리밍 데이터(1211)를 전자 장치(101)로 송신할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 패치된 스트리밍 데이터(1201) 및 패치된 스트리밍 데이터(1201)의 제 1 해상도에 대응하는 제 1 스트리밍 데이터(1211)를 이용하여 패치된 스트리밍 데이터(1201)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(1210)을 훈련(train)할 수 있다. 예를 들어, 외부 전자 장치(108)는 학습 데이터로서의 제 1 스트리밍 데이터(1211) 및 정답 데이터로서의 패치된 스트리밍 데이터(1201)를 패치된 스트리밍 데이터(1201)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(1210)에 제공하여, 제 1 딥러닝 모델(1210)을 훈련할 수 있다. 일실시예에 따르면, 외부 전자 장치(108)는 패치된 스트리밍 데이터(1201)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(1210)을 전자 장치(101)로 송신할 수 있다. 일실시예에 따르면, 패치된 스트리밍 데이터(1201)는 원본 스트리밍 데이터(301)에 포함될 수 있고, 이 경우, 패치된 스트리밍 데이터(1201)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(1210)은 원본 스트리밍 데이터(301)의 제 1 해상도에 대응하는 제 1 딥러닝 모델(예: 도 3의 제 1 딥러닝 모델(310))에 포함될 수 있다.
도 13은 다양한 실시예들에 따른, 외부 전자 장치(예: 도 1의 서버(108))가 복수의 도메인들에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련하는 실시예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 복수의 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도에 대응하는 복수의 스트리밍 데이터를 생성할 수 있다. 예를 들어, 외부 전자 장치(108)는 제 1 도메인(1301)(예: 제 1 컨텐트로서 영화 A)에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 생성할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 제 2 도메인(1302)(예: 제 2 컨텐트로서 드라마 B)에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 생성할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 제 3 도메인(1303)(예: 제 3 컨텐트로서 생방송 뉴스 C)에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)는 특정 도메인에 대한 원본 스트리밍 데이터 및 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 이용하여 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련할 수 있다.
일실시예에 따르면, 외부 전자 장치(108)는 제 1 도메인(1301)에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련할 수 있다. 예를 들어, 외부 전자 장치(108)는 학습 데이터로서의 제 1 도메인(1301)에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터 및 정답 데이터로서의 제 1 도메인에 대한 원본 스트리밍 데이터를 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 딥러닝 모델(1310)에 제공하여, 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 딥러닝 모델(1310)을 훈련할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 학습 데이터로서의 제 1 도메인(1301)에 대한 원본 스트리밍 데이터의 제 2 해상도에 대응하는 제 2 스트리밍 데이터 및 정답 데이터로서의 제 1 도메인에 대한 원본 스트리밍 데이터를 제 1 도메인에 대한 원본 스트리밍 데이터의 제 2 해상도에 대응하는 제 2 딥러닝 모델(미도시)에 제공하여, 제 1 도메인에 대한 원본 스트리밍 데이터의 제 2 해상도에 대응하는 제 2 딥러닝 모델(미도시)을 훈련할 수 있다.
일실시예에 따르면, 외부 전자 장치(108)는 제 2 도메인(1302)에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련할 수 있다. 예를 들어, 외부 전자 장치(108)는 학습 데이터로서의 제 2 도메인(1302)에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터 및 정답 데이터로서의 제 2 도메인에 대한 원본 스트리밍 데이터를 제 2 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 딥러닝 모델(미도시)에 제공하여, 제 2 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 딥러닝 모델(미도시)을 훈련할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 학습 데이터로서의 제 2 도메인(1302)에 대한 원본 스트리밍 데이터의 제 2 해상도에 대응하는 제 2 스트리밍 데이터 및 정답 데이터로서의 제 2 도메인에 대한 원본 스트리밍 데이터를 제 2 도메인에 대한 원본 스트리밍 데이터의 제 2 해상도에 대응하는 제 2 딥러닝 모델(1320)에 제공하여, 제 2 도메인에 대한 원본 스트리밍 데이터의 제 2 해상도에 대응하는 제 2 딥러닝 모델(1320)을 훈련할 수 있다.
일실시예에 따르면, 외부 전자 장치(108)는 제 3 도메인(1303)에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련할 수 있다. 예를 들어, 외부 전자 장치(108)는 학습 데이터로서의 제 3 도메인(1303)에 대한 원본 스트리밍 데이터의 제 3 해상도에 대응하는 제 3 스트리밍 데이터 및 정답 데이터로서의 제 3 도메인에 대한 원본 스트리밍 데이터를 제 3 도메인에 대한 원본 스트리밍 데이터의 제 3 해상도에 대응하는 제 3 딥러닝 모델(1330)에 제공하여, 제 3 도메인에 대한 원본 스트리밍 데이터의 제 3 해상도에 대응하는 제 3 딥러닝 모델(1330)을 훈련할 수 있다.
도 14는 다양한 실시예들에 따른, 외부 전자 장치(예: 도 1의 서버(108))가 특정 도메인에 대한 영상 차이도 또는 특정 도메인에 대한 원본 스트리밍 데이터의 해상도에 대응하는 딥러닝 모델을 전자 장치(예: 도 1의 전자 장치(101))로 송신하는 방법을 설명하기 위한 흐름도이다.
1401 동작에서, 다양한 실시예들에 따라서, 외부 전자 장치(108)는 통신 모듈(예: 도 1의 통신 모듈(190))을 통하여, 특정 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 복수의 전자 장치들로 송신할 수 있다. 예를 들어, 외부 전자 장치(108)는 제 1 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 제 1 전자 장치(예: 도 1의 전자 장치(101))를 포함하는 복수의 제 1 전자 장치들로 송신할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 제 2 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 제 2 전자 장치(예: 도 4의 제 2 전자 장치(401))를 포함하는 복수의 제 2 전자 장치들로 송신할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)(예: 도 1의 프로세서(120))는 스트리밍 서비스 제공 서버를 포함할 수 있다. 일실시예에 따르면, 스트리밍 데이터를 송신하기 위한 스트리밍 데이터 송신 서버 및 스트리밍 데이터를 훈련하기 위한 스트리밍 데이터 훈련 서버는 하나의 구조로서 스트리밍 서비스 제공 서버인 외부 전자 장치(108)에 포함될 수 있고, 또는 각각의 구조가 구분되어 별개의 구조로서 존재할 수 있다.
1403 동작에서, 다양한 실시예들에 따라서, 외부 전자 장치(108)(예: 도 1의 프로세서(120))는 원본 스트리밍 데이터 및 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 이용하여 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련(train)할 수 있다. 예를 들어, 외부 전자 장치(108)는 학습 데이터로서 제 1 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터 및 정답 데이터로서의 제 1 도메인에 대한 원본 스트리밍 데이터를 제 1 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 제 1 딥러닝 모델들에 제공하여, 제 1 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 제 1 딥러닝 모델들을 훈련할 수 있다. 또 다른 예를 들어, 외부 전자 장치(108)는 학습 데이터로서 제 2 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터 및 정답 데이터로서의 제 2 도메인에 대한 원본 스트리밍 데이터를 제 2 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 제 2 딥러닝 모델들에 제공하여, 제 2 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 제 2 딥러닝 모델들을 훈련할 수 있다.
1405 동작에서, 다양한 실시예들에 따라서, 외부 전자 장치(108)(예: 도 1의 프로세서(120))는 통신 모듈(190)을 통하여 복수의 전자 장치들에 포함된 전자 장치(101)로부터 특정 도메인에 대한 영상 차이도 또는 특정 도메인에 대한 원본 스트리밍 데이터의 해상도를 획득할 수 있다. 일실시예에 따르면, 전자 장치(101)는 특정 도메인에 대한 영상 차이도를 선택하는 사용자 입력 또는 특정 도메인에 대한 원본 스트리밍 데이터의 해상도를 선택하는 사용자 입력을 획득한 것에 기반하여, 해당하는 영상 차이도 또는 해당하는 원본 스트리밍 데이터의 해상도를 외부 전자 장치(108)로 송신할 수 있다.
1407 동작에서, 다양한 실시예들에 따라서, 외부 전자 장치(108)(예: 도 1의 프로세서(120))는 통신 모듈(190)을 통하여 특정 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 특정 도메인에 대한 영상 차이도 또는 특정 도메인에 대한 원본 스트리밍 데이터의 해상도에 대응하는 딥러닝 모델을 전자 장치(101)로 송신할 수 있다.
다양한 실시예들에 따르면, 외부 전자 장치(108)(예: 도 1의 프로세서(120))는 도 6, 도 7a, 및 도 7b에 설명된 방법을 이용하여 상술한 1407 동작을 수행할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
다양한 실시예들에 따라서, 전자 장치(101)는 디스플레이(160), 통신 모듈(190), 상기 디스플레이(160) 및 상기 통신 모듈(190)과 작동적으로 연결된 프로세서(120), 및 상기 프로세서(120)와 작동적으로 연결된 메모리(130)를 포함하고, 상기 메모리(130)는, 실행 시에, 상기 프로세서가, 상기 통신 모듈(190)을 통하여, 외부 전자 장치로부터 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 획득하고, 상기 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 상기 원본 스트리밍 데이터의 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하고, 상기 제 1 딥러닝 모델을 이용하여 상기 제 1 스트리밍 데이터를 제 1 복원 스트리밍 데이터로 변환하고, 및 상기 디스플레이(160)를 통하여, 상기 제 1 복원 스트리밍 데이터를 표시하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
다양한 실시예들에 따라서, 상기 인스트럭션들은, 상기 프로세서가, 상기 통신 모듈을 통하여, 상기 제 1 복원 스트리밍 데이터를 상기 외부 전자 장치로 송신하도록 할 수 있다.
다양한 실시예들에 따라서, 상기 제 1 도메인은 복수의 지정된 영역들 또는 복수의 지정된 기간들 중 적어도 하나에 대응하는 복수의 서브 도메인들을 포함할 수 있다.
다양한 실시예들에 따라서, 상기 인스트럭션들은, 상기 프로세서가, 사용자 입력에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 할 수 있다.
다양한 실시예들에 따라서, 상기 사용자 입력은, 영상 차이도를 선택하는 제 1 사용자 입력을 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 상기 제 1 사용자 입력에 기반하여, 상기 복수의 딥러닝 모델들 중에서 상기 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델을 확인하고, 및 상기 적어도 하나의 딥러닝 모델 중에서 상기 원본 스트리밍 데이터의 가장 낮은 해상도인 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 할 수 있다.
다양한 실시예들에 따라서, 상기 사용자 입력은, 네트워크 지연을 선택하는 제 2 사용자 입력을 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 상기 제 2 사용자 입력에 기반하여, 상기 네트워크 지연에 대응하는 상기 원본 스트리밍 데이터의 상기 제 1 해상도를 확인하고, 및 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 할 수 있다.
다양한 실시예들에 따라서, 상기 인스트럭션들은, 상기 프로세서가, 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 압축률 및 상기 복수의 해상도들에 대응하는 영상 차이도에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 할 수 있다.
다양한 실시예들에 따라서, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 해상도들에 대응하는 상기 압축률에 대하여 상기 복수의 해상도들에 대응하는 상기 영상 차이도를 적용한 값들 중 지정된 조건을 만족하는 값을 도출하는 상기 제 1 해상도를 확인하고, 및 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 할 수 있다.
다양한 실시예들에 따라서, 상기 인스트럭션들은, 상기 프로세서가, 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 상기 압축률, 상기 복수의 해상도들에 대응하는 상기 영상 차이도, 및 상기 전자 장치의 네트워크 대역폭에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 할 수 있다.
다양한 실시예들에 따라서, 상기 제 1 딥러닝 모델은, 상기 제 1 해상도를 포함하는 해상도 범위에 대응할 수 있다.
다양한 실시예들에 따라서, 스트리밍 데이터를 제공하는 방법은, 통신 모듈을 통하여, 외부 전자 장치로부터 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 획득하는 동작, 상기 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 상기 원본 스트리밍 데이터의 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작, 상기 제 1 딥러닝 모델을 이용하여 상기 제 1 스트리밍 데이터를 제 1 복원 스트리밍 데이터로 변환하는 동작, 및 디스플레이를 통하여, 상기 제 1 복원 스트리밍 데이터를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 스트리밍 데이터를 제공하는 방법은, 상기 통신 모듈을 통하여, 상기 제 1 복원 스트리밍 데이터를 상기 외부 전자 장치로 송신하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따라서, 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은, 사용자 입력에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 상기 사용자 입력은, 영상 차이도를 선택하는 제 1 사용자 입력을 포함하고, 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은, 상기 제 1 사용자 입력에 기반하여, 상기 복수의 딥러닝 모델들 중에서 상기 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델을 확인하는 동작, 및 상기 적어도 하나의 딥러닝 모델 중에서 상기 원본 스트리밍 데이터의 가장 낮은 해상도인 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 상기 사용자 입력은, 네트워크 지연을 선택하는 제 2 사용자 입력을 포함하고, 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은, 상기 제 2 사용자 입력에 기반하여, 상기 네트워크 지연에 대응하는 상기 원본 스트리밍 데이터의 상기 제 1 해상도를 확인하는 동작, 및 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은, 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 압축률 및 상기 복수의 해상도들에 대응하는 영상 차이도에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은, 상기 복수의 해상도들에 대응하는 상기 압축률에 대하여 상기 복수의 해상도들에 대응하는 상기 영상 차이도를 적용한 값들 중 지정된 조건을 만족하는 값을 도출하는 상기 제 1 해상도를 확인하는 동작, 및 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은, 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 상기 압축률, 상기 복수의 해상도들에 대응하는 상기 영상 차이도, 및 상기 전자 장치의 네트워크 대역폭에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함할 수 있다.
다양한 실시예들에 따라서, 스트리밍 서비스 제공 서버는, 통신 모듈, 상기 통신 모듈과 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 통신 모듈을 통하여 특정 도메인에 대한 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 스트리밍 데이터를 복수의 전자 장치들로 송신하고, 상기 원본 스트리밍 데이터 및 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 상기 복수의 스트리밍 데이터를 이용하여 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 복수의 딥러닝 모델들을 훈련(train)하고, 상기 통신 모듈을 통하여 상기 복수의 전자 장치들에 포함된 전자 장치로부터 상기 특정 도메인에 대한 영상 차이도 또는 상기 원본 스트리밍 데이터의 해상도를 획득하고, 및 상기 통신 모듈을 통하여 상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 상기 복수의 딥러닝 모델들 중에서 상기 특정 도메인에 대한 상기 영상 차이도 또는 상기 원본 스트리밍 데이터의 상기 해상도에 대응하는 딥러닝 모델을 상기 전자 장치로 송신하도록 할 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    통신 모듈;
    상기 디스플레이 및 상기 통신 모듈과 작동적으로 연결된 프로세서; 및
    상기 프로세서와 작동적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 통신 모듈을 통하여, 외부 전자 장치로부터 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 획득하고,
    상기 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 상기 원본 스트리밍 데이터의 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하고,
    상기 제 1 딥러닝 모델을 이용하여 상기 제 1 스트리밍 데이터를 제 1 복원 스트리밍 데이터로 변환하고, 및
    상기 디스플레이를 통하여, 상기 제 1 복원 스트리밍 데이터를 표시하도록 하는 인스트럭션들(instructions)을 저장하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 통신 모듈을 통하여, 상기 제 1 복원 스트리밍 데이터를 상기 외부 전자 장치로 송신하도록 하는 전자 장치.
  3. 제 1 항에 있어서,
    상기 제 1 도메인은 복수의 지정된 영역들 또는 복수의 지정된 기간들 중 적어도 하나에 대응하는 복수의 서브 도메인들을 포함하는 전자 장치.
  4. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    사용자 입력에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 하는 전자 장치.
  5. 제 4 항에 있어서,
    상기 사용자 입력은, 영상 차이도를 선택하는 제 1 사용자 입력을 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제 1 사용자 입력에 기반하여, 상기 복수의 딥러닝 모델들 중에서 상기 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델을 확인하고, 및
    상기 적어도 하나의 딥러닝 모델 중에서 상기 원본 스트리밍 데이터의 가장 낮은 해상도인 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 하는 전자 장치.
  6. 제 4 항에 있어서,
    상기 사용자 입력은, 네트워크 지연을 선택하는 제 2 사용자 입력을 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제 2 사용자 입력에 기반하여, 상기 네트워크 지연에 대응하는 상기 원본 스트리밍 데이터의 상기 제 1 해상도를 확인하고, 및
    상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 하는 전자 장치.
  7. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 압축률 및 상기 복수의 해상도들에 대응하는 영상 차이도에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 하는 전자 장치.
  8. 제 7 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 해상도들에 대응하는 상기 압축률에 대하여 상기 복수의 해상도들에 대응하는 상기 영상 차이도를 적용한 값들 중 지정된 조건을 만족하는 값을 도출하는 상기 제 1 해상도를 확인하고, 및
    상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 하는 전자 장치.
  9. 제 7 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 원본 스트리밍 데이터의 상기 복수의 해상도들에 대응하는 상기 압축률, 상기 복수의 해상도들에 대응하는 상기 영상 차이도, 및 상기 전자 장치의 네트워크 대역폭에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하도록 하는 전자 장치.
  10. 제 1 항에 있어서,
    상기 제 1 딥러닝 모델은, 상기 제 1 해상도를 포함하는 해상도 범위에 대응하는 전자 장치.
  11. 스트리밍 데이터를 제공하는 방법에 있어서,
    통신 모듈을 통하여, 외부 전자 장치로부터 제 1 도메인에 대한 원본 스트리밍 데이터의 제 1 해상도에 대응하는 제 1 스트리밍 데이터를 획득하는 동작,
    상기 원본 스트리밍 데이터의 복수의 해상도들에 대응하는 복수의 딥러닝 모델들 중에서 상기 원본 스트리밍 데이터의 상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작,
    상기 제 1 딥러닝 모델을 이용하여 상기 제 1 스트리밍 데이터를 제 1 복원 스트리밍 데이터로 변환하는 동작, 및
    디스플레이를 통하여, 상기 제 1 복원 스트리밍 데이터를 표시하는 동작을 포함하는 전자 장치의 동작 방법.
  12. 제 11 항에 있어서,
    상기 통신 모듈을 통하여, 상기 제 1 복원 스트리밍 데이터를 상기 외부 전자 장치로 송신하는 동작을 더 포함하는 전자 장치의 동작 방법.
  13. 제 11 항에 있어서,
    상기 제 1 도메인은 복수의 지정된 영역들 또는 복수의 지정된 기간들 중 적어도 하나에 대응하는 복수의 서브 도메인들을 포함하는 전자 장치의 동작 방법.
  14. 제 11 항에 있어서,
    상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은,
    사용자 입력에 기반하여, 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함하는 전자 장치의 동작 방법.
  15. 제 14 항에 있어서,
    상기 사용자 입력은, 영상 차이도를 선택하는 제 1 사용자 입력을 포함하고,
    상기 제 1 해상도에 대응하는 제 1 딥러닝 모델을 선택하는 동작은,
    상기 제 1 사용자 입력에 기반하여, 상기 복수의 딥러닝 모델들 중에서 상기 영상 차이도를 만족하는 적어도 하나의 딥러닝 모델을 확인하는 동작, 및
    상기 적어도 하나의 딥러닝 모델 중에서 상기 원본 스트리밍 데이터의 가장 낮은 해상도인 상기 제 1 해상도에 대응하는 상기 제 1 딥러닝 모델을 선택하는 동작을 포함하는 전자 장치의 동작 방법.
PCT/KR2020/013317 2019-11-11 2020-09-29 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법 WO2021096063A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190143531A KR20210056733A (ko) 2019-11-11 2019-11-11 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법
KR10-2019-0143531 2019-11-11

Publications (1)

Publication Number Publication Date
WO2021096063A1 true WO2021096063A1 (ko) 2021-05-20

Family

ID=75912686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013317 WO2021096063A1 (ko) 2019-11-11 2020-09-29 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법

Country Status (2)

Country Link
KR (1) KR20210056733A (ko)
WO (1) WO2021096063A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220167469A (ko) * 2021-06-14 2022-12-21 주식회사 네트워크디파인즈 적응형 미디어 스트리밍 환경에서 비디오 편집 속도 향상 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876433B1 (ko) * 2017-07-20 2018-07-13 주식회사 이고비드 행동인식 기반 해상도 자동 조절 카메라 시스템, 행동인식 기반 해상도 자동 조절 방법 및 카메라 시스템의 영상 내 행동 자동 인식 방법
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
US20190197667A1 (en) * 2017-12-26 2019-06-27 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
KR102022648B1 (ko) * 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법
KR20190114142A (ko) * 2018-03-29 2019-10-10 삼성전자주식회사 비디오 데이터를 스트리밍하는 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126362A (ko) * 2017-05-17 2018-11-27 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
KR101876433B1 (ko) * 2017-07-20 2018-07-13 주식회사 이고비드 행동인식 기반 해상도 자동 조절 카메라 시스템, 행동인식 기반 해상도 자동 조절 방법 및 카메라 시스템의 영상 내 행동 자동 인식 방법
US20190197667A1 (en) * 2017-12-26 2019-06-27 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
KR20190114142A (ko) * 2018-03-29 2019-10-10 삼성전자주식회사 비디오 데이터를 스트리밍하는 시스템 및 방법
KR102022648B1 (ko) * 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법

Also Published As

Publication number Publication date
KR20210056733A (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2021086040A1 (en) Method for providing preview and electronic device for displaying preview
WO2020153622A1 (en) Apparatus and method for producing slow motion video
EP3707671A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
WO2020153738A1 (ko) 카메라 모듈에 접지 노드를 연결하기 위한 전자 장치 및 방법
WO2021066565A1 (en) Image processing method and electronic device supporting the same
WO2020153817A1 (en) Method for controlling display and electronic device thereof
WO2020171342A1 (ko) 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2021096063A1 (ko) 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법
WO2019107968A1 (ko) 전자 장치 및 그의 이미지 획득 방법
WO2019172723A1 (ko) 이미지 센서와 연결된 인터페이스 및 복수의 프로세서들간에 연결된 인터페이스를 포함하는 전자 장치
WO2019160237A1 (en) Electronic device and method for controlling display of images
WO2019103420A1 (en) Electronic device and method for sharing image with external device using image link information
WO2021060943A1 (en) Electronic device for identifying external electronic device and method of operating same
WO2019054610A1 (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
WO2020171565A1 (en) Electronic device for processing image and image processing method thereof
WO2020138909A1 (ko) 콘텐트 공유 방법 및 그 전자 장치
WO2019190023A1 (ko) 비디오 데이터를 스트리밍하는 시스템 및 방법
WO2022030943A1 (ko) 딥러닝에 기반한 이미지 분할 장치 및 방법
WO2019182359A1 (en) Electronic device for notifying of update of image signal processing and method for operating the same
WO2019151808A1 (ko) 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
WO2021125875A1 (ko) 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치
WO2020262823A1 (ko) 영상을 처리하는 전자 장치 및 그 영상 처리 방법
WO2021162263A1 (ko) 이미지의 생성 방법 및 그 전자 장치
WO2021080307A1 (en) Method for controlling camera and electronic device therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887403

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20887403

Country of ref document: EP

Kind code of ref document: A1