WO2022059920A1 - 전자 장치, 그 제어 방법 및 전자 시스템 - Google Patents

전자 장치, 그 제어 방법 및 전자 시스템 Download PDF

Info

Publication number
WO2022059920A1
WO2022059920A1 PCT/KR2021/010561 KR2021010561W WO2022059920A1 WO 2022059920 A1 WO2022059920 A1 WO 2022059920A1 KR 2021010561 W KR2021010561 W KR 2021010561W WO 2022059920 A1 WO2022059920 A1 WO 2022059920A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
artificial intelligence
intelligence model
electronic device
difference
Prior art date
Application number
PCT/KR2021/010561
Other languages
English (en)
French (fr)
Inventor
최규하
김봉조
김대은
박태준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP21869543.5A priority Critical patent/EP4113382A4/en
Priority to CN202180035557.7A priority patent/CN115668273A/zh
Priority to US17/464,119 priority patent/US11455706B2/en
Publication of WO2022059920A1 publication Critical patent/WO2022059920A1/ko
Priority to US17/902,775 priority patent/US20220414828A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present disclosure relates to an electronic device, a control method thereof, and an electronic system, for example, an electronic device for transmitting an image, a control method thereof, and an electronic system.
  • the device transmitting the image downscales the high-resolution image through an artificial intelligence model and transmits the downscaled image, and the device receiving the image uses the artificial intelligence Upscaling through the model. In this process, if encoding and decoding operations are added, a high-resolution image can be transmitted more efficiently.
  • the artificial intelligence model performing downscaling and the artificial intelligence model performing upscaling may be trained as one artificial intelligence model as shown in FIG. 1B .
  • the original image on the left is downscaled by the artificial intelligence model performing downscaling to obtain a first intermediate image
  • the first intermediate image is upscaled by the artificial intelligence model performing upscaling and the final image on the right
  • An image may be acquired.
  • the original image may be downscaled by a legacy scaler to obtain a second intermediate image.
  • the artificial intelligence model performing downscaling and the artificial intelligence model performing upscaling may be trained based on the difference between the original image and the final image and the difference between the first intermediate image and the second intermediate image.
  • the legacy scaler is a rule-based scaler, not an artificial intelligence model-based.
  • the upscaling performance of the received image may be deteriorated.
  • the upscaling performance of the received image may be lower than that of a device in which an artificial intelligence model performing upscaling is stored.
  • the present disclosure has been made in accordance with the above-mentioned necessity, and an object of the present disclosure is to provide an electronic device, a method for controlling the same, and an electronic system for restoring close to the original even when downscaling is performed during an image transmission process.
  • an electronic device is connected to a memory in which the downscaling network of the first artificial intelligence model is stored, a communication interface including a communication circuit, and the memory and the communication interface, a processor for controlling the electronic device, wherein the processor inputs an input image to the down-scaling network to obtain an output image in which the input image is downscaled, and transmits the output image to another electronic device.
  • the first artificial intelligence model includes a sample image, a first intermediate image obtained by inputting the sample image to the down-scaling network, and the first intermediate image is input to the up-scaling network of the first artificial intelligence model
  • the obtained first final image, the second intermediate image in which the sample image is downscaled by the legacy scaler, and the first intermediate image may be learned based on the upscaled second final image by the legacy scaler.
  • the processor may control the communication interface to encode the output image and transmit the encoded output image to the other electronic device.
  • the first artificial intelligence model includes a first difference between the sample image and the first final image, a second difference between the sample image and the second final image, and between the first intermediate image and the second intermediate image. It can be learned based on the weighted sum of the third difference.
  • the first artificial intelligence model may be trained based on the weighted sum in which a weight greater than the third difference is applied to each of the first difference and the second difference.
  • first intermediate image and the second intermediate image may have a first resolution
  • sample image, the first final image, and the second final image may have a second resolution greater than the first resolution
  • the memory further stores a second artificial intelligence model
  • the processor inputs the input image to the second artificial intelligence model to obtain an output image having the same resolution as the input image, control the communication interface to transmit to a device, wherein the second artificial intelligence model includes a third intermediate image obtained by inputting the sample image, the first intermediate image, and the second intermediate image to the second artificial intelligence model;
  • the third intermediate image may be input to the up-scaling network and learned based on the obtained third final image.
  • the second artificial intelligence model may be trained based on a weighted sum of a fourth difference between the sample image and the third final image and a fifth difference between the first intermediate image and the third intermediate image.
  • an electronic device includes a communication interface including a communication circuit, a memory in which the upscaling network of the first artificial intelligence model is stored, a display, and the memory and the communication interface; and a processor connected to and controlling the electronic device, wherein the processor receives an image from another electronic device through the communication interface, and inputs the received image to the upscaling network so that the received image is upscaled.
  • the first artificial intelligence model is a sample image, a first intermediate obtained by inputting the sample image into a downscaling network of the first artificial intelligence model an image, a first final image obtained by inputting the first intermediate image to the upscaling network, a second intermediate image in which the sample image is downscaled by a legacy scaler, and the first intermediate image is upscaled by the legacy scaler It may be learned based on the scaled second final image.
  • the processor may decode the received image, and input the decoded image to the upscaling network to obtain an output image in which the decoded image is upscaled.
  • the first artificial intelligence model includes a first difference between the sample image and the first final image, a second difference between the sample image and the second final image, and between the first intermediate image and the second intermediate image. It can be learned based on the weighted sum of the third difference.
  • an electronic system inputs an input image to a downscaling network of an artificial intelligence model to obtain an image in which the input image is downscaled, and the receiving the downscaled image from a first electronic device, inputting the received image to an upscaling network of the artificial intelligence model to obtain an upscaled image of the image, and displaying the upscaled image 2
  • the artificial intelligence model includes a sample image, a first intermediate image obtained by inputting the sample image to the down-scaling network, and a first obtained by inputting the first intermediate image to the up-scaling network.
  • a final image, a second intermediate image in which the sample image is downscaled by the legacy scaler, and a second final image in which the first intermediate image is upscaled by the legacy scaler may be learned.
  • a method of controlling an electronic device includes: inputting an input image to a downscaling network of a first artificial intelligence model to obtain an output image in which the input image is downscaled; and transmitting to another electronic device, wherein the first artificial intelligence model is a sample image, a first intermediate image obtained by inputting the sample image to the downscaling network, and the first intermediate image is the first artificial intelligence
  • the first artificial intelligence model is a sample image, a first intermediate image obtained by inputting the sample image to the downscaling network, and the first intermediate image is the first artificial intelligence
  • a first final image obtained by inputting into the upscaling network of the model, a second intermediate image in which the sample image is downscaled by the legacy scaler, and a second final image in which the first intermediate image is upscaled by the legacy scaler can be learned based on
  • the method may further include encoding the output image, and the transmitting may include transmitting the encoded output image to the other electronic device.
  • the first artificial intelligence model includes a first difference between the sample image and the first final image, a second difference between the sample image and the second final image, and between the first intermediate image and the second intermediate image. It can be learned based on the weighted sum of the third difference.
  • the first artificial intelligence model may be trained based on the weighted sum in which a weight greater than the third difference is applied to each of the first difference and the second difference.
  • first intermediate image and the second intermediate image may have a first resolution
  • sample image, the first final image, and the second final image may have a second resolution greater than the first resolution
  • the electronic device processes an image using an artificial intelligence model learned based on a case in which a device receiving an image uses a legacy scaler, and transmits the processed image. Even if the receiving device uses a legacy scaler, image restoration performance may be maintained.
  • the electronic device may transmit the image without downscaling the image, and may provide the user with a choice on whether to downscale the image.
  • the artificial intelligence model for improving the quality of the image is also an artificial intelligence model learned based on the case where the device receiving the image uses the legacy scaler, and the image restoration performance is maintained even if the device receiving the image uses the legacy scaler can be
  • FIGS. 1A and 1B are diagrams for explaining the prior art.
  • FIG. 2 is a block diagram illustrating an exemplary configuration of an electronic system according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram illustrating an exemplary configuration of a first electronic device according to various embodiments of the present disclosure
  • FIG. 4 is a block diagram illustrating an exemplary configuration of a second electronic device according to various embodiments of the present disclosure
  • FIG. 5 is a diagram for describing exemplary operations of a first electronic device and a second electronic device according to various embodiments of the present disclosure
  • FIG. 6 is a view for explaining an example learning method of the first artificial intelligence model according to various embodiments of the present disclosure.
  • FIG. 7 is a view for explaining an example learning method of a second artificial intelligence model according to various embodiments of the present disclosure.
  • 8A, 8B, and 8C are diagrams for explaining various types of artificial intelligence models according to various embodiments of the present disclosure.
  • 9A and 9B are diagrams for explaining an exemplary encoding operation according to various embodiments of the present disclosure.
  • FIG. 10 is a diagram for explaining an exemplary decoding operation according to various embodiments of the present disclosure.
  • FIG. 11 is a flowchart illustrating an example control method of a first electronic device according to various embodiments of the present disclosure
  • FIG. 12 is a flowchart illustrating an example control method of a second electronic device according to various embodiments of the present disclosure
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) using the electronic device.
  • a device eg, an artificial intelligence electronic device
  • the electronic system 1000 may include a first electronic device 100 and a second electronic device 200 .
  • the first electronic device 100 may include a device that processes an image through an artificial intelligence model and transmits the processed image to the second electronic device 200 , for example, a server, a TV, or a set-top box (STB). ), computer body, desktop PC, notebook, video wall, LFD (large format display), Digital Signage (digital signage), DID (Digital Information Display), projector display, DVD (digital video disk) player, smart It may include devices such as phones, tablet PCs, monitors, smart glasses, smart watches, and the like.
  • the image processing may include at least one of downscaling or image quality correction.
  • the present invention is not limited thereto, and any device may be used as the first electronic device 100 as long as it is capable of processing an image through an artificial intelligence model and providing the processed image.
  • the first electronic device 100 may encode the processed image and transmit the encoded image to the second electronic device 200 .
  • the first electronic device 100 may process a video as well as an image through the artificial intelligence model, and transmit the processed video to the second electronic device 200 .
  • the second electronic device 200 may include a device that receives an image from the first electronic device 100, upscales the received image through an artificial intelligence model, and displays the upscaled image, for example.
  • a device that receives an image from the first electronic device 100, upscales the received image through an artificial intelligence model, and displays the upscaled image, for example.
  • TV desktop PC, laptop, video wall, large format display (LFD), digital signage, digital information display (DID), projector display, digital video disk (DVD) player, smartphone , a device having a display such as a tablet PC, a monitor, smart glasses, a smart watch, and the like, and directly displaying an upscaled image.
  • LFD large format display
  • DID digital information display
  • DVD digital video disk
  • smartphone a device having a display such as a tablet PC, a monitor, smart glasses, a smart watch, and the like, and directly displaying an upscaled image.
  • the second electronic device 200 receives an image from the first electronic device 100 , upscales the received image through an artificial intelligence model, and provides the upscaled image to a device with a display It may include, for example, a set-top box (STB), may be a device such as a computer body.
  • STB set-top box
  • the present invention is not limited thereto, and any device may be used as the second electronic device 200 as long as it is capable of receiving an image from the first electronic device 100 and upscaling the received image through an artificial intelligence model. .
  • the second electronic device 200 may decode the received image and upscale the decoded image through the artificial intelligence model.
  • the second electronic device 200 may receive a video from the first electronic device 100 and upscale the received video through the artificial intelligence model.
  • FIG. 3 is a block diagram illustrating an exemplary configuration of the first electronic device 100 according to various embodiments of the present disclosure.
  • the first electronic device 100 includes a memory 110 , for example, a communication interface 120 including a communication circuit, and a processor 130 including, for example, a processing circuit.
  • a memory 110 for example, a communication interface 120 including a communication circuit
  • a processor 130 including, for example, a processing circuit.
  • the present invention is not limited thereto, and the first electronic device 100 may be implemented in a form in which some components are excluded or other components are added.
  • At least one of a downscaling network of the first artificial intelligence model and the second artificial intelligence model may be stored in the memory 110 .
  • the first artificial intelligence model may include a down-scaling network and an up-scaling network.
  • the down-scaling network and the up-scaling network of the first artificial intelligence model include a sample image, a first intermediate image obtained by inputting the sample image to the down-scaling network, and the first intermediate image is the up-scaling of the first artificial intelligence model.
  • a first final image obtained by inputting into the network, a second intermediate image in which a sample image is downscaled by the legacy scaler, and a second final image in which the first intermediate image is upscaled by the legacy scaler may be learned.
  • the first intermediate image and the second intermediate image may be at a first resolution
  • the sample image, the first final image and the second final image may be at a second resolution greater than the first resolution.
  • the first artificial intelligence model is a weighting of a first difference between the sample image and the first final image, a second difference between the sample image and the second final image, and a third difference between the first intermediate image and the second intermediate image. It can be learned based on the sum.
  • the first artificial intelligence model may be trained based on a weighted sum in which each of the first difference and the second difference is weighted greater than the third difference.
  • the second artificial intelligence model may include an artificial intelligence model for correcting the image quality, for example, a sample image, a first intermediate image, and a third intermediate image obtained by inputting the second intermediate image into the second artificial intelligence model.
  • the intermediate image and the third intermediate image may be input to the upscaling network of the first artificial intelligence model and learned based on the obtained third final image.
  • the third intermediate image may be of the first resolution
  • the third final image may be of the second resolution.
  • the second artificial intelligence model may be trained based on a weighted sum of a fourth difference between the sample image and the third final image, and a fifth difference between the first intermediate image and the third intermediate image.
  • the first artificial intelligence model and the second artificial intelligence model may be learned in an external device such as a server.
  • the present invention is not limited thereto, and the first electronic device 100 may learn the first artificial intelligence model and the second artificial intelligence model, and the learning method will be described later.
  • the communication interface 120 may include various circuits (eg, communication circuits) for performing communication with various devices.
  • the communication interface 120 may support various wired communication methods such as HDMI, MHL, USB, RGB, D-SUB, and DVI.
  • the communication interface 120 may support various wireless communication methods such as BT (BlueTooth), BLE (Bluetooth Low Energy), WI-FI (Wireless Fidelity), Zigbee, and the like.
  • BT Bluetooth
  • BLE Bluetooth Low Energy
  • WI-FI Wireless Fidelity
  • Zigbee Zigbee
  • the present invention is not limited thereto, and any communication standard capable of communicating with an external device may be used.
  • the communication interface 120 may transmit the image processed by the artificial intelligence model to the second electronic device 200 under the control of the processor 130 .
  • the processor 130 may include various processing circuits, and generally controls the operation of the first electronic device 100 .
  • the processor 130 may be connected to each component of the first electronic device 100 to control overall operation of the first electronic device 100 .
  • the processor 130 may be connected to the memory 110 and the communication interface 120 to control the operation of the first electronic device 100 .
  • the processor 130 may be implemented as, for example, a digital signal processor (DSP), a microprocessor, a time controller (TCON), a dedicated processor, or the like. , but is not limited thereto, and for example, a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP) ), or a communication processor (CP), may include one or more of an ARM processor, or may be defined by a corresponding term.
  • the processor 130 is a SoC (System on Chip) in which a processing algorithm is embedded. , may be implemented in large scale integration (LSI), or may be implemented in the form of field programmable gate array (FPGA).
  • SoC System on Chip
  • the processor 130 may control the communication interface 120 to input the input image to the down-scaling network, obtain an output image in which the input image is downscaled, and transmit the output image to the second electronic device 200 . That is, the processor 130 may reduce the resolution of the input image through the downscaling network and transmit it to the second electronic device 200 together with the additional information, thereby reducing the data transmission amount.
  • the processor 130 may control the communication interface 120 to encode the output image and transmit the encoded output image to the second electronic device 200 . Through this operation, it is possible to further reduce the amount of data transmission compared to the case where encoding is not performed.
  • the processor 130 may control the communication interface 120 to input the input image to the second artificial intelligence model to obtain an output image having the same resolution as the input image, and to transmit the output image to the second electronic device 200 . there is. That is, the processor 130 may correct the quality of the input image and transmit the corrected image to the second electronic device 200 . In this case, the data transmission amount is not reduced, but the second electronic device 200 to be described later. ) may provide a more appropriately corrected or converted image to perform an upscaling operation.
  • the processor 130 inputs the input image to the second artificial intelligence model to obtain an output image having the same resolution as the input image, encodes the output image, and transmits the encoded output image to the second electronic device 200 . It is also possible to control the communication interface 120 to do so.
  • the processor 130 may process the input image by using one of the downscaling network of the first artificial intelligence model and the second artificial intelligence model according to the user input.
  • the processor 130 may process the input image by using one of the down-scaling network of the first artificial intelligence model and the second artificial intelligence model based on at least one of the input image or the transmission bandwidth.
  • the processor 130 processes the input image by using the downscaling network of the first artificial intelligence model, and if the resolution of the input image is less than the threshold resolution, the second artificial intelligence model can also be used to process the input image.
  • the processor 130 may process the input image by using one of the downscaling network of the first artificial intelligence model and the second artificial intelligence model by comparing the size and transmission bandwidth of the input image.
  • FIG. 4 is a block diagram illustrating an exemplary configuration of the second electronic device 200 according to various embodiments of the present disclosure.
  • the second electronic device 200 includes, for example, a communication interface 210 including a communication circuit, a memory 220 , a display 230 , and a processor 240 including, for example, a processing circuit. ) is included.
  • a communication interface 210 including a communication circuit
  • a memory 220 the second electronic device 200
  • a display 230 the second electronic device 200
  • a processor 240 including, for example, a processing circuit.
  • the present invention is not limited thereto, and the second electronic device 200 may be implemented in a form in which some components are excluded or other components are added.
  • the communication interface 210 may include various circuits (eg, communication circuits) for performing communication with various devices.
  • the communication interface 210 may support various wired communication methods such as HDMI, MHL, USB, RGB, D-SUB, DVI, and the like.
  • the communication interface 210 may support various wireless communication methods such as BT (BlueTooth), BLE (Bluetooth Low Energy), WI-FI (Wireless Fidelity), Zigbee, and the like.
  • BT Bluetooth
  • BLE Bluetooth Low Energy
  • WI-FI Wireless Fidelity
  • Zigbee Zigbee
  • the present invention is not limited thereto, and any communication standard capable of communicating with an external device may be used.
  • the communication interface 210 may receive an image from the first electronic device 100 under the control of the processor 240 .
  • the received image may include an image processed by the artificial intelligence model, and an encoded image after being processed by the artificial intelligence model.
  • the upscaling network of the first artificial intelligence model may be stored in the memory 220 , and since this has been described above, the redundant description will not be repeated.
  • the display 230 may be implemented as various types of displays, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a plasma display panel (PDP), and the like.
  • the display 230 may include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT). Meanwhile, the display 230 may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional display, or the like.
  • the display 230 may display an image under the control of the processor 240 .
  • the processor 240 may include various processing circuits, and generally controls the operation of the second electronic device 200 . Specifically, the processor 240 may be connected to each component of the second electronic device 200 to control the overall operation of the second electronic device 200 . For example, the processor 240 may be connected to the communication interface 210 , the memory 220 , and the display 230 to control the operation of the second electronic device 200 .
  • the processor 240 may be implemented as, for example, a digital signal processor (DSP), a microprocessor, a time controller (TCON), a dedicated processor, or the like. , but is not limited thereto, for example, a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP), Alternatively, the processor 240 may include one or more of a communication processor (CP) and an ARM processor, or may be defined by a corresponding term, In addition, the processor 240 is a SoC (System on Chip), LSI in which a processing algorithm is embedded. (large scale integration) or may be implemented in the form of a field programmable gate array (FPGA).
  • DSP digital signal processor
  • TCON time controller
  • AP dedicated processor
  • the processor 240 receives the image from the first electronic device 100 through the communication interface 210 , inputs the received image to an upscaling network to obtain an output image in which the received image is upscaled, and the output image
  • the display 230 may be controlled to display .
  • the processor 240 may decode the received image and input the decoded image to an upscaling network to obtain an output image in which the decoded image is upscaled.
  • the first electronic device 100 and the second electronic device 200 use the first artificial intelligence model that additionally learns the image upscaled by the legacy scaler, an image with improved image quality is provided to the user. can provide Also, even if a device having only a legacy scaler receives an image and upscales the received image through the legacy scaler, it is possible to provide an image with improved image quality.
  • FIGS. 5 to 10 various embodiments will be described for convenience of description. However, the various embodiments of FIGS. 5 to 10 may be embodied in any combination.
  • FIG. 5 is a diagram schematically illustrating exemplary operations of the first electronic device 100 and the second electronic device 200 according to various embodiments of the present disclosure.
  • the processor 130 of the first electronic device 100 downscales the input image using the downscaling network (ScaleNet-Down(n:1)) of the first artificial intelligence model or the second artificial intelligence model (ScaleNet-Down). (1:1)) can be used to improve the quality of the input image.
  • the downscaling network (ScaleNet-Down(n:1)) of the first artificial intelligence model there is an advantage of reducing the amount of transmitted data
  • the second artificial intelligence model (ScaleNet-Down(1:1)) is When used, there is an advantage of providing a higher quality image.
  • the image quality improvement may indicate, for example, that the latter has less noise among an image obtained by upscaling an image before image quality improvement and an image obtained by upscaling an image after image quality improvement.
  • the processor 240 of the second electronic device 200 upscales the image received from the first electronic device 100 using the upscaling network (ScaleNet-Up(1:n)) of the first artificial intelligence model. can That is, the processor 240 may perform the upscaling operation regardless of the cited intelligence model used by the first electronic device 100 .
  • the down-scaling network and the up-scaling network of the first artificial intelligence model are simultaneously trained, which will be described in more detail with reference to FIG. 6 .
  • FIG. 6 is a view for explaining an example learning method of the first artificial intelligence model according to various embodiments of the present disclosure.
  • the server may learn the first artificial intelligence model. For example, the server inputs the sample image on the left into a down-scaling network (eg, Scale-Down Network) of the first artificial intelligence model to obtain a first intermediate image, and uses the first intermediate image as the first artificial intelligence
  • the first final image may be obtained by inputting the model to an up-scaling network (eg, Scale-Up Network).
  • the server down-scales the sample image through a legacy scaler (eg, Legacy-down) to obtain a second intermediate image, and ups the first intermediate image through a legacy scaler (eg, Legacy-up).
  • a scaled second final image may be obtained.
  • the legacy scaler may be a conventional rule-based scaler.
  • the rule-based scaler may be a scaler that upscales or downscales an image according to a predetermined method. However, the present invention is not limited thereto, and the rule-based scaler may upscale or downscale an image through a neural network previously learned through machine learning or deep learning.
  • the server may learn the first artificial intelligence model based on the sample image, the first intermediate image, the second intermediate image, the first final image, and the second final image. For example, the server is configured to: based on a weighted sum of a first difference between the sample image and the first final image, a second difference between the sample image and the second final image, and a third difference between the first intermediate image and the second intermediate image
  • the first artificial intelligence model may be trained. For example, the server may learn the first artificial intelligence model based on a weighted sum in which each of the first difference and the second difference is weighted greater than the third difference.
  • the server may learn the first artificial intelligence model using the second difference more than before. Accordingly, after the input image is downscaled through the downscaling model of the first artificial intelligence model, even if the downscaled input image is upscaled through the legacy scaler, a result similar to the quality of the input image can be obtained.
  • the server performs a learning operation and the first electronic device 100 and the second electronic device 200 use the same, but the present invention is not limited thereto.
  • the learning operation of FIG. 6 may be performed by at least one of the first electronic device 100 or the second electronic device 200 .
  • FIG. 7 is a view for explaining an example learning method of a second artificial intelligence model according to various embodiments of the present disclosure.
  • the server may learn the second artificial intelligence model.
  • the server may learn the second artificial intelligence model by using the first artificial intelligence model on which the learning has been completed.
  • the upper left (ScaleNet-Down(2:1)) of FIG. 7 includes the down-scaling network of the first artificial intelligence model, and the right side (ScaleNet-Up(1:2)) of the first artificial intelligence model in FIG. It is an upscaling network, and the lower left (ScaleNet-Down(1:1)) of FIG. 7 may be the second artificial intelligence model.
  • the server inputs the upper left sample image (4k) into the downscaling network of the first artificial intelligence model to obtain a first intermediate image, and downscaling the sample image through a legacy scaler to obtain a second intermediate image (2k) can do.
  • the server inputs the second intermediate image to the second artificial intelligence model to obtain a third intermediate image 2k, and inputs the third intermediate image to the upscaling network of the first artificial intelligence model to obtain the third final image can be obtained
  • the server may learn the second artificial intelligence model based on the sample image, the first intermediate image, the third intermediate image, and the third final image. For example, the server may learn the second artificial intelligence model based on a weighted sum of a fourth difference between the sample image and the third final image and a fifth difference between the first intermediate image and the third intermediate image.
  • learning may be performed using a relatively high-quality sample image 4k, but after learning is completed, image quality improvement may be performed using only the second artificial intelligence model. That is, when the second artificial intelligence model is used, only the image quality can be improved while maintaining the resolution.
  • the third intermediate image 2k obtained by inputting the relatively low-quality second intermediate image into the second artificial intelligence model is similar to the first intermediate image obtained by downscaling the relatively high-quality sample image 4k. as it is learned.
  • the server performs a learning operation and the first electronic device 100 and the second electronic device 200 use the same, but the present invention is not limited thereto.
  • the learning operation of FIG. 7 may be performed by at least one of the first electronic device 100 or the second electronic device 200 .
  • 8A, 8B, and 8C are diagrams for explaining various types of artificial intelligence models according to various embodiments of the present disclosure.
  • FIG. 8A shows a downscaling network (eg, 2:1 ScaleNet-DN Network) of a first artificial intelligence model
  • FIG. 8B shows a second artificial intelligence model (eg, 1:1 ScaleNet-DN Network)
  • 8c shows an up-scaling network (eg, ScaleNet-Up Network) of the first artificial intelligence model.
  • FIGS. 8A, 8B, and 8C The form of such a network is not limited to FIGS. 8A, 8B, and 8C, and may be implemented in any number of forms.
  • 9A and 9B are diagrams for explaining an exemplary encoding operation according to various embodiments of the present disclosure.
  • the processor 130 of the first electronic device 100 may downscale an input image or improve image quality.
  • the processor 130 downscales the input image using a downscaling network (ScaleNet-Down(n:1) or n:1 ScaleNet-DN Network) of the first artificial intelligence model or the second artificial intelligence model (ScaleNet-Down(1:1) or 1:1 ScaleNet-DN Network) can be used to improve the quality of the input image.
  • a downscaling network ScaleNet-Down(n:1) or n:1 ScaleNet-DN Network
  • ScaleNet-Down(1:1) or 1:1 ScaleNet-DN Network can be used to improve the quality of the input image.
  • the processor 130 may downscale the input image or improve image quality based on the network state.
  • the processor 130 may encode the processed image.
  • data to be transmitted can be reduced.
  • the data to be transmitted can be significantly reduced.
  • the processor 130 may transmit downscaling related metadata (eg, SEI Message) to the second electronic device 200 .
  • downscaling related metadata eg, SEI Message
  • the processor 130 may downscale the input image based on a value set by the AI meta environment setter, and encode the downscaled image using the set value.
  • the value set by the AI meta environment setter may include, for example, a scaling ratio.
  • the value set by the AI meta environment setter may include information on the downscaling network.
  • the processor 130 may acquire AI meta information corresponding to the set value through the AI meta generator, and transmit the encoded image and AI meta information to the second electronic device 200 through the stream generator.
  • FIG. 10 is a diagram for explaining an exemplary decoding operation according to various embodiments of the present disclosure.
  • the processor 240 of the second electronic device 200 may receive an image and metadata (SEI Message) from the first electronic device 100 .
  • the processor 240 may decode the image and upscale the decoded image.
  • the processor 240 may upscale the decoded image based on the received metadata.
  • the processor 240 may change the upscaling method based on at least one of a resource state of the second electronic device 200 and a network state with the first electronic device 100 .
  • the processor 240 may upscale the decoded image through the legacy scaler based on at least one of a resource state of the second electronic device 200 and a network state with the first electronic device 100 .
  • FIG. 11 is a flowchart illustrating an example control method of a first electronic device according to various embodiments of the present disclosure
  • the input image is input to the downscaling network of the first artificial intelligence model to obtain an output image in which the input image is downscaled (S1110).
  • the output image is transmitted to another electronic device (S1120).
  • the first artificial intelligence model includes a sample image, a first intermediate image obtained by inputting the sample image to the downscaling network, a first final image obtained by inputting the first intermediate image to the upscaling network of the first artificial intelligence model, the sample
  • the image may be an artificial intelligence model learned based on a second intermediate image in which the image is downscaled by the legacy scaler and the second final image in which the first intermediate image is upscaled by the legacy scaler.
  • the method may further include encoding the output image, and transmitting ( S1120 ) may transmit the encoded output image to another electronic device.
  • the first artificial intelligence model is based on a weighted sum of a first difference between the sample image and the first final image, a second difference between the sample image and the second final image, and a third difference between the first intermediate image and the second intermediate image.
  • the first artificial intelligence model may be trained based on a weighted sum in which a weight greater than the third difference is applied to each of the first difference and the second difference.
  • the first intermediate image and the second intermediate image may be at a first resolution
  • the sample image, the first final image and the second final image may be at a second resolution greater than the first resolution
  • the method further includes inputting the input image into the second artificial intelligence model to obtain an output image having the same resolution as the input image, and transmitting ( S1120 ) may transmit the output image to another electronic device.
  • the second artificial intelligence model is a third intermediate image obtained by inputting a sample image, a first intermediate image, and a second intermediate image to the second artificial intelligence model, and a third final obtained by inputting the third intermediate image to the upscaling network. It may be an artificial intelligence model trained based on the image.
  • the second artificial intelligence model may be trained based on a weighted sum of a fourth difference between the sample image and the third final image and a fifth difference between the first intermediate image and the third intermediate image.
  • FIG. 12 is a flowchart illustrating an example control method of a second electronic device according to various embodiments of the present disclosure
  • an image is received from another electronic device (S1210). Then, the received image is input to the upscaling network of the first artificial intelligence model to obtain an output image in which the received image is upscaled (S1220). The output image is displayed (S1230).
  • the first artificial intelligence model is a sample image, a first intermediate image obtained by inputting the sample image to the downscaling network of the first artificial intelligence model, a first final image obtained by inputting the first intermediate image to the upscaling network, the sample
  • the image may be an artificial intelligence model learned based on a second intermediate image in which the image is downscaled by the legacy scaler and the second final image in which the first intermediate image is upscaled by the legacy scaler.
  • the method may further include decoding the received image, and obtaining ( S1220 ) may include inputting the decoded image to an upscaling network to obtain an output image in which the decoded image is upscaled.
  • the electronic device may process an image using an artificial intelligence model learned based on a device that receives an image using a legacy scaler, and transmits the processed image.
  • Image restoration performance may be maintained even if the device receiving the ? uses a legacy scaler.
  • the electronic device may transmit the image without downscaling the image, and may provide the user with a choice on whether to downscale the image.
  • the artificial intelligence model for improving the image quality is also an artificial intelligence model trained in consideration of the case where the device receiving the image uses the legacy scaler, and the image restoration performance is maintained even if the device receiving the image uses the legacy scaler can be
  • a device is a device capable of calling a stored instruction from a storage medium and operating according to the called instruction, and may include an electronic device (eg, electronic device A) according to the disclosed embodiments.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium, where the 'non-transitory' storage medium does not include a signal and is tangible. It does not distinguish between semi-permanent or temporary storage of data on a storage medium.
  • the method according to the various embodiments described above may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
  • an application store eg, Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each of the components may include a singular or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be omitted. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, a module or a program) may be integrated into a single entity to perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallel, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added. can

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 제1 인공 지능 모델의 다운 스케일링 네트워크가 저장된 메모리, 회로를 포함하는 통신 인터페이스 및 메모리 및 통신 인터페이스와 연결되며 전자 장치를 제어하는 프로세서를 포함하고, 프로세서는 입력 이미지를 다운 스케일링 네트워크에 입력하여 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고, 출력 이미지를 타 전자 장치로 전송하도록 통신 인터페이스를 제어하며, 제1 인공 지능 모델은 샘플 이미지, 샘플 이미지가 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.

Description

전자 장치, 그 제어 방법 및 전자 시스템
본 개시는 전자 장치, 그 제어 방법 및 전자 시스템에 대한 것으로, 예를 들어, 이미지를 전송하는 전자 장치, 그 제어 방법 및 전자 시스템에 대한 것이다.
CROSS-REFERENCE TO RELATED APPLICATIONS
본 출원은 2020년 09월 15일에 출원된 대한민국 특허출원 제 10-2020-0118199호에 기초하여 우선권을 주장하며, 해당 출원의 모든 내용은 그 전체가 본 출원에 레퍼런스로 포함된다.
최근 영상 처리 기술 및 디스플레이 장치가 개발됨에 따라 3840×2160 해상도의 UHD(Ultra-HD) 이미지를 넘어 7680×4320 해상도의 8K 이미지 및 이를 재생할 수 있는 디스플레이 장치가 보급되고 있다.
다만, 고해상도의 이미지를 전송하는 경우, 대역폭, 시간 지연 등의 문제가 발생할 수 있다. 이를 해결하기 위해 도 1a에 도시된 바와 같이, 이미지를 전송하는 장치는 고해상도의 이미지를 인공 지능 모델을 통해 다운 스케일링하고 다운 스케일링된 이미지를 전송하며, 이미지를 수신하는 장치는 수신된 이미지를 인공 지능 모델을 통해 업 스케일링하였다. 이 과정에서 인코딩 및 디코딩 동작이 추가되면 좀더 효율적으로 고해상도의 이미지가 전송될 수 있다.
여기서, 다운 스케일링을 수행하는 인공 지능 모델 및 업 스케일링을 수행하는 인공 지능 모델은 도 1b에 도시된 바와 같이 하나의 인공 지능 모델로서 학습될 수 있다. 구체적으로, 좌측의 원본 이미지는 다운 스케일링을 수행하는 인공 지능 모델에 의해 다운 스케일링되어 제1 중간 이미지가 획득되고, 제1 중간 이미지는 업 스케일링을 수행하는 인공 지능 모델에 의해 업 스케일링되어 우측의 최종 이미지가 획득될 수 있다. 또한, 원본 이미지는 레거시 스케일러(legacy scaler)에 의해 다운 스케일링되어 제2 중간 이미지가 획득될 수 있다. 다운 스케일링을 수행하는 인공 지능 모델 및 업 스케일링을 수행하는 인공 지능 모델은 원본 이미지와 최종 이미지 간의 차이 및 제1 중간 이미지 및 제2 중간 이미지 간의 차이에 기초하여 학습될 수 있다. 여기서, 레거시 스케일러는 인공 지능 모델 기반이 아닌 룰 기반의 스케일러이다.
다만, 업 스케일링을 수행하는 인공 지능 모델이 저장되지 않은 장치의 경우 수신된 이미지에 대한 업 스케일링 성능이 저하될 수 있다. 예를 들어, 이미지를 수신하는 장치가 레거시 스케일러만을 구비한 경우, 업 스케일링을 수행하는 인공 지능 모델이 저장된 장치보다 수신된 이미지에 대한 업 스케일링 성능이 저하될 수 있다.
또한, 경우에 따라 다운 스케일링 없이 이미지를 전송할 수도 있으나, 기존의 인공 지능 모델은 다운 스케일링을 전제로 하므로 이용할 수 없는 문제도 있다.
따라서, 이상의 문제를 해결하기 위한 기술이 개발될 필요가 있다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 이미지 전송 과정에서 다운 스케일링이 수행되더라도 원본에 가깝게 복원하기 위한 전자 장치, 그 제어 방법 및 전자 시스템을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 제1 인공 지능 모델의 다운 스케일링 네트워크가 저장된 메모리, 통신 회로를 포함하는 통신 인터페이스 및 상기 메모리 및 상기 통신 인터페이스와 연결되며 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는 입력 이미지를 상기 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고, 상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며, 상기 제1 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
또한, 상기 프로세서는 상기 출력 이미지를 인코딩하고, 상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
그리고, 상기 제1 인공 지능 모델은 상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
또한, 상기 제1 인공 지능 모델은 상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습될 수 있다.
그리고, 상기 제1 중간 이미지 및 상기 제2 중간 이미지는 제1 해상도를 가지고, 상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는 상기 제1 해상도보다 큰 제2 해상도를 가질 수 있다.
또한, 상기 메모리는 제2 인공 지능 모델을 더 저장하고, 상기 프로세서는 상기 입력 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고, 상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며, 상기 제2 인공 지능 모델은 상기 샘플 이미지, 상기 제1 중간 이미지, 상기 제2 중간 이미지가 상기 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 상기 제3 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습될 수 있다.
그리고, 상기 제2 인공 지능 모델은 상기 샘플 이미지와 상기 제3 최종 이미지 간의 제4 차이, 및 상기 제1 중간 이미지와 상기 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습될 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 통신 회로를 포함하는 통신 인터페이스, 제1 인공 지능 모델의 업 스케일링 네트워크가 저장된 메모리, 디스플레이 및 상기 메모리 및 상기 통신 인터페이스와 연결되며 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 통신 인터페이스를 통해 타 전자 장치로부터 이미지를 수신하고, 상기 수신된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 수신된 이미지가 업 스케일링된 출력 이미지를 획득하고, 상기 출력 이미지를 디스플레이하도록 상기 디스플레이를 제어하며, 상기 제1 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
또한, 상기 프로세서는 상기 수신된 이미지를 디코딩하고, 상기 디코딩된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득할 수 있다.
그리고, 상기 제1 인공 지능 모델은 상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 시스템은 입력 이미지를 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 이미지를 획득하는 제1 전자 장치 및 상기 제1 전자 장치로부터 상기 다운 스케일링된 이미지를 수신하고, 상기 수신된 이미지를 상기 인공 지능 모델의 업 스케일링 네트워크에 입력하여 상기 이미지가 업 스케일링된 이미지를 획득하고, 상기 업 스케일링된 이미지를 디스플레이하는 제2 전자 장치를 포함하며, 상기 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 입력 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하는 단계 및 상기 출력 이미지를 타 전자 장치로 전송하는 단계를 포함하며, 상기 제1 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
또한, 상기 출력 이미지를 인코딩하는 단계를 더 포함하고, 상기 전송하는 단계는 상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송할 수 있다.
그리고, 상기 제1 인공 지능 모델은 상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
또한, 상기 제1 인공 지능 모델은 상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습될 수 있다.
그리고, 상기 제1 중간 이미지 및 상기 제2 중간 이미지는 제1 해상도를 가지고, 상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는 상기 제1 해상도보다 큰 제2 해상도를 가질 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 이미지를 수신하는 장치가 레거시 스케일러를 이용하는 경우에 기초하여 학습된 인공 지능 모델을 이용하여 이미지를 처리하고 처리된 이미지를 전송함에 따라 이미지를 수신하는 장치가 레거시 스케일러(legacy scaler)를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
또한, 전자 장치는 이미지의 품질을 개선하는 인공 지능 모델을 이용하여 이미지를 처리함에 따라 이미지의 다운 스케일링 없이 이미지를 전송할 수 있고, 사용자에게 이미지의 다운 스케일링 여부에 대한 선택권을 제공할 수도 있다.
그리고, 이미지의 품질을 개선하는 인공 지능 모델 역시 이미지를 수신하는 장치가 레거시 스케일러를 이용하는 경우에 기초하여 학습된 인공 지능 모델로서, 이미지를 수신하는 장치가 레거시 스케일러를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
본 개시 내용의 특정 실시 양태의 상기 및 다른 측면, 특징 및 이점은 첨부 된 도면과 함께 취해진 다음의 상세한 설명으로부터보다 명백해질 것이다.
도 1a 및 도 1b는 종래 기술을 설명하기 위한 도면이다.
도 2는 본 개시의 다양한 실시 예에 따른 전자 시스템의 예시 구성을 나타내는 블럭도이다.
도 3은 본 개시의 다양한 실시 예에 따른 제1 전자 장치의 예시 구성을 설명하기 위한 블럭도이다.
도 4는 본 개시의 다양한 실시 예에 따른 제2 전자 장치의 예시 구성을 설명하기 위한 블럭도이다.
도 5는 본 개시의 다양한 실시 예에 따른 제1 전자 장치 및 제2 전자 장치의 예시 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 다양한 실시 예에 따른 제1 인공 지능 모델의 예시 학습 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 다양한 실시 예에 따른 제2 인공 지능 모델의 예시 학습 방법을 설명하기 위한 도면이다.
도 8a, 8b 및 도 8c는 본 개시의 다양한 실시 예에 따른 인공 지능 모델의 다양한 형태를 설명하기 위한 도면들이다.
도 9a 및 9b는 본 개시의 다양한 실시 예에 따른 예시 인코딩 동작을 설명하기 위한 도면들이다.
도 10은 본 개시의 다양한 실시 예에 따른 예시 디코딩 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 다양한 실시 예예 따른 제1 전자 장치의 예시 제어 방법을 설명하기 위한 흐름도이다.
도 12는 본 개시의 다양한 실시 예예 따른 제2 전자 장치의 예시 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 더욱 상세히 설명한다.
본 개시의 다양한 실시 예는 다양하게 변형될 수 있다. 따라서, 다양한 실시 예가 도면에 도시되어 있으며 상세한 설명에서 상세히 설명한다. 그러나, 본 개시는 특정 실시 예에 한정되지 않고, 본 개시의 범위 및 사상을 벗어나지 않는 범위 내에서 모든 수정, 균등물 및 치환을 포함함을 이해해야 한다. 또한, 잘 알려진 기능 또는 구성은 불필요한 세부 사항으로 본 개시 내용을 모호하게 할 수 있는 경우 상세히 설명하지 않을 수 있다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 다양한 경우에서 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공 지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 다양한 실시 예를 보다 상세하게 설명한다.
도 2는 다양한 실시 예에 따른 전자 시스템(1000)의 예시 구성을 나타내는 블럭도이다. 전자 시스템(1000)은 제1 전자 장치(100) 및 제2 전자 장치(200)를 포함할 수 있다.
제1 전자 장치(100)는 인공 지능 모델을 통해 이미지를 처리하고, 처리된 이미지를 제2 전자 장치(200)로 전송하는 장치를 포함할 수 있으며, 예를 들어 서버, TV, 셋탑박스(STB), 컴퓨터 본체, 데스크탑 PC, 노트북, 비디오 월(video wall), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 프로젝터 디스플레이, DVD(digital video disk) 플레이어, 스마트폰, 태블릿 PC, 모니터, 스마트 안경, 스마트 워치 등과 같은 장치를 포함할 수 있다. 이미지의 처리는 다운 스케일링 또는 화질 보정 중 적어도 하나를 포함할 수 있다.
다만, 이에 한정되는 것은 아니며, 제1 전자 장치(100)는 인공 지능 모델을 통해 이미지를 처리하고, 처리된 이미지를 제공할 수 있는 장치라면 어떠한 장치라도 무방하다.
제1 전자 장치(100)는 처리된 이미지를 인코딩하고, 인코딩된 이미지를 제2 전자 장치(200)로 전송할 수도 있다.
제1 전자 장치(100)는 이미지 뿐만 아니라 동영상을 인공 지능 모델을 통해 처리하고, 처리된 동영상을 제2 전자 장치(200)로 전송할 수도 있다.
제2 전자 장치(200)는 제1 전자 장치(100)로부터 이미지를 수신하고, 인공 지능 모델을 통해 수신된 이미지를 업 스케일링하며, 업 스케일링된 이미지를 디스플레이하는 장치를 포함할 수 있으며, 예를 들어, TV, 데스크탑 PC, 노트북, 비디오 월(video wall), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 프로젝터 디스플레이, DVD(digital video disk) 플레이어, 스마트폰, 태블릿 PC, 모니터, 스마트 안경, 스마트 워치 등과 같이 디스플레이를 구비하고, 업 스케일링된 이미지를 직접 디스플레이하는 장치일 수도 있다.
또는, 제2 전자 장치(200)는 제1 전자 장치(100)로부터 이미지를 수신하고, 인공 지능 모델을 통해 수신된 이미지를 업 스케일링하며, 업 스케일링된 이미지를 디스플레이가 구비된 장치로 제공하는 장치를 포함할 수 있으며, 예를 들어, 셋탑박스(STB), 컴퓨터 본체 등과 같은 장치일 수도 있다.
다만, 이에 한정되는 것은 아니며, 제2 전자 장치(200)는 제1 전자 장치(100)로부터 이미지를 수신하고, 인공 지능 모델을 통해 수신된 이미지를 업 스케일링할 수 있는 장치라면 어떠한 장치라도 무방하다.
제2 전자 장치(200)는 수신된 이미지를 디코딩하고, 인공 지능 모델을 통해 디코딩된 이미지를 업 스케일링할 수도 있다.
제2 전자 장치(200)는 제1 전자 장치(100)로부터 동영상을 수신하고, 인공 지능 모델을 통해 수신된 동영상을 업 스케일링할 수도 있다.
도 3은 본 개시의 다양한 실시 예에 따른 제1 전자 장치(100)의 예시 구성을 설명하기 위한 블럭도이다.
도 3에 따르면, 제1 전자 장치(100)는 메모리(110), 예를 들어, 통신 회로를 포함하는 통신 인터페이스(120) 및 예를 들어, 처리 회로를 포함하는 프로세서(130)를 포함한다. 다만, 이에 한정되는 것은 아니며, 제1 전자 장치(100)는 일부 구성이 제외되거나 다른 구성이 추가된 형태로 구현될 수도 있다.
메모리(110)에는 제1 인공 지능 모델의 다운 스케일링 네트워크 또는 제2 인공 지능 모델 중 적어도 하나가 저장될 수 있다.
제1 인공 지능 모델은 다운 스케일링 네트워크 및 업 스케일링 네트워크를 포함할 수 있다. 예를 들어, 제1 인공 지능 모델의 다운 스케일링 네트워크 및 업 스케일링 네트워크는 샘플 이미지, 샘플 이미지가 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다. 제1 중간 이미지 및 제2 중간 이미지는 제1 해상도이고, 샘플 이미지, 제1 최종 이미지 및 제2 최종 이미지는 제1 해상도보다 큰 제2 해상도일 수 있다.
예를 들어, 제1 인공 지능 모델은 샘플 이미지와 제1 최종 이미지 간의 제1 차이, 샘플 이미지와 제2 최종 이미지 간의 제2 차이, 및 제1 중간 이미지와 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다. 가령, 제1 인공 지능 모델은 제1 차이 및 제2 차이 각각에 제3 차이보다 더 큰 가중치가 적용된 가중합에 기초하여 학습될 수 있다.
제2 인공 지능 모델은 이미지의 화질을 보정하는 인공 지능 모델을 포함할 수 있으며, 예를 들어, 샘플 이미지, 제1 중간 이미지, 제2 중간 이미지가 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 제3 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습될 수 있다. 제3 중간 이미지는 제1 해상도이고, 제3 최종 이미지는 제2 해상도일 수 있다.
예를 들어, 제2 인공 지능 모델은 샘플 이미지와 제3 최종 이미지 간의 제4 차이, 및 제1 중간 이미지와 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습될 수 있다.
제1 인공 지능 모델 및 제2 인공 지능 모델은 서버와 같은 외부 장치에서 학습될 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 전자 장치(100)가 제1 인공 지능 모델 및 제2 인공 지능 모델을 학습할 수도 있으며, 학습 방법에 대하여는 후술한다.
통신 인터페이스(120)는 다양한 장치와 통신을 수행하기 위한 다양한 회로(예를 들어, 통신 회로)를 포함할 수 있다. 예를 들어, 통신 인터페이스(120)는 HDMI, MHL, USB, RGB, D-SUB, DVI 등과 같이 다양한 유선 통신 방식을 지원할 수 있다. 또한, 통신 인터페이스(120)는 BT(BlueTooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), Zigbee 등과 같이 다양한 무선 통신 방식을 지원할 수도 있다. 다만, 이에 한정되는 것은 아니며, 외부 장치와의 통신이 가능한 통신 규격이라면 어떤 것이라도 무방하다.
통신 인터페이스(120)는 프로세서(130)의 제어에 의해 인공 지능 모델에 의해 처리된 이미지를 제2 전자 장치(200)로 전송할 수 있다.
프로세서(130)는 다양한 처리 회로를 포함할 수 있고, 제1 전자 장치(100)의 동작을 전반적으로 제어한다. 예를 들어, 프로세서(130)는 제1 전자 장치(100)의 각 구성과 연결되어 제1 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 메모리(110) 및 통신 인터페이스(120)와 연결되어 제1 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 가령, 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller), 전용 프로세서(a dedicated processor) 등으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 예를 들어, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 입력 이미지를 다운 스케일링 네트워크에 입력하여 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고, 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수 있다. 즉, 프로세서(130)는 다운 스케일링 네트워크를 통해 입력 이미지의 해상도를 낮춰 부가 정보와 함께 제2 전자 장치(200)로 전송할 수 있으며, 그에 따라 데이터 전송량을 감소시킬 수 있다.
프로세서(130)는 출력 이미지를 인코딩하고, 인코딩된 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수도 있다. 이러한 동작을 통해 인코딩을 수행하지 않은 경우보다 데이터 전송량을 더욱 감소시킬 수 있다.
프로세서(130)는 입력 이미지를 제2 인공 지능 모델에 입력하여 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고, 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수도 있다. 즉, 프로세서(130)는 입력 이미지의 화질을 보정하고, 화질이 보정된 이미지를 제2 전자 장치(200)로 전송할 수 있으며, 이 경우 데이터 전송량이 감소되지는 않으나 후술할 제2 전자 장치(200)가 업 스케일링 동작을 수행하기에 좀더 적절하게 보정되거나 변환된 이미지를 제공할 수 있다.
또한, 프로세서(130)는 입력 이미지를 제2 인공 지능 모델에 입력하여 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고, 출력 이미지를 인코딩하며, 인코딩된 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수도 있다.
프로세서(130)는 사용자 입력에 따라 제1 인공 지능 모델의 다운 스케일링 네트워크 및 제2 인공 지능 모델 중 하나를 이용하여 입력 이미지를 처리할 수 있다.
프로세서(130)는 입력 이미지 또는 전송 대역폭 중 적어도 하나에 기초하여 제1 인공 지능 모델의 다운 스케일링 네트워크 및 제2 인공 지능 모델 중 하나를 이용하여 입력 이미지를 처리할 수도 있다.
예를 들어, 프로세서(130)는 입력 이미지의 해상도가 임계 해상도 이상이면 제1 인공 지능 모델의 다운 스케일링 네트워크를 이용하여 입력 이미지를 처리하고, 입력 이미지의 해상도가 임계 해상도 미만이면 제2 인공 지능 모델을 이용하여 입력 이미지를 처리할 수도 있다. 프로세서(130)는 입력 이미지의 크기 및 전송 대역폭을 비교하여 제1 인공 지능 모델의 다운 스케일링 네트워크 및 제2 인공 지능 모델 중 하나를 이용하여 입력 이미지를 처리할 수도 있다.
도 4는 본 개시의 다양한 실시 예에 따른 제2 전자 장치(200)의 예시 구성을 설명하기 위한 블럭도이다.
도 4에 따르면, 제2 전자 장치(200)는 예를 들어, 통신 회로를 포함하는 통신 인터페이스(210), 메모리(220), 디스플레이(230) 및 예를 들어, 처리 회로를 포함하는 프로세서(240)를 포함한다. 다만, 이에 한정되는 것은 아니며, 제2 전자 장치(200)는 일부 구성이 제외되거나 다른 구성이 추가된 형태로 구현될 수도 있다.
통신 인터페이스(210)는 다양한 장치와 통신을 수행하기 위한 다양한 회로(예를 들어, 통신 회로)를 포함할 수 있다. 예를 들어, 통신 인터페이스(210)는 HDMI, MHL, USB, RGB, D-SUB, DVI 등과 같이 다양한 유선 통신 방식을 지원할 수 있다. 또한, 통신 인터페이스(210)는 BT(BlueTooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), Zigbee 등과 같이 다양한 무선 통신 방식을 지원할 수도 있다. 다만, 이에 한정되는 것은 아니며, 외부 장치와의 통신이 가능한 통신 규격이라면 어떤 것이라도 무방하다.
통신 인터페이스(210)는 프로세서(240)의 제어에 의해 제1 전자 장치(100)로부터 이미지를 수신할 수 있다. 수신된 이미지는 인공 지능 모델의 의해 처리된 이미지, 인공 지능 모델의 의해 처리된 후 인코딩된 이미지를 포함할 수 있다.
메모리(220)에는 제1 인공 지능 모델의 업 스케일링 네트워크가 저장될 수 있으며, 이에 대하여는 상술하였으므로 중복되는 설명을 반복하지 않는다.
디스플레이(230)는 가령, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(230) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(230)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
디스플레이(230)는 프로세서(240)의 제어 하에 이미지를 디스플레이할 수 있다.
프로세서(240)는 다양한 처리 회로를 포함할 수 있고, 제2 전자 장치(200)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(240)는 제2 전자 장치(200)의 각 구성과 연결되어 제2 전자 장치(200)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(240)는 통신 인터페이스(210), 메모리(220) 및 디스플레이(230)와 연결되어 제2 전자 장치(200)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(240)는 가령, 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller), 전용 프로세서(a dedicated processor) 등으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 가령, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(240)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(240)는 통신 인터페이스(210)를 통해 제1 전자 장치(100)로부터 이미지를 수신하고, 수신된 이미지를 업 스케일링 네트워크에 입력하여 수신된 이미지가 업 스케일링된 출력 이미지를 획득하고, 출력 이미지를 디스플레이하도록 디스플레이(230)를 제어할 수 있다.
프로세서(240)는 수신된 이미지를 디코딩하고, 디코딩된 이미지를 업 스케일링 네트워크에 입력하여 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득할 수도 있다.
이상과 같이 제1 전자 장치(100) 및 제2 전자 장치(200)는 레거시 스케일러에 의해 업 스케일링된 이미지를 추가로 학습한 제1 인공 지능 모델을 이용함에 따라 사용자에게 좀더 화질이 개선된 이미지를 제공할 수 있다. 또한, 레거시 스케일러만을 구비한 장치가 이미지를 수신하고, 수신된 이미지를 레거시 스케일러를 통해 업 스케일링하더라도 좀더 화질이 개선된 이미지를 제공할 수 있다.
이하에서는 도면을 통해 도 5, 6, 7, 8a, 8b, 8c, 9a, 9b 및 10(이하에서는 도 5 내지 10으로 나타낸다)을 통해 전자 시스템(1000)의 동작을 더욱 구체적으로 설명한다. 도 5 내지 도 10에서는 설명의 편의를 위해 다양한 실시 예에 대하여 설명한다. 다만, 도 5 내지 도 10의 다양한 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.
도 5는 본 개시의 다양한 실시 예에 따른 제1 전자 장치(100) 및 제2 전자 장치(200)의 예시 동작을 개략적으로 설명하기 위한 도면이다.
제1 전자 장치(100)의 프로세서(130)는 제1 인공 지능 모델의 다운 스케일링 네트워크(ScaleNet-Down(n:1))를 이용하여 입력 이미지를 다운 스케일링하거나 제2 인공 지능 모델(ScaleNet-Down(1:1))을 이용하여 입력 이미지의 화질을 개선할 수 있다. 제1 인공 지능 모델의 다운 스케일링 네트워크(ScaleNet-Down(n:1))가 이용될 경우 전송 데이터량을 줄일 수 있는 장점이 있고, 제2 인공 지능 모델(ScaleNet-Down(1:1))가 이용될 경우 좀더 고화질의 영상을 제공할 수 있는 장점이 있다. 화질 개선은 가령, 화질 개선 전의 이미지를 업스케일링한 이미지와 화질 개선 후의 이미지를 업스케일링한 이미지 중 후자의 노이즈가 더 적은 것을 나타낼 수 있다.
제2 전자 장치(200)의 프로세서(240)는 제1 전자 장치(100)로부터 수신된 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크(ScaleNet-Up(1:n))를 이용하여 업 스케일링할 수 있다. 즉, 프로세서(240)는 제1 전자 장치(100)가 이용한 인용 지능 모델과는 무관하게 업 스케일링 동작을 수행할 수 있다.
제1 인공 지능 모델의 다운 스케일링 네트워크 및 업 스케일링 네트워크는 동시에 학습이 수행되며, 이에 대하여는 도 6을 통해 더욱 상세하게 설명한다.
도 6은 본 개시의 다양한 실시 예에 따른 제1 인공 지능 모델의 예시 학습 방법을 설명하기 위한 도면이다.
서버는 제1 인공 지능 모델을 학습할 수 있다. 예를 들어, 서버는 좌측의 샘플 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크(예를 들어, Scale-Down Network)에 입력하여 제1 중간 이미지를 획득하고, 제1 중간 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크(예를 들어, Scale-Up Network)에 입력하여 제1 최종 이미지를 획득할 수 있다.
그리고, 서버는 샘플 이미지를 레거시 스케일러(예를 들어, Legacy-down)를 통해 다운 스케일링하여 제2 중간 이미지를 획득하고, 제1 중간 이미지를 레거시 스케일러(예를 들어, Legacy-up)를 통해 업 스케일링한 제2 최종 이미지를 획득할 수 있다. 레거시 스케일러는 종래의 룰 기반의 스케일러일 수 있다. 룰 기반의 스케일러는 미리 정해진 방법에 따라 이미지를 업 스케일링 또는 다운 스케일링하는 스케일러일 수 있다. 다만, 이에 한정되는 것은 아니며, 룰 기반의 스케일러는 Machine Learning 또는 Deep learning 등을 통해 미리 학습된 신경망을 통해 이미지를 업 스케일링 또는 다운 스케일링할 수도 있다.
서버는 샘플 이미지, 제1 중간 이미지, 제2 중간 이미지, 제1 최종 이미지 및 제2 최종 이미지에 기초하여 제1 인공 지능 모델을 학습할 수 있다. 예를 들어, 서버는 샘플 이미지와 제1 최종 이미지 간의 제1 차이, 샘플 이미지와 제2 최종 이미지 간의 제2 차이, 및 제1 중간 이미지와 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 제1 인공 지능 모델을 학습할 수 있다. 예를 들어, 서버는 제1 차이 및 제2 차이 각각에 제3 차이보다 더 큰 가중치가 적용된 가중합에 기초하여 제1 인공 지능 모델을 학습할 수도 있다.
즉, 서버는 종래보다 제2 차이를 더 이용하여 제1 인공 지능 모델을 학습할 수 있다. 그에 따라, 입력 이미지가 제1 인공 지능 모델의 다운 스케일링 모델을 통해 다운 스케일링된 후, 다운 스케일링된 입력 이미지가 레거시 스케일러를 통해 업 스케일링이 되더라도 입력 이미지의 품질과 유사한 결과가 획득될 수 있다.
도 6에 따르면, 서버가 학습 동작을 수행하고, 제1 전자 장치(100) 및 제2 전자 장치(200)는 이를 이용하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 도 6의 학습 동작은 제1 전자 장치(100) 또는 제2 전자 장치(200) 중 적어도 하나가 수행할 수 있다.
도 7은 본 개시의 다양한 실시 예에 따른 제2 인공 지능 모델의 예시 학습 방법을 설명하기 위한 도면이다.
서버는 제2 인공 지능 모델을 학습할 수 있다. 이때, 서버는 학습이 완료된 제1 인공 지능 모델을 이용하여 제2 인공 지능 모델을 학습할 수 있다. 도 7의 좌측 상단(ScaleNet-Down(2:1))은 제1 인공 지능 모델의 다운 스케일링 네트워크를 포함하고, 도 7의 우측(ScaleNet-Up(1:2))은 제1 인공 지능 모델의 업 스케일링 네트워크이며, 도 7의 좌측 하단(ScaleNet-Down(1:1))이 제2 인공 지능 모델일 수 있다.
서버는 좌측 상단의 샘플 이미지(4k)를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 제1 중간 이미지를 획득하고, 샘플 이미지를 레거시 스케일러를 통해 다운 스케일링하여 제2 중간 이미지(2k)를 획득할 수 있다.
그리고, 서버는 제2 중간 이미지를 제2 인공 지능 모델에 입력하여 제3 중간 이미지(2k)를 획득하고, 제3 중간 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크에 입력하여 제3 최종 이미지를 획득할 수 있다.
서버는 서버는 샘플 이미지, 제1 중간 이미지, 제3 중간 이미지 및 제3 최종 이미지에 기초하여 제2 인공 지능 모델을 학습할 수 있다. 예를 들어, 서버는 샘플 이미지와 제3 최종 이미지 간의 제4 차이, 및 제1 중간 이미지와 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 제2 인공 지능 모델을 학습할 수 있다.
학습 과정에서는 상대적으로 고화질의 샘플 이미지(4k)를 이용하여 학습이 수행될 수 있으나, 학습이 완료된 후에는 제2 인공 지능 모델만을 이용하여 화질 개선이 수행될 수 있다. 즉, 제2 인공 지능 모델을 이용하는 경우 해상도를 유지한 상태로 화질만이 개선될 수 있다.
이는, 상대적으로 저화질의 제2 중간 이미지를 제2 인공 지능 모델에 입력하여 획득된 제3 중간 이미지(2k)가 상대적으로 고화질의 샘플 이미지(4k)를 다운 스케일링한 제1 중간 이미지와 유사해지도록 학습됨에 따른 것이다.
한편, 도 7에 따르면, 서버가 학습 동작을 수행하고, 제1 전자 장치(100) 및 제2 전자 장치(200)는 이를 이용하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 도 7의 학습 동작은 제1 전자 장치(100) 또는 제2 전자 장치(200) 중 적어도 하나가 수행할 수 있다.
도 8a, 8b 및 도 8c는 본 개시의 다양한 실시 예에 따른 인공 지능 모델의 다양한 형태를 설명하기 위한 도면들이다.
도 8a는 제1 인공 지능 모델의 다운 스케일링 네트워크(예를 들어, 2:1 ScaleNet-DN Network)를 나타내고, 도 8b는 제2 인공 지능 모델(예를 들어, 1:1 ScaleNet-DN Network)을 나타내며, 도 8c는 제1 인공 지능 모델의 업 스케일링 네트워크(예를 들어, ScaleNet-Up Network)를 나타낸다.
이러한 네트워크의 형태는 도 8a, 8b 및 도 8c에 한정되는 것은 아니며, 얼마든지 다양한 형태로 구현될 수 있다.
도 9a 및 도 9b는 본 개시의 다양한 실시 예에 따른 예시 인코딩 동작을 설명하기 위한 도면들이다.
도 9a에 도시된 바와 같이, 제1 전자 장치(100)의 프로세서(130)는 입력 이미지를 다운 스케일링하거나 화질 개선할 수 있다. 예를 들어, 프로세서(130)는 제1 인공 지능 모델의 다운 스케일링 네트워크(ScaleNet-Down(n:1) 또는 n:1 ScaleNet-DN Network)를 이용하여 입력 이미지를 다운 스케일링하거나 제2 인공 지능 모델(ScaleNet-Down(1:1) 또는 1:1 ScaleNet-DN Network)을 이용하여 입력 이미지의 화질을 개선할 수 있다.
프로세서(130)는 네트워크 상태에 기초하여 입력 이미지를 다운 스케일링하거나 화질 개선할 수도 있다.
이후, 프로세서(130)는 처리된 이미지를 인코딩할 수 있다. 이러한 동작을 통해 전송될 데이터를 줄일 수 있다. 예를 들어, 입력 이미지를 다운 스케일링한 후 인코딩하는 경우, 전송될 데이터를 상당히 줄일 수 있다.
프로세서(130)는 도 9b에 도시된 바와 같이, 입력 이미지를 다운 스케일링하는 경우, 다운 스케일링과 관련된 메타 데이터(예를 들어, SEI Message)를 제2 전자 장치(200)로 전송할 수도 있다.
예를 들어, 프로세서(130)는 AI 메타 환경 설정기에 의해 설정된 값에 기초하여 입력 이미지를 다운 스케일링하고, 설정값을 이용하여 다운 스케일링된 이미지를 인코딩할 수 있다. AI 메타 환경 설정기에 의해 설정된 값은 가령, 스케일링 비율을 포함할 수 있다. 또한, 다운 스케일링 네트워크의 종류가 복수일 때, AI 메타 환경 설정기에 의해 설정된 값은 다운 스케일링 네트워크에 대한 정보를 포함할 수도 있다.
프로세서(130)는 AI 메타 생성기를 통해 설정값에 대응되는 AI 메타 정보를 획득하고, 스트림 생성기를 통해 인코딩된 이미지 및 AI 메타 정보를 제2 전자 장치(200)로 전송할 수 있다.
도 10은 본 개시의 다양한 실시 예에 따른 예시 디코딩 동작을 설명하기 위한 도면이다.
도 10에 도시된 바와 같이, 제2 전자 장치(200)의 프로세서(240)는 제1 전자 장치(100)로부터 이미지 및 메타 데이터(SEI Message)를 수신할 수 있다.
프로세서(240)는 이미지를 디코딩하고, 디코딩된 이미지를 업 스케일링할 수 있다. 여기서, 프로세서(240)는 수신된 메타 데이터에 기초하여 디코딩된 이미지를 업 스케일링할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(240)는 제2 전자 장치(200)의 리소스 상태 또는 제1 전자 장치(100)와의 네트워크 상태 중 적어도 하나에 기초하여 업 스케일링 방법을 달리할 수 있다. 가령, 프로세서(240)는 제2 전자 장치(200)의 리소스 상태 또는 제1 전자 장치(100)와의 네트워크 상태 중 적어도 하나에 기초하여 레거시 스케일러를 통해 디코딩된 이미지를 업 스케일링할 수도 있다.
도 11은 본 개시의 다양한 실시 예예 따른 제1 전자 장치의 예시 제어 방법을 설명하기 위한 흐름도이다.
먼저, 입력 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 입력 이미지가 다운 스케일링된 출력 이미지를 획득한다(S1110). 출력 이미지를 타 전자 장치로 전송한다(S1120).
제1 인공 지능 모델은 샘플 이미지, 샘플 이미지가 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된 인공 지능 모델일 수 있다.
출력 이미지를 인코딩하는 단계를 더 포함하고, 전송하는 단계(S1120)는 인코딩된 출력 이미지를 타 전자 장치로 전송할 수 있다.
제1 인공 지능 모델은 샘플 이미지와 제1 최종 이미지 간의 제1 차이, 샘플 이미지와 제2 최종 이미지 간의 제2 차이, 및 제1 중간 이미지와 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
그리고, 제1 인공 지능 모델은 제1 차이 및 제2 차이 각각에 제3 차이보다 더 큰 가중치가 적용된 가중합에 기초하여 학습될 수 있다.
제1 중간 이미지 및 제2 중간 이미지는 제1 해상도이고, 샘플 이미지, 제1 최종 이미지 및 제2 최종 이미지는 제1 해상도보다 큰 제2 해상도일 수 있다.
입력 이미지를 제2 인공 지능 모델에 입력하여 입력 이미지와 해상도가 동일한 출력 이미지를 획득하는 단계를 더 포함하며, 전송하는 단계(S1120)는 출력 이미지를 타 전자 장치로 전송할 수 있다.
제2 인공 지능 모델은 샘플 이미지, 제1 중간 이미지, 제2 중간 이미지가 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 제3 중간 이미지가 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습된 인공 지능 모델일 수 있다.
또한, 제2 인공 지능 모델은 샘플 이미지와 제3 최종 이미지 간의 제4 차이, 및 제1 중간 이미지와 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습될 수 있다.
도 12는 본 개시의 다양한 실시 예예 따른 제2 전자 장치의 예시 제어 방법을 설명하기 위한 흐름도이다.
먼저, 타 전자 장치로부터 이미지를 수신한다(S1210). 그리고, 수신된 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크에 입력하여 수신된 이미지가 업 스케일링된 출력 이미지를 획득한다(S1220). 출력 이미지를 디스플레이한다(S1230).
제1 인공 지능 모델은 샘플 이미지, 샘플 이미지가 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된 인공 지능 모델일 수 있다.
수신된 이미지를 디코딩하는 단계를 더 포함하며, 획득하는 단계(S1220)는 디코딩된 이미지를 업 스케일링 네트워크에 입력하여 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 레거시 스케일러를 이용하여 이미지를 수신하는 장치에 기초하여 학습된 인공 지능 모델을 이용하여 이미지를 처리할 수 있고 처리된 이미지를 전송함에 따라 이미지를 수신하는 장치가 레거시 스케일러(legacy scaler)를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
또한, 전자 장치는 이미지의 품질을 개선하는 인공 지능 모델을 이용하여 이미지를 처리함에 따라 이미지의 다운 스케일링 없이 이미지를 전송할 수 있고, 사용자에게 이미지의 다운 스케일링 여부에 대한 선택권을 제공할 수도 있다.
그리고, 이미지의 품질을 개선하는 인공 지능 모델 역시 이미지를 수신하는 장치가 레거시 스케일러를 이용하는 경우를 고려하여 학습된 인공 지능 모델로서, 이미지를 수신하는 장치가 레거시 스케일러를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적' 저장매체는 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체를 포함할 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 다양한 예시적인 실시 예는 제한이 아니라 예시적인 것이다. 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 인공 지능 모델의 다운 스케일링 네트워크가 저장된 메모리;
    회로를 포함하는 통신 인터페이스; 및
    상기 메모리 및 상기 통신 인터페이스와 연결되며 상기 전자 장치를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    입력 이미지를 상기 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고,
    상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며,
    상기 제1 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 출력 이미지를 인코딩하고,
    상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  3. 제1항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습된, 전자 장치.
  4. 제3항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습된, 전자 장치.
  5. 제1항에 있어서,
    상기 제1 중간 이미지 및 상기 제2 중간 이미지는, 제1 해상도를 가지고,
    상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는, 상기 제1 해상도보다 큰 제2 해상도를 가지는, 전자 장치.
  6. 제1항에 있어서,
    상기 메모리는,
    제2 인공 지능 모델을 더 저장하고,
    상기 프로세서는,
    상기 입력 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고,
    상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며,
    상기 제2 인공 지능 모델은,
    상기 샘플 이미지, 상기 제1 중간 이미지, 상기 제2 중간 이미지가 상기 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 상기 제3 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습된, 전자 장치.
  7. 제6항에 있어서,
    상기 제2 인공 지능 모델은,
    상기 샘플 이미지와 상기 제3 최종 이미지 간의 제4 차이, 및 상기 제1 중간 이미지와 상기 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습된, 전자 장치.
  8. 전자 장치에 있어서,
    회로를 포함하는 통신 인터페이스;
    제1 인공 지능 모델의 업 스케일링 네트워크가 저장된 메모리;
    디스플레이; 및
    상기 메모리 및 상기 통신 인터페이스와 연결되며 상기 전자 장치를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 통신 인터페이스를 통해 타 전자 장치로부터 이미지를 수신하고,
    상기 수신된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 수신된 이미지가 업 스케일링된 출력 이미지를 획득하고,
    상기 출력 이미지를 디스플레이하도록 상기 디스플레이를 제어하며,
    상기 제1 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 수신된 이미지를 디코딩하고,
    상기 디코딩된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득하는, 전자 장치.
  10. 제8항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습된, 전자 장치.
  11. 전자 장치를 제어하는 방법에 있어서,
    입력 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하는 단계; 및
    상기 출력 이미지를 타 전자 장치로 전송하는 단계;를 포함하며,
    상기 제1 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 제어 방법.
  12. 제11항에 있어서,
    상기 출력 이미지를 인코딩하는 단계;를 더 포함하고,
    상기 전송하는 단계는,
    상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송하는, 제어 방법.
  13. 제11항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습된, 제어 방법.
  14. 제13항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습된, 제어 방법.
  15. 제11항에 있어서,
    상기 제1 중간 이미지 및 상기 제2 중간 이미지는, 제1 해상도를 가지고,
    상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는, 상기 제1 해상도보다 큰 제2 해상도를 가지는, 제어 방법.
PCT/KR2021/010561 2020-09-15 2021-08-10 전자 장치, 그 제어 방법 및 전자 시스템 WO2022059920A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21869543.5A EP4113382A4 (en) 2020-09-15 2021-08-10 ELECTRONIC DEVICE, ITS CONTROL METHOD AND SYSTEM
CN202180035557.7A CN115668273A (zh) 2020-09-15 2021-08-10 电子装置、其控制方法和电子系统
US17/464,119 US11455706B2 (en) 2020-09-15 2021-09-01 Electronic apparatus, control method thereof and electronic system
US17/902,775 US20220414828A1 (en) 2020-09-15 2022-09-02 Electronic apparatus, control method thereof and electronic system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200118199A KR20220036061A (ko) 2020-09-15 2020-09-15 전자 장치, 그 제어 방법 및 전자 시스템
KR10-2020-0118199 2020-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/464,119 Continuation US11455706B2 (en) 2020-09-15 2021-09-01 Electronic apparatus, control method thereof and electronic system

Publications (1)

Publication Number Publication Date
WO2022059920A1 true WO2022059920A1 (ko) 2022-03-24

Family

ID=80777077

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010561 WO2022059920A1 (ko) 2020-09-15 2021-08-10 전자 장치, 그 제어 방법 및 전자 시스템

Country Status (2)

Country Link
KR (1) KR20220036061A (ko)
WO (1) WO2022059920A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005619A1 (en) * 2016-11-09 2019-01-03 Boe Technology Group Co., Ltd. Image upscaling system, training method thereof, and image upscaling method
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
KR20190097205A (ko) * 2017-02-24 2019-08-20 딥마인드 테크놀로지스 리미티드 멀티스케일 이미지 생성
US20200058126A1 (en) * 2018-08-17 2020-02-20 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
US20200226717A1 (en) * 2018-10-19 2020-07-16 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
KR20200118199A (ko) 2018-02-12 2020-10-14 후아웨이 테크놀러지 컴퍼니 리미티드 중계 노드에 의한 동기화 신호 송신 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005619A1 (en) * 2016-11-09 2019-01-03 Boe Technology Group Co., Ltd. Image upscaling system, training method thereof, and image upscaling method
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
KR20190097205A (ko) * 2017-02-24 2019-08-20 딥마인드 테크놀로지스 리미티드 멀티스케일 이미지 생성
KR20200118199A (ko) 2018-02-12 2020-10-14 후아웨이 테크놀러지 컴퍼니 리미티드 중계 노드에 의한 동기화 신호 송신 방법 및 장치
US20200058126A1 (en) * 2018-08-17 2020-02-20 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
US20200226717A1 (en) * 2018-10-19 2020-07-16 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image

Also Published As

Publication number Publication date
KR20220036061A (ko) 2022-03-22

Similar Documents

Publication Publication Date Title
WO2021101087A1 (en) Electronic apparatus and controlling method thereof
WO2019172546A1 (en) Electronic apparatus and control method thereof
WO2020226317A1 (en) Image processing apparatus and image processing method thereof
WO2021107291A1 (en) Electronic apparatus and control method thereof
WO2018034479A1 (en) Display apparatus and recording medium
WO2021071155A1 (en) Electronic apparatus and control method thereof
WO2018164527A1 (en) Display apparatus and control method thereof
WO2016052908A1 (en) Transmitter, receiver, and control method thereof
WO2021029504A1 (en) Processor chip and control methods thereof
WO2016036073A1 (ko) 디스플레이 장치, 시스템 및 그 제어 방법
WO2021107293A1 (en) Electronic apparatus and control method thereof
WO2022059920A1 (ko) 전자 장치, 그 제어 방법 및 전자 시스템
WO2024014706A1 (ko) 화질 개선을 수행하는 신경망 모델을 학습시키는 전자 장치 및 그 제어 방법
WO2021054511A1 (ko) 전자 장치 및 그 제어 방법
WO2020138630A1 (en) Display apparatus and image processing method thereof
WO2022108105A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2022108008A1 (en) Electronic apparatus and controlling method thereof
US20220414828A1 (en) Electronic apparatus, control method thereof and electronic system
WO2021221273A1 (en) Display apparatus and control method thereof
WO2021118267A1 (ko) 전자 장치 및 그 제어 방법
WO2021182750A1 (en) Display apparatus and method thereof
WO2021162260A1 (en) Electronic apparatus and control method thereof
WO2021015403A1 (en) Electronic apparatus and controlling method thereof
WO2021261714A1 (ko) 전자 장치 및 그 제어 방법
WO2022119093A1 (ko) 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869543

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021869543

Country of ref document: EP

Effective date: 20220928

NENP Non-entry into the national phase

Ref country code: DE