WO2019168332A1 - 신호 처리 장치 및 이를 구비하는 영상표시장치 - Google Patents

신호 처리 장치 및 이를 구비하는 영상표시장치 Download PDF

Info

Publication number
WO2019168332A1
WO2019168332A1 PCT/KR2019/002346 KR2019002346W WO2019168332A1 WO 2019168332 A1 WO2019168332 A1 WO 2019168332A1 KR 2019002346 W KR2019002346 W KR 2019002346W WO 2019168332 A1 WO2019168332 A1 WO 2019168332A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
quality
information
input image
input
Prior art date
Application number
PCT/KR2019/002346
Other languages
English (en)
French (fr)
Inventor
임정은
양정휴
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2019168332A1 publication Critical patent/WO2019168332A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present invention relates to a signal processing apparatus and an image display apparatus having the same, and more particularly, to a signal processing apparatus capable of improving accuracy of image analysis and corresponding image quality processing, and an image display apparatus having the same. will be.
  • the signal processing apparatus is a device that performs signal processing on an input image so as to display an image.
  • the signal processing apparatus may receive a broadcast signal or an HDMI signal, and may perform signal processing based on the received broadcast signal or HDMI signal to output a signal processed image signal.
  • image quality measure is important.
  • the image quality measurement may be divided into a first method of measuring how much a difference is relatively different from the reference image, and a second method of determining absolutely without the reference image.
  • the resolution and the compressed bit rate of the broadcast image may be determined through standard information related to the broadcast image.
  • An object of the present invention is to provide a signal processing device capable of improving the accuracy of image analysis and corresponding image quality processing, and an image display device having the same.
  • Another object of the present invention is to provide a signal processing apparatus capable of improving the accuracy of information operation on an image type and performing image quality processing corresponding thereto, and an image display apparatus having the same.
  • Still another object of the present invention is to provide a signal processing apparatus capable of accurately performing original quality calculation of a received image signal using a deep neural network, and an image display apparatus having the same.
  • Still another object of the present invention is to provide a signal processing apparatus capable of accurately performing an original quality calculation of a received image signal even if the input image resolution is changed through learning using a deep neural network.
  • An image display device is provided.
  • Another object of the present invention is to provide an image display apparatus which performs image quality processing suitable for the resolution and noise level of a received image signal.
  • a signal processing apparatus and an image display apparatus including the same, the quality calculating unit configured to calculate information about an image type of an input image, and an image type information.
  • the signal processing apparatus and the image display apparatus having the same further comprises a weight setting unit for setting a weight corresponding to the result learned by the quality learning unit, the quality calculating unit, weight setting unit According to the weight set in, information about an image type of an input image may be calculated.
  • the quality calculator calculates probabilities for a plurality of video types and outputs a plurality of probability information
  • the quality learner includes a level of information about a video type of an input video equal to or less than a reference level, or the input video type.
  • the quality learning unit may perform quality learning when the level of the maximum probability information among the output probability information of the plurality of image types is equal to or less than the reference level.
  • the signal processing apparatus and the image display device having the same further comprises a scaler for scaling the input image to the image of the first resolution, the image of the first resolution, the quality operation unit and the quality It can be provided to the learning unit.
  • the signal processing apparatus and the image display apparatus having the same further include a database including a data set including a partial region of the input image and a partial region of the previous input image. If the level of the information about the image type of the input image is equal to or less than the reference level, or the difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value, Based on the partial region of the input image within the image, quality learning may be performed.
  • some regions stored in the database may be updated based on the analysis of the input image.
  • the database may store an area in which the sharpness level is greater than or equal to a reference value among the edge areas of the input image.
  • the quality calculator and the quality learner may perform quality calculation and quality learning, respectively, using a deep neural network.
  • the quality learning unit may perform the quality learning based on at least a partial region of the input image.
  • the quality learning unit when the information on the image type of the input image is input, if the difference between the information on the input image type and the information on the image type for the calculated input image is more than a predetermined value, input Based on at least some regions of the image, quality learning may be performed.
  • the quality learner may repeatedly perform forward and backward propagation, update an internal mathematical model, and may repeatedly perform forward and backward propagation based on the updated mathematical model.
  • the quality learner may initialize the updated mathematical model.
  • the input image may include a streaming input image, a broadcast image, an image input from an external device, or a web-based image.
  • the image quality setting unit may output a noise reduction setting value or a sharpness setting value according to the set image quality.
  • the information about the image type may include information about the resolution and quality information.
  • the signal processing device and the image display device having the same for achieving the above object, the information about the image type for the input image, the operation of the information about the image type of the input image If the level is equal to or less than the reference level or the difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value, the quality learning is performed based on at least a partial region of the input image.
  • the signal processing apparatus and the image display apparatus having the same further include a weight setting unit for setting a weight corresponding to the result learned by the quality calculation learning unit, and the quality calculation learning unit includes a weight setting unit. According to the weight set in, information about an image type of an input image may be calculated.
  • a signal processing apparatus and an image display apparatus having the same include a database including a data set including a partial region of an input image and a partial region of a previous input image, and performing a quality operation. If the level of the information about the image type of the input image is equal to or less than the reference level, or the difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value, Based on the partial region of the input image within the image, quality learning may be performed.
  • a signal processing apparatus and an image display apparatus including the same may include: a quality calculator configured to calculate information about an image type of an input image, and an image quality setting based on information about an image type.
  • a setting unit, an image quality processing unit which performs image quality processing according to the set image quality, and a level of information on an image type of an input image is equal to or less than a reference level, information on an input image type, and an image on the calculated input image
  • a quality learning unit for performing quality learning based on at least a partial region of the input image the quality calculating unit, based on the results learned by the quality learning unit, Information about an image type of an image may be calculated. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit.
  • the signal processing apparatus and the image display apparatus having the same further comprises a weight setting unit for setting a weight corresponding to the result learned by the quality learning unit, the quality calculating unit, weight setting unit According to the weight set in, information about an image type of an input image may be calculated. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the weight set in the weight setting unit.
  • the quality calculator calculates probabilities for a plurality of video types and outputs a plurality of probability information
  • the quality learner includes a level of information about a video type of an input video equal to or less than a reference level, or the input video type.
  • the quality learning can be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit.
  • the quality learning unit may perform quality learning when the level of the maximum probability information among the output probability information of the plurality of image types is equal to or less than the reference level. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the signal processing apparatus and the image display device having the same further comprises a scaler for scaling the input image to the image of the first resolution, the image of the first resolution, the quality operation unit and the quality It can be provided to the learning unit.
  • a scaler for scaling the input image to the image of the first resolution, the image of the first resolution, the quality operation unit and the quality It can be provided to the learning unit.
  • the signal processing apparatus and the image display apparatus having the same further include a database including a data set including a partial region of the input image and a partial region of the previous input image. If the level of the information about the image type of the input image is equal to or less than the reference level, or the difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value, Based on the partial region of the input image within the image, quality learning may be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In addition, the amount of computation during quality learning can be reduced.
  • some regions stored in the database may be updated based on the analysis of the input image. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the database may store an area in which the sharpness level is greater than or equal to a reference value among the edge areas of the input image. As a result, the amount of computation during video analysis can be reduced.
  • the quality calculator and the quality learner may perform quality calculation and quality learning, respectively, using a deep neural network. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learning unit may perform the quality learning based on at least a partial region of the input image. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learning unit when the information on the image type of the input image is input, if the difference between the information on the input image type and the information on the image type for the calculated input image is more than a predetermined value, input Based on at least some regions of the image, quality learning may be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learner may repeatedly perform forward and backward propagation, update an internal mathematical model, and may repeatedly perform forward and backward propagation based on the updated mathematical model. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learner may initialize the updated mathematical model. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the input image may include a streaming input image, a broadcast image, an image input from an external device, or a web-based image. Accordingly, it is possible to improve accuracy of image analysis on various input images and to perform image quality processing corresponding thereto.
  • the image quality setting unit may output a noise reduction setting value or a sharpness setting value according to the set image quality. Accordingly, the image quality processing corresponding to the image type can be performed.
  • the information about the image type may include information about the resolution and quality information. Accordingly, the image quality processing corresponding to the resolution or the image quality quality can be performed.
  • the signal processing device and the image display device having the same calculates information about the image type for the input image, the level of the information about the image type of the input image is below the reference level
  • a quality operation learning unit that performs quality learning based on at least a portion of the input image when the difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value
  • an image quality setting unit for setting the image quality based on the information about the image type, and an image quality processing unit which performs the image quality processing according to the set image quality.
  • the quality calculation learning unit is based on the results learned by the quality calculation learning unit.
  • information about an image type with respect to the input image may be calculated. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit.
  • the signal processing apparatus and the image display apparatus having the same further include a weight setting unit for setting a weight corresponding to the result learned by the quality calculation learning unit, and the quality calculation learning unit includes a weight setting unit.
  • the weight setting unit for setting a weight corresponding to the result learned by the quality calculation learning unit
  • the quality calculation learning unit includes a weight setting unit. According to the weight set in, information about an image type of an input image may be calculated. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the weight set in the weight setting unit.
  • a signal processing apparatus and an image display apparatus having the same include a database including a data set including a partial region of an input image and a partial region of a previous input image, and performing a quality operation. If the level of the information about the image type of the input image is equal to or less than the reference level, or the difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value, Based on the partial region of the input image within the image, quality learning may be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In addition, the amount of computation during quality learning can be reduced.
  • FIG. 1 is a diagram illustrating an image display system according to an exemplary embodiment of the present invention.
  • FIG. 2 is an example of an internal block diagram of the image display device of FIG. 1.
  • FIG. 3 is an example of an internal block diagram of the signal processor of FIG. 2.
  • 4A is a diagram illustrating a control method of the remote controller of FIG. 2.
  • 4B is an internal block diagram of the remote control device of FIG. 2.
  • FIG. 5 is an internal block diagram of the display of FIG.
  • 6A through 6B are views referred to for describing the organic light emitting panel of FIG. 5.
  • FIG. 7 is an example of an internal block diagram of a signal processing apparatus according to the present invention.
  • FIG. 8 is an example of an internal block diagram of a signal processing apparatus according to an embodiment of the present invention.
  • FIG. 9 is an example of an internal block diagram of a signal processing apparatus according to another embodiment of the present invention.
  • 10 to 11B are views referred to for describing the operation of the signal processing device of FIG. 8 or 9.
  • FIG. 12 is a flowchart illustrating a method of operating a signal processing apparatus according to an embodiment of the present invention.
  • FIG. 13A to 17 are views referred to for describing the operation of FIG. 12.
  • module and “unit” for components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not impart any particular meaning or role by themselves. Therefore, the “module” and “unit” may be used interchangeably.
  • FIG. 1 is a diagram illustrating an image display system according to an exemplary embodiment of the present invention.
  • the image display system 10 may include an image display apparatus 100 having a display 180, a set top box 300, and a server 600. connect.
  • the image display apparatus 100 may receive an image from the set top box 300 or the server 600.
  • the image display apparatus 100 may receive an image signal from the set top box 300 through an HDMI terminal.
  • the image display apparatus 100 may receive an image signal from the server 600 through a network terminal.
  • the image display apparatus 100 calculates an original quality of an image signal received through an external set top box 300 or a network, sets an image quality of an image signal according to the calculated original quality, and sets the image quality to the set image quality. Accordingly, the image quality processing for performing the image quality processing of the video signal may be performed.
  • the setting unit 634 may include an image quality processing unit 635 which performs image quality processing according to the set image quality.
  • the image display device 100 the level of the information on the image type of the input image is below the reference level, the information on the input image type and the image type of the calculated input image If the difference with the information about the predetermined value or more, the quality learning unit 633 for performing the quality learning based on at least a partial region of the input image.
  • the quality calculator 632 may calculate information about an image type of the input image based on the result learned by the quality learner 633. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit 633.
  • the image display apparatus 100 further includes a weight setting unit 1120 for setting a weight corresponding to the result learned by the quality learning unit 633, and the quality calculating unit 632.
  • the weight setting unit 1120 the information about the image type of the input image may be calculated. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, the accuracy in the quality calculation may be improved based on the weight set in the weight setting unit 1120.
  • the image display apparatus 100 further includes a scaler 1110 for scaling the input image into an image having a first resolution, and the image having the first resolution includes a quality calculator 632.
  • the quality learning unit 633 may be provided. As a result, the amount of calculation in the quality calculating section 632 and the quality learning section 633 can be reduced.
  • the image display apparatus 100 further includes a database 1115 including a data set including a partial region of an input image and a partial region of a previous input image.
  • a database 1115 including a data set including a partial region of an input image and a partial region of a previous input image. 633, when the level of the information about the video type of the input video is below the reference level or when the difference between the information about the input video type and the information about the video type for the calculated input video is greater than or equal to a predetermined value, Based on the partial region of the input image in the database 1115, quality learning may be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In addition, the amount of computation during quality learning can be reduced.
  • the image display apparatus 100 calculates information about an image type of an input image, and the level of the information about the image type of the input image is equal to or less than a reference level, or the input image.
  • a quality calculation learner 632b that performs quality learning based on at least a portion of the input image when the difference between the type information and the information about the image type of the calculated input image is greater than or equal to a predetermined value. can do.
  • the quality calculation learner 632b may calculate information about an image type of the input image based on the learned result. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit 633.
  • the image display apparatus 100 may perform a quality operation or a quality learning using a deep neural network.
  • the image display apparatus 100 may calculate a resolution, a noise level, and the like of a received image signal using a deep neural network. Accordingly, it is possible to accurately perform the original quality calculation of the received video signal.
  • the image display apparatus 100 may update a parameter for the deep neural network and calculate a resolution and a noise level of the received video signal based on the updated parameter. Accordingly, it is possible to accurately perform the original quality calculation of the video signal on a learning basis.
  • the display 180 may be implemented as any one of various panels.
  • the display 180 may be any one of a liquid crystal display panel (LCD panel), an organic light emitting panel (OLED panel), an inorganic light emitting panel (LED panel), and the like.
  • LCD panel liquid crystal display panel
  • OLED panel organic light emitting panel
  • LED panel inorganic light emitting panel
  • the display 180 will be described mainly having an organic light emitting panel (OLED panel).
  • OLED panel organic light emitting panel
  • an organic light emitting panel (OLED panel) has the advantages of a faster panel response speed, excellent color reproduction effect, and excellent color reproducibility than the liquid crystal display panel.
  • the signal processor (170 of FIG. 2) in the image display apparatus 100 may perform image quality processing corresponding to the organic light emitting panel.
  • a signal processing part can also be called a signal processing apparatus.
  • the signal processor and the signal processor are used in the same sense.
  • the image display apparatus 100 of FIG. 1 may be a TV, a monitor, a tablet PC, a mobile terminal, a vehicle display, or the like.
  • FIG. 2 is an example of an internal block diagram of the image display device of FIG. 1.
  • the image display apparatus 100 may include an image receiver 105, a storage 140, a user input interface 150, a sensor (not shown), and a signal. It may include a processor 170, a display 180, and an audio output unit 185.
  • the signal processing unit 170 in the drawing may correspond to the above-described signal processing apparatus.
  • the image receiver 105 may include a tuner 110, a demodulator 120, a network interface 130, and an external device interface 130.
  • the image receiving unit 105 may include only the tuner 110, the demodulator 120, and the external device interface 130. That is, the network interface unit 130 may not be included.
  • the tuner 110 selects an RF broadcast signal corresponding to a channel selected by a user or all pre-stored channels among RF (Radio Frequency) broadcast signals received through an antenna (not shown).
  • the selected RF broadcast signal is converted into an intermediate frequency signal or a baseband video or audio signal.
  • the selected RF broadcast signal is a digital broadcast signal
  • it is converted into a digital IF signal (DIF)
  • the analog broadcast signal is converted into an analog baseband video or audio signal (CVBS / SIF). That is, the tuner 110 may process a digital broadcast signal or an analog broadcast signal.
  • the analog baseband video or audio signal CVBS / SIF output from the tuner 110 may be directly input to the signal processor 170.
  • the tuner unit 110 may be provided with a plurality of tuners in order to receive broadcast signals of a plurality of channels.
  • a single tuner may be used to receive broadcast signals of multiple channels simultaneously.
  • the demodulator 120 receives the digital IF signal DIF converted by the tuner 110 and performs a demodulation operation.
  • the demodulator 120 may output a stream signal TS after performing demodulation and channel decoding.
  • the stream signal may be a signal multiplexed with a video signal, an audio signal, or a data signal.
  • the stream signal output from the demodulator 120 may be input to the signal processor 170.
  • the signal processor 170 performs demultiplexing, image / audio signal processing, and the like, and then outputs an image to the display 180 and outputs audio to the audio output unit 185.
  • the external device interface unit 130 may transmit or receive data to and from the connected external device (not shown), for example, the set top box 50. To this end, the external device interface unit 130 may include an A / V input / output unit (not shown).
  • the external device interface unit 130 may be connected to an external device such as a DVD (Digital Versatile Disk), Blu-ray (Blu ray), a game device, a camera, a camcorder, a computer (laptop), a set top box, or the like by wire / wireless. It may also perform input / output operations with external devices.
  • an external device such as a DVD (Digital Versatile Disk), Blu-ray (Blu ray), a game device, a camera, a camcorder, a computer (laptop), a set top box, or the like by wire / wireless. It may also perform input / output operations with external devices.
  • the A / V input / output unit may receive a video and audio signal of an external device. Meanwhile, the wireless communication unit (not shown) may perform near field communication with another electronic device.
  • the external device interface unit 130 may exchange data with an adjacent mobile terminal 600.
  • the external device interface unit 130 may receive device information, application information to be executed, application image, and the like from the mobile terminal 600.
  • the network interface unit 135 provides an interface for connecting the image display apparatus 100 to a wired / wireless network including an internet network.
  • the network interface unit 135 may receive content or data provided by the Internet or a content provider or a network operator through a network.
  • the network interface unit 135 may include a wireless communication unit (not shown).
  • the storage 140 may store a program for processing and controlling each signal in the signal processor 170, or may store a signal-processed video, audio, or data signal.
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal input to the external device interface unit 130.
  • the storage 140 may store information on a predetermined broadcast channel through a channel storage function such as a channel map.
  • FIG 2 illustrates an embodiment in which the storage unit 140 is provided separately from the signal processing unit 170, the scope of the present invention is not limited thereto.
  • the storage 140 may be included in the signal processor 170.
  • the user input interface unit 150 transmits a signal input by the user to the signal processor 170 or transmits a signal from the signal processor 170 to the user.
  • the remote controller 200 transmits / receives a user input signal such as power on / off, channel selection, screen setting, or a local key (not shown) such as a power key, a channel key, a volume key, or a set value.
  • the user input signal is input to the signal processor 170, the user input signal input from the sensor unit (not shown) for sensing the user's gesture to the signal processor 170, or from the signal processor 170
  • the signal of may be transmitted to the sensor unit (not shown).
  • the signal processor 170 demultiplexes the input stream or processes the demultiplexed signals through the tuner 110, the demodulator 120, the network interface 135, or the external device interface 130. Thus, a signal for outputting video or audio can be generated and output.
  • the signal processor 170 receives a broadcast signal or an HDMI signal received from the image receiver 105, performs a signal processing based on the received broadcast signal or the HDMI signal, and processes the signal processed image signal. You can print
  • the image signal processed by the signal processor 170 may be input to the display 180 and displayed as an image corresponding to the image signal.
  • the image signal processed by the signal processor 170 may be input to an external output device through the external device interface unit 130.
  • the voice signal processed by the signal processor 170 may be sound output to the audio output unit 185.
  • the voice signal processed by the signal processor 170 may be input to an external output device through the external device interface unit 130.
  • the signal processor 170 may include a demultiplexer, an image processor, and the like. That is, the signal processing unit 170 may perform various signal processing, and accordingly, may be implemented in the form of a system on chip (SOC). This will be described later with reference to FIG. 3.
  • SOC system on chip
  • the signal processor 170 may control overall operations of the image display apparatus 100.
  • the signal processor 170 may control the tuner 110 to select and tune an RF broadcast corresponding to a channel selected by a user or a pre-stored channel.
  • the signal processor 170 may control the image display apparatus 100 by a user command or an internal program input through the user input interface unit 150.
  • the signal processor 170 may control the display 180 to display an image.
  • the image displayed on the display 180 may be a still image or a video, and may be a 2D image or a 3D image.
  • the signal processor 170 may allow a predetermined object to be displayed in the image displayed on the display 180.
  • the object may be at least one of a connected web screen (newspaper, magazine, etc.), an EPG (Electronic Program Guide), various menus, widgets, icons, still images, videos, and text.
  • EPG Electronic Program Guide
  • the signal processor 170 may recognize the location of the user based on the image photographed from the photographing unit (not shown). For example, the distance (z-axis coordinate) between the user and the image display apparatus 100 may be determined. In addition, the x-axis coordinates and the y-axis coordinates in the display 180 corresponding to the user position may be determined.
  • the display 180 converts an image signal, a data signal, an OSD signal, a control signal, or an image signal, a data signal, a control signal received from the external device interface unit 130 processed by the signal processor 170, and a driving signal.
  • the display 180 may be configured as a touch screen and used as an input device in addition to the output device.
  • the audio output unit 185 receives a signal processed by the signal processor 170 and outputs the audio signal.
  • the photographing unit (not shown) photographs the user.
  • the photographing unit (not shown) may be implemented by one camera, but is not limited thereto and may be implemented by a plurality of cameras.
  • the image information photographed by the photographing unit (not shown) may be input to the signal processing unit 170.
  • the signal processor 170 may detect a gesture of the user based on each of the images captured by the photographing unit (not shown) or the detected signal from the sensor unit (not shown) or a combination thereof.
  • the power supply unit 190 supplies the corresponding power throughout the image display apparatus 100.
  • the power supply unit 190 may include a signal processing unit 170 that may be implemented in the form of a system on chip (SOC), a display 180 for displaying an image, and an audio output unit for audio output. 185 and the like can supply power.
  • SOC system on chip
  • the power supply unit 190 may include a converter for converting an AC power source to a DC power source, and a dc / dc converter for converting a level of the DC source power.
  • the remote control apparatus 200 transmits the user input to the user input interface unit 150.
  • the remote control device 200 may use Bluetooth, RF (Radio Frequency) communication, infrared (IR) communication, UWB (Ultra Wideband), ZigBee (ZigBee) method and the like.
  • the remote control apparatus 200 may receive an image, an audio or a data signal output from the user input interface unit 150, and display or output the audio from the remote control apparatus 200.
  • the above-described image display apparatus 100 may be a digital broadcast receiver capable of receiving fixed or mobile digital broadcasting.
  • a block diagram of the image display device 100 shown in FIG. 2 is a block diagram for an embodiment of the present invention.
  • Each component of the block diagram may be integrated, added, or omitted according to the specifications of the image display apparatus 100 that is actually implemented. That is, two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • FIG. 3 is an example of an internal block diagram of the signal processor of FIG. 2.
  • the signal processor 170 may include a demultiplexer 310, an image processor 320, a processor 330, and an audio processor 370. . In addition, it may further include a data processor (not shown).
  • the demultiplexer 310 demultiplexes an input stream. For example, when an MPEG-2 TS is input, it may be demultiplexed and separated into video, audio, and data signals, respectively.
  • the stream signal input to the demultiplexer 310 may be a stream signal output from the tuner 110, the demodulator 120, or the external device interface 130.
  • the image processor 320 may perform signal processing on the input image.
  • the image processor 320 may perform image processing of the demultiplexed image signal from the demultiplexer 310.
  • the image processor 320 may include an image decoder 325, a scaler 335, an image quality processor 635, an image encoder (not shown), an OSD generator 340, a frame image rate converter 350, And the formatter 360.
  • the image decoder 325 decodes the demultiplexed video signal, and the scaler 335 performs scaling to output the resolution of the decoded video signal on the display 180.
  • the video decoder 325 may include decoders of various standards. For example, an MPEG-2, H, 264 decoder, a 3D image decoder for a color image and a depth image, a decoder for a multi-view image, and the like may be provided.
  • the scaler 335 may scale the input video signal, which is video decoded by the video decoder 325 or the like.
  • the scaler 335 may upscale when the size or resolution of the input video signal is small and downscale when the size or resolution of the input video signal is large.
  • the image quality processor 635 may perform image quality processing on the input image signal, which is image decoded by the image decoder 325.
  • the image quality processing unit 635 may perform noise removing processing of an input video signal, expand resolution of a gradation of the input video signal, perform image resolution enhancement, or perform high dynamic range (HDR) based signal processing.
  • the frame image rate may be varied, or the image quality processing corresponding to the panel characteristics, particularly the organic light emitting panel, may be performed.
  • the OSD generator 340 generates an OSD signal according to a user input or itself. For example, a signal for displaying various types of information on a screen of the display 180 as a graphic or text may be generated based on a user input signal.
  • the generated OSD signal may include various data such as a user interface screen, various menu screens, widgets, and icons of the image display apparatus 100.
  • the generated OSD signal may include a 2D object or a 3D object.
  • the OSD generator 340 may generate a pointer that can be displayed on a display based on a pointing signal input from the remote controller 200.
  • a pointer may be generated by the pointing signal processor, and the OSD generator 240 may include such a pointing signal processor (not shown).
  • the pointing signal processor (not shown) may be provided separately without being provided in the OSD generator 240.
  • the frame image rate converter 350 may convert the frame image rate of the input image.
  • the frame image rate converter 350 may output the frame image rate without changing the frame image rate.
  • the formatter 360 may change the format of an input video signal into a video signal for display on a display and output the converted video signal.
  • the formatter 360 may change the format of the video signal to correspond to the display panel.
  • the processor 330 may control overall operations in the image display apparatus 100 or the signal processor 170.
  • the processor 330 may control the tuner 110 to control tuning of an RF broadcast corresponding to a channel selected by a user or a previously stored channel.
  • the processor 330 may control the image display apparatus 100 by a user command or an internal program input through the user input interface unit 150.
  • the processor 330 may perform data transmission control with the network interface unit 135 or the external device interface unit 130.
  • the processor 330 may control operations of the demultiplexer 310, the image processor 320, and the like in the signal processor 170.
  • the audio processor 370 in the signal processor 170 may perform voice processing of the demultiplexed voice signal.
  • the audio processor 370 may include various decoders.
  • the audio processor 370 in the signal processor 170 may process a base, a treble, a volume control, and the like.
  • the data processor (not shown) in the signal processor 170 may perform data processing of the demultiplexed data signal.
  • the demultiplexed data signal is an encoded data signal, it may be decoded.
  • the encoded data signal may be electronic program guide information including broadcast information such as a start time and an end time of a broadcast program broadcasted in each channel.
  • FIG. 3 a block diagram of the signal processor 170 shown in FIG. 3 is a block diagram for one embodiment of the present invention. Each component of the block diagram may be integrated, added, or omitted according to the specifications of the signal processor 170 that is actually implemented.
  • the frame image rate converter 350 and the formatter 360 may be separately provided in addition to the image processor 320.
  • 4A is a diagram illustrating a control method of the remote controller of FIG. 2.
  • a pointer 205 corresponding to the remote controller 200 is displayed on the display 180.
  • the user may move or rotate the remote control device 200 up and down, left and right (FIG. 4A (b)), and back and forth (FIG. 4A (c)).
  • the pointer 205 displayed on the display 180 of the image display device corresponds to the movement of the remote controller 200.
  • the remote control apparatus 200 may be referred to as a spatial remote controller or a 3D pointing device because the pointer 205 is moved and displayed according to the movement in the 3D space as shown in the figure.
  • FIG. 4B illustrates that when the user moves the remote control apparatus 200 to the left side, the pointer 205 displayed on the display 180 of the image display apparatus also moves to the left side correspondingly.
  • the image display device may calculate the coordinates of the pointer 205 from the information about the movement of the remote controller 200.
  • the image display device may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4C illustrates a case in which the user moves the remote control apparatus 200 away from the display 180 while pressing a specific button in the remote control apparatus 200.
  • the selection area in the display 180 corresponding to the pointer 205 may be zoomed in and enlarged.
  • the selection area in the display 180 corresponding to the pointer 205 may be zoomed out and reduced.
  • the remote control device 200 moves away from the display 180, the selection area is zoomed out, and when the remote control device 200 approaches the display 180, the selection area may be zoomed in.
  • a specific button in the remote control device 200 can recognize the up, down, left and right movement. That is, when the remote control device 200 moves away from or near the display 180, the up, down, left and right movements are not recognized, and only the front and back movements can be recognized. In a state where a specific button in the remote controller 200 is not pressed, only the pointer 205 moves according to the up, down, left, and right movements of the remote controller 200.
  • the moving speed or the moving direction of the pointer 205 may correspond to the moving speed or the moving direction of the remote control apparatus 200.
  • 4B is an internal block diagram of the remote control device of FIG. 2.
  • the remote control device 200 includes a wireless communication unit 425, a user input unit 435, a sensor unit 440, an output unit 450, a power supply unit 460, a storage unit 470,
  • the signal processor 480 may be included.
  • the wireless communication unit 425 transmits and receives a signal with any one of the image display apparatus according to the embodiments of the present invention described above.
  • the image display apparatuses according to the exemplary embodiments of the present invention one image display apparatus 100 will be described as an example.
  • the remote control apparatus 200 may include an RF module 421 capable of transmitting and receiving a signal with the image display apparatus 100 according to the RF communication standard.
  • the remote control apparatus 200 may include an IR module 423 capable of transmitting and receiving a signal with the image display apparatus 100 according to the IR communication standard.
  • the remote control apparatus 200 transmits a signal containing information on the movement of the remote control apparatus 200 to the image display apparatus 100 through the RF module 421.
  • the remote control apparatus 200 may receive a signal transmitted from the image display apparatus 100 through the RF module 421. In addition, the remote control apparatus 200 may transmit a command regarding power on / off, channel change, volume change, etc. to the image display apparatus 100 through the IR module 423 as necessary.
  • the user input unit 435 may be configured as a keypad, a button, a touch pad, or a touch screen.
  • the user may input a command related to the image display apparatus 100 to the remote control apparatus 200 by manipulating the user input unit 435.
  • the user input unit 435 includes a hard key button, the user may input a command related to the image display apparatus 100 to the remote control apparatus 200 through a push operation of the hard key button.
  • the user input unit 435 includes a touch screen, a user may input a command related to the image display apparatus 100 to the remote control apparatus 200 by touching a soft key of the touch screen.
  • the user input unit 435 may include various kinds of input means that the user can operate, such as a scroll key or a jog key, and the present embodiment does not limit the scope of the present invention.
  • the sensor unit 440 may include a gyro sensor 441 or an acceleration sensor 443.
  • the gyro sensor 441 may sense information about the movement of the remote controller 200.
  • the gyro sensor 441 may sense information about an operation of the remote controller 200 based on the x, y, and z axes.
  • the acceleration sensor 443 may sense information about a moving speed of the remote controller 200.
  • a distance measuring sensor may be further provided, whereby the distance with the display 180 may be sensed.
  • the output unit 450 may output a video or audio signal corresponding to a manipulation of the user input unit 435 or corresponding to a signal transmitted from the image display apparatus 100.
  • the user may recognize whether the user input unit 435 is manipulated or whether the image display apparatus 100 is controlled through the output unit 450.
  • the output unit 450 may include a LED module 451 which is turned on when the user input unit 435 is manipulated or a signal is transmitted / received through the wireless communication unit 425, and a vibration module generating vibration. 453), a sound output module 455 for outputting sound, or a display module 457 for outputting an image.
  • the power supply unit 460 supplies power to the remote control device 200.
  • the power supply unit 460 may reduce power waste by stopping the power supply when the remote controller 200 does not move for a predetermined time.
  • the power supply unit 460 may resume power supply when a predetermined key provided in the remote control apparatus 200 is operated.
  • the storage unit 470 may store various types of programs, application data, and the like necessary for controlling or operating the remote control apparatus 200. If the remote control apparatus 200 transmits and receives a signal wirelessly through the image display apparatus 100 and the RF module 421, the remote control apparatus 200 and the image display apparatus 100 transmit signals through a predetermined frequency band. Send and receive The signal processor 480 of the remote controller 200 stores information on a frequency band, etc., capable of wirelessly transmitting and receiving signals with the image display apparatus 100 paired with the remote controller 200 in the storage unit 470. And reference.
  • the signal processor 480 controls various items related to the control of the remote controller 200.
  • the signal processor 480 displays an image corresponding to a predetermined key manipulation of the user input unit 435 or a signal corresponding to the movement of the remote controller 200 sensed by the sensor unit 440 through the wireless communication unit 425. May transmit to the device 100.
  • the user input interface unit 150 of the image display apparatus 100 includes a wireless communication unit 151 capable of transmitting and receiving a signal wirelessly with the remote control apparatus 200 and a pointer corresponding to the operation of the remote control apparatus 200. It may be provided with a coordinate value calculation unit 415 that can calculate the coordinate value of.
  • the user input interface unit 150 may transmit / receive a signal wirelessly with the remote control apparatus 200 through the RF module 412.
  • the IR module 413 may receive a signal transmitted by the remote control device 200 according to the IR communication standard.
  • the coordinate value calculator 415 corrects a hand shake or an error from a signal corresponding to an operation of the remote control apparatus 200 received through the wireless communication unit 151, and coordinate values of the pointer 205 to be displayed on the display 180. (x, y) can be calculated.
  • the remote control apparatus 200 transmission signal input to the image display apparatus 100 through the user input interface unit 150 is transmitted to the signal processor 180 of the image display apparatus 100.
  • the signal processor 180 may determine the information on the operation and the key manipulation of the remote controller 200 from the signal transmitted from the remote controller 200 and control the image display apparatus 100 correspondingly.
  • the remote control apparatus 200 may calculate a pointer coordinate value corresponding to the operation and output the pointer coordinate value to the user input interface unit 150 of the image display apparatus 100.
  • the user input interface unit 150 of the image display apparatus 100 may transmit the information about the received pointer coordinate value to the signal processor 180 without any additional shaking or error correction process.
  • the coordinate value calculator 415 may be provided inside the signal processor 170 instead of the user input interface unit 150, unlike the drawing.
  • FIG. 5 is an internal block diagram of the display of FIG.
  • the organic light emitting panel based display 180 includes an organic light emitting panel 210, a first interface 230, a second interface 231, a timing controller 232, and a gate driver 234.
  • the data driver 236 may include a memory 240, a processor 270, a power supply 290, and a current detector 510.
  • the display 180 may receive the video signal Vd, the first DC power supply V1, and the second DC power supply V2, and display a predetermined image based on the video signal Vd.
  • the first interface unit 230 in the display 180 may receive the image signal Vd and the first DC power supply V1 from the signal processor 170.
  • the first DC power supply V1 may be used for the operation of the power supply unit 290 and the timing controller 232 in the display 180.
  • the second interface unit 231 may receive the second DC power supply V2 from the external power supply unit 190. Meanwhile, the second DC power source V2 may be input to the data driver 236 in the display 180.
  • the timing controller 232 may output the data driving signal Sda and the gate driving signal Sga based on the video signal Vd.
  • the timing controller 232 is based on the converted video signal va1.
  • the data driving signal Sda and the gate driving signal Sga may be output.
  • the timing controller 232 may further receive a control signal, a vertical synchronization signal Vsync, and the like, in addition to the video signal Vd from the signal processor 170.
  • the timing controller 232 includes a gate driving signal Sga and data for the operation of the gate driver 234 based on a control signal, a vertical synchronization signal Vsync, and the like.
  • the data driving signal Sda for the operation of the driver 236 may be output.
  • the data driving signal Sda may be an RGBW subpixel driving data driving signal when the panel 210 includes RGBW subpixels.
  • the timing controller 232 may further output the control signal Cs to the gate driver 234.
  • the gate driver 234 and the data driver 236 are connected to the gate driving signal Sga and the data driving signal Sda from the timing controller 232 through the gate line GL and the data line DL, respectively.
  • the scan signal and the image signal are supplied to the organic light emitting panel 210. Accordingly, the organic light emitting panel 210 displays a predetermined image.
  • the organic light emitting panel 210 may include an organic light emitting layer, and in order to display an image, a plurality of gate lines GL and data lines DL are formed in a matrix form in each pixel corresponding to the organic light emitting layer. Can be arranged to cross.
  • the data driver 236 may output a data signal to the organic light emitting panel 210 based on the second DC power supply V2 from the second interface unit 231.
  • the power supply unit 290 can supply various power sources to the gate driver 234, the data driver 236, the timing controller 232, and the like.
  • the current detector 510 may detect a current flowing in the subpixel of the organic light emitting panel 210.
  • the detected current may be input to the processor 270 or the like for calculating the cumulative current.
  • the processor 270 may perform various controls in the display 180.
  • the gate driver 234, the data driver 236, the timing controller 232, and the like may be controlled.
  • the processor 270 may receive current information flowing through the subpixel of the organic light emitting panel 210 from the current detector 510.
  • the processor 270 may calculate the accumulated current of the subpixels of the organic light emitting panels 210 based on the current information flowing through the subpixels of the organic light emitting panels 210.
  • the calculated cumulative current may be stored in the memory 240.
  • the processor 270 may determine that the cumulative current of the subpixels of the organic light emitting panels 210 is burn in when the accumulated current is greater than or equal to the allowable value.
  • the processor 270 may determine the burned-in subpixel.
  • the processor 270 may determine the subpixel as a subpixel for which burn-in is predicted.
  • the processor 270 may determine the subpixel having the largest accumulated current as the burn-in prediction subpixel based on the current detected by the current detector 510.
  • 6A through 6B are views referred to for describing the organic light emitting panel of FIG. 5.
  • FIG. 6A illustrates a pixel Pixel in the organic light emitting panel 210.
  • the organic light emitting panel 210 includes a plurality of scan lines Scan 1 to Scan n and a plurality of data lines R1, G1, B1, W1 to Rm, Gm, Bm, and Wm intersecting the plurality of scan lines. It may be provided.
  • a subpixel is defined in an intersection region of the scan line and the data line in the organic light emitting panel 210.
  • a pixel Pixel including subpixels SR1, SG1, SB1, and SW1 of RGBW is shown.
  • FIG. 6B illustrates a circuit of any one subpixel in a pixel of the organic light emitting panel of FIG. 6A.
  • the organic light emitting subpixel circuit CRTm is active and includes a scan switching device SW1, a storage capacitor Cst, a driving switching device SW2, and an organic light emitting layer OLED. Can be.
  • the scan switching element SW1 is turned on in response to a scan signal Vdscan input to a scan line connected to a gate terminal. When turned on, the input data signal Vdata is transferred to the gate terminal of the driving switching element SW2 or one end of the storage capacitor Cst.
  • the storage capacitor Cst is formed between the gate terminal and the source terminal of the driving switching element SW2, and the data signal level transmitted to one end of the storage capacitor Cst and the direct current transmitted to the other end of the storage capacitor Cst. Stores a predetermined difference in power supply (VDD) level.
  • the power level stored in the storage capacitor Cst is changed according to the level difference of the data signal Vdata.
  • the power level stored in the storage capacitor Cst is changed according to the pulse width difference of the data signal Vdata.
  • the driving switching element SW2 is turned on in accordance with the power supply level stored in the storage capacitor Cst.
  • the driving current IOLED which is proportional to the stored power supply level, flows in the organic light emitting layer OLED. Accordingly, the organic light emitting layer OLED performs the light emitting operation.
  • the organic light emitting layer OLED includes an emission layer EML of RGBW corresponding to a subpixel, and includes at least one of a hole injection layer HIL, a hole transport layer HTL, an electron transport layer ETL, and an electron injection layer EIL. It may include, and may also include a hole blocking layer and the like.
  • the sub pixel outputs all white light from the organic light emitting layer (OLED), but in the case of green, red, blue sub-pixel, a separate color filter is provided to implement the color. That is, each of the green, red, and blue subpixels further includes green, red, and blue color filters.
  • a separate color filter is not necessary.
  • the scan switching element SW1 and the driving switching element SW2 are exemplified as p-type MOSFETs, but n-type MOSFETs or other switching elements such as JFETs, IGBTs, or SICs are used. It is also possible to be used.
  • the pixel Pixel is a hold type device that emits light continuously in the organic light emitting layer OLED after the scan signal is applied during the unit display period, specifically during the unit frame image.
  • FIG. 7 is an example of an internal block diagram of a signal processing apparatus according to the present invention.
  • the image display system 10 may include an image display apparatus 100, a server 600, and a set top box 300.
  • the server 600 calculates an image source quality using a training DB 640 that receives and stores a training image, a training image from the training DB 640, and a deep neural network.
  • a parameter updater 675 may be provided to update a parameter for the deep neural network based on the calculator 670, the training DB 640, and the quality calculator 670.
  • the parameter updater 675 may transmit the updated parameter to the quality calculator 632 in the video display device 100.
  • the set top box 300 may receive an input signal provided by an image provider and transmit an image signal to the HDMI terminal of the image display apparatus 100.
  • the image display apparatus 100 may include an image receiver 105 that receives an image signal through an external set-top box 300 or a network, and a signal processor that performs signal processing on the image signal received by the image receiver 105. And a display 180 displaying an image processed by the signal processor 170m.
  • the signal processing unit 170m includes a quality calculating unit 632 for calculating information about an image type of an input image, an image quality setting unit 634 for setting image quality based on information about an image type, and According to the image quality, an image quality processing unit 635 which performs image quality processing may be provided.
  • the quality calculating unit 632 in the signal processing unit 170m calculates the resolution information of the input image, and the like, so that the image quality setting unit 634 sets the image quality corresponding to the input image, and the image quality processing unit 635 According to the set image quality, image quality processing may be performed. Accordingly, image quality processing corresponding to the input image can be performed.
  • the signal processing unit 170m in the video display device 100 of FIG. 7 for example, as the trend of the original video changes, for example, a 2K video or a 4K video gradually increases, or a stream video is used rather than a broadcast video. With this increase, there is a limit that it is not easy to adaptively update the algorithm.
  • the quality calculator 632 in the signal processor 170m of the image display apparatus 100 of FIG. 7 may process the deep learning algorithm.
  • the deep learning algorithm is divided into a training process of obtaining a synapse weight value of a predefined network structure using a plurality of learning data and an inference process of applying the result.
  • the learning process is performed by the server 500, and the image display device 100 receives and uses the inference result calculated by the server 500.
  • the present invention proposes an artificial intelligence-based image quality calculation method that can improve its performance through continuous self-learning in the image display apparatus 100.
  • the bitstream image is input to the image display apparatus 100 instead of the decoded image recently, since the original image of the input image is input from low resolution to high resolution in various ways, the input image is reconfigured internally. It can be generated by -sizing, it is possible to obtain the same image of various resolutions using an image search function through a web browser, etc., it is possible to obtain the resolution information corresponding to the input image.
  • FIG. 8 is an example of an internal block diagram of a signal processing apparatus according to an embodiment of the present invention.
  • the signal processor 170 sets the image quality based on a quality calculator 632 that calculates information about an image type of an input image and information on the image type.
  • the image quality setting unit 634, the image quality processing unit 635 which performs image quality processing according to the set image quality, the level of the information about the image type of the input image is equal to or less than the reference level,
  • the quality learning unit 633 may perform quality learning based on at least a partial region of the input image.
  • the quality calculator 632 may calculate information about an image type of the input image based on the result learned by the quality learner 633. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit 633.
  • the signal processor 170 may further include a weight setting unit 1120 for setting a weight corresponding to the result learned by the quality learning unit 633.
  • the weight setting unit 1120 may transmit the updated weight or the updated parameter to the quality calculator 632.
  • the quality calculator 632 may calculate information about an image type of the input image according to the weight set by the weight setting unit 1120. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, the accuracy in the quality calculation may be improved based on the weight set in the weight setting unit 1120.
  • the quality calculator 632 may calculate probabilities for a plurality of video types and output a plurality of probability information.
  • the quality calculating unit 632 in the signal processing unit 170 calculates the resolution information and the noise information together, so that the first probability information and the 2K resolution corresponding to the good quality information of the 2K resolution to which the resolution information and the noise information are related.
  • the second probability information corresponding to the poor quality information, the third probability information corresponding to the good quality information of 4K resolution, and the fourth probability information corresponding to the poor quality information of 4K resolution may be calculated and output.
  • the quality calculating unit 632 in the signal processing unit 170 calculates only the resolution information, so that the first probability information corresponding to the HD resolution, the second probability information corresponding to the FHD resolution, and the 2K resolution are related to the resolution information.
  • the third probability information, the fourth probability information corresponding to the 4K resolution, and the fifth probability information corresponding to the 8K resolution may be respectively calculated and output.
  • the quality calculator 632 may operate to output the calculated quality information, particularly the resolution information.
  • the quality calculator 632 when the resolution information of the input image is known, not only the quality calculator 632 but also the quality learner 633 may operate.
  • the quality learning unit 633 uses information about the input image type and the calculated input image by using the quality calculation information calculated by the quality calculator 632 or by using the quality calculation information separately calculated therein. It may be determined whether a difference from the information about the image type of the image is greater than or equal to a predetermined value.
  • the quality learning unit 633 may perform quality learning when a difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value.
  • the quality learning unit 633 may perform quality learning when the level of the information about the image type of the input image is less than or equal to the reference level.
  • the quality learning unit 633 may have a difference between the information about the input image type and the information about the image type of the calculated input image if the level of the information about the image type of the input image is equal to or lower than the reference level. In the case of more than a predetermined value, quality learning may be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit 633.
  • the quality learning unit 633 may perform quality learning when the level of the maximum probability information among the output probability information of the plurality of image types is equal to or less than the reference level. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the signal processor 170 may further include a scaler 1110 to scale the input image to the image having the first resolution.
  • the scaler 1110 may scale and normalize the input image to an image having a first resolution.
  • the scaler 1110 may normalize the input image to FHD or UHD.
  • an up-scaler may be mainly used.
  • the scaler 1110 used may include a data augmentation function, noise addition, rotation, and some enhancements to further improve performance through image converter modeling and data distortion of an external device.
  • the quality learner 633 performs a performance evaluation and a learning process.
  • Quality learning in the quality learning unit 633 stores the score loss value of the Soft Max calculated in the forward path of the inference module and all node values of the deep learning structure in an external memory (for example, DRAM), etc. This is used to update the synapse weight in the backward propagation of the Resolution Training module.
  • an external memory for example, DRAM
  • the quality operator 632 and the quality learner 633 are separated, and Inference and Training are separately performed.
  • the weight setting unit 1120 does not immediately apply the new synapse weight updated by the process learned by the quality learning unit 633, but after the evaluation process, the weight set unit 1120 sets the existing weight set. ) Can be replaced or updated.
  • the image having the first resolution may be provided to the quality calculator 632 and the quality learner 633. As a result, the amount of calculation in the quality calculating section 632 and the quality learning section 633 can be reduced.
  • the signal processor 170 may further include a database 1115 including a data set including a partial region of the input image and a partial region of the previous input image.
  • the quality learning unit 633 may have a difference between the information about the input video type and the information about the video type of the calculated input video when the level of the information about the video type of the input video is equal to or lower than the reference level. If the value is greater than or equal to the predetermined value, the quality learning may be performed based on a partial region of the input image in the database 1115. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In addition, the amount of computation during quality learning can be reduced.
  • some regions stored in the database 1115 may be updated based on the analysis of the input image. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the database 1115 may store a region in which the sharpness level is greater than or equal to the reference value among the edge regions of the input image. As a result, the amount of computation during video analysis can be reduced.
  • the database 1115 may store a learning image for learning.
  • the quality calculator 632 and the quality learner 633 may perform quality calculation and quality learning, respectively, using a deep neural network. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learning unit 633 may perform quality learning based on at least some regions of the input image when the case where the level of the information about the image type of the input image is less than or equal to the reference level occurs continuously. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learning unit 633 has a predetermined value in which a difference between the information about the input image type and the information about the image type of the calculated input image is a predetermined value while the information on the image type of the input image is input.
  • the quality learning may be performed based on at least a partial region of the input image. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learning unit 633 repeatedly performs forward and backward propagation to update an internal mathematical model and forward and back based on the updated mathematical model. Word propagation can be performed repeatedly. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learner 633 may initialize the updated mathematical model. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the input image may include a streaming input image, a broadcast image, an image input from an external device, or a web-based image. Accordingly, it is possible to improve accuracy of image analysis on various input images and to perform image quality processing corresponding thereto.
  • the image quality setting unit 634 may output a noise reduction setting value or a sharpness setting value according to the set image quality. Accordingly, the image quality processing corresponding to the image type can be performed.
  • the information about the image type may include information about the resolution and quality information. Accordingly, the image quality processing corresponding to the resolution or the image quality quality can be performed.
  • the signal processor 170 may apply optimal tuning according to the image quality of the input image.
  • the signal processor 170 may analyze the input image in real time to determine the original resolution, the noise level, the compression level, and the enhancement level.
  • the signal processor 170 may change the image quality setting based on the calculated image information data without discomfort.
  • the signal processor 170 may adjust the enhancement intensity when the input image requires enhancement.
  • the signal processor 170 may have a difference between the thickness of the texture or the edge of the input image and the sharpness according to the original resolution, so that different filter sizes may be applied when the image quality is processed. Can be.
  • the signal processor 170 may reduce the filter size as the resolution of the input image increases.
  • the signal processing unit 170 reduces the filter size so that the texture or edge of the original image is more clearly seen, and the low resolution input image is provided. If is input, the filter size is enlarged so as to improve image quality for relatively wider edges and textures.
  • the image quality setting unit 634 and the image quality processing unit 635 which performs the image quality processing of the video signal according to the set image quality.
  • the image quality setting unit 634 sequentially changes the image quality setting from the first setting to the second setting, and the image quality processing unit 635 receives the first quality. According to the image quality setting that is sequentially changed from the setting to the second setting, image quality processing is performed. Accordingly, flickering may be reduced when the image quality is changed according to the original quality of the received video signal. In particular, since the sudden change in image quality is not performed when the original quality of the image signal is changed, a smooth image quality change is possible.
  • the image quality setting unit 634 may sequentially change the image quality setting from the first setting to the second setting when the original quality of the received video signal varies during the video reproduction. Accordingly, the image quality setting can be changed in real time when the original quality of the received video signal is changed. In particular, since the sudden change in image quality is not performed when the original quality of the image signal is changed, a smooth image quality change is possible.
  • the image quality setting unit 634 in the state in which the video signal is received from the set-top box 300, when the original quality of the received video signal is variable at the first time point in accordance with the channel change or input change, The setting may vary sequentially from the first setting to the second setting. Accordingly, flickering may be reduced when the image quality is changed according to the original quality of the received video signal. In particular, since the sudden change in image quality is not performed when the original quality of the image signal is changed, a smooth image quality change is possible.
  • the quality calculator 632 may classify the input video into UHD (3840x2160 or more), FHD (1920x1080), HD (1280x720), SD (720x480 or less), or the like.
  • the quality calculator 632 obtains a probability for each resolution of the input image, selects the resolution having the highest predicted probability as the final resolution, and excludes the case where the final predicted probability is too low.
  • the quality calculator 632 may estimate the noise level and the compression level in addition to the resolution.
  • the quality calculator 632 may determine the compression level based on the learning data obtained while lowering the compression bit rate based on the original state when calculating the compression level.
  • the quality calculator 632 evaluates the current Digital TV broadcasting standard to 1.0 level, and calculates 0.0 when the data is lost due to a lot of compression.
  • the quality calculator 632 may calculate the noise level by measuring the level of the flicker in the input image.
  • the quality calculator 632 may calculate the noise level in the input image in four stages of strong, medium, weak, and no noise.
  • the quality calculator 632 may calculate a resolution and a noise level of a received video signal using a deep neural network. Accordingly, it is possible to accurately perform the original quality calculation of the received video signal.
  • the quality calculator 632 may update a parameter for the deep neural network from the server 600, and calculate a resolution and a noise level of the received video signal based on the updated parameter. Accordingly, it is possible to accurately perform the original quality calculation of the video signal on a learning basis.
  • the quality calculating unit 632 extracts the first area and the second area of the video signal, calculates the resolution of the original of the video signal based on the first area, and based on the second area, The noise level can be calculated. Accordingly, based on the image extraction suitable for the quality calculation, it is possible to accurately perform the original quality calculation of the video signal.
  • the quality calculator 632 may extract a region having the most edge components in the video signal as the first region and extract the region having the least edge components in the video signal as the second region. Accordingly, based on the image extraction suitable for the quality calculation, it is possible to accurately perform the original quality calculation of the video signal.
  • the image quality processing unit 635 may control the noise reduction processing intensity of the video signal to increase as the calculated noise level increases. Accordingly, the image quality processing suitable for the noise level of the received video signal can be performed.
  • the quality calculator 632 may calculate the resolution, noise level, and compression level of the original of the received video signal, and calculate the compression level based on the training data acquired while lowering the compression bit rate.
  • the image quality processing unit 635 may control the enhancement processing intensity of the video signal to be smaller as the calculated compression level is higher. Accordingly, the compression level calculation can be performed accurately.
  • the image quality processing unit 635 may control the enhancement processing intensity of the video signal to increase as the resolution of the original of the video signal increases. Accordingly, image quality processing suitable for the resolution of the original of the received video signal can be performed.
  • the image quality processing unit 635 may control the blur processing intensity of the video signal to increase as the calculated compression level increases. Accordingly, image quality processing suitable for the compression level of the received video signal can be performed.
  • the image quality processing unit 635 may control so that the size of the filter for filtering the production signal is smaller as the resolution of the original of the video signal is larger. Accordingly, image quality processing suitable for the resolution of the original of the received video signal can be performed.
  • the image quality processing unit 635 after downscaling the image signal according to the resolution of the original of the image signal, performs image quality processing on the down-scaled image signal, up-scales the image signal processed image quality,
  • the upscaled video signal may be output. Accordingly, image quality processing suitable for the resolution of the original of the received video signal can be performed.
  • the interior of the signal processing device of FIG. 8 may be variously modified.
  • the quality calculator 632 and the quality learner 633 of FIG. 8 may be integrated. This will be described with reference to FIG. 9.
  • FIG. 9 is an example of an internal block diagram of a signal processing apparatus according to another embodiment of the present invention.
  • the signal processor 170b according to another embodiment of the present invention, similar to the signal processor 170 of FIG. 8, has an image quality setting unit 634, an image quality processing unit 635, and a scaler 1110. It may include a database 1115, weight setting unit 1120.
  • the signal processor 170b of FIG. 9 may include an integrated quality calculation learner 632b of the quality operator 632 and the quality learner 633 of FIG. 8.
  • the quality calculation learning unit 632b calculates information about an image type of the input image, and the level of the information about the image type of the input image is equal to or less than a reference level, information about the input image type, and the calculated input. When the difference from the information about the image type of the image is greater than or equal to a predetermined value, quality learning may be performed based on at least a partial region of the input image.
  • the quality calculation learner 632b may calculate information about an image type of the input image based on the learned result.
  • the quality calculation learner 632b may calculate information about an image type of the input image according to the weight set by the weight setting unit 1120. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, the accuracy in the quality calculation may be improved based on the weight set in the weight setting unit 1120.
  • the quality calculation learner 632b calculates probabilities for the plurality of image types, outputs the plurality of probability information, and the level of the information about the image type of the input image is equal to or less than the reference level, or the input image type.
  • the difference between the information about the information and the information about the image type of the calculated input image is more than a predetermined value, quality learning can be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, the accuracy at the time of quality calculation can be improved based on the learning result in the quality calculation learning unit 632b.
  • the quality calculation learner 632b may perform quality learning when the level of the maximum probability information among the outputted probability information of the plurality of image types is equal to or less than a reference level. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality calculation learning unit 632b may determine that the level of the information about the image type of the input image is equal to or lower than the reference level, or the information about the input image type and the information about the image type of the calculated input image. Is greater than or equal to a predetermined value, based on a partial region of the input image in the database 1115, quality learning may be performed. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In addition, the amount of computation during quality learning can be reduced.
  • the quality calculation learner 632b may perform quality calculation and quality learning, respectively, using a deep neural network. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality operation learning unit 632b may perform quality learning based on at least some regions of the input image when the case where the level of the information about the image type of the input image is less than or equal to the reference level occurs continuously. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality calculation learning unit 632b has a small difference between the information about the input image type and the information about the image type of the calculated input image while the information on the image type of the input image is input.
  • quality learning may be performed based on at least a partial region of the input image. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality operation learning unit 632b repeatedly performs forward and backward propagation, updates an internal mathematical model, and repeatedly performs forward and backward propagation based on the updated mathematical model. can do. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality operation learning unit 632b may initialize the updated mathematical model. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the data processing speed can be improved.
  • FIG. 10 is an example of an internal block diagram of the signal processing device of FIG. 8 or 9.
  • the signal processor 170 may include an image analyzer 610 and an image quality processor 635.
  • the image analyzing unit 610 may include the quality calculating unit 632 or the quality calculating learning unit 632b and the image quality setting unit 634 of FIG. 8 or 9.
  • the image analyzer 610 may analyze the input image signal and output information related to the analyzed input image signal.
  • the image analyzer 610 may distinguish the object region and the background region of the input first input image signal. Alternatively, the image analyzer 610 may calculate a probability or a ratio between the object region and the background region of the input first input image signal.
  • the input video signal may be an input video signal from the video receiver 105 or an image decoded by the video decoder 320 of FIG. 3.
  • the image analyzer 610 may analyze the input image signal and output the analyzed input image signal information by using artificial intelligence (AI).
  • AI artificial intelligence
  • the image analyzer 610 analyzes the resolution, the gradation, the noise level, the presence of a pattern, and the like of the input image signal, and transmits the information related to the analyzed input image signal, in particular, the image quality setting information, to the image processing unit 635).
  • the image quality processing unit 635 may include an HDR processing unit 705, a first reduction unit 710, an enhancement unit 750, and a second reduction unit 790.
  • the HDR processing unit 705 may receive a video signal and perform high dynamic range (HDR) processing on the input video signal.
  • HDR high dynamic range
  • the HDR processing unit 705 may convert a standard dynamic range (SDR) video signal into an HDR video signal.
  • SDR standard dynamic range
  • the HDR processing unit 705 may receive a video signal and perform gray level processing for a high dynamic range with respect to the input video signal.
  • the HDR processing unit 705 may bypass the gray level conversion when the input video signal is an SDR video signal, and perform the gray level conversion when the input video signal is an HDR video signal. Accordingly, it is possible to increase the high gradation expression power with respect to the input image.
  • the HDR processing unit 705 the first tone conversion mode for emphasizing the low tone among the low and high gradation and makes the high saturation saturated, or the second gradation for converting the low gradation and the high gradation more or less uniformly.
  • Gradation conversion processing can be performed based on the conversion mode.
  • the HDR processing unit 705 may perform grayscale conversion based on data corresponding to the first grayscale conversion mode in the lookup table.
  • the HDR processing unit 705 may, based on the calculation expression related to the input data and the data corresponding to the first grayscale conversion mode in the lookup table determined according to the calculation expression.
  • the tone conversion process can be performed.
  • the input data may include video data and meta data.
  • the HDR processing unit 705 may perform grayscale conversion based on data corresponding to the second grayscale conversion mode in the lookup table.
  • the HDR processing unit 705 may, based on the calculation expression related to the input data and data corresponding to the second grayscale conversion mode in the lookup table determined according to the calculation expression.
  • the tone conversion process can be performed.
  • the input data may include video data and meta data.
  • the HDR processing unit 705 according to the third tone conversion mode or the fourth tone conversion mode in the high tone amplifier 885 in the second reduction unit 790, the first tone conversion mode or the second tone tone. You can also select the conversion mode.
  • the high grayscale amplifier 851 in the second reduction unit 790 performs grayscale conversion processing based on data corresponding to the third grayscale conversion mode in the lookup table. You can do
  • the high gray scale amplifier 851 in the second reduction unit 790 may include a calculation expression related to the input data and a third in the lookup table determined according to the calculation expression.
  • the tone conversion process can be performed based on the data corresponding to the tone conversion mode.
  • the input data may include video data and meta data.
  • the high gray scale amplifying unit 851 in the second reduction unit 790 performs grayscale conversion processing based on data corresponding to the fourth grayscale conversion mode in the lookup table. Can be.
  • the high gray scale amplifier 851 in the second reduction unit 790 may include a calculation formula related to the input data and a fourth table in the lookup table determined according to the calculation formula.
  • the tone conversion process can be performed based on the data corresponding to the tone conversion mode.
  • the input data may include video data and meta data.
  • the HDR processing unit 705 may perform the second gray level conversion mode when the fourth gray level conversion mode is performed in the high gray level amplifier 851 in the second reduction unit 790.
  • the HDR processing unit 705 may perform the first gray level conversion mode when the third gray level conversion mode is performed in the high gray level amplifier 851 in the second reduction unit 790.
  • the high gray scale amplifying unit 851 in the second reduction unit 790 may change the gray scale conversion mode to be performed according to the gray scale conversion mode in the HDR processing unit 705.
  • the high gray scale amplifier 851 in the second reduction unit 790 may perform the fourth gray scale conversion mode when the second gray scale conversion mode is performed in the HDR processing unit 705.
  • the high gray scale amplifier 851 in the second reduction unit 790 may perform the third gray scale conversion mode when the first gray scale conversion mode is performed in the HDR processing unit 705.
  • the HDR processing unit 705 may perform the gradation conversion mode so that low and high gradations are uniformly converted.
  • the second reduction unit 790 performs the fourth gray level conversion mode in the HDR processing unit 705 according to the second gray level conversion mode, and amplifies the upper limit level of the gray level of the image signal input thereto. have. Accordingly, it is possible to increase the high gradation expression power with respect to the input image.
  • the first reduction unit 710 may perform noise removal on the input image signal or the image signal processed by the HDR processing unit 705.
  • the first reduction unit 710 may perform the multi-level noise removing process and the first-level gradation expansion process on the input image signal or the HDR image from the HDR processing unit 705. .
  • the first reduction unit 710 may include a plurality of noise removing units 715 and 720 for removing noise in multiple stages, and a gray scale expansion unit 725 for increasing gray levels.
  • the enhancement unit 750 may perform a multi-stage image resolution enhancement process on the image from the first reduction unit 710.
  • the enhancement unit 750 can perform an object three-dimensional improvement process. In addition, the enhancement unit 750 can perform color or contrast enhancement processing.
  • the enhancement unit 750 may include a plurality of resolution enhancement units 735, 738 and 742 for improving image resolution in multiple stages, an object stereoscopic enhancement unit 745 for improving stereoscopic effect of an object, and a color contrast enhancement unit for improving color or contrast. 749 may be provided.
  • the second reduction unit 790 may perform a second step gray scale extension process based on the noise-removed video signal input from the first reduction unit 710.
  • the second reduction unit 790 may amplify the upper limit level of the gray level of the input signal and expand the resolution of the gray level of the input signal. Accordingly, it is possible to increase the high gradation expression power with respect to the input image.
  • gradation expansion may be uniformly performed on the entire gradation region of the input signal. Accordingly, uniform gray scale expansion is performed on the region of the input image, thereby increasing high gray scale expressing power.
  • the second reduction unit 790 may perform gray level amplification and expansion based on an input signal from the first gray level expansion unit 725. Accordingly, it is possible to increase the high gradation expression power with respect to the input image.
  • the second reduction unit 790 may vary the degree of amplification when the input video signal is an SDR video signal based on the user input signal. Accordingly, the high gradation expression power can be increased in response to the user setting.
  • the second reduction unit 790 may perform amplification according to a set value. Accordingly, it is possible to increase the high gradation expression power with respect to the input image.
  • the second reduction unit 790 may vary the degree of amplification when the input video signal is an HDR video signal based on the user input signal. Accordingly, the high gradation expression power can be increased in response to the user setting.
  • the second reduction unit 790 may vary the degree of gradation expansion during gradation expansion based on the user input signal. Accordingly, the high gradation expression power can be increased in response to the user setting.
  • the second reduction unit 790 can amplify the upper limit level of the gradation in accordance with the gradation conversion mode in the HDR processing unit 705. Accordingly, it is possible to increase the high gradation expression power with respect to the input image.
  • the signal processor 170 receives the video signal, amplifies the brightness of the video signal from the HDR processor 705 and the HDR processor 705 to adjust the brightness of the input video signal, and adjusts the gradation resolution of the video signal.
  • a reduction unit 790 that increases to generate an enhanced video signal, wherein the enhanced video signal increases the luminance and gradation resolution of the video signal while maintaining a high dynamic range in the displayed HDR image.
  • the luminance range of the video signal is adjusted according to the control signal received by the signal processor 170.
  • the image analyzer may further include an image analyzer configured to determine whether an input video signal is an HDR signal or an SDR signal, and generate a control signal for providing the HDR signal to the HDR processor 705, wherein the control signal is an HDR signal. Only when it is indicated that
  • control signal is received from the controller of the video display device associated with the signal processing and corresponds to the setting of the video display device.
  • the resolution of the gradation is increased based on the amplification of the adjusted luminance of the video signal.
  • the resolution of the gray level is increased based on the control signal input to the signal processing unit 170.
  • control signal is received from the controller of the video display device associated with the signal processing and corresponds to the setting of the video display device.
  • the reduction unit 790 includes a high gray level amplifying unit 851 for amplifying the upper limit level of the gray level of the input signal, and a decontour unit extending the resolution of the amplified gray level from the high gray level amplifying unit 851 ( 842,844).
  • the second reduction unit 790 may include a second gray scale expansion unit 729 for expanding the second gray scale.
  • the image quality processing unit 635 in the signal processing unit 170 of the present invention characterized in that performing the four-step reduction processing and the four-step image enhancement processing.
  • the four-step reduction processing may include two steps of noise removal processing and two steps of gray scale expansion processing.
  • the first and second noise removing units 715 and 720 in the first reduction unit 710 perform the two-step noise removing process
  • the second gray level expansion process includes the first and second noise reduction processes in the first reduction unit 710.
  • the first gray scale extension unit 725 and the second gray scale extension unit 729 in the second reduction unit 790 may perform the operation.
  • the four-step image enhancement processing may include three-step image resolution enhancement processing and object stereoscopic enhancement processing.
  • the first to third resolution enhancement units 735, 738, 742 process the three-dimensional image resolution enhancement process
  • the object stereoscopic enhancement unit 745 can process the object stereoscopic enhancement process.
  • the signal processor 170 of the present invention may gradually improve image quality by applying the same or similar algorithm to the multi-level image quality processing.
  • the image quality processing unit 635 in the signal processing unit 170 of the present invention may apply the same or similar algorithm two or more times to proceed with image quality processing.
  • the same or similar algorithms performed by the image quality processing unit 635 have different targets to be achieved in each stage, and by gradually performing multi-stage image quality processing, an artifact of the image is prepared in comparison to processing all the image quality in one stage. Artifacts are less generated, and more natural and clear image processing results can be obtained.
  • the signal processing unit 170 of the present invention can perform the noise removal process in multiple steps.
  • the noise removing process of each step may include temporal processing and spatial processing.
  • the present invention uses the latest technology such as artificial intelligence.
  • a deep neural network may be used.
  • the quality calculator 632 calculates the resolution and noise level of the received video signal using a deep neural network.
  • the quality calculating unit 632 or the quality calculating unit 670 may acquire a learning image for each original resolution and compression level and train the network to improve accuracy.
  • the image used for learning is a general image that can be encountered in daily broadcasting and is provided with various images to cover the entire input environment.
  • the quality calculator 632 may proceed with learning using a convolutional neural network, mobile-net, etc. having a small number of hierarchies for the purpose of reducing time or cost required for detection.
  • the quality calculator 632 may analyze only some regions (eg, 224x224, 128x128, 64x64) of the entire image.
  • the quality calculating unit 632 can select an appropriate detection area suitable for the detection purpose.
  • the quality calculator 632 may select the first region having the most edge components when detecting the original resolution, and may select the second region having the least edge components when detecting the noise.
  • the quality calculator 632 can apply an algorithm for quickly selecting a detection area for the purpose of improving the processing speed.
  • the quality calculator 632 may perform a preprocessing operation such as a fast fourier transform (FFT) on the detection area for the purpose of improving detection accuracy.
  • FFT fast fourier transform
  • 11A is a diagram illustrating an operation based on a convolutional neural network.
  • a convolutional neural network is used for some regions 1015 in the acquired image 1010.
  • a convolution network and a deconvolution network may be performed.
  • information of the region 1015 may be used to determine the kind of a pixel in the partial region 1015.
  • 11B is a diagram illustrating an operation based on Mobile-Net.
  • the signal processing unit 170 of the present invention so that the image quality setting corresponding to the quality is applied in real time as the original quality changes.
  • the signal processing unit 170 allows the setting to be changed during image reproduction without a condition such as a channel change or an input change.
  • real time means using temporal processing techniques including IIR method and step movement method.
  • FIG. 12 is a flowchart illustrating a method of operating a signal processing apparatus according to an embodiment of the present invention.
  • the quality calculator 632 in the signal processor 170 calculates the quality of the input video (S1010).
  • the scaler 1110 may have a first resolution of, for example, 2K. Perform scaling to resolution.
  • the quality calculator 632 in the signal processor 170 performs a quality operation on the input image having the first resolution.
  • the quality calculator 632 in the signal processor 170 may calculate information about an image type.
  • the quality calculator 632 in the signal processor 170 calculates a resolution and a noise level of a received video signal using a deep neural network, and considers the calculated resolution and noise level. In addition, information about an image type may be calculated.
  • the information about the image type may include information about the resolution and image quality quality information related to the noise level.
  • the information about the image type may be classified into good quality information of 2K resolution, poor quality information of 2K resolution, good quality information of 4K resolution, poor quality information of 4K resolution, and the like.
  • the quality calculator 632 in the signal processor 170 compares the previous input image stored in the database 1115 with the current input granularity, and calculates probabilities for the plurality of image types based on the comparison result. Probability information can be output.
  • the quality calculator 632 in the signal processor 170 may include first probability information corresponding to good quality information of 2K resolution, second probability information corresponding to poor quality information of 2K resolution, and good quality of 4K resolution. Third probability information corresponding to the information and fourth probability information corresponding to the poor quality information having 4K resolution may be respectively calculated and output.
  • the quality calculating unit 632 in the signal processing unit 170 calculates only the resolution information, so that the first probability information corresponding to the HD resolution, the second probability information corresponding to the FHD resolution, and the 2K resolution are related to the resolution information.
  • the third probability information, the fourth probability information corresponding to the 4K resolution, and the fifth probability information corresponding to the 8K resolution may be respectively calculated and output.
  • the signal processing unit ( The quality learner 633 in operation 170 may operate to perform learning (S1020).
  • the quality calculator 632 in the processor 170 may control the quality learner 633 to perform learning.
  • the quality learning unit 633 in the signal processor 170 may separately calculate a level of information about an image type of an input image, or calculate a difference from information about an image type of the calculated input image. If the level of the information about the image type of the input image is equal to or less than the reference level, or the difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to the predetermined value, the quality learning unit 633. ) Can be operated to perform learning.
  • the quality learning unit 633 may perform quality learning when the level of the maximum probability information among the output probability information of the plurality of image types is equal to or less than the reference level.
  • the quality calculator 632 and the quality learner 633 may perform quality calculation and quality learning, respectively, using a deep neural network. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learning unit 633 may perform quality learning based on at least some regions of the input image when the case where the level of the information about the image type of the input image is less than or equal to the reference level occurs continuously. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learning unit 633 has a predetermined value in which a difference between the information about the input image type and the information about the image type of the calculated input image is a predetermined value while the information on the image type of the input image is input.
  • the quality learning may be performed based on at least a partial region of the input image. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the quality learner 633 repeatedly performs forward and backward propagation, updates an internal mathematical model, and repeatedly performs forward and backward propagation based on the updated mathematical model.
  • the quality learner 633 may initialize the updated mathematical model. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto.
  • the weight setting unit 1120 in the signal processing unit 170 may vary the weight or parameter according to the learning result performed by the quality learning unit 633, and output the variable weight or parameter to the quality calculating unit 632. It may be (S1030).
  • the quality calculator 632 may calculate a quality of the input image based on the variable weight or the parameter (S1040).
  • the image quality setting unit 634 in the signal processor 170 may set the image quality based on the quality calculated by the quality calculator 632 (1050).
  • the image quality setting unit 634 in the signal processor 170 may set the image quality based on the calculated information about the image type.
  • the image quality setting unit 634 may set the image quality based on probability information about the plurality of video types from the quality calculating unit 632.
  • the image quality setting unit 634 may determine one image type based on probability information regarding the plurality of image types, and set the image quality corresponding to the determined image type.
  • the image quality setting unit 634 may output a noise reduction setting value or a sharpness setting value according to the set image quality.
  • the image quality processing unit 635 may perform image quality processing according to the set image quality (S1060).
  • the image quality processor 635 may perform an operation corresponding to that described with reference to FIG. 10.
  • the display 180 may receive the image processed from the signal processor 170 according to the set image quality, and display the image processed according to the set image quality. Accordingly, it is possible to display an image on which the accuracy of image analysis is improved and the image quality processing corresponding thereto is performed.
  • FIG. 13A to 17 are views referred to for describing the operation of FIG. 12.
  • FIG. 13A illustrates a learning process performed by the quality learning unit or the quality computation learning unit according to an embodiment of the present invention.
  • the quality calculator 632 or the quality learner 633 in the signal processor 170 performs an evaluation on the quality computation level.
  • the quality calculating unit 632 or the quality learning unit 633 in the signal processing unit 170 may have a level of information about an image type of an input image equal to or less than a reference level during the Pa period, or may correspond to an input image type. It may be determined whether a difference between the information and the information about the image type of the calculated input image is greater than or equal to a predetermined value.
  • the quality calculator 632 or the quality learner 633 in the signal processor 170 may perform an inference operation on the current input image during the Pa period, so that the evaluation result of the inference network and the resolution information given in the image are performed.
  • a comparison phase can be performed to evaluate the performance and then determine whether improvement is needed.
  • the quality calculating unit 632 or the quality learning unit 633 in the signal processing unit 170 the level of the information about the image type of the input image is below the reference level, the information about the input image type and the calculated input When the difference with the information about the image type of the image is greater than or equal to a predetermined value, the quality learning may be performed.
  • the quality calculator 632 or the quality learner 633 in the signal processor 170 may extract a partial region of an image stored in the database 1115 for use in learning during the Pa1 period. .
  • the deep learning module in the quality calculator 632 or the quality learner 633 in the signal processor 170 may perform an inference operation during the Pa period.
  • the quality learner 633 in the signal processor 170 may perform quality learning during the Pb period. That is, the learning step of proceeding to the training can be performed.
  • the deep learning module in the quality learner 633 in the signal processor 170 may repeatedly perform an inference step and a training step during the Pb period.
  • the quality learning unit 633 or the weight setting unit 1120 in the signal processing unit 170 updates synapses updated by the quality learning unit 633 or the weight setting unit 1120 in the signal processing unit 170 during the Pc period. Performance evaluation may be performed to determine whether to apply a weight to an actual inference machine.
  • the synapse weight or the update of the parameter may be transferred to the quality calculator 632.
  • the quality calculator 632 in the signal processor 170 may perform a quality operation on the input image based on the updated synapse weight or the parameter as the normal mode during the Pd period.
  • the quality calculator 632 in the signal processor 170 compares the partial region data stored in the database 1115 with the input image based on the updated synapse weight or parameters, and performs a quality operation. can do.
  • the Pa to Pd section described in the drawing may be repeatedly performed. Accordingly, the accuracy of the quality calculation may be improved based on the learning result of the quality learning unit 633. As a result, the accuracy of image analysis may be improved and image quality processing corresponding thereto may be performed.
  • updates in the quality calculator 632, the quality learner 633, the weight setter 1120, etc. in the signal processor 170 may be performed frequently, but the present invention is not limited thereto. It is also possible to carry out as.
  • the learning / evaluation image configuration, deep learning learning, and performance evaluation may be performed frequently, but the present invention is not limited thereto, and may be performed through a sufficient repetitive process for a long time.
  • FIG. 13B is a detailed view of the learning process of FIG. 13A.
  • the deep learning module in the quality learning unit 633 in the signal processing unit 170 controls to perform a plurality of iteration sections by configuring a mini-batch from the training data. can do.
  • the deep learning module in the quality learner 633 in the signal processor 170 may perform forward and backward propagation repeatedly to update an internal mathematical model.
  • forward and backward propagation may be repeatedly performed based on the updated mathematical model.
  • the iteration may correspond to a mini-batch, which is a collection of data randomly extracted from the training image data set from the database 1115.
  • the quality learner 633 in the signal processor 170 may calculate and store data necessary for synapse weight updating through a forward process for each image in the mini-batch, and use the same in a backward propagation process. .
  • the quality learning unit 633 in the signal processing unit 170 may use the updated deep learning detector model in the next iteration.
  • the quality learner 633 in the signal processor 170 may repeat this process until the performance converges or a predetermined number of iterations.
  • the amount of data constituting the mini-batch may be determined by a memory area such as a DRAM that the signal processor 170 may use.
  • the quality learning unit 633 or the quality calculating unit 632 in the signal processing unit 170 is a deep software update of the signal processing unit 170 when a new algorithm is transmitted from an external server 500. It is possible to determine whether the existing algorithm and the new algorithm of the module are the same.
  • the quality learning unit 633 or the quality calculating unit 632 in the signal processing unit 170 may include the number and order of layers used, such as convolution, pooling, and fully connected layers, characteristics such as kernel size and stride of each layer, and deep learning. By comparing whether the input image size of the algorithm is the same, it is possible to determine whether the updated new algorithm is the same as the existing algorithm.
  • the quality learning unit 633 or the quality calculating unit 632 in the signal processing unit 170 evaluates the performance of the self-trained model and the new Reference Model. The final applied version is then determined.
  • the quality learning unit 633 or the quality calculating unit 632 in the signal processing unit 170 applies the new algorithm to the system and self-learns the model. Initializes all of them.
  • the performance of deep learning algorithms is larger than that of refined tuning, which updates synapse weights in the same structure, so that the significant difference in performance is obtained by setting the new reference model as a new starting point, and then training. Updating the model can expect additional performance improvements.
  • 14 is a diagram for explaining a partial region which can be stored in the database 1115.
  • FIG. 14A illustrates an example of the input image 1400.
  • the signal processor 170 may extract an area of which sharpness level is greater than or equal to a reference value among the edge areas SBa, SBb, SBc, SCa, SCb, and SCc of the input image 1400.
  • the Ba, SBb, and SBc regions of the edge regions SBa, SBb, SBc, SCa, SCb, and SCc of the input image 1400 are above the reference value, and the SCa, SCb, SCc regions are below the reference value.
  • the Ba, SBb, SBc regions of the edge regions SBa, SBb, SBc, SCa, SCb, and SCc of the input image 1400 are database.
  • the control may be stored at 1115.
  • the database 1115 may store a data set SBlist including a partial region of the input image 1400 and a partial region of the previous input image, as illustrated in FIG. 14C.
  • the input image 1400 includes an area that cannot be said to be flat or de-focused to display resolution information without a detail component, such as an empty sky area, and an area that can be said to have resolution information because it has sharpness information.
  • the signal processor 170 analyzes the input image 1400, extracts a region suitable for learning or verification, adds a group of the extracted region to the data set, and inputs or tests the training image. Can be used as
  • the signal processing unit 170 in order to prevent the same image is continuously input and the entire network is biased, the image during the deep learning learning is continuously used by using additional information such as the scene change or scene change Can be changed.
  • the signal processing unit 170 may convert the image that most closely resembles the new image by converting the numerical value capable of representing the image such as the average value of the representative image or the edge maximum value into a DB.
  • the training video data set stored in the database 1115 and the data set of the performance evaluation video are each composed of separate video collections. That is, it is preferable not to be composed of the same collection of images.
  • the database 1115 preferably updates only a part of the image used during the previous learning and the current learning process.
  • the accuracy may be lower than the performance improvement. Therefore, in each learning process, the training image data set and the performance evaluation image may be changed. It may be desirable to update only a percentage of the data set.
  • the data set of the image for performance evaluation is a criterion for comparing the performance of the learned module at every iteration or epoch step in the entire learning step, the data set of the image is not updated from the Pa section of FIG. 13A including the learning process to the Pc section. It is preferable.
  • 15A to 15B are views referred to for explaining data collection for learning verification.
  • FIG. 15A illustrates that a bitstream video is input to the signal processor 170b.
  • a 2K image or a 4K image may be selectively streamed.
  • the 2K video is not known exactly what the actual original video resolution, while most of the 4K video is obtained by shooting 4K, the 2K / 4K video streaming can be input continuously as the network conditions change .
  • the image is appropriately used as learning data by recognizing the AI module based on the compressed information of the image and the current application information.
  • the original video resolution information is included in the bitstream information through a mastering device or the like, it is also possible to use the deep learning module using the original video resolution information.
  • the video decoder 1507 may extract the compressed information of the input image while decoding the video.
  • the quality computation learning unit 632b may perform quality computation or quality learning based on the compressed information of the input image in the video decoder 1507 and the application information currently driven in the data processor 1505. have.
  • the scaler 1110 may convert a bitstream image into an image having a first resolution and then perform a quality operation or a quality learning.
  • FIG. 15B illustrates that a web-based image is input to the signal processor 170b.
  • the data processor 1509 in the signal processor 170b may extract the resolution information.
  • the quality calculation learner 632b may perform quality calculation or quality learning using the web-based image and the resolution information.
  • the scaler 1110 may convert a web-based image into an image having a first resolution, and then perform a quality operation or a quality learning.
  • the quality calculation learner 632b of FIGS. 15A to 15B may be applied separately to the quality calculator 632 and the quality learner 633 of FIG. 8.
  • 16A to 17 are diagrams for describing an operation of the signal processor 170 according to an exemplary embodiment of the present invention.
  • FIG. 16A illustrates that the original video 1605 has a UHD resolution, and the UHD video 1615 is input to the signal processor 170 of the video display device 100 via the set-top box 300. .
  • the quality calculator 632 in the signal processor 170 may perform a quality operation on the input UHD image 1615, and may calculate that the original resolution of the input image is a UHD image.
  • the image quality setting unit 634 and the image quality processing unit 635 may perform image quality setting and image quality processing for the UHD image.
  • the image 1625 on which the image quality processing corresponding to the UHD image is performed may be displayed on the display 180.
  • FIG. 16B illustrates that the UHD image 1665 is input to the signal processing unit 170 of the image display apparatus 100 through the set top box 300 or the like, with the resolution of the original image 1655 being HD. .
  • the quality calculator 632 in the signal processor 170 may perform a quality operation on the input UHD image 1665 and calculate that the original resolution of the input image is an HD image.
  • the image quality setting unit 634 and the image quality processing unit 635 may perform image quality setting and image quality processing for the HD image which is the original resolution.
  • the image 1675 with improved clarity than the input UHD image 1665 may be displayed on the display 180.
  • FIG. 17 illustrates that an image having a resolution of the original image 1655 is input to the signal processing unit 170 of the image display apparatus 100.
  • the scaler 1110 in the signal processor 170 may scale to an image having a first resolution.
  • the scaler 1110 in the signal processor 170 may scale the input HD image into the UHD image 1705.
  • the quality calculator 632 in the signal processor 170 may perform a quality operation on the input UHD image 1705.
  • the quality calculator 632 in the signal processor 170 calculates that the original resolution of the input UHD image 1705 is an FHD image
  • the level of the information about the image type of the input image is equal to or less than the reference level.
  • the quality learning unit 633 may perform quality learning by determining that a difference between the information about the input image type and the information about the image type of the calculated input image is greater than or equal to a predetermined value.
  • the quality learner 633 may receive the resolution information about the input HD image and perform the learning using the scaled UHD image 1705.
  • the database 1115 may store the input image 1705 so that a partial region of the input image 1705 is included in the data set SBlist.
  • the quality learner 633 may use a partial region stored in the database 1115 when the learning process is performed.
  • the weight setting unit 1120 may update the previous synapse weight to a new synapse weight based on the result learned by the quality learning unit 633 through performance evaluation. Can be.
  • the weight setting unit 1120 may transmit the updated synapse weight to the quality calculator 632.
  • the quality calculator 632 may perform the quality association using the updated synapse weight and the like, and calculate that the original image of the input image 1705 is an HD image.
  • the quality calculating unit 632 may transmit the calculated original resolution information, for example, HD video information Sre, to the image quality setting unit 634.
  • the image quality setting unit 634 and the image quality processing unit 635 may perform image quality setting and image quality processing corresponding to the HD image. Accordingly, it is possible to improve accuracy of image analysis and to perform image quality processing corresponding thereto. In particular, it is possible to improve the accuracy during the quality calculation based on the learning result in the quality learning unit 633.

Abstract

본 발명은 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이다. 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 퀄리티 연산부와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부와, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 학습부를 포함하고, 퀄리티 연산부는, 퀄리티 학습부에서 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.

Description

신호 처리 장치 및 이를 구비하는 영상표시장치
본 발명은 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이며, 더욱 상세하게는 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이다.
신호 처리 장치는, 영상을 표시할 수 있도록 입력 영상에 대한 신호 처리를 수행하는 장치이다.
예를 들어, 신호 처리 장치는, 방송 신호 또는 HDMI 신호 등을 수신하고, 수신되는 방송 신호 또는 HDMI 신호에 기초한 신호 처리를 수행하여, 신호 처리된 영상 신호를 출력할 수 있다.
한편, 카메라 및 방송 기술의 발전에 따라, 입력 영상의 해상도 및 수직 동기 주파수가 증대되고 있다. 구체적으로, 4K 해상도 및 120Hz의 수직 동기 주파수를 가지는 영상에 대한 화질 처리 필요가 제기되고 있다.
한편, 화질 처리를 위해, 영상 퀄리티 측정(Quality measure)이 중요하다.
영상 퀄리티 측정은, 기준 영상을 가지고 상대적으로 얼마만큼 차이가 나는지를 측정을 하는 제1 방법과, 기준 영상 없이 절대적으로 판단하는 제2 방법으로 구분될 수 있다.
제1 방법의 경우, 상대적인 차이를 측정을 통해서 구하는 것이기 때문에, 수치화가 쉽고 객관적인 평가가 가능하다.
하지만, 제2 방법의 경우, 영상 퀄리티를 레퍼런스(Reference) 없이, 평가하여야 하기 때문에 객관화가 어려워 주관적인 평가 위주로 수행된다는 문제가 있다.
한편, 영상표시장치에서 안테나 등을 통해 방송 영상이 수신되는 경우, 방송 영상의 해상도 및 압축 비트 레이트 등은 방송 영상과 관련한 규격 정보를 통해 파악 가능하다.
그러나, 최근 IPTV 또는 케이블 TV의 보급으로, 재규격화된 2K 혹은 4K 영상이 HDMI 단자 등을 통해 영상표시장치로 입력된다.
이러한 경우, 원본 영상의 해상도 및 압축 비트레이트 정보가 소실되어, 영상표시장치에서, 원본 영상의 해상도 및 압축 비트레이트 정보와 관련된 영상의 퀄리티 판단이 어려워져, 원본 영상에 알맞은 화질 세팅을 하는 것이 어려워졌으며, 특히, 영상표시장치 내의 화질 알고리즘의 최대 성능을 구현하는 것이 어려워졌다.
본 발명의 목적은, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 다른 목적은, 영상 타입에 관한 정보 연산의 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 또 다른 목적은, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 또 다른 목적은, 심층 신경망(Deep Neural Network)을 이용한 학습을 통해, 입력 영상 해상도 등이 변경되더라도, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 또 다른 목적은, 심층 신경망에 대한 파라미터를 업데이트하여, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
본 발명의 또 다른 목적은, 수신되는 영상 신호의 해상도 및 노이즈 수준에 적합한 화질 처리를 수행하는 영상표시장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 퀄리티 연산부와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부와, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 학습부를 포함하고, 퀄리티 연산부는, 퀄리티 학습부에서 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다.
한편, 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 퀄리티 학습부에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부를 더 포함하고, 퀄리티 연산부는, 가중치 설정부에서 설정된 가중치에 따라, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다.
한편, 퀄리티 연산부는, 복수의 영상 타입에 대한 확률을 연산하고, 복수의 확률 정보를 출력하며, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 퀄리티 학습을 수행할 수 있다.
한편, 퀄리티 학습부는, 출력된 복수의 영상 타입의 확률 정보 중 최대 확률 정보의 레벨이, 기준 레벨 이하인 경우, 퀄리티 학습을 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상을 제1 해상도의 영상으로 스케일링하는 스케일러를 더 포함하고, 제1 해상도의 영상은, 퀄리티 연산부와 퀄리티 학습부에 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스를 더 포함하고, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 데이터 베이스 내의 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다.
한편, 데이터 베이스에 저장되는 일부 영역은, 입력되는 영상의 분석에 기초하여, 업데이트될 수 있다.
한편, 데이터 베이스는, 입력 영상 중 에지 영역 중 샤프니스의 레벨이 기준치 이상인 영역을 저장할 수 있다.
한편, 퀄리티 연산부 및 퀄리티 학습부는, 심층 신경망(Deep Neural Network)을 이용하여, 퀄리티 연산 및 퀄리티 학습을 각각 수행할 수 있다.
한편, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하인 경우가 연속적으로 발생하는 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다.
한편, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보가 입력된 상태에서, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다.
한편, 퀄리티 학습부는, 포워드, 백워드 프로파게이션을 반복적으로 수행하여, 내부의 수학 모델을 업데이트하고, 업데이트된 수학 모델에 기초하여 포워드, 백워드 프로파게이션을 반복적으로 수행할 수 있다.
한편, 퀄리티 학습부는, 외부로부터 수학 모델이 수신되는 경우, 업데이트된 수학 모델을 초기화할 수 있다.
한편, 입력 영상은, 스트리밍 입력 영상, 방송 영상, 외부 장치로부터 입력되는 영상 또는 웹 기반 영상을 포함할 수 있다.
한편, 화질 설정부는, 설정된 화질에 따라, 노이즈 리덕션 설정값을 출력하거나, 샤프니스 설정값을 출력할 수 있다.
한편, 영상 타입에 관한 정보는, 해상도에 대한 정보, 화질 퀄리티 정보를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하며, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 연산 학습부와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부를 포함하고, 퀄리티 연산 학습부는, 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다.
본 발명의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 퀄리티 연산 학습부에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부를 더 포함하고, 퀄리티 연산 학습부는, 가중치 설정부에서 설정된 가중치에 따라, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다.
한편, 본 발명의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스를 포함하고, 퀄리티 연산 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 데이터 베이스 내의 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다.
본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 퀄리티 연산부와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부와, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 학습부를 포함하고, 퀄리티 연산부는, 퀄리티 학습부에서 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 퀄리티 학습부에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부를 더 포함하고, 퀄리티 연산부는, 가중치 설정부에서 설정된 가중치에 따라, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 가중치 설정부에서 설정된 가중치에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 퀄리티 연산부는, 복수의 영상 타입에 대한 확률을 연산하고, 복수의 확률 정보를 출력하며, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 퀄리티 학습부는, 출력된 복수의 영상 타입의 확률 정보 중 최대 확률 정보의 레벨이, 기준 레벨 이하인 경우, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상을 제1 해상도의 영상으로 스케일링하는 스케일러를 더 포함하고, 제1 해상도의 영상은, 퀄리티 연산부와 퀄리티 학습부에 제공될 수 있다. 이에 따라, 퀄리티 연산부와 퀄리티 학습부에서의 연산량을 저감할 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스를 더 포함하고, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 데이터 베이스 내의 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 아울러, 퀄리티 학습시의 연산량을 저감할 수 있게 된다.
한편, 데이터 베이스에 저장되는 일부 영역은, 입력되는 영상의 분석에 기초하여, 업데이트될 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 데이터 베이스는, 입력 영상 중 에지 영역 중 샤프니스의 레벨이 기준치 이상인 영역을 저장할 수 있다. 이에 따라, 영상 분석시의 연산량을 저감할 수 있게 된다.
한편, 퀄리티 연산부 및 퀄리티 학습부는, 심층 신경망(Deep Neural Network)을 이용하여, 퀄리티 연산 및 퀄리티 학습을 각각 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하인 경우가 연속적으로 발생하는 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부는, 입력 영상의 영상 타입에 관한 정보가 입력된 상태에서, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부는, 포워드, 백워드 프로파게이션을 반복적으로 수행하여, 내부의 수학 모델을 업데이트하고, 업데이트된 수학 모델에 기초하여 포워드, 백워드 프로파게이션을 반복적으로 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부는, 외부로부터 수학 모델이 수신되는 경우, 업데이트된 수학 모델을 초기화할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 입력 영상은, 스트리밍 입력 영상, 방송 영상, 외부 장치로부터 입력되는 영상 또는 웹 기반 영상을 포함할 수 있다. 이에 따라, 다양한 입력 영상에 대한 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 화질 설정부는, 설정된 화질에 따라, 노이즈 리덕션 설정값을 출력하거나, 샤프니스 설정값을 출력할 수 있다. 이에 따라, 영상 타입에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 영상 타입에 관한 정보는, 해상도에 대한 정보, 화질 퀄리티 정보를 포함할 수 있다. 이에 따라, 해상도에 또는 화질 퀄리티에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 본 발명의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하며, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 연산 학습부와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부를 포함하고, 퀄리티 연산 학습부는, 퀄리티 연산 학습부에서 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
본 발명의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 퀄리티 연산 학습부에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부를 더 포함하고, 퀄리티 연산 학습부는, 가중치 설정부에서 설정된 가중치에 따라, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 가중치 설정부에서 설정된 가중치에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 본 발명의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스를 포함하고, 퀄리티 연산 학습부는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 데이터 베이스 내의 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 아울러, 퀄리티 학습시의 연산량을 저감할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 영상표시 시스템을 도시한 도면이다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도 3은 도 2의 신호 처리부의 내부 블록도의 일예이다.
도 4a는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.
도 4b는 도 2의 원격제어장치의 내부 블록도이다.
도 5는 도 2의 디스플레이의 내부 블록도이다.
도 6a 내지 도 6b는 도 5의 유기발광패널의 설명에 참조되는 도면이다.
도 7은 본 발명과 관련된 신호 처리 장치의 내부 블록도의 일예이다.
도 8은 본 발명의 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도 9는 본 발명의 다른 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도 10 내지 도 11b는 도 8 또는 도 9의 신호 처리 장치의 동작 설명에 참조되는 도면이다.
도 12는 본 발명의 일 실시예에 따른 신호 처리 장치의 동작방법을 나타내는 순서도이다.
도 13a 내지 도 17은 도 12의 동작 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 영상표시 시스템을 도시한 도면이다.
도면을 참조하면, 본 발명의 일 실시예에 따른 영상표시 시스템(10)은, 디스플레이(180)를 구비하는 영상표시장치(100), 셋탑 박스(300), 및 서버(600)를 포함할 수 잇다.
본 발명의 일 실시예에 따른 영상표시장치(100)는, 셋탑 박스(300), 또는 서버(600)로부터 영상을 수신할 수 있다.
예를 들어, 영상표시장치(100)는, 셋탑 박스(300)로부터의 영상 신호를 HDMI 단자를 통해 수신할 수 있다.
다른 예로, 영상표시장치(100)는, 서버(600)로부터 영상 신호를 네트워크 단자를 통해 수신할 수 있다.
한편, 영상표시장치(100)는, 외부의 셋탑 박스(300) 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하고, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하고, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리를 수행할 수 있다.
한편, 본 발명의 실시예에 따른 영상표시장치(100)는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 퀄리티 연산부(632)와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부(634)와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부(635)를 포함할 수 있다.
한편, 본 발명의 실시예에 따른 영상표시장치(100)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 학습부(633)를 포함할 수 있다.
한편, 퀄리티 연산부(632)는, 퀄리티 학습부(633)에서 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부(633)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 본 발명의 실시예에 따른 영상표시장치(100)는, 퀄리티 학습부(633)에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부(1120)를 더 포함하고, 퀄리티 연산부(632)는, 가중치 설정부(1120)에서 설정된 가중치에 따라, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 가중치 설정부(1120)에서 설정된 가중치에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 본 발명의 실시예에 따른 영상표시장치(100)는, 입력 영상을 제1 해상도의 영상으로 스케일링하는 스케일러(1110)를 더 포함하고, 제1 해상도의 영상은, 퀄리티 연산부(632)와 퀄리티 학습부(633)에 제공될 수 있다. 이에 따라, 퀄리티 연산부(632)와 퀄리티 학습부(633)에서의 연산량을 저감할 수 있게 된다.
한편, 본 발명의 실시예에 따른 영상표시장치(100)는, 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스(1115)를 더 포함하고, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 데이터 베이스(1115) 내의 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 아울러, 퀄리티 학습시의 연산량을 저감할 수 있게 된다.
한편, 본 발명의 다른 실시예에 따른 영상표시장치(100)는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하며, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 연산 학습부(632b)를 포함할 수 있다.
한편, 퀄리티 연산 학습부(632b)는, 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부(633)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 영상표시장치(100)는, 심층 신경망(Deep Neural Network)을 이용하여, 퀄리티 연산 또는 퀄리티 학습을 수행할 수 있다.
특히, 영상표시장치(100)는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도, 노이즈 수준 등을 연산할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 영상표시장치(100)는, 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 디스플레이(180)는 다양한 패널 중 어느 하나로 구현될 수 있다. 예를 들어, 디스플레이(180)는, 액정표시패널(LCD 패널), 유기발광패널(OLED 패널), 무기발광패널(LED 패널) 등 중 어느 하나일 수 있다.
본 발명에서는, 디스플레이(180)가 유기발광패널(OLED 패널)을 구비하는 것을 중심으로 기술한다.
한편, 유기발광패널(OLED 패널)은, 액정표시패널 보다 패널 응답 속도가 빠르며, 색재현 효과가 뛰어나며, 색재현성이 뛰어나다는 장점이 있다.
이에 따라, 디스플레이(180)가 유기발광패널을 구비하는 경우, 영상표시장치(100) 내의 신호 처리부(도 2의 170)는, 유기발광패널에 대응하는 화질 처리를 수행하는 것이 바람직하다. 한편, 신호 처리부는, 신호 처리 장치로 명명할 수도 있다. 이하에서는, 신호 처리 장치와 신호 처리부를 동일한 의미로 사용한다.
한편, 도 1의 영상표시장치(100)는, TV, 모니터, 태블릿 PC, 이동 단말기, 차량용 디스플레이 등이 가능하다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도 2를 참조하면, 본 발명의 일실시예에 의한 영상표시장치(100)는, 영상 수신부(105), 저장부(140), 사용자입력 인터페이스부(150), 센서부(미도시), 신호 처리부(170), 디스플레이(180), 오디오 출력부(185)를 포함할 수 있다.
한편, 도면에서의 신호 처리부(170)는, 상술한 신호 처리 장치에 대응할 수 있다.
영상 수신부(105)는, 튜너부(110), 복조부(120), 네트워크 인터페이스부(130), 외부장치 인터페이스부(130)를 포함할 수 있다.
한편, 영상 수신부(105)는, 도면과 달리, 튜너부(110), 복조부(120)와, 외부장치 인터페이스부(130)만을 포함하는 것도 가능하다. 즉, 네트워크 인터페이스부(130)를 포함하지 않을 수도 있다.
튜너부(110)는, 안테나(미도시)를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너부(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 신호 처리부(170)로 직접 입력될 수 있다.
한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120)에서 출력한 스트림 신호는 신호 처리부(170)로 입력될 수 있다. 신호 처리부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.
외부장치 인터페이스부(130)는, 접속된 외부 장치(미도시), 예를 들어, 셋탑 박스(50)와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋탑 박스 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다. 한편, 무선 통신부(미도시)는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다.
이러한 무선 통신부(미도시)를 통해, 외부장치 인터페이스부(130)는, 인접하는 이동 단말기(600)와 데이터를 교환할 수 있다. 특히, 외부장치 인터페이스부(130)는, 미러링 모드에서, 이동 단말기(600)로부터 디바이스 정보, 실행되는 애플리케이션 정보, 애플리케이션 이미지 등을 수신할 수 있다.
네트워크 인터페이스부(135)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 예를 들어, 네트워크 인터페이스부(135)는, 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다.
한편, 네트워크 인터페이스부(135)는, 무선 통신부(미도시)를 포함할 수 있다.
저장부(140)는, 신호 처리부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
또한, 저장부(140)는 외부장치 인터페이스부(130)로 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
도 2의 저장부(140)가 신호 처리부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(140)는 신호 처리부(170) 내에 포함될 수 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 신호 처리부(170)로 전달하거나, 신호 처리부(170)로부터의 신호를 사용자에게 전달한다.
예를 들어, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 신호 처리부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 신호 처리부(170)에 전달하거나, 신호 처리부(170)로부터의 신호를 센서부(미도시)로 송신할 수 있다.
신호 처리부(170)는, 튜너부(110) 또는 복조부(120) 또는 네트워크 인터페이스부(135) 또는 외부장치 인터페이스부(130)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
예를 들어, 신호 처리부(170)는, 영상 수신부(105)에서 수신된 방송 신호 또는 HDMI 신호 등을 수신하고, 수신되는 방송 신호 또는 HDMI 신호에 기초한 신호 처리를 수행하여, 신호 처리된 영상 신호를 출력할 수 있다.
신호 처리부(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 신호 처리부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
신호 처리부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 음향 출력될 수 있다. 또한, 신호 처리부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
도 2에는 도시되어 있지 않으나, 신호 처리부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다. 즉, 신호 처리부(170)는, 다양한 신호 처리를 수행할 수 있으며, 이에 따라, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다. 이에 대해서는 도 3을 참조하여 후술한다.
그 외, 신호 처리부(170)는, 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 신호 처리부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 신호 처리부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
한편, 신호 처리부(170)는, 영상을 표시하도록 디스플레이(180)를 제어할 수 있다. 이때, 디스플레이(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 신호 처리부(170)는 디스플레이(180)에 표시되는 영상 내에, 소정 오브젝트가 표시되도록 할 수 있다. 예를 들어, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
한편, 신호 처리부(170)는, 촬영부(미도시)로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들어, 사용자와 영상표시장치(100) 간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 사용자 위치에 대응하는 디스플레이(180) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
디스플레이(180)는, 신호 처리부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(130)에서 수신되는 영상 신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다.
한편, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 신호 처리부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.
촬영부(미도시)는 사용자를 촬영한다. 촬영부(미도시)는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 촬영부(미도시)에서 촬영된 영상 정보는 신호 처리부(170)에 입력될 수 있다.
신호 처리부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센서부(미도시)로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.
전원 공급부(190)는, 영상표시장치(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 전원 공급부(190)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있는 신호 처리부(170)와, 영상 표시를 위한 디스플레이(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터와, 직류 전원의 레벨을 변환하는 dc/dc 컨버터를 구비할 수 있다.
원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 출력할 수 있다.
한편, 상술한 영상표시장치(100)는, 고정형 또는 이동형 디지털 방송 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 2에 도시된 영상표시장치(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은 도 2의 신호 처리부의 내부 블록도의 일예이다.
도면을 참조하여 설명하면, 본 발명의 일실시예에 의한 신호 처리부(170)는, 역다중화부(310), 영상 처리부(320), 프로세서(330), 오디오 처리부(370)를 포함할 수 있다. 그 외 , 데이터 처리부(미도시)를 더 포함할 수 있다.
역다중화부(310)는, 입력되는 스트림을 역다중화한다. 예를 들어, MPEG-2 TS가 입력되는 경우 이를 역다중화하여, 각각 영상, 음성 및 데이터 신호로 분리할 수 있다. 여기서, 역다중화부(310)에 입력되는 스트림 신호는, 튜너부(110) 또는 복조부(120) 또는 외부장치 인터페이스부(130)에서 출력되는 스트림 신호일 수 있다.
영상 처리부(320)는, 입력되는 영상에 대한 신호 처리를 수행할 수 있다. 예를 들어, 영상 처리부(320)는, 역다중화부(310)로부터 역다중화된 영상 신호의 영상 처리를 수행할 수 있다.
이를 위해, 영상 처리부(320)는, 영상 디코더(325), 스케일러(335), 화질 처리부(635), 영상 인코더(미도시), OSD 생성부(340), 프레임 영상 레이트 변환부(350), 및 포맷터(360) 등을 포함할 수 있다.
영상 디코더(325)는, 역다중화된 영상신호를 복호화하며, 스케일러(335)는, 복호화된 영상신호의 해상도를 디스플레이(180)에서 출력 가능하도록 스케일링(scaling)을 수행한다.
영상 디코더(325)는 다양한 규격의 디코더를 구비하는 것이 가능하다. 예를 들어, MPEG-2, H,264 디코더, 색차 영상(color image) 및 깊이 영상(depth image)에 대한 3D 영상 디코더, 복수 시점 영상에 대한 디코더 등을 구비할 수 있다.
스케일러(335)는, 영상 디코더(325) 등에서 영상 복호 완료된, 입력 영상 신호를 스케일링할 수 있다.
예를 들어, 스케일러(335)는, 입력 영상 신호의 크기 또는 해상도가 작은 경우, 업 스케일링하고, 입력 영상 신호의 크기 또는 해상도가 큰 경우, 다운 스케일링할 수 있다.
화질 처리부(635)는, 영상 디코더(325) 등에서 영상 복호 완료된, 입력 영상 신호에 대한 화질 처리를 수행할 수 있다.
예를 들어, 화질 처리부(635)는, 입력 영상 신호의 노이즈 제거 처리를 하거나, 입력 영상 신호의 도계조의 해상를 확장하거나, 영상 해상도 향상을 수행하거나, 하이 다이나믹 레인지(HDR) 기반의 신호 처리를 하거나, 프레임 영상 레이트를 가변하거나, 패널 특성, 특히 유기발광패널에 대응하는 화질 처리 등을 할 수 있다.
OSD 생성부(340)는, 사용자 입력에 따라 또는 자체적으로 OSD 신호를 생성한다. 예를 들어, 사용자 입력 신호에 기초하여, 디스플레이(180)의 화면에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 표시하기 위한 신호를 생성할 수 있다. 생성되는 OSD 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다. 또한, 생성되는 OSD 신호는, 2D 오브젝트 또는 3D 오브젝트를 포함할 수 있다.
또한, OSD 생성부(340)는, 원격제어장치(200)로부터 입력되는 포인팅 신호에 기초하여, 디스플레이에 표시 가능한, 포인터를 생성할 수 있다. 특히, 이러한 포인터는, 포인팅 신호 처리부에서 생성될 수 있으며, OSD 생성부(240)는, 이러한 포인팅 신호 처리부(미도시)를 포함할 수 있다. 물론, 포인팅 신호 처리부(미도시)가 OSD 생성부(240) 내에 구비되지 않고 별도로 마련되는 것도 가능하다.
프레임 영상 레이트 변환부(Frame Rate Conveter, FRC)(350)는, 입력되는 영상의 프레임 영상 레이트를 변환할 수 있다. 한편, 프레임 영상 레이트 변환부(350)는, 별도의 프레임 영상 레이트 변환 없이, 그대로 출력하는 것도 가능하다.
한편, 포맷터(Formatter)(360)는, 입력되는 영상 신호의 포맷을, 디스플레이에 표시하기 위한 영상 신호로 변화시켜 출력할 수 있다.
특히, 포맷터(Formatter)(360)는, 디스플레이 패널에 대응하도록 영상 신호의 포맷을 변화시킬 수 있다.
프로세서(330)는, 영상표시장치(100) 내 또는 신호 처리부(170) 내의 전반적인 동작을 제어할 수 있다.
예를 들어, 프로세서(330)는 튜너(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 프로세서(330)는, 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
또한, 프로세서(330)는, 네트워크 인터페이스부(135) 또는 외부장치 인터페이스부(130)와의 데이터 전송 제어를 수행할 수 있다.
또한, 프로세서(330)는, 신호 처리부(170) 내의 역다중화부(310), 영상 처리부(320) 등의 동작을 제어할 수 있다.
한편, 신호 처리부(170) 내의 오디오 처리부(370)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 이를 위해 오디오 처리부(370)는 다양한 디코더를 구비할 수 있다.
또한, 신호 처리부(170) 내의 오디오 처리부(370)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.
신호 처리부(170) 내의 데이터 처리부(미도시)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 전자 프로그램 가이드 정보(Electronic Program Guide) 정보일 수 있다.
한편, 도 3에 도시된 신호 처리부(170)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 신호 처리부(170)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
특히, 프레임 영상 레이트 변환부(350), 및 포맷터(360)는 영상 처리부(320) 외에 별도로 마련될 수도 있다.
도 4a는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.
도 4a의 (a)에 도시된 바와 같이, 디스플레이(180)에 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 예시한다.
사용자는 원격제어장치(200)를 상하, 좌우(도 4a의 (b)), 앞뒤(도 4a의 (c))로 움직이거나 회전할 수 있다. 영상표시장치의 디스플레이(180)에 표시된 포인터(205)는 원격제어장치(200)의 움직임에 대응한다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘 또는 3D 포인팅 장치라 명명할 수 있다.
도 4a의 (b)는 사용자가 원격제어장치(200)를 왼쪽으로 이동하면, 영상표시장치의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 영상표시장치로 전송된다. 영상표시장치는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시장치는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4a의 (c)는, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격제어장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다. 한편, 원격제어장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격제어장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
한편, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상,하, 좌,우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
도 4b는 도 2의 원격제어장치의 내부 블록도이다.
도면을 참조하여 설명하면, 원격제어장치(200)는 무선통신부(425), 사용자 입력부(435), 센서부(440), 출력부(450), 전원공급부(460), 저장부(470), 신호 처리부(480)를 포함할 수 있다.
무선통신부(425)는 전술하여 설명한 본 발명의 실시예들에 따른 영상표시장치 중 임의의 어느 하나와 신호를 송수신한다. 본 발명의 실시예들에 따른 영상표시장치들 중에서, 하나의 영상표시장치(100)를 일예로 설명하도록 하겠다.
본 실시예에서, 원격제어장치(200)는 RF 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 RF 모듈(421)을 구비할 수 있다. 또한 원격제어장치(200)는 IR 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 IR 모듈(423)을 구비할 수 있다.
본 실시예에서, 원격제어장치(200)는 영상표시장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(421)을 통하여 전송한다.
또한, 원격제어장치(200)는 영상표시장치(100)가 전송한 신호를 RF 모듈(421)을 통하여 수신할 수 있다. 또한, 원격제어장치(200)는 필요에 따라 IR 모듈(423)을 통하여 영상표시장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(435)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(435)를 조작하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(435)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(435)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(435)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(440)는 자이로 센서(441) 또는 가속도 센서(443)를 구비할 수 있다. 자이로 센서(441)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
일예로, 자이로 센서(441)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도 센서(443)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리측정센서를 더 구비할 수 있으며, 이에 의해, 디스플레이(180)와의 거리를 센싱할 수 있다.
출력부(450)는 사용자 입력부(435)의 조작에 대응하거나 영상표시장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(450)를 통하여 사용자는 사용자 입력부(435)의 조작 여부 또는 영상표시장치(100)의 제어 여부를 인지할 수 있다.
일예로, 출력부(450)는 사용자 입력부(435)가 조작되거나 무선 통신부(425)을 통하여 영상표시장치(100)와 신호가 송수신되면 점등되는 LED 모듈(451), 진동을 발생하는 진동 모듈(453), 음향을 출력하는 음향 출력 모듈(455), 또는 영상을 출력하는 디스플레이 모듈(457)을 구비할 수 있다.
전원공급부(460)는 원격제어장치(200)로 전원을 공급한다. 전원공급부(460)는 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(460)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(470)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 영상표시장치(100)와 RF 모듈(421)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 영상표시장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다. 원격제어장치(200)의 신호 처리부(480)는 원격제어장치(200)와 페어링된 영상표시장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(470)에 저장하고 참조할 수 있다.
신호 처리부(480)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 신호 처리부(480)는 사용자 입력부(435)의 소정 키 조작에 대응하는 신호 또는 센서부(440)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(425)를 통하여 영상표시장치(100)로 전송할 수 있다.
영상표시장치(100)의 사용자 입력 인터페이스부(150)는, 원격제어장치(200)와 무선으로 신호를 송수신할 수 있는 무선통신부(151)와, 원격제어장치(200)의 동작에 대응하는 포인터의 좌표값을 산출할 수 있는 좌표값 산출부(415)를 구비할 수 있다.
사용자 입력 인터페이스부(150)는, RF 모듈(412)을 통하여 원격제어장치(200)와 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈(413)을 통하여 원격제어장치(200)이 IR 통신 규격에 따라 전송한 신호를 수신할 수 있다.
좌표값 산출부(415)는 무선통신부(151)를 통하여 수신된 원격제어장치(200)의 동작에 대응하는 신호로부터 손떨림이나 오차를 수정하여 디스플레이(180)에 표시할 포인터(205)의 좌표값(x,y)을 산출할 수 있다.
사용자 입력 인터페이스부(150)를 통하여 영상표시장치(100)로 입력된 원격제어장치(200) 전송 신호는 영상표시장치(100)의 신호 처리부(180)로 전송된다. 신호 처리부(180)는 원격제어장치(200)에서 전송한 신호로부터 원격제어장치(200)의 동작 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100)를 제어할 수 있다.
또 다른 예로, 원격제어장치(200)는, 그 동작에 대응하는 포인터 좌표값을 산출하여 영상표시장치(100)의 사용자 입력 인터페이스부(150)로 출력할 수 있다. 이 경우, 영상표시장치(100)의 사용자 입력 인터페이스부(150)는 별도의 손떨림이나 오차 보정 과정 없이 수신된 포인터 좌표값에 관한 정보를 신호 처리부(180)로 전송할 수 있다.
또한, 다른 예로, 좌표값 산출부(415)가, 도면과 달리 사용자 입력 인터페이스부(150)가 아닌, 신호 처리부(170) 내부에 구비되는 것도 가능하다.
도 5는 도 2의 디스플레이의 내부 블록도이다.
도면을 참조하면, 유기발광패널 기반의 디스플레이(180)는, 유기발광패널(210), 제1 인터페이스부(230), 제2 인터페이스부(231), 타이밍 컨트롤러(232), 게이트 구동부(234), 데이터 구동부(236), 메모리(240), 프로세서(270), 전원 공급부(290), 전류 검출부(510) 등을 포함할 수 있다.
디스플레이(180)는, 영상 신호(Vd)와, 제1 직류 전원(V1) 및 제2 직류 전원(V2)을 수신하고, 영상 신호(Vd)에 기초하여, 소정 영상을 표시할 수 있다.
한편, 디스플레이(180) 내의 제1 인터페이스부(230)는, 신호 처리부(170)로부터 영상 신호(Vd)와, 제1 직류 전원(V1)을 수신할 수 있다.
여기서, 제1 직류 전원(V1)은, 디스플레이(180) 내의 전원 공급부(290), 및 타이밍 컨트롤러(232)의 동작을 위해 사용될 수 있다.
다음, 제2 인터페이스부(231)는, 외부의 전원 공급부(190)로부터 제2 직류 전원(V2)을 수신할 수 있다. 한편, 제2 직류 전원(V2)은, 디스플레이(180) 내의 데이터 구동부(236)에 입력될 수 있다.
타이밍 컨트롤러(232)는, 영상 신호(Vd)에 기초하여, 데이터 구동 신호(Sda) 및 게이트 구동 신호(Sga)를 출력할 수 있다.
예를 들어, 제1 인터페이스부(230)가 입력되는 영상 신호(Vd)를 변환하여 변환된 영상 신호(va1)를 출력하는 경우, 타이밍 컨트롤러(232)는, 변환된 영상 신호(va1)에 기초하여, 데이터 구동 신호(Sda) 및 게이트 구동 신호(Sga)를 출력할 수 있다.
타이밍 컨트롤러(timing controller)(232)는, 신호 처리부(170)로부터의 비디오 신호(Vd) 외에, 제어 신호, 수직동기신호(Vsync) 등을 더 수신할 수 있다.
그리고, 타이밍 컨트롤러(timing controller)(232)는, 비디오 신호(Vd) 외에, 제어 신호, 수직동기신호(Vsync) 등에 기초하여, 게이트 구동부(234)의 동작을 위한 게이트 구동 신호(Sga), 데이터 구동부(236)의 동작을 위한 데이터 구동 신호(Sda)를 출력할 수 있다.
이때의 데이터 구동 신호(Sda)는, 패널(210)이 RGBW의 서브픽셀을 구비하는 경우, RGBW 서브픽셀 구동용 데이터 구동 신호일 수 있다.
한편, 타이밍 컨트롤러(232)는, 게이트 구동부(234)에 제어 신호(Cs)를 더 출력할 수 있다.
게이트 구동부(234)와 데이터 구동부(236)는, 타이밍 컨트롤러(232)로부터의 게이트 구동 신호(Sga), 데이터 구동 신호(Sda)에 따라, 각각 게이트 라인(GL) 및 데이터 라인(DL)을 통해, 주사 신호 및 영상 신호를 유기발광패널(210)에 공급한다. 이에 따라, 유기발광패널(210)은 소정 영상을 표시하게 된다.
한편, 유기발광패널(210)은, 유기 발광층을 포함할 수 있으며, 영상을 표시하기 위해, 유기 발광층에 대응하는 각 화소에, 다수개의 게이트 라인(GL) 및 데이터 라인(DL)이 매트릭스 형태로 교차하여 배치될 수 있다.
한편, 데이터 구동부(236)는, 제2 인터페이스부(231)로부터의 제2 직류 전원(V2)에 기초하여, 유기발광패널(210)에 데이터 신호를 출력할 수 있다.
전원 공급부(290)는, 각종 전원을, 게이트 구동부(234)와 데이터 구동부(236), 타이밍 컨트롤러(232) 등에 공급할 수 있다.
전류 검출부(510)는, 유기발광패널(210)의 서브픽셀에 흐르는 전류를 검출할 수 있다. 검출되는 전류는, 누적 전류 연산을 위해, 프로세서(270) 등에 입력될 수 있다.
프로세서(270)는, 디스플레이(180) 내의 각종 제어를 수행할 수 있다. 예를 들어, 게이트 구동부(234)와 데이터 구동부(236), 타이밍 컨트롤러(232) 등을 제어할 수 있다.
한편, 프로세서(270)는, 전류 검출부(510)로부터, 유기발광패널(210)의 서브픽셀에 흐르는 전류 정보를 수신할 수 있다.
그리고, 프로세서(270)는, 유기발광패널(210)의 서브픽셀에 흐르는 전류 정보에 기초하여, 각 유기발광패널(210)의 서브픽셀의 누적 전류를 연산할 수 있다. 연산되는 누적 전류는, 메모리(240)에 저장될 수 있다.
한편, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀의 누적 전류가, 허용치 이상인 경우, 번인(burn in)으로 판단할 수 있다.
예를 들어, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀의 누적 전류가, 300000 A 이상인 경우, 번인된 서브픽셀로 판단할 수 있다.
한편, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀 중 일부 서브픽셀의 누적 전류가, 허용치에 근접하는 경우, 해당 서브픽셀을, 번인이 예측되는 서브픽셀로 판단할 수 있다.
한편, 프로세서(270)는, 전류 검출부(510)에서 검출된 전류에 기초하여, 가장 누적 전류가 큰 서브픽셀을, 번인 예측 서브픽셀로 판단할 수 있다.
도 6a 내지 도 6b는 도 5의 유기발광패널의 설명에 참조되는 도면이다.
먼저, 도 6a는, 유기발광패널(210) 내의 픽셀(Pixel)을 도시하는 도면이다.
도면을 참조하면, 유기발광패널(210)은, 복수의 스캔 라인(Scan 1 ~ Scan n)과, 이에 교차하는 복수의 데이터 라인(R1,G1,B1,W1 ~ Rm,Gm,Bm,Wm)을 구비할 수 있다.
한편, 유기발광패널(210) 내의 스캔 라인과, 데이터 라인의 교차 영역에, 픽셀(subpixel)이 정의된다. 도면에서는, RGBW의 서브픽셀(SR1,SG1,SB1,SW1)을 구비하는 픽셀(Pixel)을 도시한다.
도 6b는, 도 6a의 유기발광패널의 픽셀(Pixel) 내의 어느 하나의 서브픽셀(sub pixel)의 회로를 예시한다.
도면을 참조하면, 유기발광 서브픽셀(sub pixell) 회로(CRTm)는, 능동형으로서, 스캔 스위칭 소자(SW1), 저장 커패시터(Cst), 구동 스위칭 소자(SW2), 유기발광층(OLED)을 구비할 수 있다.
스캔 스위칭 소자(SW1)는, 게이트 단자에 스캔 라인(Scan line)이 접속되어, 입력되는 스캔 신호(Vdscan)에 따라 턴 온하게 된다. 턴 온되는 경우, 입력되는 데이터 신호(Vdata)를 구동 스위칭 소자(SW2)의 게이트 단자 또는 저장 커패시터(Cst)의 일단으로 전달하게 된다.
저장 커패시터(Cst)는, 구동 스위칭 소자(SW2)의 게이트 단자와 소스 단자 사이에 형성되며, 저장 커패시터(Cst)의 일단에 전달되는 데이터 신호 레벨과, 저장 커패시터(Cst)의 타단에 전달되는 직류 전원(VDD) 레벨의 소정 차이를 저장한다.
예를 들어, 데이터 신호가, PAM(Pluse Amplitude Modulation) 방식에 따라 서로 다른 레벨을 갖는 경우, 데이터 신호(Vdata)의 레벨 차이에 따라, 저장 커패시터(Cst)에 저장되는 전원 레벨이 달라지게 된다.
다른 예로, 데이터 신호가 PWM(Pluse Width Modulation) 방식에 따라 서로 다른 펄스폭을 갖는 경우, 데이터 신호(Vdata)의 펄스폭 차이에 따라, 저장 커패시터(Cst)에 저장되는 전원 레벨이 달라지게 된다.
구동 스위칭 소자(SW2)는, 저장 커패시터(Cst)에 저장된 전원 레벨에 따라 턴 온된다. 구동 스위칭 소자(SW2)가 턴 온하는 경우, 저장된 전원 레벨에 비례하는, 구동 전류(IOLED)가 유기발광층(OLED)에 흐르게 된다. 이에 따라, 유기발광층(OLED)은 발광동작을 수행하게 된다.
유기발광층(OLED)은, 서브픽셀에 대응하는 RGBW의 발광층(EML)을 포함하며, 정공주입층(HIL), 정공 수송층(HTL), 전자 수송층(ETL), 전자 주입층(EIL) 중 적어도 하나를 포함할 수 있으며, 그 외에 정공 저지층 등도 포함할 수 있다.
한편, 서브픽셀(sub pixell)은, 유기발광층(OLED)에서 모두 백색의 광을 출력하나, 녹색,적색,청색 서브픽셀의 경우, 색상 구현을 위해, 별도의 컬러필터가 구비된다. 즉, 녹색,적색,청색 서브픽셀의 경우, 각각 녹색,적색,청색 컬러필터를 더 구비한다. 한편, 백색 서브픽셀의 경우, 백색광을 출력하므로, 별도의 컬러필터가 필요 없게 된다.
한편, 도면에서는, 스캔 스위칭 소자(SW1)와 구동 스위칭 소자(SW2)로서, p타입의 MOSFET인 경우를 예시하나, n타입의 MOSFET이거나, 그 외, JFET, IGBT, 또는 SIC 등의 스위칭 소자가 사용되는 것도 가능하다.
한편, 픽셀(Pixel)은, 단위 표시 기간 동안, 구체적으로 단위 프레임 영상 동안, 스캔 신호가 인가된 이후, 유기발광층(OLED)에서 계속 발광하는 홀드 타입의 소자이다.
도 7은 본 발명과 관련된 신호 처리 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 발명과 관련된 영상표시 시스템(10)은, 영상표시장치(100), 서버(600), 셋탑 박스(300)를 구비할 수 있다.
서버(600)는, 학습 영상을 수신하고 이를 저장하는 학습 DB(640)와, 학습 DB(640)로부터의 학습 영상, 및 심층 신경망(Deep Neural Network)을 이용하여, 영상 소스 퀄리티를 연산하는 퀄리티 연산부(670), 학습 DB(640)와 퀄리티 연산부(670)에 기초하여 심층 신경망에 대한 파라미터를 업데이트하는 파라미터 업데이트부(675)를 구비할 수 있다.
파라미터 업데이트부(675)는, 업데이트된 파라미터를 영상표시장치(100) 내의 퀄리티 연산부(632)로 전송할 수 있다.
셋탑 박스(300)는, 영상 제공자가 제공하는 입력 신호를 수신하고, 영상표시장치(100)의 HDMI 단자로 영상 신호를 전송할 수 있다.
영상표시장치(100)는, 외부의 셋탑 박스(300) 또는 네트워크를 통해 영상 신호를 수신하는 영상 수신부(105)와, 영상 수신부(105)에서 수신되는 영상 신호에 대한 신호 처리를 수행하는 신호 처리부(170m)와, 신호 처리부(170m)에서 처리된 영상을 표시하는 디스플레이(180)를 포함할 수 있다.
한편, 신호 처리부(170m)는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 퀄리티 연산부(632)와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부(634)와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부(635)를 구비할 수 있다.
특히, 신호 처리부(170m) 내의 퀄리티 연산부(632)가, 입력 영상의 해상도 정보 등을 연산함으로써, 화질 설정부(634)가, 입력 영상에 대응하는 화질을 설정하고, 화질 처리부(635)가, 설정된 화질에 따라, 화질 처리를 수행할 수 있다. 이에 따라, 입력 영상에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 도 7의 영상표시장치(100) 내의 신호 처리부(170m)에 의하면, 원본 영상의 추세 변화에 따라, 예를 들어, 2K 영상 또는 4K 영상이 점점 늘어나거나, 방송 영상 보다, 스트림 영상의 이용이 증가하는 등의 변화에 따라, 적응적으로 알고리즘을 업데이트 하기가 용이하지 못하다는 한계가 있다.
한편, 도 7의 영상표시장치(100) 내의 신호 처리부(170m) 내의 퀄리티 연산부(632)는 딥러닝 알고리즘을 프로세싱할 수 있다.
이때, 딥러닝 알고리즘은 여러 개의 학습용 데이터를 사용하여 기 정의된 네트워크 구조의 시냅스 가중치(synapse weight) 값을 구하는 학습(Training) 과정과 그 결과를 적용하는 추론(Inference) 과정으로 나뉜다.
한편, 학습(Training) 과정시, 입력과 그에 상응하는 정답을 알고 있어야 하며, 초기 학습시, 성능을 보장하기 위해 많은 양의 데이터를 처리해야 하며, 초기 파라미터 세트(initial parameter set)에서 수렴까지 학습 시간이 오래 걸리며, 많은 양의 계산과 메모리를 필요로 하게 된다.
따라서, 도 7과 같이, 학습 과정은, 서버(500)에서 수행하고, 영상표시장치(100)는, 서버(500)에서 계산한 추론 결과를 받아 이용한다.
한편, 도 7의 영상표시장치(100) 내의 신호 처리부(170m)에 의하면, 퀄리티 연산부(632)를 통해, 추론(inference)만을 수행하므로, 영상표시장치(100)가 서버(600) 등을 통해, 업데이트 서비스를 받지 않는 경우에는, 성능이 개선되지 않는 한계점을 안고 있다.
이에 따라, 본 발명은 영상표시장치(100) 내에서 지속적인 자체 학습을 통하여, 그 성능을 개선할 수 있는 인공지능 기반의 영상 퀄리티 연산 방안을 제안한다.
또한, 영상표시장치(100)에 최근, 디코딩된 영상이 아니라 비트스트림 영상이 입력되므로, 이전 보다, 입력되는 입력 영상의 원본 영상이 저해상도부터 고해상도 까지 다앙하게 입력되므로, 내부에서, 입력 영상을 re-sizing 하여 생성할 수 있고, 웹 브라우저 등을 통해, 이미지 검색 기능을 사용하여, 다양한 해상도의 ㄷ동일 영상을 획득할 수 있으므로, 입력 영상에 대응하는 해상도 정보를 획득할 수 있다.
이에 따라, 영상 해상도 정보가 함께 전송되거나, 혹은 입력 영상에서 더 낮은 해상도를 만들어 사용하는 활용법을 제안하여, 영상 퀄리티 연산 성능을 자체적으로 개선하는 기술에 대해 설명하고자 한다.
또한, 초기 학습 과정 이후, 성능이 더 개선되도록 refined training 과정을 적용하는 기술에 대해 설명하고자 한다. 이에 대해서는 도 8 이하를 참조하여 기술한다.
도 8은 본 발명의 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 발명의 실시예에 따른 신호 처리부(170)는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 퀄리티 연산부(632)와, 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부(634)와, 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부(635)와, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 학습부(633)를 포함할 수 있다.
한편, 퀄리티 연산부(632)는, 퀄리티 학습부(633)에서 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부(633)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 본 발명의 실시예에 따른 신호 처리부(170)는, 퀄리티 학습부(633)에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부(1120)를 더 포함할 수 있다.
한편, 가중치 설정부(1120)는, 업데이트된 가중치 또는 업데이트된 파라미터를 퀄리티 연산부(632)로 전송할 수 있다.
이에 따라, 퀄리티 연산부(632)는, 가중치 설정부(1120)에서 설정된 가중치에 따라, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 가중치 설정부(1120)에서 설정된 가중치에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 퀄리티 연산부(632)는, 복수의 영상 타입에 대한 확률을 연산하고, 복수의 확률 정보를 출력할 수 있다.
예를 들어, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 해상도 정보와 노이즈 정보를 함께 연산하여, 해상도 정보와 노이즈 정보가 관련된 2K 해상도의 양호한 퀄리티 정보에 대응하는 제1 확률 정보, 2K 해상도의 불량한 퀄리티 정보에 대응하는 제2 확률 정보, 4K 해상도의 양호한 퀄리티 정보에 대응하는 제3 확률 정보, 4K 해상도의 불량한 퀄리티 정보에 대응하는 제4 확률 정보를 각각 연산하여 출력할 수 있다.
다른 예로, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 해상도 정보만을 연산하여, 해상도 정보와 관련된, HD 해상도에 대응하는 제1 확률 정보, FHD 해상도에 대응하는 제2 확률 정보, 2K 해상도에 대응하는 제3 확률 정보, 4K 해상도에 대응하는 제4 확률 정보, 8K 해상도에 대응하는 제5 확률 정보를 각각 연산하여 출력할 수 있다.
한편, 입력 영상의 해상도 정보를 모르는 경우, 퀄리티 연산부(632)가 동작하여, 연산된 퀄리티 정보, 특히 해상도 정보를 출력할 수 있다.
한편, 입력 영상의 해상도 정보를 아는 경우, 퀄리티 연산부(632)는 물론, 퀄리티 학습부(633)가 동작할 수 있다.
그리고, 퀄리티 학습부(633)는, 퀄리티 연산부(632)에서 연산된 퀄리티 연산정보를 이용하거나, 내부에서 별도로 연산된 퀄리티 연산 정보를 이용하여, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 지 여부를 판별할 수 있다.
그리고, 퀄리티 학습부(633)는, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 퀄리티 학습을 수행할 수 있다.
또는, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하인 경우, 퀄리티 학습을 수행할 수 있다.
즉, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부(633)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 퀄리티 학습부(633)는, 출력된 복수의 영상 타입의 확률 정보 중 최대 확률 정보의 레벨이, 기준 레벨 이하인 경우, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 본 발명의 실시예에 따른 신호 처리부(170)는, 입력 영상을 제1 해상도의 영상으로 스케일링하는 스케일러(1110)를 더 포함할 수 있다.
스케일러(1110)는, 입력 영상을, 입력 영상을 제1 해상도의 영상으로 스케일링하고 정규화(normalization)시킬 수 있다.
예를 들어, 스케일러(1110)는, 입력 영상을, FHD 또는 UHD로 정규화(normalization)시킬 수 있다.
현재 널리 퍼져 있는 비디오가 FHD 이하임을 고려했을 때, 스케일러(1110)로, Up-Scaler가 주로 사용될 수 있다.
이때 사용되는 스케일러(1110)는, 외부장치의 영상 변환기 모델링 및 데이터 왜곡을 통한 추가 성능 개선을 위하여 data augmentation 기능, Noise 추가, 회전, 일부 Enhance 등이 포함될 수 있다.
한편, 스케일러(1110)에서 제1 해상도로 스케일링된 입력 영상과, 원본 영상 해상도 정보에 기초하여, 퀄리티 학습부(633)에서, 성능 평가 및 학습 과정이 진행된다.
퀄리티 학습부(633)에서의 퀄리티 학습은, 추론 모듈의 Forward path에서 연산된 Soft Max의 score loss 값과 딥러닝 구조의 모든 node value를 외부 메모리(예를 들어, DRAM) 등에 저장했다가, Source Resolution Training 모듈의 backward propagation 에서 synapse weight를 업데이트하는 과정에 사용된다.
한편, 도면에서는, 퀄리티 연산부(632)와 퀄리티 학습부(633)가 분리되어, 각각 Inference 와 Training 이 분리되어 수행되는 것을 예시한다.
한편, 가중치 설정부(1120)는, 퀄리티 학습부(633)에서 학습된 과정에 의해 갱신된 신규 시냅스 가중치(Synapse Weight)를 바로 적용하지 않고, 평가 과정을 거친 후, 기존의 가중치 세트(weight set)를 교체 또는 업데이트할 수 있다.
한편, 제1 해상도의 영상은, 퀄리티 연산부(632)와 퀄리티 학습부(633)에 제공될 수 있다. 이에 따라, 퀄리티 연산부(632)와 퀄리티 학습부(633)에서의 연산량을 저감할 수 있게 된다.
한편, 본 발명의 실시예에 따른 신호 처리부(170)는, 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스(1115)를 더 포함할 수 있다.
한편, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 데이터 베이스(1115) 내의 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 아울러, 퀄리티 학습시의 연산량을 저감할 수 있게 된다.
한편, 데이터 베이스(1115)에 저장되는 일부 영역은, 입력되는 영상의 분석에 기초하여, 업데이트될 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 데이터 베이스(1115)는, 입력 영상 중 에지 영역 중 샤프니스의 레벨이 기준치 이상인 영역을 저장할 수 있다. 이에 따라, 영상 분석시의 연산량을 저감할 수 있게 된다.
한편, 데이터 베이스(1115)는, 학습을 위한 학습 영상을 저장할 수 있다.
한편, 퀄리티 연산부(632) 및 퀄리티 학습부(633)는, 심층 신경망(Deep Neural Network)을 이용하여, 퀄리티 연산 및 퀄리티 학습을 각각 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하인 경우가 연속적으로 발생하는 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보가 입력된 상태에서, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 포워드(forward), 백워드(backward) 프로파게이션(propagation)을 반복적으로 수행하여, 내부의 수학 모델을 업데이트하고, 업데이트된 수학 모델에 기초하여 포워드, 백워드 프로파게이션을 반복적으로 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 외부로부터 수학 모델이 수신되는 경우, 업데이트된 수학 모델을 초기화할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 입력 영상은, 스트리밍 입력 영상, 방송 영상, 외부 장치로부터 입력되는 영상 또는 웹 기반 영상을 포함할 수 있다. 이에 따라, 다양한 입력 영상에 대한 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 화질 설정부(634)는, 설정된 화질에 따라, 노이즈 리덕션 설정값을 출력하거나, 샤프니스 설정값을 출력할 수 있다. 이에 따라, 영상 타입에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 영상 타입에 관한 정보는, 해상도에 대한 정보, 화질 퀄리티 정보를 포함할 수 있다. 이에 따라, 해상도에 또는 화질 퀄리티에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 신호 처리부(170)는, 입력 영상의 화질에 따라 최적의 튜닝을 적용할 수 있다.
한편, 신호 처리부(170)는, 실시간으로 입력 영상을 분석하여, 원본 해상도, Noise 수준, 압축 수준, Enhancement 수준을 판별할 수 있다.
한편, 신호 처리부(170)는, 연산된 영상 정보 데이터에 기초하여, 위화감 없이 화질 세팅을 변경할 수 있다.
예를 들어, 신호 처리부(170)는, 입력 영상이, Enhancement 가 필요한 경우, Enhancement 강도를 조정할 수 있다.
다른 예로, 신호 처리부(170)는, 원본 해상도에 따라 입력 영상 내 텍스쳐(Texture) 또는 에지(Edge)의 두께와, 선명도의 차이가 있으므로, 화질 처리시, 다른 필터 사이즈(Filter size)를 적용할 수 있다.
구체적으로, 신호 처리부(170)는, 입력 영상의 해상도가 높아질수록, 필터 사이즈를 작아지도록 할 수 있다.
예를 들어, 신호 처리부(170)는, 고해상도의 입력 영상이 입력되는 경우, 필터 사이즈를 작게 하여, 원 영상의 텍스쳐(Texture) 또는 에지(Edge)를 더 선명하게 보이도록 하고, 저해상도의 입력 영상이 입력되는 경우, 필터 사이즈를 크게 하여 상대적으로 더 폭이 넓은 에지와 텍스쳐에 대해 화질 개선 처리되도록 한다.
한편, 신호 처리부(170)는, 외부의 셋탑 박스(300) 또는 네트워크를 통해 수신되는 영상 신호의 원본 퀄리티를 연산하는 퀄리티 연산부(632)와, 연산된 원본 퀄리티에 따라, 영상 신호의 화질을 설정하는 화질 설정부(634)와, 설정된 화질에 따라, 영상 신호의 화질 처리를 수행하는 화질 처리부(635)를 포함할 수 있다.
화질 설정부(634)는, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변하며, 화질 처리부(635)는, 제1 설정에서 제2 설정으로 순차 가변되는 화질 설정에 따라, 화질 처리를 수행한다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 화질 설정부(634)는, 영상 재생 중에, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티의 가변시 실시간으로 화질 설정을 변경할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
한편, 화질 설정부(634)는, 셋탑 박스(300)로부터 영상 신호가 수신되는 상태에서, 채널 변경 또는 입력 변경에 따라, 수신되는 영상 신호의 원본 퀄리티가, 제1 시점에 가변되는 경우, 화질 설정을 제1 설정에서 제2 설정으로 순차적으로 가변할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 가변에 따른 화질 변경시 깜박거림을 저감할 수 있게 된다. 특히, 영상 신호의 원본 퀄리티 가변시 급격한 화질 변경이 수행되지 않으므로, 부드러운 화질 변경이 가능하게 된다.
퀄리티 연산부(632)는, 입력 영상을 UHD (3840x2160 이상), FHD (1920x1080), HD (1280x720), SD ( 720x480 이하) 등으로 분류할 수 있다.
퀄리티 연산부(632)는, 입력 영상에 대해, 각각의 해상도별 확률을 구하고, 최종 예측한 확률이 가장 높은 해상도를 최종 해상도로 선정하며, 최종 예측 확률이 너무 낮은 경우는 판단에서 제외한다.
퀄리티 연산부(632)는, 해상도 이외에도 Noise 수준 및 압축 수준을 예상할 수 있다.
한편, 퀄리티 연산부(632)는, 압축 수준 연산시, 원본 상태를 기준으로 압축 bit-rate를 낮추어 가면서 취득한 학습 DATA를 기반으로 하여 압축 수준을 판단할 수 있다.
예를 들어, 퀄리티 연산부(632)는, FHD의 경우 현재 Digital TV 방송 표준을 1.0 수준으로 평가하고, 압축을 많이 하여 DATA가 소실 될 수록 0.0인 것으로 연산할 수 있다.
한편, 퀄리티 연산부(632)는, 입력 영상 내의 Flicker의 수준을 측정하여, Noise 수준을 연산할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 입력 영상 내의 노이즈 수준을, 강,중,약,노이즈없음의 4단계로 연산할 수 있다.
한편, 퀄리티 연산부(632)는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 수신되는 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 서버(600)로부터 심층 신경망에 대한 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산할 수 있다. 이에 따라, 학습 기반하에 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 영상 신호의 제1 영역 및 제2 영역을 추출하고, 제1 영역에 기초하여, 영상 신호의 원본의 해상도를 연산하며, 제2 영역에 기초하여, 영상 신호의 노이즈 수준을 연산할 수 있다. 이에 따라, 퀄리티 연산에 적합한 영상 추출에 기초하여, 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 영상 신호 내에 에지 성분이 가장 많은 영역을 제1 영역으로 추출하고, 영상 신호 내에 에지 성분이 가장 적은 영역을 제2 영역으로 추출할 수 있다. 이에 따라, 퀄리티 연산에 적합한 영상 추출에 기초하여, 영상 신호의 원본 퀄리티 연산을 정확하게 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 연산된 노이즈 수준이 높을수록, 영상 신호의 노이즈 리덕션 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 노이즈 수준에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산부(632)는, 수신되는 영상 신호의 원본의 해상도, 노이즈 수준 및 압축 수준을 연산하며, 압축 비트 레이트를 낮추어 가면서 취득한 학습 데이터에 기초하여, 압축 수준을 연산할 수 있다.
한편, 화질 처리부(635)는, 연산된 압축 수준이 높을수록, 영상 신호의 인핸스 처리 강도가 작아지도록 제어할 수 있다. 이에 따라, 압축 수준 연산을 정확하게 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 영상 신호의 원본의 해상도가 커질수록, 영상 신호의 인핸스 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 연산된 압축 수준이 높을수록, 영상 신호의 블러 처리 강도가 커지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 압축 수준에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 영상 신호의 원본의 해상도가 커질수록 영산 신호의 필터링을 위한 필터의 사이즈가 작아지도록 제어할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다.
한편, 화질 처리부(635)는, 영상 신호의 원본의 해상도에 따라, 영상 신호를 다운 스케일링 한 이후, 다운 스케일링된 영상 신호에 대해 화질 처리를 수행하고, 화질 처리 수행된 영상 신호를 업 스케일링하고, 업 스케일링된 영상 신호를 출력할 수 있다. 이에 따라, 수신되는 영상 신호의 원본의 해상도에 적합한 화질 처리를 수행할 수 있게 된다
한편, 도 8의 신호 처리 장치의 내부는 다양한 변형이 가능하다. 특히, 도 8의 퀄리티 연산부(632)와 퀄리티 학습부(633)는 통합될 수도 있다. 이에 대해서는, 도 9를 참조하여 기술한다.
도 9는 본 발명의 다른 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 발명의 다른 실시예에 따른 신호 처리부(170b)는, 도 8의 신호 처리부(170)와 유사하게, 화질 설정부(634)와, 화질 처리부(635), 스케일러(1110), 데이터 베이스(1115), 가중치 설정부(1120)를 포함할 수 있다.
화질 설정부(634)와, 화질 처리부(635), 스케일러(1110), 데이터 베이스(1115), 가중치 설정부(1120)의 동작은, 도 8의 설명에 대응할 수 있다.
다만, 도 9의 신호 처리부(170b)는, 도 8의 퀄리티 연산부(632)와 퀄리티 학습부(633)는 통합된 퀄리티 연산 학습부(632b)를 구비할 수 있다.
퀄리티 연산 학습부(632b)는, 입력 영상에 대한 영상 타입에 관한 정보를 연산하며, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다.
그리고, 퀄리티 연산 학습부(632b)는, 학습된 결과에 기초하여, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다.
이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부(633)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편,퀄리티 연산 학습부(632b)는, 가중치 설정부(1120)에서 설정된 가중치에 따라, 입력 영상에 대한 영상 타입에 관한 정보를 연산할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 가중치 설정부(1120)에서 설정된 가중치에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 복수의 영상 타입에 대한 확률을 연산하고, 복수의 확률 정보를 출력하며, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 연산 학습부(632b)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 출력된 복수의 영상 타입의 확률 정보 중 최대 확률 정보의 레벨이, 기준 레벨 이하인 경우, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 데이터 베이스(1115) 내의 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 아울러, 퀄리티 학습시의 연산량을 저감할 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 심층 신경망(Deep Neural Network)을 이용하여, 퀄리티 연산 및 퀄리티 학습을 각각 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하인 경우가 연속적으로 발생하는 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 입력 영상의 영상 타입에 관한 정보가 입력된 상태에서, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 포워드, 백워드 프로파게이션을 반복적으로 수행하여, 내부의 수학 모델을 업데이트하고, 업데이트된 수학 모델에 기초하여 포워드, 백워드 프로파게이션을 반복적으로 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 연산 학습부(632b)는, 외부로부터 수학 모델이 수신되는 경우, 업데이트된 수학 모델을 초기화할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
이와 같이, 추론 및 학습이 딥퀄리티 연산 학습부(632b)의 하나의 모듈을 통해 수행되므로, 데이터 처리 속도가 향상될 수 있다.
도 10은 도 8 또는 도 9의 신호 처리 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 발명의 실시예에 따른 신호 처리부(170)는, 영상 분석부(610), 및 화질 처리부(635)를 구비할 수 있다.
영상 분석부(610)는, 도 8 또는 도 9의 퀄리티 연산부(632) 또는 퀄리티 연산 학습부(632b)와, 화질 설정부(634)를 구비할 수 있다.
영상 분석부(610)는, 입력 영상 신호를 분석하고, 분석된 입력 영상 신호와 관련된 정보를 출력할 수 있다.
한편, 영상 분석부(610)는, 입력되는 제1 입력 영상 신호의 오브젝트 영역과 배경 영역을 구분할 수 있다. 또는, 영상 분석부(610)는, 입력되는 제1 입력 영상 신호의 오브젝트 영역과 배경 영역의 확률 또는 비율을 연산할 수 있다.
입력 영상 신호는, 영상 수신부(105)로부터의 입력 영상 신호이거나, 도 3의 영상 디코더(320)에서 복호화된 영상일 수 있다.
특히, 영상 분석부(610)는, 인공 지능(artificial intelligence;AI)을 이용하여, 입력 영상 신호를 분석하고, 분석된 입력 영상 신호 정보를 출력할 수 있다.
구체적으로, 영상 분석부(610)는, 입력 영상 신호의 해상도, 계조(resolution), 잡음 수준, 패턴 여부 등을 분석하고, 분석된 입력 영상 신호와 관련된 정보, 특히 화질 설정 정보를, 화질 처리부(635)로 출력할 수 있다.
화질 처리부(635)는, HDR 처리부(705), 제1 리덕션부(710), 인핸스부(750), 제2 리덕션부(790)를 구비할 수 있다.
HDR 처리부(705)는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해, 하이 다이내믹 레인지(HDR) 처리를 할 수 있다.
예를 들어, HDR 처리부(705)는, 스탠다드 다이내믹 레인지(Standard Dynamic Range; SDR) 영상 신호를 HDR 영상 신호로 변환할 수 있다.
다른 예로, HDR 처리부(705)는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해, 하이 다이내믹 레인지를 위한, 계조 처리를 할 수 있다.
한편, HDR 처리부(705)는, 입력되는 영상 신호가 SDR 영상 신호인 경우, 계조 변환을 바이패스하고, 입력되는 영상 신호가 HDR 영상 신호인 경우, 계조 변환을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, HDR 처리부(705)는, 저계조와 고계조 중 저계조를 강조하고 고계조가 포화되도록 하는 제1 계조 변환 모드, 또는 저계조와 고계조 전반에 대해 다소 균일하게 변환되도록 하는 제2 계조 변환 모드에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, HDR 처리부(705)는, 제1 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제1 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
더 구체적으로, HDR 처리부(705)는, 제1 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제1 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, HDR 처리부(705)는, 제2 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제2 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
더 구체적으로, HDR 처리부(705)는, 제2 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제2 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서의 제3 계조 변환 모드 또는 제4 계조 변환 모드에 따라, 제1 계조 변환 모드, 또는 제2 계조 변환 모드를 선택할 수도 있다.
예를 들어, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제3 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제3 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제3 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제3 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제4 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제4 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제4 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제4 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
예를 들어, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서, 제4 계조 변환 모드가 수행되는 경우, 제2 계조 변환 모드를 수행할 수 있다.
다른 예로, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서, 제3 계조 변환 모드가 수행되는 경우, 제1 계조 변환 모드를 수행할 수 있다.
또는, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서의 계조 변환 모드에 따라, 수행되는 계조 변환 모드를 가변할 수도 있다.
예를 들어, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서 제2 계조 변환 모드가 수행되는 경우, 제4 계조 변환 모드를 수행할 수 있다.
다른 예로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서 제1 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드를 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 HDR 처리부(705)는, 저계조와 고계조가 균일하게 변환되도록 계조 변환 모드를 수행할 수 있다.
한편, 제2 리덕션부(790)는, HDR 처리부(705)에서의, 제2 계조 변환 모드에 따라, 제4 계조 변환 모드를 수행하며, 이에 입력되는 영상 신호의 계조의 상한 레벨을 증폭할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
다음, 제1 리덕션부(reduction unit))(710)는, 입력 영상 신호 또는 HDR 처리부(705)에서 처리된 영상 신호에 대해, 노이즈 제거를 수행할 수 있다.
구체적으로, 제1 리덕션부(reduction unit))(710)는, 입력 영상 신호 또는 HDR 처리부(705)로부터의 HDR 영상에 대해, 상기 다단계 노이즈 제거 처리, 및 제1 단계 계조 확장 처리를 할 수 있다.
이를 위해, 제1 리덕션부(710)는, 다단계로 노이즈 제거를 위한 복수의 노이즈 제거부(715,720)와, 계조 확장을 위한 계조 확장부(725)를 구비할 수 있다.
다음, 인핸스부(enhancement unit)(750)는, 제1 리덕션부(710)로부터의 영상에 대해, 다단계 영상 해상도 향상 처리를 할 수 있다.
또한, 인핸스부(750)는, 오브젝트 입체감 향상 처리를 할 수 있다. 또한, 인핸스부(750)는, 컬러 또는 컨트라스트 향상 처리를 할 수 있다.
이를 위해, 인핸스부(750)는, 다단계로 영상 해상도 향상을 위한 복수의 해상도 향상부(735,738,742), 오브젝트의 입체감 향상을 위한 오브젝트 입체감 향상부(745), 컬러 또는 컨트라스트 향상을 위한 컬러 컨트라스트 향상부(749)를 구비할 수 있다.
다음, 제2 리덕션부(790)는, 제1 리덕션부(710)로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 제2 단계 계조 확장 처리를 수행할 수 있다.
한편, 제2 리덕션부(790)는, 입력되는 신호의 계조의 상한 레벨을 증폭하고, 입력 신호의 도계조의 해상를 확장할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
예를 들어, 입력되는 신호의 전 계조 영역에 대해 균일하게 계조 확장을 수행할 수 있다. 이에 따라, 입력 영상의 영역에 대해 균일한 계조 확장이 수행되면서, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 제1 계조 확장부(725)로부터의 입력 신호에 기초하여, 계조 증폭 및 확장을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 입력되는 영상 신호가 SDR 영상 신호인 경우, 증폭의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 입력되는 영상 신호가 HDR 영상 신호인 경우, 설정된 값에 따라, 증폭을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 입력되는 영상 신호가 HDR 영상 신호인 경우, 증폭의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 계조 확장시, 계조 확장의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, HDR 처리부(705)에서의, 계조 변환 모드에 따라, 계조의 상한 레벨을 증폭시킬 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
신호 처리부(170)는, 영상 신호를 입력받고, 입력되는 영상 신호의 휘도를 조절하는 HDR 처리부(705)와, HDR 처리부(705)로부터의 영상 신호의 휘도를 증폭하고, 영상 신호의 계조 해상도를 증가시켜, 인핸스드(enhanced) 영상 신호를 생성하는 리덕션부(790)를 포함하고, 앤핸스드 영상 신호는, 표시되는 HDR 이미지 내의 하이다이나믹 레인지를 유지하는 동안, 영상 신호의 증가된 휘도와 계조 해상도를 제공한다.
한편, 영상 신호의 휘도 범위는, 신호 처리부(170)에 수신되는 제어 신호에 따라 조절된다.
한편, 입력되는 영상 신호가 HDR 신호인지 SDR 신호인지 여부를 결정하고, HDR 처리부(705)로 제공하기 위한 제어 신호를 생성하는 영상 분석부를 더 포함하고, 제어 신호가, 입력되는 영상 신호가 HDR 신호인 것을 나타내는 경우에만 조절된다.
한편, 제어 신호는, 신호 처리와 연관된 영상 표시 장치의 제어부로부터 수신되고, 영상 표시 장치의 설정에 대응한다.
한편, 계조의 해상도는, 영상 신호의 조정된 휘도의 증폭에 기초하여 증가된다.
한편, 계조의 해상도는, 신호 처리부(170)에 입력되는 제어 신호에 기초하여 증가된다.
한편, 제어 신호는, 신호 처리와 연관된 영상 표시 장치의 제어부로부터 수신되고, 영상 표시 장치의 설정에 대응한다.
한편, 리덕션부(790)는, 입력되는 신호의 계조의 상한 레벨을 증폭하는 고계조 증폭부(851)와, 고계조 증폭부(851)로부터의 증폭된 계조의 해상도를 확장하는 디컨투어부(842,844)를 포함할 수 있다.
제2 리덕션부(790)는, 제2 단계 계조 확장을 위한 제2 계조 확장부(729)를 구비할 수 있다.
한편, 본 발명의 신호 처리부(170) 내의 화질 처리부(635)는, 도 10과 같이, 4단계의 리덕션 처리와, 4단계의 영상 향상 처리를 수행하는 것을 특징으로 한다.
여기서, 4단계 리덕션 처리는, 2단계의 노이즈 제거 처리와, 2단계의 계조 확장 처리를 포함할 수 있다.
여기서, 2단계의 노이즈 제거 처리는, 제1 리덕션부(710) 내의 제1 및 제2 노이즈 제거부(715,720)가 수행하며, 2단계의 계조 확장 처리는, 제1 리덕션부(710) 내의 제1 계조 확장부(725)와, 제2 리덕션부(790) 내의 제2 계조 확장부(729)가 수행할 수 있다.
한편, 4단계 영상 향상 처리는, 3단계의 영상 해상도 향상 처리(bit resolution enhancement)와, 오브젝트 입체감 향상 처리를 구비할 수 있다.
여기서, 3단계의 영상 해상도 향상 처리는, 제1 내지 제3 해상도 향상부(735,738,742)가 처리하며, 오브젝트 입체감 향상 처리는, 오브젝트 입체감 향상부(745)가 처리할 수 있다.
한편, 본 발명의 신호 처리부(170)는, 다단계 화질 처리로서 동일 또는 유사한 알고리즘을 다중 적용하여 점진적으로 화질을 향상시킬 수 있다.
이를 위해, 본 발명의 신호 처리부(170) 내의 화질 처리부(635)는, 동일 또는 유사 알고리즘을 2회 이상 적용하여, 화질 처리를 진행할 수 있다.
한편, 화질 처리부(635)에서 수행되는 동일 또는 유사 알고리즘은, 각 단계별로 달성하고자 하는 목표가 다르며, 점진적으로 다단계 화질 처리를 수행함으로써, 1 단계에 모든 화질을 처리하는 것 대비하여, 영상의 아티팩트(Artifact)가 적게 발생하는 장점이 있으며, 보다 자연스럽고 보다 선명한 영상 처리 결과물을 얻을 수 있다는 장점이 있다.
한편, 동일 또는 유사 알고리즘을, 다른 화질처리 알고리즘과 교차하면서 다중으로 적용함으로써, 단순 연속 처리 이상의 효과를 얻을 수 있게 된다.
한편, 본 발명의 신호 처리부(170)는, 다단계로 노이즈 제거 처리를 수행할 수 있다. 각 단계의 노이즈 제거 처리는, 시간(Temporal) 처리와, 공간(Spatial) 처리를 포함할 수 있다.
한편, 영상 신호의 원본 퀄리티를 연산하기 위해, 본 발명에서는, 인공지능과 같은 최신의 기술을 사용한다. 이를 위해, 심층 신경망(Deep Neural Network)을 이용할 수 있다.
퀄리티 연산부(632)는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산한다.
퀄리티 연산부(632) 또는 퀄리티 연산부(670)는, 원본 해상도 및 압축 수준 별 학습 영상을 취득하여 정확도가 향상되도록 Network를 학습시킬 수 있다.
학습에 사용한 영상은 일상의 방송에서 접할 수 있는 일반적인 영상으로 다양한 영상으로 구비되어 전체 입력 환경을 커버할 수 있다.
한편, 퀄리티 연산부(632)는, 검출시 필요한 시간 또는 비용 감축을 목적으로 계층수가 적은 Convolutional Neural Network, Mobile-Net 등을 활용하여 학습을 진행할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 전체 영상 중 일부 영역(예: 224x224, 128x128, 64x64)만을 분석할 수 있다.
한편, 퀄리티 연산부(632)는, 검출 목적에 맞는 적절한 검출 영역을 선택할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 원본 해상도 검출시, Edge 성분이 가장 많은 제1 영역을 선택하고, 노이즈 검출시, Edge 성분이 가장 적은 제2 영역을 선택할 수 있다.
특히, 퀄리티 연산부(632)는, 처리 속도 향상을 목적으로 검출 영역을 빠르게 선정하는 알고리즘 적용할 수 있다.
예를 들어, 퀄리티 연산부(632)는, 검출 정확도 향상을 목적으로 검출 영역에, FFT(Fast Fourier Transform)과 같은 전처리 작업을 수행할 수 있다.
도 11a는 Convolutional Neural Network에 기반한 연산을 도시하는 도면이다.
도면을 참조하면, 획득된 이미지(1010) 내의 일부 영역(1015)에 대해, 컨벌루션 뉴럴 네트워크(convolutional Neural Network)를 사용한다.
컨벌루션 뉴럴 네트워크는, 컨벌루션 네트워크(Convolution network)와, 디컨벌루션 네트워크(Deconvolution network)가 수행될 수 있다.
이러한 컨벌루션 뉴럴 네트워크에 의하면, 컨벌루션(convolution), 풀링(pooling)이 반복적으로 수행된다.
한편, 도 11a의 CNN 기법에 의하면, 일부 영역(1015) 내의 픽셀(pixel)의 종류를 판단하기 위해, 영역(1015)의 정보가 사용될 수 있다.
도 11b는 Mobile-Net에 기반한 연산을 도시하는 도면이다.
도면과 같은 방식에 의해, 퀄리티 연산이 수행되게 된다.
한편, 본 발명의 신호 처리부(170)는, 원본 Quality 가 변함에 따라 실시간으로 Quality에 상응하는 화질 세팅이 적용되도록 한다.
특히, 신호 처리부(170)는, 화질 세팅 변경시, 채널 변경 또는 입력 변경 등의 조건없이 영상 재생 중에 세팅이 변경되도록 한다.
여기서 실시간이라 하는 것은 IIR 방식 , Step 이동 방식을 포함한 Temporal 처리 기술을 사용하는 것을 의미한다.
도 12는 본 발명의 일 실시예에 따른 신호 처리 장치의 동작방법을 나타내는 순서도이다.
도면을 참조하면, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 입력 영상에 대한 퀄리티를 연산한다.(S1010).
예를 들어, 도 8의 신호 처리부(170) 내에, 다양한 해상도(SD,HS,FHD,UHD 등)의 입력 영상이 입력되는 경우, 스케일러(1110)는, 제1 해상도, 예를 들어, 2K의 해상도로 스케일링을 수행한다.
그리고, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 제1 해상도의 입력 영상에 대한 퀄리티 연산을 수행한다.
특히, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 영상 타입에 관한 정보를 연산할 수 있다.
이때, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 심층 신경망(Deep Neural Network)을 이용하여, 수신되는 영상 신호의 해상도와, 노이즈 수준을 연산하고, 연산된 해상도, 노이즈 수준 등을 고려하여, 영상 타입에 관한 정보를 연산할 수 있다.
영상 타입에 관한 정보는, 해상도에 대한 정보, 노이즈 수준과 관련한 화질 퀄리티 정보를 포함할 수 있다.
예를 들어, 영상 타입에 관한 정보는, 2K 해상도의 양호한 퀄리티 정보, 2K 해상도의 불량한 퀄리티 정보, 4K 해상도의 양호한 퀄리티 정보, 4K 해상도의 불량한 퀄리티 정보 등으로 구분될 수 있다.
한편, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 데이터 베이스(1115)에 저장된 이전 입력 영상과 현재 입력 입상을 비교하고, 비교 결과에 기초하여, 복수의 영상 타입에 대한 확률을 연산하고, 확률 정보를 출력할 수 있다.
예를 들어, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 2K 해상도의 양호한 퀄리티 정보에 대응하는 제1 확률 정보, 2K 해상도의 불량한 퀄리티 정보에 대응하는 제2 확률 정보, 4K 해상도의 양호한 퀄리티 정보에 대응하는 제3 확률 정보, 4K 해상도의 불량한 퀄리티 정보에 대응하는 제4 확률 정보를 각각 연산하여 출력할 수 있다.
다른 예로, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 해상도 정보만을 연산하여, 해상도 정보와 관련된, HD 해상도에 대응하는 제1 확률 정보, FHD 해상도에 대응하는 제2 확률 정보, 2K 해상도에 대응하는 제3 확률 정보, 4K 해상도에 대응하는 제4 확률 정보, 8K 해상도에 대응하는 제5 확률 정보를 각각 연산하여 출력할 수 있다.
다음, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 신호 처리부(170) 내의 퀄리티 학습부(633)가, 동작하여, 학습을 수행할 수 있다(S1020).
예를 들어, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 퀄리티 학습부(633)가 동작하여 학습을 수행하도록 제어할 수 있다.
다른 예로, 신호 처리부(170) 내의 퀄리티 학습부(633)는, 별도로 입력 영상의 영상 타입에 관한 정보의 레벨을 연산하거나, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이를 연산하고, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 퀄리티 학습부(633)가 동작하여 학습을 수행하도록 제어할 수 있다.
한편, 퀄리티 학습부(633)는, 출력된 복수의 영상 타입의 확률 정보 중 최대 확률 정보의 레벨이, 기준 레벨 이하인 경우, 퀄리티 학습을 수행할 수 있다.
한편, 퀄리티 연산부(632) 및 퀄리티 학습부(633)는, 심층 신경망(Deep Neural Network)을 이용하여, 퀄리티 연산 및 퀄리티 학습을 각각 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하인 경우가 연속적으로 발생하는 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보가 입력된 상태에서, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 포워드, 백워드 프로파게이션을 반복적으로 수행하여, 내부의 수학 모델을 업데이트하고, 업데이트된 수학 모델에 기초하여 포워드, 백워드 프로파게이션을 반복적으로 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 퀄리티 학습부(633)는, 외부로부터 수학 모델이 수신되는 경우, 업데이트된 수학 모델을 초기화할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
다음, 신호 처리부(170) 내의 가중치 설정부(1120)는, 퀄리티 학습부(633)에서 수행된 학습 결과에 따라 가중치 또는 파라미터를 가변하고, 가변된 가중치 또는 파라미터를 퀄리티 연산부(632)에 출력할 수 있다(S1030).
다음, 퀄리티 연산부(632)는, 가변된 가중치 또는 파라미터에 기초하여 입력 영상에 대한 퀄리티를 연산할 수 있다(S1040).
이와 같이, 퀄리티 연산에 대한 평가 수행 후, 평가 성능에 따라, 선택적으로 퀄리티 학습을 시킴으로써, 가변된 가중치 등에 기초하여, 퀄리티 연산의 정확도를 향상시킬 수 있게 된다. 따라서, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
다음, 신호 처리부(170) 내의 화질 설정부(634)는, 퀄리티 연산부(632)에서 연산된 퀄리티에 기초하여, 화질을 설정을 수행할 수 있다(1050).
구체적으로, 신호 처리부(170) 내의 화질 설정부(634)는, 연산된 영상 타입에 관한 정보에 기초하여, 화질을 설정을 수행할 수 있다.
한편, 화질 설정부(634)는, 퀄리티 연산부(632)로부터의 복수의 영상 타입에 관한 확률 정보에 기초하여, 화질을 설정할 수 있다.
또는, 화질 설정부(634)는, 복수의 영상 타입에 관한 확률 정보에 기초하여, 어느 하나의 영상 타입으로 결정하며, 결정된 영상 타입에 대응하는 화질을 설정할 수 있다.
한편, 화질 설정부(634)는, 설정된 화질에 따라, 노이즈 리덕션 설정값을 출력하거나, 샤프니스 설정값을 출력할 수 있다.
다음, 화질 처리부(635)는, 설정된 화질에 따라, 화질 처리를 수행할 수 있다(S1060). 화질 처리부(635)는, 도 10의 설명에서 설명한 바에 대응하는 동작을 수행할 수 있다.
다음, 디스플레이(180)는, 설정된 화질에 따라, 화질 처리된 영상을 신호 처리부(170)로부터 수신하고, 설정된 화질에 따라, 화질 처리된 영상을 표시할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리가 수행된 영상을 표시할 수 있게 된다.
도 13a 내지 도 17은 도 12의 동작 설명에 참조되는 도면이다.
도 13a는 본 발명의 실시예에 따라 퀄리티 학습부 또는 퀄리티 연산 학숩부에서 수행되는 학습 과정을 보여주는 도면이다.
도면을 참조하면, 신호 처리부(170) 내의 퀄리티 연산부(632) 또는 퀄리티 학습부(633)는, 퀄리티 연산 레벨에 대한 평가를 수행한다.
예를 들어, 신호 처리부(170) 내의 퀄리티 연산부(632) 또는 퀄리티 학습부(633)는, Pa 구간 동안, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인지 여부를 판단할 수 있다.
다른 예로, 신호 처리부(170) 내의 퀄리티 연산부(632) 또는 퀄리티 학습부(633)는, Pa 구간 동안, 현재 입력 영상에 대한 추론 동작을 수행하여, 추론 network의 평가 결과와 영상에서 주어지는 해상도 정보를 비교하여 성능을 평가하는 validation phase을 수행하고, 이후 개선이 필요한 지 여부를 판단할 수 있다.
한편, 신호 처리부(170) 내의 퀄리티 연산부(632) 또는 퀄리티 학습부(633)는, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 퀄리티 학습이 수행되도록 제어할 수 있다.
이에 따라, 신호 처리부(170) 내의 퀄리티 연산부(632) 또는 퀄리티 학습부(633)는, Pa1 구간 동안, 학습에 사용하기 위해, 데이터 베이스(1115)에 저장된 영상의 일부 영역 등을 추출할 수 있다.
한편, 신호 처리부(170) 내의 퀄리티 연산부(632) 또는 퀄리티 학습부(633) 내의 딥 러닝 모듈은, Pa 구간 동안, 추론(inference) 동작을 수행할 수 있다.
다음, 신호 처리부(170) 내의 퀄리티 학습부(633)는, Pb 구간 동안, 퀄리티 학습을 수행할 수 있다. 즉, Training 을 진행하는 학습 단계를 수행할 수 있다.
한편, 신호 처리부(170) 내의 퀄리티 학습부(633) 내의 딥 러닝 모듈은, Pb 구간 동안, 추론(inference) 단계와 학습(training) 단계를 반복 수행할 수 있다.
다음, 신호 처리부(170) 내의 퀄리티 학습부(633) 또는 가중치 설정부(1120)는, Pc 구간 동안, 신호 처리부(170) 내의 퀄리티 학습부(633) 또는 가중치 설정부(1120) 등에서 업데이트한 시냅스 가중치(synapse weight)를 실제 추론기에 적용할지 여부를 판단하기 위한 성능 평가를 수행할 수 있다.
다음, 시냅스 가중치(synapse weight) 또는 파라미터의 업데이트가 결정되는 경우, 가중치 설정부(1120)에서 업데이트된 시냅스 가중치(synapse weight) 또는 파라미터가, 퀄리티 연산부(632)로 전달될 수 있다.
이에 따라, 신호 처리부(170) 내의 퀄리티 연산부(632)는, Pd 구간 동안, 노말 모드로서, 업데이트된 시냅스 가중치(synapse weight) 또는 파라미터에 기초하여, 입력 영상에 대한 퀄리티 연산을 수행할 수 있다.
이때, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 업데이트된 시냅스 가중치(synapse weight) 또는 파라미터에 기초하여, 데이터 베이스(1115)에 저장된 일부 영역 데이터와 입력 영상을 비교하여, 퀄리티 연산을 수행할 수 있다.
한편, 도면에서 기술한 Pa 내지 Pd 구간은 계속 반복하여 수행될 수 있다. 이에 따라, 퀄리티 학습부(633)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있으며, 결국, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다.
한편, 신호 처리부(170) 내의 퀄리티 연산부(632), 퀄리티 학습부(633) 또는 가중치 설정부(1120) 등에서의 업데이트 등은, 주기적으로 빈번하게 수행되는 것도 가능하나, 이에 한정되지 않으며, 비 정기적으로 수행되는 것도 가능하다.
한편, 학습/평가 영상 구성과 딥러닝 학습, 성능 평가는, 주기적으로 빈번하게 수행되는 것도 가능하나, 이에 한정되지 않으며, 여러 차례 장기간 충분한 반복 과정을 통하여 수행되는 것도 가능하다.
도 13b는 도 13a의 학습 과정의 상세 도면이다.
도면을 참조하면, 학습이 수행되는 Pb 구간 동안, 한편, 신호 처리부(170) 내의 퀄리티 학습부(633) 내의 딥 러닝 모듈은, 학습 데이터에서 Mini-batch 를 구성하여 복수의 iteration 구간이 수행되도록 제어할 수 있다.
각 iteration 구간 동안, 신호 처리부(170) 내의 퀄리티 학습부(633) 내의 딥 러닝 모듈은, 포워드, 백워드 프로파게이션을 반복적으로 수행하여, 내부의 수학 모델을 업데이트할 수 있다.
그리고, 그 이후의 iteration 구간 동안, 업데이트된 수학 모델에 기초하여 포워드, 백워드 프로파게이션을 반복적으로 수행할 수 있다.
한편, iteration 은, 데이터 베이스(1115)로부터의 학습용 영상 데이터 세트에서 random 하게 추출된 데이터 모음인 mini-batch와 대응될 수 있다.
신호 처리부(170) 내의 퀄리티 학습부(633)는, mini-batch 내 영상 마다 forward 과정을 거쳐 시냅스 가중치(synapse weight) 갱신에 필요한 데이터를 계산한 후 저장했다가, 이를 backward propagation 과정에 사용할 수 있다.
신호 처리부(170) 내의 퀄리티 학습부(633)는, 그 결과로 갱신한 딥러닝 검출기 모델을 다음 iteration 에서 이용할 수 있다. 그리고 , 신호 처리부(170) 내의 퀄리티 학습부(633)는, 성능이 수렴할 때까지 혹은 미리 지정한 iteration 횟수만큼 이 과정을 반복할 수 있다.
이때 mini-batch 를 구성하는 데이터의 양은, 신호 처리부(170)가 사용할 수 있는 DRAM 등의 메모리 영역에 의해 결정될 수 있다.
한편, 신호 처리부(170) 내의 퀄리티 학습부(633) 또는 퀄리티 연산부(632)는, 신호 처리부(170)의 일괄적인 소프트웨어 업데이트로, 외부의 서버(500)로부터 신규 알고리즘이 전송되는 경우, 딥 러닝 모듈의 기존 알고리즘과 신규 알고리즘이 동일한 지 여부를 판단할 수 있다.
이를 위해, 신호 처리부(170) 내의 퀄리티 학습부(633) 또는 퀄리티 연산부(632)는, Convolution, Pooling, Fully Connected layer 등 사용하는 layer 수와 순서, 각 layer의 kernel size와 stride 등 특성, 딥러닝 알고리즘의 입력 영상 사이즈 등이 모두 같은지 비교하여, 업데이트된 신규 알고리즘이 기존 알고리즘과 동일한 지 여부를 판단할 수 있다.
한편, 신규 알고리즘이 적용하던 기존 알고리즘과 동일한 구조인 경우와, 다른 경우는, 서로 다른 검출 추론 업데이트가 적용된다.
예를 들어, 딥 러닝 모듈의 기존 알고리즘과 신규 알고리즘이 동일한 경우로 판단되면, 신호 처리부(170) 내의 퀄리티 학습부(633) 또는 퀄리티 연산부(632)는, 자체 학습한 모델과 신규 Reference Model 성능 평가 이후, 최종 적용 버전을 결정한다.
이는 신호 처리부(170)에 입력되는 입력 영상의 특성 범위가 기기마다 상이하므로, 이러한 차이가 덜 반영될 수 밖에 없는 Software Update 버전이, 자체 학습한 버전보다 더 우위라고 볼 수 없기 때문이다.
다른 예로, 딥 러닝 모듈의 기존 알고리즘과 신규 알고리즘이 상이한 경우로 판단되면, 신호 처리부(170) 내의 퀄리티 학습부(633) 또는 퀄리티 연산부(632)는, 신규 알고리즘을 시스템에 적용하고 자체 학습한 모델은 모두 초기화한다.
대체로 딥러닝 알고리즘 성능은 동일 구조에서 시냅스 가중치(synapse weight)를 업데이트하는 Refined Tuning 보다 전체 구조를 변경하여 얻는 성능 유의차가 더 크므로, 신규 Reference Model을 새로운 시작 포인트로 설정하고, 그 이후 Training 도 신규 모델을 기준으로 업데이트하는 것이 추가 성능 개선을 기대할 수 있다.
도 14는 데이터 베이스(1115)에 저장 가능한 일부 영역에 대해 설명하기 위한 도면이다.
도면을 참조하면, 도 14의 (a)는 입력 영상(1400)의 일예를 나타낸다.
한편, 신호 처리부(170)는, 입력 영상(1400)의 에지 영역(SBa,SBb,SBc, SCa,SCb,SCc) 중 샤프니스의 레벨이 기준치 이상인 영역을 추출할 수 있다.
도면에서는, 입력 영상(1400)의 에지 영역(SBa,SBb,SBc, SCa,SCb,SCc) 중 Ba,SBb,SBc 영역이 기준치 이상이며, SCa,SCb,SCc 영역이 기준치 미만인 것을 예시한다.
따라서, 신호 처리부(170)는, 도 14의 (b)와 같이, 입력 영상(1400)의 에지 영역(SBa,SBb,SBc, SCa,SCb,SCc) 중 Ba,SBb,SBc 영역이, 데이터 베이스(1115)에 저장되도록 제어할 수 있다.
이에 따라, 데이터 베이스(1115)는, 도 14의 (c)와 같이, 입력 영상(1400)의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트(SBlist)를 저장할 수 있다.
한편, 입력 영상(1400)은, 하늘 영역과 같이 detail 성분이 없이 flat 하거나 de-focusing 되어 해상도 정보를 나타낸다고 할 수 없는 영역과, 선명도 정보를 갖고 있어 해상도 정보를 나타낸다고 할 수 있는 영역을 포함한다.
이때, 입력 영상(1400) 전체 영역에 대해, 퀄리티 연산, 학습 등에 사용하는 경우, 많은 픽셀을 처리해야 하므로 얻는 성과에 비해 불필요한 계산량을 요구하게 된다.
따라서, 신호 처리부(170)는, 입력 영상(1400)을 분석하여 학습 또는 검증용으로 적합한 영역을 추출하고, 추출된 영역의 그룹(Group)을 데이터 세트에 추가하여, 학습 과정의 입력 혹은 테스트 이미지로 사용할 수 있다.
한편, 신호 처리부(170)는, 지속적으로 동일한 영상이 입력되어 전체 네트워크가 bias 되는 것을 막기 위하여, Inference의 score에 근거 혹은 scene change 등의 부가적인 정보를 사용하여 딥러닝 학습시의 영상이 지속적으로 바뀌도록 할 수 있다.
그 외, 신호 처리부(170)는, 대표 영상의 평균값이나 edge 최대치 등 이미지를 나타낼 수 있는 수치를 DB화하여, 신규 이미지와 가장 흡사한 이미지를 교체하는 것도 가능하다.
한편, 데이터 베이스(1115)에 저장된, 학습용 영상 데이터 세트와, 성능 평가용 영상의 데이터 세트는, 각각 별개의 영상 모음으로 구성되는 것이 바람직하다. 즉, 동일한 영상 모음으로 구성되지 않는 것이 바람직하다.
이는, 유사한 영상이, 학습용 영상 데이터 세트와, 성능 평가용 영상의 데이터 세트 이미지가 양쪽 데이터에 포함되면, 공통의 영상으로 인하여, 평가 신뢰성이 낮아질 수 있기 때문이다.
한편, 데이터 베이스(1115)는, 이전 학습과 현재 학습 과정 동안 사용하는 영상의 일부만 업데이트하는 것이 바람직하다.
예를 들어, 학습용 영상 데이터 세트와, 성능 평가용 영상의 데이터 세트 내의 모든 영상이 변경되는 경우, 성능 개선 보다 정확성이 낮아질 수 있으므로, 매 학습 과정 마다, 학습용 영상 데이터 세트와, 성능 평가용 영상의 데이터 세트 중 일정 비율만 업데이트하는 것이 바람직할 수 있다.
한편, 성능 평가용 영상의 데이터 세트는, 학습 전체 단계에서 매 iteration 혹은 epoch 단계마다 학습된 모듈의 성능을 비교하는 기준이므로, 학습 과정을 포함하는 도 13a의 Pa 구간 부터, Pc 구간까지 업데이트되지 않는 것이 바람직하다.
도 15a 내지 도 15b는 학습 검증용 데이터 수집을 설명하기 위해 참조되는 도면이다.
먼저, 도 15의 (a)는, 비트스트림 영상이, 신호 처리부(170b)에 입력되는 것을 예시한다.
예를 들어, 외부로부터 비트스트림 영상이 입력되는 경우, 2K 영상 또는 4K 영상이 선별적으로 스트리밍 될 수 있다.
이때 2K 영상은 실제 원본 영상 해상도가 정확히 무엇인지 알 수 없는 반면, 4K 영상은 대부분 촬영부터 4K 로 획득한 경우가 대부분이므로, Network 상황에 따라 2K/4K 영상 streaming이 지속적으로 변경되면서 입력될 수 있다.
이에 따라, 영상의 압축 정보와 현재 application 정보에 근거하여, 인공지능 모듈로 인지시킴으로써 해당 영상이 적절하게 학습 데이터로 사용되도록 하는 것이 바람직하다.
한편, mastering 장비 등으로 원본 영상 해상도 정보가, 비트스트림 정보에 포함된 경우, 이를 이용하여 딥러닝 모듈에 사용하는 방안도 가능하다.
한편, UHD의 해상도의 비트스트림 영상이 입력되는 경우, 비디오 디코더((1507)에서 디코딩되면서, 입력 영상의 압축 정보가 추출될 수 있다.
한편, 퀄리티 연산학습부632b)는, 비디오 디코더((1507)에서의 입력 영상의 압축 정보와, 데이터 처리부(1505)에서의 현재 구동되는 어플리케이션 정보에 기초하여, 퀄리티 연산 또는 퀄리티 학습을 수행할 수 있다.
특히, 스케일러(1110)를 통해, 비트스트림 영상을 제1 해상도의 영상으로 변환한 후, 퀄리티 연산 또는 퀄리티 학습을 수행할 수 있다.
다음, 도 15의 (b)는, 웹 기반 영상이, 신호 처리부(170b)에 입력되는 것을 예시한다.
예를 들어, 외부로부터 웹 기반 영상이 입력되는 경우, 신호 처리부(170b) 내의 데이터 처리부(1509)는, 해상도 정보를 추출할 수 있다.
그리고, 퀄리티 연산 학습부(632b)는, 웹 기반 영상과 해상도 정보를 이용하여, 퀄리티 연산 또는 퀄리티 학습을 수행할 수 있다.
특히, 스케일러(1110)를 통해, 웹 기반 영상을 제1 해상도의 영상으로 변환한 후, 퀄리티 연산 또는 퀄리티 학습을 수행할 수 있다.
한편, 도 15a 내지 도 15b의 동작 설명은, 도 8의 신호 처리부(170)의 동작 설명에도 적용 가능하다. 이에 따라, 도 15a 내지 도 15b의 퀄리티 연산 학습부(632b)는, 도 8의 퀄리티 연산부(632)와 퀄리티 학습부(633)로 각각 분리되어 적용될 수 있다.
도 16a 내지 도 17은 본 발명의 실시예에 따른 신호 처리부(170)의 동작 설명에 참조되는 도면이다.
먼저, 도 16a는, 원본 영상(1605)의 해상도가 UHD 이며, 셋탑 박스(300) 등을 거쳐, 영상표시장치(100)의 신호 처리부(170)에 UHD 영상(1615)이 입력되는 것을 예시한다.
신호 처리부(170) 내의 퀄리티 연산부(632)는, 입력되는 UHD 영상(1615)에 대한 퀄리티 연산을 수행하고, 입력 영상의 원본 해상도가 UHD 영상인 것으로 연산할 수 있다.
한편, 화질 설정부(634)와 화질 처리부(635)는, UHD 영상에 대한 화질 설정 및 화질 처리를 수행할 수 있다.
이에 따라, UHD 영상에 대응하는 화질 처리가 수행된 영상(1625)이 디스플레이(180)에 표시될 수 있게 된다.
다음, 도 16b는, 원본 영상(1655)의 해상도가 HD 이며, 셋탑 박스(300) 등을 거쳐, 영상표시장치(100)의 신호 처리부(170)에 UHD 영상(1665)이 입력되는 것을 예시한다.
신호 처리부(170) 내의 퀄리티 연산부(632)는, 입력되는 UHD 영상(1665)에 대한 퀄리티 연산을 수행하고, 입력 영상의 원본 해상도가 HD 영상인 것으로 연산할 수 있다.
한편, 화질 설정부(634)와 화질 처리부(635)는, 원본 해상도인 HD 영상에 대한 화질 설정 및 화질 처리를 수행할 수 있다.
이에 따라, 입력되는 UHD 영상(1665) 보다 선명도 등이 개선된 영상(1675)이 디스플레이(180)에 표시될 수 있게 된다.
다음, 도 17은 원본 영상(1655)의 해상도가 HD 인 영상이 영상표시장치(100)의 신호 처리부(170)에 입력되는 것을 예시한다.
신호 처리부(170) 내의 스케일러(1110)는, 제1 해상도의 영상으로 스케일링할 수 있다.
예를 들어, 신호 처리부(170) 내의 스케일러(1110)는, 입력되는 HD 영상을, UHD 영상(1705)으로 스케일링할 수 있다.
한편, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 입력되는 UHD 영상(1705)에 대한 퀄리티 연산을 수행할 수 있다.
예를 들어, 신호 처리부(170) 내의 퀄리티 연산부(632)는, 입력되는 UHD 영상(1705)의 원본 해상도가 FHD 영상인 것으로 연산하는 경우, 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 것으로 판단하여, 퀄리티 학습부(633)에서 퀄리티 학습이 수행될 수 있다.
이에 따라, 퀄리티 학습부(633)는, 입력되는 HD 영상에 대한 해상도 정보를 수신하고, 스케일된 UHD 영상(1705)을 이용하여 학습을 수행할 수 있다.
이때, 데이터 베이스(1115)는, 입력 영상(1705)의 일부 영역이, 데이터 세트(SBlist)에 포함되도록, 입력 영상(1705)을 저장할 수 있다.
그리고, 퀄리티 학습부(633)는, 학습 과정 수행시, 데이터 베이스(1115)에 저장된 일부 영역을 사용할 수 있다.
그리고, 가중치 설정부(1120)는, 성능 평가 등을 통해, 퀄리티 학습부(633)에서 학습된 결과에 기초하여, 이전의 시냅스 가중치(synapse weight)를 신규의 시냅스 가중치(synapse weight)로 업데이트할 수 있다.
그리고, 가중치 설정부(1120)는, 업데이트된 시냅스 가중치(synapse weight)를 퀄리티 연산부(632)로 전송할 수 있다.
이에 따라, 퀄리티 연산부(632)는, 업데이트된 시냅스 가중치(synapse weight) 등을 이용하여, 퀄리티 연상을 수행하여, 입력 영상(1705)의 원본 영상이 HD 영상인 것으로 연산할 수 있다.
그리고, 퀄리티 연산부(632)는, 연산된 원본 해상도 정보, 예를 들어, HD 영상 정보(Sre) 등을, 화질 설정부(634)로 전송할 수 있다.
그리고, 화질 설정부(634)와 화질 처리부(635)는, HD 영상에 대응하는 화질 설정 및 화질 처리를 수행할 수 있다. 이에 따라, 영상 분석에 대한 정확성 향상 및 그에 대응하는 화질 처리를 수행할 수 있게 된다. 특히, 퀄리티 학습부(633)에서의 학습 결과에 기초하여 퀄리티 연산시의 정확도를 향상시킬 수 있게 된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 퀄리티 연산부;
    상기 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부;
    상기 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부;
    상기 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 상기 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 학습부;를 포함하고,
    상기 퀄리티 연산부는,
    상기 퀄리티 학습부에서 학습된 결과에 기초하여, 상기 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 것을 특징으로 하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 퀄리티 학습부에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부;를 더 포함하고,
    상기 퀄리티 연산부는,
    상기 가중치 설정부에서 설정된 가중치에 따라, 상기 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 것을 특징으로 하는 신호 처리 장치.
  3. 제1항에 있어서,
    상기 퀄리티 연산부는,
    복수의 영상 타입에 대한 확률을 연산하고, 복수의 확률 정보를 출력하며,
    상기 퀄리티 학습부는,
    상기 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 상기 퀄리티 학습을 수행하는 것을 특징으로 하는 신호 처리 장치.
  4. 제3항에 있어서,
    상기 퀄리티 학습부는,
    상기 출력된 복수의 영상 타입의 확률 정보 중 최대 확률 정보의 레벨이, 상기 기준 레벨 이하인 경우, 상기 퀄리티 학습을 수행하는 것을 특징으로 하는 신호 처리 장치.
  5. 제1항에 있어서,
    상기 입력 영상을 제1 해상도의 영상으로 스케일링하는 스케일러;를 더 포함하고,
    상기 제1 해상도의 영상은, 상기 퀄리티 연산부와 상기 퀄리티 학습부에 제공되는 것을 특징으로 하는 신호 처리 장치.
  6. 제1항에 있어서,
    상기 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스;를 더 포함하고,
    상기 퀄리티 학습부는,
    상기 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 상기 데이터 베이스 내의 상기 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행하는 것을 특징으로 하는 신호 처리 장치.
  7. 제6항에 있어서,
    상기 데이터 베이스에 저장되는 일부 영역은, 입력되는 영상의 분석에 기초하여, 업데이트되는 것을 특징으로 하는 신호 처리 장치.
  8. 제6항에 있어서,
    상기 데이터 베이스는,
    상기 입력 영상 중 에지 영역 중 샤프니스의 레벨이 기준치 이상인 영역을 저장하는 것을 특징으로 하는 신호 처리 장치.
  9. 제1항에 있어서,
    상기 퀄리티 연산부 및 상기 퀄리티 학습부는,
    심층 신경망(Deep Neural Network)을 이용하여, 상기 퀄리티 연산 및 상기 퀄리티 학습을 각각 수행하는 것을 특징으로 하는 신호 처리 장치.
  10. 제1항에 있어서,
    상기 퀄리티 학습부는,
    입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하인 경우가 연속적으로 발생하는 경우, 상기 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 것을 특징으로 하는 신호 처리 장치.
  11. 제1항에 있어서,
    상기 퀄리티 학습부는,
    상기 입력 영상의 영상 타입에 관한 정보가 입력된 상태에서, 상기 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 상기 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 것을 특징으로 하는 신호 처리 장치.
  12. 제1항에 있어서,
    상기 퀄리티 학습부는,
    포워드, 백워드 프로파게이션을 반복적으로 수행하여, 내부의 수학 모델을 업데이트하고, 상기 업데이트된 수학 모델에 기초하여 포워드, 백워드 프로파게이션을 반복적으로 수행하는 것을 특징으로 하는 신호 처리 장치.
  13. 제12항에 있어서,
    상기 퀄리티 학습부는,
    외부로부터 수학 모델이 수신되는 경우, 상기 업데이트된 수학 모델을 초기화하는 것을 특징으로 하는 신호 처리 장치.
  14. 제1항에 있어서,
    상기 입력 영상은,
    스트리밍 입력 영상, 방송 영상, 외부 장치로부터 입력되는 영상 또는 웹 기반 영상을 포함하는 것을 특징으로 하는 신호 처리 장치.
  15. 제1항에 있어서,
    상기 화질 설정부는,
    설정된 화질에 따라, 노이즈 리덕션 설정값을 출력하거나, 샤프니스 설정값을 출력하는 것을 특징으로 하는 신호 처리 장치.
  16. 제1항에 있어서,
    상기 영상 타입에 관한 정보는,
    해상도에 대한 정보, 화질 퀄리티 정보를 포함하는 것을 특징으로 하는 신호 처리 장치.
  17. 입력 영상에 대한 영상 타입에 관한 정보를 연산하며, 상기 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 상기 입력 영상의 적어도 일부 영역에 기초하여, 퀄리티 학습을 수행하는 퀄리티 연산 학습부;
    상기 영상 타입에 관한 정보에 기초하여, 화질을 설정하는 화질 설정부;
    상기 설정된 화질에 따라, 화질 처리를 수행하는 화질 처리부;를 포함하고,
    상기 퀄리티 연산 학습부는,
    상기 학습된 결과에 기초하여, 상기 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 것을 특징으로 하는 신호 처리 장치.
  18. 제17항에 있어서,
    상기 퀄리티 연산 학습부에서 학습된 결과에 대응하는 가중치를 설정하는 가중치 설정부;를 더 포함하고,
    상기 퀄리티 연산 학습부는,
    상기 가중치 설정부에서 설정된 가중치에 따라, 상기 입력 영상에 대한 영상 타입에 관한 정보를 연산하는 것을 특징으로 하는 신호 처리 장치.
  19. 제17항에 있어서,
    상기 입력 영상의 일부 영역 및 이전 입력 영상의 일부 영역을 포함하는 데이터 세트를 구비하는 데이터 베이스;를 더 포함하고,
    상기 퀄리티 연산 학습부는,
    상기 입력 영상의 영상 타입에 관한 정보의 레벨이 기준 레벨 이하이거나, 입력된 영상 타입에 관한 정보와, 연산된 입력 영상에 대한 영상 타입에 관한 정보와의 차이가 소정치 이상인 경우, 상기 데이터 베이스 내의 상기 입력 영상의 일부 영역에 기초하여, 퀄리티 학습을 수행하는 것을 특징으로 하는 신호 처리 장치.
  20. 디스플레이;
    상기 디스플레이에 화질 처리된 영상 신호를 출력하는 신호 처리부;
    상기 신호 처리부는, 제1항 내지 제19항 중 어느 한 항의 신호 처리 장치를 구비하는 것을 특징으로 하는 영상표시장치.
PCT/KR2019/002346 2018-02-27 2019-02-27 신호 처리 장치 및 이를 구비하는 영상표시장치 WO2019168332A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862635868P 2018-02-27 2018-02-27
US62/635,868 2018-02-27

Publications (1)

Publication Number Publication Date
WO2019168332A1 true WO2019168332A1 (ko) 2019-09-06

Family

ID=67805015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002346 WO2019168332A1 (ko) 2018-02-27 2019-02-27 신호 처리 장치 및 이를 구비하는 영상표시장치

Country Status (1)

Country Link
WO (1) WO2019168332A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866803A (zh) * 2019-11-28 2021-05-28 三星电子株式会社 电子装置及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738745A (ja) * 1993-06-25 1995-02-07 Sharp Corp ニューラルネットワークにより画質を設定する画像形成装置
KR101558653B1 (ko) * 2013-06-14 2015-10-08 전북대학교산학협력단 신경망을 이용한 영상의 화질 개선 시스템 및 방법
KR101638509B1 (ko) * 2015-04-14 2016-07-12 고려대학교 산학협력단 모바일 멀티미디어 스트리밍 서비스를 위한 비디오 품질 제어 장치 및 방법
KR20170022736A (ko) * 2015-08-21 2017-03-02 인하대학교 산학협력단 딕셔너리 학습 기반 해상도 향상 장치 및 방법
KR20170078516A (ko) * 2015-12-29 2017-07-07 삼성전자주식회사 신경망 기반 영상 신호 처리를 수행하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738745A (ja) * 1993-06-25 1995-02-07 Sharp Corp ニューラルネットワークにより画質を設定する画像形成装置
KR101558653B1 (ko) * 2013-06-14 2015-10-08 전북대학교산학협력단 신경망을 이용한 영상의 화질 개선 시스템 및 방법
KR101638509B1 (ko) * 2015-04-14 2016-07-12 고려대학교 산학협력단 모바일 멀티미디어 스트리밍 서비스를 위한 비디오 품질 제어 장치 및 방법
KR20170022736A (ko) * 2015-08-21 2017-03-02 인하대학교 산학협력단 딕셔너리 학습 기반 해상도 향상 장치 및 방법
KR20170078516A (ko) * 2015-12-29 2017-07-07 삼성전자주식회사 신경망 기반 영상 신호 처리를 수행하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866803A (zh) * 2019-11-28 2021-05-28 三星电子株式会社 电子装置及其控制方法
EP3828809A1 (en) * 2019-11-28 2021-06-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11544816B2 (en) 2019-11-28 2023-01-03 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11551332B2 (en) 2019-11-28 2023-01-10 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
KR20190103047A (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
WO2020085781A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2016056787A1 (en) Display device and method of controlling the same
WO2019231235A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2020139018A2 (en) Signal processing device and image display apparatus including the same
WO2020149619A1 (ko) 비디오 월
WO2020145659A1 (en) Signal processing device and image display apparatus including the same
WO2020204472A1 (ko) 영상표시장치
WO2016182307A1 (ko) 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
WO2010039005A2 (ko) 화질 조정 방법 및 그를 이용한 영상 표시 장치.
WO2019039634A1 (ko) 영상표시장치
WO2016104952A1 (en) Display apparatus and display method
WO2010120137A2 (ko) 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
WO2021040445A1 (en) Image display apparatus
WO2021261830A1 (en) Video quality assessment method and apparatus
WO2021107406A1 (en) Electronic device, control method thereof, and system
WO2022025423A1 (en) Video quality assessing method and apparatus
WO2020185035A1 (ko) 비디오 월
WO2021040447A1 (en) Image display apparatus
WO2021060808A1 (en) Signal processing device and image display apparatus including same
WO2023163322A1 (ko) 영상표시장치, 및 서버
WO2020139017A1 (en) Image display apparatus
WO2021085679A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2020060186A1 (ko) 영상표시장치
WO2019168332A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2021054697A1 (ko) 영상의 ａｉ 부호화 방법 및 장치, 영상의 ａｉ 복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761184

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19761184

Country of ref document: EP

Kind code of ref document: A1