WO2017185348A1 - 显示内容的处理方法、装置和设备 - Google Patents

显示内容的处理方法、装置和设备 Download PDF

Info

Publication number
WO2017185348A1
WO2017185348A1 PCT/CN2016/080752 CN2016080752W WO2017185348A1 WO 2017185348 A1 WO2017185348 A1 WO 2017185348A1 CN 2016080752 W CN2016080752 W CN 2016080752W WO 2017185348 A1 WO2017185348 A1 WO 2017185348A1
Authority
WO
WIPO (PCT)
Prior art keywords
display content
scene
image block
feature
image
Prior art date
Application number
PCT/CN2016/080752
Other languages
English (en)
French (fr)
Inventor
郑成林
陈海
王妙锋
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to PCT/CN2016/080752 priority Critical patent/WO2017185348A1/zh
Priority to CN201680084933.0A priority patent/CN109074631B/zh
Publication of WO2017185348A1 publication Critical patent/WO2017185348A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Definitions

  • the present invention relates to communication technologies, and in particular, to a method, an apparatus, and a device for processing display content.
  • Super Resolution (SR) technology is to generate high-resolution images or videos from low-resolution images or videos. Therefore, all image video or (User Interface, UI) interface content before display can be low-resolution ( 720p or 1080p), then super-resolution technology to enlarge these low-resolution content to 2K or 4K to adapt to the screen display, thus ensuring high-resolution display while greatly reducing the power consumption of mobile devices.
  • Common image super-resolution techniques may include interpolation-based SR techniques and learning-based SR techniques.
  • the above-mentioned interpolation-based SR technology does not have an ideal image processing effect on a UI interface such as a line, a point, and a scene with many edges.
  • the learning-based SR technology is to be universal for various scenes, It is required to train a lot of images, which leads to a large database and high implementation cost.
  • the high-resolution image that needs to be reconstructed is not selected as a sample during the training phase, the corresponding high-resolution features cannot be obtained in the recovery phase. Therefore, the reconstruction effect is relatively poor, and neither of them can meet the current user's requirements for high-resolution display.
  • the method, device and device for processing display content provided by the embodiments of the present invention are used to solve the existing In the technology, when high-resolution display of different types of low-resolution content is performed, the technical problem of the user's display requirement cannot be satisfied.
  • an embodiment of the present invention provides a method for processing display content, including:
  • the first display content is a low-resolution display content
  • the first display content may be an image and video content, or may be a UI interface-like content, or may be a superimposed content.
  • the image video type content may include an image, a video
  • the UI interface type content may include an icon, a graphic, a text, an application interface, and the like
  • the superimposed type content may include an overlay content of the image and the graphic, and a superimposed content of the video and the graphic.
  • the processing method of the display content provided by the first aspect obtains the second display content corresponding to the first display content by using the interpolated SR technology, and adopts the third display corresponding to the first display content obtained by the learning-based SR technology. And then obtaining, according to the second display content and the third display content, the fourth display content corresponding to the first display content, so that the terminal can achieve better high-resolution display for different types of low-resolution display content.
  • the display effect, the second display content and the third display content complement each other, avoiding the problem that the prior art adopts a single super-resolution technology to perform different high-resolution display of different types of low-resolution display content, and improves the problem.
  • the processing efficiency of the low-resolution display content reduces the processing power consumption of the terminal, and greatly satisfies the display requirements of the user.
  • the interpolating-based super-resolution SR technology is used to interpolate the first display content, and the second display content corresponding to the first display content is obtained, which specifically includes:
  • the method for processing the display content provided by the possible design by acquiring the scene information of the first display content, and determining the interpolation coefficient corresponding to the first display content according to the scene information of the first display content, thereby, according to the interpolation coefficient, the first The edge direction intensity of each first image block of the display content is interpolated to the first display content, and the second display content of the high resolution corresponding to the first display content is acquired for display.
  • the method provided by the embodiment of the present invention determines different interpolation coefficients corresponding to the scene information according to different scene information of the first display content, so that the determined interpolation coefficient is more suitable for the interpolation process of the current first display content, thereby avoiding the present
  • the problem of edge aliasing and low definition caused by a single interpolation coefficient is greatly improved, which greatly improves the edge sawtooth and sharpness of the first display content, and can obtain a better display effect for different first display contents.
  • the second display content greatly improves the display effect of the display content and satisfies the display requirements of the user.
  • the acquiring the third display content corresponding to the first display content by using the learning-based SR technology includes:
  • the feature model database corresponding to the first display content is determined according to the scene information of the first display content, so that the feature model database corresponding to the first display content and the first display content are
  • Each of the first image blocks restores the third display content, and does not need to match the first display content to all the feature model databases one by one, but matches the first display content with the feature model database corresponding to the scene, thereby greatly improving
  • the reconstruction efficiency of the third display content reduces the power consumption of the terminal.
  • the determining, according to the second display content and the third display content, the fourth display content corresponding to the first display content specifically includes:
  • the P0 is a probability that the first display content is an image and video type scene.
  • the method further includes:
  • the determining, according to the second display content and the third display content, the fourth display content corresponding to the first display content specifically includes:
  • the P1 is the maximum matching probability.
  • the determining, according to the second display content and the third display content, the fourth display content corresponding to the first display content specifically includes:
  • the SR0 is a pixel value of each second image block in the second display content
  • the SR1 is a pixel value of each third image block in the third display content
  • the P0 is the first a display content is a probability of an image video scene
  • the P1 is the maximum matching probability
  • the P2 is an edge direction intensity of each of the first image blocks
  • the first image block is in the first display content a position in which the position of the second image block in the second display content is in one-to-one correspondence with a position of the third image block in the third display content, the Pmax being the first display
  • the maximum edge direction strength of the content is a pixel value of each second image block in the second display content.
  • the determining, according to the second display content and the third display content, the fourth display content corresponding to the first display content specifically includes:
  • the second display content and the third display content are merged to obtain a fourth display content, so that when the terminal performs high-resolution display on different types of low-resolution display content, a better display effect can be achieved, and the second display is displayed.
  • the content and the third display content complement each other, avoiding the problem that the prior art adopts a single super-resolution technology to perform low-resolution display of different types of low-resolution display content, and the low-resolution display content is improved.
  • the processing efficiency reduces the processing power consumption of the terminal and greatly satisfies the display requirements of the user.
  • the scene information includes a scene type corresponding to the first display content or a scene probability corresponding to the first display content.
  • the scene type corresponding to the first display content includes an image video type scene or a UI interface type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is an image video type scene and a probability that the first display content is a first scene in the image video type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is the UI interface type scene and a probability that the first display content is a second scene in the UI interface type scene.
  • the acquiring the scenario information of the first display content includes:
  • the obtaining, according to each of the first image block and the feature model database, the third display content corresponding to the first display content specifically includes:
  • the third display content is obtained according to all the second features.
  • an embodiment of the present invention provides a processing device for displaying content, including:
  • a first acquiring module configured to perform interpolation on the first display content by using an interpolation-based super-resolution SR technology, and acquire a second display content corresponding to the first display content;
  • a second acquiring module configured to acquire a third display content corresponding to the first display content by using a learning-based SR technology
  • a determining module configured to determine, according to the second display content and the third display content, a fourth display content corresponding to the first display content; wherein, the resolution of the second display content, the third The resolution of the display content and the resolution of the fourth display content are all greater than the resolution of the first display content.
  • the first acquiring module specifically includes:
  • a scene analysis unit configured to acquire scene information of the first display content, where the scene information is used to represent a scene corresponding to the first display content;
  • An interpolation coefficient acquiring unit configured to determine an interpolation coefficient of the first display content according to the scene information
  • a first acquiring unit configured to perform the first display content by using an interpolation-based SR technology according to an interpolation coefficient of the first display content, an edge direction strength of each first image block of the first display content, Interpolating to obtain the second display content.
  • the second acquiring module specifically includes:
  • a database determining unit configured to determine, according to the scenario information, a feature model database corresponding to the first display content; wherein the feature model database includes multiple feature model pairs;
  • a second acquiring unit configured to acquire, according to each of the first image block and the feature model database, a third display content corresponding to the first display content by using a learning-based SR technology.
  • the second acquiring unit is further configured to acquire each of the first image block and the feature model data according to each of the first image block and the feature model database. The maximum matching probability when the feature in the feature is matched.
  • the scene information includes a scene type corresponding to the first display content or a scene probability corresponding to the first display content.
  • the scene type corresponding to the first display content includes an image video type scene or a UI interface type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is an image video type scene and the first display content is a first scene in the image video type scene. rate;
  • the scene probability corresponding to the first display content includes a probability that the first display content is the UI interface type scene and a probability that the first display content is a second scene in the UI interface type scene.
  • the scenario analyzing unit is configured to determine, according to the display parameter information of the first display content, a scenario probability corresponding to the first display content, where the display parameter information includes: At least one of an image gradient of the first display content, a variance of the first display content, chrominance information of the first display content, and a scale-invariant feature transform SIFT feature of the first display content.
  • the second acquiring unit is specifically configured to determine, from the feature model database, a first feature corresponding to each of the first image blocks, and according to each of the first features a pair of feature models, determining a second feature corresponding to each of the first features, and acquiring the third display content according to all the second features; wherein the first feature is in the feature model database
  • the feature matching probability of the first image block is a feature of the maximum matching probability.
  • the processing effects of the display content provided by the second aspect and the possible design of the second aspect may be beneficially referred to the advantages of the first aspect and the possible designs of the first aspect, and Let me repeat.
  • an embodiment of the present invention provides a terminal, including:
  • a processor configured to perform interpolation on the first display content by using an interpolation-based super-resolution SR technology, acquire a second display content corresponding to the first display content, and acquire the first display by using a learning-based SR technology a third display content corresponding to the content, and determining, according to the second display content and the third display content, a fourth display content corresponding to the first display content; wherein, the resolution of the second display content, The resolution of the third display content and the resolution of the fourth display content are all greater than the resolution of the first display content.
  • the processor is configured to perform interpolation on the first display content by using the interpolation-based super-resolution SR technology, and obtain the second display content corresponding to the first display content, which specifically includes:
  • the processor is configured to acquire scene information of the first display content, and determine an interpolation coefficient of the first display content according to the scene information, and according to the first display content. Interpolating coefficient, edge direction strength of each first image block of the first display content, interpolating the first display content by using an interpolation-based SR technique, and acquiring the second display content; wherein the scene The information is used to represent a scene corresponding to the first display content.
  • the processor is configured to acquire the third display content corresponding to the first display content by using a learning-based SR technology, and specifically includes:
  • the processor is specifically configured to determine, according to the scenario information, a feature model database corresponding to the first display content, and obtain, according to each of the first image block and the feature model database, a learning-based SR technology.
  • the processor is configured to determine, according to the second display content and the third display content, the fourth display content corresponding to the first display content, specifically:
  • the processor is further configured to acquire, according to each of the first image block and the feature model database, features in each of the first image block and the feature model data. The maximum matching probability when performing feature matching.
  • the processor is configured to determine, according to the second display content and the third display content, the fourth display content corresponding to the first display content, specifically:
  • the processor is configured to determine, according to the second display content and the third display content, the fourth display content corresponding to the first display content, specifically:
  • the SR0 is a pixel value of each second image block in the second display content
  • the SR1 is a pixel value of each third image block in the third display content
  • the P0 is the first display
  • the content is a probability of an image video scene
  • the P1 is the maximum matching probability
  • the P2 is an edge direction intensity of each of the first image blocks
  • the first image block is in the first display content a position, a position of the second image block in the second display content and a position of the third image block in the third display content, the Pmax being the first display content Maximum edge direction strength.
  • the processor is configured to determine, according to the second display content and the third display content, the fourth display content corresponding to the first display content, specifically:
  • the scene information includes a scene type corresponding to the first display content or a scene probability corresponding to the first display content.
  • the scene type corresponding to the first display content includes an image video type scene or a UI interface type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is an image video type scene and a probability that the first display content is a first scene in the image video type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is the UI interface type scene and a probability that the first display content is a second scene in the UI interface type scene.
  • the processor is configured to acquire scene information of the first display content, and specifically includes:
  • the processor is configured to determine, according to the display parameter information of the first display content, a scene probability corresponding to the first display content, where the display parameter information includes: an image gradient of the first display content And at least one of a variance of the first display content, chrominance information of the first display content, and a scale-invariant feature transform SIFT feature of the first display content.
  • the processor is configured to: acquire, according to each of the first image block and the feature model database, a third display content that is corresponding to the first display content, specifically:
  • the processor is specifically configured to determine, from the feature model database, a first feature corresponding to each of the first image blocks, and determine each of the first features according to a feature model pair to which the first feature belongs Acquiring the third feature corresponding to the first feature, and acquiring the third display content according to all the second features; wherein the first feature is that the feature matching probability of the first image block in the feature model database is The feature of the maximum matching probability.
  • beneficial effects of the above-mentioned second aspect and the possible design provided by the second aspect may refer to the first aspect and the beneficial effects brought by the possible designs of the first aspect, and details are not described herein again.
  • Embodiment 1 is a schematic flowchart of Embodiment 1 of a method for processing display content provided by the present invention
  • Embodiment 2 is a schematic flowchart of Embodiment 2 of a method for processing display content provided by the present invention
  • Embodiment 3 is a schematic flowchart of Embodiment 3 of a method for processing display content provided by the present invention
  • Embodiment 4 is a schematic flowchart of Embodiment 4 of a method for processing display content provided by the present invention
  • Figure 5 is a schematic view showing the YCBCR space provided by the present invention.
  • FIG. 6 is a schematic structural diagram of Embodiment 1 of a processing device for displaying content according to the present invention.
  • FIG. 7 is a schematic structural diagram of Embodiment 2 of a processing device for displaying content according to the present invention.
  • Embodiment 8 is a schematic structural diagram of Embodiment 3 of a processing device for displaying content according to the present invention.
  • FIG. 9 is a schematic structural diagram of an embodiment of a terminal provided by the present invention.
  • the terminal involved in the embodiment of the present invention may include, but is not limited to, a mobile communication device such as a mobile phone, a personal digital assistant (PDA), a tablet computer, a portable device (for example, a portable computer), and an automatic teller machine (Automatic Teller).
  • a mobile communication device such as a mobile phone, a personal digital assistant (PDA), a tablet computer, a portable device (for example, a portable computer), and an automatic teller machine (Automatic Teller).
  • PDA personal digital assistant
  • portable device for example, a portable computer
  • Auto Teller automatic teller machine
  • a device having a display function such as a machine (abbreviated as ATM), and any other device having a display function, which is not limited in the embodiment of the present invention.
  • ATM machine
  • the method, device and device for processing display content relate to a high-resolution display of low-resolution display content on a terminal to save power consumption of the terminal, and may also be applicable to Images and scenes that are magnified by video, or scenes that need to display video images of different resolutions on some display devices.
  • the display content may be image video type content, may be UI interface type content, or may be superimposed type content.
  • the image video type content may include an image, a video
  • the UI interface type content may include an icon, a graphic, a text, an application interface, and the like
  • the superimposed type content may include an overlay content of the image and the graphic, and a superimposed content of the video and the graphic.
  • the method, device and device for processing display content according to the embodiments of the present invention are intended to solve the problem that when the low-resolution content of different types of high-definition content is displayed in the prior art, the display effect is poor and the display requirement of the user cannot be satisfied. technical problem.
  • FIG. 1 is a schematic flowchart diagram of Embodiment 1 of a method for processing display content provided by the present invention.
  • the embodiment relates to determining, by the terminal, the second display content corresponding to the first display content obtained by using the interpolation-based SR technology and the third display content corresponding to the first display content obtained by using the learning-based SR technology.
  • Figure 1 As shown, the method includes:
  • the first display content is interpolated by using an interpolation-based SR technology, and the second display content corresponding to the first display content is obtained.
  • the interpolation-based SR technique may be an SR technique that interpolates based on a spatial average and convolution of image pixel values, such as bilinear interpolation, bicubic interpolation, and multi-phase interpolation, and may also be (New Edge- Directed Interpolation (NEDI), (soft-decision adaptive interpolation, SAI), Double Interpolation and other technologies.
  • the first display content is a low-resolution display content, and the first display content may be an image and video content, or may be a UI interface-like content, or may be a superimposed content.
  • the image video type content may include an image, a video
  • the UI interface type content may include an icon, a graphic, a text, an application interface, and the like
  • the superimposed type content may include an overlay content of the image and the graphic, and a superimposed content of the video and the graphic.
  • the second display content is a super-resolution result obtained by performing super-resolution processing on the first display content by using an interpolation-based SR technology, and interpolating the first display content by using an interpolation-based super-resolution SR technology to obtain the first
  • S102 Acquire a third display content corresponding to the first display content by using a learning-based SR technology.
  • the above learning-based SR technology includes a learning phase and a recovery phase.
  • the learning phase is that the terminal selects some sample images as training image pairs, the training image pair includes a low resolution image and a corresponding high resolution image, the low resolution image and the image content in the high resolution image being the same; then, the terminal The selected training image pairs are separately divided by the same dividing principle to obtain a plurality of training image block pairs, each training image block pair includes a low resolution image block and a corresponding high resolution image block, and the low resolution The specific content and size of the rate image block and the high resolution image block are the same; then the terminal extracts the feature of each training image block pair to obtain a plurality of feature model pairs, that is, a pair of high and low resolution image blocks.
  • a pair of training images composed of high and low resolution images may have multiple feature model pairs.
  • the training image pair may select a commonly used 720p/1080p and 2k/4k resolution UI interface, an application interface, a webpage text, etc., or may select a high- and low-resolution image video. Therefore, using the above training process, the terminal can obtain different types of feature model databases, for example, a feature model database of webpage text, a feature model database of icons, a feature model database of graphics, a feature model database of images, and the like, each type
  • the feature model database includes multiple based on Types of training images versus pairs of feature models obtained.
  • the recovery phase is that the terminal obtains a plurality of high-resolution features corresponding to the first display content based on the first display content of the input and the obtained plurality of feature model databases, and then recovers the corresponding content of the first display content according to the high-resolution feature.
  • High-resolution display content that is, the third display content.
  • S101 may be executed in parallel with S102, or may be performed before or after S102.
  • S103 Determine, according to the second display content and the third display content, a fourth display content corresponding to the first display content.
  • the resolution of the second display content, the resolution of the third display content, and the resolution of the fourth display content are all greater than the resolution of the first display content.
  • the second display content and the third display content may be merged, and the fusion manner may be: comparing the second display content with the third display content, and selecting As a fourth display content, the second display content may be merged with the third display content by using a corresponding selection coefficient to obtain a fourth display content.
  • the fusion mode is not limited in this embodiment.
  • the second display content obtained by using the interpolation-based SR is lower than the terminal adopting the interpolation-based SR technology.
  • the effect of the image and video content is processed.
  • the third display content is obtained, so that the terminal can be based on the obtained second display content and the third display content.
  • the fourth display content with better display effect is obtained by fusion or alternative selection; when the learning-based SR technique is adopted, if the high-resolution display content currently needed to be reconstructed is not selected as the training sample during the training phase The corresponding high-resolution feature is not obtained in the recovery phase, and the display effect of the restored third display content is lower than that of the second display content, and the first display content can be processed by the S101. Second, the content is displayed, thereby making up for the deficiency of S102, so that the terminal according to the obtained second display content and the third display SUMMARY, which can be fused or alternatively be selected to give a fourth display content.
  • the method of the embodiment can achieve a relatively good display effect, and S101 and S102 complement each other under the action of S103, avoiding the prior art.
  • Different types with a single super-resolution technology The low-resolution display content has a poor effect when displaying high-resolution images, improves the processing efficiency of low-resolution display content, reduces the processing power consumption of the terminal, and greatly satisfies the display requirements of the user.
  • the terminal can only establish a feature model database about the UI interface class in the learning phase of the learning-based SR, that is, the terminal selects only the commonly used icons of 720p/1080p and 2k/4k resolution,
  • the application interface and the webpage text are used as training samples to obtain the feature model database, and the first display content of different types can be processed together with S101 without establishing a feature model database for all types of training image pairs, thus reducing the terminal's Training costs.
  • the method for processing the display content provided by the present invention obtains the second display content corresponding to the first display content by using the interpolated SR technology, and adopts the third display content corresponding to the first display content obtained by the learning-based SR technology, and then And obtaining, according to the second display content and the third display content, the fourth display content corresponding to the first display content, so that the terminal can achieve a better display effect when performing high-resolution display on different types of low-resolution display content.
  • the second display content and the third display content complement each other, avoiding the problem that the prior art adopts a single super-resolution technology to perform low-resolution display of different types of low-resolution display content, and the low resolution is improved.
  • the processing efficiency of the display content reduces the processing power consumption of the terminal, greatly satisfies the display requirement of the user, and also reduces the training cost of the terminal.
  • FIG. 2 is a schematic flowchart diagram of Embodiment 2 of a method for processing display content provided by the present invention.
  • the embodiment relates to a specific process of obtaining the second display content by using the interpolation-based SR technology according to the determined interpolation coefficient, by determining the interpolation coefficient to which the first display content is applicable according to the scene information of the first display content.
  • the resolution of the first display content is smaller than the resolution of the second display content.
  • the foregoing S101 may specifically include:
  • S201 Acquire scene information of the first display content, where the scene information is used to represent a scene corresponding to the first display content.
  • the terminal may perform scene analysis on the first display content according to an image gradient of the first display content, and may perform scene analysis on the first display content according to chromaticity information such as a chromaticity range of the first display content, or may be Matching the feature extracted from the first display content and the scene sample feature in the preset scene training sample library to obtain the first A scene information showing the content.
  • the terminal may further learn the scenario information of the current first display content according to the indication of the upper layer system.
  • the scenario information may be a specific scenario to which the first display content belongs, or may be a probability value that the first display content belongs to a certain scenario, or may be a scenario identifier of a specific scenario to which the first display content belongs, and the like.
  • the content of the scene information is not limited in this embodiment, as long as it can represent the scene corresponding to the first display content.
  • S202 Determine an interpolation coefficient of the first display content according to the scene information.
  • S203 interpolating the first display content by using an interpolation-based SR technique according to an interpolation coefficient of the first display content and an edge direction intensity of each first image block of the first display content, acquiring the The second display content corresponding to the first display content.
  • the first display content is the input content of the terminal.
  • the terminal determines the scene information of the first display content
  • the interpolation coefficient corresponding to the scene information is determined according to the scene information, that is, the interpolation corresponding to the first display content is determined. coefficient.
  • the terminal may preset an interpolation database, where the interpolation database includes a mapping relationship between different scene information and different interpolations.
  • querying the interpolation database is displayed.
  • the specific manner in which the terminal determines the interpolation coefficient of the first display content according to the scene information is not limited in this embodiment.
  • the terminal analyzes the edge direction of the first display content and the intensity information by using an interpolation-based SR technique, thereby obtaining the edge direction intensity of each first image block of the first display content, and then calculating each of the first image blocks according to the calculation.
  • the edge direction intensity and the interpolation coefficient of the first display content adaptively interpolating the first display content to obtain the second display content corresponding to the first display content, thereby displaying the second display content; wherein, the specific The interpolation process can refer to the description of the prior art, and details are not described herein again.
  • the method for processing the display content provided by the embodiment of the present invention, by acquiring the scene information of the first display content, and determining the interpolation coefficient corresponding to the first display content according to the scene information of the first display content, thereby, according to the interpolation coefficient, the first display
  • the edge direction intensity of each first image block of the content is used to interpolate the first display content, and the second display content of the high resolution corresponding to the first display content is acquired for display.
  • the method provided by the embodiment of the present invention determines different interpolation coefficients corresponding to the scene information according to different scene information of the first display content, so that the determined interpolation coefficient is more suitable for the interpolation process of the current first display content, thereby avoiding the present
  • the second display content with better display effect can be obtained for different first display contents, the display effect of the display content is greatly improved, the display requirement of the user is satisfied, and further, the effect of the second display content is improved. Therefore, the effect of the fourth display content finally obtained by the terminal is also improved, and the display requirement of the user is more satisfied.
  • FIG. 3 is a schematic flowchart diagram of Embodiment 3 of a method for processing display content provided by the present invention.
  • the embodiment relates to determining, by the terminal, the feature model database corresponding to the first display content according to the scenario information of the first display content, so that the learning-based SR technology is adopted according to the first image block of the first display content and the feature model database.
  • a specific process of obtaining the third display content corresponding to the first display content is greater than the first display content.
  • the foregoing S102 may specifically include:
  • S301 Determine a feature model database corresponding to the first display content according to the scenario information, where the feature model database includes multiple feature model pairs.
  • the terminal before acquiring the third display content, the terminal has previously established a plurality of different types of feature model databases, such as a feature model database including a webpage text, a feature model database of an icon, and a feature model database of a graphic.
  • the feature model database of the image, etc., each type of feature model database includes a plurality of feature model pairs obtained based on the pair of training images of the type.
  • the terminal may determine the scene corresponding to the first display content according to the scene information, and then determine the feature model database corresponding to the scene according to the scene corresponding to the first display content. For example, when the terminal determines that the first display content is a scene of the webpage text, the terminal may determine that the feature model database corresponding to the first display content is a feature model database of the webpage text.
  • S302 Acquire, according to each of the first image block and the feature model database, a third display content corresponding to the first display content.
  • the step may be a process in which the terminal combines the image block of the low-resolution display content (ie, the first display content) and the corresponding feature model database to restore the high-resolution display content (ie, the third display content) (ie, restore stage).
  • the recovery process may specifically include the following steps:
  • S401 Determine, from the feature model database, a first feature corresponding to each of the first image blocks, where the first feature is a feature matching the feature of the first image block in the feature model database
  • the probability is the characteristic of the maximum matching probability.
  • S402 Determine, according to the feature model pair to which each of the first features belongs, a second feature corresponding to each of the first features.
  • S403 Acquire the third display content according to all the second features.
  • the terminal may find the first image block from the feature model database corresponding to the first display content for each first image block of the first display content.
  • the first feature is a feature that the feature matching probability of the first image block in the feature model database corresponding to the first display content is a maximum matching probability, and the terminal obtains multiple A feature that is a low resolution feature.
  • each feature model pair includes a low resolution feature (ie, a first feature) and a high resolution feature corresponding to the low resolution feature (ie, a second feature), so that for each of the first features, a second feature corresponding to each of the first features can be obtained, so that the terminal can restore the corresponding content of the first display content according to all the obtained second features.
  • a low resolution feature ie, a first feature
  • a high resolution feature corresponding to the low resolution feature ie, a second feature
  • the method for processing the display content determines the feature model database corresponding to the first display content according to the scene information of the first display content, so that the feature model database corresponding to the first display content and the first display content are Each of the first image blocks restores the third display content, and the first display content is not matched with all the feature model databases one by one, but the first display content is matched with the feature model database corresponding to the scene, thereby greatly improving the The display efficiency of the three display contents reduces the power consumption of the terminal.
  • the scenario information may include a scenario type corresponding to the first display content or a scenario probability corresponding to the first display content.
  • the scene type corresponding to the first display content may include an image video type scene or a UI interface type scene.
  • the scene probability corresponding to the first display content may include a probability that the first display content is an image video type scene and a first display content is a probability of the first scene in the image video type scene; or the first display content corresponds to
  • the scene probability may include a probability that the first display content is a UI interface type scene and a probability that the first display content is a second scene in the UI interface type scene.
  • the image video type scene may include, for example, a sky scene, a grass scene, a face scene, an animal scene, a building scene, and the like
  • the UI interface type scene may include, for example, an application interface scene, a webpage text scene, an icon scene, a graphic scene, and the like.
  • the first scenario may be any one of the image and video scenarios
  • the second scenario may be any of the UI interface-like scenarios. Therefore, the fifth embodiment of the present invention further provides an embodiment of the method for processing the display content.
  • the foregoing S201 may specifically include: determining, according to the display parameter information of the first display content, the first Displaying a scene probability corresponding to the content; wherein the display parameter information includes: an image gradient of the first display content, a variance of the first display content, chromaticity information of the first display content, the first At least one of a scale invariant feature transform (SIFT) feature of the display content.
  • SIFT scale invariant feature transform
  • the scene information of the first display content in the embodiment is the scene probability corresponding to the first display content, that is, the probability that the first display content belongs to a certain scene.
  • the terminal needs to determine the scene probability corresponding to the first display content according to the display parameter information, where the display parameter information may include: an image gradient of the first display content, At least one of a variance of the first display content, chrominance information of the first display content, and a shift feature of the first display content.
  • the terminal first determines, according to the foregoing display parameter information, a probability that the first display content is an image video type scene or a UI interface type scene.
  • the terminal determines that the probability that the first display content is an image-video-like scene is large, the terminal further determines that the current first display content, that is, the face scene and the grass scene, may be analyzed according to the chrominance information of the first display content in the display parameter information.
  • the probability of the sky scene, the animal scene, and the building scene, that is, the terminal further determines the probability that the first display content is a certain one of the image and video scenes, wherein the terminal determines that the first display content is in the image and video category.
  • the manner of probability of a certain first scene may include the following two methods:
  • the first type For scenes such as faces, grasses, and sky in image-video scenes, if the YCBCR space is chromatic, the chromaticity is distributed within a certain range.
  • scenes such as a face, a grass, and a sky are generally distributed in an elliptical or circular area in FIG.
  • the chromaticity components Cb and Cr coordinates of the center of the ellipse or the circle are (Cb0, Cr0). The closer to the center, the greater the probability of the scene, the farther away from the center, the smaller the probability, and the distance from the center can be calculated using the Euclidean distance.
  • the chromaticity center coordinates (Cb0, Cr0) of scenes such as faces, sky, and grass are different, and can be adjusted according to actual applications.
  • the terminal can train a large number of scenes such as face, grass, sky, buildings, animals, etc. offline, and extract features of several types of scenes (features can include The chromaticity range, the gradient feature, the shift feature, and the like described above, and then extract corresponding features for the first display content, and match the trained types of scene features, the matching degree is higher than a certain threshold, indicating the first display
  • the content belongs to this type of scene with a high probability, so that the obtained scene probability is output.
  • the terminal determines that the first display content is a UI interface type scene
  • the terminal further determines that the first display content is a webpage text scene and an icon according to the image gradient and the variance information of the first display content in the display parameter information.
  • the probability of the scene and the graphic scene, etc., that is, the terminal further determines the probability that the first display content is a second scene in the UI interface type scene, wherein the terminal determines that the first display content is a second one of the UI interface type scenes.
  • the manner of probability of the scene can include the following two ways:
  • the first type determining, according to the image gradient and the variance of the first display content, the probability that the first display content is a certain second scene in the UI interface type scene.
  • the gradient and variance of the feature corresponding to the webpage text scene are the largest, and the gradient and variance of the feature corresponding to the graphic scene are smaller than the gradient of the feature corresponding to the webpage text type scene.
  • the variance and the variance and variance of the features corresponding to the icon scene are smaller than the gradients and variances of the features corresponding to the graphics-like scene. That is, the terminal sets two limits, including A and B, where B is greater than A.
  • the image gradient of the first display content and the variance When the image gradient of the first display content and the variance are less than or equal to A, it indicates that the first display content is an icon scene. Large, and output the obtained scene probability; when the image gradient of the first display content and the variance is greater than A and less than or equal to B, indicating that the first display content is a graphical scene has a higher probability, and the obtained scene probability is output.
  • the image gradient of the first display content and the variance are greater than B, the probability that the first display content is a webpage text scene is large, and the obtained scene probability is output.
  • the terminal can offline train a large number of webpage texts, graphics, icons, and the like, extract features of the types of scenes (characteristics may include chromaticity ranges, gradient features, shift features, etc.), and then display the first display content.
  • the corresponding features are extracted and matched with the trained scene features.
  • the matching degree is higher than a certain threshold, indicating that the probability that the first display content belongs to the scene is large, and the obtained scene probability is output.
  • the scene probability outputted by the terminal may be “the first display content is an image. X, the probability that the first display content is a graphic scene is Y".
  • the terminal When the terminal obtains the scene probability of the first display content, the terminal can learn the scene corresponding to the first display content, so that the interpolation coefficient or the feature model database corresponding to the scene can be obtained.
  • the terminal obtains the fourth display content according to the second display content and the third display content to solve the technical problem that the high-definition display of different types of low-resolution content is performed, and the display requirement of the user cannot be satisfied.
  • the following describes several possible implementation manners of the terminal to specifically combine the second display content and the third display content to obtain a fourth display content.
  • the embodiment relates to a specific process for determining, by the terminal, the fourth display content according to the second display content and the third display content.
  • the foregoing S103 may specifically include:
  • the second display content is composed of a plurality of second image blocks
  • the third display content is composed of a plurality of third image blocks
  • the SR0 is a pixel value of each second image block in the second display content
  • SR1 For the pixel value of each third image block in the third display content
  • SR is a pixel value of each fourth image block of the fourth display content, and exists for the first image block of the first display content a second image block and a third image block corresponding to positions of the first image block in the first display content, and the position of the second image block in the second display content and the third image block in the third Displaying the position in the content and the one-to-one correspondence with the position of the fourth image block in the fourth display content, that is, for each second image block and each third image block corresponding to the position, the corresponding pixel
  • the value is substituted into the above formula 1, and the pixel values of the fourth image block corresponding to the plurality of positions are obtained, and the terminal can obtain the fourth display content according to the pixel
  • the embodiment relates to another specific process for determining, by the terminal, the fourth display content according to the second display content and the third display content.
  • the foregoing S103 may specifically include:
  • the second display content is composed of a plurality of second image blocks
  • the third display content is composed of a plurality of third image blocks
  • the SR0 is a pixel value of each second image block in the second display content
  • SR1 For the pixel value of each third image block in the third display content
  • SR is a pixel value of each fourth image block of the fourth display content, for the first image block of the first display content
  • each The first image block has a second image block and a third image block corresponding to the position in the first display content, the position of the second image block in the second display content and the third image block in the third Displaying a position in the content and corresponding to the position of the fourth image block in the fourth display content, each of the first image blocks having a maximum matching probability P1 when performing feature matching with the feature in the feature model data, That is to say, for each first image block, it corresponds to one P1.
  • the pixel values of the plurality of fourth image blocks may be obtained, and then the terminal according to the The fourth display content can be obtained by the pixel values of the plurality of fourth image blocks.
  • the embodiment relates to another specific process for determining, by the terminal, the fourth display content according to the second display content and the third display content.
  • the foregoing S103 may specifically include:
  • the second display content is composed of a plurality of second image blocks
  • the third display content is composed of a plurality of third image blocks
  • the SR0 is a pixel value of each second image block in the second display content
  • SR1 For the pixel value of each third image block in the third display content
  • SR is a pixel value of each fourth image block of the fourth display content
  • for the first image block of the first display content each
  • Each of the first image blocks has a second image block and a third image block corresponding to the position in the first display content
  • the third image block is in the The positions in the three display contents and the positions of the fourth image blocks in the fourth display content are in one-to-one correspondence, and each of the first image blocks has a maximum matching probability P1 when performing feature matching with the features in the feature model data.
  • P2 is the edge direction intensity of each first image block (the value of Pmax is one), that is, for each first image block, it corresponds to one P1 and one P2. Then, for each of the first image blocks, the corresponding second image block and the third image block, and P1 and P2 are respectively substituted into the above formula 3, and then the pixel values of the plurality of fourth image blocks are obtained, and then the terminal is obtained.
  • the fourth display content can be obtained according to the pixel values of the plurality of fourth image blocks.
  • the embodiment relates to another specific process for determining, by the terminal, the fourth display content according to the second display content and the third display content.
  • the foregoing S103 may specifically include:
  • the pixel values of the plurality of fourth image blocks can be obtained, and the terminal according to the plurality of fourth The fourth display content can be obtained by the pixel value of the image block.
  • the second display content and the third display content are merged in different manners to obtain a fourth display content, so that the terminal displays content for different types of low resolution.
  • the high-resolution display is performed, a better display effect can be achieved, and the second display content and the third display content complement each other, avoiding the use of a single super-resolution technology in the prior art to perform different types of low-resolution display content.
  • the problem of poor resolution in high-resolution display improves the processing efficiency of low-resolution display content, reduces the processing power consumption of the terminal, and greatly satisfies the user's display requirements.
  • the foregoing program may be stored in a computer readable storage medium, and the program is executed when executed.
  • the foregoing steps include the steps of the foregoing method embodiments; and the foregoing storage medium includes: a medium that can store program codes, such as a ROM, a RAM, a magnetic disk, or an optical disk.
  • FIG. 6 is a schematic structural diagram of Embodiment 1 of a device for processing content displayed according to an embodiment of the present invention.
  • the processing device for displaying the content may implement part or all of the terminal by software, hardware, or a combination of software and hardware.
  • the apparatus may include: a first acquisition module 10, a second acquisition module 11, and a determination module 12.
  • the first obtaining module 10 is configured to perform interpolation on the first display content by using an interpolation-based super-resolution SR technology, and acquire a second display content corresponding to the first display content.
  • the second obtaining module 11 is configured to acquire a third display content corresponding to the first display content by using a learning-based SR technology
  • a determining module 12 configured to determine, according to the second display content and the third display content, a fourth display content corresponding to the first display content; wherein, the resolution of the second display content, the first The resolution of the three display content and the resolution of the fourth display content are all greater than the resolution of the first display content.
  • the processing device for displaying content provided by the embodiment of the present invention may perform the foregoing method embodiments, and the implementation principle and technical effects thereof are similar, and details are not described herein again.
  • FIG. 7 is a schematic structural diagram of Embodiment 1 of a processing device for displaying content according to an embodiment of the present disclosure; Figure.
  • the processing device for displaying the content may also implement part or all of the terminal by software, hardware, or a combination of software and hardware.
  • the first acquiring module 10 further includes: a scenario analyzing unit 101, an interpolation coefficient acquiring unit 102, and a first acquiring unit 103.
  • the scene analyzing unit 101 is configured to acquire scene information of the first display content, where the scene information is used to represent a scene corresponding to the first display content.
  • An interpolation coefficient obtaining unit 102 configured to determine an interpolation coefficient of the first display content according to the scene information
  • the first obtaining unit 103 is configured to use the interpolation-based SR technology to perform the first display content according to the interpolation coefficient of the first display content and the edge direction strength of each first image block of the first display content. Interpolation is performed to obtain the second display content.
  • the processing device for displaying content provided by the embodiment of the present invention may perform the foregoing method embodiments, and the implementation principle and technical effects thereof are similar, and details are not described herein again.
  • FIG. 8 is a schematic structural diagram of Embodiment 1 of a device for processing content displayed according to an embodiment of the present invention.
  • the processing device for displaying the content may also implement part or all of the terminal by software, hardware, or a combination of software and hardware.
  • the second acquiring module 11 may further include: a database determining unit 111 and a second obtaining unit 112.
  • the database determining unit 111 is configured to determine, according to the scenario information, a feature model database corresponding to the first display content, where the feature model database includes multiple feature model pairs;
  • the second obtaining unit 112 is configured to acquire, according to each of the first image block and the feature model database, a third display content corresponding to the first display content by using a learning-based SR technology.
  • the second obtaining unit 112 is further configured to: according to each of the first image blocks and The feature model database obtains a maximum matching probability when each of the first image block and the feature in the feature model data is feature-matched.
  • the SR0 is a pixel value of each second image block in the second display content
  • the SR1 is each third of the third display content a pixel value of the image block
  • the P0 is a probability that the first display content is an image video scene
  • the P1 is the maximum matching probability
  • the P2 is an edge direction intensity of each of the first image blocks, a position of the first image block in the first display content, a position of the second image block in the second display content, and a position of the third image block in the third display content
  • the Pmax is the maximum edge direction intensity of the first display content.
  • the scene information includes a scene type corresponding to the first display content or a scene probability corresponding to the first display content; and the scene type corresponding to the first display content includes an image video type scene or a UI interface class.
  • Scenes
  • the scene probability corresponding to the first display content includes a probability that the first display content is an image video type scene and a probability that the first display content is a first scene in the image video type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is the UI interface type scene and a probability that the first display content is a second scene in the UI interface type scene.
  • the scenario analyzing unit 101 is configured to determine, according to the display parameter information of the first display content, a scenario probability corresponding to the first display content, where the display parameter information includes: And displaying at least one of an image gradient of the content, a variance of the first display content, chromaticity information of the first display content, and a SIFT feature of the first display content.
  • the second acquiring unit 112 is specifically configured to determine, from the feature model database, a first feature corresponding to each of the first image blocks, and according to a feature model to which each of the first features belongs And determining, according to the second feature corresponding to each of the first features, and acquiring the third display content according to all the second features, wherein the first feature is in the feature model database and the first feature
  • the feature matching probability of the image block is a feature of the maximum matching probability.
  • the processing device for displaying content provided by the embodiment of the present invention may perform the foregoing method embodiments, and the implementation principle and technical effects thereof are similar, and details are not described herein again.
  • FIG. 9 is a schematic structural diagram of Embodiment 1 of a terminal according to an embodiment of the present disclosure.
  • the terminal can include an input device 20, a memory 21, a processor 22, and at least one communication bus 23.
  • the communication bus 23 is used to implement a communication connection between components.
  • the memory 21 may include a high speed RAM memory, and may also include a non-volatile memory NVM, such as at least one disk memory, in which various programs may be stored for performing various processing functions and implementing the method steps of the present embodiment.
  • the processor 22 may be, for example, a central processing unit (CPU), or may be a processing chip having a function of generating a super-resolution processing for the input first display content.
  • the input device 20 can be a camera, can be an input interface, and can be other devices capable of receiving the first display content input.
  • the communication bus 23 may be an ISA (Industry Standard Architecture) bus, a PCI (Peripheral Component Interconnect) bus, or an EISA (Extended Industry Standard Architecture). Bus, etc.
  • the communication bus 23 can be one or more physical lines. When it is a plurality of physical lines, it can be divided into an address bus, a data bus, a control bus, and the like.
  • the processor 22 is configured to adopt an interpolation-based super-resolution SR technology. Interpolating the first display content, acquiring the second display content corresponding to the first display content, and acquiring the third display content corresponding to the first display content by using the learning-based SR technology, and according to the second Displaying content and the third display content, determining a fourth display content corresponding to the first display content; wherein, a resolution of the second display content, a resolution of the third display content, the fourth The resolution of the displayed content is greater than the resolution of the first display content.
  • the terminal provided by the embodiment of the present invention may perform the foregoing method embodiments, and the implementation principle and technical effects are similar, and details are not described herein again.
  • the processor 22 is configured to perform interpolation on the first display content by using the interpolation-based super-resolution SR technology, and acquire the second display content corresponding to the first display content, which specifically includes:
  • the processor 22 is configured to acquire scene information of the first display content, and determine an interpolation coefficient of the first display content according to the scene information, and an interpolation coefficient according to the first display content.
  • An edge direction strength of each first image block of the first display content, the first display content is interpolated by using an interpolation-based SR technique to obtain the second display content; wherein the scene information is used for characterization The scene corresponding to the first display content.
  • the processor 22 is configured to acquire the third display content corresponding to the first display content by using the learning-based SR technology, and specifically includes:
  • the processor 22 is specifically configured to determine, according to the scenario information, a feature model database corresponding to the first display content, and adopt a learning-based SR technology according to each of the first image block and the feature model database. Obtaining a third display content corresponding to the first display content; wherein the feature model database includes a plurality of feature model pairs.
  • the processor 22 is configured to determine, according to the second display content and the third display content, the fourth display content that is corresponding to the first display content, specifically:
  • the position in the third display content corresponds to, and the P0 is a probability that the first display content is an image video type scene.
  • the processor 22 is further configured to acquire, according to each of the first image block and the feature model database, features of each of the first image block and the feature model data.
  • the maximum matching probability at the time of matching is further configured to acquire, according to each of the first image block and the feature model database, features of each of the first image block and the feature model data. The maximum matching probability at the time of matching.
  • the processor 22 is configured to determine, according to the second display content and the third display content, the fourth display content that is corresponding to the first display content, specifically:
  • the location in the third display content corresponds to, and the P1 is the maximum matching probability.
  • the processor 22 is configured to determine, according to the second display content and the third display content, the fourth display content that is corresponding to the first display content, specifically:
  • the processor 22 is configured to determine, according to the second display content and the third display content, the fourth display content that is corresponding to the first display content, specifically:
  • the Pmax is the maximum edge direction intensity of the first display content.
  • the scene information includes a scene type corresponding to the first display content or the The probability of the scene corresponding to the first display content.
  • the scene type corresponding to the first display content includes an image video type scene or a UI interface type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is an image video type scene and a probability that the first display content is a first scene in the image video type scene;
  • the scene probability corresponding to the first display content includes a probability that the first display content is the UI interface type scene and a probability that the first display content is a second scene in the UI interface type scene.
  • the processor 22 is configured to acquire scenario information of the first display content, specifically:
  • the processor 22 is configured to determine, according to the display parameter information of the first display content, a scene probability corresponding to the first display content, where the display parameter information includes: an image of the first display content At least one of a gradient, a variance of the first display content, chrominance information of the first display content, and a SIFT feature of the first display content.
  • the processor 22 is configured to obtain, according to each of the first image block and the feature model database, a third display content that is corresponding to the first display content, and specifically includes:
  • the processor 22 is specifically configured to determine, according to the feature model database, a first feature corresponding to each of the first image blocks, and determine, according to each of the feature model pairs to which the first feature belongs Acquiring the second feature corresponding to the first feature, and acquiring the third display content according to all the second features; wherein the first feature is a feature matching probability of the first image block in the feature model database The feature that is the maximum match probability.
  • the terminal provided by the embodiment of the present invention may perform the foregoing method embodiments, and the implementation principle and technical effects are similar, and details are not described herein again.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种显示内容的处理方法、装置和设备，该方法包括：采用基于插值的SR技术获取第一显示内容对应的第二显示内容；采用基于学习的SR技术获取第一显示内容对应的第三显示内容；根据第二显示内容和第三显示内容确定第一显示内容对应的第四显示内容，从而改善了终端对于低分辨率显示内容进行高分辨率显示的效果。

Description

显示内容的处理方法、装置和设备 技术领域
本发明涉及通信技术，尤其涉及一种显示内容的处理方法、装置和设备。
背景技术
随着通信技术的不断发展，移动终端发展的速度越来越快，人们对于移动设备上高质量、高清晰的图像信息要求也越来越高，故而移动设备的屏幕分辨率随着升高，有很多2K(2560x1440)，甚至4K(3840x2160)的屏幕出现。但是，移动设备的屏幕分辨率越高，移动终端的功耗就会越大。
因此，为了在保证高分辨率图像显示效果的同时，也能降低移动终端的功耗，超分辨率技术应运而生。超分辨率(Super Resolution，简称SR)技术是将低分辨率图像或者视频生成高分辨率图像或视频，因此显示之前的所有图像视频或者(User Interface，简称UI)界面内容可以是低分辨率(720p或1080p)，然后通过超分辨率技术将这些低分辨率的内容放大到2K或者4K来适应屏幕显示，这样就能保证高分辨率的显示同时较大降低移动设备的功耗。常见的图像超分辨率技术可以包括基于插值的SR技术和基于学习的SR技术。
但是，上述基于插值的SR技术对于UI界面这种线、点以及边缘较多的场景，图像处理效果并不理想，而基于学习的SR技术，如果要使其对于各类场景有普适性，就要求训练很多图像，这样就导致数据库很大，实现成本很高，同时如果当前需要重建的高分辨率图像在训练阶段没有被选取作为样本，则在复原阶段就无法获得相应的高分辨率特征，从而导致重建效果比较差，二者均无法满足当前用户对于高分辨率显示的要求。
因此，如何将不同类型的低分辨率内容进行高分辨率显示，以满足用户的显示需求，成为目前亟待解决的技术问题。
发明内容
本发明实施例提供的显示内容的处理方法、装置和设备，用以解决现有 技术中将不同类型的低分辨率内容进行高分辨率显示时，无法满足用户的显示需求的技术问题。
第一方面，本发明实施例提供一种显示内容的处理方法，包括：
采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
可选的，上述第一显示内容为低分辨率显示内容，该第一显示内容可以是图像视频类内容，还可以是UI界面类内容，还可以是叠加类内容。该图像视频类内容可以包括图像、视频，UI界面类内容可以包括图标、图形、文字、应用界面等，叠加类内容可以包括图像与图形的叠加内容、视频与图形的叠加内容。
该第一方面所提供的显示内容的处理方法，通过采用插值的SR技术获得第一显示内容对应的第二显示内容，并采用基于学习的SR技术所获得的第一显示内容对应的第三显示内容，然后根据该第二显示内容和第三显示内容得到第一显示内容对应的第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。
在一种可能的设计中，所述采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
根据所述场景信息确定所述第一显示内容的插值系数；
根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值， 获取所述第二显示内容。
该可能的设计所提供的显示内容的处理方法，通过获取第一显示内容的场景信息，并根据第一显示内容的场景信息确定第一显示内容对应的插值系数，从而根据该插值系数、第一显示内容的每个第一图像块的边缘方向强度对第一显示内容进行插值，获取第一显示内容对应的高分辨率的第二显示内容进行显示。本发明实施例提供的方法，根据不同的第一显示内容的场景信息确定与场景信息对应的不同的插值系数，使得所确定的插值系数更加适合于当前第一显示内容的插值过程，避免了现有技术中采用单一的插值系数导致的边缘锯齿和清晰度较低的问题，其大大改善了第一显示内容的边缘锯齿和清晰度，对不同的第一显示内容均可以得到显示效果较好的第二显示内容，大大改善显示内容的显示效果，满足了用户的显示需求。
在一种可能的设计中，所述采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
该可能的设计所提供的显示内容的处理方法，通过根据第一显示内容的场景信息确定第一显示内容对应的特征模型数据库，从而根据该第一显示内容对应的特征模型数据库和第一显示内容的每个第一图像块，复原出第三显示内容，无需将第一显示内容逐个与所有特征模型数据库进行匹配，而是将第一显示内容与其场景对应的特征模型数据库进行匹配，大大提高了第三显示内容的重建效率，降低了终端的功耗。
在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
在一种可能的设计中，所述方法还包括：
根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
结合上述几种可能的设计所提供的显示内容的处理方法，通过不同的方 式将第二显示内容和第三显示内容进行融合，得到第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。
在一种可能的设计中，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
在一种可能的设计中，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
或者，
所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
在一种可能的设计中，所述获取第一显示内容的场景信息，具体包括：
根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
在一种可能的设计中，所述根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征；
根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征；
根据所有第二特征，获取所述第三显示内容。
第二方面，本发明实施例提供一种显示内容的处理装置，包括：
第一获取模块，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
第二获取模块，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
确定模块，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
在一种可能的设计中，所述第一获取模块，具体包括：
场景分析单元，用于获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
插值系数获取单元，用于根据所述场景信息确定所述第一显示内容的插值系数；
第一获取单元，用于根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容。
在一种可能的设计中，所述第二获取模块，具体包括：
数据库确定单元，用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
第二获取单元，用于根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
在一种可能的设计中，所述确定模块，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
在一种可能的设计中，所述第二获取单元，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据 中的特征进行特征匹配时的最大匹配概率。
在一种可能的设计中，所述确定模块，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
在一种可能的设计中，所述确定模块，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
在一种可能的设计中，所述确定模块，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
在一种可能的设计中，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
在一种可能的设计中，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概 率；
或者，
所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
在一种可能的设计中，所述场景分析单元，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
在一种可能的设计中，所述第二获取单元，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
上述第二方面以及第二方面的各可能的设计所提供的显示内容的处理装置，其有益效果可以参照上述第一方面以及第一方面的各可能的设计所带来的有益效果，在此不再赘述。
第三方面，本发明实施例提供一种终端，包括：
处理器，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，并采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，并根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
在一种可能的设计中，所述处理器，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
所述处理器，具体用于获取所述第一显示内容的场景信息，并根据所述场景信息确定所述第一显示内容的插值系数，以及根据所述第一显示内容的 插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容；其中，所述场景信息用于表征所述第一显示内容对应的场景。
在一种可能的设计中，所述处理器，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
所述处理器，具体用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库，并根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容；其中，所述特征模型数据库包括多个特征模型对。
在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
在一种可能的设计中，所述处理器，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器，具体用于根据公式 SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
在一种可能的设计中，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
在一种可能的设计中，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
或者，
所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
在一种可能的设计中，所述处理器，用于获取第一显示内容的场景信息，具体包括：
所述处理器，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
在一种可能的设计中，所述处理器，具体用于根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
所述处理器，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
上述第二方面以及第二方面的各可能的设计所提供的终端，其有益效果可以参照上述第一方面以及第一方面的各可能的设计所带来的有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的显示内容的处理方法实施例一的流程示意图；
图2为本发明提供的显示内容的处理方法实施例二的流程示意图；
图3为本发明提供的显示内容的处理方法实施例三的流程示意图；
图4为本发明提供的显示内容的处理方法实施例四的流程示意图；
图5为本发明提供的YCBCR空间示意图；
图6为本发明提供的显示内容的处理装置实施例一的结构示意图；
图7为本发明提供的显示内容的处理装置实施例二的结构示意图；
图8为本发明提供的显示内容的处理装置实施例三的结构示意图；
图9为本发明提供的终端实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例涉及的终端，可以包括但不限于手机、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑、便携设备(例如，便携式计算机)等移动通讯设备，也包括自动柜员机(Automatic Teller Machine，简称ATM)等具有显示功能的设备，还可以其他任意类型具有显示功能的设备，本发明实施例并不限定。
本发明实施例所涉及的显示内容的处理方法、装置和设备，涉及的是将低分辨率显示内容在终端上进行高分辨率显示，以节省终端处理功耗的场景，还可以是适用于将图像以及视频放大的场景，或者适用于在一些显示设备上需要显示不同分辨率的视频图像的场景。该显示内容可以是图像视频类内容，可以是UI界面类内容，还可以是叠加类内容。该图像视频类内容可以包括图像、视频，UI界面类内容可以包括图标、图形、文字、应用界面等，叠加类内容可以包括图像与图形的叠加内容、视频与图形的叠加内容。
本发明实施例所涉及的显示内容的处理方法、装置和设备，旨在解决现有技术将不同类型的低分辨率内容进行高分辨率显示时，显示效果较差，无法满足用户的显示需求的技术问题。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明提供的显示内容的处理方法实施例一的流程示意图。本实施例涉及的是终端根据采用基于插值的SR技术所获得的第一显示内容对应的第二显示内容和采用基于学习的SR技术所获得的第一显示内容对应的第三显示内容，确定出第一显示内容对应的第四显示内容的具体过程。如图1 所示，该方法包括：
S101：采用基于插值的SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容。
可选的，该基于插值的SR技术可以为基于图像像素值的空间平均值和卷积来插值的SR技术，例如双线性插值、双三次插值以及多相位插值，还可以为(New Edge-Directed Interpolation，简称NEDI)、(soft-decision adaptive interpolation，简称SAI)、Double Interpolation等技术。上述第一显示内容为低分辨率显示内容，该第一显示内容可以是图像视频类内容，还可以是UI界面类内容，还可以是叠加类内容。该图像视频类内容可以包括图像、视频，UI界面类内容可以包括图标、图形、文字、应用界面等，叠加类内容可以包括图像与图形的叠加内容、视频与图形的叠加内容。上述第二显示内容为采用基于插值的SR技术对第一显示内容进行超分辨率处理后得到的超分辨率结果，而采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取第二显示内容的具体过程可以参照现有技术，在此不再赘述。
S102：采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容。
具体的，上述基于学习的SR技术包括学习阶段和复原阶段。学习阶段是终端选择一些样本图像作为训练图像对，该训练图像对包括一个低分辨率图像和对应的高分辨率图像，该低分辨率图像和高分辨率图像中的图像内容相同；接着，终端对所选择的训练图像对采用相同的划分原则分别进行划分，得到多个训练图像块对，每个训练图像块对包括一个低分辨率图像块和对应的高分辨率图像块，且该低分辨率图像块和高分辨率图像块的具体内容和大小均相同；然后终端对每个训练图像块对进行特征提取，得到多个特征模型对，即一对高低分辨率图像块组成的训练图像块对对应一个特征模型对，一个高低分辨率图像组成的训练图像对可以具有多个特征模型对。可选的，上述训练图像对可以选取常用的720p/1080p和2k/4k分辨率的UI界面、应用的界面、网页文字等，还可以是选取高、低分辨率的图像视频等。因此，采用上述训练过程，终端就可以得到不同类型的特征模型数据库，例如可以得到网页文字的特征模型数据库、图标的特征模型数据库、图形的特征模型数据库、图像的特征模型数据库等，每个类型的特征模型数据库包括多个基于该 类型的训练图像对得到的特征模型对。复原阶段是终端基于输入的第一显示内容和所得到的多个特征模型数据库，得到第一显示内容对应的多个高分辨率特征，然后根据该高分辨率特征恢复出第一显示内容对应的高分辨率显示内容，即第三显示内容。
需要说明的是，上述S101和S102之间并没有时序关系的限定，即S101可以和S102并行执行，也可以在S102之前或者之后执行。
S103：根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容。
其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
具体的，当终端获得第二显示内容和第三显示内容之后，可以将第二显示内容和第三显示内容进行融合，该融合方式可以是将第二显示内容和第三显示内容相比较，选择显示效果较好的一方作为第四显示内容，还可以是采用相应的选择系数将第二显示内容和第三显示内容进行融合，得到第四显示内容，本实施例对融合方式并不做限定。
可选的，当第一显示内容为UI界面类的这种线、点以及边缘较多的显示内容时，采用基于插值的SR得到的第二显示内容的效果低于终端采用基于插值的SR技术处理图像视频类内容的效果，此时，由于该第一显示内容同样会被终端进行S102的处理，进而得到第三显示内容，这样终端可以根据所获得的第二显示内容和第三显示内容，将其进行融合或者进行择一选择的方式得到显示效果较好的第四显示内容；当采用基于学习的SR技术时，如果当前需要重建的高分辨率显示内容在训练阶段没有被选取作为训练样本，则在复原阶段就无法获得相应的高分辨率特征，复原得到的第三显示内容的显示效果低于第二显示内容的显示效果，而由于上述S101也可以对第一显示内容进行处理得到第二显示内容，从而弥补了S102的不足，这样终端根据获得的第二显示内容和第三显示内容，就可以将其进行融合或者进行择一选择的方式得到第四显示内容。
也就是说，对于不同类型的低分辨率显示内容进行高分辨率显示时，本实施例的方法均可以达到比较好的显示效果，S101和S102在S103的作用下相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型 的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。同时，由于S101和S102相辅相成的作用，终端在基于学习的SR的学习阶段中可以仅建立关于UI界面类的特征模型数据库，即终端仅选择常用的720p/1080p和2k/4k分辨率的图标、应用界面、网页文字来作为训练样本得到特征模型数据库，就可以与S101一起对不同类型的第一显示内容进行处理，而无需对所有类型的训练图像对均建立特征模型数据库，这样降低了终端的训练成本。
本发明提供的显示内容的处理方法，通过采用插值的SR技术获得第一显示内容对应的第二显示内容，并采用基于学习的SR技术所获得的第一显示内容对应的第三显示内容，然后根据该第二显示内容和第三显示内容得到第一显示内容对应的第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求，同时也降低了终端的训练成本。
图2为本发明提供的显示内容的处理方法实施例二的流程示意图。本实施例涉及的是通过根据第一显示内容的场景信息，确定第一显示内容适用的插值系数，从而根据所确定的插值系数采用基于插值的SR技术获取第二显示内容的具体过程。其中，第一显示内容的分辨率小于第二显示内容的分辨率。在上述实施例的基础上，进一步地，上述S101具体可以包括：
S201：获取第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景。
具体的，当终端获取到第一显示内容之后，对第一显示内容进行场景分析，确定第一显示内容的场景信息。可选的，终端可以根据第一显示内容的图像梯度对第一显示内容进行场景分析，还可以根据第一显示内容的色度范围等色度信息对第一显示内容进行场景分析，还可以是根据从第一显示内容所提取的特征和预设的场景训练样本库中的场景样本特征进行匹配，得到第 一显示内容的场景信息。可选的，终端还可以根据上层系统的指示获知当前第一显示内容的场景信息。可选的，该场景信息可以是第一显示内容所属的具体场景，还可以是第一显示内容属于某一种场景的概率值，还可以是第一显示内容所属的具体场景的场景标识等，本实施例对场景信息的内容并不做限定，只要其能够表征第一显示内容对应的场景即可。
S202：根据所述场景信息确定所述第一显示内容的插值系数。
S203：根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容。
具体的，上述第一显示内容是终端的输入内容，当终端确定第一显示内容的场景信息之后，根据该场景信息确定与该场景信息对应的插值系数，即确定出第一显示内容对应的插值系数。可选的，终端可以预设插值数据库，该插值数据库包括不同的场景信息与不同的插值之间的映射关系，当终端确定第一显示内容的场景信息之后，查询该插值数据库，从而获得第一显示内容的场景信息对应的插值系数，本实施例对终端根据场景信息确定第一显示内容的插值系数的具体方式并不做限定。
之后，终端采用基于插值的SR技术分析第一显示内容边缘方向以及强度信息，从而得到第一显示内容的每个第一图像块的边缘方向强度，然后根据所计算出的每个第一图像块的边缘方向强度和第一显示内容的插值系数，对第一显示内容进行自适应的插值，以获取第一显示内容对应的第二显示内容，从而将第二显示内容进行显示；其中，具体的插值过程可以参照现有技术的描述，在此不再赘述。
本发明实施例提供的显示内容的处理方法，通过获取第一显示内容的场景信息，并根据第一显示内容的场景信息确定第一显示内容对应的插值系数，从而根据该插值系数、第一显示内容的每个第一图像块的边缘方向强度对第一显示内容进行插值，获取第一显示内容对应的高分辨率的第二显示内容进行显示。本发明实施例提供的方法，根据不同的第一显示内容的场景信息确定与场景信息对应的不同的插值系数，使得所确定的插值系数更加适合于当前第一显示内容的插值过程，避免了现有技术中采用单一的插值系数导致的边缘锯齿和清晰度较低的问题，其大大改善了第一显示内容的边缘锯齿和清 晰度，对不同的第一显示内容均可以得到显示效果较好的第二显示内容，大大改善显示内容的显示效果，满足了用户的显示需求，进一步地，由于第二显示内容的效果得到改善，因此，终端最终得到的第四显示内容的效果也会随之改善，更加满足了用户的显示需求。
图3为本发明提供的显示内容的处理方法实施例三的流程示意图。本实施例涉及的是终端根据第一显示内容的场景信息确定第一显示内容对应的特征模型数据库，从而根据第一显示内容的第一图像块和该特征模型数据库，采用基于学习的SR技术，获取第一显示内容对应的第三显示内容的具体过程。本实施例中，第三显示内容的分辨率大于第一显示内容。在上述实施例的基础上，进一步地，上述S102具体可以包括：
S301：根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对。
具体的，本实施例中，终端在获取第三显示内容之前，已经预先建立了多个不同类型的特征模型数据库，例如包括网页文字的特征模型数据库、图标的特征模型数据库、图形的特征模型数据库、图像的特征模型数据库等，每个类型的特征模型数据库包括多个基于该类型的训练图像对得到的特征模型对。
这样，当终端确定出第一显示内容的场景信息之后，终端可以根据该场景信息确定出第一显示内容对应的场景，然后根据第一显示内容对应的场景确定与该场景对应的特征模型数据库。例如，当终端确定第一显示内容是网页文字的场景时，则终端就可以确定出该第一显示内容对应的特征模型数据库是网页文字的特征模型数据库。
S302：根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容。
具体的，该步骤可以为终端结合低分辨率显示内容(即第一显示内容)的图像块和对应的特征模型数据库，复原出高分辨率显示内容(即第三显示内容)的过程(即复原阶段)。具体参见图4所示的实施例四，该复原过程具体可以包括如下步骤：
S401：从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配 概率为最大匹配概率的特征。
S402：根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征。
S403：根据所有第二特征，获取所述第三显示内容。
具体的，终端在确定第一显示内容对应的特征模型数据库之后，对于第一显示内容的每个第一图像块，终端均会从第一显示内容对应的特征模型数据库中找到该第一图像块对应的第一特征，该第一特征为第一显示内容对应的特征模型数据库中与该第一图像块的特征匹配概率为最大匹配概率的特征，采用这种方法，终端就会获得多个第一特征，该第一特征为低分辨率特征。由于第一显示内容对应的特征模型数据库中包括多个特征模型对，每个特征模型对包括一个低分辨率特征(即第一特征)和与该低分辨率特征对应的高分辨率特征(即第二特征)，这样，针对每一个第一特征，均就可以获得每个第一特征对应的第二特征，从而终端根据所得到的所有第二特征就可以恢复出第一显示内容对应的第三显示内容。
本发明实施例提供的显示内容的处理方法，通过根据第一显示内容的场景信息确定第一显示内容对应的特征模型数据库，从而根据该第一显示内容对应的特征模型数据库和第一显示内容的每个第一图像块，复原出第三显示内容，无需将第一显示内容逐个与所有特征模型数据库进行匹配，而是将第一显示内容与其场景对应的特征模型数据库进行匹配，大大提高了第三显示内容的重建效率，降低了终端的功耗。
在上述实施例的基础上，上述场景信息可以包括第一显示内容对应的场景类型或者第一显示内容对应的场景概率。该第一显示内容对应的场景类型可以包括图像视频类场景或者UI界面类场景。该第一显示内容对应的场景概率可以包括第一显示内容是图像视频类场景的概率和第一显示内容是所述图像视频类场景中的第一场景的概率；或者，该第一显示内容对应的场景概率可以包括第一显示内容是UI界面类场景的概率以及第一显示内容是所述UI界面类场景中的第二场景的概率。可选的，图像视频类场景例如可以包括天空场景、草地场景、人脸场景、动物场景、建筑物场景等，UI界面类场景例如可以包括应用界面场景、网页文字场景、图标场景、图形场景等，因此， 上述第一场景可以是图像视频类场景中的任一场景，上述第二场景可以是UI界面类场景中的任一场景。故，本发明实施例五还提供了一种显示内容的处理方法实施例，在上述实施例的基础上，上述S201具体可以包括：根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换(scale invariant feature transform，简称SIFT)特征中的至少一个。
需要说明的是，本实施例中第一显示内容的场景信息为第一显示内容对应的场景概率，即第一显示内容属于某一种场景的概率。当终端从上层系统无法获知第一显示内容对应的场景时，终端则需要根据显示参数信息确定第一显示内容对应的场景概率，该显示参数信息可以包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的shift特征中的至少一个。具体的，终端首先根据上述显示参数信息确定第一显示内容是图像视频类场景的概率或者是UI界面类场景的概率。
当终端确定第一显示内容是图像视频类场景的概率较大时，终端进一步确定可以根据显示参数信息中的第一显示内容的色度信息分析当前第一显示内容具体是人脸场景、草地场景、天空场景、动物场景、建筑物场景的概率，即终端进一步确定第一显示内容是图像视频类场景中的某一个第一场景的概率，其中，终端确定第一显示内容是图像视频类场景中的某一个第一场景的概率的方式可以包括下述两种方式：
第一种：对于图像视频类场景中的人脸、草地以及天空等场景，如果在YCBCR空间，其色度都是分布在一定的区域范围内。参见图5所示的YCBCR空间示意图，人脸、草地以及天空等场景一般分布在图5中的一个椭圆形或者圆形区域内。假设椭圆或者圆的中心的色度分量Cb、Cr坐标为(Cb0,Cr0)。越靠近中心，是该种场景的概率越大，离中心越远，概率越小，离中心的距离可以用欧式距离计算。人脸、天空、草地等场景的色度中心坐标(Cb0,Cr0)不一样，可以根据实际应用作调整。
第二种：基于特征的匹配方式。终端可以离线训练大量人脸、草地、天空、建筑物、动物等几类场景，提取出几类场景的特征(特征可以包括如 上所述的色度范围、梯度特征、shift特征等)，然后对第一显示内容提取相应特征，与所训练的几类场景特征进行匹配，匹配度高于一定的阈值，表明该第一显示内容属于该类场景的概率较大，从而将所得到的场景概率输出。
当终端确定第一显示内容是UI界面类场景的概率较大时，终端进一步确定可以根据显示参数信息中的的第一显示内容的图像梯度、方差信息分析第一显示内容是网页文字场景、图标场景以及图形场景等的概率，即终端进一步确定第一显示内容是UI界面类场景中的某一个第二场景的概率，其中，终端确定第一显示内容是UI界面类场景中的某一个第二场景的概率的方式可以包括下述两种方式：
第一种：根据第一显示内容的图像梯度以及方差，确定第一显示内容是UI界面类场景中的某一个第二场景的概率。以UI界面类场景包括网页文字场景、图标场景和图形场景为例，网页文字场景对应的特征的梯度和方差最大，图形场景对应的特征的梯度及方差小于网页文字类场景对应的特征的梯度和方差，图标场景对应的特征的梯度及方差小于图形类场景对应的特征的梯度及方差。也就是说，终端会设定两个限值，包括A和B，其中，B大于A，当第一显示内容的图像梯度以及方差小于等于A时，表明第一显示内容是图标场景的概率较大，并将所得到的场景概率输出；当第一显示内容的图像梯度以及方差大于A而小于等于B时，表明第一显示内容是图形场景的概率较大，并将所得到的场景概率输出；当第一显示内容的图像梯度以及方差大于B时，表明第一显示内容是网页文字场景的概率较大，并将所得到的场景概率输出。
第二种：基于特征的匹配方式。终端可以离线训练大量网页文字、图形、图标等几类场景，提取出这几类场景的特征(特征可以包括如上所述的色度范围、梯度特征、shift特征等)，然后对第一显示内容提取相应特征，与所训练的几类场景特征进行匹配，匹配度高于一定的阈值，表明该第一显示内容属于该类场景的概率较大，从而将所得到的场景概率输出。
需要说明的是，当第一显示内容是叠加类内容时，例如，当第一显示内容是图像和图形的叠加时，终端最后输出的场景概率可以为“第一显示内容是图像的场景概率是X，第一显示内容是图形场景的概率是Y”。
当终端得到第一显示内容的场景概率时，终端就可以获知第一显示内容所对应的场景，从而就可以获得该场景对应的插值系数或者特征模型数据库。
上述实施例中介绍了终端根据第二显示内容和第三显示内容得到第四显示内容以解决现有将不同类型的低分辨率内容进行高分辨率显示，无法满足用户的显示需求的技术问题的过程，下述几种可能的实施方式将具体介绍终端将第二显示内容和第三显示内容进行融合，得到第四显示内容的具体过程。
作为本发明实施例的第一种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
根据公式SR＝P0×SR0+(1-P0)×SR1(公式1)确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
具体的，第二显示内容是由多个第二图像块组成，第三显示内容是由多个第三图像块组成，上述SR0为第二显示内容中每个第二图像块的像素值，SR1为所述第三显示内容中每个第三图像块的像素值，SR为第四显示内容的每个第四图像块的像素值，对于第一显示内容的第一图像块而言，均存在与该第一图像块在第一显示内容中的位置相对应的第二图像块和第三图像块，且第二图像块在第二显示内容中的位置与第三图像块在所述第三显示内容中的位置以及与第四图像块在第四显示内容中的位置一一对应，也就是说，对于每个第二图像块以及位置对应的每个第三图像块，将其对应的像素值代入上述公式1中，可以得到多个位置对应的第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
作为本发明实施例的第二种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的另一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，以及，每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率，并根据公式SR＝P1×SR1+(1-P1)×SR0(公式2)确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
具体的，第二显示内容是由多个第二图像块组成，第三显示内容是由多个第三图像块组成，上述SR0为第二显示内容中每个第二图像块的像素值，SR1为所述第三显示内容中每个第三图像块的像素值，SR为第四显示内容的每个第四图像块的像素值，对于第一显示内容的第一图像块而言，每个第一图像块均存在与其在第一显示内容中的位置相对应的第二图像块和第三图像块，第二图像块在第二显示内容中的位置与第三图像块在所述第三显示内容中的位置以及与第四图像块在第四显示内容中的位置一一对应，每个第一图像块与所述特征模型数据中的特征进行特征匹配时均有一个最大匹配概率P1，也就是说，对于每个第一图像块而言，均对应一个P1。则，对于每一个第一图像块，将其对应的第二图像块和第三图像块、以及P1分别代入上述公式2中，则可以得到多个第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
作为本发明实施例的第三种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的另一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，以及，每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率，并根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)(公式3)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素 值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
具体的，第二显示内容是由多个第二图像块组成，第三显示内容是由多个第三图像块组成，上述SR0为第二显示内容中每个第二图像块的像素值，SR1为所述第三显示内容中每个第三图像块的像素值，SR为第四显示内容的每个第四图像块的像素值，对于第一显示内容的第一图像块而言，每个第一图像块均存在与其在第一显示内容中的位置相对应的第二图像块和第三图像块，且第二图像块在第二显示内容中的位置、第三图像块在所述第三显示内容中的位置、以及第四图像块在第四显示内容中的位置一一对应，每个第一图像块与所述特征模型数据中的特征进行特征匹配时均有一个最大匹配概率P1，P2为每个第一图像块的边缘方向强度(Pmax的值为一个)，也就是说，对于每个第一图像块而言，均对应一个P1和一个P2。则，对于每一个第一图像块，将其对应的第二图像块和第三图像块、以及P1、P2分别代入上述公式3中，则可以得到多个第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
作为本发明实施例的第四种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的另一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax(公式4)确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
具体的，根据上述第三种可能的实施方式中的相关具体解释，对于每一 个第一图像块，将其对应的第二图像块和第三图像块、以及P2分别代入上述公式4中，则可以得到多个第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
结合上述几种可能的实施方式提供的显示内容的处理方法，通过不同的方式将第二显示内容和第三显示内容进行融合，得到第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本发明实施例提供的显示内容的处理装置实施例一的结构示意图。该显示内容的处理装置可以通过软件、硬件或者软硬结合的方式实现终端的部分或者全部。如图6所示，该装置可以包括：第一获取模块10、第二获取模块11和确定模块12。
其中，第一获取模块10，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
第二获取模块11，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
确定模块12，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
本发明实施例提供的显示内容的处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图7为本发明实施例提供的显示内容的处理装置实施例一的结构示意 图。该显示内容的处理装置也可以通过软件、硬件或者软硬结合的方式实现终端的部分或者全部。在上述图6所示实施例的基础上，进一步地，上述第一获取模块10，具体包括：场景分析单元101、插值系数获取单元102和第一获取单元103。
其中，场景分析单元101，用于获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
插值系数获取单元102，用于根据所述场景信息确定所述第一显示内容的插值系数；
第一获取单元103，用于根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容。
本发明实施例提供的显示内容的处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图8为本发明实施例提供的显示内容的处理装置实施例一的结构示意图。该显示内容的处理装置也可以通过软件、硬件或者软硬结合的方式实现终端的部分或者全部。在上述图7所示实施例的基础上，进一步地，上述第二获取模块11，具体可以包括：数据库确定单元111和第二获取单元112。
其中，数据库确定单元111，用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
第二获取单元112，用于根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
可选的，所述确定模块12，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
可选的，所述第二获取单元112，还用于根据每个所述第一图像块和所 述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
可选的，所述确定模块12，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
可选的，所述确定模块12，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
可选的，所述确定模块12，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
可选的，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率；所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
或者，
所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
可选的，所述场景分析单元101，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的SIFT特征中的至少一个。
可选的，所述第二获取单元112，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
本发明实施例提供的显示内容的处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图9为本发明实施例提供的终端实施例一的结构示意图。如图9所示，该终端可以包括输入设备20、存储器21、处理器22和至少一个通信总线23。通信总线23用于实现元件之间的通信连接。存储器21可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，存储器21中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。该处理器22例如可以为中央处理器(Central Processing Unit，简称CPU)，还可以为具有生成对输入的第一显示内容进行超分辨率处理功能的处理芯片。该输入设备20可以是摄像头、可以是输入接口，还可以是其他的能够接收第一显示内容输入的设备
需要说明的是，该通信总线23可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。所述通信总线23可以是一条或多条物理线路，当是多条物理线路时可以分为地址总线、数据总线、控制总线等。
在本发明实施例中，处理器22，用于采用基于插值的超分辨率SR技术 对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，并采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，并根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
本发明实施例提供的终端，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
可选的，所述处理器22，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
所述处理器22，具体用于获取所述第一显示内容的场景信息，并根据所述场景信息确定所述第一显示内容的插值系数，以及根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容；其中，所述场景信息用于表征所述第一显示内容对应的场景。
可选的，所述处理器22，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
所述处理器22，具体用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库，并根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容；其中，所述特征模型数据库包括多个特征模型对。
可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器22，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
可选的，所述处理器22，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征 匹配时的最大匹配概率。
可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器22，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器22，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
所述处理器22，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
可选的，所述场景信息包括所述第一显示内容对应的场景类型或者所述 第一显示内容对应的场景概率。
可选的，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
或者，
所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
可选的，所述处理器22，用于获取第一显示内容的场景信息，具体包括：
所述处理器22，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的SIFT特征中的至少一个。
可选的，所述处理器22，具体用于根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
所述处理器22，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
本发明实施例提供的终端，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (36)

  1. 一种显示内容的处理方法，其特征在于，包括：
    采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
    采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
    根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
  2. 根据权利要求1所述的方法，其特征在于，所述采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
    获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
    根据所述场景信息确定所述第一显示内容的插值系数；
    根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容。
  3. 根据权利要求2所述的方法，其特征在于，所述采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
    根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
    根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
  4. 根据权利要求2或3所述的方法，其特征在于，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对 应，所述P0为所述第一显示内容是图像视频类场景的概率。
  5. 根据权利要求3所述的方法，其特征在于，所述方法还包括：
    根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
  6. 根据权利要求5所述的方法，其特征在于，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
  7. 根据权利要求5所述的方法，其特征在于，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
  8. 根据权利要求2或3所述的方法，其特征在于，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中 的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
  9. 根据权利要求2-8任一项所述的方法，其特征在于，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
  10. 根据权利要求9所述的方法，其特征在于，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
    所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
    或者，
    所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
  11. 根据权利要求10所述的方法，其特征在于，所述获取第一显示内容的场景信息，具体包括：
    根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
  12. 根据权利要求3所述的方法，其特征在于，所述根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
    从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征；
    根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征；
    根据所有第二特征，获取所述第三显示内容。
  13. 一种显示内容的处理装置，其特征在于，包括：
    第一获取模块，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
    第二获取模块，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
    确定模块，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
  14. 根据权利要求13所述的装置，其特征在于，所述第一获取模块，具体包括：
    场景分析单元，用于获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
    插值系数获取单元，用于根据所述场景信息确定所述第一显示内容的插值系数；
    第一获取单元，用于根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容。
  15. 根据权利要求14所述的装置，其特征在于，所述第二获取模块，具体包括：
    数据库确定单元，用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
    第二获取单元，用于根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
  16. 根据权利要求14或15所述的装置，其特征在于，所述确定模块，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
  17. 根据权利要求15所述的装置，其特征在于，所述第二获取单元，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
  18. 根据权利要求17所述的装置，其特征在于，所述确定模块，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
  19. 根据权利要求17所述的装置，其特征在于，所述确定模块，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
  20. 根据权利要求14或15所述的装置，其特征在于，所述确定模块，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
  21. 根据权利要求14-20任一项所述的装置，其特征在于，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
  22. 根据权利要求21所述的装置，其特征在于，所述第一显示内容对应 的场景类型包括图像视频类场景或者UI界面类场景；
    所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
    或者，
    所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
  23. 根据权利要求22所述的装置，其特征在于，所述场景分析单元，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
  24. 根据权利要求15所述的装置，其特征在于，所述第二获取单元，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
  25. 一种终端，其特征在于，包括：
    处理器，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，并采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，并根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
  26. 根据权利要求25所述的终端，其特征在于，所述处理器，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
    所述处理器，具体用于获取所述第一显示内容的场景信息，并根据所述 场景信息确定所述第一显示内容的插值系数，以及根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容；其中，所述场景信息用于表征所述第一显示内容对应的场景。
  27. 根据权利要求26所述的终端，其特征在于，所述处理器，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
    所述处理器，具体用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库，并根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容；其中，所述特征模型数据库包括多个特征模型对。
  28. 根据权利要求26或27所述的终端，其特征在于，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    所述处理器，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
  29. 根据权利要求27所述的终端，其特征在于，所述处理器，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
  30. 根据权利要求29所述的终端，其特征在于，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    所述处理器，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第 三显示内容中的位置对应，所述P1为所述最大匹配概率。
  31. 根据权利要求29所述的终端，其特征在于，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    所述处理器，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
  32. 根据权利要求26或27所述的终端，其特征在于，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
    所述处理器，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
  33. 根据权利要求26-32任一项所述的终端，其特征在于，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
  34. 根据权利要求33所述的终端，其特征在于，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
    所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概 率；
    或者，
    所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
  35. 根据权利要求34所述的终端，其特征在于，所述处理器，用于获取第一显示内容的场景信息，具体包括：
    所述处理器，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
  36. 根据权利要求27所述的终端，其特征在于，所述处理器，具体用于根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
    所述处理器，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
PCT/CN2016/080752 2016-04-29 2016-04-29 显示内容的处理方法、装置和设备 WO2017185348A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2016/080752 WO2017185348A1 (zh) 2016-04-29 2016-04-29 显示内容的处理方法、装置和设备
CN201680084933.0A CN109074631B (zh) 2016-04-29 2016-04-29 显示内容的处理方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/080752 WO2017185348A1 (zh) 2016-04-29 2016-04-29 显示内容的处理方法、装置和设备

Publications (1)

Publication Number Publication Date
WO2017185348A1 true WO2017185348A1 (zh) 2017-11-02

Family

ID=60161602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/080752 WO2017185348A1 (zh) 2016-04-29 2016-04-29 显示内容的处理方法、装置和设备

Country Status (2)

Country Link
CN (1) CN109074631B (zh)
WO (1) WO2017185348A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184657A1 (en) * 2003-03-18 2004-09-23 Chin-Teng Lin Method for image resolution enhancement
US20130084014A1 (en) * 2011-09-29 2013-04-04 Altek Corporation Processing method for image interpolation
CN103077511A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于字典学习和结构相似的图像超分辨率重建方法
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法
EP2908285A1 (en) * 2014-02-13 2015-08-19 Thomson Licensing Method for performing super-resolution on single images and apparatus for performing super-resolution on single images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112120A1 (ja) * 2013-01-21 2014-07-24 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、マルチ表示システム、およびマルチ表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184657A1 (en) * 2003-03-18 2004-09-23 Chin-Teng Lin Method for image resolution enhancement
US20130084014A1 (en) * 2011-09-29 2013-04-04 Altek Corporation Processing method for image interpolation
CN103077511A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于字典学习和结构相似的图像超分辨率重建方法
EP2908285A1 (en) * 2014-02-13 2015-08-19 Thomson Licensing Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANIEL GLASNER: "Super-Resolution from a Single Image", 2009 IEEE 12TH INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV, 31 December 2009 (2009-12-31), XP031672601, ISSN: 1550-5499 *
RADU: "Anchored Neighborhood Regression for Fast Example-Based Super-Resolution", 2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, 31 December 2013 (2013-12-31), pages 1920 - 1926, XP032573137, ISSN: 1550-5499, DOI: 10.1109/ICCV.2013.241 *
WILLIAM T. FREEMAN: "Example-Based Super-Resolution", IEEE COMNPUTER GRAPHICS AND APPLICATIONS, 30 April 2002 (2002-04-30), XP008142290, ISSN: 0272-1716 *

Also Published As

Publication number Publication date
CN109074631A (zh) 2018-12-21
CN109074631B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
WO2022057837A1 (zh) 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质
US11373275B2 (en) Method for generating high-resolution picture, computer device, and storage medium
US10861133B1 (en) Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium
US7613363B2 (en) Image superresolution through edge extraction and contrast enhancement
WO2022141819A1 (zh) 视频插帧方法、装置、计算机设备及存储介质
CN110100251B (zh) 用于处理文档的设备、方法和计算机可读存储介质
US9373187B2 (en) Method and apparatus for producing a cinemagraph
US20150363922A1 (en) Super-resolution from handheld camera
US11030715B2 (en) Image processing method and apparatus
US20220328019A1 (en) Display terminal adjustment method and display terminal
JP2004153668A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US11908107B2 (en) Method and apparatus for presenting image for virtual reality device, device and non-transitory computer-readable storage medium
EP4207051A1 (en) Image super-resolution method and electronic device
CN110570367A (zh) 鱼眼图像的校正方法、电子设备及存储介质
US11194536B2 (en) Image processing method and apparatus for displaying an image between two display screens
US8532435B1 (en) System and method for automatically adapting images
WO2018113224A1 (zh) 一种图像缩小方法及装置
US20110134208A1 (en) Panoramic image synthesizer, panoramic image synthesis method, and program
CN105930464B (zh) Web富媒体跨屏适配方法和装置
WO2024027583A1 (zh) 图像处理方法、装置、电子设备和可读存储介质
CN112927163A (zh) 图像数据增强方法、装置、电子设备及存储介质
Liang et al. Optimised image retargeting using aesthetic‐based cropping and scaling
WO2017185348A1 (zh) 显示内容的处理方法、装置和设备
Chen et al. Algorithm and VLSI architecture of edge-directed image upscaling for 4K display system
WO2020181641A1 (zh) 图像放大方法及图像放大装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16899859

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16899859

Country of ref document: EP

Kind code of ref document: A1