WO2019184393A1 - 图像处理方法、装置及显示设备、计算机可读存储介质 - Google Patents

图像处理方法、装置及显示设备、计算机可读存储介质 Download PDF

Info

Publication number
WO2019184393A1
WO2019184393A1 PCT/CN2018/116078 CN2018116078W WO2019184393A1 WO 2019184393 A1 WO2019184393 A1 WO 2019184393A1 CN 2018116078 W CN2018116078 W CN 2018116078W WO 2019184393 A1 WO2019184393 A1 WO 2019184393A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
original image
frames
image processing
Prior art date
Application number
PCT/CN2018/116078
Other languages
English (en)
French (fr)
Inventor
毕海峰
王鑫
方燕
李文可
包玉峰
刘白灵
赵顺
陈利峰
Original Assignee
京东方科技集团股份有限公司
鄂尔多斯市源盛光电有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司, 鄂尔多斯市源盛光电有限责任公司 filed Critical 京东方科技集团股份有限公司
Priority to US16/465,810 priority Critical patent/US11200649B2/en
Publication of WO2019184393A1 publication Critical patent/WO2019184393A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211—Ghost signal cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present disclosure relates to the field of display technologies, and in particular, to an image processing method, apparatus, and display device, and computer readable storage medium.
  • a thin film transistor-liquid crystal display (TFT-LCD) has been rapidly developed due to its high resolution, high definition, and high brightness compared to conventional cathode ray tube display (CRT) display methods.
  • CRT cathode ray tube display
  • the causes of LCD image motion tailing mainly include three aspects: liquid crystal response speed, liquid crystal display retention characteristics and human visual afterglow effect.
  • the afterglow effect can cause dizziness, and when the low-glow display is displayed, the trajectory of the object when the wearer's head moves is closer to the real trajectory of the physical world, and the head movement is then performed. The smear brought about will be greatly reduced.
  • an embodiment of the present disclosure provides an image processing method, including:
  • the reconstructed image frame is inserted between adjacent two frames of the original image in the multi-frame original image.
  • the multi-frame original image is two frames of original images.
  • the feature element includes a moving object and an object motion trajectory.
  • the method before the extracting the feature element that generates the smear from the multi-frame original image, the method further includes:
  • Sharpening filtering processing is performed on the multi-frame original image.
  • the extracting the feature elements that generate the smear from the multi-frame original image includes:
  • Morphological expansion and erosion operations are performed on F (c) to obtain the smear feature element F' (n) .
  • the expansion operation processing refers to an operation of performing "bold” or “thickening” in an image
  • the etching operation processing refers to performing "shrinking” or “reduction” in an image. "The operation.”
  • the generating a reconstructed image frame by using the multi-frame original image and the feature element comprises:
  • the data of F' (n-1) and F' (n+1) are compared to obtain a reconstructed image frame F (n) .
  • comparing the data of F′ (n-1) and F′ (n+1) to obtain a reconstructed image frame F (n) includes:
  • the reconstructed image frame F (n) is generated using the retained pixel data.
  • the inserting the reconstructed image frame between adjacent two frames of the original image in the multi-frame original image includes:
  • the reconstructed image frame is inserted between adjacent two frames of the original image in the multi-frame original image.
  • the present disclosure also provides an image processing apparatus, including:
  • An obtaining module configured to obtain a multi-frame original image from a video image data stream
  • An extraction module configured to extract, from the multi-frame original image, a feature element that generates a smear
  • a reconstruction module configured to generate a reconstructed image frame by using the multi-frame original image and the feature element, the reconstructed image frame not including the feature element;
  • an inserting module configured to insert the reconstructed image frame between adjacent two frames of the original image in the multi-frame original image.
  • the multi-frame original image is two frames of original images.
  • the feature element includes a moving object and an object motion trajectory.
  • the image processing apparatus further includes:
  • a pre-processing module configured to perform a sharpening filtering process on the multi-frame original image before extracting the feature element that generates the smear from the multi-frame original image.
  • the extracting module is specifically configured to perform two subtractive logic operations on the previous frame original image F (n-1) and the subsequent frame original image F (n+1) to obtain F respectively.
  • (a) and F (b) add F (a) and F (b) to add an arithmetic operation to obtain F (c) ; perform a morphological expansion and corrosion operation on F (c) to obtain a smear Feature element F' (n) .
  • the expansion operation processing refers to an operation of performing "bold” or “thickening” in an image
  • the etching operation processing refers to performing "shrinking” or “reduction” in an image. "The operation.”
  • the reconstruction module includes:
  • the comparison unit is configured to compare F' (n-1) with F' (n+1) to obtain a reconstructed image frame F (n) .
  • the comparing unit is specifically configured to compare the brightness of each pixel in F′ (n ⁇ 1) with the brightness of the corresponding pixel in F′ (n+1) , and retain the brightness therein. Low pixel data, removing pixel data in which luminance is high; generating the reconstructed image frame F (n) using the retained pixel data.
  • the insertion module is specifically configured to insert the reconstructed image between adjacent two frames of the original image in the multi-frame original image after performing frequency multiplication processing on the video image data stream. frame.
  • the present disclosure also provides a display device including a memory, a processor, and a computer program stored on the memory and executable on the processor; wherein the processor executes The steps in the image processing method as described in the first aspect are implemented when the program is described.
  • the display device is a virtual reality headset.
  • the present disclosure also provides a computer readable storage medium having stored thereon a computer program, the program being executed by a processor to implement the steps in the image processing method as described in the first aspect .
  • FIG. 1 is a flow chart of an image processing method according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram showing the structure of an image processing apparatus according to an embodiment of the present disclosure
  • FIG. 3 is a flow chart of an image processing method according to a specific embodiment of the present disclosure.
  • FIGS. 4 through 11 are schematic diagrams of processing an image in accordance with an embodiment of the present disclosure.
  • FIG. 12 is a schematic diagram of an inserted reconstructed image frame in accordance with an embodiment of the present disclosure.
  • the severity of the smear mainly depends on the response speed of the liquid crystal driving circuit, and when the response speed of the liquid crystal driving circuit is raised to a higher level, the smear is mainly determined by the holding characteristics of the LCD.
  • the problem that the response speed of the liquid crystal driving circuit is not fast enough can basically be solved by the OverDrive technology, but due to the visual afterglow effect of the human eye, even if the response time of 0 ms is reached, the liquid crystal smear still exists.
  • black insertion technology including backlight insertion black and display black frame technology
  • backlight scanning technology inversion filtering technology
  • motion prediction compensation frame insertion technology is a method for emulating or partially implementing pulse display in the LCD hold mode. This method can effectively improve the smear, but the LCD brightness loss is too large.
  • the display part insert black frame and motion prediction compensation frame insertion technology inserts a black all-intermediate frame between every two frames, and doubles the frame frequency, shortening the LCD retention time from the perspective of signal processing. Shadow, but the algorithm is more complex and will increase the data rate and bandwidth requirements.
  • the inverse filtering technique filters the information components (such as motion details) with high spatial frequencies in the image through the angle of spatial frequency analysis, so that the viewer only perceives information components with low spatial frequencies in the image (for example)
  • the contour of the moving object is used to improve the smear, but the method also has problems such as complicated algorithm, noise, and flickering.
  • an embodiment of the present disclosure provides an image processing method, apparatus, and display device, and a computer readable storage medium capable of completely or partially eliminating smear, achieving relatively low afterglow display, and an algorithm Relatively simple and easy to implement.
  • An embodiment of the present disclosure provides an image processing method, as shown in FIG. 1 , including:
  • Step 101 Obtain two frames of original images from the video image data stream
  • Step 102 Extract feature elements that generate smear from the original images of the two frames before and after;
  • Step 103 Generate a reconstructed image frame by using the first and second frames of the original image and the feature element, where the reconstructed image frame does not include the feature element;
  • Step 104 Insert the reconstructed image frame between two frames of the original image.
  • two frames of the original image are obtained from the video image data stream, and the feature elements in the original image of the two frames before and after the smear are extracted by algorithm processing, and then the original image and the feature are used.
  • the elements together generate a reconstructed image frame that is ultimately inserted between the two frames of the original image.
  • the present embodiment can effectively improve the tailing and blurring of the TFT-LCD by performing the method of multiplying and inserting the video image, and can minimize the brightness loss.
  • the inverse filtering and motion prediction compensation frame interpolation algorithm generally undergo complex processes such as sampling, quantization, correction, Fourier transform, correction, display, etc.
  • the algorithm involved in the example is simpler to implement and helps to save data bandwidth.
  • the inverse filtering algorithm may have problems such as noise, picture flicker, and the like, and the technical solution of the embodiment does not have the above problem in the process of generating a reconstructed image frame.
  • the hardware solution of the embodiment is simpler to implement, and only needs to add a corresponding image processing circuit to the driving circuit of the display device without changing the existing LCD display and the backlight system. The structure is lower in cost.
  • the technical solution of the embodiment can effectively reduce the brightness loss of the LCD and improve the energy utilization efficiency, and the duty cycle of inserting the black pulse square wave is For example, 50% LCD brightness loss is more than half, and energy utilization efficiency is reduced by half, which means that to maintain the same brightness, the backlight brightness needs to be doubled.
  • the method further includes:
  • the original image of the two frames before and after is subjected to sharpening filtering processing. If there is a fast moving object in one frame of image, the motion trajectory and contour will be blurred. Specifically, if there is a fast moving object in a frame image, the high frequency component in the frequency domain is lower than the low frequency component in the frequency domain, and the sharpening filtering process is performed to compensate the contour of the image and enhance the edge of the image and The gray-scale jump portion filters the low-frequency components of the blurred region for subsequent operations.
  • extracting the feature elements that generate the smear from the original two images of the first and second frames includes:
  • Morphological expansion and erosion operations are performed on F (c) to obtain the smear feature element F' (n) .
  • the feature elements that produce smear include moving objects and motion trajectories of objects.
  • Expansion and erosion operations are the basis of morphological image processing.
  • expansion is an operation of "bold” or “thickening” in an image
  • etching is an object that "shrinks” or “refines” an image.
  • the motion trajectory of the object can be regarded as the position where the separation distance between the two motion elements is the smallest
  • the expansion operation of F (c) can connect the two separated motion elements in the image from the nearest position, that is, the motion The object and the object's motion track are connected.
  • a number of gaps may be introduced during the expansion operation of the image, and the portion may be filled by a corrosion operation.
  • generating, by using the first and second frames of the original image and the feature element, a reconstructed image frame includes:
  • the data of F' (n-1) and F' (n+1) are compared to obtain a reconstructed image frame F (n) .
  • comparing the data of F′ (n-1) and F′ (n+1) to obtain a reconstructed image frame F (n) includes:
  • the reconstructed image frame F (n) is generated using the retained pixel data.
  • An embodiment of the present disclosure further provides an image processing apparatus, as shown in FIG. 2, including:
  • the obtaining module 21 is configured to obtain two frames of the original image from the video image data stream;
  • the extracting module 22 is configured to extract feature elements that generate smear from the original images of the two frames before and after;
  • a reconstruction module 23 configured to generate, by using the first and second frames of the original image and the feature element, a reconstructed image frame, where the reconstructed image frame does not include the feature element;
  • the inserting module 24 is configured to insert the reconstructed image frame between two frames of the original image.
  • two frames of the original image are obtained from the video image data stream, and the feature elements in the original image of the two frames before and after the smear are extracted by algorithm processing, and then the original image and the feature are used.
  • the elements together generate a reconstructed image frame that is ultimately inserted between the two frames of the original image.
  • the present embodiment can effectively improve the tailing and blurring of the TFT-LCD by performing the method of multiplying and inserting the video image, and can minimize the brightness loss.
  • the inverse filtering and motion prediction compensation frame interpolation algorithm generally undergo complex processes such as sampling, quantization, correction, Fourier transform, correction, display, etc.
  • this implementation Compared with the inverse filtering method and the motion prediction compensation frame interpolation algorithm, this implementation The algorithm involved in the example is simpler to implement and helps to save data bandwidth.
  • the inverse filtering algorithm may have problems such as noise, picture flicker, and the like, and the technical solution of the embodiment does not have the above problem in the process of generating a reconstructed image frame.
  • the hardware implementation of the technical solution of the embodiment is simpler, and only the corresponding image processing circuit needs to be added to the driving circuit of the display device without changing the existing LCD display and the backlight system. The structure is lower in cost.
  • the device further includes:
  • a pre-processing module configured to perform sharpening filtering processing on the original images of the two frames before and after the feature elements that generate the smear are extracted from the original two images. If there is a fast moving object in one frame of image, the motion trajectory and contour will be blurred. Specifically, if there is a fast moving object in a frame image, the high frequency component in the frequency domain is lower than the low frequency component in the frequency domain, and the sharpening filtering process is performed to compensate the contour of the image and enhance the edge of the image and The gray-scale jump portion filters the low-frequency components of the blurred region for subsequent operations.
  • the extracting module 22 is specifically configured to perform two subtractive logic operations on the previous frame original image F (n-1) and the subsequent frame original image F (n+1) to obtain F (a) and F (b) ; F (a) and F (b) are added to the logical operation to obtain F (c) ; and, F (c) is subjected to morphological expansion and corrosion processing to obtain the smear-characteristic elements. F' (n) .
  • the feature elements that produce smear include moving objects and motion trajectories of objects.
  • Expansion and erosion operations are the basis of morphological image processing.
  • expansion is an operation of "bold” or “thickening” in an image
  • etching is an object that "shrinks” or “refines” an image.
  • the motion trajectory of the object can be regarded as the position where the separation distance between the two motion elements is the smallest
  • the expansion operation of F (c) can connect the two separated motion elements in the image from the nearest position, that is, the motion The object and the object's motion track are connected.
  • a number of gaps may be introduced during the expansion operation of the image, and the portion may be filled by a corrosion operation.
  • the reconstruction module 23 includes:
  • the comparison unit is configured to compare F' (n-1) with F' (n+1) to obtain a reconstructed image frame F (n) .
  • the comparing unit is specifically configured to compare the brightness of each pixel in F′ (n ⁇ 1) with the brightness of the corresponding pixel in F′ (n+1) , and retain pixel data in which the brightness is low, The pixel data in which the luminance is high is removed; the reconstructed image frame F (n) is generated using the retained pixel data.
  • the inserting module 24 is specifically configured to insert the reconstructed image frame between the two previous frames of the video image data stream after the frequency multiplication processing.
  • the image processing method of the present disclosure is described in detail below with reference to the accompanying drawings and specific embodiments.
  • the image processing method of this embodiment specifically includes the following steps:
  • Step 301 Acquire, for example, two frames of original images before and after;
  • a video image data stream is stored in a frame memory of the display device, and two frames of image data F (n-1) , F (n+1) are read therefrom.
  • Step 302 Perform sharpening filtering processing on the original frames of the two frames before and after;
  • the motion trajectory and contour will be blurred, and the high frequency component in the frequency domain is the fuzzy region lower than the low frequency component. Therefore, the sharpening filtering process is required, and the sharpening filtering process is performed to compensate the contour of the image, enhance the edge of the image and the grayscale jumping portion, and filter the low-frequency components of the blurred region for subsequent operations.
  • Step 303 extract a feature image from two original frames before and after;
  • the previous frame original image F (n-1) is shown in FIG. 5 as the next frame original image F (n+1) .
  • the black circle moves along the dotted curve. Since the black circle is a moving element, smear may occur during video playback.
  • the feature element that produces the smear in the original image of the two frames That is, the moving object and the moving track of the object are extracted to remove the part of the feature element when the image frame is subsequently reconstructed.
  • the specific operation is as follows: using the morphological image processing method, two subtractive logic operations are performed on F (n-1) and F (n+1) to obtain F (a) and F (b) . Specifically, F (n-1) is subtracted from F (n+1) to obtain F (a) as shown in FIG. 6. Subtract F (n+1) from F (n-1) to get F (b) , as shown in Figure 7. Then, F (a) and F (b) are added to perform a logical operation to obtain a feature image F (c) as shown in FIG.
  • Step 304 Perform expansion and erosion operations on the feature image to obtain feature elements that generate smear;
  • Expansion and erosion operations are the basis of morphological image processing. In essence, expansion is an operation of "bold” or “thickening” in an image, and etching is an object that "shrinks" or “refines” an image.
  • the motion trajectory of the object can be regarded as the position where the separation distance between the two motion elements is the smallest, and the expansion operation of F (c) can connect the two separated motion elements in the image from the nearest position, that is, the motion The object and the object's motion track are connected.
  • a number of gaps may be introduced during the expansion operation of the image, and the portion may be filled by a corrosion operation.
  • Step 305 Generate a reconstructed image frame by using two frames of original images and feature elements.
  • the specific method is: the original image F (n-1) and The feature element F' (n) performs a subtractive logic operation to obtain F' (n-1) , as shown in FIG.
  • the subtraction logic operation is performed using the original image F (n+1) and the feature element F' (n) to obtain F' (n+1) , as shown in FIG.
  • Step 306 After performing frequency multiplication processing on the video image data stream, insert a reconstructed image frame between the two previous frames of the original image.
  • the original refresh frequency of the video image data stream is 60 Hz. Since a new reconstructed image frame needs to be inserted, first, the video image data stream needs to be multiplied, and the refresh frequency of the video image data stream is adjusted to 120Hz, then insert the reconstructed image frame between the two frames before and after the original image.
  • the data of the reconstructed image frame F (n) can be sent to the driving chip of the display device for frame insertion display.
  • the above steps 301-306 illustrate the technical solution of the present embodiment by performing image processing on F (n-1) and F (n+1) , and it should be known that for any other adjacent two frames in the video image data stream, The image or adjacent frames of the original image can be similarly processed using the above scheme.
  • the existing multiplier black insertion scheme inserts a frame of all black images between every two frames of images, so that the brightness and contrast loss of the screen is very large.
  • the motion estimation compensation algorithm is difficult in algorithm implementation. Compared with the above two solutions, the technical solution of the embodiment is simple to implement, and can effectively save data bandwidth and reduce power consumption.
  • Embodiments of the present disclosure also provide a display device including a memory, a processor, and a computer program stored on the memory and executable on the processor.
  • the image processing method as described above is implemented when the processor executes the program.
  • the display device may be any product or component having a display function, such as a television, a display, a digital photo frame, a mobile phone, a tablet computer, or the like.
  • the display device further comprises a flexible circuit board, a printed circuit board and a backboard.
  • the display device may be a VR headset, and the display device of the embodiment can effectively improve the tailing and blurring, and can minimize the brightness loss.
  • the reconstructed image frame is inserted between the two frames before and after the original image.
  • the original image of the two frames before and after is subjected to sharpening filtering processing.
  • Morphological expansion and erosion operations are performed on F (c) to obtain the smear feature element F' (n) .
  • the data of F' (n-1) and F' (n+1) are compared to obtain a reconstructed image frame F (n) .
  • the reconstructed image frame F (n) is generated using the retained pixel data.
  • the reconstructed image frame is inserted between the two previous frames of the original image.
  • the embodiment of the present disclosure also provides a computer readable storage medium having stored thereon a computer program that, when executed by a processor, implements the steps in the image processing method as described above.
  • the program implements the following steps when executed by the processor:
  • the reconstructed image frame is inserted between the two frames before and after the original image.
  • the original image of the two frames before and after is subjected to sharpening filtering processing.
  • Morphological expansion and erosion operations are performed on F (c) to obtain the smear feature element F' (n) .
  • the data of F' (n-1) and F' (n+1) are compared to obtain a reconstructed image frame F (n) .
  • the reconstructed image frame F (n) is generated using the retained pixel data.
  • the reconstructed image frame is inserted between the two previous frames of the original image.
  • the embodiments described herein can be implemented in hardware, software, firmware, middleware, microcode, or a combination thereof.
  • the processing unit can be implemented in one or more ASICs (Application Specific Integrated Circuits), DSP (Digital Signal Processing), DSPD (DSP Device, digital signal processing device), PLD ( Programmable Logic Device, FPGA (Field-Programmable Gate Array), general purpose processor, controller, microcontroller, microprocessor, other for performing the functions described herein In an electronic unit or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSP Digital Signal Processing
  • DSPD DSP Device, digital signal processing device
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • the techniques described herein can be implemented by modules (eg, procedures, functions, and so on) that perform the functions described herein.
  • the software code can be stored in memory and executed by the processor.
  • the memory can be implemented in the processor or external to the processor.
  • embodiments of the disclosed embodiments can be provided as a method, apparatus, or computer program product.
  • embodiments of the present disclosure can take the form of an entirely hardware embodiment, an entirely software embodiment, or a combination of software and hardware.
  • embodiments of the present disclosure may take the form of a computer program product embodied on one or more computer usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) including computer usable program code.
  • Embodiments of the present disclosure are described with reference to flowchart illustrations and/or block diagrams of methods, terminal devices (systems), and computer program products according to embodiments of the present disclosure. It will be understood that each flow and/or block of the flowchart illustrations and/or FIG.
  • These computer program instructions can be provided to a processor of a general purpose computer, special purpose computer, embedded processor or other programmable data processing terminal device to produce a machine such that instructions are executed by a processor of a computer or other programmable data processing terminal device
  • Means are provided for implementing the functions specified in one or more of the flow or in one or more blocks of the flow chart.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing terminal device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the instruction device implements the functions specified in one or more blocks of the flowchart or in a flow or block of the flowchart.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

根据本公开实施例所提供的图像处理方法，包括：从视频图像数据流中获取前后两帧原始图像；从所述前后两帧原始图像中提取出产生拖影的特征元素；利用所述前后两帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；将所述重建图像帧插入前后两帧原始图像之间。

Description

图像处理方法、装置及显示设备、计算机可读存储介质
相关申请的交叉引用
本申请主张在2018年3月30日在中国提交的中国专利申请号No.201810288908.5的优先权，其全部内容通过引用包含于此。
技术领域
本公开涉及显示技术领域，尤其涉及图像处理方法、装置及显示设备、计算机可读存储介质。
背景技术
在目前的显示领域，薄膜晶体管-液晶显示器(TFT-LCD)因相对于传统阴极射线显像管显示器(CRT)显示方式具有高分辨率，高清晰度，高亮度等优点而得到迅速发展。然而，LCD在显示运动图像时出现拖尾和模糊的情形也常被人诟病。经过大量的研究，人们发现LCD产生运动图像拖尾的原因主要有液晶响应速度、液晶显示保持特性及人类视觉余晖效应三个方面。在虚拟现实(VR)头戴显示设备中，余晖效应会给人造成眩晕感，低余晖显示时，佩戴者的头部移动时物体的轨迹更加接近于物理世界的真实轨迹，这时头部运动带来的拖影会大大降低。
发明内容
在第一个方面中，本公开实施例提供了一种图像处理方法，包括：
从视频图像数据流中获取多帧原始图像；
从所述多帧原始图像中提取出产生拖影的特征元素；
利用所述多帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；以及
将所述重建图像帧插入所述多帧原始图像中的相邻两帧原始图像之间。
根据本公开的一些实施例，所述多帧原始图像为前后两帧原始图像。
根据本公开的一些实施例，所述特征元素包括运动物体及物体运动轨迹。
根据本公开的一些实施例，所述从所述多帧原始图像中提取出产生拖影的特征元素之前，所述方法还包括：
对所述多帧原始图像进行锐化滤波处理。
根据本公开的一些实施例，所述从所述多帧原始图像中提取出产生拖影的特征元素包括：
对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；
将F (a)和F (b)进行相加逻辑运算得到F (c)；以及
对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
根据本公开的一些实施例，所述膨胀运算处理是指在图像中执行“加粗”或“变粗”的操作，所述腐蚀运算处理则是指在图像中执行“收缩”或“细化”的操作。
根据本公开的一些实施例，所述利用所述多帧原始图像和所述特征元素生成一重建图像帧包括：
将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；
将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；
将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
根据本公开的一些实施例，所述将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)包括：
将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；以及
利用所保留的像素数据生成所述重建图像帧F (n)。
根据本公开的一些实施例，所述将所述重建图像帧插入所述多帧原始图像中的相邻两帧原始图像之间包括：
对所述视频图像数据流进行倍频处理后，在所述多帧原始图像中的相邻两帧原始图像之间插入所述重建图像帧。
在第二个方面中，本公开还提供了一种图像处理装置，包括：
获取模块，用于从视频图像数据流中获取多帧原始图像；
提取模块，用于从所述多帧原始图像中提取出产生拖影的特征元素；
重建模块，用于利用所述多帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；以及
插入模块，用于将所述重建图像帧插入所述多帧原始图像中的相邻两帧原始图像之间。
根据本公开的一些实施例，所述多帧原始图像为前后两帧原始图像。
根据本公开的一些实施例，所述特征元素包括运动物体及物体运动轨迹。
根据本公开的一些实施例，所述图像处理装置还包括：
预处理模块，用于在从所述多帧原始图像中提取出产生拖影的特征元素之前，对所述多帧原始图像进行锐化滤波处理。
根据本公开的一些实施例，所述提取模块具体用于对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；将F (a)和F (b)进行相加逻辑运算得到F (c)；对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
根据本公开的一些实施例，所述膨胀运算处理是指在图像中执行“加粗”或“变粗”的操作，所述腐蚀运算处理则是指在图像中执行“收缩”或“细化”的操作。
根据本公开的一些实施例，所述重建模块包括：
逻辑运算单元，用于将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；
比对单元，用于将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
根据本公开的一些实施例，所述比对单元具体用于将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；利用所保留的像素数据生成所述重建图像帧F (n)。
根据本公开的一些实施例，所述插入模块具体用于对所述视频图像数据流进行倍频处理后，在所述多帧原始图像中的相邻两帧原始图像之间插入所述重建图像帧。
在第三个方面中，本公开还提供了一种显示设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其中，所述处理器执行所述程序时实现如第一个方面中所述的图像处理方法中的步骤。
根据本公开的一些实施例，所述显示设备为虚拟现实头戴设备。
在第四个方面中，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一个方面中所述的图像处理方法中的步骤。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开实施例的图像处理方法的流程示意图；
图2为根据本公开实施例的图像处理装置的结构框图；
图3为根据本公开具体实施例的图像处理方法的流程示意图；
图4至图11为根据本公开具体实施例的对图像进行处理的示意图；以及
图12为根据本公开具体实施例的插入重建图像帧的示意图。
具体实施方式
为使本公开的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
在液晶响应速度较慢时，拖影的严重程度主要取决于液晶驱动电路的响应速度，而当液晶驱动电路的响应速度提升到较高的水平后，拖影则主要取决于LCD的保持特性。对于液晶驱动电路的响应速度不够快的问题目前基本可以通过过驱动(OverDrive)技术解决，但由于人眼的视觉余晖效应，即便达到0ms的响应时间，液晶拖影也依然存在。
目前用来解决保持图像特性的方法包括如下几种。例如，插黑技术(包括背光插黑和显示插黑帧技术)、背光扫描技术、反转滤波技术及运动预估补偿插帧技术等。其中，背光插黑(背光源闪烁)和背光源扫描均是在LCD的保持模式下模仿或部分实现脉冲显示的方法。该方法可有效改善拖影，但是LCD亮度损失太大。通过显示部分插黑帧和运动预估补偿插帧技术均是在每 两帧画面之间插入一个全黑的中间帧，并使帧频率增加一倍，从信号处理的角度缩短LCD保持时间改善拖影，但是算法较复杂，且会增加对数据速率和带宽的要求。另外，反转滤波技术则是通过空间频率分析的角度，将图像中空间频率较高的信息成分(例如运动细节)过滤掉，使观看者只感知到图像中空间频率较低的信息成分(例如运动物体的轮廓)来改善拖影，但是该方法也存在算法复杂及存在噪声、画面闪烁等问题。
为了解决上述技术问题，本公开的实施例提供了一种图像处理方法、装置及显示设备、计算机可读存储介质，其能够完全地或者部分地消除拖影，实现相对低的余晖显示，并且算法相对简单，易于实现。
本公开实施例提供了一种图像处理方法，如图1所示，包括：
步骤101：从视频图像数据流中获取前后两帧原始图像；
步骤102：从所述前后两帧原始图像中提取出产生拖影的特征元素；
步骤103：利用所述前后两帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；
步骤104：将所述重建图像帧插入前后两帧原始图像之间。
这里，本领域技术人员能够理解的是，从视频图像数据流中获取前后两帧原始图像仅仅是一个示例性例子。根据实际需要，同样可以从视频图像数据流中获取前后三帧、四帧、五帧甚至更多帧的原始图像进行后续步骤102至步骤104的处理，本公开并不以此为限。
本实施例中，从视频图像数据流中获取例如前后两帧原始图像，并通过算法处理提取出前后两帧原始图像中会造成拖影的特征元素，随后利用前后两帧原始图像和所述特征元素一起生成一重建图像帧，最终将该重建图像帧插入到前后两帧原始图像之间。相应的，本实施例通过对视频影像进行倍频插帧的方法，可有效改善TFT-LCD出现的拖尾和模糊的情况，并且可将亮度损失降到最低。反转滤波和运动预估补偿插帧算法一般要经过采样、量化、校正、傅里叶变换、校正、显示等复杂过程，相比于反转滤波方法和运动预估补偿插帧算法，本实施例涉及的算法实现更简单，有利于节约数据带宽。另外，通常反转滤波算法会存在噪声、画面闪烁等问题，而本实施例的技术方案在生成重建图像帧的过程中并不存在上述问题。另外，相比于背光插黑、 背光扫描方法，本实施例的技术方案硬件实现更简单，只需要在显示设备的驱动电路中增加相应的图像处理电路，而不必改变现有LCD显示以及背光系统的结构，成本较低。
另外，相比于背光插黑、显示(Display)插黑技术，本实施例的技术方案能够有效降低LCD亮度损失，提高能量利用效率，以插黑脉冲方波的占空比(duty cycle)是50％为例，LCD亮度损失超过一半，能量利用效率减少一半，意味着要保持同样亮度，背光亮度需要提高一倍。与此相比较，本实施例的技术方案在生成重建图像帧的过程中，只是将例如前后两帧原始图像中造成拖影的特征元素提取出来，并在重建图像帧数据中将其剔除，相当于画面局部(造成拖影的区域)插黑，其余部分则保持不变，这样尽可能降低亮度损失，提高能量利用效率。
进一步地，所述从所述前后两帧原始图像中提取出产生拖影的特征元素之前，所述方法还包括：
对所述前后两帧原始图像进行锐化滤波处理。在一帧图像中如果存在快速运动的物体，其运动轨迹及轮廓会存在模糊的情况。具体的，在一帧图像中如果存在快速运动的物体的情形表现在频域为模糊区域的高频成分低于低频成分，进行锐化滤波处理的目的在于补偿图像的轮廓，增强图像的边缘及灰度跳变部分，将模糊区域的低频成分进行滤波处理，以便后续进行其他操作。
进一步地，所述从所述前后两帧原始图像中提取出产生拖影的特征元素包括：
对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；
将F (a)和F (b)进行相加逻辑运算得到F (c)；以及
对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
其中，产生拖影的特征元素包括运动物体及物体运动轨迹。膨胀和腐蚀运算是形态学图像处理的基础。实质上，膨胀是在图像中“加粗”或“变粗”的操作，腐蚀则是“收缩”或“细化”图像中的对象。具体的，在图像中可认为物体的运动轨迹即为两个运动元素分离距离最小的位置，对F (c)进行膨胀运 算可以将图像中两个分离的运动元素从最近的位置连通，即将运动物体和物体运动轨迹连通。另外，在对图像进行膨胀运算时可能会引入许多缺口，该部分可通过腐蚀运算来进行填充，在完成上述运算处理后，可得到最终期望提取的特征元素F′ (n)。
进一步地，所述利用所述前后两帧原始图像和所述特征元素生成一重建图像帧包括：
将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；
将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；以及
将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
进一步地，所述将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)包括：
将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；以及
利用所保留的像素数据生成所述重建图像帧F (n)。
这里，本领域技术人员能够理解的是，保留亮度低的像素数据有利于提高画面的流畅性，降低拖影，同时能够减少显示设备的功耗。对比处理后的两帧图像F′ (n-1)、F′ (n+1)与两帧原始图像发现，原始图像中造成拖影的运动物体和物体运动轨迹在重建图像帧中已被剔除，实际显示时该区域为黑色，其他区域均与原始图像保持一致。因此，在显示过程中相当于对运动物体及其轨迹区域进行局部插黑处理，并不会对整体画面亮度造成大的损失。在对所述视频图像数据流进行倍频处理后，在所述前后两帧原始图像之间插入所述重建图像帧，这样可以在高刷新率状态下降低显示余晖效果。
本公开实施例还提供了一种图像处理装置，如图2所示，包括：
获取模块21，用于从视频图像数据流中获取前后两帧原始图像；
提取模块22，用于从所述前后两帧原始图像中提取出产生拖影的特征元素；
重建模块23，用于利用所述前后两帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；以及
插入模块24，用于将所述重建图像帧插入前后两帧原始图像之间。
这里，本领域技术人员能够理解的是，从视频图像数据流中获取前后两帧原始图像仅仅是一个示例性例子。根据实际需要，同样可以从视频图像数据流中获取前后三帧、四帧、五帧甚至更多帧的原始图像进行后续步骤102至步骤104的处理，本公开并不以此为限。
本实施例中，从视频图像数据流中获取例如前后两帧原始图像，并通过算法处理提取出前后两帧原始图像中会造成拖影的特征元素，随后利用前后两帧原始图像和所述特征元素一起生成一重建图像帧，最终将该重建图像帧插入到前后两帧原始图像之间。相应的，本实施例通过对视频影像进行倍频插帧的方法，可有效改善TFT-LCD出现的拖尾和模糊的情况，并且可将亮度损失降到最低。反转滤波和运动预估补偿插帧算法一般要经过采样、量化、校正、傅里叶变换、校正、显示等复杂过程，相比于反转滤波方法和运动预估补偿插帧算法，本实施例涉及的算法实现更简单，有利于节约数据带宽。另外，通常反转滤波算法会存在噪声、画面闪烁等问题，而本实施例的技术方案在生成重建图像帧的过程中并不存在上述问题。另外，相比于背光插黑、背光扫描方法，本实施例的技术方案硬件实现更简单，只需要在显示设备的驱动电路中增加相应的图像处理电路，而不必改变现有LCD显示以及背光系统的结构，成本较低。
进一步地，所述装置还包括：
预处理模块，用于在从所述前后两帧原始图像中提取出产生拖影的特征元素之前，对所述前后两帧原始图像进行锐化滤波处理。在一帧图像中如果存在快速运动的物体，其运动轨迹及轮廓会存在模糊的情况。具体的，在一帧图像中如果存在快速运动的物体的情形表现在频域为模糊区域的高频成分低于低频成分，进行锐化滤波处理的目的在于补偿图像的轮廓，增强图像的边缘及灰度跳变部分，将模糊区域的低频成分进行滤波处理，以便后续进行其他操作。
进一步地，所述提取模块22具体用于对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；将F (a)和F (b)进行相加逻辑运算得到F (c)；以及，对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
其中，产生拖影的特征元素包括运动物体及物体运动轨迹。膨胀和腐蚀运算是形态学图像处理的基础。实质上，膨胀是在图像中“加粗”或“变粗”的操作，腐蚀则是“收缩”或“细化”图像中的对象。具体的，在图像中可认为物体的运动轨迹即为两个运动元素分离距离最小的位置，对F (c)进行膨胀运算可以将图像中两个分离的运动元素从最近的位置连通，即将运动物体和物体运动轨迹连通。另外，在对图像进行膨胀运算时可能会引入许多缺口，该部分可通过腐蚀运算来进行填充，在完成上述运算处理后，可得到最终期望提取的特征元素F′ (n)。
进一步地，所述重建模块23包括：
逻辑运算单元，用于将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；以及
比对单元，用于将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
进一步地，所述比对单元具体用于将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；利用所保留的像素数据生成所述重建图像帧F (n)。
进一步地，所述插入模块24具体用于对所述视频图像数据流进行倍频处理后，在所述前后两帧原始图像之间插入所述重建图像帧。
这里，对比处理后的两帧图像F′ (n-1)、F′ (n+1)与两帧原始图像发现，原始图像中造成拖影的运动物体和物体运动轨迹在重建图像帧中已被剔除，实际显示时该区域为黑色，其他区域均与原始图像保持一致。因此，在显示过程中相当于对运动物体及其轨迹区域进行局部插黑处理，并不会对整体画面亮度造成大的损失。在对所述视频图像数据流进行倍频处理后，在所述前后两帧原始图像之间插入所述重建图像帧，这样可以在高刷新率状态下降低显示余晖效果。
下面结合附图以及具体的实施例对本公开的图像处理方法进行详细介绍，本实施例的图像处理方法具体包括以下步骤：
步骤301：获取例如前后两帧原始图像；
具体地，在显示设备的帧存储器中存储有视频图像数据流，从其中读取前后两帧图像数据F (n-1)、F (n+1)。
步骤302：对前后两帧原始图像进行锐化滤波处理；
在一副图像中如果存在快速运动的物体，其运动轨迹及轮廓会存在模糊的情况，表现在频域为模糊区域的高频成分低于低频成分。因此，需要进行锐化滤波处理，进行锐化滤波处理的目的在于补偿图像的轮廓，增强图像的边缘及灰度跳变部分，将模糊区域的低频成分进行滤波处理，以便后续进行其他操作。
步骤303：从前后两帧原始图像中提取出特征图像；
在对前后两帧原始图像F (n-1)、F (n+1)进行锐化滤波处理后，需要对产生拖影的运动元素进行图像特征提取。如图4所示为前一帧原始图像F (n-1)，如图5所示为后一帧原始图像F (n+1)。在前后两帧原始图像中黑色圆圈沿着虚线曲线运动，由于黑色圆圈是运动元素，因此在视频播放过程中可能会产生拖影，本步骤需要将两帧原始图像中产生拖影的特征元素(即运动物体及物体运动轨迹)提取出来以便后续重建图像帧时将该部分特征元素剔除。
具体操作如下：利用形态学图像处理方法，对F (n-1)、F (n+1)进行两次相减逻辑运算，得到F (a)、F (b)。具体地，将F (n-1)减去F (n+1)得到F (a)，如图6所示。将F (n+1)减去F (n-1)得到F (b)，如图7所示。然后对F (a)和F (b)进行相加逻辑运算得到特征图像F (c)，如图8所示。
步骤304：对特征图像进行膨胀和腐蚀运算得到产生拖影的特征元素；
在完成对两帧原始图像中特征图像的提取后，针对F (c)进行形态学膨胀和腐蚀运算处理，即可完成对产生拖影的特征元素(运动物体及物体运动轨迹)的提取。膨胀和腐蚀运算是形态学图像处理的基础。实质上，膨胀是在图像中“加粗”或“变粗”的操作，腐蚀则是“收缩”或“细化”图像中的对象。具体的，在图像中可认为物体的运动轨迹即为两个运动元素分离距离最小的位置，对F (c)进行膨胀运算可以将图像中两个分离的运动元素从最近的位置连通，即将运动物体和物体运动轨迹连通。另外，在对图像进行膨胀运算时可能会引入许多缺口，该部分可通过腐蚀运算来进行填充，在完成上述运算处理后，可得到最终期望提取的特征元素F′ (n)，如图9所示。
步骤305：利用前后两帧原始图像和特征元素生成一重建图像帧；
在完成对特征元素F′ (n)的提取后，可以利用原始图像和提取到的特征元素F′ (n)进行重建图像帧的构建，具体方法为：使用原始图像F (n-1)与特征元素F′ (n)进行相减逻辑运算得出F′ (n-1)，如图10所示。使用原始图像F (n+1)与特征元素F′ (n)进行相减逻辑运算得出F′ (n+1)，如图11所示。之后将F′ (n-1)和F′ (n+1)中的像素进行逐一比对，将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据，利用所保留的像素数据生成重建图像帧F (n)。其中，保留亮度低的像素数据有利于提高画面的流畅性，同时能够减少显示设备的功耗。
步骤306：对视频图像数据流进行倍频处理后，在前后两帧原始图像之间插入重建图像帧。
如图12所示，视频图像数据流的原始刷新频率为60Hz，由于需要插入新的重建图像帧，因此，首先需要对视频图像数据流进行倍频处理，将视频图像数据流的刷新频率调整为120Hz，然后将重建图像帧插入前后两帧原始图像之间即可。具体实施过程中，可以将重建图像帧F (n)的数据送入显示设备的驱动芯片进行插帧显示。对比处理后的两帧图像F′ (n-1)、F′ (n+1)与两帧原始图像可发现，原始图像中造成拖影的运动物体和物体运动轨迹在重建图像帧中已被剔除，实际显示时该区域为黑色，其他区域均与原始图像保持一致。因此，在显示过程中相当于对运动物体及其轨迹区域进行局部插黑处理，并不会对画面亮度造成大的损失，同时可在高刷新率状态下降低显示余晖效果。
上述步骤301-306以对F (n-1)、F (n+1)进行图像处理举例说明本实施例的技术方案，应当得知，对于视频图像数据流中其他任意的相邻两帧原始图像或者相邻几帧原始图像，均可以采用上述方案进行类似处理。
现有的倍频插黑方案为每两帧图像之间插入一帧全黑的图像，这样对画面亮度及对比度损失非常大。而运动预估补偿算法在算法实现方面难度较大，相比较上述两种方案，本实施例的技术方案实现简单，可有效节约数据带宽，降低功耗。
本公开实施例还提供了一种显示设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序。所述处理器执行所述程序时实现如上所述的图像处理方法。所述显示设备可以为：电视、显示器、 数码相框、手机、平板电脑等任何具有显示功能的产品或部件。其中，所述显示设备还包括柔性电路板、印刷电路板和背板。
具体地，所述显示设备可以为VR头戴设备，通过本实施例的显示设备，可以有效改善拖尾和模糊的情况，并且可将亮度损失降到最低。
具体地，所述处理器执行所述程序时实现以下步骤：
从视频图像数据流中获取前后两帧原始图像；
从所述前后两帧原始图像中提取出产生拖影的特征元素；
利用所述前后两帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；以及
将所述重建图像帧插入前后两帧原始图像之间。
进一步地，所述处理器执行所述程序时还实现以下步骤：
对所述前后两帧原始图像进行锐化滤波处理。
进一步地，所述处理器执行所述程序时实现以下步骤：
对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；
将F (a)和F (b)进行相加逻辑运算得到F (c)；以及
对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
进一步地，所述处理器执行所述程序时实现以下步骤：
将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；
将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；以及
将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
进一步地，所述处理器执行所述程序时实现以下步骤：
将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；以及
利用所保留的像素数据生成所述重建图像帧F (n)。
进一步地，所述处理器执行所述程序时实现以下步骤：
对所述视频图像数据流进行倍频处理后，在所述前后两帧原始图像之间插入所述重建图像帧。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程 序，该程序被处理器执行时实现如上所述的图像处理方法中的步骤。
具体地，该程序被处理器执行时实现以下步骤：
从视频图像数据流中获取前后两帧原始图像；
从所述前后两帧原始图像中提取出产生拖影的特征元素；
利用所述前后两帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；以及
将所述重建图像帧插入前后两帧原始图像之间。
进一步地，该程序被处理器执行时还实现以下步骤：
对所述前后两帧原始图像进行锐化滤波处理。
进一步地，该程序被处理器执行时实现以下步骤：
对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；
将F (a)和F (b)进行相加逻辑运算得到F (c)；以及
对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
进一步地，该程序被处理器执行时实现以下步骤：
将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；
将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；以及
将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
进一步地，该程序被处理器执行时实现以下步骤：
将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；以及
利用所保留的像素数据生成所述重建图像帧F (n)。
进一步地，该程序被处理器执行时实现以下步骤：
对所述视频图像数据流进行倍频处理后，在所述前后两帧原始图像之间插入所述重建图像帧。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个ASIC(Application Specific Integrated Circuits，专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、DSPD(DSP Device，数字信号处理设备)、 PLD(Programmable Logic Device，可编程逻辑设备)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本公开实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本公开实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开实施例是参照根据本公开实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算 机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开实施例范围的所有变更和修改。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述的是本公开的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本公开所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本公开的保护范围内。

Claims (21)

  1. 一种图像处理方法，包括：
    从视频图像数据流中获取多帧原始图像；
    从所述多帧原始图像中提取出产生拖影的特征元素；
    利用所述多帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；以及
    将所述重建图像帧插入所述多帧原始图像中的相邻两帧原始图像之间。
  2. 根据权利要求1所述的图像处理方法，其中，所述多帧原始图像为前后两帧原始图像。
  3. 根据权利要求1或2所述的图像处理方法，其中，所述特征元素包括运动物体及物体运动轨迹。
  4. 根据权利要求1至3中任一项所述的图像处理方法，其中，所述从所述多帧原始图像中提取出产生拖影的特征元素之前，所述方法还包括：
    对所述多帧原始图像进行锐化滤波处理。
  5. 根据权利要求1至3中任一项所述的图像处理方法，其中，所述从所述多帧原始图像中提取出产生拖影的特征元素包括：
    对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；
    将F (a)和F (b)进行相加逻辑运算得到F (c)；以及
    对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
  6. 根据权利要求5所述的图像处理方法，其中，所述膨胀运算处理是指在图像中执行“加粗”或“变粗”的操作，所述腐蚀运算处理则是指在图像中执行“收缩”或“细化”的操作。
  7. 根据权利要求5所述的图像处理方法，其中，所述利用所述多帧原始图像和所述特征元素生成一重建图像帧包括：
    将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；
    将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；
    将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
  8. 根据权利要求7所述的图像处理方法，其中，所述将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)包括：
    将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；以及
    利用所保留的像素数据生成所述重建图像帧F (n)。
  9. 根据权利要求1至8中任一项所述的图像处理方法，其中，所述将所述重建图像帧插入所述多帧原始图像中的相邻两帧原始图像之间包括：
    对所述视频图像数据流进行倍频处理后，在所述多帧原始图像中的相邻两帧原始图像之间插入所述重建图像帧。
  10. 一种图像处理装置，包括：
    获取模块，用于从视频图像数据流中获取多帧原始图像；
    提取模块，用于从所述多帧原始图像中提取出产生拖影的特征元素；
    重建模块，用于利用所述多帧原始图像和所述特征元素生成一重建图像帧，所述重建图像帧不包括所述特征元素；以及
    插入模块，用于将所述重建图像帧插入所述多帧原始图像中的相邻两帧原始图像之间。
  11. 根据权利要求10所述的图像处理装置，其中，所述多帧原始图像为前后两帧原始图像。
  12. 根据权利要求10或11所述的图像处理装置，其中，所述特征元素包括运动物体及物体运动轨迹。
  13. 根据权利要求10至12中任一项所述的图像处理装置，其中，所述图像处理装置还包括：
    预处理模块，用于在从所述多帧原始图像中提取出产生拖影的特征元素之前，对所述多帧原始图像进行锐化滤波处理。
  14. 根据权利要求10至12中任一项所述的图像处理装置，其中，
    所述提取模块具体用于对前一帧原始图像F (n-1)和后一帧原始图像F (n+1)进行两次相减逻辑运算，分别得到F (a)和F (b)；将F (a)和F (b)进行相加逻辑运算得到F (c)；对F (c)进行形态学的膨胀和腐蚀运算处理，得到产生拖影的特征元素F′ (n)。
  15. 根据权利要求14所述的图像处理装置，其中，所述膨胀运算处理是指在图像中执行“加粗”或“变粗”的操作，所述腐蚀运算处理则是指在图像中执行“收缩”或“细化”的操作。
  16. 根据权利要求14所述的图像处理装置，其中，所述重建模块包括：
    逻辑运算单元，用于将F (n-1)与F′ (n)进行相减逻辑运算得到F′ (n-1)；将F (n+1)与F′ (n)进行相减逻辑运算得到F′ (n+1)；
    比对单元，用于将F′ (n-1)与F′ (n+1)进行数据对比，得到重建图像帧F (n)。
  17. 根据权利要求16所述的图像处理装置，其中，
    所述比对单元具体用于将F′ (n-1)中每一像素的亮度与F′ (n+1)中对应像素的亮度进行比对，保留其中亮度低的像素数据，去除其中亮度高的像素数据；利用所保留的像素数据生成所述重建图像帧F (n)。
  18. 根据权利要求10至17中任一项所述的图像处理装置，其中，
    所述插入模块具体用于对所述视频图像数据流进行倍频处理后，在所述多帧原始图像中的相邻两帧原始图像之间插入所述重建图像帧。
  19. 一种显示设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其中，所述处理器执行所述程序时实现如权利要求1至9中任一项所述的图像处理方法。
  20. 根据权利要求19所述的显示设备，其中，所述显示设备为虚拟现实头戴设备。
  21. 一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法中的步骤。
PCT/CN2018/116078 2018-03-30 2018-11-19 图像处理方法、装置及显示设备、计算机可读存储介质 WO2019184393A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/465,810 US11200649B2 (en) 2018-03-30 2018-11-19 Image processing method and apparatus, display device, and computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810288908.5A CN108574794B (zh) 2018-03-30 2018-03-30 图像处理方法、装置及显示设备、计算机可读存储介质
CN201810288908.5 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019184393A1 true WO2019184393A1 (zh) 2019-10-03

Family

ID=63574108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/116078 WO2019184393A1 (zh) 2018-03-30 2018-11-19 图像处理方法、装置及显示设备、计算机可读存储介质

Country Status (3)

Country Link
US (1) US11200649B2 (zh)
CN (1) CN108574794B (zh)
WO (1) WO2019184393A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704777B2 (en) 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574794B (zh) 2018-03-30 2021-01-22 京东方科技集团股份有限公司 图像处理方法、装置及显示设备、计算机可读存储介质
CN109215596B (zh) * 2018-10-12 2020-04-28 惠州市华星光电技术有限公司 自动调整过驱动电压的方法、装置和显示面板
CN109636731B (zh) * 2018-10-23 2020-11-13 惠州Tcl移动通信有限公司 一种图像拖影的消除方法、电子设备及存储介质
CN109599055B (zh) * 2019-02-20 2022-09-13 重庆惠科金扬科技有限公司 一种显示面板的驱动方法、驱动装置及显示装置
CN113313788A (zh) * 2020-02-26 2021-08-27 北京小米移动软件有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
CN111798805A (zh) * 2020-07-29 2020-10-20 北京显芯科技有限公司 背光处理系统、设备、方法、背光驱动器及存储介质
CN112188200A (zh) * 2020-09-30 2021-01-05 深圳壹账通智能科技有限公司 一种图像处理方法、装置、设备及储存介质
CN111966318A (zh) * 2020-10-20 2020-11-20 歌尔光学科技有限公司 图像显示方法、装置、设备及存储介质
CN114283060A (zh) * 2021-12-20 2022-04-05 北京字节跳动网络技术有限公司 视频生成方法、装置、设备及存储介质
CN114302064B (zh) * 2022-01-27 2024-01-26 北京同尔科技有限公司 一种基于接收卡的视频处理方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067464A1 (en) * 1999-12-22 2002-06-06 Werner William B. Method and system for reducing motion artifacts
CN101105915A (zh) * 2007-08-07 2008-01-16 上海广电光电子有限公司 一种消除液晶显示动态拖影的方法
CN102333200A (zh) * 2011-10-28 2012-01-25 冠捷显示科技（厦门）有限公司 液晶电视利用2d区域调光技术实现运动图像补偿的方法
CN108574794A (zh) * 2018-03-30 2018-09-25 京东方科技集团股份有限公司 图像处理方法、装置及显示设备、计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5062968B2 (ja) * 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR101072095B1 (ko) * 2005-01-03 2011-10-10 엘지전자 주식회사 씨씨디 카메라의 스미어 현상 보정장치 및 방법
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
US20090002554A1 (en) * 2007-06-28 2009-01-01 Samsung Electronics Co., Ltd. Electric field effect read/write head, method of manufacturing the same, and electric field effect storage apparatus having the same
TWI336202B (en) 2007-07-06 2011-01-11 Quanta Comp Inc Noise reduction device and method
JP5301302B2 (ja) 2009-01-30 2013-09-25 株式会社日立国際電気 撮像装置
CN102110403B (zh) 2009-12-23 2013-04-17 群康科技(深圳)有限公司 改善显示器拖影现象的方法及相关的显示器
CN101727815B (zh) * 2009-12-23 2012-04-25 华映光电股份有限公司 动态影像的局部插黑方法以及显示装置
CN102595022A (zh) * 2011-01-10 2012-07-18 联咏科技股份有限公司 多媒体装置及其移动补偿方法
CN102252536A (zh) * 2011-04-28 2011-11-23 上海理工大学 一种全管束配水的蒸发式冷却、冷凝器
CN105635805B (zh) 2015-12-18 2018-12-21 潍坊歌尔电子有限公司 一种虚拟现实场景中优化运动图像的方法和装置
CN106373537B (zh) * 2016-09-12 2019-02-12 上海乐相科技有限公司 一种减弱显示画面拖影的方法及装置
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067464A1 (en) * 1999-12-22 2002-06-06 Werner William B. Method and system for reducing motion artifacts
CN101105915A (zh) * 2007-08-07 2008-01-16 上海广电光电子有限公司 一种消除液晶显示动态拖影的方法
CN102333200A (zh) * 2011-10-28 2012-01-25 冠捷显示科技（厦门）有限公司 液晶电视利用2d区域调光技术实现运动图像补偿的方法
CN108574794A (zh) * 2018-03-30 2018-09-25 京东方科技集团股份有限公司 图像处理方法、装置及显示设备、计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704777B2 (en) 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal

Also Published As

Publication number Publication date
US11200649B2 (en) 2021-12-14
CN108574794B (zh) 2021-01-22
CN108574794A (zh) 2018-09-25
US20210097658A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
WO2019184393A1 (zh) 图像处理方法、装置及显示设备、计算机可读存储介质
RU2419243C1 (ru) Устройство и способ обработки изображений и устройство и способ отображения изображений
RU2413384C2 (ru) Устройство обработки изображения и способ обработки изображения
US7817127B2 (en) Image display apparatus, signal processing apparatus, image processing method, and computer program product
US8363971B2 (en) Image processing apparatus and image processing method
US9100530B2 (en) Image processing apparatus, image processing method and storage medium
Klompenhouwer et al. Motion blur reduction for liquid crystal displays: motion-compensated inverse filtering
US8279346B2 (en) Frame rate converting apparatus and method thereof
US8098333B2 (en) Phase shift insertion method for reducing motion artifacts on hold-type displays
US8606032B2 (en) Image processing method, device and program to process a moving image
JP5479064B2 (ja) 画像処理装置およびその制御方法、プログラム
Har-Noy et al. LCD motion blur reduction: A signal processing approach
JP2003069859A (ja) 動きに適応した動画像処理
JP2013219643A (ja) 画像処理装置および方法、並びに、プログラム
CN111292677B (zh) 一种图像显示处理方法、装置、计算机设备及存储介质
CN101415101A (zh) 一种倍频方法及实现倍频的装置
CN112055131A (zh) 一种视频处理系统及方法
Hu et al. Non-stationary content-adaptive projector resolution enhancement
JP3763773B2 (ja) 字幕文字の表示方法および表示システム
JP5230538B2 (ja) 画像処理装置、画像処理方法
TW201018216A (en) Video filter and video processor and processing method using thereof
Chen et al. 33.4: Smooth‐Frame‐Insertion Method for Reducing Motion Blur on OLED Panel
JP2004172815A (ja) 映像信号処理装置
EP2079069A1 (en) Video picture display method to reduce the effects of blurring and double contours and device implementing this method
TWI487346B (zh) Method of hue corresponding to high dynamic range image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911340

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18911340

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07/04/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18911340

Country of ref document: EP

Kind code of ref document: A1