WO2019029177A1 - 图像显示方法、显示系统以及计算机可读存储介质 - Google Patents
图像显示方法、显示系统以及计算机可读存储介质 Download PDFInfo
- Publication number
- WO2019029177A1 WO2019029177A1 PCT/CN2018/082294 CN2018082294W WO2019029177A1 WO 2019029177 A1 WO2019029177 A1 WO 2019029177A1 CN 2018082294 W CN2018082294 W CN 2018082294W WO 2019029177 A1 WO2019029177 A1 WO 2019029177A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sub
- image
- region
- pixel
- row
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000009877 rendering Methods 0.000 claims abstract description 97
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 69
- 238000007906 compression Methods 0.000 claims description 34
- 230000006835 compression Effects 0.000 claims description 27
- 210000001508 eye Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
Definitions
- Embodiments of the present disclosure relate to an image display method, a display system, and a computer readable storage medium.
- VR Virtual Reality
- VR technology is a computer simulation technology that can create and experience virtual worlds.
- VR technology can be applied to medicine, entertainment, games, military aerospace, exhibitions and other fields.
- VR technology has strict requirements on resolution and refresh rate. VR technology requires a refresh rate of 90 Hz or more to ensure that users do not feel dizzy. Therefore, the amount of data transmission has become an urgent problem to be solved in VR technology.
- At least one embodiment of the present disclosure provides an image display method, including: acquiring a first image; determining a first region and a second region in the first image; using a first rendering algorithm on the first image The first area is processed and the second area in the first image is processed by using a second rendering algorithm to obtain a second image, wherein a rendering resolution of the first rendering algorithm is greater than the second rendering algorithm Rendering resolution; displaying the second image.
- At least one embodiment of the present disclosure also provides a display system including a display device.
- the display device includes a display panel, a first processor, and a first memory.
- the first memory stores a first computer instruction, the first computer instruction being executed by the first processor to: acquire a first image; determine a first region and a second in the first image a region; processing the first region in the first image with a first rendering algorithm and processing a second region in the first image with a second rendering algorithm to obtain a second image, wherein the The rendering resolution of the first rendering algorithm is greater than the rendering resolution of the second rendering algorithm; the second image is displayed on the display panel.
- At least one embodiment of the present disclosure also provides a computer readable storage medium having stored thereon computer instructions that, when executed by a processor, can perform the image display method according to any of the above.
- At least one embodiment of the present disclosure provides an image display method, a display system, and a computer readable storage medium.
- the image display method realizes the gaze point rendering effect by using different rendering algorithms on different display areas at the display device, reduces the image data transmission amount, saves the host power consumption, and improves the refresh rate of the display screen.
- FIG. 1 is a schematic flowchart of an image display method according to an embodiment of the present disclosure
- FIGS. 2A and 2B are schematic diagrams showing a first area and a second area in a first image according to an embodiment of the present disclosure
- FIG. 3 is a schematic diagram of a first area and a second area in a first image according to another embodiment of the present disclosure
- FIG. 4 is a schematic diagram of conversion between an original image, a first image, and a second image according to an embodiment of the present disclosure
- FIG. 5A is a partial schematic diagram of a first area in a first image according to an embodiment of the present disclosure
- FIG. 5B is a partial schematic diagram of a first area in a second image according to an embodiment of the present disclosure
- 6A is a partial schematic diagram of a second area in a first image according to an embodiment of the present disclosure
- FIG. 6B is a partial schematic diagram of a second area in a second image according to an embodiment of the present disclosure.
- FIG. 7 is a schematic block diagram of a display system according to an embodiment of the present disclosure.
- Fixation Point Rendering technology is a selective image rendering technology that can select the gaze area of the human eye for full-resolution rendering based on eye tracking technology, and blur rendering in areas other than the gaze area of the human eye. , thereby displaying an image in which the gaze area is clear and the non-gaze area is blurred.
- the gaze point rendering technology saves computer computing resources and reduces power consumption by rendering only the image of the gaze area to save the amount of data transmitted.
- VR products based on gaze point rendering technology can reduce the amount of data transmission, reduce the rendering burden of the computer, achieve high resolution and high refresh rate.
- At least one embodiment of the present disclosure provides an image display method, a display system, and a computer readable storage medium.
- the image display method realizes the gaze point rendering effect by using different rendering algorithms on different display areas at the display device, reduces the image data transmission amount, saves the host power consumption, and improves the refresh rate of the display screen.
- FIG. 1 is a schematic flowchart of an image display method according to an embodiment of the present disclosure
- FIG. 2A and FIG. 2B are diagrams showing a first area and a second area in a first image according to an embodiment of the present disclosure
- FIG. 3 is a schematic diagram of a first area and a second area in a first image provided by another embodiment of the present disclosure
- FIG. 4 illustrates an original image, a first image, and an image provided by an embodiment of the present disclosure.
- an image display method provided by an embodiment of the present disclosure includes the following operations:
- Operation S51 acquiring a first image
- Operation S52 determining a first area and a second area in the first image
- Operation S53 processing the first region in the first image by using a first rendering algorithm and processing the second region in the first image by using a second rendering algorithm to obtain a second image, where the first rendering algorithm The rendering resolution is greater than the rendering resolution of the second rendering algorithm;
- Operation S54 displaying the second image.
- the image display method provided by the embodiment of the present disclosure may be performed on a display device side, which implements a gaze point rendering effect by using different rendering algorithms for different display regions at the display device, thereby reducing a host (eg, a computer)
- the amount of data transferred by the central processing unit CPU increases the refresh rate of the display screen.
- different display algorithms can be used to process different display regions using the driver chip.
- the rendering resolution of the first rendering algorithm can be full resolution, whereby the first region can be displayed in high definition.
- each sub-pixel can be rendered by a data signal.
- the rendering resolution of the second rendering algorithm is less than the rendering resolution of the first rendering algorithm.
- every two identical sub-pixels can be rendered by one and the same data signal.
- each of the plurality of identical sub-pixels may be rendered by, for example, one and the same data signal.
- the first image 20 may include a first area 21 and a second area 22.
- the first image 20 may have a rectangular shape (or other shape), and the first region 21 may be located at any one of the corners of the rectangle.
- the first image 20 can be divided into four sub-regions.
- the second region 22 may include a first sub-region B, a second sub-region C, and a third sub-region D.
- the first area 21 may be the fourth sub-area A.
- the first sub-region B of the first image 20 is adjacent to the first region 21 of the first image 20 (ie, the fourth sub-region A) in the first direction
- the second sub-region C of the first image 20 is The second region is adjacent to the first region 21 of the first image 20 in the second direction
- the third sub-region D of the first image 20 is not adjacent to the first region 21 of the first image 20.
- the first direction and the second direction are perpendicular to each other.
- adjacent may mean that the sub-regions in the second region 22 (for example, the first sub-region B and the second sub-region C in FIG. 2B ) and the first region 21 have at least One side is adjacent.
- “Not adjacent” means that the sub-region in the second region 22 (for example, the third sub-region D in FIG. 2B) is not adjacent to any one of the first regions 21.
- the first sub-region B, the second sub-region C, and the third sub-region D of the first image 20 may further continue to be divided.
- the first sub-area B of the first image 20 may continue to be divided into a plurality of parts, the shapes of the plurality of parts may be the same or different; in the first direction, the first image
- the second sub-region C of 20 may continue to be divided into a plurality of portions; in the first direction or the second direction, the third sub-region D of the first image 20 may also continue to be divided into a plurality of portions.
- the division, number, and arrangement manner of each sub-area in the second area 22 are not specifically limited in the embodiment of the present disclosure.
- the first area 21 of the first image 20 may also be located on either side of the first image 20; or the first area 21 of the first image 20 may also be located in the middle of the first image 20, that is, the first The first area 21 of the image 20 is not in contact with the sides and corners of the first image 20. Embodiments of the present disclosure do not limit the specific location of the first area 21.
- the first image 20 can be divided into four sub-regions.
- the first area 21 includes one sub-area and the second area 22 includes three sub-areas.
- the first area 21 can be located on either side of the first image 20.
- the first area 21 includes one sub-area and the second area 22 includes three sub-areas.
- the three sub-regions are the first sub-region B, the second sub-region C, and the third sub-region D, respectively, and the first sub-region B includes two portions, and the third sub-region D includes two portions, and the second sub-region C consists of only one part.
- the first image 20 is divided into six parts.
- the first area 21 may be located at an intermediate portion of the first image 20.
- the first area 21 is the fourth sub-area A
- the second area 22 may include the first sub-area B, the second sub-area C, and the third sub-area D
- the first sub-area B includes the first part B1, second portion B2
- second sub-region C includes third portion C1 and fourth portion C2
- third sub-region D includes fifth portion D1, sixth portion D2, seventh portion D3, and eighth portion D4.
- the first image is divided into nine parts (that is, the example shown in FIG. 3) will be described as an example.
- the image display method provided by the embodiment of the present disclosure can also be applied to the first image partitioned in other manners.
- the image display method may further include the following operations:
- Operation S41 generating an original image
- Operation S42 determining a first area and a second area in the original image
- Operation S43 performing high-definition rendering processing on the first region in the original image, and performing a compression rendering process on the second region in the original image to generate the compressed first image;
- Operation S44 outputting the compressed first image.
- the original image 10 can be generated from a data signal of an image that needs to be displayed.
- the process of generating the compressed first image 20 from the original image 10 can be done within the image processing device; then, the image processing device transmits the compressed first image 20 to the display device.
- the amount of data transmitted by the image processing apparatus to the display apparatus is only the amount of data signal of the compressed first image 20, thereby reducing the amount of data transmission and reducing the power consumption of the image processing apparatus.
- the first image 20 may not be displayed, that is, in the image processing apparatus, the data signal of each pixel in the compressed first image 20 may be obtained from the original image 10, and then The data signal of the first image 20 is transmitted to the display device for subsequent processing.
- the image processing device may be a CPU of a computer, or may be an image processing unit (GPU) or the like.
- GPU image processing unit
- the first area and the second area in the original image 10 may be preset and fixed during the process of displaying an image.
- the first region and the second region in the original image 10 may also vary with the direction of the line of sight of the human eye.
- operation S42 may include: detecting a line of sight of the human eye; determining the first area in the original image 10 according to the line of sight of the human eye.
- an area other than the first area in the original image 10 is the second area of the original image 10.
- the first area is a human eye gaze area and the second area is a non-gaze area.
- the original image 10 can be divided into nine parts.
- the first area of the original image 10 may be the fourth sub-area A
- the second area of the original image 10 may include the first sub-area B", the second sub-area C", and the third sub-area D", and respectively
- the first sub-area B, the second sub-area C, and the third sub-area D in one image 20 are in one-to-one correspondence.
- the first sub-region B" in the original image 10 is adjacent to the first region (ie, the fourth sub-region A" in the original image 10 in the first direction, and the second sub-region C" in the original image 10 is at the Adjacent to the first region in the original image 10 in the two directions, the third sub-region D" in the original image 10 is not adjacent to the first region in the original image 10.
- the first sub-area B" includes a first portion B"1, a second portion B"2; the second sub-region C" includes a third portion C"1 and a fourth portion C"2; the third sub-region D" includes a fifth Part D"1, sixth portion D"2, seventh portion D"3, and eighth portion D"4.
- nine of the first images 20 may be in one-to-one correspondence with nine of the original images 10.
- performing a compression rendering process on the second region in the original image 10 may include the following operations:
- Operation S431 compressing the first sub-area B" in the original image 10 by a ratio of 1/F1 in the first direction;
- Operation S432 compressing the second sub-region C" in the original image 10 by a ratio of 1/F2 in the second direction;
- Operation S433 compressing the third sub-region D" in the original image 10 by a ratio of 1/F1 in the first direction, and scaling the third sub-region D" in the original image 10 in the second direction. /F2 performs compression processing.
- the compression process can employ an interpolation algorithm.
- Interpolation algorithms include, for example, Lagrangian interpolation, Newton interpolation, and Hermite interpolation.
- both F1 and F2 are greater than one.
- F1 and F2 can be the same or different, and there is no limitation on this.
- F1 and F2 may be preset and remain unchanged during image display; alternatively, F1 and F2 may also vary according to the size of the second region in the original image 10.
- the size of the first original image and the size of the second original image are the same for the first original image and the second original image (for example, 720 ⁇ 1080),
- the human eye gaze area of the first original image and the second original image are different, that is, the size of the first area in the first original image is different from the size of the first area in the second original image.
- the ratios 1/F1 and 1/F2 for performing compression processing on the second region in the first original image may be larger than compressing the second region in the second original image, respectively.
- the ratios 1/F1' and 1/F2' are such that the data transmission amounts of the first original image and the second original image are the same.
- the operation S433 may be a single operation step, but is not limited thereto.
- the processing of the third sub-area D" in operation S433 may also be implemented in operation S431 and operation S432, that is, in operation S431, In the first direction, the first sub-region B" and the third sub-region D" in the original image 10 are simultaneously subjected to compression processing in a ratio of 1/F1; in operation S432, the original image 10 may be simultaneously in the second direction.
- the second sub-region C" and the third sub-region D" in the middle are compressed by a ratio of 1/F2.
- the first region 21 (ie, the fourth sub-region A) in the first image 20 is processed by the first rendering algorithm
- the second image in the second image 20 is processed by the second rendering algorithm.
- Region 22 i.e., portions B1, B2, C1, C2, D1, D2, D3, and D4
- the second image 30 may, for example, also comprise nine portions and correspond one-to-one with the nine portions of the first image 20.
- the fourth sub-area A in the first image 20 can be processed by the first rendering algorithm to obtain the fourth sub-area A' in the second image 30.
- the first sub-area B, the second sub-area C, and the third sub-area D in the first image 20 are processed by the second rendering algorithm to obtain the first sub-area B' and the second sub-area in the second image 30, respectively.
- C' and the third sub-region D' are respectively and the second The first portion B'1, the second portion B'2, the third portion C'1, the fourth portion C'2, the fifth portion D'1, the sixth portion D'2, and the seventh portion D' in the image 30 3 corresponds to the eighth part D'4.
- two of the first sub-regions B" may be compressed in different proportions, or may be performed in the same ratio.
- the first portion B"1 is compressed by a ratio of 1/T1
- the second portion B"2 is compressed by a ratio of 1/T2
- both T1 and T2 are greater than 1.
- the two parts in the second sub-area C" may be compressed according to different ratios, or may be compressed according to the same ratio
- the four parts in the third sub-area D" may be compressed according to different ratios. It is also possible to perform compression processing in the same ratio.
- the compression ratios of the first portion B"1, the fifth portion D"1, and the sixth portion D"2 in the original image 10 may be the same; the second portion B in the original image 10
- the compression ratios of "2, the seventh portion D"3 and the eighth portion D"4 may be the same.
- the compression ratios of the third portion C"1, the fifth portion D"1, and the seventh portion D"3 in the original image 10 may be the same; the fourth portion C"2 in the original image 10
- the compression ratios of the six parts D"2 and the eighth part D"4 may be the same.
- the shapes of the fourth sub-area A" in the original image 10, the fourth sub-area A in the first image 20, and the fourth sub-area A' in the second image 30 are all the same.
- the first image in the first image 20 The size of each portion in the two regions (eg, in pixels) is smaller than the size of the corresponding portions in the second region in the second image 30 (eg, in pixels).
- the physical size of each portion in the second region may be the same as the physical size of the corresponding portion in the second region in the second image 30.
- the first image 20 may be a 2K*2K compressed image
- the second image 30 may be a 2K*4K display image. Therefore, the image display method can display the gaze point rendering effect, reduce the data transmission amount, and improve the refresh by inputting only the 2K*2K data signal through the sub-region rendering algorithm on the 2K*4K BV3 display module. rate. It should be noted that the above 2K*2K and 2K*4K and the like indicate the number of pixels.
- first rendering algorithm and the second rendering algorithm represent processing of data signals of sub-pixels in each region of the first image 20.
- the first area and the second area in the first image 20 correspond to the first area and the second area of the original image 10, respectively.
- the first area 21 and the second area 22 in the first image 20 can also be set in advance, and no change occurs during the process of displaying an image.
- the first region 21 and the second region 22 in the first image 20 may also vary with the direction of the line of sight of the human eye.
- the first area 21 may be, for example, a gaze area
- the second area 22 may be a non-gaze area.
- the image display method can realize the fixation point display.
- the resolution of the first image 20 may be 2K, and the resolution of the second image 30 may be 4K.
- the resolution of the second region in the first image 20 is less than the resolution of the second region in the second image 30.
- the above “resolution” means, for example, a visual resolution.
- each sub-pixel in the first image 20 can be arranged in a standard RBG array arrangement; and each sub-pixel in the second image 30 is arranged in a BV3 (Bright View 3) array arrangement.
- the BV3 array is arranged in a delta (delta, ⁇ ) array arrangement, which can improve visual resolution and improve display quality.
- FIG. 5A is a partial schematic view of a first area in a first image provided by an embodiment of the present disclosure.
- FIG. 5B is a partial schematic view of a first area in a second image according to an embodiment of the present disclosure.
- processing the first region 21 in the first image by using the first rendering algorithm comprises: performing pixel conversion on the pixels of the odd rows in the first region 21 in the first image by using the first conversion formula; And pixel conversion of the pixels of the even rows in the first region 21 in the first image by using the second conversion formula.
- the physical size of the first region 21 of the first image 20 is unchanged, that is, the shape and physical size of the first region 21 of the first image 20 and the first region of the second image 30 may be the same.
- all pixels are arranged in a BV3 array arrangement.
- the first area in the second image shown in Fig. 5B corresponds to the first area in the first image shown in Fig. 5A. That is to say, the first region in the first image shown in FIG. 5A is subjected to rendering conversion by the first conversion formula and the second conversion formula to obtain the first region in the second image shown in FIG. 5B.
- the first region 21 in the first image 20 includes a plurality of pixels 100, and each of the pixels 100 includes at least a first sub-pixel 101, a second sub-pixel 102, and a third sub-pixel 103.
- the first sub-pixel 101, the second sub-pixel 102, and the third sub-pixel 103 in the first region 21 of the first image 20 may be a red sub-pixel, a green sub-pixel, and a blue sub-pixel, respectively.
- each pixel 100 may further include a fourth sub-pixel, and the fourth sub-pixel may be a white sub-pixel.
- first sub-pixel 101, the second sub-pixel 102, and the third sub-pixel 103 may also be, for example, a yellow sub-pixel, a magenta sub-pixel, and a cyan sub-pixel, respectively.
- the embodiments of the present disclosure do not limit this.
- the first region in the second image 30 may include a plurality of pixels 200, and each of the pixels 200 may also include at least a first sub-pixel 201, a second sub-pixel 202, and a third sub-pixel 203.
- the first sub-pixel 201, the second sub-pixel 202, and the third sub-pixel 203 in the first region of the second image 30 may be respectively associated with the first sub-pixel 101 in the first region of the first image 20,
- the two sub-pixels 102 and the third sub-pixels 103 correspond to each other.
- the first sub-pixel 201, the second sub-pixel 202, and the third sub-pixel 203 in the first region of the second image 30 may also be, for example, a red sub-pixel, a green sub-pixel, and a blue sub-pixel, respectively.
- the first conversion formula can be expressed as:
- the second conversion formula can be expressed as:
- i 2 , j 2 and n 2 are all positive integers, and i 2 is used to represent the number of columns of even rows (eg, the number of columns of even rows in the first region of the first image), and j 2 is used to represent even numbers the number of rows of lines (e.g.
- n the total number of columns of the pixel row j 2 represents 2; with Denote first region of the second image 30 in the second row j 2 Data signals of the first sub-pixel 201, the second sub-pixel 202, and the third sub-pixel 203 of the column, with Denote first region of the second image 30 in the second row j 2 Column data signals of the first sub-pixel 201 and the second sub-pixel 202, 30 denotes a first region of the second image data signal in the third sub-pixels 203 of the j-th row 2, column 1.
- the conversion coefficients of the first sub-pixel 101 of each odd row with Can be different or the same; the conversion coefficient of the second sub-pixel 102 of each odd row with They may be different or the same; the conversion coefficient of the third sub-pixel 103 of each odd row with They can be different or they can all be the same.
- the conversion coefficients for each sub-pixel of each even-numbered row, with Can be different or the same; with Can be different or the same; with They can be different or they can all be the same.
- conversion factor with The initial value can be both 0.5.
- Conversion factor with It can be preset according to the experience value.
- Conversion factor with Each data signal representing a first region of the first image 20 1 of the j-th row of column I 1 of the first subpixel 101 The first sub-pixel and the j th row of the 1 (i 1 +1) column data signal 101 the weight of.
- the conversion factor with Area of the first sub-pixel column can be 101, the relative position of the first sub-pixel, respectively, according to a first region of the first image 20 1 of the j-th row in a column of 101 I and a j th row of the (i 1 +1) Relationships are determined.
- the weights of the respective sub-pixels are also indicated separately.
- n 1 represents the number of rows of pixels of the first area
- n-1 represents the total number of columns in a first region of a first pixel row j
- n 2 j 2 represents the pixel row of the first region
- n 1 and n 2 may be equal such that the first region includes a pixel array arranged in m 1 *n 1 (or n 2 ).
- n 1 and n 2 are all positive integers, and both n 1 and n 2 are even numbers.
- the data signal can represent the grayscale brightness of the pixel, ie, the intensity of the illumination.
- the first area may be a rectangle, and may also be a circle, a trapezoid, a polygon, or the like.
- an image filtering process may be performed on an edge of the first region such that the first region appears as a circle, a trapezoid, a polygon, or the like.
- the image filtering process may employ, for example, a filter function such as smoothing filtering or Gaussian filtering.
- each row in a first region of the first image 20, each row includes four pixels 100; in a first region of the second image 30, each row includes two Pixels 200. That is, four pixels 100 per line in the first image 20 can be converted into two pixels 200 per line in the second image 30.
- the pixel width of each sub-pixel in the first region of the second image 30 is greater than the pixel width of the corresponding sub-pixel in the first region of the first image 20; in the column direction, the second image 30
- the pixel length of each sub-pixel in the first region is equal to the pixel length of each corresponding sub-pixel in the first region of the first image 20.
- the pixel width of each sub-pixel in the first region of the second image 30 is twice the pixel width of each sub-pixel in the first region of the first image 20.
- each pixel 100 in the first region of the first image 20 and each pixel 200 in the first region of the second image 30 may be Expressed as follows:
- X 11 ⁇ 11 x 11 + ⁇ 12 x 12
- Y 11 ⁇ 11 y 11 + ⁇ 12 y 12
- Z 11 ⁇ 11 z 11 + ⁇ 12 z 12
- X 12 ⁇ 11 x 13 + ⁇ 12 x 14
- Y 12 ⁇ 11 y 13 + ⁇ 12 y 14
- Z 12 ⁇ 11 z 13 + ⁇ 12 z 14
- the first region of the first image 20 having the RBG arrangement is converted into the first region of the second image 30 having the BV3 arrangement.
- FIG. 6A is a partial schematic diagram of a second area in a first image according to an embodiment of the present disclosure.
- FIG. 6B is a partial schematic view of a second area in a second image according to an embodiment of the present disclosure.
- processing the second area by using the second rendering algorithm may include the following operations:
- Operation S5301 in the first direction, the first sub-region B in the first image 20 is enlarged by a ratio F1/2, and in the second direction, the first sub-region B in the first image 20 is proportionally 1/ 2 performing compression processing;
- Operation S5302 in the second direction, the second sub-region C in the first image 20 is enlarged by a ratio F2/2, and in the first direction, the second sub-region C in the first image 20 is proportionally 1/ 2 performing compression processing;
- Operation S5303 in the first direction, the third sub-region D in the first image 20 is enlarged by a ratio F1/2, and in the second direction, the third sub-region D in the first image 20 is scaled F2. /2 is expanded.
- an interpolation algorithm can also be employed for the expansion process.
- the expansion processing in operation S53 corresponds to the compression processing in operation S43, that is, the direction of the expansion processing in operation S53 corresponds to the direction of the compression processing in operation S43.
- the first sub-region B" in the original image 10 is subjected to compression processing in a ratio of 1/F1 in the first direction, and then in operation S53, the first sub-region B in the first image 20 is performed.
- the enlargement process is performed in a ratio F1/2 in the first direction.
- processing the second region in the first image 20 by using the second rendering algorithm further includes adopting a third conversion formula pair.
- the pixels of the second region in the first image are pixel-converted.
- the second region 21 in the first image 20 includes a plurality of pixels 110, and each of the pixels 110 includes at least a first sub-pixel 111, a second sub-pixel 112, and a third sub-pixel 113.
- the second region in the second image 30 may include a plurality of pixels 210, and each of the pixels 210 may also include at least a first sub-pixel 211, a second sub-pixel 212, and a third sub-pixel 213. .
- the first sub-pixel 111, the second sub-pixel 112, and the third sub-pixel 113 in the second region 21 of the first image 20 may be, for example, a red sub-pixel, a green sub-pixel, and a blue sub-pixel, respectively.
- the first sub-pixel 211, the second sub-pixel 212, and the third sub-pixel 213 in the second region of the second image 30 may also be, for example, a red sub-pixel, a green sub-pixel, and a blue sub-pixel, respectively.
- the data signals of all the pixels in the second region of the first image 20 are converted by the third conversion formula, they may be arranged in the corresponding areas of the display device by two lines of the same Smart View arrangement for display.
- the third conversion formula can be expressed as:
- n 3 is used to indicate the number of columns (for example, the number of columns of each sub-region of the second region in the first image)
- X′′ (2k-1)l , Y′′ ( 2k-1)l and Z" (2k-1)l respectively represent the first sub-pixel 211 and the second sub-column of the (1k-1)th row and the 1st column in each sub-region of the second region in the second image 30
- the data signals of the pixel 212 and the third sub-pixel 213, X" (2k)l and Y" (2k)l respectively represent the (2k)th row and the first column of each sub-region of the second region in the second image 30.
- the data signals of the first sub-pixel 211 and the second sub-pixel 212, Z′′ (2k)(l+1) represent the (2k)th row (l+1) in each sub-region of the second region in the second image 30.
- the data signals of the third sub-pixel 213 of the column, x" kl , y" kl, and z" kl respectively represent the first sub-pixel 111 of the kth row and the first column of each sub-region of the second region in the first image.
- Data signals of the second sub-pixel 112 and the third sub-pixel 113 are examples of the second sub-pixel 112 and the third sub-pixel 113.
- n 3 represents the total number of columns of the kth row of pixels
- m 2 represents the total number of rows of pixels in the first subregion, the second subregion, or the third subregion in the second region of the first image.
- m 2 represents the total number of rows of pixels of a certain sub-region (or a certain portion of a certain sub-region) in the second region, for example, when the first portion of the first sub-region B is When B1 performs pixel conversion, m 2 represents the total number of rows of pixels in the first portion B1; and when pixel conversion is performed on the third portion C1 in the second sub-region C, m 2 represents the total row of pixels in the third portion C1. Number, and so on. n 3 represents the total number of columns of the kth row of pixels of a certain sub-region (or a certain portion of a certain sub-region) in the second region.
- the total number of columns n 3 of the pixels may be the same, and the total number of rows m 2 of the pixels is different; for the second sub-
- the third portion C1 and the fourth portion C2 in the region C may have different total number of columns n 3 of pixels, and the total number of rows m 2 of the pixels is the same.
- the second region of the first image 20 includes two rows and two columns of four pixels 110; the second region of the second image 30 includes eight rows and two columns of eight Pixels 210. That is, one row of two pixels 110 in the first image 20 can be converted into two rows of four pixels 210 in the second image 30.
- the pixel width of each sub-pixel in the second region of the second image 30 is greater than the pixel width of the corresponding sub-pixel in the second region of the first image 20; in the column direction, the second image 30
- the pixel length of each sub-pixel in the second region is equal to the pixel length of each corresponding sub-pixel in the second region of the first image 20.
- the pixel width of each sub-pixel in the second region of the second image 30 is twice the pixel width of each sub-pixel in the second region of the first image 20.
- each sub-pixel in the second region of the second image 30 is also arranged in a BV3 array arrangement.
- each pixel 110 in the second region of the first image 20 and each pixel 210 in the second region of the second image 30 may be Expressed as follows:
- the second region of the first image 20 having the RBG arrangement is converted into the second region of the second image 30 having the BV3 arrangement.
- the first sub-pixel 211, the second sub-pixel 212, and the third sub-pixel 213 represent the red sub-pixel R, the green sub-pixel G, and the blue sub-pixel B, respectively, in the second image 30, when the odd-numbered row When each sub-pixel is arranged in the order of RGBRGB, each sub-pixel of the even-numbered row is arranged in the order of BRGBRG.
- the second image 30 is not limited to this.
- the sub-pixels of the odd-numbered rows are arranged in the order of GBRGBR
- the sub-pixels of the even-numbered rows are arranged in the order of RGBRGB.
- each pixel of the second image obtained by the first rendering algorithm and the second rendering algorithm is arranged on the display device in a BV3 arrangement manner to display the second image.
- FIG. 7 is a schematic block diagram of a display system according to an embodiment of the present disclosure.
- a display system provided by an embodiment of the present disclosure includes a display device 1 and an image processing device 2.
- the display device 1 includes a display panel 705, a first processor 710, and a first memory 715.
- the image processing device 2 includes a second processor 720 and a second memory 725. It should be noted that the components of the display system shown in FIG. 7 are merely exemplary and not limiting, and the display system may have other components depending on the needs of the actual application.
- information can be transmitted between the display device 1 and the image processing device 2 via the network.
- the network can include wireless networks, wired networks, and/or any combination of wireless networks and wired networks.
- the network may include a local area network, the Internet, a telecommunications network, an Internet of Things based Internet and/or telecommunications network, and/or any combination of the above networks, and the like.
- the wired network can be communicated by means of twisted pair, coaxial cable or optical fiber transmission, for example, a wireless communication network such as a 3G/4G/5G mobile communication network, Bluetooth, Zigbee or WiFi.
- a wireless communication network such as a 3G/4G/5G mobile communication network, Bluetooth, Zigbee or WiFi.
- the disclosure does not limit the type and function of the network.
- components in display device 1 may be interconnected by a bus system and/or other form of connection mechanism (not shown) to effect information transfer.
- the components in the image processing apparatus 2 may also be interconnected by a bus system and/or other forms of connection mechanisms (not shown) to effect information transfer.
- the first processor 710 may be disposed on a driving chip of the display device 1.
- the first processor 710 is a processing unit having data processing capabilities and/or program execution capabilities.
- the first processor 710 can control other components in the display device 1 to perform desired functions.
- the second processor 720 can be a central processing unit (CPU) or other form of processing unit having data processing capabilities and/or program execution capabilities, such as an image processing unit (GPU), a field programmable gate array (FPGA). Or a tensor processing unit (TPU) or the like, the second processor 720 can control other components in the image processing device 2 to perform desired functions.
- the central processing unit (CPU) may be an X86 or ARM architecture or the like.
- first memory 715 and second memory 725 can comprise any combination of one or more computer program products, which can include various forms of computer readable storage media, such as volatile memory and/or nonvolatile memory. Sex memory. Volatile memory can include, for example, random access memory (RAM) and/or caches and the like. The non-volatile memory may include, for example, a read only memory (ROM), a hard disk, an erasable programmable read only memory (EPROM), a portable compact disk read only memory (CD-ROM), a USB memory, a flash memory, and the like.
- ROM read only memory
- EPROM erasable programmable read only memory
- CD-ROM portable compact disk read only memory
- USB memory a flash memory
- flash memory and the like.
- applications and various data such as conversion coefficients, and various data used and/or generated by the application, etc., may also be stored in the computer readable storage medium.
- first computer instructions may be stored on the first memory 715, and the first processor 710 may execute the first computer instructions to implement various functions (eg, a first rendering algorithm and a second rendering algorithm, etc.) .
- first processor 710 may execute the first computer instructions to implement various functions (eg, a first rendering algorithm and a second rendering algorithm, etc.) .
- second computer instructions may also be stored on the second memory 725, and the second processor 720 may execute the second computer instructions to perform various functions (eg, generate a compressed first image, etc.).
- the display panel 705 is used to display a second image.
- the display panel may be a liquid crystal display panel (LCD), an organic light emitting diode display panel (OLED), or the like.
- the following operations may be performed: acquiring the compressed first image; determining the first region and the second region in the first image; using the first rendering algorithm on the first image Processing the first region in the first region and processing the second region in the first image to obtain a second image, wherein the rendering resolution of the first rendering algorithm is greater than the rendering resolution of the second rendering algorithm ; Display the second image on the display panel.
- each sub-pixel in the first image may be arranged in a standard RBG array arrangement; each sub-pixel in the second image may be arranged in a Bright View 3 (BV3) array arrangement.
- BV3 Bright View 3
- the resolution of the second region in the first image is less than the resolution of the second region in the second image.
- the following operations are further performed: pixel conversion of pixels of odd rows in the first region in the first image using the first conversion formula;
- the two conversion formula performs pixel conversion on pixels of even rows in the first region in the first image.
- the first region in the first image includes a plurality of pixels, and each pixel includes at least a first sub-pixel, a second sub-pixel, and a third sub-pixel. It should be noted that the specific description of each pixel can refer to the related description in the embodiment of the image display method, and the repeated description is not repeated herein.
- the first conversion formula is expressed as:
- first region of the second image 30 of the j-th row 1 Data signals of the first sub-pixel, the second sub-pixel, and the third sub-pixel of the column.
- the second conversion formula can be expressed as:
- i 2 , j 2 and n 2 are integers, and i 2 is used to represent the number of columns of even rows, j 2 is used to represent the number of rows of even rows, and n 2 is the total number of columns of pixels in the j 2 rows; with Respectively represent a first region of the second image in the second row j 2 Data signals of the first sub-pixel, the second sub-pixel, and the third sub-pixel of the column, with Respectively represent a first region of the second image in the second row j 2 Data signals of the first sub-pixel and the second sub-pixel, Data representing a first region of the second image signal of the third sub-pixel 2 j-th row of the first column.
- the following operations may be performed: generating an original image; determining a first region and a second region in the original image; using an image processing device for the original image
- the first area performs high definition rendering, and performs a compression rendering process on the second area in the original image to generate a compressed first image; and outputs the compressed first image to the display device.
- the first area may be a gaze area and the second area may be a non-gaze area.
- the display system can also include an eye control device (not shown).
- the eye control device can detect the line of sight of the human eye by eyeball tracking techniques to determine the first region in the original image.
- the eye control device can track the line of sight of the human eye based on changes in the characteristics of the eyeball and the periphery of the eyeball.
- the eye control device can also track the human eye's line of sight based on changes in the iris angle.
- the eye control device can also extract the eyeball feature by actively projecting a beam of infrared rays or the like to the iris to extract the eyeball.
- the eye control device may include a hardware device such as an infrared device or an image capture device.
- the image capture device can be a camera on an electronic device such as a mobile phone or a computer.
- the following operations can also be performed: detecting the line of sight of the human eye with the eye control device; determining the first region in the original image according to the line of sight of the human eye. For example, an area other than the first area in the original image is the second area.
- the second region of each image includes a first sub-region, a second sub-region, and a third sub-region.
- the first sub-area is adjacent to the first area in the first direction
- the second sub-area is adjacent to the first area in the second direction
- the third sub-area is not adjacent to the first area.
- first direction and the second direction are perpendicular to each other.
- the second region in the original image includes a first sub-region, a second sub-region, and a third sub-region.
- the first sub-region in the original image is adjacent to the first region in the original image in the first direction
- the second sub-region in the original image is adjacent to the first region in the original image in the second direction
- the original image The third sub-region is not adjacent to the first region in the original image.
- the second region in the first image also includes a first sub-region, a second sub-region, and a third sub-region, and the second region in the original image and the first sub-region, the second sub-region, and the third sub-region, respectively One-to-one correspondence.
- the first sub-region may include at least one portion
- the second sub-region may include at least one portion
- the third sub-region may also include at least one portion.
- the following operations may be further performed: compressing the first sub-region in the original image by a ratio of 1/F1 in the first direction; In the second direction, the second sub-area in the original image is compressed by a ratio of 1/F2; in the first direction, the third sub-area in the original image is compressed by a ratio of 1/F1, and in the second direction, The third sub-area in the original image is compressed by a ratio of 1/F2.
- the following operations may be further performed: in the first direction, the first sub-region in the first image is scaled by a ratio F1/2, along the edge a second direction, the first sub-area in the first image is compressed by a ratio of 1/2; and in the second direction, the second sub-area in the first image is enlarged by a ratio F2/2, along the first Direction, compressing the second sub-region in the first image by a ratio of 1/2; in the first direction, expanding the third sub-region in the first image by a ratio F1/2, and in the second direction And expanding the third sub-area in the first image by a ratio F2/2.
- an interpolation algorithm can be employed for both the expansion processing and the compression processing.
- the following operations may also be implemented: pixel conversion of pixels of the second region in the first image using a third conversion formula.
- the third conversion formula is expressed as:
- At least one embodiment of the present disclosure also provides a computer readable storage medium having stored thereon computer instructions adapted to be executed by a processor.
- the computer instruction is executed by the processor to: obtain the compressed first image; determine the first region and the second region in the first image; use the first rendering algorithm to process the first region and adopt the second rendering
- the algorithm processes the second region to obtain a second image, wherein the rendering resolution of the first rendering algorithm is greater than the rendering resolution of the second rendering algorithm; displaying the second image.
- one or more of the image display methods described above may also be performed when the computer instructions are executed by the processor.
- the computer readable storage medium can be applied to the display system described in any of the above embodiments.
- the computer readable storage medium can be a first memory in a display device of a display system.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
一种图像显示方法、显示系统以及计算机可读存储介质。该图像显示方法包括:获取第一图像;确定第一图像中的第一区域和第二区域;采用第一渲染算法对第一图像中的第一区域进行处理和采用第二渲染算法对第一图像中的第二区域进行处理,以得到第二图像,其中,第一渲染算法的渲染分辨率大于第二渲染算法的渲染分辨率;显示第二图像。
Description
本申请要求于2017年08月09日递交的中国专利申请第201710674693.6号的优先权,在此全文引用上述中国专利申请公开的内容以作为本申请的一部分。
本公开的实施例涉及一种图像显示方法、显示系统以及计算机可读存储介质。
虚拟现实(Virtual Reality,VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术。VR技术可以应用于医学、娱乐、游戏、军事航天、展览展示等领域。
随着显示技术的发展,人们对显示装置的分辨率的要求越来越高。对于高分辨率(例如4K分辨率)的产品,其需要较大的数据传输量,从而导致电子产品的刷新率下降。VR技术对分辨率和刷新率等的要求较严格,VR技术需要90Hz以上的刷新率,以保证用户不感到眩晕。因此,数据传输量成为VR技术中亟待解决的问题。
发明内容
本公开至少一实施例提供一种图像显示方法,其包括:获取第一图像;确定所述第一图像中的第一区域和第二区域;采用第一渲染算法对所述第一图像中的第一区域进行处理和采用第二渲染算法对所述第一图像中的第二区域进行处理,以得到第二图像,其中,所述第一渲染算法的渲染分辨率大于所述第二渲染算法的渲染分辨率;显示所述第二图像。
本公开至少一实施例还提供一种显示系统,其包括显示装置。所述显示装置包括显示面板、第一处理器和第一存储器。所述第一存储器存储有第一计算机指令,所述第一计算机指令由所述第一处理器执行时实现以下操作:获取第一图像;确定所述第一图像中的第一区域和第二区域;采用第一渲染算法对所述第一图像中的第一区域进行处理和采用第二渲染算法对所述第一图像中的 第二区域进行处理,以得到第二图像,其中,所述第一渲染算法的渲染分辨率大于所述第二渲染算法的渲染分辨率;在所述显示面板上显示所述第二图像。
本公开至少一实施例还提供一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时可以执行根据上述任一项所述的图像显示方法。
本公开至少一实施例提供一种图像显示方法、显示系统以及计算机可读存储介质。该图像显示方法通过在显示装置处对不同的显示区域采用不同的渲染算法进行处理,实现注视点渲染效果,减少图像的数据传输量、节省主机功耗、提高显示画面的刷新率。
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本公开一实施例提供的一种图像显示方法的示意性流程图;
图2A和图2B为本公开一实施例提供的第一图像中的第一区域和第二区域的示意图;
图3为本公开另一实施例提供的第一图像中的第一区域和第二区域的示意图;
图4为本公开一实施例提供的原始图像、第一图像和第二图像之间的转换示意图;
图5A为本公开一实施例提供的第一图像中的第一区域的局部示意图;
图5B为本公开一实施例提供的第二图像中的第一区域的局部示意图;
图6A为本公开一实施例提供的第一图像中的第二区域的局部示意图;
图6B为本公开一实施例提供的第二图像中的第二区域的局部示意图;以及
图7为本公开一实施例提供的一种显示系统的示意性框图。
为了使得本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然, 所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明,本公开省略了已知功能和已知部件的详细说明。
注视点渲染(Fixation Point Rendering)技术是一种选择性图像渲染技术,其可以基于眼球追踪技术选择人眼的注视区域进行全分辨率渲染,而在人眼的注视区域以外的区域则进行模糊渲染,从而显示注视区域清晰、非注视区域模糊的图像。注视点渲染技术通过仅渲染注视区域的图像以达到节省传输数据量的目的,从而节省计算机运算资源、降低功耗。基于注视点渲染技术的VR产品可以降低数据传输量、减轻电脑的渲染负担、实现高分辨率和高刷新率。
本公开至少一实施例提供一种图像显示方法、显示系统以及计算机可读存储介质。该图像显示方法通过在显示装置处对不同的显示区域采用不同的渲染算法进行处理,实现注视点渲染效果,减少图像的数据传输量、节省主机功耗、提高显示画面的刷新率。
下面结合附图对本公开的实施例进行详细说明,但是本公开并不限于这些具体的实施例。
图1示出了本公开一实施例提供的一种图像显示方法的示意性流程图;图2A和图2B示出了本公开一实施例提供的第一图像中的第一区域和第二区域的示意图;图3示出了本公开另一实施例提供的第一图像中的第一区域和第二区域的示意图;图4示出了本公开一实施例提供的原始图像、第一图像和第二图像之间的转换示意图。
例如,如图1所示,本公开实施例提供的图像显示方法包括如下操作:
操作S51:获取第一图像;
操作S52:确定第一图像中的第一区域和第二区域;
操作S53:采用第一渲染算法对第一图像中的第一区域进行处理和采用第二渲染算法对第一图像中的第二区域进行处理,以得到第二图像,其中,第一渲染算法的渲染分辨率大于第二渲染算法的渲染分辨率;
操作S54:显示第二图像。
本公开的实施例提供的图像显示方法可以在显示装置端执行,其通过在显示装置处对不同的显示区域采用不同的渲染算法进行处理,实现注视点渲染效果,从而可以减少主机(例如,计算机的中央处理器CPU)的数据传输量,提高显示画面的刷新频率。
例如,在显示装置处,可以利用驱动芯片对不同的显示区域采用不同的渲染算法进行处理。
例如,第一渲染算法的渲染分辨率可以为全分辨率,由此,第一区域可以进行高清显示。例如,在第一区域中,每个子像素可以通过一个数据信号进行渲染。第二渲染算法的渲染分辨率小于第一渲染算法的渲染分辨率。例如,在第二区域中,每两个相同的子像素可以通过一个相同的数据信号进行渲染。但不限于此,在第二区域中,每多个相同的子像素例如可以通过一个相同的数据信号进行渲染。
例如,如图2A所示,第一图像20可以包括第一区域21和第二区域22。第一图像20可以具有矩形形状(或其他形状),且第一区域21可以位于矩形的任意一个角上。此时,如图2B所示,第一图像20可以被划分成为四个子区域。第二区域22可以包括第一子区域B、第二子区域C和第三子区域D。第一区域21可以为第四子区域A。
例如,第一图像20的第一子区域B在第一方向上与第一图像20的第一区域21(即,第四子区域A)相邻,第一图像20的第二子区域C在第二方向上与第一图像20的第一区域21相邻,第一图像20的第三子区域D与第一图像20的第一区域21不相邻。例如,第一方向和第二方向彼此垂直。
需要说明的是,在本公开中,“相邻”可以表示第二区域22中的子区域(例如,图2B中的第一子区域B和第二子区域C)与第一区域21至少有一条边相邻。“不相邻”表示第二区域22中的子区域(例如,图2B中的第三子区域D)与第一区域21的任意一条边都不相邻。
例如,第一图像20的第一子区域B、第二子区域C和第三子区域D还可以继续进行划分。例如,在第二方向上,第一图像20的第一子区域B可以继续被划分成为多个部分,该多个部分的形状可以相同,也可以不相同;在第一方向上,第一图像20的第二子区域C可以继续被划分成为多个部分;在第一方向或第二方向上,第一图像20的第三子区域D也可以继续被划分成为多个部分。本公开实施例对第二区域22中的各子区域的划分、数量和排布方式不作具体限制。
例如,第一图像20的第一区域21也可以位于第一图像20的任意一边;或者,第一图像20的第一区域21还可以位于第一图像20的中间部位,也就是说,第一图像20的第一区域21不与第一图像20的边和角相接触。本公开的实施例对第一区域21的具体位置不作限制。
例如,第一图像20可以被划分为四个子区域。第一区域21包括一个子区域,而第二区域22包括三个子区域。
例如,第一区域21可以位于第一图像20的任意一边。在这种情况下,第一区域21包括一个子区域,第二区域22包括三个子区域。例如,三个子区域分别为第一子区域B、第二子区域C和第三子区域D,且第一子区域B包括两个部分,第三子区域D包括两个部分,第二子区域C仅包括一个部分。由此,第一图像20被划分为六个部分。
例如,如图3所示,第一区域21可以位于第一图像20的中间部位。在这种情况下,第一区域21为第四子区域A,第二区域22可以包括第一子区域B、第二子区域C和第三子区域D,且第一子区域B包括第一部分B1、第二部分B2;第二子区域C包括第三部分C1和第四部分C2;第三子区域D包括第五部分D1、第六部分D2、第七部分D3和第八部分D4。由此,第一图像20被划分为九个部分。值得注意的是,各部分还可以继续进行划分。
需要说明的是,在本公开以下说明中,以第一图像被划分成为九个部分(即以图3所示的示例)为例进行说明。但本领域的技术人员应该知道本公开实施例提供的图像显示方法还可以适用于按其他方式进行分区的第一图像。
例如,在执行操作S51之前,图像显示方法还可以包括以下操作:
操作S41:生成原始图像;
操作S42:确定原始图像中的第一区域和第二区域;
操作S43:对原始图像中的第一区域进行高清渲染处理,并对原始图像中 的第二区域进行压缩渲染处理,以生成压缩后的第一图像;
操作S44:输出压缩后的第一图像。
例如,如图4所示,原始图像10可以由需要显示的图像的数据信号生成。由原始图像10生成压缩后的第一图像20的过程可以在图像处理装置内完成;然后,图像处理装置将压缩后的第一图像20传输到显示装置。由此,图像处理装置传输到显示装置的数据量仅为压缩后的第一图像20的数据信号量,从而减少数据传输量,降低图像处理装置的功耗。
需要说明的是,在实际应用过程中,可以不显示第一图像20,也就是说,在图像处理装置中,可以由原始图像10得到压缩后的第一图像20中各像素的数据信号,然后第一图像20的数据信号被传输至显示装置中,以进行后续处理。
例如,图像处理装置可以为计算机的CPU,也可以为图像处理器(Graphic Processing Unit,GPU)等。
例如,在操作S42中,原始图像10中的第一区域和第二区域可以预先设定,且在显示图像的过程中固定不变。又例如,原始图像10中的第一区域和第二区域也可以随人眼的视线方向进行变化。在此情况下,操作S42可以包括:检测人眼视线;根据人眼视线确定原始图像10中的第一区域。例如,原始图像10中除第一区域以外的区域为原始图像10的第二区域。例如,第一区域为人眼注视区域,第二区域为非注视区域。
例如,如图4所示,原始图像10可以被划分成为九个部分。例如。原始图像10的第一区域可以为第四子区域A”,原始图像10的第二区域可以包括第一子区域B”、第二子区域C”和第三子区域D”,且分别与第一图像20中的第一子区域B、第二子区域C和第三子区域D一一对应。原始图像10中的第一子区域B”在第一方向上与原始图像10中的第一区域(即第四子区域A”)相邻,原始图像10中的第二子区域C”在第二方向上与原始图像10中的第一区域相邻,原始图像10中的第三子区域D”与原始图像10中的第一区域不相邻。第一子区域B”包括第一部分B”1、第二部分B”2;第二子区域C”包括第三部分C”1和第四部分C”2;第三子区域D”包括第五部分D”1、第六部分D”2、第七部分D”3和第八部分D”4。
例如,第一图像20中的九个部分可以与原始图像10中的九个部分彼此一一对应。
例如,以图4所示的原始图像10为例。在操作S43中,对原始图像10中的第二区域进行压缩渲染处理可以包括以下操作:
操作S431:沿第一方向,对原始图像10中的第一子区域B”按比例1/F1进行压缩处理;
操作S432:沿第二方向,对原始图像10中的第二子区域C”按比例1/F2进行压缩处理;
操作S433:沿第一方向,对原始图像10中的第三子区域D”按比例1/F1进行压缩处理,并沿第二方向,对原始图像10中的第三子区域D”按比例1/F2进行压缩处理。
例如,压缩处理可以采用插值算法。插值算法例如包括拉格朗日插值、牛顿插值以及Hermite插值等。
例如,F1和F2均大于1。根据实际需求,F1和F2可以相同,也可以不同,对此不作限制。又例如,F1和F2可以预先设定,且在图像显示的过程中保持不变;或者,F1和F2也可以根据原始图像10中的第二区域的尺寸进行变化。例如,在数据传输量相同且原始图像的尺寸固定的情况下,对于第一原始图像和第二原始图像,第一原始图像的尺寸和第二原始图像的尺寸均相同(例如720×1080),但第一原始图像和第二原始图像的人眼注视区域不相同,也就是说,第一原始图像中的第一区域的尺寸与第二原始图像中的第一区域的尺寸不相同。例如,若第一原始图像中的第一区域的尺寸小于第二原始图像中的第一区域的尺寸,即第一原始图像中的第二区域的尺寸大于第二原始图像中的第二区域的尺寸,则在上述操作S431至操作S433中,对第一原始图像中的第二区域进行压缩处理的比例1/F1和1/F2可以分别大于对第二原始图像中的第二区域进行压缩处理的比例1/F1'和1/F2',从而使第一原始图像和第二原始图像的数据传输量相同。
例如,操作S433可以单独为一个操作步骤,但不限于此,操作S433中对第三子区域D”的处理过程也可以在操作S431和操作S432中实现,也就是说,在操作S431中,可以沿第一方向,同时对原始图像10中的第一子区域B”和第三子区域D”按比例1/F1进行压缩处理;在操作S432中,可以沿第二方向,同时对原始图像10中的第二子区域C”和第三子区域D”按比例1/F2进行压缩处理。
例如,如图4所示,采用第一渲染算法对第一图像20中的第一区域21(即, 第四子区域A)进行处理,采用第二渲染算法对第一图像20中的第二区域22(即,各部分B1、B2、C1、C2、D1、D2、D3和D4)进行处理,以得到第二图像30。第二图像30例如也可以包括九个部分,且与第一图像20中的九个部分彼此一一对应。例如,第一图像20中的第四子区域A经过第一渲染算法处理后可以得到第二图像30中的第四子区域A'。第一图像20中的第一子区域B、第二子区域C和第三子区域D经过第二渲染算法处理后可以分别得到第二图像30中的第一子区域B'、第二子区域C'和第三子区域D'。例如,第一图像20中的第一部分B1、第二部分B2、第三部分C1、第四部分C2、第五部分D1、第六部分D2、第七部分D3和第八部分D4分别与第二图像30中的第一部分B'1、第二部分B'2、第三部分C'1、第四部分C'2、第五部分D'1、第六部分D'2、第七部分D'3和第八部分D'4相对应。
例如,在原始图像10中,第一子区域B”中的两个部分(即第一部分B”1和第二部分B”2)可以按照不同的比例进行压缩处理,也可以按照相同的比例进行压缩处理。例如,在第一方向上,第一部分B”1按比例1/T1进行压缩处理;第二部分B”2按比例1/T2进行压缩处理,T1和T2均大于1。同理,第二子区域C”中的两个部分可以按照不同的比例进行压缩处理,也可以按照相同的比例进行压缩处理;第三子区域D”中的四个部分可以按照不同的比例进行压缩处理,也可以按照相同的比例进行压缩处理。
需要说明的是,在第一方向上,原始图像10中的第一部分B”1、第五部分D”1和第六部分D”2的压缩比例可以相同;原始图像10中的第二部分B”2、第七部分D”3和第八部分D”4的压缩比例可以相同。在第二方向上,原始图像10中的第三部分C”1、第五部分D”1和第七部分D”3的压缩比例可以相同;原始图像10中的第四部分C”2、第六部分D”2和第八部分D”4的压缩比例可以相同。
例如,原始图像10中的第四子区域A”、第一图像20中的第四子区域A和第二图像30中的第四子区域A'的形状均相同。第一图像20中的第二区域中的各部分的尺寸(例如,以像素为单位)比第二图像30中的第二区域中相应的各部分的尺寸(例如,以像素为单位)小。例如,原始图像10中的第二区域中的各部分的物理尺寸可以与第二图像30中的第二区域中相应的各部分的物理尺寸相同。
例如,第一图像20可以为2K*2K的压缩图像,第二图像30可以为2K*4K 的显示图像。由此,该图像显示方法可以通过仅输入2K*2K的数据信号,通过分区域渲染算法,在2K*4K的BV3显示模组上进行显示,实现注视点渲染效果,减少数据传输量,提升刷新率。需要说明的是,上述2K*2K和2K*4K等表示像素数量。
需要说明的是,第一渲染算法和第二渲染算法表示对第一图像20的各区域中的子像素的数据信号进行处理。
例如,第一图像20中的第一区域和第二区域分别与原始图像10的第一区域和第二区域相对应。由此,第一图像20中的第一区域21和第二区域22也可以预先设定,且在显示图像的过程中不发生变化。或者,第一图像20中的第一区域21和第二区域22也可以随人眼的视线方向进行变化。在这种情况下,第一区域21例如可以为注视区域,第二区域22可以为非注视区域。由此,该图像显示方法可以实现注视点显示。
例如,第一图像20的分辨率可以为2K,第二图像30的分辨率可以为4K。例如,第一图像20中的第二区域的分辨率小于第二图像30中的第二区域的分辨率。需要说明的是,上述“分辨率”例如表示视觉分辨率。
例如,第一图像20中的各子像素可以采用标准的RBG阵列排布方式进行排布;而第二图像30中的各子像素采用BV3(Bright View 3)阵列排布方式进行排布。BV3阵列排布为一种三角式(delta,Δ)阵列排布,其可以提高视觉分辨率、提升显示画质。
图5A示出了本公开一实施例提供的第一图像中的第一区域的局部示意图;图5B示出了本公开一实施例提供的第二图像中的第一区域的局部示意图。
例如,在操作S53中,采用第一渲染算法对第一图像中的第一区域21进行处理包括:采用第一转换公式对第一图像中的第一区域21中奇数行的像素进行像素转换;以及采用第二转换公式对第一图像中的第一区域21中偶数行的像素进行像素转换。
例如,在渲染过程中,第一图像20的第一区域21的物理尺寸不变,即第一图像20的第一区域21和第二图像30的第一区域的形状和物理尺寸可以均相同。
例如,在第二图像30的第一区域中,所有像素均采用BV3阵列排布方式进行排布。
例如,图5B所示的第二图像中的第一区域与图5A所示的第一图像中的 第一区域相对应。也就是说,图5A所示的第一图像中的第一区域经过第一转换公式和第二转换公式进行渲染转换后可以得到图5B所示的第二图像中的第一区域。
例如,如图5A所示,第一图像20中的第一区域21包括多个像素100,且各像素100至少包括第一子像素101、第二子像素102和第三子像素103。例如,第一图像20的第一区域21中的第一子像素101、第二子像素102和第三子像素103可以分别为红色子像素、绿色子像素和蓝色子像素。又例如,各像素100还可以包括第四子像素,且第四子像素可以为白色子像素。
需要说明的是,第一子像素101、第二子像素102和第三子像素103例如还可以分别为黄色子像素、品红色子像素和青色子像素。本公开实施例对此不作限制。
例如,如图5B所示,第二图像30中的第一区域可以包括多个像素200,每个像素200也可以至少包括第一子像素201、第二子像素202和第三子像素203。相应地,第二图像30的第一区域中的第一子像素201、第二子像素202和第三子像素203可以分别与第一图像20的第一区域中的第一子像素101、第二子像素102和第三子像素103相对应。第二图像30的第一区域中的第一子像素201、第二子像素202和第三子像素203例如也可以分别为红色子像素、绿色子像素和蓝色子像素。
例如,第一转换公式可以表示为:
其中,i
1和j
1均为整数,且i
1=1,3,5,....,n
1-1用以表示奇数行的列数(例如第一图像的第一区域中的奇数行的列数),j
1=1,3,5,....,m
1-1用以表示奇数行的行数(例如第一图像的第一区域中的奇数行的行数),n
1和m
1均为正整数,
和
分别表示第二图像30的第一区域中第j
1行第
列的第一子像素201、第二子像素202和第三子像素203的数据信号。
和
分别表示第一图像20的第一区域中第j
1行第i
1列的第一子像素101、第 二子像素102和第三子像素103的数据信号,
和
分别表示第一图像20的第一区域中第j
1行第(i
1+1)列的第一子像素101、第二子像素102和第三子像素103的数据信号。
和
表示第一图像的第一区域中第j
1行的第一子像素101的转换系数,
和
表示第一图像的第一区域中第j
1行的第二子像素102的转换系数,
和
表示第一图像的第一区域中第j
1行的第三子像素103的转换系数,且
例如,第二转换公式可以表示为:
其中,i
2、j
2和n
2均为正整数,且i
2用以表示偶数行的列数(例如第一图像的第一区域中的偶数行的列数),j
2用以表示偶数行的行数(例如第一图像的第一区域中的偶数行的行数),n
2表示第j
2行像素的总列数;
和
分别表示第二图像30的第一区域中第j
2行第
列的第一子像素201、第二子像素202和第三子像素203的数据信号,
和
分别表示第二图像30的第一区域中第j
2行第
列第一子像素201和第二子像素202的数据信号,
表示第二图像30的第一区域中第j
2行第1列的第三子像素203的数据信号。
和
分别表示第一图像20的第一区域中第j
2行第(i
2+1)列、第j
2行第(i
2+2)列和第j
2行第n
2列的第一子像素101的数据信号,
和
分别表示第一图像20的第一区域中第j
2行第(i
2+1)列、第j
2行第(i
2+2)列和第j
2行第n
2列的第二子像素102的数据信号,
和
分别表示第一图像的第一区域中第j
2行第(i
2-1)列、第j
2行第i
2列和第j
2行第1列的第三子像素103的数据信号。
和
表示第一图像的第一区域中第j
2行的第一子像素101的转换系数,
和
表示第一图像的第一区域中第j
2行的第二子像素102的转换系数,
和
表示第一图像的第一区域中第j
2行的第三子像素103的转换系数,且
例如,在第一图像20中,各奇数行的第一子像素101的转换系数
和
可以各不相同,也可以均相同;各奇数行的第二子像素102的转换系数
和
可以各不相同,也可以均相同;各奇数行的第三子像素103的转换系数
和
可以各不相同,也可以均相同。类似地,在第一图像20中,对于各偶数行各子像素的转换系数,
和
可以各不相同,也可以均相同;
和
可以各不相同,也可以均相同;
和
可以各不相同,也可以均相同。
例如,转换系数
和
的初始值可以均为0.5。转换系数
和
可以根据经验值预先设定。转换系数
和
分别表示第一图像20的第一区域中第j
1行第i
1列的第一子像素101的数据信号
和第j
1行第(i
1+1)列的第一子像素101的数据信号
的权重。例如,在上述公式中,转换系数
和
可以分别根据第一图像20的第一区域中第j
1行第i
1列的第一子像素101和第j
1行第(i
1+1)列的第一子像素101的面积、相对位置关系等确定。类似地,
和
也分别表示各子像素的权重。
例如,在第一图像20中,m
1表示第一区域的像素的总行数,n
1表示第一区域中第j
1行像素的总列数,n
2表示第一区域中第j
2行像素的总列数。例如,n
1和n
2可以相等,从而第一区域包括排列为m
1*n
1(或n
2)的像素阵列。
例如,m
1、n
1和n
2均为正整数,且n
1和n
2均为偶数。
例如,数据信号可以表示像素的灰阶亮度,即发光强度。
例如,第一区域可以为矩形,还可以为圆形、梯形或多边形等。例如,可以对第一区域的边缘进行图像滤波处理,以使第一区域呈现为圆形、梯形或多边形等。图像滤波处理例如可以采用平滑滤波、高斯滤波等滤波函数。
例如,如图5A和5B所示,在一个局部示意图中,在第一图像20的第一区域中,每行包括四个像素100;在第二图像30的第一区域中,每行包括两个像素200。也就是说,第一图像20中的每行四个像素100可以转换为第二图像 30中的每行两个像素200。
例如,在行方向上,第二图像30的第一区域中的各子像素的像素宽度大于第一图像20的第一区域中相应的各子像素的像素宽度;在列方向上,第二图像30的第一区域中的各子像素的像素长度与第一图像20的第一区域中相应的各子像素的像素长度相等。例如,在一个示例中,第二图像30的第一区域中的各子像素的像素宽度为第一图像20的第一区域中各子像素的像素宽度的两倍。
例如,如图5A和5B所示,在一个具体的示例中,第一图像20的第一区域中的各像素100和第二图像30的第一区域中的各像素200之间的转换关系可以表示如下:
对于第二图像30的第一区域中的第一行像素(奇数行像素,采用第一转换公式):
X
11=α
11x
11+α
12x
12,Y
11=β
11y
11+β
12y
12,Z
11=γ
11z
11+γ
12z
12
X
12=α
11x
13+α
12x
14,Y
12=β
11y
13+β
12y
14,Z
12=γ
11z
13+γ
12z
14
对于第二图像30的第一区域中的第二行像素(偶数行像素,采用第二转换公式):
X'
21=α
23x'
22+α
24x'
23,Y'
21=β
23y'
22+β
24y'
23,Z'
21=z'
21
X'
22=x'
24,Y'
22=y'
24,Z'
22=γ
24z'
22+γ
23z'
23
综上,具有RBG排布方式的第一图像20的第一区域转换为具有BV3排布方式的第二图像30的第一区域。
图6A示出了本公开一实施例提供的第一图像中的第二区域的局部示意图;图6B示出了本公开一实施例提供的第二图像中的第二区域的局部示意图。
例如,以图4所示的第一图像20为例。在操作S53中,采用第二渲染算法对第二区域进行处理可以包括以下操作:
操作S5301:沿第一方向,对第一图像20中的第一子区域B按比例F1/2进行扩大处理,沿第二方向,对第一图像20中的第一子区域B按比例1/2进行压缩处理;
操作S5302:沿第二方向,对第一图像20中的第二子区域C按比例F2/2进行扩大处理,沿第一方向,对第一图像20中的第二子区域C按比例1/2进行压缩处理;
操作S5303:沿第一方向,对第一图像20中的第三子区域D按比例F1/2 进行扩大处理,并沿第二方向,对第一图像20中的第三子区域D按比例F2/2进行扩大处理。
例如,扩大处理也可以采用插值算法。
例如,操作S53中的扩大处理和操作S43中的压缩处理相对应,即操作S53中的扩大处理的方向和操作S43中的压缩处理的方向相对应。例如,在操作S43中,对原始图像10中的第一子区域B”沿第一方向按比例1/F1进行压缩处理,则在操作S53中,对第一图像20中的第一子区域B沿第一方向按比例F1/2进行扩大处理。
例如,在操作S53中,对第一图像20中的第二区域进行压缩处理和扩大处理后,采用第二渲染算法对第一图像20中的第二区域进行处理还包括采用第三转换公式对第一图像中的第二区域的像素进行像素转换。
例如,如图6A所示,第一图像20中的第二区域21包括多个像素110,且各像素110至少包括第一子像素111、第二子像素112和第三子像素113。例如,如图6B所示,第二图像30中的第二区域可以包括多个像素210,且每个像素210也可以至少包括第一子像素211、第二子像素212和第三子像素213。例如,第一图像20的第二区域21中的第一子像素111、第二子像素112和第三子像素113例如可以分别为红色子像素、绿色子像素和蓝色子像素。相应地,第二图像30的第二区域中的第一子像素211、第二子像素212和第三子像素213例如也可以分别为红色子像素、绿色子像素和蓝色子像素。
例如,第一图像20的第二区域中的所有像素的数据信号经过第三转换公式转换后,可以采用两行同开的Smart View排布方式排布在显示装置的相应区域以进行显示。
例如,第三转换公式可表示为:
X″
(2k-1)l=X″
(2k)l=x″
kl,
Y″
(2k-1)l=Y″
(2k)l=y″
kl,
Z″
(2k-1)l=Z″
(2k)(l+1)=z″
kl,
其中,k和l均为整数,且k=1,2,3,....,m
2用以表示行数(例如第一图像中的第二区域的各子区域的行数),l=1,2,3,....,n
3用以表示列数(例如第一图像中的第二区域的各子区域的列数),X″
(2k-1)l、Y″
(2k-1)l和Z″
(2k-1)l分别表示第二图像30中的第二区域的各子区域中第(2k-1)行第l列的第一子像素211、第 二子像素212和第三子像素213的数据信号,X″
(2k)l和Y″
(2k)l分别表示第二图像30中的第二区域的各子区域中第(2k)行第l列的第一子像素211和第二子像素212的数据信号,Z″
(2k)(l+1)表示第二图像30中的第二区域的各子区域中第(2k)行第(l+1)列的第三子像素213的数据信号,x″
kl、y″
kl和z″
kl分别表示第一图像中的第二区域的各子区域中第k行第l列的第一子像素111、第二子像素112和第三子像素113的数据信号。
例如,m
2和n
3均为正整数。n
3表示第k行像素的总列数,m
2表示第一图像的第二区域中的第一子区域、第二子区域或第三子区域中的像素的总行数。
例如,在第一图像20中,m
2表示第二区域中某一子区域(或某一子区域中的某一部分)的像素的总行数,例如,当对第一子区域B中的第一部分B1进行像素转换时,m
2表示第一部分B1中的像素的总行数;而当对第二子区域C中的第三部分C1进行像素转换时,m
2表示第三部分C1中的像素的总行数,以此类推。n
3表示第二区域中某一子区域(或某一子区域中的某一部分)的第k行像素的总列数。例如,对于第二区域的各子区域,n
3可以相同,也可以不相同;m
2可以相同,也可以不相同。如图4所示,对于第一子区域B中的第一部分B1和第二部分B2,其像素的总列数n
3可以相同,而其像素的总行数m
2则不相同;对于第二子区域C中的第三部分C1和第四部分C2,其像素的总列数n
3可以不相同,而其像素的总行数m
2则相同。
例如,如图6A和6B所示,在一个局部示意图中,第一图像20的第二区域包括两行两列的四个像素110;第二图像30的第二区域包括四行两列的八个像素210。也就是说,第一图像20中的一行两个像素110可以转换为第二图像30中的两行四个像素210。例如,在行方向上,第二图像30的第二区域中的各子像素的像素宽度大于第一图像20的第二区域中相应的各子像素的像素宽度;在列方向上,第二图像30的第二区域中的各子像素的像素长度与第一图像20的第二区域中相应的各子像素的像素长度相等。例如,在一个示例中,第二图像30的第二区域中的各子像素的像素宽度为第一图像20的第二区域中各子像素的像素宽度的两倍。
例如,第二图像30的第二区域中的各子像素也采用BV3阵列排布方式进行排布。
例如,如图6A和6B所示,在一个具体的示例中,第一图像20的第二区域中的各像素110和第二图像30的第二区域中的各像素210之间的转换关系 可以表示如下:
对于第二图像30的第二区域中的第一行和第二行像素:
X”
11=X”
21=x”
11,Y”
11=Y”
21=y”
11,Z”
11=Z”
22=z”
11
X”
12=X”
22=x”
12,Y”
12=Y”
22=y”
12,Z”
12=z”
12
对于第二图像30的第二区域中的第三行和第四行像素:
X”
31=X”
41=x”
21,Y”
31=Y”
41=y”
21,Z”
31=Z”
42=z”
21
X”
32=X”
42=x”
22,Y”
32=Y”
42=y”
32,Z”
32=z”
22
例如,对于第二图像30的第二区域中的偶数行的第一个子像素,其数据信号Z″
21和Z″
41可以预先设定。例如,Z″
21=0,Z″
41=0。
综上,具有RBG排布方式的第一图像20的第二区域转换为具有BV3排布方式的第二图像30的第二区域。
例如,若第一子像素211、第二子像素212和第三子像素213分别表示红色子像素R、绿色子像素G和蓝色子像素B,则在第二图像30中,当奇数行的各子像素按照RGBRGB的顺序排布时,偶数行的各子像素则按照BRGBRG的顺序排布。但不限于此,在第二图像30中,例如,当奇数行的各子像素按照GBRGBR的顺序排布时,偶数行的各子像素则按照RGBRGB的顺序排布。
例如,在操作S54中,将通过第一渲染算法和第二渲染算法处理后得到的第二图像的各像素按照BV3排布方式排布在显示装置上,以显示该第二图像。
图7示出了本公开一实施例提供的一种显示系统的示意性框图。
例如,如图7所示,本公开实施例提供的显示系统包括显示装置1和图像处理装置2。显示装置1包括显示面板705、第一处理器710和第一存储器715。图像处理装置2包括第二处理器720和第二存储器725。应当注意,图7所示的显示系统的组件只是示例性的,而非限制性的,根据实际应用需要,该显示系统还可以具有其他组件。
例如,显示装置1和图像处理装置2之间可以通过网络进行信息传输。
例如,网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信,无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。
例如,显示装置1中的各组件之间可以通过总线系统和/或其它形式的连接机构(未示出)互连,以实现信息传输。图像处理装置2中的各组件之间也可以通过总线系统和/或其它形式的连接机构(未示出)互连,以实现信息传输。
例如,第一处理器710可以设置在显示装置1的驱动芯片上。第一处理器710为具有数据处理能力和/或程序执行能力的处理单元。第一处理器710可以控制显示装置1中的其他组件以执行期望的功能。
例如,第二处理器720可以是中央处理单元(CPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元,例如,图像处理单元(GPU)、现场可编程门阵列(FPGA)或张量处理单元(TPU)等,第二处理器720可以控制图像处理装置2中的其它组件以执行期望的功能。又例如,中央处理器(CPU)可以为X86或ARM架构等。
例如,第一存储器715和第二存储器725可以包括一个或多个计算机程序产品的任意组合,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如转换系数、以及应用程序使用和/或产生的各种数据等。
例如,在第一存储器715上可以存储一个或多个第一计算机指令,第一处理器710可以运行第一计算机指令,以实现各种功能(例如,第一渲染算法和第二渲染算法等)。在第二存储器725上也可以存储一个或多个第二计算机指令,第二处理器720可以运行第二计算机指令,以实现各种功能(例如,生成压缩的第一图像等)。
例如,显示面板705用于显示第二图像。显示面板可以为液晶显示面板(LCD)、有机发光二极管显示面板(OLED)等。
例如,第一计算机指令由第一处理器710执行时可以实现以下操作:获取压缩后的第一图像;确定第一图像中的第一区域和第二区域;采用第一渲染算法对第一图像中的第一区域进行处理和采用第二渲染算法对第一图像中的第二区域进行处理,以得到第二图像,其中,第一渲染算法的渲染分辨率大于第二渲染算法的渲染分辨率;在显示面板上显示第二图像。
例如,第一图像中的各子像素可以采用标准的RBG阵列排布方式进行排布;第二图像中的各子像素可以采用Bright View 3(BV3)阵列排布方式进行排布。
例如,第一图像中的第二区域的分辨率小于第二图像中的第二区域的分辨率。
例如,在一个示例中,第一计算机指令由第一处理器710执行时还实现以下操作:采用第一转换公式对第一图像中的第一区域中奇数行的像素进行像素转换;以及采用第二转换公式对第一图像中的第一区域中偶数行的像素进行像素转换。
例如,第一图像中的第一区域包括多个像素,且各像素至少包括第一子像素、第二子像素和第三子像素。需要说明的是,关于各像素的具体说明可以参照图像显示方法的实施例中的相关描述,重复之处在此不再赘述。
例如,第一转换公式表示为:
其中,i
1、j
1n
1和m
1均为整数,且i
1=1,3,5,....,n
1-1用以表示奇数行的列数,j
1=1,3,5,....,m
1-1用以表示奇数行的行数,n
1表示第j
1行像素的总列数,m
1表示第一图像的第一区域中的像素的总行数,
和
分别表示第二图像30的第一区域中第j
1行第
列的第一子像素、第二子像素和第三子像素的数据信号。
和
分别表示第一图像的第一区域中第j
1行第i
1列的第一子像素、第二子像素和第三子像素的数据信号,
和
分别表示第一图像的第一区域中第j
1行第(i
1+1)列的第一子像素、第二子像素和第三子像素的数据信号。
和
表示第一图像的第一区域中第j
1行的第一子像素的转换系数,
和
表示第一图像的第一区域中第j
1行的第二子像素的转换系数,
和
表示第一图像的第一区域中第j
1行的第三子像素的转换系数,且
例如,第二转换公式可以表示为:
其中,i
2、j
2和n
2均为整数,且i
2用以表示偶数行的列数,j
2用以表示偶数行的行数,n
2表示第j
2行像素的总列数;
和
分别表示第二图像的第一区域中第j
2行第
列的第一子像素、第二子像素和第三子像素的数据信号,
和
分别表示第二图像的第一区域中第j
2行第
列第一子像素和第二子像素的数据信号,
表示第二图像的第一区域中第j
2行第1列的第三子像素的数据信号。
和
分别表示第一图像的第一区域中第j
2行第(i
2+1)列、第j
2行第(i
2+2)列和第j
2行第n
2列的第一子像素的数据信号,
和
分别表示第一图像的第一区域中第j
2行第(i
2+1)列、第j
2行第(i
2+2)列和第j
2行第n
2列的第二子像素的数据信号,
和
分别表示第一图像的第一区域中第j
2行第(i
2-1)列、第j
2行第i
2列和第j
2行第1列的第三子像素103的数据信号。
和
表示第一图像的第一区域中第j
2行的第一子像素的转换系数,
和
表示第一图像的第一区域中第j
2行的第二子像素的转换系数,
和
表示第一图像的第一区域中第j
2行的第三子像素的转换系数,且
例如,在一个示例中,第二计算机指令由第二处理器720执行时可以实现以下操作:生成原始图像;确定原始图像中的第一区域和第二区域;利用图像处理装置对原始图像中的第一区域进行高清渲染,并对原始图像中的第二区域进行压缩渲染处理,以生成压缩后的第一图像;输出压缩后的第一图像至显示装置。
例如,第一区域可以为注视区域,第二区域可以为非注视区域。由此,显示系统还可以包括眼控装置(未示出)。眼控装置可以通过眼球追踪技术检测 人眼视线以确定原始图像中的第一区域。
例如,眼控装置可以根据眼球和眼球周边的特征变化跟踪人眼视线。眼控装置也可以根据虹膜角度变化跟踪人眼视线。眼控装置还可以通过主动投射红外线等光束到虹膜以提取眼球特征,从而实现跟踪人眼视线。
例如,眼控装置可以包括红外设备或图像采集设备等硬件设备。图像采集设备可以为手机或电脑等电子装置上的摄像头。
例如,在一个示例中,第二计算机指令由第二处理器720执行时还可以实现以下操作:利用眼控装置检测人眼视线;根据人眼视线确定原始图像中的第一区域。例如,原始图像中除第一区域以外的区域为第二区域。
例如,各图像(第一图像、第二图像和原始图像)的第二区域包括第一子区域、第二子区域和第三子区域。第一子区域在第一方向上与第一区域相邻,第二子区域在第二方向上与第一区域相邻,第三子区域与第一区域不相邻。
例如,第一方向和第二方向彼此垂直。
例如,原始图像中的第二区域包括第一子区域、第二子区域和第三子区域。原始图像中的第一子区域在第一方向上与原始图像中的第一区域相邻,原始图像中的第二子区域在第二方向上与原始图像中的第一区域相邻,原始图像中的第三子区域与原始图像中的第一区域不相邻。第一图像中的第二区域也包括第一子区域、第二子区域和第三子区域,且分别与原始图像中的第二区域包括第一子区域、第二子区域和第三子区域一一对应。
例如,第一子区域可以包括至少一个部分,第二子区域可以包括至少一个部分,第三子区域也可以包括至少一个部分。由此,原始图像可以被划分成为多个部分,相应地,第一图像和第二图像也可以被划分成为多个部分。本公开实施例对原始图像、第一图像和第二图像中的各部分的数量和排布方式不作具体限制。
例如,在一个示例中,第二计算机指令由第二处理器720执行时还可以实现以下操作:沿第一方向,对原始图像中的第一子区域按比例1/F1进行压缩处理;沿第二方向,对原始图像中的第二子区域按比例1/F2进行压缩处理;沿第一方向,对原始图像中的第三子区域按比例1/F1进行压缩处理,并沿第二方向,对原始图像中的第三子区域按比例1/F2进行压缩处理。
例如,在一个示例中,第一计算机指令由第一处理器710执行时还可以实现以下操作:沿第一方向,对第一图像中的第一子区域按比例F1/2进行扩大 处理,沿第二方向,对第一图像中的第一子区域按比例1/2进行压缩处理;沿第二方向,对第一图像中的第二子区域按比例F2/2进行扩大处理,沿第一方向,对第一图像中的第二子区域按比例1/2进行压缩处理;沿第一方向,对第一图像中的第三子区域按比例F1/2进行扩大处理,并沿第二方向,对第一图像中的第三子区域按比例F2/2进行扩大处理。
例如,扩大处理和压缩处理均可以采用插值算法。
例如,在一个示例中,第一计算机指令由第一处理器710执行时还可以实现以下操作:采用第三转换公式对第一图像中的第二区域的像素进行像素转换。
例如,第三转换公式表示为:
X″
(2k-1)l=X″
(2k)l=x″
kl,
Y″
(2k-1)l=Y″
(2k)l=y″
kl,
Z″
(2k-1)l=Z″
(2k)(l+1)=z″
kl,
其中,k、l、m
2和n
3均为整数,n
3表示第k行像素的总列数,m
2表示第一子区域、第二子区域或第三子区域中的像素的总行数,且k=1,2,3,....,m
2用以表示行数,l=1,2,3,....,n
3用以表示列数,X″
(2k-1)l、Y″
(2k-1)l和Z″
(2k-1)l分别表示第二图像中的第二区域的各子区域中第(2k-1)行第l列的第一子像素、第二子像素和第三子像素的数据信号,X″
(2k)l和Y″
(2k)l分别表示第二图像中的第二区域的各子区域中第(2k)行第l列的第一子像素和第二子像素的数据信号,Z″
(2k)(l+1)表示第二图像中的第二区域的各子区域中第(2k)行第(l+1)列的第三子像素的数据信号,x″
kl、y″
kl和z″
kl分别表示第一图像中的第二区域的各子区域中第k行第l列的第一子像素、第二子像素和第三子像素的数据信号。
需要说明的是,关于扩大处理、m
2、压缩处理、第一转换公式、第二转换公式、第三转换公式以及各子像素的转换系数等的详细说明可以参考图像显示方法的实施例中的相关描述,重复之处在此不再赘述。
本公开至少一实施例还提供一种计算机可读存储介质,其上存储有适于由处理器运行的计算机指令。该计算机指令被处理器执行时实现以下操作:获取压缩后的第一图像;确定第一图像中的第一区域和第二区域;采用第一渲染算法对第一区域进行处理和采用第二渲染算法对第二区域进行处理,以得到第二 图像,其中,第一渲染算法的渲染分辨率大于第二渲染算法的渲染分辨率;显示第二图像。
例如,该计算机指令被处理器执行时还可以执行根据上文所述的图像显示方法中的一个或多个步骤。
例如,在本公开实施例的一个示例中,该计算机可读存储介质可以应用于上述任一实施例所述的显示系统中。例如,计算机可读存储介质可以为显示系统的显示装置中的第一存储器。
例如,关于计算机可读存储介质的说明可以参考显示系统的实施例中对于第一存储器的描述,重复之处不再赘述。
对于本公开,还有以下几点需要说明:
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计。
(2)在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (19)
- 一种图像显示方法,包括:获取第一图像;确定所述第一图像中的第一区域和第二区域;采用第一渲染算法对所述第一图像中的第一区域进行处理和采用第二渲染算法对所述第一图像中的第二区域进行处理,以得到第二图像,其中,所述第一渲染算法的渲染分辨率大于所述第二渲染算法的渲染分辨率;显示所述第二图像。
- 根据权利要求1所述的图像显示方法,其中,所述第二图像中的各子像素采用Bright View 3阵列排布方式进行排布。
- 根据权利要求2所述的图像显示方法,其中,采用所述第一渲染算法对所述第一图像中的第一区域进行处理,包括:采用第一转换公式对所述第一图像中的第一区域中奇数行的像素进行像素转换;以及采用第二转换公式对所述第一图像中的第一区域中偶数行的像素进行像素转换。
- 根据权利要求3所述的图像显示方法,其中,各所述像素至少包括第一子像素、第二子像素和第三子像素,所述第一转换公式表示为:其中,i 1=1,3,5,....,n 1-1用以表示奇数行的列数,j 1=1,3,5,....,m 1-1用以表示奇数行的行数,n 1和m 1均为正整数,和 分别表示所述第一图像的第一区域中第j 1行第i 1列的第一子像素、第二子像素和第三子像素的数据信号, 和 分别表示所述第一图像的第一区域中第j 1行第(i 1+1)列的第一子像素、第二 子像素和第三子像素的数据信号,和 表示所述第一图像的第一区域中第j 1行的所述第一子像素的转换系数, 和 表示所述第一图像的第一区域中第j 1行的所述第二子像素的转换系数, 和 表示所述第一图像的第一区域中第j 1行的所述第三子像素的转换系数,且所述第二转换公式表示为:其中,i 2、j 2和n 2均为正整数,i 2用以表示偶数行的列数,j 2用以表示偶数行的行数, 和 分别表示所述第二图像的第一区域中第j 2行第 列的第一子像素、第二子像素和第三子像素的数据信号, 和 分别表示所述第二图像的第一区域中第j 2行第 列的第一子像素和第二子像素的数据信号, 表示所述第二图像的第一区域中第j 2行第1列的第三子像素的数据信号,和 分别表示所述第一图像的第一区域中第j 2行第(i 2+1)列、第j 2行第(i 2+2)列和第j 2行第n 2列的第一子像素的数据信号, 和 分别表示所述第一图像的第一区域中第j 2行第(i 2+1)列、第j 2行第(i 2+2)列和第j 2行第n 2列的第二子像素的数据信号, 和 分别表示所述第一图像的第一区域中第j 2行第(i 2-1)列、第j 2行第i 2列和第j 2行第1列的第三子像素的数据信号,
- 根据权利要求2所述的图像显示方法,还包括:生成原始图像;确定所述原始图像中的第一区域和第二区域;对所述原始图像中的第一区域进行高清渲染处理,并对所述原始图像中的第二区域进行压缩渲染处理,以生成压缩后的所述第一图像;输出压缩后的所述第一图像。
- 根据权利要求5所述的图像显示方法,其中,所述原始图像中的第二区域包括第一子区域、第二子区域和第三子区域,所述原始图像中的第一子区域在第一方向上与所述原始图像中的第一区域相邻,所述原始图像中的第二子区域在第二方向上与所述原始图像中的第一区域相邻,所述原始图像中的第三子区域与所述原始图像中的第一区域不相邻,所述第一方向和所述第二方向彼此垂直,对所述原始图像中的所述第二区域进行压缩渲染处理包括:沿所述第一方向,对所述原始图像中的第一子区域按比例1/F1进行压缩处理;沿所述第二方向,对所述原始图像中的第二子区域按比例1/F2进行压缩处理;沿所述第一方向,对所述原始图像中的第三子区域按比例1/F1进行压缩处理,并沿所述第二方向,对所述原始图像中的第三子区域按比例1/F2进行压缩处理,其中,F1、F2均为大于1的正数。
- 根据权利要求6所述的图像显示方法,其中,所述第一图像中的第二区域也包括第一子区域、第二子区域和第三子区域,且分别与所述原始图像中的第二区域的第一子区域、第二子区域和第三子区域一一对应,采用所述第二渲染算法对所述第一图像中的第二区域进行处理,包括:沿所述第一方向,对所述第一图像中的第一子区域按比例F1/2进行扩大处理,沿所述第二方向,对所述第一图像中的第一子区域按比例1/2进行压缩处理;沿所述第二方向,对所述第一图像中的第二子区域按比例F2/2进行扩大处理,沿所述第一方向,对第一原始图像中的第二子区域按比例1/2进行压缩处理;沿所述第一方向,对所述第一图像中的第三子区域按比例F1/2进行扩大处理,并沿所述第二方向,对所述第一图像中的第三子区域按比例F2/2进行 扩大处理。
- 根据权利要求7所述的图像显示方法,其中,对所述第一图像中的第二区域进行所述压缩处理和所述扩大处理后,采用所述第二渲染算法对所述第一图像中的第二区域进行处理,还包括采用第三转换公式对所述第一图像中的第二区域的像素进行像素转换,各所述像素至少包括第一子像素、第二子像素和第三子像素,所述第三转换公式表示为:X″ (2k-1)l=X″ (2k)l=x″ kl,Y″ (2k-1)l=Y″ (2k)l=y″ kl,Z″ (2k-1)l=Z″ (2k)(l+1)=z″ kl,其中,k=1,2,3,....,m 2用以表示行数,l=1,2,3,....,n 3用以表示列数,k、l、m 2和n 3均为正整数,X″ (2k-1)l、Y″ (2k-1)l和Z″ (2k-1)l分别表示所述第二图像中的第二区域的各子区域中第(2k-1)行第l列的第一子像素、第二子像素和第三子像素的数据信号,X″ (2k)l和Y″ (2k)l分别表示所述第二图像中的第二区域的各子区域中第(2k)行第l列的第一子像素和第二子像素的数据信号,Z″ (2k)(l+1)表示所述第二图像中的第二区域的各子区域中第(2k)行第(l+1)列的第三子像素的数据信号,x″ kl、y″ kl和z″ kl分别表示所述第一图像中的第二区域的各子区域中第k行第l列的第一子像素、第二子像素和第三子像素的数据信号。
- 根据权利要求1所述的图像显示方法,其中,所述第一图像中的所述第二区域的分辨率小于所述第二图像中的所述第二区域的分辨率。
- 一种显示系统,包括显示装置,其中,所述显示装置包括显示面板、第一处理器和第一存储器,所述第一存储器存储有第一计算机指令,所述第一计算机指令由所述第一处理器执行时实现以下操作:获取第一图像;确定所述第一图像中的第一区域和第二区域;采用第一渲染算法对所述第一图像中的第一区域进行处理和采用第二渲染算法对所述第一图像中的第二区域进行处理,以得到第二图像,其中,所述第一渲染算法的渲染分辨率大于所述第二渲染算法的渲染分辨率;在所述显示面板上显示所述第二图像。
- 根据权利要求10所述的显示系统,其中,所述第二图像中的各子像素采用Bright View 3阵列排布方式。
- 根据权利要求11所述的显示系统,其中,所述第一计算机指令由所述第一处理器执行时还实现以下操作:采用第一转换公式对所述第一图像中的第一区域中奇数行的像素进行像素转换;以及采用第二转换公式对所述第一图像中的第一区域中偶数行的像素进行像素转换。
- 根据权利要求12所述的显示系统,其中,各所述像素至少包括第一子像素、第二子像素和第三子像素,所述第一转换公式表示为:其中,i 1=1,3,5,....,n 1-1用以表示奇数行的列数,j 1=1,3,5,....,m 1-1用以表示奇数行的行数,n 1表示第j 1行像素的总列数,m 1表示所述第一图像的第一区域中的所述像素的总行数,n 1和m 1均为正整数,和 分别表示所述第一图像的第一区域中第j 1行第i 1列的第一子像素、第二子像素和第三子像素的数据信号, 和 分别表示所述第一图像的第一区域中第j 1行第(i 1+1)列的第一子像素、第二子像素和第三子像素的数据信号,和 表示所述第一图像的第一区域中第j 1行的所述第一子像素的转换系数, 和 表示所述第一图像的第一区域中第j 1行的所述第二子像素的转换系数, 和 表示所述第一图像的第一区域中第j 1行的所述第三子像素的转换系数,且所述第二转换公式表示为:其中,i 2、j 2和n 2均为整数,i 2用以表示偶数行的列数,j 2用以表示偶数行的行数,n 2表示第j 2行像素的总列数, 和 分别表示所述第二图像的第一区域中第j 2行第 列的第一子像素、第二子像素和第三子像素的数据信号, 和 分别表示所述第二图像的第一区域中第j 2行第 列的第一子像素和第二子像素的数据信号, 表示所述第二图像的第一区域中第j 2行第1列的第三子像素的数据信号,和 分别表示所述第一图像的第一区域中第j 2行第(i 2+1)列、第j 2行第(i 2+2)列和第j 2行第n 2列的第一子像素的数据信号, 和 分别表示所述第一图像的第一区域中第j 2行第(i 2+1)列、第j 2行第(i 2+2)列和第j 2行第n 2列的第二子像素的数据信号, 和 分别表示所述第一图像的第一区域中第j 2行第(i 2-1)列、第j 2行第i 2列和第j 2行第1列的第三子像素的数据信号,
- 根据权利要求11所述的显示系统,还包括图像处理装置,其中,所述图像处理装置包括:第二处理器;第二存储器,存储有第二计算机指令,所述第二计算机指令由所述第二处理器执行时实现以下操作:生成原始图像;确定所述原始图像中的第一区域和第二区域;利用所述图像处理装置对所述原始图像中的第一区域进行高清渲染,并对 所述原始图像中的第二区域进行压缩渲染处理,以生成压缩后的所述第一图像;输出压缩后的所述第一图像至所述显示装置。
- 根据权利要求14所述的显示系统,其中,所述原始图像中的第二区域包括第一子区域、第二子区域和第三子区域,所述原始图像中的第一子区域在第一方向上与所述原始图像中的第一区域相邻,所述原始图像中的第二子区域在第二方向上与所述原始图像中的第一区域相邻,所述原始图像中的第三子区域与所述原始图像中的第一区域不相邻,所述第一方向和所述第二方向彼此垂直,所述第二计算机指令由所述第二处理器执行时还实现以下操作:沿所述第一方向,对所述原始图像中的第一子区域按比例1/F1进行压缩处理;沿所述第二方向,对所述原始图像中的第二子区域按比例1/F2进行压缩处理;沿所述第一方向,对所述原始图像中的第三子区域按比例1/F1进行压缩处理,并沿所述第二方向,对所述原始图像中的第三子区域按比例1/F2进行压缩处理,其中,F1、F2均为大于1的正数。
- 根据权利要求15所述的显示系统,其中,所述第一图像中的第二区域也包括第一子区域、第二子区域和第三子区域,且分别与所述原始图像中的第二区域包括第一子区域、第二子区域和第三子区域一一对应,所述第一计算机指令由所述第一处理器执行时还实现以下操作:沿所述第一方向,对所述第一图像中的第一子区域按比例F1/2进行扩大处理,沿所述第二方向,对所述第一图像中的第一子区域按比例1/2进行压缩处理;沿所述第二方向,对所述第一图像中的第二子区域按比例F2/2进行扩大处理,沿所述第一方向,对所述第一图像中的第二子区域按比例1/2进行压缩处理;沿所述第一方向,对所述第一图像中的第三子区域按比例F1/2进行扩大处理,并沿所述第二方向,对所述第一图像中的第三子区域按比例F2/2进行扩大处理。
- 根据权利要求16所述的显示系统,其中,所述第一计算机指令由所述第一处理器执行时还实现以下操作:采用第三转换公式对所述第一图像中的第二区域的像素进行像素转换,各所述像素至少包括第一子像素、第二子像素和第三子像素,所述第三转换公式表示为:X″ (2k-1)l=X″ (2k)l=x″ kl,Y″ (2k-1)l=Y″ (2k)l=y″ kl,Z″ (2k-1)l=Z″ (2k)(l+1)=z″ kl,其中,k=1,2,3,....,m 2用以表示行数,l=1,2,3,....,n 3用以表示列数,n 3表示第k行像素的总列数,m 2表示所述第一子区域、第二子区域或第三子区域中的所述像素的总行数,k、l、m 2和n 3均为整数,X″ (2k-1)l、Y″ (2k-1)l和Z″ (2k-1)l分别表示所述第二图像中的第二区域的各子区域中第(2k-1)行第l列的第一子像素、第二子像素和第三子像素的数据信号,X″ (2k)l和Y″ (2k)l分别表示所述第二图像中的第二区域的各子区域中第(2k)行第l列的第一子像素和第二子像素的数据信号,Z″ (2k)(l+1)表示所述第二图像中的第二区域的各子区域中第(2k)行第(l+1)列的第三子像素的数据信号,x″ kl、y″ kl和z″ kl分别表示所述第一图像中的第二区域的各子区域中第k行第l列的第一子像素、第二子像素和第三子像素的数据信号。
- 根据权利要求10所述的显示系统,其中,所述第一图像中的所述第二区域的分辨率小于所述第二图像中的所述第二区域的分辨率。
- 一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时执行根据权利要求1-9任一项所述的图像显示方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018566354A JP7195935B2 (ja) | 2017-08-09 | 2018-04-09 | 画像表示方法、表示システム及びコンピューター読取可能記憶媒体 |
EP18814480.2A EP3667608A4 (en) | 2017-08-09 | 2018-04-09 | IMAGE DISPLAY METHOD, DISPLAY SYSTEM AND COMPUTER-READABLE STORAGE MEDIUM |
US16/309,355 US11232767B2 (en) | 2017-08-09 | 2018-04-09 | Image display method, display system and computer-readable storage medium |
US17/575,304 US20220138901A1 (en) | 2017-08-09 | 2022-01-13 | Image display method, image processing method, image processing device, display system and computer-readable storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710674693.6 | 2017-08-09 | ||
CN201710674693.6A CN109388448B (zh) | 2017-08-09 | 2017-08-09 | 图像显示方法、显示系统以及计算机可读存储介质 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/309,355 A-371-Of-International US11232767B2 (en) | 2017-08-09 | 2018-04-09 | Image display method, display system and computer-readable storage medium |
US17/575,304 Continuation-In-Part US20220138901A1 (en) | 2017-08-09 | 2022-01-13 | Image display method, image processing method, image processing device, display system and computer-readable storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019029177A1 true WO2019029177A1 (zh) | 2019-02-14 |
Family
ID=65272742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2018/082294 WO2019029177A1 (zh) | 2017-08-09 | 2018-04-09 | 图像显示方法、显示系统以及计算机可读存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11232767B2 (zh) |
EP (1) | EP3667608A4 (zh) |
JP (1) | JP7195935B2 (zh) |
CN (1) | CN109388448B (zh) |
WO (1) | WO2019029177A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658876B (zh) | 2019-02-28 | 2023-04-11 | 京东方科技集团股份有限公司 | 图像显示处理方法及装置、显示装置及存储介质 |
CN110162185A (zh) * | 2019-06-10 | 2019-08-23 | 京东方科技集团股份有限公司 | 一种智能显示方法及装置 |
CN110378914A (zh) * | 2019-07-22 | 2019-10-25 | 北京七鑫易维信息技术有限公司 | 基于注视点信息的渲染方法及装置、系统、显示设备 |
WO2021072626A1 (en) | 2019-10-15 | 2021-04-22 | Qualcomm Incorporated | Methods and apparatus to facilitate regional processing of images for under-display device displays |
CN110992867B (zh) * | 2019-12-18 | 2023-02-28 | 京东方科技集团股份有限公司 | 图像处理方法和显示装置 |
CN111338591B (zh) * | 2020-02-25 | 2022-04-12 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
CN114067008B (zh) * | 2020-07-31 | 2024-09-10 | 京东方科技集团股份有限公司 | 图像处理方法及装置、电子设备、图像显示系统 |
CN114550630A (zh) * | 2020-11-24 | 2022-05-27 | 京东方科技集团股份有限公司 | 显示面板及其驱动方法、显示装置 |
CN115210797A (zh) * | 2020-12-22 | 2022-10-18 | 京东方科技集团股份有限公司 | 显示装置、显示装置驱动方法 |
CN112819967B (zh) | 2021-01-14 | 2024-07-30 | 京东方科技集团股份有限公司 | 一种显示方法、装置及系统、存储介质、显示器 |
CN116847106A (zh) * | 2022-03-25 | 2023-10-03 | 北京字跳网络技术有限公司 | 图像压缩传输方法、装置、电子设备及存储介质 |
CN118333869B (zh) * | 2024-06-13 | 2024-09-06 | 瑞旦微电子技术(上海)有限公司 | 一种基于矩形块的数据处理方法及显示装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745448A (zh) * | 2013-12-24 | 2014-04-23 | 四川大学 | 光栅3d显示中超高分辨率合成图像的快速生成方法 |
US20140368494A1 (en) * | 2013-06-18 | 2014-12-18 | Nvidia Corporation | Method and system for rendering simulated depth-of-field visual effect |
CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
CN107194890A (zh) * | 2017-05-18 | 2017-09-22 | 上海兆芯集成电路有限公司 | 使用多分辨率改善图像质量的方法及装置 |
CN107194891A (zh) * | 2017-05-18 | 2017-09-22 | 上海兆芯集成电路有限公司 | 改善图像质量的方法及虚拟实境装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008277264A (ja) * | 2007-04-03 | 2008-11-13 | Canon Inc | カラー画像表示パネル及びその製造方法、並びにカラー画像表示装置 |
JP2010210704A (ja) * | 2009-03-06 | 2010-09-24 | Sanyo Electric Co Ltd | 画像表示装置 |
US8797231B2 (en) * | 2009-04-15 | 2014-08-05 | Nlt Technologies, Ltd. | Display controller, display device, image processing method, and image processing program for a multiple viewpoint display |
JP5037574B2 (ja) * | 2009-07-28 | 2012-09-26 | 株式会社ソニー・コンピュータエンタテインメント | 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、および画像処理方法 |
BR112012009893B1 (pt) * | 2009-10-26 | 2021-02-02 | Sony Computer Entertainment Inc. | dispositivos e métodos de geração de arquivo de imagem e de processamento de imagem, mídia de gravação não transitória legível por computador, e, estrutura de dados de um arquivo de imagem |
CN101834856B (zh) * | 2010-04-19 | 2012-11-07 | 浙江大学 | 高沉浸感虚拟旅游漫游交互方法及系统 |
CN103886825B (zh) | 2014-02-21 | 2016-02-17 | 北京京东方光电科技有限公司 | 像素阵列的驱动方法和显示装置 |
US10068311B2 (en) * | 2014-04-05 | 2018-09-04 | Sony Interacive Entertainment LLC | Varying effective resolution by screen location by changing active color sample count within multiple render targets |
CN104614863A (zh) * | 2015-02-06 | 2015-05-13 | 京东方科技集团股份有限公司 | 像素阵列、显示装置以及显示方法 |
US10417832B2 (en) * | 2015-03-11 | 2019-09-17 | Facebook Technologies, Llc | Display device supporting configurable resolution regions |
US20160267884A1 (en) * | 2015-03-12 | 2016-09-15 | Oculus Vr, Llc | Non-uniform rescaling of input data for displaying on display device |
US9704217B2 (en) * | 2015-04-20 | 2017-07-11 | Intel Corporation | Apparatus and method for non-uniform frame buffer rasterization |
JP6706985B2 (ja) * | 2015-08-06 | 2020-06-10 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6218787B2 (ja) * | 2015-09-29 | 2017-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法 |
KR20170043791A (ko) * | 2015-10-14 | 2017-04-24 | 한국전자통신연구원 | 360 가상 현실 서비스를 위한 영상 포맷 및 그 장치 |
US10229540B2 (en) * | 2015-12-22 | 2019-03-12 | Google Llc | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
CN106373537B (zh) * | 2016-09-12 | 2019-02-12 | 上海乐相科技有限公司 | 一种减弱显示画面拖影的方法及装置 |
CN106485790A (zh) * | 2016-09-30 | 2017-03-08 | 珠海市魅族科技有限公司 | 一种画面显示的方法以及装置 |
KR20180059210A (ko) * | 2016-11-25 | 2018-06-04 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
US10885883B2 (en) * | 2017-01-25 | 2021-01-05 | Apple Inc. | Electronic device with foveated display system |
CN106980983A (zh) | 2017-02-23 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务认证方法及装置 |
JP2018180333A (ja) * | 2017-04-14 | 2018-11-15 | 株式会社ジャパンディスプレイ | 表示装置及び表示モジュール |
CN107168668A (zh) * | 2017-04-28 | 2017-09-15 | 北京七鑫易维信息技术有限公司 | 图像数据传输方法、装置以及存储介质、处理器 |
-
2017
- 2017-08-09 CN CN201710674693.6A patent/CN109388448B/zh active Active
-
2018
- 2018-04-09 US US16/309,355 patent/US11232767B2/en active Active
- 2018-04-09 WO PCT/CN2018/082294 patent/WO2019029177A1/zh unknown
- 2018-04-09 JP JP2018566354A patent/JP7195935B2/ja active Active
- 2018-04-09 EP EP18814480.2A patent/EP3667608A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140368494A1 (en) * | 2013-06-18 | 2014-12-18 | Nvidia Corporation | Method and system for rendering simulated depth-of-field visual effect |
CN103745448A (zh) * | 2013-12-24 | 2014-04-23 | 四川大学 | 光栅3d显示中超高分辨率合成图像的快速生成方法 |
CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
CN107194890A (zh) * | 2017-05-18 | 2017-09-22 | 上海兆芯集成电路有限公司 | 使用多分辨率改善图像质量的方法及装置 |
CN107194891A (zh) * | 2017-05-18 | 2017-09-22 | 上海兆芯集成电路有限公司 | 改善图像质量的方法及虚拟实境装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3667608A4 * |
Also Published As
Publication number | Publication date |
---|---|
JP7195935B2 (ja) | 2022-12-26 |
JP2020529639A (ja) | 2020-10-08 |
US11232767B2 (en) | 2022-01-25 |
CN109388448A (zh) | 2019-02-26 |
CN109388448B (zh) | 2020-08-04 |
EP3667608A1 (en) | 2020-06-17 |
EP3667608A4 (en) | 2021-04-21 |
US20210225329A1 (en) | 2021-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019029177A1 (zh) | 图像显示方法、显示系统以及计算机可读存储介质 | |
US9576519B2 (en) | Display method and display device | |
CN109147644B (zh) | 显示面板及显示方法 | |
DE202017105872U1 (de) | Niedrigauflösendes RGB-Rendering für effiziente Übertragung | |
CN109891381A (zh) | 双路径中央凹图形管线 | |
JP6740141B2 (ja) | データ転送方法、データ転送モジュール、関連するディスプレイパネルとその駆動方法、及び関連ディスプレイデバイス | |
JP2022511263A (ja) | 複数のサブ画素を有する画素配列構造の駆動方法、複数のサブ画素を有する画素配列構造を駆動するための駆動チップ、表示装置及びコンピュータプログラム製品 | |
US11398195B2 (en) | Backlight brightness processing method and system, backlight brightness adjustment method, storage medium | |
CN107068035B (zh) | 一种显示方法、显示装置 | |
CN105185284A (zh) | 可变刷新率系统中的动态帧重复 | |
US9728160B2 (en) | Image processing method of a display for reducing color shift | |
US20170200428A1 (en) | Pixel arrangement structure, array substrate, display apparatus and display control method | |
TWI647683B (zh) | 電子裝置、顯示驅動器以及顯示面板的顯示資料產生方法 | |
CN106560880B (zh) | 显示装置和该显示装置的图像渲染方法 | |
WO2016161815A1 (zh) | 像素结构、其驱动方法及显示装置 | |
US9953399B2 (en) | Display method and display device | |
US11321812B2 (en) | Display method, display device, virtual reality display device, virtual reality device, and storage medium | |
TWI657425B (zh) | 用於Delta RGBW面板的子像素具像呈現方法以及具有子像素具像呈現功能的Delta RGBW面板 | |
US11030968B2 (en) | Middle-out technique for refreshing a display with low latency | |
US20220138901A1 (en) | Image display method, image processing method, image processing device, display system and computer-readable storage medium | |
US11181742B2 (en) | Display panel, and 3D display device and 3D head up display (HUD) device using the display panel | |
US10504414B2 (en) | Image processing apparatus and method for generating display data of display panel | |
US8427500B1 (en) | Spatially aware sub-pixel rendering | |
CN112882672A (zh) | 近眼显示控制方法、装置及近眼显示设备 | |
CN116434699A (zh) | 颜色补偿方法、颜色补偿装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018566354 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18814480 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018814480 Country of ref document: EP Effective date: 20200309 |