WO2024093835A1 - 一种图像数据的处理方法及相关设备 - Google Patents

一种图像数据的处理方法及相关设备 Download PDF

Info

Publication number
WO2024093835A1
WO2024093835A1 PCT/CN2023/127195 CN2023127195W WO2024093835A1 WO 2024093835 A1 WO2024093835 A1 WO 2024093835A1 CN 2023127195 W CN2023127195 W CN 2023127195W WO 2024093835 A1 WO2024093835 A1 WO 2024093835A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
area
image
format
interleaved
Prior art date
Application number
PCT/CN2023/127195
Other languages
English (en)
French (fr)
Inventor
赵祖麟
曾令慧
苏勇
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2024093835A1 publication Critical patent/WO2024093835A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the present invention relates to the field of display technology, and in particular to an image data processing method and related equipment.
  • the angular resolution (PPD) of display devices such as virtual reality (VR) devices has always been a concern.
  • the industry generally believes that a PPD of more than 40° can remove the screen door effect of VR devices and allow users to have a better picture quality experience.
  • the single-eye resolution of the display screen of the current mainstream VR devices on the market is about 2K*2K. If the PPD is calculated based on the field of view (FOV) of the VR device as 100°, it is only 20°. Therefore, more and more VR devices are planning to be equipped with screens with higher resolutions, such as 4K*4K resolution displays, and are committed to increasing the PPD to 40°.
  • FOV field of view
  • the present application provides an image data processing method and related equipment to reduce the data cache amount and reduce the display delay.
  • the method for processing image data applied to a master control device may specifically include: generating at least one image data group according to the acquired gaze zone information, wherein one image data group in the at least one image data group includes first image data and second image data, and the first image data corresponds to the gaze zone information.
  • a first format mode the first image data and the second image data of each image data group in the at least one image data group are interleaved and arranged according to the gaze zone information to generate a first format image.
  • the generated first format image and the gaze zone information are output to a display driver device.
  • the gaze area information may include information such as the coordinates of the gaze area of the human eye on the screen and the size of the gaze area.
  • the user's eye image can be captured by a device such as an infrared camera installed inside the device, and the coordinates and size of the gaze point of the user's eye on the screen can be calculated in real time using calculation methods such as eye tracking algorithms.
  • a left-eye image data group and a right-eye image data group when applied to a device such as a VR device that needs to distinguish between left-eye and right-eye display images, a left-eye image data group and a right-eye image data group may be generated, that is, at least one image data group may include a left-eye image data group and a right-eye image data group.
  • one image data group When applied to a device that does not need to distinguish between left-eye and right-eye display images, one image data group may be directly generated.
  • the rendering engine of the VR device can obtain the gaze area position coordinates in the gaze area information, use the gaze point rendering technology to render the image, and generate the first image data to reduce the rendering power consumption and computing power.
  • the first image data is a foreground image with high image quality and small FOV, so the first image data can also be called foreground image data
  • the second image data is a background image with low image quality and large FOV, so the second image data can also be called background image data.
  • the data amount of the first image data and the second image data is equivalent, that is, the number of data rows of the first image data and the second image data can be the same.
  • the size of the first image data and the second image data is 1536*1536.
  • the left eye image data group can be located in the left half frame, and the right eye image data group can be located in the right half frame.
  • the first format image may include a first interleaved area and a background area.
  • the first interleaved area includes all of the first image data and part of the second image data, and the first image data and the second image data are interleaved in the first interleaved area.
  • the background area only includes part of the second image data, that is, the background area does not include the first image data.
  • the position of the first interleaved area formed by the interleaving of the first image data and the second image data needs to be adjusted following the position of the gaze zone, and in the first format image, the positions of the first interleaved area and the background area can be flexibly changed.
  • the first interleaved area is arranged before the background area in the first format image.
  • the background area is arranged before the first interleaved area in the first format image.
  • the background area can be divided into two parts, namely, the first background area and the second background area, the first background area is arranged before the first interleaved area, and the second background area is arranged after the first interleaved area.
  • the display driving device can magnify the second image data in the first format image according to the first magnification factor,
  • the display image is generated by fusing the first image data with the gaze zone information. Since the image data is interspersed in the first format image received by the display driver device according to the gaze zone information, and the first image data and the second image data are interspersed in the first interspersed area, the display driver device can directly fuse the received first image data while amplifying the received second image data during the process of receiving the image data of the first interspersed area, without waiting for the first image data to be fully cached before starting to amplify and fuse the second image data, thereby reducing the amount of cached data, reducing memory costs, and reducing the half-frame delay caused by the need for caching, thereby reducing the motion-to-photon (MTP) delay of the device.
  • MTP motion-to-photon
  • the gaze area information may include information such as the coordinates of the gaze area position of the human eye on the screen and the size of the gaze area. Specifically, the coordinates of the upper left corner of the gaze area may be selected as the origin of the gaze area, represented by (x, y).
  • the gaze area information may be carried in the first format image, for example, in the data blanking area, or in the previous line or lines of data in the data valid area.
  • the main control device AP may have multiple modes to choose from, and different modes may be selected to transmit the generated image data group according to actual needs.
  • the main control device may choose to use the first format, the second format, or the third format for data output.
  • the first format is an interleaved format, which requires the above-mentioned generation of the first format image before output;
  • the second format is a sequential format, which may output the second format image generated by sequentially arranging the first image data and the second image data in the above-mentioned image data group;
  • the third format is a normal format, which does not perform eye tracking and recognition, and directly outputs a third format image that is consistent with the size of the effective area of the screen.
  • the main control device may also send a first format mode switching instruction to the display driver device to inform the display driver device to use the first format mode to parse the received data
  • the main control device may also send a second format mode switching instruction or a third format mode switching instruction to the display driver device to inform the display driver device to use the second format mode or the third format mode switching instruction to parse the received data.
  • the first format mode switching instruction may be carried in the data blanking area.
  • the second format mode switching instruction and the third format mode switching instruction may be carried in the data blanking area.
  • the main control device AP may perform data packaging and compression before data output. Accordingly, after receiving the compressed data, the display driver device DDIC needs to decompress the data before executing the subsequent operation steps.
  • the master control device in order to reduce port bandwidth data, in the first format mode, can use one or more ports to send the first format images corresponding to the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the second format mode, can use one or more ports to send the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the third format mode, can use one or more ports to send the image data to the DDIC.
  • the first magnification of the second image data is determined by the number of rows of the second image data and the number of rows of the effective area of the screen. Specifically, the first magnification is equal to the number of rows of the effective area of the screen divided by the number of rows of the second image data. For example, if the size of the second image data is 1536*1536 and the size of the effective area of the screen is 3840*3840, the first magnification can be 2.5 times.
  • the ratio of the first image data to the second image data is generally related to the first magnification.
  • the ratio of the first image data to the second image data may be n:1, where n is the first magnification.
  • the ratio of the first image data to the second image data may be 2.5:1.
  • the arrangement format of the first image data and the second image data may be arranged in a repetition cycle, and a repetition cycle includes both the first image data and the second image data.
  • the amount of the first image data and the second image data included in a repetition cycle should be as small as possible.
  • the first image data and the second image data may be arranged interleaved in one repetition cycle.
  • the minimum unit of the interleaved arrangement may be single-line data, multiple-line data, or sub-line (less than one line) data, that is, in one repetition cycle, the first image data and the second image data arranged continuously may be a whole line of data, multiple lines of data, or less than one line of data.
  • a single line of second image data may be interleaved after or before multiple lines of first image data.
  • the number of lines of first image data: the number of lines of second image data: the number of lines of first image data: the number of lines of second image data may be arranged in a ratio of 2:1:3:1 in a repetition cycle.
  • the number of lines of first image data ⁇ one line of second image data ⁇ three lines of first image data ⁇ one line of second image data may be arranged in a repetition cycle.
  • the first image data and the second image data may be periodically arranged according to the following number of data rows: m*n rows of first image data: m rows of second image data, wherein m*n and m may both be integers greater than 1.
  • m may be equal to 2
  • the arrangement may be five rows of first image data ⁇ two rows of second image data in the repetition cycle.
  • m may also be other positive numbers, for example, m may be a positive number less than 1, or m may be a decimal greater than 1.
  • the arrangement may be as follows: one line of first image data ⁇ 0.4 line of second image data in the repetition period; when m is equal to 1.2, the arrangement may be as follows: three lines of first image data ⁇ 1.2 lines of second image data in the repetition period.
  • the first image data and the second image data can be arranged periodically according to the following number of data rows: 1 row of first image data: 1/n row of second image data.
  • 1 row of first image data 1 row of second image data.
  • the arrangement can be as follows: one row of first image data ⁇ 0.4 row of second image data.
  • the position of the first interleaved area formed by interleaving the first image data and the second image data in the first format image needs to be adjusted according to the position of the gaze zone.
  • the range of the first interleaved area in the first format image can be: rows; where x ranges from [1, QR], x is the first row number of the attention area information, n is the first magnification, R is the total number of rows of the first image data, and Q is the total number of rows of the screen effective area.
  • the range of the first interleaved area can be: The value range of x is [1, 2304].
  • the position of the first interleaved area changes, the position of the background area in the first format image also changes, and the background area may include the first background area and the second background area, and the first interleaved area is located between the first background area and the second background area.
  • the first line of the fixation area information meets the condition, there is no first background area before the first interleaved area, and the second background area is set only after the first interleaved area.
  • the range of the first background area in the first format image can be: Specifically, when the number of the first line of the fixation area information meets When the condition is met, there is no second background area after the first interleaved area, and the first background area is set only before the first interleaved area.
  • the condition is met, there is a second background area after the first interleaved area, and the range of the second background area in the first format image can be: rows; where P is the total number of rows of data in the first format image.
  • the rendering engine of the VR device obtains the coordinates of the gaze area position in the gaze area information, and when the first image data is generated by image rendering using the foveation rendering technology, the third image data can also be generated.
  • the third image data is a medium-ground picture of the FOV in the medium image quality, so the third image data can also be called medium-ground image data. Therefore, an image data group can also include the third image data; correspondingly, the first interleaved area can also include part of the third image data, and the first image data, the third image data and the second image data can be arranged interleaved in the first interleaved area.
  • the first format image can also include a second interleaved area
  • the second interleaved area can include part of the third image data and part of the second image data
  • the third image data and the second image data can be arranged interleaved in the second interleaved area.
  • the second interleaved area is arranged between the first interleaved area and the background area. Since the position of the first interleaved area in the first format image needs to be adjusted following the position of the gaze area, the position of the second interleaved area in the first format image can be flexibly changed with the position of the first interleaved area.
  • the gaze area position when the gaze area position is located at the top of the screen, it is arranged in the order of the first interleaved area, the second interleaved area and the second background area in the first format image.
  • the transition zone when the transition zone is located at the top of the screen, in the first format image, the second interleaved area, the first interleaved area, the second interleaved area, and the second background area can be arranged in the order.
  • the transition zone refers to a region centered on the gaze area and whose boundary does not exceed the boundary of the background area, and the third image data is displayed in the transition zone.
  • the gaze zone when the gaze zone is located in the middle of the screen, in the first format image, the first background area, the second interleaved area, the first interleaved area, the second interleaved area, and the second background area can be arranged in the order.
  • the transition zone when the transition zone is located at the bottom of the screen, in the first format image, the first background area, the second interleaved area, the first interleaved area, and the second interleaved area can be arranged in the order.
  • the gaze zone when the gaze zone is located at the bottom of the screen, in the first format image, the first background area, the second interleaved area, the first interleaved area, and the first interleaved area can be arranged in the order.
  • the third image data may be amplified by a second magnification in the display driving device, and the second magnification is generally smaller than the first magnification. For example, if the first magnification is 2.5 times, the second magnification may be 1.5 times.
  • the ratio of the third image data to the second image data is Generally, it is related to the second magnification. Specifically, in the first interleaved area and the second interleaved area, the ratio of the third image data to the second image data can be h:1, where h is the second magnification, for example, in the first interleaved area and the second interleaved area, the ratio of the third image data to the second image data is 1.5:1.
  • the arrangement format of the third image data and the second image data can be arranged in a repetitive cycle, and the third image data and the second image data are included in one repetitive cycle.
  • the amount of the third image data and the second image data included in one repetitive cycle should be as small as possible.
  • the method for processing image data applied to a display driver device may specifically include: receiving a first format image and gaze zone information sent by a master control device. Amplifying the second image data in the first format image according to a first magnification factor. According to the gaze zone position, the first image data in the first format image is fused with the amplified second image data to generate a display image.
  • DDIC display driver device
  • the gaze area information may include information such as the coordinates of the gaze area position of the human eye on the screen and the size of the gaze area. Specifically, the coordinates of the upper left corner of the gaze area may be selected as the origin of the gaze area, represented by (x, y).
  • the gaze area information may be carried in the first format image, for example, in the data blanking area, or in the previous line or lines of data in the data valid area.
  • the main control device AP may have a variety of modes to choose from, and different modes may be selected to transmit the generated image data according to actual needs.
  • the main control device may choose to use the first format, the second format, or the third format for data output.
  • the first format is an interleaved format, and the main control device will generate a first format image and then output it;
  • the second format is a sequential format, and the main control device will sequentially arrange the first image data and the second image data in the image data group to generate a second format image and output it;
  • the third format is a normal format, and human eye tracking recognition is not performed.
  • the main control device directly outputs a third format image that is consistent with the size of the effective area of the screen. Therefore, the display driver device may receive a first format image, a second format image, or a third format image.
  • the main control device may also send a first format mode switching instruction to the display driver device, so as to inform the display driver device to adopt the first format mode to parse the received data, and correspondingly, the display driver device will receive the first format mode switching instruction sent by the main control device.
  • the main control device may also send a second format mode switching instruction or a third format mode switching instruction to the display driver device, so as to inform the display driver device to adopt the second format mode or the third format mode switching instruction to parse the received data, and correspondingly, the display driver device will receive the second format mode switching instruction or the third format mode switching instruction sent by the main control device.
  • the display driver device may parse out the first format mode switching instruction, the second format mode switching instruction, or the third format mode switching instruction in the data blanking area.
  • the main control device AP in order to reduce the amount of data transmission and reduce the bandwidth, can send packaged compressed data. Therefore, after receiving the compressed data, the display driver device DDIC needs to decompress the data first to obtain the first format image and the gaze area information.
  • the master control device AP in order to reduce port bandwidth data, can use one or more ports to send the first format images corresponding to the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the second format mode, can use one or more ports to send the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the third format mode, can use one or more ports to send the image data to the DDIC. Therefore, the display driver device can receive data respectively through one or more ports.
  • the first format image may include a first interleaved area and a background area.
  • the first interleaved area includes all of the first image data and part of the second image data, and the first image data and the second image data are interleaved in the first interleaved area.
  • the background area only includes part of the second image data.
  • the position of the first interleaved area formed by the interleaving of the first image data and the second image data needs to be adjusted following the position of the gaze zone, and in the first format image, the positions of the first interleaved area and the background area can be flexibly changed.
  • the first interleaved area is arranged before the background area in the first format image.
  • the background area is arranged before the first interleaved area in the first format image.
  • the background area can be divided into two parts, namely, the first background area and the second background area, the first background area is arranged before the first interleaved area, and the second background area is arranged after the first interleaved area.
  • the display driver device may magnify the second image data in the first format image according to the first magnification factor, and fuse the second image data with the first image data according to the gaze area information to generate a display image.
  • the image data is interspersed according to the gaze area information, and the first image data and the second image data are interspersed in the first interspersed area, so that when the display driver device receives the image data in the first interspersed area, the received second image data can be directly merged with the received first image data while amplifying the received second image data, without waiting for the first image data to be fully cached before starting to amplify and merge the second image data. Therefore, the amount of cached data can be reduced, the memory cost can be reduced, and the half-frame delay caused by the need for caching is reduced, thereby reducing the MTP of the device.
  • the first magnification of the second image data is determined by the number of rows of the second image data and the number of rows of the effective area of the screen. Specifically, the first magnification is equal to the number of rows of the effective area of the screen divided by the number of rows of the second image data. For example, if the size of the second image data is 1536*1536 and the size of the effective area of the screen is 3840*3840, the first magnification can be 2.5 times.
  • the position of the first interleaved area formed by the interleaving of the first image data and the second image data in the first format image needs to be adjusted according to the position of the gaze zone.
  • the position of the first image data is also adjusted according to the position of the gaze zone. For example, when the gaze zone position is located at the top of the screen, the position of the first image data in the display image is arranged at the top. For another example, when the gaze zone position is located at the bottom of the screen, the position of the first image data in the display image is arranged at the bottom.
  • the position of the first image data in the display image is arranged in the middle.
  • the range of the first image data in the display image can be: [x+1, x+R] rows; x is the number of the first row of the gaze zone information, and R is the total number of rows of the first image data.
  • the range of the second image data is: [1, x] rows, [x+R+1, Q] rows; where x ⁇ [1, Q-R-1], Q is the total number of rows of data in the displayed image.
  • the range of the first image data can be: [x+1, x+1536] rows
  • the range of the second image data can be: [1, x] rows, [x+1537, 3840] rows
  • the value range of x is [1, 2303].
  • an image data group can also include the third image data; correspondingly, the first interleaved area can also include part of the third image data, and the first image data, the third image data and the second image data can be arranged interleaved in the first interleaved area.
  • the first format image can also include a second interleaved area
  • the second interleaved area can include part of the third image data and part of the second image data
  • the third image data and the second image data can be arranged interleaved in the second interleaved area.
  • the second interleaved area is arranged between the first interleaved area and the background area. Since the position of the first interleaved area in the first format image needs to be adjusted following the position of the gaze area, the position of the second interleaved area in the first format image can be flexibly changed with the position of the first interleaved area. In the final displayed image, the positions of the first image data and the third image data also change accordingly.
  • the first image data, the third image data and the second image data are arranged in the order of the first image data, the third image data and the second image data in the displayed image.
  • the transition zone refers to a zone centered on the gaze zone and having a boundary that does not exceed the boundary of the background zone, and the third image data is displayed in the transition zone.
  • the second image data, the third image data, the first image data, the third image data, and the second image data are arranged in the order of the first image data, the third image data, and the third image data in the displayed image.
  • the transition zone is located at the bottom of the screen
  • the second image data, the third image data, the first image data, and the third image data are arranged in the order of the first image data.
  • the second image data, the third image data, and the first image data are arranged in the order of the first image data.
  • the display driver device may further amplify the third image data in the first format image at a second magnification, and fuse the first image data in the first format image with the amplified second image data and the amplified third image data to generate a display image.
  • the third image data may be amplified at a second magnification, and the second magnification is generally smaller than the first magnification.
  • the first magnification is 2.5 times
  • the second magnification may be 1.5 times.
  • the ratio of the third image data to the second image data is generally related to the second magnification.
  • the ratio of the third image data to the second image data can be h:1, where h is the second magnification.
  • the ratio of the third image data to the second image data is 1.5:1.
  • the arrangement format of the third image data and the second image data can be arranged in a repetitive cycle, and the third image data and the second image data are included in one repetitive cycle.
  • the amount of the third image data and the second image data included in one repetitive cycle should be as small as possible.
  • the present application provides a main control device, including at least one processor, wherein the at least one processor and at least one storage
  • the at least one processor is coupled to the at least one memory, and the at least one processor is used to read the computer program stored in the at least one memory to execute any one of the image data processing methods in the first aspect.
  • the function can be implemented by hardware, or by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the above functions.
  • the present application provides a display driver device, comprising at least one processor, the at least one processor is coupled to at least one memory, and the at least one processor is used to read a computer program stored in the at least one memory to execute any one of the image data processing methods in the second aspect.
  • the function can be implemented by hardware, or by hardware executing the corresponding software implementation.
  • the hardware or software includes one or more modules corresponding to the above functions.
  • the present application provides an imaging system, comprising the main control device of the third aspect and the display driving device of the fourth aspect.
  • FIG1 is a schematic diagram of the operation of an existing VR device
  • FIG2 is a schematic flow chart of a method for processing image data applied to a master control device provided in an embodiment of the present application
  • FIG3 is a schematic diagram of a structure of a first format image provided in an embodiment of the present application.
  • FIG4 is another schematic diagram of the structure of the first format image provided by an embodiment of the present application.
  • FIG5 is another schematic diagram of the structure of an image in the first format provided in an embodiment of the present application.
  • FIG6 is another schematic diagram of the structure of the first format image provided by an embodiment of the present application.
  • FIG. 7 is a schematic flow chart of a method for processing image data applied to a display driver device provided in an embodiment of the present application
  • FIG8 is a schematic diagram of a structure of a display image provided in an embodiment of the present application.
  • FIG9 is another structural schematic diagram of a display image provided in an embodiment of the present application.
  • FIG10 is another structural schematic diagram of a display image provided in an embodiment of the present application.
  • FIG11 is another schematic diagram of a structure of displaying an image provided in an embodiment of the present application.
  • FIG12 is another structural schematic diagram of a display image provided in an embodiment of the present application.
  • FIG13 is another schematic diagram of a structure of displaying an image provided in an embodiment of the present application.
  • FIG. 14 is a schematic diagram of the operation of the imaging system provided in an embodiment of the present application.
  • the rendering engine of the VR device uses the gaze point rendering technology to render the image, and draw the foreground image (high-quality small FOV) and the background image (low-quality large FOV) for the left and right eyes respectively to reduce rendering power consumption and computing power.
  • the main chip (application process, AP) of the current VR device generally has only two ports (ports) on the mobile industry processor (mobile industry processor interface, MIPI) interface.
  • the specific steps of the gaze point screen technology are as follows:
  • the AP generates the foreground image and background image of the left eye image data group (1536*3072) and the foreground image and background image of the right eye image data group (1536*3072) according to the gaze point coordinates, and then arranges the foreground image and the background image in sequence to generate the left eye second format image and the right eye second format image and compresses them (DSCE).
  • the AP sends the left eye second format image and the right eye second format image to the DDIC through two ports respectively.
  • DDIC decompresses the left-eye second-format image and the right-eye second-format image received through different ports (DSCD), caches the foreground image for half a frame, and then enlarges the background image (1536*1536) data to the pixel data size of the display image (3840*3840). Then, according to the gaze point coordinates transmitted by the AP, the foreground image is filled into the corresponding area of the display image.
  • DDIC cannot be a fully online channel.
  • DDIC must allocate half-frame-sized memory, such as 1.5K*1.5K memory to cache the foreground image, causing the display channel of the VR device to increase the delay of half a frame (5.6ms@90Hz/4.2ms@120Hz), and DDIC will increase additional memory costs.
  • the present application provides an image data processing method and related equipment.
  • the image data processing method and related devices provided in the embodiments of the present application can be applied to a display device that can identify the user's gaze position.
  • the display device can be a wearable device, and the wearable device can be a near-eye display (NED) device, such as VR glasses or VR helmets.
  • NED near-eye display
  • a user wears a NED device to play games, read, watch movies (or TV series), participate in virtual meetings, participate in video education, or video shopping.
  • the display device can also be a terminal device with a display screen, such as a mobile phone, a monitor, a television, a car-mounted head-up display system (head-up display, HUD), etc.
  • the method for processing image data applied to the master control device (AP) provided in the embodiment of the present application, with reference to FIG. 2 may specifically include the following steps:
  • S101 Generate at least one image data group according to acquired gaze zone information, wherein one image data group in the at least one image data group includes first image data and second image data, and the first image data corresponds to the gaze zone information.
  • the gaze area information may include information such as the coordinates of the gaze area of the human eye on the screen and the size of the gaze area.
  • the user's eye image can be captured by a device such as an infrared camera installed inside the device, and the coordinates and size of the gaze point of the user's eye on the screen can be calculated in real time using calculation methods such as eye tracking algorithms.
  • a left-eye image data group and a right-eye image data group when applied to a device such as a VR device that needs to distinguish between left-eye and right-eye display images, a left-eye image data group and a right-eye image data group may be generated, that is, at least one image data group may include a left-eye image data group and a right-eye image data group.
  • one image data group When applied to a device that does not need to distinguish between left-eye and right-eye display images, one image data group may be directly generated.
  • the rendering engine of the VR device can obtain the gaze area position coordinates in the gaze area information, use the gaze point rendering technology to render the image, and generate the first image data to reduce the rendering power consumption and computing power.
  • the first image data is a foreground image with high image quality and small FOV, so the first image data can also be called foreground image data
  • the second image data is a background image with low image quality and large FOV, so the second image data can also be called background image data.
  • the data amount of the first image data and the second image data is equivalent, that is, the number of data rows of the first image data and the second image data can be the same.
  • the size of the first image data and the second image data is 1536*1536.
  • the left eye image data group can be located in the left half frame, and the right eye image data group can be located in the right half frame.
  • a first format mode In a first format mode, according to gaze area information, interleave first image data and second image data of each image data group in at least one image data group to generate a first format image.
  • the first format image may include a first interleaved area and a background area.
  • the first interleaved area includes all of the first image data and part of the second image data, and the first image data and the second image data are interleaved in the first interleaved area.
  • the background area only includes part of the second image data, that is, the background area does not include the first image data.
  • the position of the first interleaved area formed by the interleaving of the first image data and the second image data needs to be adjusted following the position of the gaze zone, and in the first format image, the positions of the first interleaved area and the background area can be flexibly changed.
  • the first interleaved area is arranged before the background area in the first format image.
  • the background area is arranged before the first interleaved area in the first format image.
  • the background area when the gaze zone is located in the middle of the screen, in the first format image, the background area can be divided into two parts, namely, the first background area and the second background area.
  • a background area is arranged before the first interleaved area, and a second background area is arranged after the first interleaved area.
  • the display driver device can magnify the second image data in the first format image according to the first magnification, and fuse it with the first image data according to the gaze area information to generate a display image.
  • the first image data and the second image data are interspersed in the first interleaved area, so that the display driver device can directly fuse the received first image data while magnifying the received second image data during the process of receiving the image data of the first interleaved area, without waiting for the first image data to be fully cached before starting to magnify and fuse the second image data, thereby reducing the amount of cached data, reducing memory costs, and reducing the half-frame delay caused by the need for caching, thereby reducing the motion-to-photon (MTP) delay of the device.
  • MTP motion-to-photon
  • the gaze area information may include information such as the coordinates of the gaze area position of the human eye on the screen and the size of the gaze area. Specifically, the coordinates of the upper left corner of the gaze area may be selected as the origin of the gaze area, represented by (x, y).
  • the gaze area information may be carried in the first format image, for example, in the data blanking area, or in the previous line or lines of data in the data valid area.
  • the main control device AP may have multiple modes to choose from, and different modes may be selected to transmit the generated image data group according to actual needs.
  • the main control device may choose to use the first format, the second format, or the third format for data output.
  • the first format is an interleaved format, which requires the above step S102 to generate a first format image before output;
  • the second format is a sequential format, which may output a second format image generated by sequentially arranging the first image data and the second image data in the image data group generated in the above step S101;
  • the third format is a normal format, which does not perform eye tracking and recognition, and directly outputs a third format image that is consistent with the size of the effective area of the screen.
  • the master control device may also send a first format mode switching instruction to the display driver device to inform the display driver device to use the first format mode to parse the received data
  • the master control device may also send a second format mode switching instruction or a third format mode switching instruction to the display driver device to inform the display driver device to use the second format mode or the third format mode switching instruction to parse the received data.
  • the first format mode switching instruction may be carried in a data blanking area.
  • the second format mode switching instruction and the third format mode switching instruction may be carried in a data blanking area.
  • the main control device AP can perform data packaging compression (DSCE) before data output. Accordingly, after receiving the compressed data, the display driver device DDIC needs to perform data decompression (DSCD) before executing subsequent operation steps.
  • DSCE data packaging compression
  • the master control device in order to reduce port bandwidth data, in the first format mode, can use one or more ports to send the first format images corresponding to the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the second format mode, can use one or more ports to send the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the third format mode, can use one or more ports to send the image data to the DDIC.
  • the first magnification of the second image data is determined by the number of rows of the second image data and the number of rows of the effective area of the screen. Specifically, the first magnification is equal to the number of rows of the effective area of the screen divided by the number of rows of the second image data. For example, if the size of the second image data is 1536*1536 and the size of the effective area of the screen is 3840*3840, the first magnification can be 2.5 times.
  • the ratio of the first image data to the second image data is generally related to the first magnification.
  • the ratio of the first image data to the second image data may be n:1, where n is the first magnification.
  • the ratio of the first image data to the second image data may be 2.5:1.
  • the arrangement format of the first image data and the second image data may be arranged in a repetition cycle, and one repetition cycle includes both the first image data and the second image data.
  • the amount of the first image data and the second image data included in one repetition cycle should be as small as possible.
  • the first image data and the second image data may be arranged interleaved in one repetition cycle.
  • the minimum unit of the interleaved arrangement may be single-line data, multiple-line data, or sub-line (less than one line) data, that is, in one repetition cycle, the first image data and the second image data arranged continuously may be a whole line of data, multiple lines of data, or less than one line of data.
  • a single line of second image data may be interleaved after or before multiple lines of first image data.
  • the number of lines of first image data the number of lines of second image data: the number of lines of first image data: the number of lines of second image data may be arranged in a ratio of 2:1:3:1 in a repetition cycle.
  • two lines of first image data ⁇ one line of second image data ⁇ three lines of first image data may be arranged in a repetition cycle.
  • Data ⁇ One row of second image data is arranged.
  • the first image data and the second image data may be periodically arranged according to the following number of data rows: m*n rows of first image data: m rows of second image data, wherein m*n and m may both be integers greater than 1.
  • m*n and m may both be integers greater than 1.
  • m may be equal to 2
  • the arrangement may be five rows of first image data ⁇ two rows of second image data in the repetition cycle.
  • m may also be other positive numbers, for example, m may be a positive number less than 1, or m may be a decimal greater than 1.
  • the arrangement may be as follows: one line of first image data ⁇ 0.4 line of second image data in the repetition period; when m is equal to 1.2, the arrangement may be as follows: three lines of first image data ⁇ 1.2 lines of second image data in the repetition period.
  • the first image data and the second image data can be arranged periodically according to the following number of data rows: 1 row of first image data: 1/n row of second image data.
  • 1 row of first image data 1 row of second image data.
  • the arrangement can be as follows: one row of first image data ⁇ 0.4 row of second image data.
  • the position of the first interleaved area formed by interleaving the first image data and the second image data in the first format image needs to be adjusted according to the position of the gaze zone.
  • the range of the first interleaved area in the first format image can be: rows; where x ranges from [1, QR], x is the first row number of the attention area information, n is the first magnification, R is the total number of rows of the first image data, and Q is the total number of rows of the screen effective area.
  • the range of the first interleaved area can be: The value range of x is [1, 2304].
  • the position of the background area in the first format image also changes, and the background area may include a first background area and a second background area, and the first interleaved area is located between the first background area and the second background area.
  • the number of the first line of the fixation area information satisfies
  • there is no first background area before the first interleaved area there is no first background area before the first interleaved area, and the second background area is set only after the first interleaved area.
  • the range of the first background area in the first format image can be: Referring to FIG4, specifically, when the number of the first line of the gaze area information satisfies When the condition is met, there is no second background area after the first interleaved area, and the first background area is set only before the first interleaved area.
  • the condition is met, there is a second background area after the first interleaved area, and the range of the second background area in the first format image can be: rows; where P is the total number of rows of data in the first format image.
  • the rendering engine of the VR device obtains the coordinates of the gaze area position in the gaze area information, and when the first image data is generated by image rendering using the foveation rendering technology, the third image data can also be generated.
  • the third image data is a medium-ground picture of the FOV in the medium image quality, so the third image data can also be called medium-ground image data. Therefore, an image data group can also include the third image data; correspondingly, the first interleaved area can also include part of the third image data, and the first image data, the third image data and the second image data can be arranged interleaved in the first interleaved area.
  • the first format image can also include a second interleaved area
  • the second interleaved area can include part of the third image data and part of the second image data
  • the third image data and the second image data can be arranged interleaved in the second interleaved area.
  • the second interleaved area is arranged between the first interleaved area and the background area. Since the position of the first interleaved area in the first format image needs to be adjusted following the position of the gaze area, the position of the second interleaved area in the first format image can be flexibly changed with the position of the first interleaved area.
  • the gaze area position when the gaze area position is located at the top of the screen, it is arranged in the order of the first interleaved area, the second interleaved area and the second background area in the first format image.
  • the transition area when the transition area is located at the top of the screen, in the first format image, it can be arranged in the order of the second interleaved area, the first interleaved area, the second interleaved area, and the second background area.
  • the transition area refers to a region centered on the gaze area and whose boundaries do not exceed the boundaries of the background area, and the third image data is displayed in the transition area. For another example, referring to FIG.
  • the gaze area when the gaze area is located in the middle of the screen, in the first format image, it can be arranged in the order of the first background area, the second interleaved area, the first interleaved area, the second interleaved area, and the second background area.
  • the transition area is located at the top of the screen
  • the first interleaved area is located at the top of the screen.
  • the fixation area when the fixation area is located at the bottom of the screen, in the first format image, the first background area, the second interleaved area, the first interleaved area, and the second interleaved area are arranged in the order of the first background area, the second interleaved area, and the first interleaved area.
  • the fixation area when the fixation area is located at the bottom of the screen, in the first format image, the first background area, the second interleaved area, and the first interleaved area are arranged in the order of the first background area, the second interleaved area, and the first interleaved area.
  • the third image data may be amplified by a second magnification in the display driving device, and the second magnification is generally smaller than the first magnification. For example, if the first magnification is 2.5 times, the second magnification may be 1.5 times.
  • the ratio of the third image data to the second image data is generally related to the second magnification.
  • the ratio of the third image data to the second image data can be h:1, where h is the second magnification.
  • the ratio of the third image data to the second image data is 1.5:1.
  • the arrangement format of the third image data and the second image data can be arranged in a repetitive cycle, and the third image data and the second image data are included in one repetitive cycle.
  • the amount of the third image data and the second image data included in one repetitive cycle should be as small as possible.
  • the method for processing image data applied to a display driver device may specifically include the following steps:
  • S201 Receive a first format image and gaze area information sent by a master control device.
  • the gaze area information may include information such as the coordinates of the gaze area position of the human eye on the screen and the size of the gaze area. Specifically, the coordinates of the upper left corner of the gaze area may be selected as the origin of the gaze area, represented by (x, y).
  • the gaze area information may be carried in the first format image, for example, in the data blanking area, or in the previous line or lines of data in the data valid area.
  • the main control device AP may have a variety of modes to choose from, and different modes may be selected to transmit the generated image data group according to actual needs.
  • the main control device may choose to use the first format, the second format, or the third format for data output.
  • the first format is an interleaved format, and the main control device will generate a first format image and then output it;
  • the second format is a sequential format, and the main control device will sequentially arrange the first image data and the second image data in the image data group to generate a second format image and output it;
  • the third format is a normal format, and human eye tracking recognition is not performed, and the main control device directly outputs a third format image that is consistent with the size of the effective area of the screen. Therefore, the display driver device may receive a first format image, a second format image, or a third format image.
  • the main control device may also send a first format mode switching instruction to the display driver device, so as to inform the display driver device to adopt the first format mode to parse the received data, and correspondingly, the display driver device will receive the first format mode switching instruction sent by the main control device.
  • the main control device may also send a second format mode switching instruction or a third format mode switching instruction to the display driver device, so as to inform the display driver device to adopt the second format mode or the third format mode switching instruction to parse the received data, and correspondingly, the display driver device will receive the second format mode switching instruction or the third format mode switching instruction sent by the main control device.
  • the display driver device may parse out the first format mode switching instruction, the second format mode switching instruction, or the third format mode switching instruction in the data blanking area.
  • the main control device AP in order to reduce the amount of data transmission and reduce the bandwidth, can send packaged compressed data. Therefore, after receiving the compressed data, the display driver device DDIC needs to decompress the data first to obtain the first format image and the gaze area information.
  • the master control device AP in order to reduce port bandwidth data, can use one or more ports to send the first format images corresponding to the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the second format mode, can use one or more ports to send the left eye image data group and the right eye image data group to the DDIC respectively.
  • the master control device in the third format mode, can use one or more ports to send the image data to the DDIC. Therefore, the display driver device can receive data respectively through one or more ports.
  • the first format image may include a first interleaved area and a background area.
  • the first interleaved area includes all of the first image data and part of the second image data, and the first image data and the second image data are interleaved in the first interleaved area.
  • the background area only includes part of the second image data.
  • the position of the first interleaved area formed by the interleaving of the first image data and the second image data needs to be adjusted with the position of the gaze area.
  • the positions of the first interleaved area and the background area can be flexibly changed. For example, when the gaze area is located at the top of the screen, the first interleaved area is arranged before the background area in the first format image. For another example, when the gaze area is located at the top of the screen, the first interleaved area is arranged before the background area in the first format image.
  • the background area is arranged before the first interleaved area.
  • the background area can be divided into two parts, namely, the first background area and the second background area, the first background area is arranged before the first interleaved area, and the second background area is arranged after the first interleaved area.
  • S202 Amplify the second image data in the first format image according to a first magnification factor.
  • S203 According to the position of the gaze area, fuse the first image data in the first format image with the amplified second image data to generate a display image.
  • the display driver device can magnify the second image data in the first format image according to the first magnification factor, and fuse it with the first image data according to the gaze area information to generate a display image. Since the image data is interspersed in the first format image received by the display driver device according to the gaze area information, and the first image data and the second image data are interspersed in the first interleaved area, the display driver device can directly fuse the received second image data with the received first image data while magnifying the received second image data during the process of receiving the image data in the first interleaved area, without waiting for the first image data to be fully cached before starting to magnify and fuse the second image data, thereby reducing the amount of cached data, reducing memory costs, and reducing the half-frame delay caused by the need for caching, thereby reducing the MTP of the device.
  • the first magnification of the second image data is determined by the number of rows of the second image data and the number of rows of the effective area of the screen. Specifically, the first magnification is equal to the number of rows of the effective area of the screen divided by the number of rows of the second image data. For example, if the size of the second image data is 1536*1536 and the size of the effective area of the screen is 3840*3840, the first magnification can be 2.5 times.
  • the position of the first interleaved area formed by the interleaving of the first image data and the second image data in the first format image needs to be adjusted according to the position of the gaze zone.
  • the position of the first image data is also adjusted according to the position of the gaze zone. For example, referring to FIG8, when the gaze zone position is located at the top of the screen, the position of the first image data in the display image is arranged at the top. For another example, referring to FIG9, when the gaze zone position is located at the bottom of the screen, the position of the first image data in the display image is arranged at the bottom.
  • the position of the first image data in the display image is arranged in the middle.
  • the range of the first image data in the display image can be: [x+1, x+R] rows; x is the number of the first row of the gaze zone information, and R is the total number of rows of the first image data.
  • the range of the second image data is: [1, x] rows, [x+R+1, Q] rows; where x ⁇ [1, Q-R-1], Q is the total number of rows of data in the displayed image.
  • the range of the first image data can be: [x+1, x+1536] rows
  • the range of the second image data can be: [1, x] rows, [x+1537, 3840] rows
  • the value range of x is [1, 2303].
  • an image data group can also include the third image data; correspondingly, the first interleaved area can also include part of the third image data, and the first image data, the third image data and the second image data can be arranged interleaved in the first interleaved area.
  • the first format image can also include a second interleaved area
  • the second interleaved area can include part of the third image data and part of the second image data
  • the third image data and the second image data can be arranged interleaved in the second interleaved area.
  • the second interleaved area is arranged between the first interleaved area and the background area. Since the position of the first interleaved area in the first format image needs to be adjusted following the position of the gaze area, the position of the second interleaved area in the first format image can be flexibly changed with the position of the first interleaved area. In the final displayed image, the positions of the first image data and the third image data also change accordingly.
  • the first image data, the third image data and the second image data are arranged in the order of the first image data, the third image data and the second image data in the displayed image.
  • the transition zone refers to a region centered on the gaze zone and having a boundary that does not exceed the boundary of the background area, and the third image data is displayed in the transition zone.
  • the second image data, the third image data, the first image data, the third image data, and the second image data are arranged in the order of the first image data, the third image data, and the third image data in the displayed image.
  • the transition zone is located at the bottom of the screen
  • the second image data, the third image data, the first image data, and the third image data are arranged in the order of the first image data.
  • the second image data, the third image data, and the first image data are arranged in the order of the first image data in the displayed image.
  • the display driver device may further amplify the third image data in the first format image at a second magnification, and fuse the first image data in the first format image with the amplified second image data and the amplified third image data to generate a display image.
  • the third image data may be amplified at a second magnification, and the second magnification is generally smaller than the first magnification.
  • the first magnification is 2.5 times
  • the second magnification may be 1.5 times.
  • the ratio of the third image data to the second image data is generally related to the second magnification.
  • the ratio of the third image data to the second image data can be h:1, where h is the second magnification.
  • the ratio of the third image data to the second image data is 1.5:1.
  • the arrangement format of the third image data and the second image data can be arranged in a repetitive cycle, and the third image data and the second image data are included in one repetitive cycle.
  • the amount of the third image data and the second image data included in one repetitive cycle should be as small as possible.
  • the present application also provides a main control device, which includes at least one processor and at least one memory, wherein the at least one memory stores computer program instructions, and when the electronic device is running, the at least one processor executes the functions performed by the main control device in each method described in the embodiments of the present application.
  • the present application also provides a display driver device, which includes at least one processor and at least one memory, wherein the at least one memory stores computer program instructions, and when the electronic device is running, the at least one processor executes the functions performed by the display driver device in each method described in the embodiments of the present application.
  • the present application further provides an imaging system, including the above-mentioned main control device and a display driving device.
  • the method steps in the embodiments of the present application can be implemented by hardware or by a processor executing software instructions.
  • the software instructions can be composed of corresponding software modules, which can be stored in random access memory (RAM), flash memory, read-only memory (ROM), programmable read-only memory (PROM), erasable programmable read-only memory (EPROM), electrically erasable programmable read-only memory (EEPROM), registers, hard disks, mobile hard disks, CD-ROMs, or any other form of storage medium known in the art.
  • An exemplary storage medium is coupled to the processor so that the processor can read information from the storage medium and write information to the storage medium.
  • the storage medium can also be a component of the processor.
  • the processor and the storage medium can be located in an ASIC.
  • the ASIC can be located in a head-mounted display device or a terminal device.
  • the processor and the storage medium can also be present in a head-mounted display device or a terminal device as discrete components.
  • the computer program product includes one or more computer programs or instructions.
  • the computer may be a general-purpose computer, a special-purpose computer, a computer network, a network device, a user device or other programmable device.
  • the computer program or instruction may be stored in a computer-readable storage medium, or transmitted from one computer-readable storage medium to another computer-readable storage medium, for example, the computer program or instruction may be transmitted from one website site, computer, server or data center to another website site, computer, server or data center by wired or wireless means.
  • the computer-readable storage medium may be any available medium that a computer can access or a data storage device such as a server, data center, etc. that integrates one or more available media.
  • the available medium may be a magnetic medium, for example, a floppy disk, a hard disk, a tape; it may also be an optical medium, for example, a digital video disc (DVD); it may also be a semiconductor medium, for example, a solid state drive (SSD).
  • At least one means one or more, and “more than one” means two or more.
  • “And/or” describes the association relationship of associated objects, indicating that three relationships may exist.
  • a and/or B can represent: A exists alone, A and B exist at the same time, and B exists alone, where A and B can be singular or plural.
  • At least one of the following" or similar expressions refers to any combination of these items, including any combination of single items or plural items.
  • at least one of a, b or c can represent: a, b, c, "a and b", “a and c", "b and c", or "a and b and c", where a, b, c can be single or multiple.
  • the character “/” generally indicates that the previous and next associated objects are in an “or” relationship.
  • the character “/” indicates that the previous and next associated objects are in a "divided” relationship.
  • the symbol “(a, b)” represents an open interval, the range is greater than a and less than b; "[a, b]” represents a closed interval, the range is greater than or equal to a and less than or equal to b; "(a, b]” represents a semi-open semi-closed interval, the range is greater than a and less than or equal to b; “(a, b]” represents a semi-open semi-closed interval, the range is greater than a and less than or equal to b.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本申请提供了一种图像数据的处理方法及相关设备，通过将主控设备发送给显示驱动设备的图像数据采用新的排布格式，将第一图像数据和第二图像数据进行间插处理形成第一间插区域，可以在数据传输过程中，减小显示驱动设备的时延，节省显示驱动设备的数据缓存量，降低显示驱动设备的成本。

Description

一种图像数据的处理方法及相关设备
相关申请的交叉引用
本申请要求在2022年11月01日提交中国专利局、申请号为202211366479.1、申请名称为“一种图像数据的处理方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及显示技术领域，尤其涉及一种图像数据的处理方法及相关设备。
背景技术
显示设备比如虚拟现实(virtual reality，VR)设备的角分辨率(points per degree，PPD)一直受关注，业界普遍认为PPD达到40°以上，可以去除VR设备的纱窗效应，使用户获得较好的画质体验。当前市面主流VR设备的显示屏单眼分辨率在2K*2K左右，若按照VR设备的视场角(angle of view，FOV)为100°计算得到PPD仅为20°，因此越来越多的VR设备计划搭载更大分辨率的屏幕，比如4K*4K分辨率的显示屏，致力于将PPD提升至40°。
发明内容
本申请提供的一种图像数据的处理方法及相关设备，用以减小数据缓存量并减小显示时延。
第一方面，本申请实施例提供的应用于主控设备(AP)的图像数据的处理方法，具体可以包括：根据获取的注视区信息生成至少一个图像数据组，至少一个图像数据组中的一个图像数据组包括第一图像数据和第二图像数据，第一图像数据与注视区信息对应。在第一格式模式下，根据注视区信息，对至少一个图像数据组中的每个图像数据组的第一图像数据和第二图像数据进行间插排列，生成第一格式图像。将生成的第一格式图像和注视区信息输出至显示驱动设备。
在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。在具体实施时，可以通过设备内部安装的红外相机等器件捕获用户眼球画面，利用眼动追踪算法等计算方法，实时计算用户眼球在屏幕上的注视点坐标和大小。
在本申请一些实施例中，当应用于诸如VR设备等需要区分左右眼显示图像的设备时，可以生成左眼图像数据组和右眼图像数据组，即至少一个图像数据组可以包括左眼图像数据组和右眼图像数据组。当应用于不需要区分左右眼显示图像的设备时，可以直接生成一个图像数据组。
在本申请一些实施例中，VR设备的渲染引擎可以获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染，生成第一图像数据，以降低渲染功耗和算力。第一图像数据为高画质小FOV的前景画面，因此第一图像数据也可以称作前景图像数据，第二图像数据为低画质大FOV的背景画面，因此第二图像数据也可以称作背景图像数据。
在本申请一些实施例中，为了降低算力和渲染功耗，在一个图像数据组中，第一图像数据和第二图像数据的数据量相当，即第一图像数据和第二图像数据的数据行数可以相同。例如，在左眼图像数据组和右眼图像数据组中，第一图像数据和第二图像数据的大小为1536*1536。并且，左眼图像数据组可以位于左半帧，右眼图像数据组可以位于右半帧。
在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据，即背景区域不包括第一图像数据。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。
相应地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时， 根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的运动到成像时延(motion-to-photon，MTP)。
在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区，或者位于数据有效区的前一行或前几行数据中。
在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据组。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，需要进行上述生成第一格式图像后输出；第二格式为顺序格式，可以将上述图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像输出；第三格式为普通格式，不进行人眼追踪识别，直接输出与屏幕的有效区大小一致的第三格式图像。
在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析。进一步地，在本申请一些实施例中，第一格式模式切换指令可以携带在数据消隐区。同理，在本申请一些实施例中，第二格式模式切换指令和第三格式模式切换指令可以携带在数据消隐区。在本申请一些实施例中，不管是采用哪种模式输出数据，为了降低数据传输量，降低带宽，主控设备AP均可以在数据输出之前进行数据打包压缩。相应地，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩，才会执行后续操作步骤。
在本申请一些实施例中，为了降低端口带宽数据，在第一格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。
在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。
在本申请一些实施例中，在第一间插区域内，第一图像数据与第二图像数据的比例一般与第一放大倍数相关。具体地，在第一间插区域内，第一图像数据与第二图像数据的比例可以为n：1，n为第一放大倍数，例如在第一间插区域，第一图像数据和第二图像数据的比例关系可以为2.5:1。
在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域内，第一图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第一图像数据和第二图像数据。并且，一个重复周期内包含的第一图像数据和第二图像数据的数据量应尽量小。
由于第一放大倍数有可能不是整数倍，因此，在一个重复周期内，第一图像数据和第二图像数据可以间插排列。在一个重复周期内，间插排列的最小单位可以是单行数据或者多行数据或者亚行(小于一行)数据，即在一个重复周期内，连续排列的第一图像数据和连续排列的第二图像数据可以是一整行数据，或多行数据，或小于一行数据。
具体地，在一个重复周期内间插排列的最小单位为单行数据时，可以在多行的第一图像数据之后或之前间插单行的第二图像数据。例如，以第一放大倍数为2.5倍为例，重复周期内可以按照第一图像数据的行数：第二图像数据的行数：第一图像数据的行数：第二图像数据的行数的比例为2:1:3:1进行排列，具体地，在一个重复周期内可以按照两行第一图像数据→一行第二图像数据→三行第一图像数据→一行第二图像数据进行排列。
具体地，在一个重复周期内间插排列的最小单位为多行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：m*n行的第一图像数据：m行的第二图像数据，其中，m*n和m可以均为大于1的整数。例如，以第一放大倍数为2.5倍为例，为满足m*n和m均为大于1的整数，则m可以等于2，重复周期内可以按照五行第一图像数据→两行第二图像数据进行排列。
进一步地，m还可以为其他正数，例如m可以为小于1的正数，或m可以为大于1的小数。例如，以第一放大倍数为2.5倍为例，当m等于0.4时，重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列；当m等于1.2时，重复周期内可以按照三行第一图像数据→1.2行第二图像数据进行排列。
具体地，在一个重复周期内间插排列的最小单位为亚行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：1行的第一图像数据：1/n行的第二图像数据。例如，以第一放大倍数为2.5倍为例，一个重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列。
上述一个重复周期内的第一图像数据和第二图像数据的排列方式仅是举例说明，其他可能实现的方式均在本申请保护范围内。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。具体地，在第一格式图像中第一间插区域的范围可以为：行；其中，x取值范围为[1，Q-R]，x为注视区信息的首行行数，n为第一放大倍数，R为第一图像数据的总行数，Q为屏幕有效区的总行数。例如：以第一放大倍数n＝2.5，R＝1536，Q＝3840为例，第一间插区域的范围可以为：行，x的取值范围为[1，2304]。
相应地，随着第一间插区域的位置变化，背景区域在第一格式图像中的位置也会变化，背景区域可以包括第一背景区域和第二背景区域，第一间插区域位于第一背景区域和第二背景区域之间。具体地，当注视区信息的首行行数满足条件时，在第一间插区域之前不存在第一背景区域，仅在第一间插区域之后设置第二背景区域。在注视区信息的首行行数满足条件时，在第一间插区域之前存在第一背景区域，在第一格式图像中的第一背景区域的范围可以为：行。具体地，当注视区信息的首行行数满足条件时，在第一间插区域之后不存在第二背景区域，仅在第一间插区域之前设置第一背景区域。在注视区信息的首行行数满足条件时，在第一间插区域之后存在第二背景区域，在第一格式图像中的第二背景区域的范围可以为： 行；其中，P为第一格式图像中数据的总行数。例如：以第一放大倍数n＝2.5，R＝1536，P＝3072为例，当时，不存在第一背景区域；当时，第一背景区域的范围可以为行；当时，不存在第二背景区域；当时，第二背景区域的范围为行。
在本申请一些实施例中，VR设备的渲染引擎获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中按照第一间插区域、第二间插区域和第二背景区域的顺序排列。又如，过渡区位置位于屏幕的最上方时，在第一个格式图像中，可以按照第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，注视区位置位于屏幕的中部时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。又如，过渡区位置位于屏幕的最下方时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域的顺序排列。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中按照第一背景区域、第二间插区域、第一间插区域的顺序排列。
在本申请一些实施例中，在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。
在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例 一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。
在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。
第二方面，本申请实施例提供的应用于显示驱动设备(DDIC)的图像数据的处理方法，具体可以包括：接收主控设备发送的第一格式图像和注视区信息。将第一格式图像中的第二图像数据按照第一放大倍数进行放大。根据注视区位置，将第一格式图像中的第一图像数据与放大后的第二图像数据进行融合生成显示图像。
在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区，或者位于数据有效区的前一行或前几行数据中。
在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，主控设备会生成第一格式图像后输出；第二格式为顺序格式，主控设备会将图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像并输出；第三格式为普通格式，不进行人眼追踪识别，主控设备直接输出与屏幕的有效区大小一致的第三格式图像。因此，显示驱动设备有可能会接收到第一格式图像、第二格式图像或第三格式图像。
在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第一格式模式切换指令。并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第二格式模式切换指令或第三格式模式切换指令。并且，在本申请一些实施例中，显示驱动设备可以在数据消隐区中解析出第一格式模式切换指令、第二格式模式切换指令或第三格式模式切换指令。
在本申请一些实施例中，为了降低数据传输量，降低带宽，主控设备AP可以发送打包压缩后的数据。因此，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩，才能得到第一格式图像和注视区信息。
在本申请一些实施例中，为了降低端口带宽数据，主控设备AP可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。因此，显示驱动设备可以通过一个或多个端口分别接收数据。
在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。
具体地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时，根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根 据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的MTP。
在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。在显示驱动设备中最终生成的显示图像中，第一图像数据的位置也会根据注视区位置进行调节。例如，注视区位置位于屏幕的最上方时，在显示图像中第一图像数据的位置排列在最上方。又如，注视区位置位于屏幕的最下方时，在显示图像中第一图像数据的位置排列在最下方。再如，注视区位置位于屏幕的中部时，在显示图像中第一图像数据的位置排列在中间位置。具体地，在显示图像中第一图像数据的范围可以为：[x+1，x+R]行；x为注视区信息的首行行数，R为第一图像数据的总行数。对应地，在显示图像中第二图像数据的范围为：[1，x]行，[x+R+1，Q]行；其中，x∈[1，Q-R-1]，Q为显示图像中数据的总行数。例如：以R＝1536，Q＝3840为例，第一图像数据的范围可以为：[x+1，x+1536]行，第二图像数据的范围可以为：[1，x]行，[x+1537，3840]行，x的取值范围为[1，2303]。
在本申请一些实施例中，主控设备在生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。最终显示图像中，第一图像数据和第三图像数据的位置也随之变化。例如，注视区位置位于屏幕的最上方时，在显示图像中按照第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，过渡区位置位于屏幕的最上方时，在显示图像中按照第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，注视区位置位于屏幕的中部时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，过渡区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据的顺序排列。又如，注视区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据的顺序排列。
在本申请一些实施例中，显示驱动设备还可以将第一格式图像中的第三图像数据按照第二放大倍数进行放大，并将第一格式图像中的第一图像数据与放大后的第二图像数据和放大后的第三图像数据进行融合生成显示图像。在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。
在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。
在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。
第三方面，本申请提供一种主控设备，包括至少一个处理器，所述至少一个处理器与至少一个存储 器耦合，所述至少一个处理器用于读取所述至少一个存储器所存储的计算机程序，以执行上述第一方面中的任意一种图像数据的处理方法。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面，本申请提供一种显示驱动设备，包括至少一个处理器，所述至少一个处理器与至少一个存储器耦合，所述至少一个处理器用于读取所述至少一个存储器所存储的计算机程序，以执行上述第二方面中的任意一种图像数据的处理方法。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，本申请提供一种成像系统，包括上述第三方面的主控设备和第四方面的显示驱动设备。
上述第二方面至第五方面可以达到的技术效果可以参照上述第一方面中任一可能设计可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为现有的VR设备的工作示意图；
图2为本申请实施例提供的应用于主控设备的图像数据的处理方法的流程示意图；
图3为本申请实施例提供的第一格式图像的一种结构示意图；
图4为本申请实施例提供的第一格式图像的另一种结构示意图；
图5为本申请实施例提供的第一格式图像的另一种结构示意图；
图6为本申请实施例提供的第一格式图像的另一种结构示意图；
图7为本申请实施例提供的应用于显示驱动设备的图像数据的处理方法的流程示意图；
图8为本申请实施例提供的显示图像的一种结构示意图；
图9为本申请实施例提供的显示图像的另一种结构示意图；
图10为本申请实施例提供的显示图像的另一种结构示意图；
图11为本申请实施例提供的显示图像的另一种结构示意图；
图12为本申请实施例提供的显示图像的另一种结构示意图；
图13为本申请实施例提供的显示图像的另一种结构示意图；
图14为本申请实施例提供的成像系统的工作示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本申请更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。本申请中所描述的表达位置与方向的词，均是以附图为例进行的说明，但根据需要也可以做出改变，所做改变均包含在本申请保护范围内。本申请的附图仅用于示意相对位置关系不代表真实比例。
需要说明的是，在以下描述中阐述了具体细节以便于充分理解本申请。但是本申请能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广。因此本申请不受下面公开的具体实施方式的限制。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
为了便于了解本申请实施例，下面首先介绍本申请实施例涉及的相关技术。
现有的VR设备会在其内侧安装红外相机捕获用户眼球画面，利用眼动追踪算法，实时计算用户眼球在屏幕上的注视点坐标。之后，VR设备的渲染引擎在获取注视点坐标后，利用注视点渲染技术进行图像渲染，对左右眼分别进行前景画面(高画质小FOV)和背景画面(低画质大FOV)的绘制，以降低渲染功耗和算力。从功耗和成本等方面的考虑，当前VR设备的主芯片(application process，AP)一般移动通信行业处理器(mobile industry processor interface，MIPI)接口只有2个端口(port)。由于port数量和传输速率的限制，无法将全幅传输2*4K*4K@90Hz/120Hz的帧数据传输给显示驱动芯片(display driver integrated circuit，DDIC)。于是注视点点屏技术应运而生，充分利用人眼特性，将原来双眼的2*4K*4K@90Hz/120Hz带宽数据降低至3K*3K@90Hz/120Hz带宽数据，2个port就可以传输双 眼图像数据。
具体地，参照图1，注视点点屏技术具体做法为：
AP根据注视点坐标生成左眼图像数据组(1536*3072)的前景图像和背景图像，以及右眼图像数据组(1536*3072)的前景图像和背景图像，之后将前景图像和背景图像顺序排列生成左眼第二格式图像和右眼第二格式图像并进行压缩(DSCE)，AP通过两个端口分别将左眼第二格式图像和右眼第二格式图像发送给DDIC。
DDIC将通过不同端口接收到的左眼第二格式图像和右眼第二格式图像解压(DSCD)后，将其中的前景图像缓存半帧后，将背景图像(1536*1536)数据分别放大到显示图像的像素数据大小(3840*3840)，之后根据AP传来的注视点坐标，将前景图像填入显示图像中对应的区域。
该技术缺点为：由于将画面分成了顺序排列的前景图像和背景图像，此时DDIC无法做全在线通路，DDIC必须开辟半帧大小的内存，例如1.5K*1.5K的内存来缓存前景图像，导致VR设备的显示通路增加半帧的时延(5.6ms@90Hz/4.2ms@120Hz)，且DDIC会增加额外的内存成本。
为了解决注视点点屏技术所带来的半帧时延和DDIC内存成本增加的问题，本申请提供了一种图像数据的处理方法及相关设备。
本申请实施例提供的图像数据的处理方法及相关设备可以应用于可以识别出用户注视位置的显示设备中。显示设备可以是可穿戴设备，可穿戴设备可以是近眼显示(near eye display，NED)设备，例如VR眼镜，或者VR头盔等。例如，用户佩戴NED设备进行游戏、阅读、观看电影(或电视剧)、参加虚拟会议、参加视频教育、或视频购物等。显示设备还可以是具有显示屏的终端设备，例如手机、显示器、电视、车载抬头显示系统(head-up display，HUD)等等。
本申请实施例提供的应用于主控设备(AP)的图像数据的处理方法，参照图2，具体可以包括以下步骤：
S101、根据获取的注视区信息生成至少一个图像数据组，至少一个图像数据组中的一个图像数据组包括第一图像数据和第二图像数据，第一图像数据与注视区信息对应。
在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。在具体实施时，可以通过设备内部安装的红外相机等器件捕获用户眼球画面，利用眼动追踪算法等计算方法，实时计算用户眼球在屏幕上的注视点坐标和大小。
在本申请一些实施例中，当应用于诸如VR设备等需要区分左右眼显示图像的设备时，可以生成左眼图像数据组和右眼图像数据组，即至少一个图像数据组可以包括左眼图像数据组和右眼图像数据组。当应用于不需要区分左右眼显示图像的设备时，可以直接生成一个图像数据组。
在本申请一些实施例中，VR设备的渲染引擎可以获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染，生成第一图像数据，以降低渲染功耗和算力。第一图像数据为高画质小FOV的前景画面，因此第一图像数据也可以称作前景图像数据，第二图像数据为低画质大FOV的背景画面，因此第二图像数据也可以称作背景图像数据。
在本申请一些实施例中，为了降低算力和渲染功耗，在一个图像数据组中，第一图像数据和第二图像数据的数据量相当，即第一图像数据和第二图像数据的数据行数可以相同。例如，在左眼图像数据组和右眼图像数据组中，第一图像数据和第二图像数据的大小为1536*1536。并且，左眼图像数据组可以位于左半帧，右眼图像数据组可以位于右半帧。
S102、在第一格式模式下，根据注视区信息，对至少一个图像数据组中的每个图像数据组的第一图像数据和第二图像数据进行间插排列，生成第一格式图像。
在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据，即背景区域不包括第一图像数据。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第 一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。
S103、将生成的第一格式图像和注视区信息输出至显示驱动设备。相应地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时，根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的运动到成像时延(motion-to-photon，MTP)。
在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区，或者位于数据有效区的前一行或前几行数据中。
在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据组。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，需要进行上述步骤S102生成第一格式图像后输出；第二格式为顺序格式，可以将上述步骤S101中生成的图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像输出；第三格式为普通格式，不进行人眼追踪识别，直接输出与屏幕的有效区大小一致的第三格式图像。
在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析。进一步地，在本申请一些实施例中，第一格式模式切换指令可以携带在数据消隐区。同理，在本申请一些实施例中，第二格式模式切换指令和第三格式模式切换指令可以携带在数据消隐区。
在本申请一些实施例中，不管是采用哪种模式输出数据，为了降低数据传输量，降低带宽，主控设备AP均可以在数据输出之前进行数据打包压缩(DSCE)。相应地，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩(DSCD)，才会执行后续操作步骤。
在本申请一些实施例中，为了降低端口带宽数据，在第一格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。
在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。
在本申请一些实施例中，在第一间插区域内，第一图像数据与第二图像数据的比例一般与第一放大倍数相关。具体地，在第一间插区域内，第一图像数据与第二图像数据的比例可以为n：1，n为第一放大倍数，例如在第一间插区域，第一图像数据和第二图像数据的比例关系可以为2.5:1。
在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域内，第一图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第一图像数据和第二图像数据。并且，一个重复周期内包含的第一图像数据和第二图像数据的数据量应尽量小。
由于第一放大倍数有可能不是整数倍，因此，在一个重复周期内，第一图像数据和第二图像数据可以间插排列。在一个重复周期内，间插排列的最小单位可以是单行数据或者多行数据或者亚行(小于一行)数据，即在一个重复周期内，连续排列的第一图像数据和连续排列的第二图像数据可以是一整行数据，或多行数据，或小于一行数据。
具体地，在一个重复周期内间插排列的最小单位为单行数据时，可以在多行的第一图像数据之后或之前间插单行的第二图像数据。例如，参照图3，以第一放大倍数为2.5倍为例，重复周期内可以按照第一图像数据的行数：第二图像数据的行数：第一图像数据的行数：第二图像数据的行数的比例为2:1:3:1进行排列，具体地，在一个重复周期内可以按照两行第一图像数据→一行第二图像数据→三行第一图像 数据→一行第二图像数据进行排列。
具体地，在一个重复周期内间插排列的最小单位为多行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：m*n行的第一图像数据：m行的第二图像数据，其中，m*n和m可以均为大于1的整数。例如，参照图4，以第一放大倍数为2.5倍为例，为满足m*n和m均为大于1的整数，则m可以等于2，重复周期内可以按照五行第一图像数据→两行第二图像数据进行排列。
进一步地，m还可以为其他正数，例如m可以为小于1的正数，或m可以为大于1的小数。例如，以第一放大倍数为2.5倍为例，当m等于0.4时，重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列；当m等于1.2时，重复周期内可以按照三行第一图像数据→1.2行第二图像数据进行排列。
具体地，在一个重复周期内间插排列的最小单位为亚行数据时，在一个重复周期内，第一图像数据与第二图像数据可以按照以下数据行数进行周期排列：1行的第一图像数据：1/n行的第二图像数据。例如，以第一放大倍数为2.5倍为例，一个重复周期内可以按照一行第一图像数据→0.4行第二图像数据进行排列。
上述一个重复周期内的第一图像数据和第二图像数据的排列方式仅是举例说明，其他可能实现的方式均在本申请保护范围内。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。具体地，在第一格式图像中第一间插区域的范围可以为：行；其中，x取值范围为[1，Q-R]，x为注视区信息的首行行数，n为第一放大倍数，R为第一图像数据的总行数，Q为屏幕有效区的总行数。例如：以第一放大倍数n＝2.5，R＝1536，Q＝3840为例，第一间插区域的范围可以为：行，x的取值范围为[1，2304]。
相应地，随着第一间插区域的位置变化，背景区域在第一格式图像中的位置也会变化，背景区域可以包括第一背景区域和第二背景区域，第一间插区域位于第一背景区域和第二背景区域之间。具体地，参照图3，当注视区信息的首行行数满足条件时，在第一间插区域之前不存在第一背景区域，仅在第一间插区域之后设置第二背景区域。参照图5，在注视区信息的首行行数满足条件时，在第一间插区域之前存在第一背景区域，在第一格式图像中的第一背景区域的范围可以为：行。参照图4，具体地，当注视区信息的首行行数满足条件时，在第一间插区域之后不存在第二背景区域，仅在第一间插区域之前设置第一背景区域。参照图5，在注视区信息的首行行数满足条件时，在第一间插区域之后存在第二背景区域，在第一格式图像中的第二背景区域的范围可以为：行；其中，P为第一格式图像中数据的总行数。例如：以第一放大倍数n＝2.5，R＝1536，P＝3072为例，当时，不存在第一背景区域；当时，第一背景区域的范围可以为行；当时，不存在第二背景区域；当时，第二背景区域的范围为行。
在本申请一些实施例中，VR设备的渲染引擎获取注视区信息中的注视区位置坐标，利用注视点渲染技术进行图像渲染生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中按照第一间插区域、第二间插区域和第二背景区域的顺序排列。又如，过渡区位置位于屏幕的最上方时，在第一个格式图像中，可以按照第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，参照图6，注视区位置位于屏幕的中部时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域、第二背景区域的顺序排列。又如，过渡区位 置位于屏幕的最下方时，在第一个格式图像中，可以按照第一背景区域、第二间插区域、第一间插区域、第二间插区域的顺序排列。又如，注视区位置位于屏幕的最下方时，在第一个格式图像中按照第一背景区域、第二间插区域、第一间插区域的顺序排列。
在本申请一些实施例中，在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。
在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。
在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。
相应地，本申请实施例提供的应用于显示驱动设备(DDIC)的图像数据的处理方法，参照图7，具体可以包括以下步骤：
S201、接收主控设备发送的第一格式图像和注视区信息。
在本申请一些实施例中，注视区信息可以包括人眼在屏幕的注视区位置坐标以及注视区的大小等信息。具体地，可以选取注视区的左上角坐标为注视区的原点，用(x，y)表示。注视区信息可以携带在第一格式图像中，例如可以位于数据消隐区中，或者位于数据有效区的前一行或前几行数据中。
在本申请一些实施例中，主控设备AP可以具有多种模式可供选择，可以根据实际需要选择不同模式传输生成的图像数据组。例如主控设备可以选择采用第一格式、第二格式或第三格式进行数据输出。第一格式为间插格式，主控设备会生成第一格式图像后输出；第二格式为顺序格式，主控设备会将图像数据组中的第一图像数据和第二图像数据顺序排列后生成的第二格式图像并输出；第三格式为普通格式，不进行人眼追踪识别，主控设备直接输出与屏幕的有效区大小一致的第三格式图像。因此，显示驱动设备有可能会接收到第一格式图像、第二格式图像或第三格式图像。
在本申请一些实施例中，主控设备还可以向显示驱动设备发送第一格式模式切换指令，以便告知显示驱动设备采用第一格式模式对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第一格式模式切换指令。并且，主控设备还可以向显示驱动设备发送第二格式模式切换指令或第三格式模式切换指令，以便告知显示驱动设备采用第二格式模式或第三格式模式切换指令对接收到的数据进行解析，对应地，显示驱动设备会接收到主控设备发送的第二格式模式切换指令或第三格式模式切换指令。并且，在本申请一些实施例中，显示驱动设备可以在数据消隐区中解析出第一格式模式切换指令、第二格式模式切换指令或第三格式模式切换指令。
在本申请一些实施例中，为了降低数据传输量，降低带宽，主控设备AP可以发送打包压缩后的数据。因此，显示驱动设备DDIC在接收到压缩的数据后，需要先进行数据解压缩，才能得到第一格式图像和注视区信息。
在本申请一些实施例中，为了降低端口带宽数据，主控设备AP可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组对应的第一格式图像发送给DDIC。在第二格式模式下，主控设备可以采用一个或多个端口分别将左眼图像数据组和右眼图像数据组发送给DDIC。在第三格式模式下，主控设备可以采用一个或多个端口将图像数据发送给DDIC。因此，显示驱动设备可以通过一个或多个端口分别接收数据。
在本申请一些实施例中，在第一格式图像中可以包括第一间插区域和背景区域。第一间插区域包括全部的第一图像数据和部分的第二图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列。背景区域仅包括部分的第二图像数据。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会跟随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要跟随注视区位置进行调节，在第一格式图像中，第一间插区域和背景区域的位置可以灵活变化。例如，注视区位置位于屏幕的最上方时，在第一个格式图像中第一间插区域排列在背景区域之前。又如，注视区位置位 于屏幕的最下方时，在第一个格式图像中，背景区域排列在第一间插区域之前。再如，注视区位置位于屏幕的中部时，在第一个格式图像中，背景区域可以分为两部分，即第一背景区域和第二背景区域，第一背景区域排列在第一间插区域之前，第二背景区域排列在第一间插区域之后。
S202、将第一格式图像中的第二图像数据按照第一放大倍数进行放大。
S203、根据注视区位置，将第一格式图像中的第一图像数据与放大后的第二图像数据进行融合生成显示图像。
具体地，显示驱动设备可以将第一格式图像中的第二图像数据按照第一放大倍数进行放大的同时，根据注视区信息与第一图像数据进行融合生成显示图像。由于显示驱动设备接收到的第一格式图像中根据注视区信息间插排列了图像数据，在第一间插区域内第一图像数据和第二图像数据间插排列，使得显示驱动设备在接收第一间插区域的图像数据过程中，可以随着将接收到的第二图像数据进行放大的同时，直接与接收到的第一图像数据进行融合，无需等待第一图像数据全部缓存完成后才开始放大第二图像数据并进行融合，因此可以减小缓存的数据量，降低内存成本，并且，减少了由于需要缓存带来的半帧时延，降低了设备的MTP。
在本申请一些实施例中，第二图像数据的第一放大倍数是由第二图像数据的行数和屏幕的有效区行数共同决定的。具体地，第一放大倍数等于屏幕的有效区行数除以第二图像数据的行数，例如，第二图像数据的大小为1536*1536，屏幕的有效区尺寸为3840*3840，则第一放大倍数可以为2.5倍。
在本申请一些实施例中，由于第一图像数据呈现在屏幕的位置会随注视区位置的变化而变化，因此，在第一格式图像中，由第一图像数据和第二图像数据间插形成的第一间插区域的位置需要根据注视区位置进行调节。在显示驱动设备中最终生成的显示图像中，第一图像数据的位置也会根据注视区位置进行调节。例如，参照图8，注视区位置位于屏幕的最上方时，在显示图像中第一图像数据的位置排列在最上方。又如，参照图9，注视区位置位于屏幕的最下方时，在显示图像中第一图像数据的位置排列在最下方。再如，参照图10，注视区位置位于屏幕的中部时，在显示图像中第一图像数据的位置排列在中间位置。具体地，在显示图像中第一图像数据的范围可以为：[x+1，x+R]行；x为注视区信息的首行行数，R为第一图像数据的总行数。对应地，在显示图像中第二图像数据的范围为：[1，x]行，[x+R+1，Q]行；其中，x∈[1，Q-R-1]，Q为显示图像中数据的总行数。例如：以R＝1536，Q＝3840为例，第一图像数据的范围可以为：[x+1，x+1536]行，第二图像数据的范围可以为：[1，x]行，[x+1537，3840]行，x的取值范围为[1，2303]。
在本申请一些实施例中，主控设备在生成第一图像数据时，还可以生成第三图像数据，第三图像数据为中画质中FOV的中景画面，因此第三图像数据也可以称作中景图像数据。因此，一个图像数据组还可以包括第三图像数据；对应地，第一间插区域还可以包括部分的第三图像数据，在第一间插区域内第一图像数据、第三图像数据和第二图像数据可以间插排列。并且，第一格式图像中还可以包括第二间插区域，在第二间插区域内可以包括部分的第三图像数据和部分的第二图像数据，在第二间插区域内第三图像数据和第二图像数据可以间插排列。在第一个格式图像中，第二间插区域排列在第一间插区域和背景区域之间。由于在第一格式图像中第一间插区域的位置需要跟随注视区位置进行调节，因此，在第一格式图像中，第二间插区域的位置可以随着第一间插区域的位置灵活变化。最终显示图像中，第一图像数据和第三图像数据的位置也随之变化。例如，注视区位置位于屏幕的最上方时，在显示图像中按照第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，参照图11，过渡区位置位于屏幕的最上方时，在显示图像中按照第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。其中过渡区指的是以注视区为中心且边界不超过背景区域的边界，过渡区内显示第三图像数据。又如，参照图12，注视区位置位于屏幕的中部时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据和第二图像数据的顺序排列。又如，参照图13，过渡区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据、第三图像数据的顺序排列。又如，注视区位置位于屏幕的最下方时，在显示图像中按照第二图像数据、第三图像数据、第一图像数据的顺序排列。
在本申请一些实施例中，显示驱动设备还可以将第一格式图像中的第三图像数据按照第二放大倍数进行放大，并将第一格式图像中的第一图像数据与放大后的第二图像数据和放大后的第三图像数据进行融合生成显示图像。在显示驱动设备中可以对第三图像数据以第二放大倍数进行放大，第二放大倍数一般小于第一放大倍数。例如第一放大倍数为2.5倍，第二放大倍数可以为1.5倍。
在本申请一些实施例中，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例一般与第二放大倍数相关。具体地，在第一间插区域和第二间插区域内，第三图像数据与第二图像数据的比例可以为h：1，h为第二放大倍数，例如在第一间插区域和第二间插区域，第三图像数据和第二图像数据的比例关系为1.5:1。
在本申请一些实施例中，为了尽可能减小显示驱动设备中缓存的数据量，在第一间插区域和第二间插区域内，第三图像数据和第二图像数据的排列格式可以为以重复周期循环排列，一个重复周期内同时包括第三图像数据和第二图像数据。并且，一个重复周期内包含的第三图像数据和第二图像数据的数据量应尽量小。对于第二间插区域内的重复周期的具体排布方式可以参考上述第一间插区域内的重复周期的排布方式，再次不做赘述。
基于以上实施例，本申请还提供一种主控设备，该主控设备包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储计算机程序指令，所述电子设备运行时，所述至少一个处理器执行本申请实施例所描述的各方法中主控设备所执行的功能。
基于以上实施例，本申请还提供一种显示驱动设备，该显示驱动设备包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储计算机程序指令，所述电子设备运行时，所述至少一个处理器执行本申请实施例所描述的各方法中显示驱动设备所执行的功能。
基于以上实施例，参照图14，本申请还提供一种成像系统，包括上述主控设备和显示驱动设备。
本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于头戴式显示设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于头戴式显示设备或终端设备中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系。在本申请的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。本申请中，符号“(a，b)”表示开区间，范围为大于a且小于b；“[a，b]”表示闭区间，范围为大于或等于a且小于或等于b；“(a，b]”表示半开半闭区间，范围为大于a且小于或等于b；“(a，b]”表示半开半闭区间，范围为大于a且小于或 等于b。另外，在本申请中，“示例的”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。或者可理解为，使用示例的一词旨在以具体方式呈现概念，并不对本申请构成限定。
可以理解的是，在本申请中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。术语“第一”、“第二”等类似表述，是用于分区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的方案进行示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

  1. 一种图像数据的处理方法，其特征在于，应用于主控设备，所述处理方法包括：
    根据获取的注视区信息生成至少一个图像数据组，所述至少一个图像数据组中的一个图像数据组包括第一图像数据和第二图像数据，所述第一图像数据与所述注视区信息对应；
    在第一格式模式下，根据所述注视区信息，对所述至少一个图像数据组中的每个图像数据组的第一图像数据和第二图像数据进行间插排列，生成第一格式图像；在所述第一格式图像中包括第一间插区域和背景区域，所述第一间插区域包括全部的所述第一图像数据和部分的所述第二图像数据，所述背景区域仅包括部分的所述第二图像数据，在所述第一间插区域内所述第一图像数据和所述第二图像数据间插排列；所述第一间插区域在所述第一格式图像中的位置跟随所述注视区信息的变化而变化；
    将生成的所述第一格式图像和所述注视区信息输出至显示驱动设备，以使所述显示驱动设备将所述第一格式图像中的所述第二图像数据按照第一放大倍数进行放大的同时，根据所述注视区信息与所述第一图像数据进行融合生成显示图像。
  2. 如权利要求1所述的处理方法，其特征在于，在所述第一间插区域内，所述第一图像数据与所述第二图像数据的比例与所述第一放大倍数相关。
  3. 如权利要求2所述的处理方法，其特征在于，在所述第一间插区域内，所述第一图像数据与所述第二图像数据的比例为n：1，n为所述第一放大倍数。
  4. 如权利要求2或3所述的处理方法，其特征在于，在所述第一间插区域内，所述第一图像数据和所述第二图像数据的排列格式为以重复周期循环排列。
  5. 如权利要求4所述的处理方法，其特征在于，在一个所述重复周期内，在多行的所述第一图像数据之后或之前间插单行的所述第二图像数据。
  6. 如权利要求4所述的处理方法，其特征在于，在一个所述重复周期内，所述第一图像数据与所述第二图像数据按照以下数据行数进行周期排列：
    m*n行的所述第一图像数据：m行的所述第二图像数据，其中，m为正数。
  7. 如权利要求6所述的处理方法，其特征在于，m*n和m均为大于1的整数。
  8. 如权利要求6所述的处理方法，其特征在于，在一个所述重复周期内，所述第一图像数据与所述第二图像数据按照以下数据行数进行周期排列：
    1行的所述第一图像数据：1/n行的所述第二图像数据。
  9. 如权利要求3-8任一项所述的处理方法，其特征在于，在所述第一格式图像中所述第一间插区域的范围为：行；其中，n为所述第一放大倍数，R为所述第一图像数据的总行数，Q为屏幕有效区的总行数，x为所述注视区信息的首行行数，x取值范围为[1，Q-R]。
  10. 如权利要求9所述的处理方法，其特征在于，所述背景区域包括第一背景区域和第二背景区域；
    在所述注视区信息的首行行数满足条件时，在所述第一格式图像中存在所述第一背景区域，所述第一背景区域的范围为：行；
    在所述注视区信息的首行行数满足条件时，在所述第一格式图像中存在所述第二背景区域，所述第二背景区域的范围为：行；其中，P为所述第一格式图像中数据的总行数。
  11. 如权利要求1-10任一项所述的处理方法，其特征在于，一个所述图像数据组还包括第三图像数据；
    所述第一间插区域还包括部分的所述第三图像数据，在所述第一间插区域内所述第一图像数据、所述第三图像数据和所述第二图像数据间插排列；
    所述第一格式图像中还包括第二间插区域，所述第二间插区域内包括部分的所述第三图像数据和部分的所述第二图像数据，在所述第二间插区域内所述第三图像数据和所述第二图像数据间插排列。
  12. 如权利要求11所述的处理方法，其特征在于，在所述第一间插区域和所述第二间插区域内，所述第二图像数据与所述第三图像数据的比例与第二放大倍数相关，所述第二放大倍数为所述驱动设备将所述第一格式图像中的所述第三图像数据进行放大的倍数。
  13. 如权利要求12所述的处理方法，其特征在于，在所述第一间插区域和所述第二间插区域内，所述第三图像数据与所述第二图像数据的比例为h：1，h为所述第二放大倍数，且h小于n。
  14. 如权利要求12或13所述的处理方法，其特征在于，在所述第一间插区域和所述第二间插区域内，所述第二图像数据和所述第三图像数据的排列格式为以重复周期循环排列。
  15. 如权利要求1-14任一项所述的处理方法，其特征在于，还包括：向所述显示驱动设备发送所述第一格式模式切换指令。
  16. 如权利要求1-15任一项所述的处理方法，其特征在于，将生成的所述第一格式图像和所述注视区信息输出至显示驱动设备，包括：
    将所述注视区信息加入所述第一格式图像中的数据消隐区中，或将所述注视区信息加入所述第一格式图像中的数据有效区的前一行或前多行数据中；
    将携带有注视区信息的所述第一格式图像输出至所述显示驱动设备。
  17. 如权利要求1-16任一项所述的处理方法，其特征在于，所述至少一个图像数据组包括左眼图像数据组和右眼图像数据组。
  18. 一种图像数据的处理方法，其特征在于，应用于显示驱动设备，所述处理方法包括：
    接收主控设备发送的第一格式图像和注视区信息；在所述第一格式图像中包括第一间插区域和背景区域，所述第一间插区域包括全部的第一图像数据和部分的第二图像数据，所述背景区域仅包括部分的所述第二图像数据，在所述第一间插区域内所述第一图像数据和所述第二图像数据间插排列；所述第一间插区域在所述第一格式图像中的位置跟随所述注视区信息的变化而变化；
    将所述第一格式图像中的所述第二图像数据按照第一放大倍数进行放大；
    根据所述注视区位置，将所述第一格式图像中的所述第一图像数据与放大后的所述第二图像数据进行融合生成显示图像。
  19. 如权利要求18所述的处理方法，其特征在于，在所述显示图像中所述第一图像数据的范围为：[x+1，x+R]行；
    在所述显示图像中所述第二图像数据的范围为：[1，x]行，[x+R+1，Q]行；
    其中，x∈[1，Q-R-1]，x为所述注视区信息的首行行数，R为所述第一图像数据的总行数，Q为所述显示图像中数据的总行数。
  20. 如权利要求18或19所述的处理方法，其特征在于，一个所述图像数据组还包括第三图像数据；
    所述第一间插区域还包括部分的所述第三图像数据，在所述第一间插区域内所述第一图像数据、所述第三图像数据和所述第二图像数据间插排列；
    所述第一格式图像中还包括第二间插区域，所述第二间插区域内包括部分的所述第三图像数据和部分的所述第二图像数据，在所述第二间插区域内所述第三图像数据和所述第二图像数据间插排列；
    所述处理方法还包括：将所述第一格式图像中的所述第三图像数据按照第二放大倍数进行放大；
    将所述第一格式图像中的所述第一图像数据与放大后的所述第二图像数据和放大后的所述第三图像数据进行融合生成显示图像。
  21. 如权利要求18-20任一项所述的处理方法，其特征在于，还包括：接收所述主控设备发送的所述第一格式模式切换指令。
  22. 一种主控设备，其特征在于，包括存储器和一个或多个处理器；其中，所述存储器存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述主控设备执行如权利要求1至17中任一项所述的图像数据的处理方法。
  23. 一种显示驱动设备，其特征在于，包括存储器和一个或多个处理器；其中，所述存储器存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述显示驱动设备执行如权利要求18至21中任一项所述的图像数据的处理方法。
  24. 一种成像系统，其特征在于，包括如权利要求22所述的主控设备和如权利要求23所述的显示驱动设备。
PCT/CN2023/127195 2022-11-01 2023-10-27 一种图像数据的处理方法及相关设备 WO2024093835A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211366479.1 2022-11-01
CN202211366479.1A CN118037557A (zh) 2022-11-01 2022-11-01 一种图像数据的处理方法及相关设备

Publications (1)

Publication Number Publication Date
WO2024093835A1 true WO2024093835A1 (zh) 2024-05-10

Family

ID=90929711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/127195 WO2024093835A1 (zh) 2022-11-01 2023-10-27 一种图像数据的处理方法及相关设备

Country Status (2)

Country Link
CN (1) CN118037557A (zh)
WO (1) WO2024093835A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033903A1 (zh) * 2017-08-14 2019-02-21 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
WO2020141344A2 (en) * 2018-07-20 2020-07-09 Tobii Ab Distributed foveated rendering based on user gaze
CN111785229A (zh) * 2020-07-16 2020-10-16 京东方科技集团股份有限公司 一种显示方法、装置及系统
WO2022021991A1 (zh) * 2020-07-31 2022-02-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
WO2022166712A1 (zh) * 2021-02-03 2022-08-11 华为技术有限公司 图像的显示方法、装置、可读介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033903A1 (zh) * 2017-08-14 2019-02-21 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
WO2020141344A2 (en) * 2018-07-20 2020-07-09 Tobii Ab Distributed foveated rendering based on user gaze
CN111785229A (zh) * 2020-07-16 2020-10-16 京东方科技集团股份有限公司 一种显示方法、装置及系统
WO2022021991A1 (zh) * 2020-07-31 2022-02-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
WO2022166712A1 (zh) * 2021-02-03 2022-08-11 华为技术有限公司 图像的显示方法、装置、可读介质和电子设备

Also Published As

Publication number Publication date
CN118037557A (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
WO2022110903A1 (zh) 全景视频渲染方法及系统
WO2017193576A1 (zh) 一种视频分辨率的适应方法、装置及虚拟现实终端
CN111225150B (zh) 插帧处理方法及相关产品
US11436787B2 (en) Rendering method, computer product and display apparatus
JP6062512B2 (ja) 撮像装置、情報処理システム、および画像データ送出方法
JP6218787B2 (ja) 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
US10578868B2 (en) Head-mounted display and video data processing method thereof
CN109640180B (zh) 视频3d显示的方法、装置、设备、终端、服务器及存储介质
WO2022166712A1 (zh) 图像的显示方法、装置、可读介质和电子设备
CN106970467B (zh) 信息显示方法及头戴式显示设备
WO2022042039A1 (zh) 虚拟现实系统的数据传输方法及相关装置
JPH1115429A (ja) 動きベクトル時間軸処理方式
CN114900625A (zh) 虚拟现实空间的字幕渲染方法、装置、设备及介质
US7034819B2 (en) Apparatus and method for generating an interleaved stereo image
CN113825020A (zh) 视频清晰度切换方法、装置、设备、存储介质及程序产品
WO2024093835A1 (zh) 一种图像数据的处理方法及相关设备
CN111696034A (zh) 图像处理方法、装置及电子设备
TW201943269A (zh) 雙通道影像縮放系統及其方法
CN114125182A (zh) 一种基于fpga实现4k高清显示的方法
CN108243293B (zh) 一种基于虚拟现实设备的图像显示方法及系统
KR20200052846A (ko) 데이터 처리 시스템
JP2014216668A (ja) 撮像装置
CN112911268B (zh) 一种图像的显示方法及电子设备
JP7365183B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
CN110741634B (zh) 图像处理方法、头戴显示设备和头戴显示系统