WO2025035948A1 - 图像显示方法、装置、头戴设备及介质 - Google Patents

图像显示方法、装置、头戴设备及介质 Download PDF

Info

Publication number
WO2025035948A1
WO2025035948A1 PCT/CN2024/099713 CN2024099713W WO2025035948A1 WO 2025035948 A1 WO2025035948 A1 WO 2025035948A1 CN 2024099713 W CN2024099713 W CN 2024099713W WO 2025035948 A1 WO2025035948 A1 WO 2025035948A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target image
data
mounted device
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/099713
Other languages
English (en)
French (fr)
Inventor
杨青河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Publication of WO2025035948A1 publication Critical patent/WO2025035948A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to the field of image processing technology, and more specifically, to an image display method, an image display device, a head-mounted device, and a computer-readable storage medium.
  • head-mounted display devices such as XR head-mounted display devices
  • the main function of the graphics processing unit (GPU) on the head-mounted display device is to realize image rendering and asynchronous time warp (ATW).
  • ATW is a technology for generating intermediate frames. For example, for game scenes, when the game cannot maintain a sufficient frame rate, it can generate intermediate frames, thereby effectively reducing the jitter of the game screen.
  • the GPU implements ATW, it is generally necessary to synchronize the image output by the GPU with the screen refresh. In order to achieve this synchronization, it is necessary to ensure that the thread that implements ATW in the GPU is not blocked in the GPU. Therefore, the ATW thread is usually given the highest thread priority.
  • the ATW thread is usually deployed on the high-performance large core of the GPU for execution. This results in the power consumption and resource occupation of the GPU.
  • the main purpose of the invention is to propose a new technical solution for image display.
  • an image display method comprising:
  • a first target image is selected from the image to be displayed, and the first target image is within the visible range.
  • the second target image is displayed.
  • selecting a second target image from the image to be displayed according to the first pose data, the second pose data and the first target image includes:
  • the image selection parameter comprising at least one of a scaling factor and an offset relative to the first target image
  • a second target image is selected from the images to be displayed according to the image selection parameter and the first target image.
  • the second target image is an RGB image
  • displaying the second target image includes:
  • dispersion parameters of the lens of the head mounted device respectively perform dispersion correction processing on the red pixel image, the green pixel image, and the blue pixel image;
  • the second target image after the dispersion correction is displayed.
  • the selecting a first target image from the images to be displayed includes:
  • a first target image is determined according to the human eye movement heat map and the image to be displayed.
  • determining the image selection parameter according to the posture change amount includes:
  • the preset mapping data is data reflecting the corresponding relationship between the posture change amount and the image selection parameters.
  • the selecting a first target image from the images to be displayed includes:
  • a first target image is selected from the images to be displayed according to the size.
  • the method is performed by a display processor.
  • an image display device comprising:
  • a first acquisition module used to acquire original image data and first pose data of a head mounted device, wherein the first pose data is the pose data of the head mounted device at the moment of acquiring the original image data;
  • a generating module used for generating an image to be displayed according to the original image data
  • a first selection module configured to select a first target image from the images to be displayed, wherein the first target image is an image within a visible range with the same size as the screen size of the head mounted device, and the size of the first target image is smaller than the size of the image to be displayed;
  • a first display module used for displaying a first target image
  • a second acquisition module is used to acquire second posture data, where the second posture data is the posture data of the head mounted device at the moment when the first target image is displayed;
  • a second selection module configured to select a second target image from the image to be displayed according to the first posture data, the second posture data and the first target image;
  • the second display module is used to display a second target image.
  • a head mounted device comprising the image display device according to the second aspect; or,
  • the head mounted device comprises a memory and a processor, the memory being used to store computer instructions, and the processor being used to call the computer instructions from the memory to execute the image display method as described in any one of the first aspects.
  • a computer-readable storage medium having a computer program stored thereon, wherein the computer program, when executed by a processor, implements the image display method according to any one of the first aspects.
  • an image display method comprising: obtaining original image data and first pose data of a head-mounted device, the first pose data being the pose data of the head-mounted device at the moment of obtaining the original image data; generating an image to be displayed according to the original image data; selecting a first target image from the image to be displayed, the first target image being an image within the visible range with the same screen size as the head-mounted device, and the size of the first target image being smaller than the size of the image to be displayed; displaying the first target image and obtaining second pose data, the second pose data being the pose data of the head-mounted device at the moment of displaying the first target image; selecting a second target image from the image to be displayed according to the first pose data, the second pose data and the first target image; and displaying the second target image.
  • This method can be used to display an intermediate frame image after the first target image is displayed.
  • the intermediate frame technology is realized, replacing the traditional ATW technology. That is to say, an embodiment of the present invention provides a new intermediate frame generation technology that can replace the ATW function.
  • FIG1 is a block diagram 1 of a hardware configuration of a head mounted device for implementing an image display method according to an embodiment of the present invention
  • FIG2 is a flow chart of a method for implementing image display according to an embodiment of the present invention.
  • FIG3 is a flow chart of a method for implementing image display according to an embodiment of the present invention.
  • FIG4 is a schematic diagram of a dispersion principle provided according to an embodiment of the present invention.
  • FIG5 is a schematic structural diagram of an image display device provided according to an embodiment of the present invention.
  • FIG. 6 is a second block diagram of a hardware configuration of a head mounted device for implementing an image display method according to an embodiment of the present invention.
  • the embodiments of the present invention involve directional indications (such as up, down, left, right, front, back, etc.), the directional indications are only used to explain the relative position relationship, movement status, etc. between the components under a certain specific posture (as shown in the accompanying drawings). If the specific posture changes, the directional indication will also change accordingly.
  • directional indications such as up, down, left, right, front, back, etc.
  • FIG. 1 is a block diagram 1 of a hardware configuration of a head mounted device for implementing an image display method according to an embodiment of the present invention.
  • the head-mounted device is exemplarily an AR, MR, VR or XR head-mounted device.
  • the head-mounted device can be a split head-mounted device or an integrated head-mounted device.
  • a split head-mounted device it has a head-mounted display device (such as AR glasses or helmets, etc.) and a corresponding control device, and the control device is specifically a data processing unit of the head-mounted display device.
  • the control device and the integrated head-mounted device are devices with an operating system.
  • the operating system can be an Android operating system, which can be The iOS operating system is used as an example, and other possible operating systems may also be used, which are not specifically limited in the embodiments of the present invention.
  • the head-mounted device is a split head-mounted device
  • technicians can deploy all or part of the steps in the image display method provided in the embodiment of the present invention on the head-mounted display device or the control device according to actual conditions.
  • the head mounted device 1000 may include a processor 1100, a memory 1200, an interface device 1300, a communication device 1400, a display device 1500, an input device 1600, a speaker 1700, a microphone 1800, and the like.
  • the processor 1100 may be a central processing unit CPU, a microprocessor MCU, a display processor DPU, and the like.
  • the memory 1200 may include, for example, a ROM (read-only memory), a RAM (random access memory), a non-volatile memory such as a hard disk, and the like.
  • the interface device 1300 may include, for example, a USB interface, a headphone interface, and the like.
  • the communication device 1400 may be capable of wired or wireless communication, for example.
  • the display device 1500 may be, for example, a liquid crystal display screen, a touch display screen, and the like.
  • the input device 1600 may include, for example, a touch screen, a keyboard, and the like.
  • the user may input/output voice information through the speaker 1700 and the microphone 1800.
  • the present invention may only relate to some of the devices.
  • the head mounted device 1000 only relates to the memory 1200 , the processor 1100 and the display device 1500 .
  • the memory 1200 of the head mounted device 1000 is used to store instructions, and the instructions are used to control the processor 1100 to execute the image display method provided by the embodiment of the present invention.
  • An embodiment of the present invention provides an image display method, which can generate an intermediate frame image to replace the traditional ATW technology.
  • the method includes the following steps S2100 to S2600 :
  • the first pose data is the pose data of the head-mounted device at the moment of acquiring the original image.
  • the original image data is data acquired by multiple image acquisition devices (such as cameras) on the head-mounted device that acquire images of the external environment at different angles.
  • the head-mounted device is provided with a posture sensor, and the posture sensor acquires the posture data of the head-mounted device.
  • the posture data acquired by the posture sensor at the time of acquiring the original image is recorded as First position data.
  • the original image data is the data acquired by multiple image acquisition devices (such as cameras) on the head-mounted display device that acquire images of the external environment at different angles.
  • a posture sensor is provided on the head-mounted display device, and the posture sensor acquires the posture data of the head-mounted display device. The posture data acquired by the posture sensor at the time of acquiring the original image is recorded as the first posture data.
  • the first position data is specifically the position data at the moment of image rendering, and the first position data can reflect the head position information of the wearer at the moment of image rendering.
  • S2200 Generate an image to be displayed according to original image data.
  • the original image data is data acquired by multiple image acquisition devices (such as cameras) of the external environment images at different angles of the head-mounted device or the head-mounted display device. Based on this, the original image data is fused to obtain an image reflecting the environment around the head-mounted device or the head-mounted display device, and the image is recorded as the image to be displayed. It can be understood that the image to be displayed includes the image displayed at the latest display time.
  • the size of the image to be displayed needs to be larger than the size of the screen of the head mounted device.
  • the size of the image to be displayed is 1.2 times the size of the screen of the head mounted device.
  • S2300 Acquire a first target image from images to be displayed.
  • the first target image is an image within the visible range that has the same size as the screen size of the head mounted device, and the size of the first target image is smaller than the size of the image to be displayed.
  • the first target image is an image that needs to be displayed on the screen of the head mounted device at the latest display moment.
  • the above S2300 can be specifically implemented by the following S2310 and S2311:
  • S2310 Obtain an eye movement heat map of a wearer wearing a head mounted device.
  • the head mounted device is further provided with an image acquisition device (such as a camera) for acquiring an image of the wearer's eye, and the image acquisition device is used to acquire an image of the wearer's eye image.
  • an image acquisition device such as a camera
  • the image acquisition device is used to acquire an image of the wearer's eye image.
  • the specific implementation of the above S2310 may be:
  • the wearer's eye image is input into the eye tracking algorithm to obtain the eye movement heat map.
  • the eye movement heat map is used to reflect the wearer's gaze and can show the wearer's attention distribution.
  • the red color in the eye movement heat map represents the area with the most concentrated gaze, and the yellow and green colors represent the areas with less gaze.
  • an image to be displayed that contains a human eye movement heat map and has the same size as the screen of the head mounted device may be determined as the first target image.
  • an image centered on the human eye movement heat map, containing the human eye movement heat map and having the same size as the screen of the head-mounted device can be determined as the first target image.
  • the above S2300 can be specifically implemented by the following S2320 and S2321:
  • the size of the screen of the head mounted device is pre-stored in the head mounted device. Based on this, the above S2320 can be implemented.
  • a first target image having a size equal to the size of a screen of a head mounted device is selected from the images to be displayed.
  • the second posture data is the posture data of the head mounted device at the moment of displaying the first target image.
  • the method for acquiring the second posture data in the above S2400 is the same as the method for acquiring the first posture data in the above S2100, which will not be repeated here.
  • the second posture data can reflect the head posture information of the wearer at the time of image display.
  • the first target image is displayed, based on which the display of the previous real image frame of the intermediate frame image can be realized.
  • the second target image is an intermediate frame image.
  • the change amount of the posture between the image display time and the image rendering time can be determined based on the first posture data and the second posture data. Based on the change amount of the posture, it can be inferred that after the wearer sees the first target image, the partial image of the image to be displayed relative to the first target image is seen. In the embodiment of the present invention, the inferred partial image is recorded as the second target image.
  • the second target image and the first target image are continuous and can serve as intermediate frame images.
  • the above S2500 can be specifically implemented by the following S2510-S2512:
  • the difference between the first pose data and the second pose data is used as the pose change.
  • the image selection parameter includes at least one of a scaling factor and an offset relative to the first target image.
  • At least one of an offset and a scaling factor of the image seen by the wearer compared to the first target image is determined based on the change in posture.
  • the scaling factor is a positive number greater than 0. When the scaling factor is greater than 0 and less than 1, it means that the image to be displayed is reduced. When the scaling factor is greater than 1, it means that the image to be displayed is enlarged. When the scaling factor is equal to 1, it means that the image to be displayed is not scaled.
  • the offset can be understood as the window sliding amount with the first target image as the window, which is a vector with direction and size.
  • the zoom factor is determined to be less than 1 when the posture change indicates that the wearer is close to an object image in the first target image. Furthermore, the specific value of the zoom factor can be determined according to the degree of proximity.
  • the offset is determined as the deviation from the aforementioned object image.
  • the image selection parameters include a scaling factor and an offset relative to the first target image
  • the image to be displayed is first scaled according to the scaling factor.
  • the second target image is selected from the scaled image to be displayed according to the offset relative to the first target image.
  • the size of the window corresponding to the offset does not scale with the scaling of the image to be displayed, that is, the size of the window corresponding to the offset does not change.
  • the above S2511 can be specifically implemented by the following S2511-1:
  • the preset mapping data is data reflecting the corresponding relationship between the posture change amount and the image selection parameters.
  • the generation process of the preset mapping data may be:
  • the designers of the head-mounted device conducted multiple experiments, and the process of each experiment was as follows: viewing an image through the head-mounted device at time T1, recording the image at time T1 as the first image, and recording the posture data of the head-mounted device at time T1; viewing an image through the head-mounted device at time T2, recording the image at time T2 as the second image, and recording the posture data of the head-mounted device at time T2; calculating the difference between the posture data of the head-mounted device at time T1 and the posture data of the head-mounted device at time T2, as well as the offset and scaling factor of the second image relative to the first image; taking the aforementioned difference and the corresponding offset and scaling factor as a set of mapping data;
  • mapping data obtained from multiple experiments are fitted to obtain a functional relationship reflecting the corresponding relationship between the pose change and the image selection parameters;
  • the above functional relationship is used as the preset mapping data in the above S2511-1.
  • S2512 Select a second target image from the images to be displayed according to the image selection parameter and the first target image.
  • the image selection parameters include a scaling factor and an offset relative to the first target image, and the scaling factor is 0.8, and the offset is 300 pixels to the left and 400 pixels to the top.
  • the selection process of the second target image is as follows: the image to be displayed is reduced to 0.8 times the size of the original image to be displayed; in the reduced image to be displayed, the center of the first target image is taken as the center, and the second target image is selected as follows: After a window having the same size as the first target image in the original image to be displayed before scaling is slid 500 pixels to the upper left, the image in the window is used as the second target image.
  • the above S2100-S2600 are repeatedly executed, so that the intermediate frame technology can be implemented to replace the traditional ATW technology.
  • an image display method comprising: obtaining original image data and first pose data of a head-mounted device, the first pose data being the pose data of the head-mounted device at the moment of obtaining the original image data; generating an image to be displayed according to the original image data; selecting a first target image from the image to be displayed, the first target image being an image within the visible range with the same screen size as the head-mounted device, and the size of the first target image being smaller than the size of the image to be displayed; displaying the first target image and obtaining second pose data, the second pose data being the pose data of the head-mounted device at the moment of displaying the first target image; selecting a second target image from the image to be displayed according to the first pose data, the second pose data and the first target image; and displaying the second target image.
  • This method can be used to display an intermediate frame image after the first target image is displayed.
  • the intermediate frame technology is realized, replacing the traditional ATW technology. That is to say, an embodiment of the present invention provides a new intermediate frame generation technology that can replace the ATW function.
  • the second target image is an RGB image.
  • S2600 the specific implementation of S2600 may be as follows S2610-S2613:
  • the dispersion problem due to the dispersion of the lens of the head-mounted device, before the second target image is subjected to dispersion correction, there may be a dispersion problem as shown in FIG3. That is, in each pixel of the second target image, the R pixel, the G pixel, and the B pixel do not overlap. This greatly affects the viewing experience of the wearer. Therefore, in order to avoid the occurrence of this problem, after the second target image is obtained, the second target image may be subjected to dispersion correction, and further, the second target image after dispersion correction may be displayed.
  • the above S2610 is first executed. Specifically, an image composed of red pixels in each pixel of the second target image is recorded as a red pixel image. An image composed of green pixels in each pixel of the second target image is recorded as a green pixel image. And an image composed of blue pixels in each pixel of the second target image is recorded as a blue pixel image.
  • the dispersion parameter of the lens of the head-mounted device when the lens of the head-mounted device is fixed, the dispersion parameter of the lens of the head-mounted device is fixed. On this basis, the dispersion parameter of the lens of the head-mounted device is first obtained before executing the above S2611. Further, according to the optical model of the lens, the dispersion correction process is performed on the red pixel image, the green pixel image, and the blue pixel image respectively through the dispersion parameter of the lens of the head-mounted device.
  • the three are fused.
  • the R pixel, the G pixel and the B pixel at the same pixel position overlap.
  • the second target image after dispersion correction is displayed, which can avoid the problem of affecting the viewing experience of the wearer due to the existence of dispersion of the lens of the head-mounted device.
  • the image display method provided by the embodiment of the present invention is executed by a display processor (DPU) of a head mounted device.
  • DPU display processor
  • the image display method provided by the embodiment of the present invention is executed by a CPU (or GPU)
  • this does not occupy resources of the CPU (or GPU) and does not increase the power consumption of the CPU (or GPU).
  • the image display method provided by the embodiment of the present invention includes the following as shown in FIG4:
  • S4006 determining an image selection parameter according to the amount of position and posture change, where the image selection parameter includes at least one of a scaling factor and an offset relative to the first target image;
  • the embodiment of the present invention further provides an image display device 500, as shown in FIG5 , the device 500 includes:
  • a first acquisition module 510 is used to acquire original image data and first pose data of a head mounted device, wherein the first pose data is the pose data of the head mounted device at the moment of acquiring the original image data;
  • a generating module 520 configured to generate an image to be displayed according to the original image data
  • a first selection module 530 is used to select a first target image from the images to be displayed, where the first target image is an image within a visible range with the same size as the screen size of the head mounted device, and the size of the first target image is smaller than the size of the image to be displayed;
  • a first display module 540 configured to display a first target image
  • a second acquisition module 550 is used to acquire second posture data, where the second posture data is the posture data of the head mounted device at the moment when the first target image is displayed;
  • the second selection module 560 is used to select the first posture data, the second posture data and The first target image, selecting a second target image from the image to be displayed;
  • the second display module 570 is used to display a second target image.
  • the embodiment of the present invention also provides an image display device, which includes: a first acquisition module, which is used to acquire original image data and first pose data of a head-mounted device, wherein the first pose data is the pose data of the head-mounted device at the time of acquiring the original image data; a generation module, which is used to generate an image to be displayed according to the original image data; a first selection module, which is used to select a first target image from the image to be displayed, wherein the first target image is an image within the visible range with the same screen size as the head-mounted device, and the size of the first target image is smaller than the size of the image to be displayed; a first display module, which is used to display the first target image; a second acquisition module, which is used to acquire second pose data, wherein the second pose data is the pose data of the head-mounted device at the time of displaying the first target image; a second selection module, which is used to select a second target image from the image to be displayed according to the first pose data, the second pose data and the first target
  • the device can be used to display an intermediate frame image after the first target image is displayed.
  • the intermediate frame technology is realized, which replaces the traditional ATW technology. That is to say, the embodiment of the present invention provides a new intermediate frame generation technology that can replace the ATW function.
  • the second selection module 560 is specifically configured to determine, based on the first posture data and the second posture data, a change in the posture of the head mounted device between the display time and the acquisition time;
  • the image selection parameter comprising at least one of a scaling factor and an offset relative to the first target image
  • a second target image is selected from the images to be displayed according to the image selection parameter and the first target image.
  • the second display module 570 is specifically used to extract a red pixel image, a green pixel image and a blue pixel image from the second target image;
  • dispersion parameters of the lens of the head mounted device respectively perform dispersion correction processing on the red pixel image, the green pixel image, and the blue pixel image;
  • the second target image after the dispersion correction is displayed.
  • the first selection module 530 is specifically used to obtain the Heatmap of human eye movements of the wearer wearing the device;
  • a first target image is determined according to the human eye movement heat map and the image to be displayed.
  • the second selection module 560 is specifically used to obtain the size of the screen of the head mounted device
  • a first target image is selected from the images to be displayed according to the size.
  • the device is deployed in a display processor.
  • the embodiment of the present invention further provides a head mounted device 600, wherein the head mounted device 600 comprises the image display device 500 provided by any of the above device embodiments; or,
  • the head mounted device 600 includes a memory 610 and a processor 620 , wherein the memory 610 is used to store computer instructions, and the processor 620 is used to call the computer instructions from the memory 610 to execute the image display method as described in any one of the above method embodiments.
  • An embodiment of the present invention further provides a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed by a processor, the image display method according to any one of the above method embodiments is implemented.
  • the present invention may be a system, a method and/or a computer program product.
  • the computer program product may include a computer-readable storage medium carrying computer-readable program instructions for causing a processor to implement various aspects of the present invention.
  • a computer-readable storage medium may be a tangible device that can hold and store instructions used by an instruction execution device.
  • a computer-readable storage medium may be, for example, but not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • Computer-readable storage media include: a portable computer disk, a hard disk, a random access memory (RAM), a read-only memory (ROM), an erasable programmable read-only memory (EPROM or flash memory), a static random access memory (SRAM), a portable compact disk read-only memory (CD-ROM), a digital versatile disk (DVD), a memory stick, a floppy disk, a mechanical encoding device, such as a punch card or a raised structure in a groove on which instructions are stored, and any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read-only memory
  • EPROM or flash memory erasable programmable read-only memory
  • SRAM static random access memory
  • CD-ROM compact disk read-only memory
  • DVD digital versatile disk
  • memory stick a floppy disk
  • mechanical encoding device such as a punch card or a raised structure in a groove on which instructions are stored, and any suitable combination of the foregoing.
  • a computer-readable storage medium is not to be interpreted as a transient signal per se, such as a radio wave or other freely propagating electromagnetic wave, an electromagnetic wave propagating through a waveguide or other transmission medium (e.g., a light pulse through a fiber optic cable), or a signal transmitted through a wire.
  • a transient signal per se such as a radio wave or other freely propagating electromagnetic wave, an electromagnetic wave propagating through a waveguide or other transmission medium (e.g., a light pulse through a fiber optic cable), or a signal transmitted through a wire.
  • the electrical signal is not to be interpreted as a transient signal per se, such as a radio wave or other freely propagating electromagnetic wave, an electromagnetic wave propagating through a waveguide or other transmission medium (e.g., a light pulse through a fiber optic cable), or a signal transmitted through a wire.
  • the computer-readable program instructions described herein can be downloaded from a computer-readable storage medium to each computing/processing device, or downloaded to an external computer or external storage device via a network, such as the Internet, a local area network, a wide area network, and/or a wireless network.
  • the network can include copper transmission cables, optical fiber transmissions, wireless transmissions, routers, firewalls, switches, gateway computers, and/or edge servers.
  • the network adapter card or network interface in each computing/processing device receives the computer-readable program instructions from the network and forwards the computer-readable program instructions for storage in the computer-readable storage medium in each computing/processing device.
  • the computer program instructions for performing the operation of the present invention may be assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or source code or object code written in any combination of one or more programming languages, including object-oriented programming languages, such as Smalltalk, C++, etc., and conventional procedural programming languages, such as "C" language or similar programming languages.
  • Computer-readable program instructions may be executed entirely on a user's computer, partially on a user's computer, as an independent software package, partially on a user's computer, partially on a remote computer, or entirely on a remote computer or server.
  • the remote computer may be connected to the user's computer via any type of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (e.g., using an Internet service provider to connect via the Internet).
  • an electronic circuit such as a programmable logic circuit, a field programmable gate array (FPGA), or a programmable logic array (PLA), may be personalized by utilizing the state information of the computer-readable program instructions, and the electronic circuit may execute the computer-readable program instructions, thereby realizing various aspects of the present invention.
  • These computer-readable program instructions can be provided to a processor of a general-purpose computer, a special-purpose computer, or other programmable data processing device to produce a machine, so that when these instructions are executed by the processor of the computer or other programmable data processing device, a device is generated to implement the functions/actions specified in one or more blocks in the flowchart and/or block diagram.
  • Program instructions are stored in computer-readable storage media, which enable computers, programmable data processing devices and/or other devices to work in a specific manner.
  • the computer-readable medium storing instructions includes a product that includes instructions for implementing various aspects of the functions/actions specified in one or more boxes in the flowchart and/or block diagram.
  • Computer-readable program instructions may also be loaded onto a computer, other programmable data processing apparatus, or other device so that a series of operating steps are performed on the computer, other programmable data processing apparatus, or other device to produce a computer-implemented process, thereby causing the instructions executed on the computer, other programmable data processing apparatus, or other device to implement the functions/actions specified in one or more boxes in the flowchart and/or block diagram.
  • each box in the flow chart or block diagram can represent a part of a module, a program segment or an instruction, and a part of the module, a program segment or an instruction contains one or more executable instructions for realizing the specified logical function.
  • the functions marked in the box can also occur in a different order from the order marked in the accompanying drawings. For example, two consecutive boxes can actually be executed substantially in parallel, and they can sometimes be executed in the opposite order, depending on the functions involved.
  • each box in the block diagram and/or flow chart, and the combination of the boxes in the block diagram and/or flow chart can be implemented by a dedicated hardware-based system that performs the specified function or action, or can be implemented by a combination of dedicated hardware and computer instructions. It is well known to those skilled in the art that it is equivalent to implement it by hardware, implement it by software, and implement it by combining software and hardware.
  • the computer software product is stored in a storage medium (such as ROM/RAM, magnetic disk, optical disk) as above, and includes several instructions for enabling a terminal device (which can be a mobile phone, computer, server, TV, or network device, etc.) to execute the methods of various embodiments of the present invention.
  • a storage medium such as ROM/RAM, magnetic disk, optical disk

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开一种图像显示方法、装置、头戴设备及介质，涉及图像处理技术领域。其中方法包括：获取原始图像数据以及头戴设备的第一位姿数据，第一位姿数据为原始图像数据的获取时刻头戴设备的位姿数据；根据原始图像数据生成待显示图像；从待显示图像中选取第一目标图像，第一目标图像为可视范围内与头戴设备的屏幕尺寸相同的图像，且第一目标图像的尺寸小于待显示图像的尺寸；显示第一目标图像以及获取第二位姿数据，第二位姿数据为第一目标图像的显示时刻头戴设备的位姿数据；根据第一位姿数据、第二位姿数据以及第一目标图像，从待显示图像中选取第二目标图像；显示第二目标图像。该方法提供了一种可替代ATW功能的新的中间帧生成技术。

Description

图像显示方法、装置、头戴设备及介质
本申请要求于2023年8月16日提交中国专利局、申请号为202311035122.X、发明名称为“图像显示方法、装置、头戴设备及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种图像显示方法、图像显示装置、头戴设备以及计算机可读存储介质。
背景技术
随着科技与经济的发展，头戴显示设备(例如XR头戴显示设备)已经被越来越广泛的使用。
目前，头戴显示设备上的图形处理器(Graphics Processing Unit，GPU)主要作用是实现图像渲染以及异步扭曲(Asynchronous Timewarp，ATW)，其中ATW一种生成中间帧的技术，例如对于游戏场景当游戏不能保持足够帧率的时候，能产生中间帧，从而有效减少游戏画面的抖动。在GPU实现ATW时，一般需要GPU输出的图像与屏幕的刷屏保持同步。为了实现该同步，需要确定GPU中实现ATW的线程在GPU中不被阻塞。因此，通常一般将ATW的线程赋予最高的线程优先级。除此之外，通常会将ATW的线程部署在GPU中性能高的大核上执行。而这带来了GPU的功耗和资源的占用。
综上，亟待提出一种可替代ATW功能的图像显示方法。
发明内容
本发明的主要目的是提出一种用于图像显示的新技术方案。
根据本发明的第一方面，提供了一种图像显示方法，所述方法包括：
获取原始图像数据以及头戴设备的第一位姿数据，所述第一位姿数据为所述原始图像数据的获取时刻所述头戴设备的位姿数据；
根据所述原始图像数据生成待显示图像；
从所述待显示图像中选取第一目标图像，所述第一目标图像为可视范围 内与所述头戴设备的屏幕尺寸相同的图像，且所述第一目标图像的尺寸小于所述待显示图像的尺寸；
显示第一目标图像以及获取第二位姿数据，所述第二位姿数据为所述第一目标图像的显示时刻所述头戴设备的位姿数据；
根据所述第一位姿数据、所述第二位姿数据以及所述第一目标图像，从所述待显示图像中选取第二目标图像；
显示第二目标图像。
可选地，所述根据所述第一位姿数据、所述第二位姿数据以及第一目标图像，从所述待显示图像中选取第二目标图像，包括：
根据所述第一位姿数据和所述第二位姿数据，确定所述显示时刻相比于所述获取时刻所述头戴设备的位姿变化量；
根据所述位姿变化量确定图像选取参数，所述图像选取参数包括缩放因子以及相对于所述第一目标图像的偏移量中的至少一项；
根据所述图像选取参数以及所述第一目标图像，从所述待显示图像中选取第二目标图像。
可选地，所述第二目标图像为RGB图像，所述显示第二目标图像包括：
从所述第二目标图像中抽取红色像素图像、绿色像素图像以及蓝色像素图像；
根据所述头戴设备的镜头的色散参数，对所述红色像素图像、绿色像素图像以及蓝色像素图像分别执行色散校正处理；
融合经所述色散校正处理后的所述红色像素图像、绿色像素图像以及蓝色像素图像，得到色散校正后第二目标图像；
显示所述色散校正后第二目标图像。
可选地，所述从所述待显示图像中选取第一目标图像，包括：
获取佩戴所述头戴设备的佩戴者的人眼动热点图；
根据所述人眼动热点图以及所述待显示图像，确定第一目标图像。
可选地，所述根据所述位姿变化量确定图像选取参数，包括：
根据所述位姿变化量以及预设映射数据，确定图像选取参数；
其中，所述预设映射数据为反映位姿变化量和图像选取参数之间的对应关系的数据。
可选地，所述从所述待显示图像中选取第一目标图像，包括：
获取所述头戴设备的屏幕的尺寸；
根据所述尺寸，从所述待显示图像中选取第一目标图像。
可选地，所述方法由显示处理器执行。
根据本发明的第二方面，提供了一种图像显示装置，所述装置包括：
第一获取模块，用于获取原始图像数据以及头戴设备的第一位姿数据，所述第一位姿数据为所述原始图像数据的获取时刻所述头戴设备的位姿数据；
生成模块，用于根据所述原始图像数据生成待显示图像；
第一选取模块，用于从所述待显示图像中选取第一目标图像，所述第一目标图像为可视范围内与所述头戴设备的屏幕尺寸相同的图像，且所述第一目标图像的尺寸小于所述待显示图像的尺寸；
第一显示模块，用于显示第一目标图像；
第二获取模块，用于获取第二位姿数据，所述第二位姿数据为所述第一目标图像的显示时刻所述头戴设备的位姿数据；
第二选取模块，用于根据所述第一位姿数据、所述第二位姿数据以及所述第一目标图像，从所述待显示图像中选取第二目标图像；
第二显示模块，用于显示第二目标图像。
根据本发明的第三方面，提供了一种头戴设备，所述头戴设备包括如第二方面所述的图像显示装置；或者，
所述头戴设备包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的图像显示方法。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的图像显示方法。
在本发明实施例中，提供了一种图像显示方法，该方法包括：获取原始图像数据以及头戴设备的第一位姿数据，第一位姿数据为原始图像数据的获取时刻头戴设备的位姿数据；根据原始图像数据生成待显示图像；从待显示图像中选取第一目标图像，第一目标图像为可视范围内与头戴设备的屏幕尺寸相同的图像，且第一目标图像的尺寸小于待显示图像的尺寸；显示第一目标图像以及获取第二位姿数据，第二位姿数据为第一目标图像的显示时刻头戴设备的位姿数据；根据第一位姿数据、第二位姿数据以及第一目标图像，从待显示图像中选取第二目标图像；显示第二目标图像。通过该方法可完成在第一目标图像显示后，对中间帧图像的显示。这样实现了中间帧技术，替代了传统的ATW技术。这也就是说，本发明实施例提供了一种可替代ATW功能的新的中间帧生成技术。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是根据本发明实施例提供的一种实现图像显示方法的头戴设备的硬件配置的框图一；
图2是根据本发明实施例提供的一种实现图像显示方法的流程示意图一；
图3是根据本发明实施例提供的一种实现图像显示方法的流程示意图一；
图4是根据本发明实施例提供的一种色散原理的示意图；
图5是根据本发明实施例提供的一种实现图像显示装置的结构示意图；
图6是根据本发明实施例提供的一种实现图像显示方法的头戴设备的硬件配置的框图二。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
图1是根据本发明实施例提供的一种实现图像显示方法的头戴设备的硬件配置的框图一。
其中，头戴设备示例性的为AR、MR、VR或XR等头戴设备。以及，头戴设备可以为分体式头戴设备，也可以为一体式头戴设备。对于分体式的头戴设备，具备头戴显示设备(例如AR眼镜或头盔等)以及相适配的控制设备，控制设备具体为头戴显示设备的数据处理单元。控制设备以及一体式头戴设备为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可 以为ios操作系统，当然还可以为其他可能的操作系统，对此本发明实施例不作具体限定。
需要说明的是，在头戴设备为分体式头戴设备的情况下，技术人员可根据实际情况，将本发明实施例提供的图像显示方法中的全部或部分步骤部署在头戴显示设备或控制设备上。
头戴设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800，等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU、显示处理器DPU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
尽管在图1中对头戴设备1000均示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如，头戴设备1000只涉及存储器1200、处理器1100以及显示装置1500。
应用于本发明的实施例中，头戴设备1000的存储器1200用于存储指令，该指令用于控制处理器1100执行本发明实施例提供的图像显示方法。
在上述描述中，技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
本发明实施例提供了一种图像显示方法，该方法可生成中间帧图像，以替代传统的ATW技术。
如图2所示，该方法包括如下S2100-S2600：
S2100、获取原始图像数据以及头戴设备的第一位姿数据。
其中，第一位姿数据为原始图像的获取时刻头戴设备的位姿数据。
在本发明实施例中，对于一体式头戴设备，原始图像数据为头戴设备上的获取不同角度的外界环境图像的多个图像采集装置(例如摄像头)获取到的数据。以及头戴设备上设置有位姿传感器，由位姿传感器获取头戴设备的位姿数据。将位姿传感器在原始图像的获取时刻所获取到的位姿数据，记为 第一位姿数据。
而对于分体式头戴设备，原始图像数据则为头戴显示设备上的获取不同角度的外界环境图像的多个图像采集装置(例如摄像头)获取到的数据。以及，头戴显示设备上设置有位姿传感器，由位姿传感器获取头戴显示设备的位姿数据。将位姿传感器在原始图像的获取时刻所获取到的位姿数据，记为第一位姿数据。
基于上述内容，可以理解的是，第一位姿数据具体为图像渲染时刻的位姿数据，以及第一位姿数据可反映出图像渲染时刻佩戴者的头部位姿信息。
S2200、根据原始图像数据生成待显示图像。
在本发明实施例中，原始图像数据为头戴设备或头戴显示设备的不同角度的外界环境图像的多个图像采集装置(例如摄像头)获取到的数据。基于此，对原始图像数据进行融合，可得到一个反映头戴设备或头戴显示设备周围环境的图像，将该图像记为待显示图像。可以理解的是，待显示图像中包含最新显示时刻所显示的图像。
需要说明的是，在本发明实施例中，待显示图像的尺寸需比头戴设备的屏幕的尺寸大。在一个示例中，待显示图像的尺寸为头戴设备的屏幕的尺寸的1.2倍。
S2300、从待显示图像中获取第一目标图像。
其中，第一目标图像为可视范围内与头戴设备的屏幕尺寸相同的图像，且第一目标图像的尺寸小于待显示图像的尺寸。
在本发明实施例中，第一目标图像为最新显示时刻需显示在头戴设备的屏幕上的图像。
在本发明的一个实施例中，上述S2300可具体通过下述S2310和S2311来实现：
S2310、获取佩戴头戴设备的佩戴者的人眼动热点图。
在本发明实施例中，头戴设备上还设置有获取佩戴者眼睛图像的图像采集装置(例如摄像头)，该图像采集装置用于采集佩戴者眼睛图像的图像。在此基础上，在本发明的一个实施例中，上述S2310的具体实现可以为：将 佩戴者眼睛图像的图像输入至眼动追踪算法中，得到人眼动热点图。其中，人眼动热点图用来反映佩戴者的注视情况，可展示出佩戴者的注意力分布情况。通常，人眼动热点图中的红色代表注视最集中的区域，黄色和绿色代表目光注视较少的区域。
S2311、根据人眼动热点图以及待显示图像，确定第一目标图像。
在本发明的一个实施例中，可将待显示图像中包含人眼动热点图，且尺寸与头戴设备的屏幕的尺寸相同的图像确定为第一目标图像。
更进一步的，可将以人眼动热点图为中心、包含人眼动热点图且尺寸与头戴设备的屏幕的尺寸相同的图像确定为第一目标图像。
在本发明的一个实施例中，由于第一目标图像的尺寸与头戴设备的屏幕尺寸相同，因此，在从待显示图像中选取目标图像时，则需要首先确定头戴设备的屏幕尺寸是多少。基于此，在本发明的一个实施例中，上述S2300可具体通过下述S2320和S2321来实现：
S2320、获取头戴设备的屏幕的尺寸。
在本发明的一个实施例中，头戴设备的屏幕的尺寸预先存储在头戴设备中。基于此，则可实现上述S2320。
S2321、根据尺寸，从待显示图像中选取第一目标图像。
在本发明实施例中，从待显示图像中选取尺寸为头戴设备的屏幕的尺寸大小的第一目标图像。
S2400、显示第一目标图像以及获取第二位姿数据。
其中，第二位姿数据为第一目标图像的显示时刻头戴设备的位姿数据。
需要说明的是，上述S2400中的第二位姿数据的获取方式与上述S2100中的第一位姿数据的获取方式相同，这里不再赘述。以及第二位姿数据可反映出图像显示时刻佩戴者的头部位姿信息。
在本发明实施例中，在图像显示时刻到达的情况下，显示第一目标图像。基于此可实现对中间帧图像的前一帧真实图像的显示。
S2500、根据第一位姿数据、第二位姿数据以及第一目标图像，从待显示 图像中选取第二目标图像。
其中，第二目标图像为中间帧图像。
在本发明实施例中，根据第一位姿数据和第二位姿数据可确定出图像显示时刻与图像渲染时刻之间位姿的变化量。基于位姿的变化量，可推测出佩戴者在看到第一目标图像后，看到的是待显示图像中相对于第一目标图像的哪一方位的部分图像。在本发明实施例中，将推测出的部分图像记为第二目标图像。
由于第一目标图像和第二目标图像均属于待显示图像，且第二目标图像是根据上述位姿的变化量推测出的待显示图像中相对于第一目标图像的某一方位的部分图像，因此，第二目标图像和第一目标图像具备连贯性，可充当中间帧图像。
在本发明的一个实施例中，上述S2500可具体通过下述S2510-S2512来实现：
S2510、根据第一位姿数据和第二位姿数据，确定显示时刻相比于获取时刻头戴设备的位姿变化量。
在本发明实施例中，第一位姿数据与第二位姿数据的差，作为位姿变化量。
S2511、根据位姿变化量确定图像选取参数。
其中，图像选取参数包括缩放因子以及相对于第一目标图像的偏移量中的至少一项。
在发明实施例中，根据位姿的变化量，确定出佩戴者看到的图像相比于第一目标图像的偏移量以及缩放因子中的至少一项。其中，缩放因子为大于0的正数。在缩放因子大于0且小于1的情况下，则说明对待显示图像进行缩小处理。在缩放因子大于1的情况下，则说明对待显示图像进行放大处理。在缩放因子等于1的情况下，则说明对待显示图像不进行缩放处理。偏移量可以理解为以第一目标图像为窗口的窗口滑动量，为一个具有方向和大小的矢量。
在一个示例中，根据近大远小原理，在位姿变化量表示佩戴者靠近第一目标图像中的某一物体图像的情况下，则确定缩放因子为小于1。进一步的，可根据靠近程度，确定缩放因子的具体取值。
在位姿变化量表示佩戴者偏离第一目标图像中的某一物体图像的情况下，则确定偏移量为偏离前述某一物体图像的偏离量。
需要说明的是，在图像选取参数包括缩放因子以及相对于第一目标图像的偏移量的情况下，先根据缩放因子对待显示图像进行缩放。之后再根据相对于第一目标图像的偏移量，从缩放后的待显示图像中选取第二目标图像。在该场景中，即使对待显示图像进行缩放，但是偏移量对应的窗口的大小并不随着待显示图像的缩放而缩放，即偏移量对应的窗口大小并不做改变。
在本发明的一个实施例中，上述S2511可具体通过下述S2511-1来实现：
S2511-1、根据位姿变化量以及预设映射数据，确定图像选取参数。
其中，预设映射数据为反映位姿变化量和图像选取参数之间对应关系的数据。
在本发明的一个实施例中，上述预设映射数据的生成过程可以为：
头戴设备的设计人员做多次试验，每次实验的过程为：在T1时刻通过头戴设备查看图像，将该T1时刻的图像记为第一图像，同时记录T1时刻头戴设备的位姿数据；在T2时刻通过头戴设备查看图像，将该T2时刻的图像记为第二图像，同时记录T2时刻头戴设备的位姿数据；计算T1时刻头戴设备的位姿数据和T2时刻头戴设备的位姿数据之间从差值，以及第二图像相对于第一图像的偏移量和缩放因子；将前述的差值以及对应的偏移量和缩放因子作为一组映射数据；
将多次实验得到的多组映射数据进行拟合，得到反映位姿变化量和图像选取参数之间对应关系的函数关系；
将上述的函数关系作为上述S2511-1中的预设映射数据。
S2512、根据图像选取参数以及第一目标图像，从待显示图像中选取第二目标图像。
在一个示例中，以图像选取参数包括缩放因子以及相对于第一目标图像的偏移量，且缩放因子为0.8，偏移量为向左300个像素，向上400个像素为例，第二目标图像的选取过程具体为：将待显示图像缩小至原待显示图像的0.8倍大小；在缩小后的待显示图像中，将第一目标图像的中心为中心，且大 小与第一目标图像在缩放前的原待显示图像中的大小相同的窗口向左上滑动500个像素的之后，窗口内的图像作为第二目标图像。
S2600、显示第二目标图像。
基于上述S2600则可完成对中间帧图像的显示。
在执行完上述S2600之后，重复执行上述S2100-S2600，则可实现中间帧技术，替代了传统的ATW技术。
在本发明实施例中，提供了一种图像显示方法，该方法包括：获取原始图像数据以及头戴设备的第一位姿数据，第一位姿数据为原始图像数据的获取时刻头戴设备的位姿数据；根据原始图像数据生成待显示图像；从待显示图像中选取第一目标图像，第一目标图像为可视范围内与头戴设备的屏幕尺寸相同的图像，且第一目标图像的尺寸小于待显示图像的尺寸；显示第一目标图像以及获取第二位姿数据，第二位姿数据为第一目标图像的显示时刻头戴设备的位姿数据；根据第一位姿数据、第二位姿数据以及第一目标图像，从待显示图像中选取第二目标图像；显示第二目标图像。通过该方法可完成在第一目标图像显示后，对中间帧图像的显示。这样实现了中间帧技术，替代了传统的ATW技术。这也就是说，本发明实施例提供了一种可替代ATW功能的新的中间帧生成技术。
在本发明的一个实施例中，上述第二目标图像为RGB图像，在此基础上，上述S2600的具体实现可以为如下S2610-S2613：
S2610、从第二目标图像中抽取红色像素图像、绿色像素图像以及蓝色像素图像。
在本发明实施例中，由于头戴设备的镜头的色散的缘故，再未对第二目标图像进行色散校正之前，可能存在如图3所示的色散问题。即第二目标图像中的每一像素中，R像素、G像素以及B像素不重合的问题。而这大大的影响佩戴者的观看体验。因此，为了避免该问题的发生，在得到第二目标图像后，可对第二目标图像进行色散校正，进一步的，显示色散校正后的第二目标图像。
在进行色散校正时，首先执行上述S2610。具体的，将由第二目标图像中每一像素中红色像素组成的图像，记为红色像素图像。将由第二目标图像中每一像素中绿色像素组成的图像，记为绿色像素图像。以及，将由第二目标图像中每一像素中蓝色像素组成的图像，记为蓝色像素图像。
S2611、根据头戴设备的镜头的色散参数，对红色像素图像、绿色像素图像以及蓝色像素图像分别执行色散校正处理。
在本发明实施例中，在头戴设备的镜头固定的情况下，头戴设备的镜头的色散参数是固定的。在此基础上，执行上述S2611之前首先获取头戴设备的镜头的色散参数。进一步的，按照镜头的光学模型，通过头戴设备的镜头的色散参数对红色像素图像、绿色像素图像以及蓝色像素图像分别执行色散校正处理。
S2612、融合经色散校正处理后的红色像素图像、绿色像素图像以及蓝色像素图像，得到色散校正后第二目标图像。
在本发明实施例中，在得到经色散校正处理后的红色像素图像、绿色像素图像以及蓝色像素图像之后，将三者进行融合。融合后的图像中同一像素位置上R像素、G像素以及B像素重合。
S2613、显示色散校正后第二目标图像。
在本发明实施例中，对色散校正后的第二目标图像进行显示，可避免由于头戴设备的镜头的色散的存在，导致的影响佩戴者的观看体验的问题发生。
在本发明的一个实施例中，本发明实施例提供的图像显示方法由头戴设备的显示处理器(Display Processor Unit，DPU)执行。这相比于由CPU(或GPU)来执行本发明实施例提供的图像显示方法而言，不会对CPU(或GPU)带来资源占用，且不会带来CPU(或GPU)的功耗。
在上述内容的基础上，本发明实施例提供的图像显示方法如图4所示包括如下：
S4001、获取原始图像数据以及头戴设备的第一位姿数据，第一位姿数据为原始图像数据的获取时刻头戴设备的位姿数据；
S4002、根据原始图像数据生成待显示图像；
S4003、从所述待显示图像中选取第一目标图像；
S4004、显示第一目标图像以及获取第二位姿数据，第二位姿数据为第一目标图像的显示时刻头戴设备的位姿数据；
S4005、根据第一位姿数据和第二位姿数据，确定显示时刻相比于获取时刻头戴设备的位姿变化量；
S4006、根据位姿变化量确定图像选取参数，图像选取参数包括缩放因子以及相对于第一目标图像的偏移量中的至少一项；
S4007、根据图像选取参数以及第一目标图像，从待显示图像中选取第二目标图像；
S4008、从第二目标图像中抽取红色像素图像、绿色像素图像以及蓝色像素图像；
S4009、根据头戴设备的镜头的色散参数，对红色像素图像、绿色像素图像以及蓝色像素图像分别执行色散校正处理；
S4010、融合经色散校正处理后的红色像素图像、绿色像素图像以及蓝色像素图像，得到色散校正后第二目标图像；
S4011、显示色散校正后第二目标图像。
本发明实施例还提供了一种图像显示装置500，如图5所示，所述装置500包括：
第一获取模块510，用于获取原始图像数据以及头戴设备的第一位姿数据，所述第一位姿数据为所述原始图像数据的获取时刻所述头戴设备的位姿数据；
生成模块520，用于根据所述原始图像数据生成待显示图像；
第一选取模块530，用于从所述待显示图像中选取第一目标图像，所述第一目标图像为可视范围内与所述头戴设备的屏幕尺寸相同的图像，且所述第一目标图像的尺寸小于所述待显示图像的尺寸；
第一显示模块540，用于显示第一目标图像；
第二获取模块550，用于获取第二位姿数据，所述第二位姿数据为所述第一目标图像的显示时刻所述头戴设备的位姿数据；
第二选取模块560，用于根据所述第一位姿数据、所述第二位姿数据以及 所述第一目标图像，从所述待显示图像中选取第二目标图像；
第二显示模块570，用于显示第二目标图像。
本发明实施例还提供了一种图像显示装置，该装置包括：第一获取模块，用于获取原始图像数据以及头戴设备的第一位姿数据，第一位姿数据为原始图像数据的获取时刻头戴设备的位姿数据；生成模块，用于根据原始图像数据生成待显示图像；第一选取模块，用于从待显示图像中选取第一目标图像，第一目标图像为可视范围内与头戴设备的屏幕尺寸相同的图像，且第一目标图像的尺寸小于待显示图像的尺寸；第一显示模块，用于显示第一目标图像；第二获取模块，用于获取第二位姿数据，第二位姿数据为第一目标图像的显示时刻头戴设备的位姿数据；第二选取模块，用于根据第一位姿数据、第二位姿数据以及第一目标图像，从待显示图像中选取第二目标图像；第二显示模块，用于显示第二目标图像。通过该装置可完成在第一目标图像显示后，对中间帧图像的显示。这样实现了中间帧技术，替代了传统的ATW技术。这也就是说，本发明实施例提供了一种可替代ATW功能的新的中间帧生成技术。
在本发明的一个实施例中，第二选取模块560，具体用于根据所述第一位姿数据和所述第二位姿数据，确定所述显示时刻相比于所述获取时刻所述头戴设备的位姿变化量；
根据所述位姿变化量确定图像选取参数，所述图像选取参数包括缩放因子以及相对于所述第一目标图像的偏移量中的至少一项；
根据所述图像选取参数以及所述第一目标图像，从所述待显示图像中选取第二目标图像。
在本发明的一个实施例中，第二显示模块570，具体用于从所述第二目标图像中抽取红色像素图像、绿色像素图像以及蓝色像素图像；
根据所述头戴设备的镜头的色散参数，对所述红色像素图像、绿色像素图像以及蓝色像素图像分别执行色散校正处理；
融合经所述色散校正处理后的所述红色像素图像、绿色像素图像以及蓝色像素图像，得到色散校正后第二目标图像；
显示所述色散校正后第二目标图像。
在本发明的一个实施例中，第一选取模块530，具体用于获取佩戴所述头 戴设备的佩戴者的人眼动热点图；
根据所述人眼动热点图以及所述待显示图像，确定第一目标图像。
在本发明的一个实施例中，第二选取模块560，具体用于获取所述头戴设备的屏幕的尺寸；
根据所述尺寸，从所述待显示图像中选取第一目标图像。
在本发明的一个实施例中，所述装置部署在显示处理器中。
本发明实施例还提供了一种头戴设备600，所述头戴设备600包括上述任一装置实施例提供的图像显示装置500；或者，
如图6所示，所述头戴设备600包括存储器610和处理器620，所述存储器610用于存储计算机指令，所述处理器620用于从所述存储器610中调用所述计算机指令，以执行如上述方法实施例中任一项所述的图像显示方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的图像显示方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输 的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读 程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，电视机，或者网络设备等)执行本发明各个实施例的方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围。

Claims (10)

  1. 一种图像显示方法，其特征在于，所述方法包括：
    获取原始图像数据以及头戴设备的第一位姿数据，所述第一位姿数据为所述原始图像数据的获取时刻所述头戴设备的位姿数据；
    根据所述原始图像数据生成待显示图像；
    从所述待显示图像中选取第一目标图像，所述第一目标图像为可视范围内与所述头戴设备的屏幕尺寸相同的图像，且所述第一目标图像的尺寸小于所述待显示图像的尺寸；
    显示第一目标图像以及获取第二位姿数据，所述第二位姿数据为所述第一目标图像的显示时刻所述头戴设备的位姿数据；
    根据所述第一位姿数据、所述第二位姿数据以及所述第一目标图像，从所述待显示图像中选取第二目标图像；
    显示第二目标图像。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一位姿数据、所述第二位姿数据以及第一目标图像，从所述待显示图像中选取第二目标图像，包括：
    根据所述第一位姿数据和所述第二位姿数据，确定所述显示时刻相比于所述获取时刻所述头戴设备的位姿变化量；
    根据所述位姿变化量确定图像选取参数，所述图像选取参数包括缩放因子以及相对于所述第一目标图像的偏移量中的至少一项；
    根据所述图像选取参数以及所述第一目标图像，从所述待显示图像中选取第二目标图像。
  3. 根据权利要求1所述的方法，其特征在于，所述第二目标图像为RGB图像，所述显示第二目标图像包括：
    从所述第二目标图像中抽取红色像素图像、绿色像素图像以及蓝色像素图像；根据所述头戴设备的镜头的色散参数，对所述红色像素图像、绿色像素图像以及蓝色像素图像分别执行色散校正处理；
    融合经所述色散校正处理后的所述红色像素图像、绿色像素图像以及蓝色像素图像，得到色散校正后第二目标图像；
    显示所述色散校正后第二目标图像。
  4. 根据权利要求1所述的方法，其特征在于，所述从所述待显示图像中选取第一目标图像，包括：
    获取佩戴所述头戴设备的佩戴者的人眼动热点图；
    根据所述人眼动热点图以及所述待显示图像，确定第一目标图像。
  5. 根据权利要求2所述的方法，其特征在于，所述根据所述位姿变化量确定图像选取参数，包括：
    根据所述位姿变化量以及预设映射数据，确定图像选取参数；
    其中，所述预设映射数据为反映位姿变化量和图像选取参数之间的对应关系的数据。
  6. 根据权利要求1所述的方法，其特征在于，所述从所述待显示图像中选取第一目标图像，包括：
    获取所述头戴设备的屏幕的尺寸；
    根据所述尺寸，从所述待显示图像中选取第一目标图像。
  7. 根据权利要求1-6任一项所述的方法，其特征在于，所述方法由显示处理器执行。
  8. 一种图像显示装置，其特征在于，所述装置包括：
    第一获取模块，用于获取原始图像数据以及头戴设备的第一位姿数据，所述第一位姿数据为所述原始图像数据的获取时刻所述头戴设备的位姿数据；
    生成模块，用于根据所述原始图像数据生成待显示图像；
    第一选取模块，用于从所述待显示图像中选取第一目标图像，所述第一目标图像为可视范围内与所述头戴设备的屏幕尺寸相同的图像，且所述第一目标图像的尺寸小于所述待显示图像的尺寸；
    第一显示模块，用于显示第一目标图像；
    第二获取模块，用于获取第二位姿数据，所述第二位姿数据为所述第一目标图像的显示时刻所述头戴设备的位姿数据；
    第二选取模块，用于根据所述第一位姿数据、所述第二位姿数据以及所述第一目标图像，从所述待显示图像中选取第二目标图像；
    第二显示模块，用于显示第二目标图像。
  9. 一种头戴设备，其特征在于，所述头戴设备包括如权利要求8所述的图像显示装置；或者，
    所述头戴设备包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如权利要求1-7中任一项所述的图像显示方法。
  10. 一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的图像显示方法。
PCT/CN2024/099713 2023-08-16 2024-06-18 图像显示方法、装置、头戴设备及介质 Pending WO2025035948A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311035122.XA CN117197225A (zh) 2023-08-16 2023-08-16 图像显示方法、装置、头戴设备及介质
CN202311035122.X 2023-08-16

Publications (1)

Publication Number Publication Date
WO2025035948A1 true WO2025035948A1 (zh) 2025-02-20

Family

ID=88984110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/099713 Pending WO2025035948A1 (zh) 2023-08-16 2024-06-18 图像显示方法、装置、头戴设备及介质

Country Status (2)

Country Link
CN (1) CN117197225A (zh)
WO (1) WO2025035948A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197225A (zh) * 2023-08-16 2023-12-08 歌尔科技有限公司 图像显示方法、装置、头戴设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106998409A (zh) * 2017-03-21 2017-08-01 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN107204044A (zh) * 2016-03-17 2017-09-26 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN107943287A (zh) * 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
CN109656367A (zh) * 2018-12-24 2019-04-19 深圳超多维科技有限公司 一种应用于vr场景下的图像处理方法、装置及电子设备
CN109743626A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN110969706A (zh) * 2019-12-02 2020-04-07 Oppo广东移动通信有限公司 增强现实设备及其图像处理方法、系统以及存储介质
US20210333870A1 (en) * 2018-05-16 2021-10-28 Beijing Boe Optoelectronics Technology Co., Ltd. Image rendering method, device, system, storage medium, image display method and computer device
CN113890626A (zh) * 2021-11-11 2022-01-04 青岛海信激光显示股份有限公司 色散校正方法、装置、激光电视机及存储介质
KR20220130519A (ko) * 2021-03-18 2022-09-27 주식회사 엘지유플러스 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이
CN115578494A (zh) * 2022-12-08 2023-01-06 腾讯科技（深圳）有限公司 中间帧的生成方法、装置、设备及存储介质
CN117197225A (zh) * 2023-08-16 2023-12-08 歌尔科技有限公司 图像显示方法、装置、头戴设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
CN107835404A (zh) * 2017-11-13 2018-03-23 歌尔科技有限公司 基于头戴式虚拟现实设备的图像显示方法、设备及系统
CN109725730B (zh) * 2019-01-02 2023-05-26 京东方科技集团股份有限公司 头戴显示设备及其驱动方法、显示系统及其驱动方法
CN114449237B (zh) * 2020-10-31 2023-09-29 华为技术有限公司 一种反畸变反色散的方法以及相关设备
CN116095298A (zh) * 2021-11-06 2023-05-09 浙江吉利控股集团有限公司 车外场景显示方法、头戴显示设备、终端设备及存储介质
CN114640813A (zh) * 2022-03-31 2022-06-17 维沃移动通信有限公司 防窥方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107204044A (zh) * 2016-03-17 2017-09-26 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN106998409A (zh) * 2017-03-21 2017-08-01 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN107943287A (zh) * 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
US20210333870A1 (en) * 2018-05-16 2021-10-28 Beijing Boe Optoelectronics Technology Co., Ltd. Image rendering method, device, system, storage medium, image display method and computer device
CN109656367A (zh) * 2018-12-24 2019-04-19 深圳超多维科技有限公司 一种应用于vr场景下的图像处理方法、装置及电子设备
CN109743626A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN110969706A (zh) * 2019-12-02 2020-04-07 Oppo广东移动通信有限公司 增强现实设备及其图像处理方法、系统以及存储介质
KR20220130519A (ko) * 2021-03-18 2022-09-27 주식회사 엘지유플러스 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이
CN113890626A (zh) * 2021-11-11 2022-01-04 青岛海信激光显示股份有限公司 色散校正方法、装置、激光电视机及存储介质
CN115578494A (zh) * 2022-12-08 2023-01-06 腾讯科技（深圳）有限公司 中间帧的生成方法、装置、设备及存储介质
CN117197225A (zh) * 2023-08-16 2023-12-08 歌尔科技有限公司 图像显示方法、装置、头戴设备及介质

Also Published As

Publication number Publication date
CN117197225A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
KR102762358B1 (ko) 영상 특수 효과 처리 방법 및 장치
US9727137B2 (en) User view point related image processing apparatus and method thereof
US9965898B2 (en) Overlay display
CN111225150A (zh) 插帧处理方法及相关产品
US9766458B2 (en) Image generating system, image generating method, and information storage medium
JP6375070B1 (ja) コンピュータシステム、画面共有方法及びプログラム
CN107610044A (zh) 图像处理方法、计算机可读存储介质及虚拟现实头戴设备
WO2021139382A1 (zh) 人脸图像的处理方法、装置、可读介质和电子设备
WO2024198855A1 (zh) 场景渲染方法、装置、设备、计算机可读存储介质及产品
CN114900625A (zh) 虚拟现实空间的字幕渲染方法、装置、设备及介质
WO2018045769A1 (zh) 一种基于属性动画的色调变化动画实现方法及装置
WO2025035948A1 (zh) 图像显示方法、装置、头戴设备及介质
US10802786B2 (en) Content sharing methods and apparatuses
WO2024222356A1 (zh) 特效生成方法、装置、计算机设备及存储介质
US11977676B2 (en) Adjusting content of a head mounted display
WO2026002162A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN118444816B (zh) 页面处理方法、电子设备、存储介质及程序产品
WO2025218295A1 (zh) 播放全景视频的方法、装置、设备及存储介质
US12423769B2 (en) Selecting a reprojection distance based on the focal length of a camera
WO2025040143A1 (zh) 3d空间的界面交互方法和ar设备
WO2024199393A1 (zh) 用于待显示对象的显示方法、装置、电子设备和介质
WO2025091929A1 (zh) 分体式头戴设备的图像处理方法、装置、设备及介质
US11651529B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
US12574567B2 (en) Video processing method and apparatus, device, and medium
JP5862223B2 (ja) パーツカタログ作成装置、プログラム、およびパーツカタログ作成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24853363

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE