WO2023097805A1 - 显示方法、显示设备及计算机可读存储介质 - Google Patents

显示方法、显示设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2023097805A1
WO2023097805A1 PCT/CN2021/139674 CN2021139674W WO2023097805A1 WO 2023097805 A1 WO2023097805 A1 WO 2023097805A1 CN 2021139674 W CN2021139674 W CN 2021139674W WO 2023097805 A1 WO2023097805 A1 WO 2023097805A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
display device
information
model data
display mode
Prior art date
Application number
PCT/CN2021/139674
Other languages
English (en)
French (fr)
Inventor
尚家乐
Original Assignee
歌尔股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 歌尔股份有限公司 filed Critical 歌尔股份有限公司
Publication of WO2023097805A1 publication Critical patent/WO2023097805A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Definitions

  • the present application relates to the field of display technology, and in particular to a display method, a display device, and a computer-readable storage medium.
  • Virtual reality (Virtual Reality, VR) devices and augmented reality (Augmented Reality, AR) devices are widely used in various fields. Wherein, both the VR device and the AR device have independent hardware systems, and are used independently based on their respective hardware systems.
  • AR devices provide AR mode. In AR mode, virtual images are integrated with real environment, so users can experience virtual images and real environment at the same time.
  • VR devices usually only provide VR mode, and users can only experience virtual images in VR mode. At present, users can only experience VR mode after wearing VR devices, and the user experience is limited.
  • the main purpose of this application is to provide a display method, display device and computer-readable storage medium, aiming to solve the technical problem that the user can only experience the VR mode after wearing the VR device, and the user experience is limited.
  • the present application provides a display method, the display method is applied to a display device, the display device includes a first camera unit, and the display method includes:
  • the target display mode of the display device is an AR display mode or a VR display mode
  • the target display mode is the VR display mode
  • acquire the first real-scene model data stored in the cache unit of the display device and determine the display device and its environment according to the first real-scene model data
  • the relative position information of the first real scene model data is collected by the first camera unit;
  • a VR display screen is generated and played according to the relative position information and the virtual model data stored in the cache unit, wherein the VR display screen is a virtual screen generated with a virtual model.
  • the step of detecting that the target display mode of the display device is an AR display mode or a VR display mode includes:
  • the visual feature information includes feature quantity and/or feature uniformity
  • the light information is illumination intensity
  • the step of determining the target display mode of the display device according to the scene information includes:
  • the target display mode is the VR display mode
  • the target display mode is the AR display mode.
  • the display device further includes a second camera unit, after the step of determining the target display mode of the display device according to the scene information, further includes:
  • the target display mode is the AR display mode
  • acquiring the second reality model data stored in the cache unit and extracting visual texture features of key video frames in the second reality model data
  • the The second reality model data is collected by the second camera unit
  • the AR display picture is a real scene picture including the virtual model and the real scene model;
  • the step of acquiring the first coordinate information of the visual texture feature in the world coordinate system includes:
  • mapping relationship Based on the mapping relationship, matching the visual texture feature with the target feature point to obtain a matching relationship
  • the visual texture feature is mapped to the world coordinate system to obtain the first coordinate information.
  • the step of generating and playing a VR display screen according to the relative position information and the virtual model data stored by the cache unit includes:
  • the relative position information Based on the relative position information, mapping the target virtual model into a real scene coordinate system, and rendering the VR display screen, the relative position information includes second coordinate information;
  • the step of acquiring the first real-scene model data stored in the cache unit of the display device it may further include:
  • the step of constructing the triangular surface according to the three line features that intersect each other it also includes:
  • the present application also provides a display device, which includes a first camera unit, a processor, a memory, and a display program stored in the memory and operable on the processor, Wherein: the first camera unit communicates with the processor; when the display program is executed by the processor, the method described in any one of the above is implemented.
  • the first camera unit includes a binocular high-definition eye camera
  • the display device further includes a second camera unit, the second camera unit communicates with the processor, and the second camera unit includes dual fisheye camera.
  • the present application also provides a computer-readable storage medium, on which a display program is stored, and when the display program is executed by a processor, the display described in any one of the above-mentioned method steps.
  • a display method, a display device, and a computer-readable storage medium proposed in the embodiments of the present application detect that the target display mode of the display device is an AR display mode or a VR display mode; when the target display mode is a VR display mode, the display device obtains The first reality model data stored in the cache unit, and according to the first reality model data, determine the relative position information of the display device and the environment; according to the relative position information and the virtual model data stored in the cache unit, generate a VR display screen and Play, wherein, the VR display screen is a virtual screen generated with a virtual model.
  • the display device has a VR display mode and an AR display mode, and will detect whether to display the picture in the VR mode or in the AR mode, and when displaying in the VR display mode, based on the first real-scene model data collected by the first camera unit And the saved virtual model data generates a VR display screen, and plays the VR display screen, and the user can experience the AR mode or the VR mode.
  • Fig. 1 is a schematic diagram of the device structure of the hardware operating environment involved in the embodiment of the present application
  • FIG. 2 is a schematic flow chart of the first embodiment of the display method of the present application.
  • FIG. 3 is a schematic flow chart of the second embodiment of the display method of the present application.
  • FIG. 4 is a schematic flowchart of a third embodiment of the display method of the present application.
  • FIG. 5 is a schematic flowchart of a fourth embodiment of the display method of the present application.
  • FIG. 6 is a schematic diagram of an embodiment of an SOC and a processing unit involved in an embodiment of the present application
  • Fig. 7 is a schematic diagram of point, line, plane to volume layer-by-layer processing to generate volume features involved in the embodiment of the present application.
  • FIG. 1 is a schematic structural diagram of a display device of a hardware operating environment involved in the solution of the embodiment of the present application.
  • the display device may include: a processor 1001 , such as a CPU, a first camera unit 1003 , a memory 1004 , and a communication bus 1002 .
  • the communication bus 1002 is used to realize connection and communication between these components.
  • the first camera unit 1003 is used for collecting first real-scene model data.
  • the memory 1004 can be a high-speed RAM memory, or a stable memory (non-volatile memory), such as a disk memory.
  • the memory 1004 may also be a storage device independent of the aforementioned processor 1001 .
  • the display device also includes a wearing component, a display screen, and a lens component.
  • the wearing component wears the display device on the user's head, and the image light displayed on the display screen passes through the lens component and enters the user's eyes.
  • the first camera unit is a binocular high-definition camera.
  • the picture captured by the binocular high-definition camera has no distortion and is more accurate when used to determine relative position information.
  • the display device further includes a second camera unit.
  • the second camera unit can be a binocular fisheye camera, which is used to collect pictures with a large field of view, and a binocular language camera can capture more complete pictures, and when used to extract visual texture features, the extracted picture features are more accurate. Rich.
  • the first camera unit is arranged at the upper left corner and the upper right corner of the front casing of the display device, and the second camera unit is arranged at the lower left corner and the lower right corner of the front casing of the display device.
  • the first camera unit is arranged at the upper left corner and the upper right corner of the front casing of the display device
  • the second camera unit is arranged at the lower left corner and the lower right corner of the front casing of the display device.
  • it can also be set in other ways.
  • the structure of the display device shown in FIG. 1 does not constitute a limitation to the display device, and may include more or less components than those shown in the illustration, or combine certain components, or arrange different components. .
  • the memory 1004 as a computer storage medium may include an operating system and a display program.
  • the processor 1001 can be used to call the display program stored in the memory 1004, and perform the following operations:
  • the target display mode of the display device is an AR display mode or a VR display mode
  • the target display mode is the VR display mode
  • acquire the first real-scene model data stored in the cache unit of the display device and determine the display device and its environment according to the first real-scene model data
  • the relative position information of the first real scene model data is collected by the first camera unit;
  • a VR display screen is generated and played according to the relative position information and the virtual model data stored in the cache unit, wherein the VR display screen is a virtual screen generated with a virtual model.
  • processor 1001 may call the display program stored in the memory 1004, and also perform the following operations:
  • scene information detected by the sensor of the display device where the scene information includes light information and/or visual feature information
  • processor 1001 may call the display program stored in the memory 1004, and also perform the following operations:
  • the target display mode is the VR display mode
  • the target display mode is the AR display mode.
  • processor 1001 may call the display program stored in the memory 1004, and also perform the following operations:
  • the target display mode is the AR display mode
  • acquiring the second reality model data stored in the cache unit and extracting visual texture features of key video frames in the second reality model data
  • the The second reality model data is collected by the second camera unit
  • the AR display picture is a real scene picture including the virtual model and the real scene model;
  • processor 1001 may call the display program stored in the memory 1004, and also perform the following operations:
  • mapping relationship Based on the mapping relationship, matching the visual texture feature with the target feature point to obtain a matching relationship
  • the visual texture feature is mapped to the world coordinate system to obtain the first coordinate information.
  • processor 1001 may call the display program stored in the memory 1004, and also perform the following operations:
  • the relative position information Based on the relative position information, mapping the target virtual model into a real scene coordinate system, and rendering the VR display screen, the relative position information includes second coordinate information;
  • processor 1001 may call the display program stored in the memory 1004, and also perform the following operations:
  • processor 1001 may call the display program stored in the memory 1004, and also perform the following operations:
  • the first embodiment of the present application provides a display method, the display method includes:
  • Step S10 detecting that the target display mode of the display device is an AR display mode or a VR display mode
  • the target display mode is a display mode in which the image to be displayed by the display device is displayed.
  • the AR display mode is a mode for displaying AR images
  • the VR mode is a mode for displaying VR images.
  • the target display mode may be detected as an AR display mode or a VR display mode according to a received user setting instruction, where the user setting instruction includes an AR mode setting instruction or a VR mode setting instruction.
  • the VR display condition can also be triggered actively at this time.
  • the display mode of the target is an AR display mode or a VR display mode.
  • the VR display screen is generated according to the first real-scene model data combined with the virtual model data.
  • the display device includes a memory, two system-on-chip (System on Chip, SOC), and two processing units.
  • the two system-level chips are AR SOC for processing AR display screens and VR SOC for processing VR display screens.
  • the two processing units are the visual data processing unit and the inertial data processing unit, and the real scene model data is stored in the memory. , virtual model data, and coordinate data.
  • the inertial data processing unit can provide inertial pose data for the two SOCs to assist in the perception of real scenes.
  • the visual data processing unit will analyze the feature information of the scene captured by the first camera unit and the second camera unit in real time, and can calculate the coordinate information of the relative anchor point, which is stored in the coordinate information of the memory
  • the coordinate information can be quickly read, and a virtual scene that conforms to the layout of the real scene can be constructed in the virtual reality environment.
  • the cache unit includes at least three functional areas, and each functional area is used to store real scene model data, virtual model data and coordinate data respectively.
  • Real-scene model data and coordinate data are stored in the cache unit, so that when switching between the AR picture and the VR picture, the data can be quickly multiplexed to realize fast switching of the displayed pictures.
  • Step S20 when the target display mode is the VR display mode, obtain the first real-scene model data stored in the cache unit of the display device, and determine the relationship between the display device and the display device according to the first real-scene model data. Relative position information of the environment where the first real scene model data is collected by the first camera unit;
  • a cache unit is a memory that caches data.
  • the first real scene model data is model data in the real scene, and the first real scene model data is collected by the first camera unit.
  • the VR switching condition is the condition for switching to the VR display screen for playback when the device playback screen is displayed.
  • the first camera unit is a binocular high-definition camera.
  • the binocular high-definition camera is used to obtain more accurate relative position information.
  • two high-definition cameras are respectively arranged on two sides of the display device.
  • the cache unit is a first-in-first-out (First Input First Output, FIFO) memory, and the use of the FIFO memory can improve the real-time performance of data sharing, so that the real-scene model data information can be quickly reused in the virtual scene.
  • FIFO First Input First Output
  • the first real-scene model data includes real-scene coordinates and a real-scene model, where the real-scene model is a model in a real scene, and the real-scene coordinates are coordinates in a real scene.
  • the relative position information may specifically be obtained according to real-scene coordinates.
  • the reality model includes each real object in the real scene.
  • the real scene coordinates include the coordinate system of the real scene, and the coordinates of each real object in each real scene in the real scene coordinate system.
  • Step S30 generating and playing a VR display screen according to the relative position information and the virtual model data stored in the cache unit, wherein the VR display screen is a virtual screen generated with a virtual model;
  • Virtual model data is model data simulated in a virtual digital space.
  • the virtual model data is preset and stored in the cache unit.
  • the coordinate information of the virtual scene is constructed according to the real scene coordinates of the first real scene model data, so that the coordinates of the virtual scene It is consistent with the coordinates of the real scene; the virtual model that matches the real scene model can also be determined, and based on the matched virtual model and the coordinate information consistent with the real scene, a VR display screen is constructed, so that although the VR display screen displays However, since the virtual model matches the real model, and the coordinates of the virtual scene are consistent with the real scene, users can experience the real scene based on the virtual scene.
  • a user wears a display device and is in a bedroom.
  • the display device detects that the lighting in the bedroom is too bright, which is not suitable for AR screen display. At this time, the user is prompted to switch to the VR screen. The user does not need to take off the display device or switch to other display devices, and directly confirms the need to switch.
  • the display device detects an instruction to confirm switching, it acquires the first real-scene model data, the real-scene model data includes feature data of each object detected in the bedroom, and the coordinate data includes coordinate information of each object in the bedroom scene coordinate system.
  • the virtual model is mapped to the coordinate system of the bedroom scene, and the further rendering uses GPU rendering to obtain the VR display screen.
  • the virtual model is consistent with the shape and position of the objects in the real scene, so that the information of the real scene can be supplemented.
  • the display device dynamically shares the real scene model data, virtual model data and coordinate data in the cache unit according to the load status of the AR SOC and the VR SOC. For example, when the actual load of the AR SOC is greater than the first preset load and the actual load of the VR SOC is less than the second preset load, the VR SOC can pre-read the real-scene model data and the virtual model data in the storage unit. And coordinate data, so that when switching from the AR screen to the VR screen, the screen to be displayed can be quickly generated.
  • the real scene is an indoor space scene
  • the display device generates real-scene model data through the data detected by the visual sensor.
  • the real-scene model data is such as the size and shape of the indoor space, and object information in the indoor space, such as Size, type of object, location of object.
  • the real scene model data the real scene is modeled three-dimensionally, a picture matching the real scene information is constructed, and a virtual model is added to the picture to obtain a VR display picture.
  • step S20 includes:
  • the target display mode is the VR display mode
  • obtain the first reality model data stored in the cache unit of the display device and extract the reality model according to the first reality model data
  • the target virtual model is mapped to the real scene coordinate system, and the VR display screen is rendered, and the relative position information includes the real scene coordinates.
  • the target virtual model is a virtual model matching the real scene model.
  • the target virtual model is mapped to the scene coordinate system and rendered to obtain a VR display screen.
  • the display device detects that the user actively triggers switching to the VR display screen, and then extracts the coordinate information of the real scene and various objects in the real scene, including chairs, beds, table, and query the preset virtual chair, virtual bed, and virtual table models in the virtual model, and map the virtual chair, virtual bed, and virtual table models to the real scene coordinate system based on the coordinate information of the real scene, thus obtaining VR display screen.
  • the displayed picture is a virtual picture, the types and positions of each virtual object are derived from the real scene, which can better simulate the experience in the real scene.
  • step S10 it also includes:
  • the target display mode is the AR display mode
  • acquiring the second reality model data stored in the cache unit and extracting visual texture features of key video frames in the second reality model data
  • the The second reality model data is collected by the second camera unit
  • the AR display picture is a real scene picture including the virtual model and the real scene model;
  • the target display mode of the display device is the AR display mode or the VR display mode
  • the first real-scene model data stored in the cache unit of the display device is obtained, and according to The first real-scene model data is to determine the relative position information between the display device and the environment; according to the relative position information and the virtual model data stored in the cache unit, a VR display screen is generated and played, wherein the VR display screen is a virtual model generated with a virtual model. screen.
  • the display device has a VR display mode and an AR display mode, and will detect whether to display the picture in the VR mode or in the AR mode, and when displaying in the VR display mode, based on the first real-scene model data collected by the first camera unit And the saved virtual model data generates a VR display screen, and plays the VR display screen, so that the user can experience the AR mode or the VR mode.
  • the second embodiment of the present application provides a display method. Based on the above-mentioned embodiment shown in FIG. 2 , before the step S10, it also includes:
  • Step S40 acquiring scene information detected by the sensor of the display device, where the scene information includes light information and/or visual feature information;
  • scene information is used for determination.
  • the light information includes light intensity.
  • the visual feature information includes feature quantity information and/or feature uniformity information.
  • the feature number information includes the number of point features and/or the number of line features, and the feature uniformity information includes the uniformity of point feature distribution.
  • the feature uniformity information is calculated by using a multi-fork tree algorithm.
  • Multi-fork trees such as quad-trees.
  • the scene information also includes texture information.
  • Step S50 determining the target display mode of the display device according to the scene information.
  • the target display mode is the VR display mode.
  • the scene information is light intensity information.
  • the preset light intensity interval is a preset light intensity interval that does not meet the definition condition of the AR image. When the light intensity is too high or too low, the AR picture is not clear.
  • the target display mode is the VR display mode.
  • the preset feature quantity interval is a feature quantity interval that does not meet the definition condition of the AR picture. When the number of features is too small, and the light intensity is too high or too low, the AR picture is not clear.
  • the suitability can also be calculated in combination with light information and visual feature information, and the calculated suitability can be compared with the preset suitability to determine whether it is suitable for displaying the AR picture. When it is not suitable for displaying the AR picture, that is It is determined that the target display mode is the VR display mode.
  • the step S50 includes:
  • the target display mode is the VR display mode
  • the target display mode is the AR display mode.
  • the feature quantity is a point feature quantity, or the feature quantity is a line feature quantity, or the feature quantity is a sum of a point feature quantity and a line feature quantity. Only when the number of features is large enough can the pose information be calculated based on the features in the images collected by the camera unit.
  • the preset uniformity interval is a preset uniformity interval that does not meet the definition condition of the AR image.
  • the AR picture is not clear.
  • the VR picture can be displayed to improve the picture clarity. Only when the feature distribution is uniform, can the pose information and model information be accurately extracted.
  • the VR display condition is met, so that when the number of features is insufficient or the feature uniformity is low, the VR screen can be displayed to improve Picture clarity.
  • the number of features is not in the preset number range, and the feature uniformity is not in the preset uniformity range, in order to further judge whether the current environment is suitable for displaying AR screens, and display VR screens when it is not suitable for displaying AR screens, And to improve the display effect of the screen, the light information, feature uniformity and feature quantity are further weighted and summed to obtain the sum value.
  • the value is smaller than the preset threshold, it is determined that the VR display condition is met. In this way, when the current environment is not suitable for displaying AR images, the VR component is enabled to display VR images to improve the image display effect.
  • the number of features is C
  • the uniformity of features is E
  • the light information is L.
  • ⁇ is the new weight value of light
  • ⁇ is the weight value of feature uniformity
  • V is the sum value
  • the scene information detected by the sensor of the display device is acquired, the scene information includes light information and/or visual feature information; the target display mode of the display device is determined according to the scene information, so that the scene information can be automatically
  • the target display mode can be accurately determined, and it can be determined whether to display in VR mode or AR mode according to the state of the current environment, so as to match the screen display requirements in different scenarios and improve the screen display effect in different scenarios.
  • the third embodiment of the present application provides a display method. Based on the second embodiment shown in FIG. 3 above, after the step S50, it further includes:
  • Step S60 when the target display mode is the AR display mode, acquire the second reality model data stored in the cache unit, and extract the visual texture features of key video frames in the second reality model data , the second reality model data is collected by the second camera unit;
  • the AR display screen is played, so that the user can watch the screen in the virtual-real fusion scene.
  • a prompt message for displaying the AR screen may be output, and when a user's confirmation instruction is received, the AR display screen may be played.
  • Step S70 acquiring the first coordinate information of the visual texture feature in the world coordinate system
  • the first coordinate information is the coordinate information of the visual texture feature in the world coordinate system.
  • the target feature points are extracted from the second reality model data feature points; based on the mapping relationship, match the visual texture feature with the target feature point to obtain a matching relationship; according to the matching relationship and the mapping relationship, map the visual texture feature to the world In the coordinate system, the first coordinate information is obtained.
  • Step S80 Map the visual texture features and the virtual model to the world coordinates according to the visual texture features, the first coordinate information, and the second coordinate information of the virtual model stored in the cache unit system, and render an AR display image, the AR display image is a real scene image including the virtual model and the real scene model;
  • the second coordinate information is the coordinate information of the virtual model in the world coordinate system.
  • Step S90 playing the AR display screen.
  • the step S70 includes:
  • the first reality model data stored in the cache unit, the first reality model data being collected by the binocular fisheye camera;
  • mapping relationship Based on the mapping relationship, matching the visual texture feature with the target feature point to obtain a matching relationship
  • the visual texture feature is mapped to the world coordinate system to obtain the first coordinate information.
  • the matching relationship is the relationship between visual texture features and feature points.
  • the first coordinate information is the coordinate information of the visual texture feature mapped to the world coordinate system.
  • the second coordinate information is coordinate information mapped from the virtual model to the world coordinate system.
  • the first camera unit is a binocular high-definition camera.
  • the purpose of using a binocular high-definition camera is to obtain undistorted visual data, so as to further calculate the pose data based on the undistorted visual data, and obtain accurate first coordinate information.
  • the feature point information of the real scene is extracted according to the collected images, the world coordinate system is calculated and updated, and the mapping relationship between the feature point information and the world coordinate system is established.
  • the visual texture feature is matched with the point feature, and the mapping relationship between the feature point and the world coordinate system is combined to map the visual texture feature to the world coordinate system, and the first coordinate information is obtained.
  • the first coordinate information also includes information about the scene coordinate system.
  • the scene coordinate system is a coordinate system constructed based on the real scene.
  • the Simultaneous Localization and Mapping (SLAM) algorithm is used to extract features, and then the world coordinate system is constructed in real time through the matching relationship between the features of adjacent visual frames, and is updated in real time according to the user's pose changes Maintain the coordinate system; the fisheye camera provides visual texture features, and establishes a visual texture feature descriptor to match the coordinates in the world coordinate system, thereby establishing the texture coordinates of the video key frame, and the virtual model processing unit provides each in the virtual environment The coordinate information of the model, after the information is associated and matched with the texture coordinate information, the virtual-real fusion video stream is formed by GPU rendering, and finally the virtual-real fusion is displayed on the display unit.
  • SLAM Simultaneous Localization and Mapping
  • the target display mode is the AR display mode
  • the first real-scene model data stored in the cache unit is obtained, and the visual texture features of key video frames in the first real-scene model data are extracted;
  • the first coordinate information in the world coordinate system according to the visual texture features, the first coordinate information and the second coordinate information of the virtual model stored in the cache unit, map the visual texture features and the virtual model to the world coordinate system, and render to get AR
  • the display screen is a real scene screen including a virtual model and a real scene model; the AR display screen is played. Therefore, the display device has the function of playing the AR display screen and the VR display screen at the same time, and can automatically determine whether it is suitable for playing the AR display screen according to the scene information, and display the AR screen when it is suitable for playing the AR display screen.
  • the fourth embodiment of the present application provides a display method. Based on the above-mentioned embodiment described in FIG. 2 , before the step S10, it also includes:
  • Step S100 acquiring image frames detected by the visual sensor of the display device
  • the point features and line features are extracted based on the gray gradient information of the image, the triangular surface features are constructed through the line features, the model vertices are determined according to the triangular surface features, the body features are constructed according to the model vertices, and a virtual model is obtained by rendering.
  • model vertices are stored in the cache unit and used for rendering the virtual model.
  • Step S110 extracting point features in the image frame according to the gray gradient information of the image frame
  • Point features are gray-scale regions extracted from gray-scale gradient information.
  • grayscale information of point features can be obtained by performing grayscale processing of pixels and capturing sampling points around the region of interest in the image.
  • the point, line, surface, and volume are processed layer by layer to obtain model information.
  • Step S120 constructing a line feature according to each two point features
  • Line features are grayscale regions constructed from point features. Defines a line feature from two point features. Construct a line feature based on every two point features, so as to obtain all the line features in the image frame.
  • Step S130 constructing a triangular surface according to the three line features intersecting in pairs;
  • step S120 before the step S120, it also includes:
  • the preset gray value is a preset threshold at which the gray value difference meets the intersection requirement.
  • the difference between the gray values at the two endpoints is small enough to indicate that they are similar enough to be considered intersections.
  • Each two-line intersection point corresponds to two line features. When three line features intersect two by two, a surface feature can be determined according to the three line features. In this way, all surface features in the image can be determined.
  • Step S140 constructing body features according to the four intersecting triangular faces
  • a volume feature can be determined according to the four triangular faces, and all volume features in the image can be determined in this way.
  • Step S150 determining the first reality model data according to the volume features
  • Rendering according to volume features can obtain real scene model data.
  • Step S160 saving the first real-scene model data into the cache unit.
  • the visual sensor processing unit of the display device processes visual data, extracts scene grayscale information, calculates point features and line features, and obtains coordinate data and model data through data processing thread processing, and selects and displays through the mode selection thread VR screen or display AR screen.
  • the data processing thread mainly performs the following steps: perform grayscale processing on the scene, extract model vertex information through point, line, surface-to-volume layer-by-layer calculation logic, update and synchronize the data in the FIFO model information area, construct a scene contour model, and cache feature information to In the model information area in the FIFO memory, select the anchor point of the scene, calculate the key model coordinate information relative to the anchor point with binocular vision, construct the scene coordinate system, and cache the coordinate information to the coordinate information area in the FIFO memory.
  • the mode selection thread mainly performs the following steps: the light sensor perceives the light environment of the scene, calculates the suitability of the AR mode according to the light environment and the number of scene features, judges whether it is suitable for displaying the AR picture according to the suitability, and displays the AR picture when it is suitable for displaying the AR picture , Obtain the virtual model data, real scene model data and coordinate data in the FIFO memory, and perform virtual-real fusion processing to obtain the virtual-real fusion AR picture, display the AR picture, and continuously use the light sensor for monitoring. If it is not suitable to display the AR picture, display the VR picture, obtain the virtual model data, real scene model data and coordinate data in the FIFO memory, construct the VR scene coordinate system, combine the virtual model, and render the VR picture.
  • RAM random access memory
  • ROM read-only memory
  • EEPROM electrically programmable ROM
  • EEPROM electrically erasable programmable ROM
  • registers hard disk, removable disk, CD-ROM, or any other Any other known storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请一些实施例公开了一种显示方法、显示设备及计算机可读存储介质，所述显示方法应用于显示设备，所述显示设备包括第一摄像单元，所述显示方法包括：检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。本申请旨在避免用户佩戴VR设备后仅能体验VR模式，用户体验受限。

Description

显示方法、显示设备及计算机可读存储介质
本申请要求于2021年12月1日提交中国专利局、申请号为202111456172.6、申请名称为“显示方法、显示设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及显示技术领域，尤其涉及一种显示方法、显示设备及计算机可读存储介质。
背景技术
虚拟现实(Virtual Reality，VR)设备以及增强现实(Augmented Reality，AR)设备广泛应用于各种领域。其中，VR设备以及AR设备均具有独立的硬件系统，并分别基于各自的硬件系统独立使用。AR设备提供AR模式，AR模式下，虚拟图像与真实环境融合、故用户可同时体验虚拟图像与真实环境；VR设备通常只能提供VR模式，VR模式下用户仅能体验虚拟图像。目前，用户佩戴VR设备后仅能体验VR模式，用户体验受限。
发明内容
本申请的主要目的在于提供一种显示方法、显示设备及计算机可读存储介质，旨在解决用户佩戴VR设备后仅能体验VR模式、用户体验受限的技术问题。
为实现上述目的，本申请提供一种显示方法，所述显示方法应用于显示设备，所述显示设备包括第一摄像单元，所述显示方法包括：
检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；
在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；
根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。
可选地，所述检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式的步骤包括：
获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线信息和/或视觉特征信息；
根据所述场景信息确定所述显示设备的所述目标显示模式。
可选地，所述视觉特征信息包括特征数量和/或特征均匀度，所述光线信息为光照强度，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤包括：
检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；
在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；
在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；
在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；
在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。
可选地，所述显示设备还包括第二摄像单元，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤之后，还包括：
在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；
获取所述视觉纹理特征在世界坐标系中的第一坐标信息；
根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；
播放所述AR显示画面。
可选地，所述获取所述视觉纹理特征在世界坐标系中的第一坐标信息的步骤包括：
根据所述第二实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第二实景模型数据中提取的特征点；
基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；
根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述 世界坐标系中，得到所述第一坐标信息。
可选地，所述根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放的步骤包括：
根据所述第二实景模型数据提取所述实景模型；
在保存的所述虚拟模型数据中，选取与所述实景模型匹配的目标虚拟模型；
基于所述相对位置信息，将所述目标虚拟模型映射到实景坐标系中，并渲染得到所述VR显示画面，所述相对位置信息包括第二坐标信息；
播放所述VR显示画面。
可选地，所述获取所述显示设备的缓存单元中保存的第一实景模型数据的步骤之前，还包括：
获取所述显示设备的视觉传感器检测到的图像帧；
根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；
分别根据每两个所述点特征构建一个线特征；
根据两两相交的三个所述线特征，构建三角面；
根据两两相交的四个所述三角面，构建体特征；
根据所述体特征确定所述第一实景模型数据；
保存所述第一实景模型数据至所述缓存单元中。
可选地，所述根据两两相交的三个所述线特征，构建三角面的步骤之前，还包括：
确定每个所述线特征的端点的灰度值；
根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；
根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；
确定每个所述两线相交点对应的每个所述线特征；
根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。
此外，为实现上述目的，本申请还提供一种显示设备，所述显示设备包括第一摄像单元、处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的显示程序，其中：所述第一摄像单元与所述处理器通信连接；所述显示程序被所述处理器执行时实现上述任一项所述的方法。
可选地，所述第一摄像单元包括双目高清眼摄像头，所述显示设备还包括第二摄像单元，所述第二摄像单元与所述处理器通信连接，所述第二摄像 单元包括双目鱼眼摄像头。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有显示程序，所述显示程序被处理器执行时实现上述任一项所述的显示方法的步骤。
本申请实施例提出的一种显示方法、显示设备及计算机可读存储介质，通过检测显示设备的目标显示模式为AR显示模式或者VR显示模式；在目标显示模式为VR显示模式时，获取显示设备的缓存单元中保存的第一实景模型数据，并根据第一实景模型数据，确定显示设备与所处环境的相对位置信息；根据相对位置信息以及缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，VR显示画面为生成有虚拟模型的虚拟画面。显示设备具有VR显示模式以及AR显示模式，并且，会检测是以VR模式显示画面，还是以AR模式显示画面，在以VR显示模式进行显示时，基于第一摄像单元采集的第一实景模型数据以及保存的虚拟模型数据生成VR显示画面，并播放VR显示画面，用户能够体验AR模式或者VR模式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一部分附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本申请显示方法第一实施例的流程示意图；
图3为本申请显示方法第二实施例的流程示意图；
图4为本申请显示方法第三实施例的流程示意图；
图5为本申请显示方法第四实施例的流程示意图；
图6为本申请实施例涉及的SOC及处理单元一实施例的示意图；
图7为本申请实施例涉及的点、线、面到体逐层处理生成体特征的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的显示设备的结构示意图。
如图1所示，该显示设备可以包括：处理器1001，例如CPU，第一摄像单元1003，存储器1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。第一摄像单元1003用于采集第一实景模型数据。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
显示设备还包括佩戴组件、显示屏和透镜组件，佩戴组件将显示设备佩戴于用户头部后显示屏展示的图像光穿过透镜组件进入用户眼睛。
可选地，第一摄像单元为双目高清摄像头。双目高清摄像头采集的画面无畸变，用于确定相对位置信息时更准确。
可选地，显示设备还包括第二摄像单元。第二摄像单元可以是双目鱼眼摄像头，双目鱼眼摄像头用于采集大视场角的画面，双目语言摄像头采集的画面更完整，用于提取视觉纹理特征时，提取的画面特征更丰富。
一些实施例中，第一摄像单元设置于显示设备前壳的左上角和右上角，第二摄像单元设置于显示设备前壳的左下角和右下角。当然，还可以采用其他方式设置。
本领域技术人员可以理解，图1中示出的显示设备的结构并不构成对显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1004中可以包括操作系统以及显示程序。
在图1所示的显示设备中，处理器1001可以用于调用存储器1004中存储的显示程序，并执行以下操作：
检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；
在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；
根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。
进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：
获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线 信息和/或视觉特征信息；
根据所述场景信息确定所述显示设备的所述目标显示模式。
进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：
检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；
在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；
在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；
在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；
在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。
进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：
在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；
获取所述视觉纹理特征在世界坐标系中的第一坐标信息；
根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；
播放所述AR显示画面。
进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：
根据所述第二实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第二实景模型数据中提取的特征点；
基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；
根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。
进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：
根据所述第一实景模型数据提取所述实景模型；
在保存的所述虚拟模型数据中，选取与所述实景模型匹配的目标虚拟模型；
基于所述相对位置信息，将所述目标虚拟模型映射到实景坐标系中，并渲染得到所述VR显示画面，所述相对位置信息包括第二坐标信息；
播放所述VR显示画面。
进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：
获取所述显示设备的视觉传感器检测到的图像帧；
根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；
分别根据每两个所述点特征构建一个线特征；
根据两两相交的三个所述线特征，构建三角面；
根据两两相交的四个所述三角面，构建体特征；
根据所述体特征确定所述第一实景模型数据；
保存所述第一实景模型数据至所述缓存单元中。
进一步地，处理器1001可以调用存储器1004中存储的显示程序，还执行以下操作：
确定每个所述线特征的端点的灰度值；
根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；
根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；
确定每个所述两线相交点对应的每个所述线特征；
根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。
参照图2，本申请第一实施例提供一种显示方法，所述显示方法包括：
步骤S10，检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；
目标显示模式是显示设备待显示画面的显示模式。AR显示模式为显示AR画面的模式，VR模式为显示VR画面的模式。
可选地，可以根据接收到的用户设定指令，检测目标显示模式为AR显示模式或者VR显示模式，用户设定指令包括AR模式设定指令或者VR模式设定指令。
比如，在使用者处于光照条件过于饱和的场景中时，通过显示设备AR组件观察到的画面不清晰，此时可以主动发出交互指令触发VR显示条件。又比如，用户在观看AR画面的过程中，产生了观看VR画面的需求，此时也可以主动触发VR显示条件。
可选地，可以根据显示设备所在环境的场景信息，检测目标显示模式为AR显示模式或者VR显示模式。
其中，显示AR画面时，若场景中的光照条件过于饱和，将无法清晰地将虚拟模型投影到AR镜片上，导致AR画面不清晰。为了便于用户观看清晰的显示画面，此情况下判定满足VR切换条件，并播放VR显示画面。并且，为了在一定程度上避免VR具有封闭性的特点，VR显示画面根据第一实景模型数据结合虚拟模型数据生成。
可选地，参照图5所示，显示设备包括存储器、两个系统级芯片(System on Chip，SOC)以及两个处理单元。其中两个系统级芯片分别是用于处理AR显示画面的AR SOC、用于处理VR显示画面的VR SOC，两个处理单元分别为视觉数据处理单元以及惯性数据处理单元，存储器中存储实景模型数据、虚拟模型数据以及坐标数据。惯性数据处理单元可以为两个SOC提供惯性位姿数据，辅助对真实场景的感知。视觉数据处理单元作为一个独立的处理单元会实时分析第一摄像单元以及第二摄像单元捕获的场景的特征信息，并能够进行计算得到相对锚点的坐标信息，该坐标信息存储在存储器的坐标信息区，在切换至VR显示画面时，可以快速读取坐标信息，并在虚拟现实环境中构建起符合真实场景布局的虚拟场景。
可选地，缓存单元中包括至少三个功能区，各个功能区分别用于存储实景模型数据、虚拟模型数据以及坐标数据。实景模型数据以及坐标数据存储在缓存单元中，从而使得在AR画面以及VR画面之间切换时，可以快速复用数据，以实现快速切换所显示的画面。
步骤S20，在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；
缓存单元是缓存数据的存储器。第一实景模型数据是真实场景中的模型 数据，第一实景模型数据由第一摄像单元采集得到。VR切换条件为显示设备播放画面时，切换至VR显示画面进行播放的条件。
可选地，第一摄像单元为双目高清摄像头。采用双目高清摄像头，从而能够获得更准确的相对位置信息。
可选地，两个高清摄像头分别设置在显示设备的两侧。
可选地，缓存单元为先进先出(First Input First Output，FIFO)存储器，采用FIFO存储器能够提高数据共享的实时性，使得在虚拟场景中快速复用实景模型数据息。
可选地，第一实景模型数据包括实景坐标和实景模型，实景模型为真实场景中的模型，实景坐标为真实场景中的坐标。相对位置信息具体可以根据实景坐标得到。
可选地，实景模型包括真实场景中的各真实物体。
可选地，实景坐标包括真实场景的坐标系，以及各真实场景中各真实物体在真实场景坐标系中的坐标。
步骤S30，根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面；
虚拟模型数据是在虚拟的数字空间中模拟出的模型数据。
可选地，虚拟模型数据预先设定并保存在缓存单元中。
可选地，在根据相对位置信息以及缓存单元保存的虚拟模型数据，生成VR显示画面的过程中，根据第一实景模型数据的实景坐标，构建得到虚拟场景的坐标信息，以使虚拟场景的坐标与真实场景的坐标相一致；还可以确定与实景模型匹配的虚拟模型，并基于匹配的虚拟模型以及与真实场景一致的坐标信息，构建得到VR显示画面，从而，VR显示画面中虽然显示的是虚拟模型，但由于虚拟模型与真实模型匹配，且虚拟场景的坐标与真实场景相一致，从而能够使得使用者基于虚拟场景体验真实场景。
在一场景中，使用者佩戴显示设备，并置身于卧室中。显示设备检测到卧室的照明情况过亮，不适于采用AR画面显示，此时提示用户切换至VR画面，用户无需摘下显示设备，无需切换至其它显示设备，直接确认需要进行切换。显示设备检测到确认切换的指令时，获取第一实景模型数据，实景模型数据包括卧室内检测的各物体的特征数据，坐标数据包括各物体在卧室场景坐标系的坐标信息。各物体比如床、椅子、桌子、墙壁等，通过在虚拟模型数据中查找对应的床的虚拟模型、椅子的虚拟模型以及桌子的虚拟模型， 并将床的虚拟模型、椅子的虚拟模型以及桌子的虚拟模型映射到卧室场景坐标系中，进一步渲染采用GPU渲染得到VR显示画面。此时，虽然所显示的画面中不包括真实场景的各物体，但是虚拟模型与真实场景的物体形态、位置相一致，从而能够弥补真实场景的信息。
可选地，显示设备根据AR SOC以及VR SOC的负荷状态，动态地共享缓存单元中的实景模型数据、虚拟模型数据以及坐标数据。比如，在AR SOC的实际负荷量大于第一预设负荷量，且VR SOC的实际负荷量小于第二预设负荷量时，VR SOC可以预先读取存储单元中的实景模型数据、虚拟模型数据以及坐标数据，从而在从AR画面换至VR画面时，能够快速的生成所要显示的画面。
在一具体场景中，真实场景为室内空间场景，显示设备通过视觉传感器检测到的数据，生成实景模型数据，实景模型数据例如所在室内空间的大小、形状，室内空间中的物体信息，比如物体的尺寸、物体的类型、物体的位置。根据实景模型数据，对真实场景进行三维建模，构建与真实场景信息匹配的画面，并在画面中添加虚拟模型，从而得到VR显示画面。
在一实施例中，步骤S20包括：
在目标显示模式为VR显示模式时，获取显示设备的缓存单元中保存的第一实景模型数据，并根据第一实景模型数据提取实景模型；
在保存的虚拟模型数据中，选取与实景模型匹配的目标虚拟模型；
基于相对位置信息，将目标虚拟模型映射到实景坐标系中，并渲染得到VR显示画面，相对位置信息包括实景坐标。
目标虚拟模型为与实景模型匹配的虚拟模型。
其中，基于实景坐标，将目标虚拟模型映射到场景坐标系中，并进行渲染，得到VR显示画面。
在一具体场景中，显示设备检测到用户主动触发切换至VR显示画面，则根据第一实景模型数据提取真实场景的坐标信息、以及真实场景中的各个物体，包括真实场景中的椅子、床、桌，并在虚拟模型中查询预设的虚拟椅子、虚拟床以及虚拟桌的模型，基于真实场景的坐标信息将虚拟椅子、虚拟床以及虚拟桌的模型，映射到真实场景坐标系中，从而得到VR显示画面。虽然显示的画面时虚拟画面，但是各虚拟物体的类型和位置都来源与真实场景，能够较好的模拟真实场景中的体验。
在一实施例中，步骤S10之后，还包括：
在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存 的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；
获取所述视觉纹理特征在世界坐标系中的第一坐标信息；
根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；
播放所述AR显示画面。
在本实施例中，通过检测显示设备的目标显示模式为AR显示模式或者VR显示模式；在目标显示模式为VR显示模式时，获取显示设备的缓存单元中保存的第一实景模型数据，并根据第一实景模型数据，确定显示设备与所处环境的相对位置信息；根据相对位置信息以及缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，VR显示画面为生成有虚拟模型的虚拟画面。显示设备具有VR显示模式以及AR显示模式，并且，会检测是以VR模式显示画面，还是以AR模式显示画面，在以VR显示模式进行显示时，基于第一摄像单元采集的第一实景模型数据以及保存的虚拟模型数据生成VR显示画面，并播放VR显示画面，从而用户能够体验AR模式或者VR模式。
参照图3，本申请第二实施例提供一种显示方法，基于上述图2所示的实施例，所述步骤S10之前，还包括：
步骤S40，获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线信息和/或视觉特征信息；
为了在不同场景中，灵活地在AR显示画面以及VR显示画面之间进行切换，本实施例中，根据场景信息判断是否满足VR显示条件，以控制是否触发显示VR画面。
其中，AR设备在光线条件发生变化时，无法发挥虚实融合特性，若光照条件过于饱和，AR设备无法清晰地将虚拟模型投影到AR镜片上，而VR设备的封闭性则导致了其缺乏与真实环境融合的特点。为了能够在不同场景中，在AR与VR之间进行切换，本实施例中通过场景信息进行判定。
可选地，光线信息包括光线强度。
可选地，视觉特征信息包括特征数量信息和/或特征均匀度信息。特征数量信息包括点特征数量和/或线特征数量，特征均匀度信息包括点特征分布的均匀度。
可选地，特征均匀度信息通过多叉树算法进行计算得到。多叉树比如四叉树。
可选地，场景信息还包括纹理信息。
步骤S50，根据所述场景信息确定所述显示设备的所述目标显示模式。
可选地，在光线强度处于预设光线强度区间内时，确定目标显示模式为VR显示模式。场景信息为光线强度信息。预设光线强度区间是预先设定的不满足AR画面清晰度条件的光线强度区间。在光线强度过大或者过小时，AR画面不清晰。
可选地，在光线强度处于预设光线强度区间内，且特征数量处于预设特征数量区间内时，确定目标显示模式为VR显示模式。预设特征数量区间是不满足AR画面清晰度条件的特征数量区间。在特征数量过少时，且光线强度过大或者过小时，AR画面不清晰。
可选地，还可以结合光线信息以及视觉特征信息，计算适合度，并将计算的适合度与预设适合度进行比对，以判定是否适合显示AR画面，在不适合显示AR画面时，即判定目标显示模式为VR显示模式。
在一实施中，所述步骤S50包括：
检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；
在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；
在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；
在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；
在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。
可选地，特征数量为点特征数量，或者，特征数量为线特征数量，或者，特征数量为点特征数量以及线特征数量之和。只有在特征数量足够大时，才能基于摄像单元采集的图像中的特征计算出位姿信息。
预设均匀度区间是预先设定的不满足AR画面清晰度条件的均匀度区间。在特征均匀度较低时，AR画面不清晰，此时可以显示VR画面，以改善画面清晰度。只有在特征分布均匀的情况下，才能准确的提取位姿信息和模型信 息。
在特征数量处于预设数量区间内，或者，特征均匀度处于预设均匀度区间内时，均判定满足VR显示条件，从而能够在特征数量不足或者特征均匀度较低时，显示VR画面，提升画面清晰度。
在特征数量不处于预设数量区间，且特征均匀度不处于预设均匀度区间内时，为了进一步判断当前环境是否适合于显示AR画面，并在不适合于显示AR画面时，显示VR画面，并提升画面显示效果，还进一步对光线信息、特征均匀度以及特征数量进行加权求和，得到求和值，光线信息可以是光照强度，并基于求和值与预设阈值进行比较，在求和值小于预设阈值时，判定满足VR显示条件。从而及时在当前环境不适合于显示AR画面时，使能VR组件显示VR画面，提升画面显示效果。
比如，特征数量为C，特征均匀度为E，光线信息为L，
Figure PCTCN2021139674-appb-000001
为特征数量的权重值，α为光线新的权重值，γ为特征均匀度的权重值，V为求和值，则
Figure PCTCN2021139674-appb-000002
在本实施例中，通过获取显示设备的传感器检测到的场景信息，场景信息包括光线信息和/或视觉特征信息；根据场景信息确定所述显示设备的目标显示模式，从而能够根据场景信息，自动地确定目标显示模式，能够根据当前环境的状态，判定是以VR模式显示或者以AR模式显示，以匹配不同场景下的画面显示需求，提升不同场景下画面显示效果。
参照图4，本申请第三实施例提供一种显示方法，基于上述图3所示的第二实施例，所述步骤S50之后，还包括：
步骤S60，在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；
可选地，在根据场景信息检测到适于以VR模式显示时，播放AR显示画面，从而便于使用者观看虚实融合场景下的画面。
可选地，在播放VR显示画面之前时，可以输出显示AR画面的提示信息，并在接收到使用者的确认指令时，播放AR显示画面。
步骤S70，获取所述视觉纹理特征在世界坐标系中的第一坐标信息；
第一坐标信息为视觉纹理特征在世界坐标系中的坐标信息。
可选地，根据所述第二实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第二实景模型数据中提取的特征点；基于所述映射关系，将所述视觉纹理特征与所述目标 特征点进行匹配，得到匹配关系；根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。
步骤S80，根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；
第二坐标信息为虚拟模型在世界坐标系中的坐标信息。
步骤S90，播放所述AR显示画面。
在一实施例中，所述步骤S70包括：
获取所述缓存单元中保存的第一实景模型数据，所述第一实景模型数据由所述双目鱼眼摄像头采集；
根据所述第一实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第一实景模型数据中提取的特征点；
基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；
根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。
匹配关系为视觉纹理特征与特征点之间的关系。第一坐标信息为视觉纹理特征映射到所述世界坐标系中的坐标信息。第二坐标信息为虚拟模型映射到世界坐标系中的坐标信息。
可选地，第一摄像单元为双目高清摄像头。采用双目高清摄像头，目的在于获取无畸变的视觉数据，以进一步根据无畸变的视觉数据，计算位姿数据，得到准确的第一坐标信息。
其中，根据所采集的图像提取真实场景特征点信息，计算并更新世界坐标系，建立特征点信息与世界坐标系之间的映射关系。将视觉纹理特征与点特征进行特征匹配，并结合特征点与世界坐标系之间的映射关系，将视觉纹理特征映射到世界坐标系中，并得到第一坐标信息。
可选地，第一坐标信息还包括场景坐标系的信息。场景坐标系为基于真实场景构建的坐标系。
在一具体实现中，采用同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)算法提取特征，然后通过相邻视觉帧的特征之间匹配关实时构建世界坐标系，同时根据用户位姿变化实时更新维护坐标系；鱼眼 摄像头提供视觉纹理特征，通过建立视觉纹理特征描述子来与世界坐标系中的坐标进行特征匹配，从而确立视频关键帧的纹理坐标，虚拟模型处理单元提供在虚拟环境中各模型的坐标信息，这些信息与纹理坐标信息关联匹配后，经GPU渲染形成虚实融合的视频流，最终在显示单元中进行虚实融合显示。
在本实施例中，通过在目标显示模式为AR显示模式时，获取缓存单元中保存的第一实景模型数据，并提取第一实景模型数据中关键视频帧的视觉纹理特征；获取视觉纹理特征在世界坐标系中的第一坐标信息；根据视觉纹理特征、第一坐标信息以及缓存单元保存的虚拟模型的第二坐标信息，将视觉纹理特征以及虚拟模型映射到世界坐标系中，并渲染得到AR显示画面，AR显示画面为包括虚拟模型以及实景模型的实景画面；播放AR显示画面。从而显示设备同时具有播放AR显示画面的功能以及播放VR显示画面的功能，并且，能够根据场景信息自动的确定是否适于播放AR显示画面，在适于播放AR显示画面时，显示AR画面。
参照图5，本申请第四实施例提供一种显示方法，基于上述图2所述的实施例，所述步骤S10之前，还包括：
步骤S100，获取所述显示设备的视觉传感器检测到的图像帧；
本实施例中，基于图像的灰度梯度信息提取出点特征、线特征，通过线特征构建三角面特征，再根据三角面特征确定模型顶点，根据模型顶点构建体特征，并渲染得到虚拟模型。
可选地，模型顶点存储在缓存单元中，并被用于进行虚拟模型的渲染。
步骤S110，根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；
点特征是根据灰度梯度信息提取的灰度区域。
可选地，通过在图像中的感兴趣区域周围进行像素点的灰度处理和采样点捕获，可以得到点特征的灰度信息。参照图7所示，根据点特征的灰度信息，进行点、线、面、体的逐层处理，得到模型信息。
步骤S120，分别根据每两个所述点特征构建一个线特征；
线特征是根据点特征构建得到的灰度区域。通过两个点特征确定一个线特征。分别根据每两个点特征构建一个线特征，从而得到图像帧中所有的线特征。
步骤S130，根据两两相交的三个所述线特征，构建三角面；
在一实施例中，所述步骤S120之前，还包括：
确定每个所述线特征的端点的灰度值；
根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；
根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；
确定每个所述两线相交点对应的每个所述线特征；
根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。
其中，预设灰度值是预先设定的灰度值差值符合相交要求的阈值。在两个端点的灰度值差值足够小时，表明二者足够相似，因而视作相交点。每个两线相交点对应两个线特征，当三个线特征两两相交时，可以根据三个线特征确定一个面特征，采用此方式，可以确定图像中的所有面特征。
步骤S140，根据两两相交的四个所述三角面，构建体特征；
四个三角面两两相交时，可以根据四个三角面确定一个体特征，采用此方式可以确定图像中的所有体特征。
步骤S150，根据所述体特征确定所述第一实景模型数据；
根据体特征进行渲染，可以得到实景模型数据。
步骤S160，保存所述第一实景模型数据至所述缓存单元中。
在一具体实现方式中，显示设备的视觉传感器处理单元处理视觉数据，提取场景灰度信息，计算点特征、线特征，并通过数据处理线程处理得到坐标数据以及模型数据，通过模式选择线程选择显示VR画面或者显示AR画面。
数据处理线程主要执行以下步骤：对场景进行灰度处理，通过点、线、面到体的逐层计算逻辑提取模型顶点信息，更新同步FIFO模型信息区数据，构建场景轮廓模型，缓存特征信息至FIFO存储器中的模型信息区，选定场景锚点，双目视觉计算相对锚点的关键模型坐标信息，构建场景坐标系，缓存坐标信至FIFO存储器中的坐标信息区。
模式选择线程主要执行以下步骤：光线传感器感知场景光线环境，根据光线环境和场景特征数量计算AR模式适合度，根据适合度判断是否适合于显示AR画面，在适合于显示AR画面时，显示AR画面，获取FIFO存储器中的虚拟模型数据、实景模型数据及以及坐标数据，并进行虚实融合处理，得到虚实融合的AR画面，显示AR画面，并持续采用光传感器进行监控。若不适合显示AR画面时，显示VR画面，获取FIFO存储器中的虚拟模型数据、实景模型数据以及坐标数据，构建VR场景坐标系，结合虚拟模型，渲染得到VR画面。
在本实施例中，通过获取所述显示设备的视觉传感器检测到的图像帧；根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；分别根据每两个所述点特征构建一个线特征；根据两两相交的三个所述线特征，构建三角面；根据两两相交的四个所述三角面，构建体特征；根据所述体特征确定所述实景模型数据；保存所述实景模型数据至所述缓存单元中。从而能够从点、线、面到体逐层处理，高效率渲染得到模型信息。
本说明书中各个实施例采用并列或者递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处可参见方法部分说明。
本领域普通技术人员还可以理解，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

  1. 一种显示方法，其特征在于，所述显示方法应用于显示设备，所述显示设备包括第一摄像单元，所述显示方法包括：
    检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式；
    在所述目标显示模式为所述VR显示模式时，获取所述显示设备的缓存单元中保存的第一实景模型数据，并根据所述第一实景模型数据，确定所述显示设备与所处环境的相对位置信息，所述第一实景模型数据由所述第一摄像单元采集；
    根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放，其中，所述VR显示画面为生成有虚拟模型的虚拟画面。
  2. 如权利要求1所述的方法，其特征在于，所述检测所述显示设备的目标显示模式为AR显示模式或者VR显示模式的步骤包括：
    获取所述显示设备的传感器检测到的场景信息，所述场景信息包括光线信息和/或视觉特征信息；
    根据所述场景信息确定所述显示设备的所述目标显示模式。
  3. 如权利要求2所述的方法，其特征在于，所述视觉特征信息包括特征数量和/或特征均匀度，所述光线信息为光照强度，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤包括：
    检测所述特征数量是否处于预设数量区间内，以及所述特征均匀度是否处于预设均匀度区间内；
    在所述特征数量处于所述预设数量区间内时，或者所述特征均匀度处于所述预设均匀度区间内时，确定所述目标显示模式为所述VR显示模式；
    在所述特征数量不处于所述预设数量区间内，且所述特征均匀度不处于所述预设均匀度区间内时，对所述光线信息、所述特征数量以及所述特征均匀度加权求和，得到求和值；
    在所述求和值小于预设阈值时，确定所述目标显示模式为所述VR显示模式；
    在所述求和值大于或者等于所述预设阈值时，确定所述目标显示模式为所述AR显示模式。
  4. 如权利要求2所述的方法，其特征在于，所述显示设备还包括第二摄像单元，所述根据所述场景信息确定所述显示设备的所述目标显示模式的步骤之后，还包括：
    在所述目标显示模式为所述AR显示模式时，获取所述缓存单元中保存 的所述第二实景模型数据，并提取所述第二实景模型数据中关键视频帧的视觉纹理特征，所述第二实景模型数据由所述第二摄像单元采集；
    获取所述视觉纹理特征在世界坐标系中的第一坐标信息；
    根据所述视觉纹理特征、所述第一坐标信息以及所述缓存单元保存的所述虚拟模型的第二坐标信息，将所述视觉纹理特征以及所述虚拟模型映射到所述世界坐标系中，并渲染得到AR显示画面，所述AR显示画面为包括所述虚拟模型以及所述实景模型的实景画面；
    播放所述AR显示画面。
  5. 如权利要求4所述的方法，其特征在于，所述获取所述视觉纹理特征在世界坐标系中的第一坐标信息的步骤包括：
    根据所述第一实景模型数据更新所述世界坐标系，并建立目标特征点与所述世界坐标系的映射关系，所述目标特征点为所述第一实景模型数据中提取的特征点；
    基于所述映射关系，将所述视觉纹理特征与所述目标特征点进行匹配，得到匹配关系；
    根据所述匹配关系以及所述映射关系，将所述视觉纹理特征映射到所述世界坐标系中，得到所述第一坐标信息。
  6. 如权利要求1所述的方法，其特征在于，所述根据所述相对位置信息以及所述缓存单元保存的虚拟模型数据，生成VR显示画面并播放的步骤包括：
    根据所述第一实景模型数据提取所述实景模型；
    在保存的所述虚拟模型数据中，选取与所述实景模型匹配的目标虚拟模型；
    基于所述相对位置信息，将所述目标虚拟模型映射到实景坐标系中，并渲染得到所述VR显示画面，所述相对位置信息包括第二坐标信息；
    播放所述VR显示画面。
  7. 如权利要求1所述的方法，其特征在于，所述获取所述显示设备的缓存单元中保存的第一实景模型数据的步骤之前，还包括：
    获取所述显示设备的视觉传感器检测到的图像帧；
    根据所述图像帧的灰度梯度信息，提取所述图像帧中的点特征；
    分别根据每两个所述点特征构建一个线特征；
    根据两两相交的三个所述线特征，构建三角面；
    根据两两相交的四个所述三角面，构建体特征；
    根据所述体特征确定所述第一实景模型数据；
    保存所述第一实景模型数据至所述缓存单元中。
  8. 如权利要求7所述的方法，其特征在于，所述根据两两相交的三个所述线特征，构建三角面的步骤之前，还包括：
    确定每个所述线特征的端点的灰度值；
    根据所有端点的所述灰度值，确定所述图像帧中每两个所述端点之间的灰度值差值；
    根据所述灰度值差值小于预设灰度值的两个所述端点，确定两线相交点；
    确定每个所述两线相交点对应的每个所述线特征；
    根据每个所述两线相交点对应的每个所述线特征，在所述图像帧的预设区域内确定两两相交的三个所述线特征。
  9. 一种显示设备，其特征在于，所述显示设备包括第一摄像单元、处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的显示程序，其中：
    所述第一摄像单元与所述处理器通信连接；
    所述显示程序被所述处理器执行时实现权利要求1至8任一项所述的方法。
  10. 如权利要求9所述的显示设备，其特征在于，所述第一摄像单元包括双目高清摄像头，所述显示设备还包括第二摄像单元，所述第二摄像单元与所述处理器通信连接，所述第二摄像单元包括双目鱼眼摄像头。
  11. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有显示程序，所述显示程序被处理器执行时实现如权利要求1至8中任一项所述的显示方法的步骤。
PCT/CN2021/139674 2021-12-01 2021-12-20 显示方法、显示设备及计算机可读存储介质 WO2023097805A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111456172.6A CN114241168A (zh) 2021-12-01 2021-12-01 显示方法、显示设备及计算机可读存储介质
CN202111456172.6 2021-12-01

Publications (1)

Publication Number Publication Date
WO2023097805A1 true WO2023097805A1 (zh) 2023-06-08

Family

ID=80752678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/139674 WO2023097805A1 (zh) 2021-12-01 2021-12-20 显示方法、显示设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114241168A (zh)
WO (1) WO2023097805A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116896608A (zh) * 2023-09-11 2023-10-17 山东省地震局 一种基于移动设备传播的虚拟地震场景演播系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115400A (zh) * 2023-09-15 2023-11-24 深圳市红箭头科技有限公司 实时显示全身人体动作的方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109916A1 (en) * 2014-06-03 2017-04-20 Metaio Gmbh Method and sytem for presenting a digital information related to a real object
US20180074332A1 (en) * 2015-04-24 2018-03-15 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN111338737A (zh) * 2020-02-28 2020-06-26 华为技术有限公司 内容呈现方法、装置、终端设备及计算机可读存储介质
WO2020201998A1 (en) * 2019-04-03 2020-10-08 Purple Tambourine Limited Transitioning between an augmented reality scene and a virtual reality representation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109916A1 (en) * 2014-06-03 2017-04-20 Metaio Gmbh Method and sytem for presenting a digital information related to a real object
US20180074332A1 (en) * 2015-04-24 2018-03-15 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
WO2020201998A1 (en) * 2019-04-03 2020-10-08 Purple Tambourine Limited Transitioning between an augmented reality scene and a virtual reality representation
CN111338737A (zh) * 2020-02-28 2020-06-26 华为技术有限公司 内容呈现方法、装置、终端设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116896608A (zh) * 2023-09-11 2023-10-17 山东省地震局 一种基于移动设备传播的虚拟地震场景演播系统
CN116896608B (zh) * 2023-09-11 2023-12-12 山东省地震局 一种虚拟地震场景演播系统

Also Published As

Publication number Publication date
CN114241168A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
WO2023097805A1 (zh) 显示方法、显示设备及计算机可读存储介质
TWI678099B (zh) 視頻處理方法、裝置和儲存介質
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
CN109561296A (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
US9392248B2 (en) Dynamic POV composite 3D video system
CN109074681A (zh) 信息处理装置、信息处理方法和程序
US20200410211A1 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
WO2017152529A1 (zh) 基准平面的确定方法和确定系统
US10848733B2 (en) Image generating device and method of generating an image
US20190213975A1 (en) Image processing system, image processing method, and computer program
WO2020248442A1 (zh) 用于电子设备的图像处理方法、装置及电子设备
EP3571670B1 (en) Mixed reality object rendering
US11763479B2 (en) Automatic measurements based on object classification
JP2015114905A (ja) 情報処理装置、情報処理方法およびプログラム
US11315309B2 (en) Determining pixel values using reference images
WO2018076172A1 (zh) 一种图像显示方法及终端
US11831853B2 (en) Information processing apparatus, information processing method, and storage medium
KR102623700B1 (ko) 정보처리장치, 정보처리방법, 및 컴퓨터 프로그램
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
JP2022518402A (ja) 三次元再構成の方法及び装置
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
CN110458929B (zh) 一种基于Three.js的室内布景渲染方法及系统
JP2004030408A (ja) 三次元画像表示装置及び表示方法
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21966229

Country of ref document: EP

Kind code of ref document: A1