WO2021093416A1 - 信息播放方法、装置、计算机可读存储介质及电子设备 - Google Patents

信息播放方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
WO2021093416A1
WO2021093416A1 PCT/CN2020/112004 CN2020112004W WO2021093416A1 WO 2021093416 A1 WO2021093416 A1 WO 2021093416A1 CN 2020112004 W CN2020112004 W CN 2020112004W WO 2021093416 A1 WO2021093416 A1 WO 2021093416A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
display
display area
playback
layer
Prior art date
Application number
PCT/CN2020/112004
Other languages
English (en)
French (fr)
Inventor
白杰
肖敏
朱毅
李阳
Original Assignee
贝壳找房(北京)科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 贝壳找房(北京)科技有限公司 filed Critical 贝壳找房(北京)科技有限公司
Priority to KR1020227019340A priority Critical patent/KR20220093216A/ko
Priority to JP2022527210A priority patent/JP7407929B2/ja
Priority to US17/775,937 priority patent/US20220415063A1/en
Priority to CA3162120A priority patent/CA3162120A1/en
Publication of WO2021093416A1 publication Critical patent/WO2021093416A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present disclosure relates to the field of computer technology, in particular to an information playback method, device, computer-readable storage medium, and electronic equipment.
  • the embodiments of the present disclosure provide an information playback method, device, computer-readable storage medium, and electronic equipment.
  • An embodiment of the present disclosure provides an information playback method, including: performing recognition processing on a spatial image in a three-dimensional model, acquiring an information display device and a display area in the spatial image; determining a display corresponding to the display area Location information; based on the display location information, an information playback layer is superimposed in the display area to play display information in the information playback layer.
  • the performing recognition processing on the spatial image in the three-dimensional model, and obtaining the information display device and the display area in the spatial image include: inputting the three-dimensional model into an image recognition model, and using the image recognition model in the The information display device and the display area are identified in the spatial image, and the positions of the information display device and the display area in the three-dimensional model are determined.
  • a training sample is generated based on a three-dimensional model sample calibrated with the three-dimensional spatial information of the information display device; wherein the display area is calibrated in the three-dimensional spatial information of the information display device; a deep learning method is used and based on the training The sample trains a preset deep learning model to obtain the image recognition model.
  • the determining the display position information corresponding to the display area includes: acquiring three-dimensional point cloud information corresponding to the three-dimensional model; based on the three-dimensional point cloud information and the display area in the three-dimensional model The position in, determines the display position information; wherein, the display position information includes: spatial coordinates in the three-dimensional model.
  • the playing and displaying information in the information playback layer includes: acquiring current virtual user field of view information, where the field of view information includes current position information of the virtual user and information about the viewing angle range of the virtual user; Whether the information display device is within the field of view of the virtual user; if the information display device is within the field of view of the virtual user, load the display information on the information playback layer and perform automatic playback, or Play in response to the user's play instruction.
  • the judging whether the information display device is within the field of view of the virtual user includes: obtaining the spatial coordinates of the endpoint of the information display device in the three-dimensional model; when the space of the endpoint is When the number of coordinates falling within the field of view of the virtual user is greater than a preset threshold, it is determined that the information display device is within the field of view of the virtual user.
  • a corresponding interactive operation is performed on the display information played in the information playback layer.
  • performing a corresponding interactive operation on the display information played by the information playback layer includes: setting an interaction button on the information playback layer, and responding to the user through the interaction
  • the play control instruction sent by the button performs corresponding interactive operations on the display information; wherein, the interactive operations include one or more of pause, play, switch, and play rate conversion.
  • the display information to be played in the information playback layer in each of the display areas is controlled to be different.
  • the user browses multiple three-dimensional models within a preset time interval, then determine the target display area corresponding to the multiple three-dimensional models that needs to display information, and control it in each of the target display areas
  • the displayed information played in the information playback layer of the information playback layer is not the same.
  • the display information includes: static images, streaming media information, or a human-computer interaction interface.
  • the display position information includes the space coordinates of the end points of the display area in the three-dimensional model, and the display area determined based on the space coordinates of the end points is divided into multiple sub-display areas;
  • the display information played in the display area is divided into a plurality of sub-display information corresponding to the plurality of sub-display areas one-to-one at the display position; and the corresponding sub-display information is controlled to be displayed in each sub-display area.
  • an information playback device including: a display area recognition module, configured to perform recognition processing on a space image in a three-dimensional model, and obtain information display equipment and display information in the space image. Area; a display position determination module for determining display position information corresponding to the display area; a display information playback module for superimposing an information play layer in the display area based on the display position information for The information is played and displayed in the information play layer.
  • the display area recognition module is configured to input the three-dimensional model into an image recognition model, use the image recognition model to recognize the information display device and the display area in the spatial image, and determine The information display device and the position of the display area in the three-dimensional model.
  • the display area recognition module is configured to generate training samples based on a three-dimensional model sample calibrated with the three-dimensional space information of the information display device; wherein the display area is calibrated in the three-dimensional space information of the information display device; Using a deep learning method and training a preset deep learning model based on the training sample to obtain the image recognition model.
  • the display position determination module is configured to obtain three-dimensional point cloud information corresponding to the three-dimensional model; determine the three-dimensional point cloud information based on the three-dimensional point cloud information and the position of the display area in the three-dimensional model Display position information; wherein, the display position information includes: spatial coordinates in the three-dimensional model.
  • the display information playing module is configured to obtain current virtual user field of view information, where the field of view information includes the current position information of the virtual user and the field of view range information of the virtual user; to determine whether the information display device Within the field of view of the virtual user; if the information display device is within the field of view of the virtual user, load the display information on the information play layer and perform automatic play, or respond to the user’s play Command to play.
  • the display information playing module is further configured to obtain the spatial coordinates of the endpoints of the information display device in the three-dimensional model; the number when the spatial coordinates of the endpoints fall within the field of view of the virtual user When the value is greater than the preset threshold, it is determined that the information display device is within the field of view of the virtual user.
  • the display information interaction module is configured to perform corresponding interactive operations on the display information played in the information playback layer in response to a user's playback control instruction.
  • the display information interaction module is configured to set an interaction button on the information playback layer, and perform corresponding interaction operations on the display information in response to a playback control instruction sent by the user through the interaction button; wherein ,
  • the interactive operation includes one or more of pause, play, switch, and play rate conversion.
  • the display information playing module is configured to, if a plurality of the display areas are identified in the three-dimensional model, control the display information to be played in the information playing layer in each of the display areas. Are not the same.
  • the display information playing module is configured to, if the user browses multiple three-dimensional models within a preset time interval, determine the target display area corresponding to the multiple three-dimensional models that needs to play the display information, The display information that is controlled to be played in the information playback layer in each of the target display areas is different.
  • the display position information includes the spatial coordinates of the end point of the display area in the three-dimensional model
  • the device further includes a display information control module
  • the display information control module is configured to: Dividing the display area determined by the spatial coordinates of the endpoints into multiple sub-display areas; dividing the display information used for playing in the display area into multiple sub-display information corresponding to the multiple sub-display areas in a one-to-one display position; And control to display the corresponding sub-display information in each sub-display area.
  • a computer-readable storage medium stores a computer program, and the computer program is used to execute the above-mentioned information playback method.
  • an electronic device includes: a processor; a memory for storing executable instructions of the processor; a processor for reading executable instructions from the memory, and Execute instructions to implement the above-mentioned information playback method.
  • a computer program product including: a readable medium containing executable instructions, which when executed, enable a machine to execute the above-mentioned information playback method.
  • the information display device and display area in the space image are obtained by identifying and processing the space image in the three-dimensional model, and then determining and displaying Display position information corresponding to the area, superimpose the information playback layer in the display area and play the display information, and perform corresponding interactive operations on the display information played in the information playback layer; by superimposing on the information display device in the three-dimensional model
  • the information playback layer realizes further information interaction in the three-dimensional model, allowing users to get closer to the real scene in the three-dimensional model, and enhance the user experience.
  • FIG. 1 is a system diagram to which the present disclosure is applicable
  • FIG. 2 is a flowchart in an embodiment of the information playing method of the present disclosure
  • FIG. 3 is a flowchart of determining a display position in an embodiment of the information playing method of the present disclosure
  • FIG. 4 is a flowchart of judging whether the information display device is in the field of view in an embodiment of the information playing method of the present disclosure
  • FIG. 5A is a schematic structural diagram of an embodiment of the information playing device of the present disclosure
  • FIG. 5B is a schematic structural diagram of another embodiment of the information playing device of the present disclosure
  • Fig. 6 is a structural diagram of an embodiment of the electronic device of the present disclosure.
  • plural may refer to two or more than two, and “" may refer to one, two, or more than two.
  • the term "and/or" in the present disclosure is only an association relationship describing associated objects, which means that there can be three types of relationships, for example, A and/or B can mean that A alone exists, and both A and B exist. , There are three cases of B alone.
  • the character "/" in the present disclosure generally indicates that the associated objects before and after are in an "or" relationship.
  • the embodiments of the present disclosure can be applied to electronic devices such as computer systems, servers, etc., which can operate with many other general-purpose or special-purpose computing system environments or configurations.
  • Examples of well-known computing systems, environments and/or configurations suitable for use with electronic devices such as terminal devices, computer systems, servers, etc. include, but are not limited to: personal computer systems, server computer systems, thin clients, thick clients, handheld Or laptop devices, microprocessor-based systems, set-top boxes, programmable consumer electronics, network personal computers, small computer systems, large computer systems, and distributed cloud computing technology environments including any of the above systems, etc.
  • Electronic devices such as computer systems and servers can be described in the general context of computer system executable instructions (such as program modules) executed by the computer system.
  • program modules may include routines, programs, object programs, components, logic, data structures, etc., which perform specific tasks or implement specific abstract data types.
  • the computer system/server can be implemented in a distributed cloud computing environment. In the distributed cloud computing environment, tasks are executed by remote processing equipment linked through a communication network. In a distributed cloud computing environment, program modules may be located on a storage medium of a local or remote computing system including a storage device.
  • the information playback method provided by the present disclosure performs recognition processing on the spatial image in the three-dimensional model, obtains the information display device and the display area in the spatial image, determines the display position information corresponding to the display area, and superimposes the information playback layer in the display area And play the display information, and perform corresponding interactive operations on the display information played in the information play layer; by superimposing the information play layer on the information display device in the three-dimensional model, further information interaction in the three-dimensional model can be realized. Let users get closer to the real scene in the 3D model, and improve the user experience.
  • FIG. 1 shows an exemplary system architecture 100 of an information playing method or an information playing device to which embodiments of the present disclosure can be applied.
  • the system architecture 100 may include a terminal device 101, a network 102, and a server 103.
  • the network 102 is used to provide a medium of a communication link between the terminal device 101 and the server 103.
  • the network 102 may include various connection types, such as wired, wireless communication links, or fiber optic cables, and so on.
  • the user can use the terminal device 101 to interact with the server 103 through the network 102 to receive or send messages and so on.
  • Various communication client applications such as shopping applications, search applications, web browser applications, instant messaging tools, etc., may be installed on the terminal device 101.
  • the terminal device 101 can be various electronic devices, including but not limited to such as mobile phones, notebook computers, digital broadcast receivers, PDAs (personal digital assistants), PAD (tablet computers), PMP (portable multimedia players), vehicle-mounted terminals ( For example, mobile terminals such as car navigation terminals) and fixed terminals such as digital TVs and desktop computers.
  • PDAs personal digital assistants
  • PAD tablet computers
  • PMP portable multimedia players
  • vehicle-mounted terminals For example, mobile terminals such as car navigation terminals
  • fixed terminals such as digital TVs and desktop computers.
  • the server 103 may be a server that provides various services, for example, a background image processing server that processes images uploaded by the terminal device 101.
  • the background image processing server can process the received image to obtain the processing result (for example, the suggestion information of the object) and feed it back to the terminal device.
  • the information pushing method provided by the embodiments of the present disclosure can be executed by the server 103 or the terminal device 101. Accordingly, the information pushing device can be set in the server 103 or the terminal device 101. in.
  • the number of terminal devices 101 in FIG. 1 may be multiple, and one terminal device obtains spatial images from other terminal devices and executes the information push method.
  • terminal devices, networks, and servers in FIG. 1 are merely illustrative. According to implementation needs, there can be any number of terminal devices, networks, and servers.
  • Fig. 2 is a flowchart in an embodiment of the information playing method of the present disclosure. This embodiment can be applied to an electronic device (a server or terminal device as shown in FIG. 1), as shown in FIG. 2, including the following steps:
  • Step 201 Perform recognition processing on the space image in the three-dimensional model, and obtain the information display device and the display area of the information display device in the space image.
  • the three-dimensional model may be a three-dimensional model of a house, etc.
  • the electronic device may recognize the spatial image in the three-dimensional model displayed by the target user terminal (for example, the terminal device shown in FIG. 1).
  • the target user terminal is a terminal used by the target user
  • the target user is a user who browses the three-dimensional space.
  • the spatial image may be an image taken in advance in a three-dimensional space such as a house, it may be an ordinary two-dimensional image, or a panoramic image.
  • the spatial image may include various object images.
  • the spatial image when the spatial image is an image taken in a room, the spatial image may include images of various furniture. For example, images such as sofas, coffee tables, TVs, and dining tables.
  • electronic devices can use various methods to determine the object information in the spatial image.
  • the electronic device can use an existing target detection method (for example, a neural network-based target detection method) to recognize the spatial image, and obtain the information display device and the display area in the spatial image.
  • the information display device may be a preset device capable of performing display operations, such as a television, a monitor, a projector screen, etc., and the display area is a display area of a television, a monitor, a screen, etc., for example, a screen area of a television.
  • the information display device may also include some specific areas on a flat surface, such as some specific areas on the wall, such as an area drawn on the wall; all of the mirror or glass surface, or some specific areas.
  • the information display device can include any three-dimensional model surface of an object that can be used as a display interface in the real physical world.
  • Step 202 Determine display position information corresponding to the display area.
  • the display position information corresponding to the display area may include the spatial coordinates of the four end points (vertices) of the display area in the three-dimensional model.
  • Step 203 Superimpose an information play layer in the display area based on the display position information, so as to play the display information in the information play layer.
  • an information play layer is superimposed in the display area, and the information play layer is used to play the display information.
  • the display information may include one or more of a static image with a predetermined resolution, streaming media information, or a human-computer interaction interface, which is not limited in the present disclosure.
  • the display position information of the TV display area is used to determine where the video should be posted, and then the video is pasted in the display area of the TV in the 3D model, so that the virtual TV in the 3D model has the function of playing video, and becomes a real reality. TV.
  • corresponding interactive operations are performed on the display information played in the information playback layer.
  • the user's playback control instructions can be pause, play, switch, and playback rate conversion, etc.
  • the display information played in the information playback layer is correspondingly paused, played, switched, and playback rate conversion, etc.
  • Interactive operation For example, the TV in the three-dimensional space is made to play video and interactive operations are added. Users can interact with the video played on the TV, making the user feel more immersive.
  • An interactive button can be set on the information playback layer, and in response to a playback control instruction sent by the user through the interactive button, corresponding interactive operations are performed on the displayed information, including one or more of pause, playback, switching, and playback rate conversion.
  • FIG. 3 is a flowchart of determining the display position in an embodiment of the information playback method of the present disclosure. As shown in FIG. 3, it includes the following steps:
  • Step 2011 Input the three-dimensional model into the image recognition model, use the image recognition model to identify the information display device and the display area in the spatial image, and determine the position of the information display device and the display area in the three-dimensional model.
  • the image recognition model may be a deep learning model, and there are multiple deep learning models.
  • the deep learning model includes CNN, DBN, RNN, RNTN, autoencoder, GAN, and so on.
  • the preset deep learning model includes a three-layer neuron model.
  • the three-layer neuron model includes an input layer neuron model, a middle layer neuron model, and an output layer neuron model. The output of each layer of neuron model is used as the next layer of neurons. Input to the model.
  • the three-layer neuron model may be a sub-network structure of multiple neural network layers with a fully connected structure, and the middle layer neuron model is a fully connected layer.
  • the model can identify the information display device and the display area for any three-dimensional model, and determine the position of the information display device and the display area in the three-dimensional model.
  • training samples can also be generated based on panoramic samples calibrated with the position of the information display device image, the display area is calibrated in the information display device image, and the deep learning method is used to compare the preset deep learning model based on the training sample.
  • Perform training to obtain an image recognition model For example, obtain a panoramic image sample that calibrates the position of the image of a TV, monitor, etc., and calibrate the display area in the image of the information display device, generate training samples based on the panoramic image sample, and fully train the image recognition model based on the training sample.
  • the model can identify the information display device and the display area for any panoramic image, and determine the position of the information display device and the display area in the panoramic image.
  • the executive body used to train the image recognition model can use a machine learning method to take the sample space images included in the training samples in the preset training sample set as input, and add the annotations corresponding to the input sample space images.
  • Object characteristic information object characteristic information can be used to characterize the appearance characteristics of the object, such as the type and style of the object
  • the initial model for example, convolutional neural networks of various structures
  • the input sample space image can get the actual output.
  • the actual output is the data actually output by the initial model, which is used to characterize the object characteristic information.
  • the above-mentioned executive body can adopt the gradient descent method and the backpropagation method to adjust the parameters of the initial model based on the actual output and the expected output, and use the model obtained after each adjustment of the parameters as the initial model for the next training.
  • the training end condition is set, the training is ended, and the image recognition model is obtained through training.
  • the preset training end conditions here may include but are not limited to at least one of the following: training time exceeds the preset duration; training times exceeds the preset number of times; calculation using a preset loss function (such as a cross-entropy loss function) The resulting loss value is less than the preset loss value threshold.
  • Step 2012 Acquire 3D point cloud information corresponding to the 3D model.
  • the three-dimensional point cloud information can be obtained remotely or locally.
  • the three-dimensional point cloud information may include three-dimensional coordinate values corresponding to pixel points in the three-dimensional model.
  • a depth camera is used to take images of a three-dimensional space such as a house to obtain a space image.
  • the space image is used as a depth image to obtain the depth information corresponding to the space image.
  • Depth information is used to characterize the distance between the object image in the space image and the imaging surface of the camera.
  • Each pixel in the depth image corresponds to a depth value, and the depth value is used to characterize the distance between the position indicated by the pixel and the imaging surface of the camera.
  • the electronic device can determine the three-dimensional point cloud information according to the distance represented by the depth information.
  • Step 2013 Determine display position information based on the three-dimensional point cloud information and the position of the display area in the three-dimensional model; where the display position information includes: spatial coordinates in the three-dimensional model.
  • each object image in the space image may correspond to a three-dimensional point cloud set, and each three-dimensional point cloud in the three-dimensional point cloud set is used to represent a point on the object.
  • the spatial coordinates of each vertex of the display area of the information display device in the three-dimensional model can be determined according to the three-dimensional point cloud information and the position of the display area in the three-dimensional model. For example, through the image recognition model to identify the TV and the TV display, and determine the position information of the display, according to the three-dimensional point cloud information and the position of the display in the three-dimensional model to determine the four vertices of the display in the three-dimensional model The specific position of the TV’s display screen in the three-dimensional model is determined through four spatial coordinates.
  • FIG. 4 is a flowchart of judging whether the information display device is in the field of view in an embodiment of the information playback method of the present disclosure. As shown in FIG. 4, it includes the following steps:
  • Step 2031 Obtain current view information of the virtual user, where the view information includes the current position information of the virtual user and the view range information of the virtual user.
  • the electronic device may determine the virtual user's field of view information based on the location of the virtual user and the virtual user's field of view.
  • the virtual user When the user browses in the 3D model, there is always a virtual user that simulates the real position of the user in the 3D model. Because the viewing angle of the human eye is a fixed angle, generally between 60°-120°, and the user is in The three-dimensional model seen in different positions is also different, so to determine the visual user's field of view information, the virtual user's position and field of view range need to be used.
  • Step 2032 Determine whether the information display device is within the field of view of the virtual user.
  • the electronic device can obtain the coordinate information of the object.
  • the virtual user's field of view information is obtained. After the virtual user's field of view information and the three-dimensional model are intersected, the field of view of the virtual user can be obtained. Object information within range.
  • the electronic device obtains the spatial coordinates of the endpoints of the information display device in the three-dimensional model; when the number of endpoints in the virtual user's field of vision is greater than the preset threshold, it is determined that the information display device is in the virtual user's Within the field of view. For example, it can be set that if two of the endpoints of the information display device are within the virtual user's field of view, it is determined that the information display device is within the virtual user's field of view. That is, the threshold is set to 2. Of course, it can be set to 3, 4, or other natural numbers according to the actual situation.
  • the information display device when the number of the endpoint's spatial coordinates falling within the virtual user's field of view is less than or equal to the preset threshold, it is determined that the information display device is not within the virtual user's field of view. In this case, it can be set to temporarily not play the display information. For example, once it is determined that the information display device is not in the virtual user's field of view, the display information will be paused, and the display will be restarted when the virtual user's field of view can see the display area. Play. In this case, it can also be set to still play the display information, but the virtual user cannot see it because of the limitation of the field of view.
  • Various methods can be used to play and display information in the information play layer. For example, obtain the current virtual user's field of view information, determine whether the information display device is within the virtual user's field of view, if the information display device is within the virtual user's field of view, load the display information on the information playback layer and perform automatic playback, or respond Play based on the user's play instruction.
  • an interactive button can be further rendered to imitate a real player.
  • the user can click and select the playback button to realize user interaction in the real space.
  • interactive buttons such as pause, play, switch, or play rate conversion can be rendered, so that users can interact with them to pause the video when playing pictures, streaming media, or human-computer interaction interfaces.
  • Automatic pause manual pause.
  • Automatic pause More specific strategies can customize the video playback time. When a certain time is reached, the video will automatically pause.
  • Manual pause The user can manually click on the TV to pause the playback. If the user does not manually click on the TV, the video will play in a loop.
  • the display information played in the information playback layer in each display area is controlled respectively.
  • the display information played in the information playback layer in these display areas may be all the same, may be all different, or may be partly the same.
  • the situations in which multiple display areas are identified in the three-dimensional model may include the following situations: (1)
  • the three-dimensional model includes a display device, and the display device includes multiple display areas (for example, the display device is a multi-screen display device)
  • the three-dimensional model includes multiple display devices (for example, the three-dimensional model includes multiple display devices such as televisions, computer monitors, and home theaters), and each display device includes one or more display areas. For example, there are multiple TVs in the same three-dimensional model, and different TVs are controlled to play different videos.
  • the user browses multiple 3D models in the preset time interval, determine the target display area corresponding to the multiple 3D models that need to display information, and control the display in the information playback layer in each target display area
  • the information is different. For example, if a user browses multiple three-dimensional models (three-dimensional models of houses) within 30 minutes, the video played on the TV in each three-dimensional model viewed by the user is different.
  • the display position information includes the spatial coordinates of the end points (for example, four end points) of the display area in the three-dimensional model. Based on the endpoints (four endpoints), the display plane (ie, display area) used to play the display information can be determined, but the determined display plane may be inclined, which will reduce the user's viewing experience. In order to reduce the inclination at which the user sees the displayed information (for example, an image), the following method can be adopted.
  • the display area determined based on the spatial coordinates of the endpoints is divided into multiple sub-display areas.
  • a rectangular display area is determined based on four endpoints, and the rectangular display area is divided into multiple sub-display areas, which can be implemented as multiple strip-shaped sub-regions or multiple triangular sub-regions or multiple blocks. ⁇ State sub-area.
  • These sub-regions may have the same size or different sizes. For example, according to specific display requirements, they include a small number of sparse sub-regions and a large number of dense sub-regions.
  • the display information used for playing in the display area is divided into a plurality of sub-display information corresponding to the plurality of sub-display areas in a one-to-one manner at the display position.
  • the display area has been divided into strip-shaped sub-areas, then the image to be displayed is divided into strip-shaped sub-images corresponding to the strip-shaped sub-areas in position one-to-one.
  • control to display the corresponding sub-display information in each sub-display area For example, the leftmost sub image is displayed in the leftmost sub display area, the middle sub image is displayed in the middle sub display area, and the rightmost sub image is displayed in the rightmost sub display area.
  • the method of sub-regional display can greatly reduce the tilt of the display information seen by the virtual user, enhance the user’s viewing experience, and enhance the user’s viewing experience. Experience.
  • the present disclosure provides an information playback device, including: a display area identification module 501, a display position determination module 502, a display information playback module 503, and a display information interaction module 504.
  • the display area recognition module 501 performs recognition processing on the space image in the three-dimensional model, and obtains the information display device and the display area in the space image.
  • the display position determination module 502 determines the display position information corresponding to the display area.
  • the display information playing module 503 superimposes an information playing layer in the display area based on the display position information, so as to play the display information in the information playing layer.
  • the information playback device further includes a display information interaction module 504, which is used to perform corresponding interactive operations on the display information played in the information playback layer in response to a user's playback control instruction.
  • a display information interaction module 504 which is used to perform corresponding interactive operations on the display information played in the information playback layer in response to a user's playback control instruction.
  • the display area recognition module 501 inputs the three-dimensional model into the image recognition model, uses the image recognition model to identify the information display device and the display area in the spatial image, and determines the position of the information display device and the display area in the three-dimensional model .
  • the display area recognition module 501 generates training samples based on the three-dimensional model samples calibrated with the information display device; wherein, the display area is calibrated in the information display device.
  • the display area recognition module 501 uses a deep learning method and trains a preset deep learning model based on training samples to obtain an image recognition model.
  • the display position determination module 502 obtains the three-dimensional point cloud information corresponding to the three-dimensional model, and determines the display position information based on the three-dimensional point cloud information and the position of the display area in the three-dimensional model; wherein the display position information includes: spatial coordinates in the three-dimensional model .
  • the display information playing module 503 obtains the current virtual user field of view information, and the field of view information includes the current position information of the virtual user and the virtual user's view range information.
  • the display information playback module 503 determines whether the information display device is within the virtual user's field of view. If the information display device is within the virtual user's field of view, it loads the displayed information on the information playback layer and performs automatic playback, or responds to the user's playback Command to play.
  • the display information playback module 503 obtains the spatial coordinates of the endpoints of the information display device in the three-dimensional model, and when the number of the endpoints' spatial coordinates falls within the virtual user's field of view is greater than the preset threshold, it is determined that the information display device is within the virtual user's field of view .
  • the display information interaction module 504 sets an interaction button on the information playback layer, and performs corresponding interaction operations on the displayed information in response to the playback control instruction sent by the user through the interaction button; wherein the interaction operations include: pause, play One or more of, switching, and playback rate conversion.
  • the display information playing module 503 controls the display information to be played in the information playing layer in each display area to be different. If the user browses multiple three-dimensional models within a preset time interval, the display information playback module 503 determines the target display areas corresponding to the multiple three-dimensional models that need to display information, and controls the information playback in each target display area. The display information played in the layers is different.
  • the information playing device may also include a display information control module, which includes a display control strategy.
  • a display control strategy based on the endpoints (for example, four endpoints), the display plane (ie, display area) used to play the display information can be determined, but the determined display plane may be inclined, which will reduce the user’s viewing experience .
  • the display control strategy included in the display information control module can reduce the inclination of the display information (for example, an image) seen by the user.
  • the display information control module is configured to divide the display area determined based on the spatial coordinates of the endpoints into multiple sub-display areas; divide the display information used for playing in the display area into one-to-one correspondence with the multiple sub-display areas at the display position Multiple sub-display information; and control to display corresponding sub-display information in each sub-display area.
  • the display information control module can greatly reduce the inclination of the display information seen by the virtual user through the way of sub-regional display, and improve the user's viewing experience , To enhance the user experience.
  • FIG. 6 is a structural diagram of an embodiment of the electronic device of the present disclosure. As shown in FIG. 6, the electronic device 61 includes one or more processors 611 and a memory 612.
  • the processor 611 may be a central processing unit (CPU) or another form of processing unit with data processing capability and/or instruction execution capability, and may control other components in the electronic device 61 to perform desired functions.
  • CPU central processing unit
  • the processor 611 may control other components in the electronic device 61 to perform desired functions.
  • the memory 612 may include one or more computer program products, and the computer program products may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • Volatile memory for example, may include random access memory (RAM) and/or cache memory (cache).
  • Non-volatile memory for example, may include: read only memory (ROM), hard disk, flash memory, and so on.
  • One or more computer program instructions may be stored on the computer-readable storage medium, and the processor 611 may run the program instructions to implement the information playback method and/or other desired functions of the above embodiments of the present disclosure.
  • Various contents such as input signal, signal component, noise component, etc. can also be stored in the computer-readable storage medium.
  • the electronic device 61 may further include: an input device 613 and an output device 614, etc., and these components are interconnected by a bus system and/or other forms of connection mechanisms (not shown).
  • the input device 613 may also include, for example, a keyboard, a mouse, and so on.
  • the output device 614 can output various information to the outside.
  • the output device 614 may include, for example, a display, a speaker, a printer, a communication network and a remote output device connected to it, and so on.
  • the electronic device 61 may also include any other appropriate components.
  • the embodiments of the present disclosure also provide a computer program product including a machine-readable medium.
  • the machine-readable medium includes computer program instructions (codes) that cause a machine to perform various operations of the above-mentioned information playback method. ).
  • the processor executes the steps in the information playback method according to various embodiments of the present disclosure described in the above "exemplary method" section of this specification.
  • the computer program product can be used to write program codes for performing the operations of the embodiments of the present disclosure in any combination of one or more programming languages, the programming languages including object-oriented programming languages, such as Java, C++, etc., Including conventional procedural programming languages, such as "C" language or similar programming languages.
  • the program code can be executed entirely on the user's computing device, partly on the user's device, executed as an independent software package, partly on the user's computing device and partly executed on the remote computing device, or entirely on the remote computing device or server Executed on.
  • embodiments of the present disclosure may also be a computer-readable storage medium, on which computer program instructions are stored, and when the computer program instructions are executed by a processor, the processor executes the "exemplary method" part of this specification.
  • the steps in the information playback method according to various embodiments of the present disclosure are described in.
  • the computer-readable storage medium may adopt any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may include, but is not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or a combination of any of the above, for example. More specific examples (non-exhaustive list) of readable storage media may include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read-only memory (ROM), Erasable programmable read only memory (EPROM or flash memory), optical fiber, portable compact disk read only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • the information playback layer is superimposed in the display area and the display information is played. And perform corresponding interactive operations on the display information played in the information play layer; by superimposing the information play layer on the information display device in the three-dimensional model, information interaction in the three-dimensional model is realized, allowing users to update the three-dimensional model. Close to the real scene, improve the user experience.
  • the method and apparatus of the present disclosure may be implemented in many ways.
  • the method and apparatus of the present disclosure can be implemented by software, hardware, firmware or any combination of software, hardware, and firmware.
  • the above-mentioned order of the steps for the method is for illustration only, and the steps of the method of the present disclosure are not limited to the order specifically described above, unless specifically stated otherwise.
  • the present disclosure can also be implemented as programs recorded in a recording medium, and these programs include machine-readable instructions for implementing the method according to the present disclosure.
  • the present disclosure also covers a recording medium storing a program for executing the method according to the present disclosure.
  • each component or each step can be decomposed and/or recombined. These decomposition and/or recombination should be regarded as equivalent solutions of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一种信息播放方法、装置、计算机可读存储介质及电子设备，涉及计算机技术领域，其中的方法包括：对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域(201)；确定与显示区域相对应的显示位置信息(202)；基于显示位置信息在显示区域内叠加信息播放层，用以在信息播放层中播放显示信息(203)。通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的进一步的信息交互，可以让用户在三维模型中更贴近真实场景，提升了用户体验。

Description

信息播放方法、装置、计算机可读存储介质及电子设备 技术领域
本公开涉及计算机技术领域，尤其是一种信息播放方法、装置、计算机可读存储介质及电子设备。
背景技术
目前，互联网技术为人们的生活带来了很多便利。利用三维重建技术，人们可以足不出户，即可体验购物、旅游、参观、看房等操作。并且，在重建的三维模型中，可以给用户提供基本与实际场景相同的用户体验。但随着人们越来越多的使用三维重建场景，对于在三维场景中的交互要求越来越高，而目前的技术，在用户浏览时缺少互动，无法给用户提供更多种多样的基于三维场景的交互，用户体验很差。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种信息播放方法、装置、计算机可读存储介质及电子设备。
本公开的实施例提供了一种信息播放方法，包括：对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域；确定与所述显示区域相对应的显示位置信息；基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息。
可选地，所述对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域包括：将所述三维模型输入图像识别模型，利用所述图像识别模型在所述空间图像中识别出所述信息显示设备以及所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置。
可选地，基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本；其中，在所述信息显示设备的三维空间信息中标定显示区域；使用深 度学习方法并基于所述训练样本对预设的深度学习模型进行训练，获得所述图像识别模型。
可选地，所述确定与所述显示区域相对应的显示位置信息包括：获取与所述三维模型对应的三维点云信息；基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；其中，所述显示位置信息包括：在所述三维模型中的空间坐标。
可选地，所述在所述信息播放层中播放显示信息包括：获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信息以及所述虚拟用户的视角范围信息；判断所述信息显示设备是否在所述虚拟用户的视野范围内；如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
可选地，其中，所述判断所述信息显示设备是否在所述虚拟用户的视野范围内包括：获取所述信息显示设备的端点在所述三维模型中的空间坐标；当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
可选地，响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。可选地，所述响应于用户的播放控制指令，对所述信息播放层播放的显示信息进行相对应的交互操作包括：在所述信息播放层上设置交互按钮，响应于用户通过所述交互按钮发送的播放控制指令，对所述显示信息进行相应的交互操作；其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
可选地，如果在所述三维模型中识别出多个所述显示区域，则控制在各个所述显示区域内的信息播放层中播放的所述显示信息都不相同。
可选地，如果用户在预设的时间区间内浏览了多个三维模型，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个所述目标显示区域内的信息播放层中播放的所述显示信息都不相同。
可选地，所述显示信息包括：静态图像、流媒体信息或人机交互界面。
可选地，所述显示位置信息包括所述显示区域的端点在所述三维模型中的空间坐标，并且将基于所述端点的空间坐标确定出的显示区域划分为多个子显示区 域；将用于在所述显示区域中播放的显示信息划分为在显示位置上与多个子显示区域一一对应的多个子显示信息；以及控制在每个子显示区域中显示相应的子显示信息。
本公开的实施例的另一方面，提供了一种信息播放装置，包括：显示区域识别模块，用于对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域；显示位置确定模块，用于确定与所述显示区域相对应的显示位置信息；显示信息播放模块，用于基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息。
可选地，所述显示区域识别模块，用于将所述三维模型输入图像识别模型，利用所述图像识别模型在所述空间图像中识别出所述信息显示设备以及所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置。
可选地，所述显示区域识别模块，用于基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本；其中，在所述信息显示设备的三维空间信息中标定显示区域；使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练，获得所述图像识别模型。
可选地，所述显示位置确定模块，用于获取与所述三维模型对应的三维点云信息；基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；其中，所述显示位置信息包括：在所述三维模型中的空间坐标。
可选地，所述显示信息播放模块，用于获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信息以及所述虚拟用户的视角范围信息；判断所述信息显示设备是否在所述虚拟用户的视野范围内；如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
可选地，所述显示信息播放模块，还用于获取所述信息显示设备的端点在所述三维模型中的空间坐标；当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
可选地，显示信息交互模块，用于响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。
可选地，所述显示信息交互模块，用于在所述信息播放层上设置交互按钮， 响应于用户通过所述交互按钮发送的播放控制指令，对所述显示信息进行相应的交互操作；其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
可选地，所述显示信息播放模块，用于如果在所述三维模型中识别出多个所述显示区域，则控制在各个所述显示区域内的信息播放层中播放的所述显示信息都不相同。
可选地，所述显示信息播放模块，用于如果用户在预设的时间区间内浏览了多个三维模型，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个所述目标显示区域内的信息播放层中播放的所述显示信息都不相同。
可选地，所述显示位置信息包括所述显示区域的端点在所述三维模型中的空间坐标，并且，所述装置还包括显示信息控制模块，所述显示信息控制模块用于：将基于所述端点的空间坐标确定出的显示区域划分为多个子显示区域；将用于在所述显示区域中播放的显示信息划分为在显示位置上与多个子显示区域一一对应的多个子显示信息；以及控制在每个子显示区域中显示相应的子显示信息。
根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述信息播放方法。
根据本公开实施例的再一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述信息播放方法。
根据本公开实施例的再一个方面，提供了一种计算机程序产品，包括：包含可执行指令的可读介质，这些可执行指令在被执行时可使机器执行上述信息播放方法。
基于本公开上述实施例提供的信息播放方法、装置、计算机可读存储介质及电子设备，通过对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域，确定与显示区域相对应的显示位置信息，在显示区域内叠加信息播放层并播放显示信息，并对在信息播放层中播放的显示信息进行相对应的交互操作；通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的进一步的信息交互，可以让用户在三维模型中更贴近真实场景，提升 了用户体验。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的系统图；
图2为本公开的信息播放方法的一个实施例中的流程图；
图3为本公开的信息播放方法的一个实施例中的确定显示位置的流程图；
图4为本公开的信息播放方法的一个实施例中的判断信息显示设备是否在视野范围的流程图；
图5A为本公开的信息播放装置的一个实施例的结构示意图；图5B为本公开的信息播放装置的另一个实施例的结构示意图；
图6是本公开的电子设备的一个实施例的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
申请概述
目前，互联网技术为人们的生活带来了很多便利。利用三维重建技术，人们 可以足不出户，即可体验购物、旅游、参观、看房等操作。并且，在重建的三维模型中，可以给用户提供基本与实际场景相同的用户体验。但随着人们越来越多的使用三维重建场景，对于在三维场景中的交互要求越来越高。目前，在用户浏览时缺少互动，无法给用户提供更多种多样的基于三维场景的交互，用户体验很差。
本公开提供的信息播放方法，对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域，确定与显示区域相对应的显示位置信息，在显示区域内叠加信息播放层并播放显示信息，并对在信息播放层中播放的显示信息进行相对应的交互操作；通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的进一步的信息交互，可以让用户在三维模型中更贴近真实场景，提升了用户体验。
示例性系统
图1示出了可以应用本公开的实施例的信息播放方法或信息播放装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101，网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如购物类应用、搜索类应用、网页浏览器应用、即时通信工具等。
终端设备101可以是各种电子设备，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
服务器103可以是提供各种服务的服务器，例如对终端设备101上传的图像进行处理的后台图像处理服务器。后台图像处理服务器可以对接收到的图像进行处理，得到处理结果(例如物体的建议信息)并反馈给终端设备。
需要说明的是，本公开的实施例所提供的信息推送方法可以由服务器103 执行，也可以由终端设备101执行，相应地，信息推送装置可以设置于服务器103中，也可以设置于终端设备101中。例如，图1中的终端设备101的数量可以是多个，其中一个终端设备从其他终端设备获取空间图像，并执行信息推送方法。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
示例性方法
图2为本公开的信息播放方法的一个实施例中的流程图。本实施例可应用在电子设备(如图1所示的服务器或终端设备)上，如图2所示，包括如下步骤：
步骤201，对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及信息显示设备的显示区域。
在一实施例中，三维模型可以为房屋三维模型等，电子设备可以对目标用户终端(例如图1所示的终端设备)显示的三维模型中的空间图像进行识别处理。其中，目标用户终端是目标用户使用的终端，目标用户是对三维空间进行浏览的用户。空间图像可以是预先对房屋等三维空间拍摄的图像，可以是普通二维图像，也可以是全景图像。空间图像可以包括各种物体图像。例如，当空间图像是对房间内拍摄的图像时，空间图像中可以包括各种家具的图像。比如，沙发，茶几，电视，餐桌等图像。
对于具有各种家具的空间图像，电子设备可以利用各种方法确定空间图像中的物体信息。例如，电子设备可以利用现有的目标检测方法(例如基于神经网络的目标检测方法)，对空间图像进行识别，获取空间图像中的信息显示设备以及显示区域。信息显示设备可以是预先设定的能够进行显示操作的设备，例如电视、显示器、投影仪幕布等，显示区域为电视、显示器、幕布等的显示区域，例如为电视的屏幕区域等。进一步地，信息显示设备还可以包括平坦表面的一些特定区域，比如墙面上的某些特定区域，例如墙面上画出来的一个区域；镜面或者玻璃表面的全部，或者某些特定区域。信息显示设备可以包括在真实物理世界中任何可以用来作为显示界面的物体的三维模型表面。
步骤202，确定与显示区域相对应的显示位置信息。
在一实施例中，与显示区域相对应的显示位置信息可以包括该显示区域的四个端点(顶点)在三维模型中的空间坐标等。
步骤203，基于显示位置信息在显示区域内叠加信息播放层，用以在信息播放层中播放显示信息。
在一实施例中，在显示区域内叠加信息播放层，该信息播放层用于播放显示信息。显示信息可以包括具有预定分辨率的静态图像、流媒体信息或人机交互界面中的一项或者多项，本公开对此不作限定。例如，通过电视的显示区域的显示位置信息判断视频所应该贴的位置，然后将视频贴在三维模型中的电视的显示区域，从而让三维模型中的虚拟电视具有播放视频的功能，成为一个真实的电视。
在一实施例中，响应于用户的播放控制指令，对在信息播放层中播放的显示信息进行相对应的交互操作。用户的播放控制指令可以为暂停、播放、切换和播放速率转换等，响应于用户的播放控制指令，对在信息播放层中播放的显示信息进行相对应的暂停、播放、切换和播放速率转换等交互操作。例如，使三维空间中的电视播放视频并新增了交互操作，用户可以与电视播放的视频进行互动，使得用户更加有身临其境的感觉。
可以在信息播放层上设置交互按钮，响应于用户通过交互按钮发送的播放控制指令，对显示信息进行相应的交互操作，包括：暂停、播放、切换和播放速率转换中的一项或者多项。
在一些可选的实现方式中，图3为本公开的信息播放方法的一个实施例中的确定显示位置的流程图，如图3所示，包括如下步骤：
步骤2011，将三维模型输入图像识别模型，利用图像识别模型在空间图像中识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在三维模型中的位置。
在一实施例中，图像识别模型可以为深度学习模型，深度学习模型有多种，例如深度学习模型包括CNN、DBN、RNN、RNTN、自动编码器、GAN等。预设的深度学习模型包括三层神经元模型，三层神经元模型包括输入层神经元模型、中间层神经元模型和输出层神经元模型，每层神经元模型的输出作为下一层神经元模型的输入。三层神经元模型可以为具有全连接结构的多个神经网络层的子网络结构，中间层神经元模型为全连接层。
基于标定有信息显示设备的三维空间信息(包括深度信息)的三维模型样本 生成训练样本，在信息显示设备的三维空间信息中标定显示区域，三维空间信息使用深度学习方法并基于训练样本对预设的深度学习模型进行训练，获得图像识别模型。例如，获取标定电视、显示器等信息显示设备的三维空间信息的三维模型样本，并在信息显示设备的三维空间信息中标定显示区域，基于三维模型样本生成训练样本，基于训练样本对图像识别模型进行充分的训练后，该模型对于任意三维模型能够识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在三维模型中的位置。
在一实施例中，也可以基于标定有信息显示设备图像的位置的全景图样本生成训练样本，在信息显示设备图像中标定显示区域，使用深度学习方法并基于训练样本对预设的深度学习模型进行训练，获得图像识别模型。例如，获取标定电视、显示器等图像的位置的全景图样本，并在信息显示设备的图像中标定显示区域，基于全景图样本生成训练样本，基于训练样本对图像识别模型进行充分的训练后，该模型对于任意全景图能够识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在全景图中的位置。
在一个实施例中，用于训练图像识别模型的执行主体可以利用机器学习方法，将预设的训练样本集合中的训练样本包括的样本空间图像作为输入，将与输入的样本空间图像对应的标注物体特性信息(物体特性信息可以用于表征物体的外观特性，例如物体的类别、风格等特性)作为期望输出，对初始模型(例如各种结构的卷积神经网络)进行训练，针对每次训练输入的样本空间图像，可以得到实际输出。其中，实际输出是初始模型实际输出的数据，用于表征物体特性信息。然后，上述执行主体可以采用梯度下降法和反向传播法，基于实际输出和期望输出，调整初始模型的参数，将每次调整参数后得到的模型作为下次训练的初始模型，并在满足预设的训练结束条件的情况下，结束训练，从而训练得到图像识别模型。需要说明的是，这里预设的训练结束条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；利用预设的损失函数(例如交叉熵损失函数)计算所得的损失值小于预设损失值阈值。
步骤2012，获取与三维模型对应的三维点云信息。
在一实施例中，可以从远端或本地获取三维点云信息。三维点云信息可以包括对应于三维模型中的像素点的三维坐标值。例如，在建立三维模型时，使用深度相机对房屋等三维空间拍摄图像，获得空间图像，空间图像作为深度图像，能 够得到空间图像对应的深度信息。深度信息用于表征空间图像中的物体图像与摄像头的成像面之间的距离。深度图像中的每个像素点对应于一个深度值，深度值用于表征像素点指示的位置与摄像头的成像面之间的距离。电子设备可以根据深度信息表征的距离，确定三维点云信息。
步骤2013，基于三维点云信息和显示区域在三维模型中的位置，确定显示位置信息；其中，显示位置信息包括：在三维模型中的空间坐标。
在一实施例中，空间图像中的每个物体图像可以对应于一个三维点云集合，该三维点云集合中的每个三维点云用于表征物体上的一个点。可以根据三维点云信息以及显示区域在三维模型中的位置，确定信息显示设备的显示区域的各个顶点在三维模型中的空间坐标。例如，通过图像识别模型识别出电视以及电视的显示屏，并确定了显示屏的位置信息，根据三维点云信息以及显示屏在三维模型中的位置确定该显示屏的四个顶点在三维模型中的空间坐标，通过四个空间坐标来确定电视的显示屏在三维模型中的具体位置。图4为本公开的信息播放方法的一个实施例中的判断信息显示设备是否在视野范围的流程图，如图4所示，包括如下步骤：
步骤2031，获取当前虚拟用户视野信息，视野信息包括虚拟用户当前的位置信息以及虚拟用户的视角范围信息。
在一实施例中，电子设备可以虚拟用户所在的位置以及虚拟用户的视野范围，确定虚拟用户的视野信息。用户在三维模型中进行浏览时，始终有一个虚拟的用户在三维模型中模拟用户的真实位置，由于人眼的视角范围是一个固定的角度，一般为60°-120°之间，而用户在不同的位置看到的三维模型也是不同的，因此确定虚拟用户的视野信息，需要用到虚拟用户的位置和视角范围。
步骤2032，判断信息显示设备是否在虚拟用户的视野范围内。
在本实施例中，电子设备能够得到物体的坐标信息，在步骤2031中获取到了虚拟用户的视野信息，将虚拟用户的视野信息与三维模型进行交集处理后，即可获得处在虚拟用户的视野范围内的物体信息。
在一实施例中，电子设备获取信息显示设备的端点在三维模型中的空间坐标；当端点的空间坐标落在虚拟用户的视野内的数量大于预设阈值时，确定信息显示设备在虚拟用户的视野范围内。例如，可以设定当信息显示设备的端点若有2个在虚拟用户的视野范围内，则确定该信息显示设备在虚拟用户的视野范围。 即，阈值设置为2，当然，可以根据实际情况，可以设置为3,4，等自然数。
可以理解的是，当端点的空间坐标落在虚拟用户的视野内的数量小于或等于预设阈值时，确定信息显示设备不在虚拟用户的视野范围内。在该情况下，可以设置成暂时不播放显示信息，例如，一旦确定出信息显示设备不在虚拟用户的视野范围内，则暂停播放显示信息，等到虚拟用户的视野范围能够看到显示区域时再启动播放。在该情况下，还可以设置成依然播放显示信息，只是虚拟用户因为其视野范围的限制而看不到。
在信息播放层中播放显示信息可以采用多种方法。例如，获取当前虚拟用户视野信息，判断信息显示设备是否在虚拟用户的视野范围内，如果信息显示设备位于虚拟用户的视野范围内，则在信息播放层上加载显示信息并进行自动播放，或者响应于用户的播放指令进行播放。播放显示信息可以采用两种播放形式：自动播放、手动触发。自动播放。例如，当用户在三维模型中进行浏览时，如果三维模型中的电视在用户的可视范围内，则电视里的视频将会自动播放，或者，如果电视在用户的可视范围之内，并且用户在三维模型中点击电视，则可触发电视的播放。
在信息播放层上渲染播放按钮，响应于播放按钮被触发，进行相应的播放操作。在信息播放层上进一步可以渲染出交互按钮，用以模仿真实播放器，用户可以对该播放按钮进行点选等操作，实现在真实空间中的用户交互。例如，可以渲染出暂停、播放、切换或播放速率转换等交互按钮，可以使用户在播放图片、流媒体或者人机交互界面时，与之进行交互操作暂停视频。自动暂停、手动暂停。自动暂停：更具体策略可自定义视频播放的时间。达到一定的时间，视频将自动暂停。手动暂停：用户可手动点击电视暂停播放。如果用户未手动点击电视，则视频将循环播放。
在一个实施例中，如果在三维模型中识别出了多个显示区域，则分别控制在各个显示区域内的信息播放层中播放的显示信息。这些显示区域内的信息播放层中播放的显示信息可以全部相同，也可以全部不同，也可以部分地相同。
在三维模型中识别出了多个显示区域的情况可以包括以下情况：(1)三维模型中包括一个显示设备，该显示设备包括多个显示区域(例如，该显示设备为多屏显示的设备)；(2)三维模型中包括多个显示设备(例如，三维模型中包括诸如电视、电脑显示器、家庭影院之类的多个显示设备)，各显示设备包括一个或 多个显示区域。例如，在同一三维模型中有多个电视，控制不同的电视播放不同的视频。
如果用户在预设的时间区间内浏览了多个三维模型，则确定与多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个目标显示区域内的信息播放层中播放的显示信息都不相同。例如，如果用户在30分钟内浏览了多个三维模型(房屋三维模型)，用户浏览的每一个三维模型中的电视所播放的视频都不同。
在一个实施例中，显示位置信息包括显示区域的端点(例如，四个端点)在三维模型中的空间坐标。基于端点(四个端点)可以确定出用于播放显示信息的显示平面(即，显示区域)，但是确定出的显示平面可能是倾斜的，这会降低用户的观看感受。为了降低用户看到显示信息(例如，一幅图像)的倾斜度，可以采用如下的方法。
首先，将基于端点的空间坐标确定出的显示区域划分为多个子显示区域。例如，基于四个端点确定出一个矩形的显示区域，并将该矩形显示区域划分成多个子显示区域，这些子显示区域可以实现为多个条形子区域或者多个三角形子区域或者多个块状子区域。这些子区域可以大小相同，也可以大小不完全相同，例如，根据具体显示需求，包括数量较少的稀疏子区域和数量较多的密集子区域。
接着，将用于在显示区域中播放的显示信息划分为在显示位置上与多个子显示区域一一对应的多个子显示信息。例如，在上面步骤中已经将显示区域划分成了条状的多个子区域，则将待显示的图像划分成与条状的多个子区域在位置上一一对应的条状的多个子图像。
接着，控制在每个子显示区域中显示相应的子显示信息。例如，在最左边的子显示区域中显示最左边的子图像，在中间的子显示区域中显示中间的子图像，并且在最右边的子显示区域中显示最右边的子图像。
这样，在确定出的显示区域(显示平面)可能为倾斜的情况下，通过分区域显示的方式，能够大大降低虚拟用户看到的显示信息的倾斜度，提升了用户的观看感受，增强了用户体验。
示例性装置
在一个实施例中，如图5A，本公开提供了一种信息播放装置，包括：显示 区域识别模块501、显示位置确定模块502、显示信息播放模块503和显示信息交互模块504。
显示区域识别模块501对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域。显示位置确定模块502确定与显示区域相对应的显示位置信息。显示信息播放模块503基于显示位置信息在显示区域内叠加信息播放层，用以在信息播放层中播放显示信息。
如图5B所示，信息播放装置还包括显示信息交互模块504，用于响应于用户的播放控制指令，对在信息播放层中播放的显示信息进行相对应的交互操作。
在一个实施例中，显示区域识别模块501将三维模型输入图像识别模型，利用图像识别模型在空间图像中识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在三维模型中的位置。显示区域识别模块501基于标定有信息显示设备的三维模型样本生成训练样本；其中，在信息显示设备中标定显示区域。显示区域识别模块501使用深度学习方法并基于训练样本对预设的深度学习模型进行训练，获得图像识别模型。
显示位置确定模块502获取与三维模型对应的三维点云信息，基于三维点云信息和显示区域在三维模型中的位置，确定显示位置信息；其中，显示位置信息包括：在三维模型中的空间坐标。
显示信息播放模块503获取当前虚拟用户视野信息，视野信息包括虚拟用户当前的位置信息以及虚拟用户的视角范围信息。显示信息播放模块503判断信息显示设备是否在虚拟用户的视野范围内，如果信息显示设备位于虚拟用户的视野范围内，则在信息播放层上加载显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
显示信息播放模块503获取信息显示设备的端点在三维模型中的空间坐标，当端点的空间坐标落在虚拟用户的视野内的数量大于预设阈值时，确定信息显示设备在虚拟用户的视野范围内。
在一个实施例中，显示信息交互模块504在信息播放层上设置交互按钮，响应于用户通过交互按钮发送的播放控制指令，对显示信息进行相应的交互操作；其中，交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
如果在三维模型中识别出多个显示区域，则显示信息播放模块503控制在各个显示区域内的信息播放层中播放的显示信息都不相同。如果用户在预设的时间 区间内浏览了多个三维模型，则显示信息播放模块503确定与多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个目标显示区域内的信息播放层中播放的显示信息都不相同。
信息播放装置还可以包括显示信息控制模块，其包含显示控制策略。在一些情况下，基于端点(例如，四个端点)可以确定出用于播放显示信息的显示平面(即，显示区域)，但是确定出的显示平面可能是倾斜的，这会降低用户的观看感受。显示信息控制模块所包含的显示控制策略能够降低用户看到显示信息(例如，一幅图像)的倾斜度。
显示信息控制模块构造成将基于端点的空间坐标确定出的显示区域划分为多个子显示区域；将用于在显示区域中播放的显示信息划分为在显示位置上与多个子显示区域一一对应的多个子显示信息；以及控制在每个子显示区域中显示相应的子显示信息。这样，在确定出的显示区域(显示平面)可能为倾斜的情况下，显示信息控制模块通过分区域显示的方式，能够大大降低虚拟用户看到的显示信息的倾斜度，提升了用户的观看感受，增强了用户体验。
图6是本公开的电子设备的一个实施例的结构图，如图6所示，电子设备61包括一个或多个处理器611和存储器612。
处理器611可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备61中的其他组件以执行期望的功能。
存储器612可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器611可以运行程序指令，以实现上文的本公开的各个实施例的信息播放方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备61还可以包括：输入装置613以及输出装置614等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备613还可以包括例如键盘、鼠标等等。该输出装置614可以向外部输出 各种信息。该输出设备614可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备61中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备61还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还提供一种包括机器可读介质的计算机程序产品，该机器可读介质包括会使机器执行上述信息播放方法的各项操作的计算机程序指令(代码)。例如，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信息播放方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信息播放方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须 采用上述具体的细节来实现。
上述实施例中的信息播放方法、装置以及电子设备、存储介质，通过获识别三维模型中的信息显示设备以及显示区域，基于显示区域的位置信息在显示区域内叠加信息播放层并播放显示信息，并对在信息播放层中播放的显示信息进行相对应的交互操作；通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的信息交互，可以让用户在三维模型中更贴近真实场景，提升了用户体验。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖 的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (26)

  1. 一种信息播放方法，包括：
    对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及所述信息显示设备的显示区域；
    确定与所述显示区域相对应的显示位置信息；
    基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息。
  2. 根据权利要求1所述的方法，其中，所述对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域包括：
    将所述三维模型输入图像识别模型，利用所述图像识别模型识别出所述空间图像中的所述信息显示设备以及所述显示设备的所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置。
  3. 如权利要求2所述的方法，其中，所述方法还包括：
    基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本，其中，在所述信息显示设备的三维空间信息中标定有所述信息显示设备的显示区域；
    使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练，以获得所述图像识别模型。
  4. 如权利要求1所述的方法，其中，所述确定与所述显示区域相对应的显示位置信息包括：
    获取与所述三维模型对应的三维点云信息；
    基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；
    其中，所述显示位置信息包括所述显示区域的端点在所述三维模型中的空间坐标。
  5. 根据权利要求1所述的方法，所述在所述信息播放层中播放显示信息包括：
    获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信 息以及所述虚拟用户的视角范围信息；
    判断所述信息显示设备是否在所述虚拟用户的视野范围内；
    如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
  6. 根据权利要求5所述的方法，其中，所述判断所述信息显示设备是否在所述虚拟用户的视野范围内包括：
    获取所述信息显示设备的端点在所述三维模型中的空间坐标；
    当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
  7. 根据权利要求1所述的方法，其中，所述方法还包括：
    响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。
  8. 如权利要求7所述的方法，所述响应于用户的播放控制指令，对所述信息播放层播放的显示信息进行相对应的交互操作包括：
    在所述信息播放层上设置交互按钮，响应于用户通过所述交互按钮输入的播放控制指令，对所述显示信息进行相应的交互操作；
    其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
  9. 如权利要求1所述的方法，其中，所述方法还包括：
    在识别出的所述显示区域包括多个显示区域的情况下，分别控制在各显示区域的信息播放层中播放的显示信息，
    可选地，所述分别控制在各显示区域的信息播放层中播放的显示信息包括：控制在各显示区域的信息播放层中播放不同的显示信息。
  10. 如权利要求1所述方法，其中，所述方法还包括：
    在用户浏览了多个三维模型的情况下，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，分别控制在各目标显示区域的信息播放层中播放的显示信息，
    可选地，分别控制在各目标显示区域的信息播放层中播放的显示信息包括：控制在各目标显示区域的信息播放层中播放不同的显示信息。
  11. 如权利要求1至10中任一所述的方法，其中，
    所述显示信息包括以下项中的至少之一：静态图像、流媒体信息或人机交互界面中的一种或者多种。
  12. 如权利要求1所述的方法，其中，所述显示位置信息包括所述显示区域的端点在所述三维模型中的空间坐标，并且所述方法还包括：
    将基于所述端点的空间坐标确定出的显示区域划分为多个子显示区域；
    将用于在所述显示区域中播放的显示信息划分为在显示位置上与所述多个子显示区域一一对应的多个子显示信息；以及
    控制在每个子显示区域中显示相应的子显示信息。
  13. 一种信息播放装置，包括：
    显示区域识别模块，用于对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及所述信息显示设备显示区域；
    显示位置确定模块，用于确定与所述显示区域相对应的显示位置信息；
    显示信息播放模块，用于基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息。
  14. 根据权利要求13所述的装置，其中，
    所述显示区域识别模块，用于将所述三维模型输入图像识别模型，利用所述图像识别模型在所述空间图像中识别出所述信息显示设备以及所述信息显示设备的所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置。
  15. 如权利要求14所述的装置，其中，
    所述显示区域识别模块，用于基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本；其中，在所述信息显示设备的三维空间信息中标定有所述信息显示设备的显示区域；使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练，以获得所述图像识别模型。
  16. 如权利要求13所述的装置，其中，
    所述显示位置确定模块，用于获取与所述三维模型对应的三维点云信息；基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；其中，所述显示位置信息包括：所述显示区域的端点在所述三维模型中 的空间坐标。
  17. 根据权利要求13所述的装置，其中，
    所述显示信息播放模块，用于获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信息以及所述虚拟用户的视角范围信息；判断所述信息显示设备是否在所述虚拟用户的视野范围内；如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
  18. 根据权利要求17所述的装置，其中，
    所述显示信息播放模块，还用于获取所述信息显示设备的端点在所述三维模型中的空间坐标；当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
  19. 根据权利要求13所述的装置，还包括：
    显示信息交互模块，用于响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。
  20. 如权利要求19所述的装置，其中，
    所述显示信息交互模块，用于在所述信息播放层上设置交互按钮，响应于用户通过所述交互按钮输入的播放控制指令，对所述显示信息进行相应的交互操作；其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
  21. 如权利要求13所述的装置，其中，
    所述显示信息播放模块，用于在识别出的所述显示区域包括多个显示区域的情况下，分别控制在各显示区域的信息播放层中播放的显示信息，
    可选地，所述分别控制在各显示区域的信息播放层中播放的显示信息包括：控制在各显示区域的信息播放层中播放不同的显示信息。
  22. 如权利要求13所述装置，其中，
    所述显示信息播放模块，用于在用户浏览了多个三维模型的情况下，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，分别控制在各个目标显示区域内的信息播放层中播放的显示信息，
    可选地，分别控制在各目标显示区域的信息播放层中播放的显示信息包括：控制在各目标显示区域的信息播放层中播放不同的显示信息。
  23. 如权利要求13所述的装置，其中，所述显示位置信息包括所述显示区域的端点在所述三维模型中的空间坐标，并且，所述装置还包括显示信息控制模块，所述显示信息控制模块用于：
    将基于所述端点的空间坐标确定出的显示区域划分为多个子显示区域；
    将用于在所述显示区域中播放的显示信息划分为在显示位置上与所述多个子显示区域一一对应的多个子显示信息；以及
    控制在每个子显示区域中显示相应的子显示信息。
  24. 一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如权利要求1-12任一所述的方法。
  25. 一种电子设备，所述电子设备包括：
    处理器；
    用于存储所述处理器可执行指令的存储器；
    所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-12任一所述的方法。
  26. 一种计算机程序产品，包括：包含可执行指令的可读介质，所述可执行指令在被执行时可使机器执行如权利要求1-12中任何一项的所述方法。
PCT/CN2020/112004 2019-11-11 2020-08-28 信息播放方法、装置、计算机可读存储介质及电子设备 WO2021093416A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020227019340A KR20220093216A (ko) 2019-11-11 2020-08-28 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기
JP2022527210A JP7407929B2 (ja) 2019-11-11 2020-08-28 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器
US17/775,937 US20220415063A1 (en) 2019-11-11 2020-08-28 Information playback method and device, computer readable storage medium, and electronic device
CA3162120A CA3162120A1 (en) 2019-11-11 2020-08-28 Information playback method and device, computer readable storage medium, and electronic device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201911096607.3 2019-11-11
CN201911096607 2019-11-11
CN201911310220.3A CN111178191B (zh) 2019-11-11 2019-12-18 信息播放方法、装置、计算机可读存储介质及电子设备
CN201911310220.3 2019-12-18

Publications (1)

Publication Number Publication Date
WO2021093416A1 true WO2021093416A1 (zh) 2021-05-20

Family

ID=70657359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/112004 WO2021093416A1 (zh) 2019-11-11 2020-08-28 信息播放方法、装置、计算机可读存储介质及电子设备

Country Status (6)

Country Link
US (1) US20220415063A1 (zh)
JP (1) JP7407929B2 (zh)
KR (1) KR20220093216A (zh)
CN (1) CN111178191B (zh)
CA (1) CA3162120A1 (zh)
WO (1) WO2021093416A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
JP6708917B1 (ja) * 2020-02-05 2020-06-10 リンクウィズ株式会社 形状検出方法、形状検出システム、プログラム
CN114079589A (zh) * 2020-08-21 2022-02-22 深圳Tcl新技术有限公司 一种播放控制方法、智能终端及存储介质
CN112261359A (zh) * 2020-09-23 2021-01-22 上海新柏石智能科技股份有限公司 一种多维度实景看房系统
CN112130726B (zh) * 2020-09-25 2022-05-31 北京五八信息技术有限公司 页面操作方法、装置、电子设备和计算机可读介质
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
US20240249468A1 (en) * 2021-10-29 2024-07-25 Boe Technology Group Co., Ltd. Information presenting method, system thereof, electronic device, and computer-readable storage medium
CN113870442B (zh) * 2021-12-03 2022-02-25 贝壳技术有限公司 三维房屋模型中的内容展示方法及装置
CN114253499A (zh) * 2022-03-01 2022-03-29 北京有竹居网络技术有限公司 信息的展示方法、装置、可读存储介质和电子设备
CN114827711B (zh) * 2022-06-24 2022-09-20 如你所视(北京)科技有限公司 图像信息显示方法和装置
CN115063564B (zh) * 2022-07-13 2024-04-30 如你所视(北京)科技有限公司 用于二维显示图像中的物品标签展示方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157218A1 (en) * 2009-12-29 2011-06-30 Ptucha Raymond W Method for interactive display
CN108470377A (zh) * 2018-03-12 2018-08-31 万维云视（上海）数码科技有限公司 Ar看房装置
CN108961387A (zh) * 2018-05-30 2018-12-07 链家网（北京）科技有限公司 一种房屋虚拟三维模型的显示方法及终端设备
CN109920065A (zh) * 2019-03-18 2019-06-21 腾讯科技（深圳）有限公司 资讯的展示方法、装置、设备及存储介质
CN111178191A (zh) * 2019-11-11 2020-05-19 贝壳技术有限公司 信息播放方法、装置、计算机可读存储介质及电子设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674993B2 (ja) * 1995-08-31 2005-07-27 三菱電機株式会社 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JP2008052641A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 映像表示システム
CN101639927A (zh) * 2008-07-31 2010-02-03 国际商业机器公司 调整虚拟世界中的虚拟显示设备的方法和系统
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5863440B2 (ja) * 2010-12-28 2016-02-16 キヤノン株式会社 情報処理装置および方法
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US20130314398A1 (en) * 2012-05-24 2013-11-28 Infinicorp Llc Augmented reality using state plane coordinates
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP2016001823A (ja) * 2014-06-12 2016-01-07 カシオ計算機株式会社 画像補正装置、画像補正方法、及び、プログラム
KR101453815B1 (ko) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
US10062208B2 (en) * 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
CN105915972A (zh) * 2015-11-16 2016-08-31 乐视致新电子科技（天津）有限公司 一种虚拟现实中4k视频优化方法和装置
CN105916022A (zh) * 2015-12-28 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于虚拟现实技术的视频图像处理方法及装置
CN106096555A (zh) * 2016-06-15 2016-11-09 湖南拓视觉信息技术有限公司 三维面部检测的方法和装置
CN106530404A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar虚拟现实技术和云存储的待售房屋考察系统
CN106683177B (zh) * 2016-12-30 2019-03-05 四川讯视科技有限公司 基于互动漫游式房屋装修数据交互方法及装置
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
CA3057109A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
CN107463260A (zh) * 2017-08-09 2017-12-12 康佳集团股份有限公司 Vr设备及其卖场购物数据处理方法、及存储介质
CN107578477B (zh) * 2017-09-11 2019-09-06 南京大学 一种三维模型部件的自动检测方法
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN112136094A (zh) * 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US10838574B2 (en) * 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
CN108985872A (zh) * 2018-05-30 2018-12-11 链家网（北京）科技有限公司 确定用户在房源虚拟三维空间图中的朝向的方法及系统
KR102258446B1 (ko) * 2018-07-11 2021-05-31 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN109144176A (zh) * 2018-07-20 2019-01-04 努比亚技术有限公司 虚拟现实中的显示屏交互显示方法、终端及存储介质
CN109147448A (zh) * 2018-08-09 2019-01-04 国网浙江省电力有限公司 一种输电线路高空行走培训系统及其方法
CN109582134B (zh) * 2018-11-09 2021-07-23 北京小米移动软件有限公司 信息显示的方法、装置及显示设备
CN110096143B (zh) * 2019-04-04 2022-04-29 贝壳技术有限公司 一种三维模型的关注区确定方法及装置
CN110111385B (zh) * 2019-04-18 2020-08-11 贝壳找房(北京)科技有限公司 一种在三维空间实现目标定位的方法、终端和服务器
WO2021007581A1 (en) * 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive personal training system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157218A1 (en) * 2009-12-29 2011-06-30 Ptucha Raymond W Method for interactive display
CN108470377A (zh) * 2018-03-12 2018-08-31 万维云视（上海）数码科技有限公司 Ar看房装置
CN108961387A (zh) * 2018-05-30 2018-12-07 链家网（北京）科技有限公司 一种房屋虚拟三维模型的显示方法及终端设备
CN109920065A (zh) * 2019-03-18 2019-06-21 腾讯科技（深圳）有限公司 资讯的展示方法、装置、设备及存储介质
CN111178191A (zh) * 2019-11-11 2020-05-19 贝壳技术有限公司 信息播放方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
KR20220093216A (ko) 2022-07-05
US20220415063A1 (en) 2022-12-29
CN111178191A (zh) 2020-05-19
JP2023501553A (ja) 2023-01-18
CN111178191B (zh) 2022-01-11
CA3162120A1 (en) 2021-05-20
JP7407929B2 (ja) 2024-01-04

Similar Documents

Publication Publication Date Title
WO2021093416A1 (zh) 信息播放方法、装置、计算机可读存储介质及电子设备
US10016679B2 (en) Multiple frame distributed rendering of interactive content
WO2020248640A1 (zh) 一种显示设备
US9298346B2 (en) Method for selection of an object in a virtual environment
US9348411B2 (en) Object display with visual verisimilitude
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
WO2018098720A1 (zh) 一种基于虚拟现实的数据处理方法及系统
CN108475280B (zh) 用于使用第二屏幕设备来与内容交互的方法、系统和介质
US20240127546A1 (en) Overlay Placement For Virtual Reality And Augmented Reality
JP2022507245A (ja) ナビゲート可能仮想空間内でレンダリングされた３次元表示オブジェクトを介した２次元コンテンツの提示を介してユーザインターフェースを提供するように適合された技術
US20170142484A1 (en) Display device, user terminal device, server, and method for controlling same
CN114365504A (zh) 电子设备及其控制方法
WO2021228200A1 (zh) 用于实现三维空间场景互动的方法、装置和设备
Jalal et al. IoT architecture for multisensorial media
Jin et al. Volumivive: An authoring system for adding interactivity to volumetric video
CN116266868A (zh) 一种显示设备及切换视角方法
CN114286077A (zh) 一种虚拟现实设备及vr场景图像显示方法
CN111696193A (zh) 基于三维场景的物联网控制方法、系统、装置及存储介质
TW201901401A (zh) 混合實境社區生活圈看屋方法及系統
US20210224525A1 (en) Hybrid display system with multiple types of display devices
WO2023207516A1 (zh) 直播视频处理方法、装置、电子设备及存储介质
US20240323472A1 (en) Display apparatus
KR20240132276A (ko) 신경망 반도체와 통신하기 위해 모바일 장치를 사용하기 위한 구현 및 방법
TWM555009U (zh) 混合實境社區生活圈看屋系統
CN116266090A (zh) 一种虚拟现实设备及焦点操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887894

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3162120

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2022527210

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3162120

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20227019340

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20887894

Country of ref document: EP

Kind code of ref document: A1