WO2019233445A1 - 对房屋进行数据采集和模型生成的方法 - Google Patents

对房屋进行数据采集和模型生成的方法 Download PDF

Info

Publication number
WO2019233445A1
WO2019233445A1 PCT/CN2019/090179 CN2019090179W WO2019233445A1 WO 2019233445 A1 WO2019233445 A1 WO 2019233445A1 CN 2019090179 W CN2019090179 W CN 2019090179W WO 2019233445 A1 WO2019233445 A1 WO 2019233445A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
shooting
image
shooting point
depth
Prior art date
Application number
PCT/CN2019/090179
Other languages
English (en)
French (fr)
Inventor
孙鑫
谢哲
Original Assignee
贝壳找房(北京)科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 贝壳找房(北京)科技有限公司 filed Critical 贝壳找房(北京)科技有限公司
Priority to JP2020567557A priority Critical patent/JP6951595B2/ja
Priority to AU2019281667A priority patent/AU2019281667B2/en
Priority to US16/521,795 priority patent/US10872467B2/en
Publication of WO2019233445A1 publication Critical patent/WO2019233445A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Definitions

  • the request information is to display a panoramic image between the target functions, sending a preset panoramic image at a default perspective corresponding to the target function to the terminal.
  • the method further includes: if the request information is to display a panoramic image between the target functions, then setting a preset panoramic image at a default view angle corresponding to the target functions. After sending to the terminal,
  • the at least one function room includes a plurality of function rooms
  • the method further includes: if the request information is to display a panoramic image of the target function room, presetting After the panoramic image in the default perspective corresponding to the target function is sent to the terminal,
  • the photographing the function room centered on a plurality of shooting points in the function room to obtain depth images and photos of the function room includes:
  • the next shooting point is predicted based on the shooting point that has been shot before, and the function room is shot with the predicted next shooting point as the center to obtain the corresponding depth image and photo.
  • predicting a next shooting point based on a shooting point that has been previously captured includes:
  • a pixel point is selected from the edge of the hole, and the position range of the next shooting point position is obtained based on the position of the selected pixel point and the selected shooting point position.
  • regenerating the depth image of the selected shooting point based on a point cloud image corresponding to the depth image of the at least one shooting point that has been taken before including:
  • a point cloud image corresponding to the selected shooting point is obtained from a point cloud image corresponding to the depth image of the at least one previously captured shooting point, and from the point cloud image corresponding to the selected shooting point
  • the point cloud image regenerates the depth image of the selected shooting point.
  • regenerating the depth image of the selected shooting point from the point cloud image corresponding to the selected shooting point includes:
  • the minimum depth value among the multiple depth values is used as the depth value of the pixel point.
  • obtaining the position range of the next shooting point based on the selected pixel point position and the selected shooting point position includes:
  • the position of the projection point of the selected pixel on the two-dimensional plane where the ground between the functions is located is obtained from the three-dimensional coordinates of the selected pixel in the point cloud image corresponding to the selected shooting point. ;as well as
  • a position range where the next shooting point position is obtained is obtained.
  • the predetermined condition includes:
  • the area of the cavity is greater than a predetermined area threshold; and / or
  • the pixel point closest to the selected shooting point on the edge of the cavity is within a predetermined threshold distance from the selected shooting point.
  • the selected pixel point is a pixel point on the edge of the cavity that is closest to the selected shooting point.
  • an electronic device including:
  • At least one processor at least one memory, a communication interface, and a bus; wherein,
  • the communication interface is used for information transmission between the electronic device and the communication device of the terminal;
  • the memory stores program instructions executable by the processor, and the processor calls the program instructions to be able to execute the foregoing method corresponding to the terminal.
  • a non-transitory computer-readable storage medium stores computer instructions, and the computer instructions cause the computer to execute the above-mentioned corresponding to Terminal method.
  • FIG. 1 is a schematic diagram illustrating an exemplary three-dimensional virtual reality (VR) environment according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram illustrating an exemplary computer system according to an embodiment of the present disclosure
  • FIG. 3 is a schematic flowchart of a method for data collection and model generation of a house according to an embodiment of the present disclosure
  • FIG. 4 is a schematic flowchart of an exemplary method for predicting a next shooting point based on a shooting point that has been taken before according to another embodiment of the present disclosure
  • FIG. 5 is a schematic diagram of space coordinates that schematically shows how to generate a depth image based on a point cloud image
  • FIG. 6 is a structural block diagram of an apparatus for data collection and model generation of a house according to another embodiment of the present disclosure
  • FIG. 7 is a structural block diagram of an electronic device according to another embodiment of the present disclosure.
  • FIG. 1 illustrates an exemplary three-dimensional virtual reality (VR) environment 100 according to an embodiment of the present disclosure.
  • the 3D VR environment 100 may simulate or represent a residential unit, such as an apartment or a residential floor.
  • the 3D VR environment 100 may include a VR representation of any indoor space or environment.
  • the 3D VR environment 100 may include one or more function rooms, such as 110, 120, 130, 140, 150, and 160.
  • a function room refers to an enclosed or partially enclosed space associated with a particular function.
  • a function room may correspond to a room.
  • the function room 110 may correspond to a first bedroom
  • the function room 130 may correspond to a second bedroom.
  • FIG. 2 illustrates a block diagram of an exemplary computer system 200 configured to implement various functions disclosed herein.
  • the computer system 200 may be configured as a server for creating or rebuilding the VR environment 100.
  • the computer system 200 may be configured as a terminal device for displaying or enriching the VR environment 100.
  • the computer system 200 may include a processor 210, a communication interface 220, a memory / storage device 230, and a display 240.
  • the memory / storage device 230 may be configured to store computer-readable instructions that, when executed by the processor 210, may cause the processor 210 to perform various operations disclosed herein.
  • the memory 230 may be any non-transitory type of mass storage device, such as volatile or non-volatile, magnetic, semiconductor-based, tape-based, optical, removable, non-removable or other types of storage devices, or Tangible computer-readable media, including but not limited to ROM, flash memory, dynamic RAM, and static RAM.
  • the processor 210 may be configured to perform operations according to instructions stored in the memory 230.
  • the processor 210 may include any suitable type of general-purpose or special-purpose microprocessor, digital signal processor, microcontroller, and the like.
  • the processor 210 may be configured as a separate processor module dedicated to performing one or more specific operations disclosed herein.
  • the processor 210 may be configured as a shared processor module capable of performing other operations unrelated to one or more specific operations disclosed herein.
  • the communication interface 220 may be configured to transfer information between the computer system 200 and other devices or systems.
  • the communication interface 220 may include an integrated services digital network (ISDN) card, a cable modem, a satellite modem, or a modem for providing a data communication connection.
  • ISDN integrated services digital network
  • the communication interface 220 may include a local area network (LAN) card to provide a data communication connection with a compatible LAN.
  • LAN local area network
  • the communication interface 220 may include a high-speed network adapter, such as a fiber optic network adapter, a 10G Ethernet adapter, and the like.
  • the communication interface 220 may also implement a wireless link.
  • the communication interface 220 can send and receive electrical signals, electromagnetic signals, or optical signals that carry digital data streams representing various types of information via a network.
  • the network may generally include a cellular communication network, a wireless local area network (WLAN), a wide area network (WAN), and the like.
  • the communication interface 220 may also include various I / O devices, such as a keyboard, a mouse, a touch pad, a touch screen, a microphone, a camera, a biosensor, and the like. The user can input data to the terminal device through the communication interface 220.
  • the display 240 may be integrated as part of the computer system 200 or may be provided as a separate device communicatively coupled to the computer system 200.
  • the display 240 may include a display device such as a liquid crystal display (LCD), a light emitting diode display (LED), a plasma display, or any other type of display, and provides a graphical user interface (GUI) presented on the display for user input and data description .
  • the display device 240 may include VR goggles, VR glasses, or other similar devices that provide an immersive VR experience.
  • the VR environment 100 may be displayed on the display 240.
  • the display 240 may be integrated as part of the communication interface 220.
  • FIG. 3 is a schematic flowchart of a method for data collection and model generation of a house according to an embodiment of the present disclosure. Referring to FIG. 3, the method includes:
  • a house that needs data collection may include one or more function rooms.
  • a house may include multiple function rooms such as a living room, a bedroom, a dining room, a kitchen, and a bathroom.
  • the house includes a living room, bedroom, dining room, kitchen, and bathroom
  • data can also be collected for both the living room and the bedroom, so as to obtain a virtual 3D model of the house containing the living room and the bedroom based on the depth image of the living room and the depth image of the bedroom, and generate a panorama of the living room based on the photos of the living room Image to generate a panoramic image of the bedroom based on the photos of the bedroom.
  • Depth images can be obtained by collecting houses using a depth camera. Photos can be obtained by taking pictures of the function room with a common camera. The acquired depth image can be converted into a point cloud image (also known as a point cloud model). If there are multiple depth images, multiple point cloud images converted from multiple depth images can also be stitched and fused. The conversion of the depth image into a point cloud image and the stitching and fusion of multiple point cloud images can be calculated by, for example, a function (eg, PCL) of stitching and fusion of the point cloud in an open source library. Generate panoramic images from photos, which can be achieved by image stitching technology (for example, photos are synthesized into panoramic images through opencv).
  • image stitching technology for example, photos are synthesized into panoramic images through opencv.
  • the terminal When the user needs to know the structure of the house, the terminal sends a request information for viewing the virtual 3D model of the house to obtain the virtual 3D model.
  • the user needs to know the partial details of a certain function, he can send the corresponding request information through the terminal, and then he can understand the partial details of this function through the terminal.
  • This embodiment provides a method for data collection and model generation of a house.
  • the method When establishing a virtual model of a house, the method not only acquires a depth image collected from the house, but also obtains a photo of the house. Use the depth image to create a virtual 3D model of the house, and use the photos to generate panoramic images between the various functions.
  • the user needs to understand the structure of the house, he can view the virtual three-dimensional model created from the depth image.
  • the user needs to know the specific details of the function room, he can understand it by viewing the panoramic image of the function room. In this way, the structure of the house can be displayed while showing the details of the various functions of the house, thereby helping to comprehensively understand the house.
  • the collecting a depth image of each function room and a photo of each function room in at least one function room of the preset house may include:
  • point cloud image after stitching and fusion does not cover every corner of the function room, take a supplementary shot with the current shooting point as the center or re-select the shooting point and shoot again until the function room is covered.
  • the step of photographing the function room centered on a plurality of shooting points of the function room to obtain depth images and photos of the function room further includes:
  • the virtual 3D model of the preset house is sent or the request information is sent according to the request information.
  • Corresponding panoramic images between target functions including:
  • the user may send request information to the server through a terminal to display a virtual 3D model of a preset house or a panoramic image between certain functions.
  • the server After receiving the request information, the server sends corresponding images to the terminal according to the request information to provide images that meet user needs.
  • the terminal sends request information to the server to display the virtual 3D model of the preset house.
  • the server sends the preset house to the server.
  • a virtual 3D model of is sent to the terminal to show the structure of the house to the user.
  • This embodiment provides a method for data collection and model generation of a house, which can display corresponding content corresponding to different user request information to provide house information that meets user needs.
  • the method further includes:
  • the information of changing the currently displayed angle of view includes moving or zooming the currently displayed angle of view; the movement adjustment is realized by sliding the screen left and right on the terminal, and the zoom adjustment is realized by performing a zoom operation on the terminal.
  • the user can view images at different positions between functions by sliding the screen or zooming the screen.
  • This embodiment provides a method for data collection and model generation of a house, and a user can understand different locations of the house in detail by operating a terminal.
  • a panoramic image in a default view angle corresponding to another function set in advance is sent to the terminal.
  • the shooting personnel can receive the shooting data through the handheld mobile device.
  • the point cloud image corresponding to the depth image that has been captured can be automatically merged with the existing point cloud image, or the point cloud image corresponding to the depth image that has been captured can be manually taken by the photographer Fusion with existing point cloud images.
  • the photographer can shoot at multiple shooting points indoors as needed, and can see the coverage of the captured point cloud image on the screen of the handheld device or the hardware device that is shooting.
  • the background system receives the data and optimizes the data to generate a virtual three-dimensional model of the house, and uses ordinary color photos taken at each shooting point to generate a corresponding one for each shooting point. Panoramic image.
  • the user can select the virtual three-dimensional model of the house to view the situation of the house as a whole. If he is interested in the details, he can also choose to view the panoramic image corresponding to a specific shooting point.
  • the method provided by this embodiment can not only fully display the three-dimensional structure of the house, but also effectively solve the problem of insufficient fineness of the three-dimensional model of the house in the near-field situation.
  • shooting the function room with multiple shooting points in the function room as the center to obtain the depth image and photo of the function room may include: based on the shooting points that have been taken before Predict the next shooting point, and use the predicted next shooting point as the center to shoot the function room to obtain the corresponding depth image and photo.
  • the process of data collection for the house it may be necessary to perform data collection at multiple shooting points.
  • the choice of shooting position usually depends on the personal experience of the photographer. Therefore, the collected data may be incomplete due to improper selection of shooting points, which may affect the quality of the virtual 3D model of the house, or the efficiency of data collection may be low due to multiple selection of shooting points.
  • the integrity of data collection and the / Or the efficiency of data collection by predicting the next shooting point based on the shooting point where the shooting has been performed before, and shooting between functions with the predicted next shooting point as the center, the integrity of data collection and the / Or the efficiency of data collection.
  • FIG. 4 is a schematic flowchart of an exemplary method for predicting a next shooting point based on a shooting point where shooting has been performed according to another embodiment of the present disclosure.
  • predicting the next shooting point based on the shooting point that has been taken before may include the following steps, for example.
  • a photographing point is selected from at least one photographing point that has been photographed before.
  • the number of shooting points that have been taken before may be one or more.
  • a shooting point is selected from one or more shooting points that have previously been shot.
  • the selected shooting point may be the latest shooting point among at least one shooting point that has previously been shot. By prioritizing the latest shooting locations, it helps to maintain the consistency of data collection and improve the collection efficiency.
  • the selected shooting point may also be any shooting point that has been shot before.
  • a depth image of the selected shooting point is regenerated based on a point cloud image corresponding to at least one depth image of the shooting point that has been captured before.
  • the point cloud image corresponding to the depth image of each of the at least one previously photographed point can be stitched and fused to obtain at least one previously photographed point.
  • a point cloud image corresponding to the depth image, and based on the point cloud image, a depth image of the selected shooting point position is regenerated.
  • the point cloud image corresponding to the depth image A1 at the point A is A2.
  • the point cloud image corresponding to the depth image B1 at the point B is B2.
  • the point cloud image corresponding to the depth image C1 at the point C is C2.
  • the point cloud image N obtained by performing the stitching fusion may include the depth information contained in each of the depth images A1, B1, and C1.
  • the shooting point C is selected from the three shooting points A, B, and C that have been taken before.
  • the point cloud image N corresponding to A1, B1, and C1 regenerates the depth image C12 of the shooting point C.
  • the selected shooting point there is an original depth image of the shooting point obtained by shooting on the shooting point, but due to some factors, such as the influence of the shooting equipment, the interference of ambient light, etc. , which may cause data loss in the obtained original depth image.
  • the data of the other shooting point points that have been taken before can be used for the original depth The data in the image is supplemented.
  • the original depth image C1 of the selected shooting point C may be missing data due to certain factors, such as missing depth information at certain positions in the function room. For example, due to the limitation of the angle of view of the photographing device, there may be no depth information at a position directly above or below the photographing device. Because the depth image C12 of the shooting point C is regenerated based on the point cloud images N corresponding to the three depth images A1, B1, and C of the previous shooting points A, B, and C, the shooting point position can be used. The data of A and B supplement the data in the original depth image C1 of the selected shooting point C, so that it is possible to make the regenerated depth image C12 contain more depth information, which is conducive to subsequent data analysis to Predict the next shooting point.
  • step 403 it is determined whether there is a hole that satisfies a predetermined condition in the regenerated depth image of the selected shooting point.
  • step 403 it is determined whether there is a hole that satisfies a predetermined condition in the regenerated depth image of the selected shooting point. For example, it may first determine whether there are holes in the regenerated depth image of the selected shooting point, and further determine whether the existing holes satisfy a predetermined condition.
  • a depth image it can be represented by a two-dimensional pixel matrix.
  • the value of each matrix element (pixel point) in the pixel matrix represents a corresponding depth value, that is, the distance of the matrix element (pixel point) from the shooting point position in the three-dimensional space.
  • the holes in the depth image can be obtained by determining the set of matrix elements (pixel points) with a depth value of 0 in the pixel matrix of the depth image and adjacent in position. For a certain depth image, there may not be any holes, or there may be one or more holes. There are various ways to get the holes in the depth image. According to an exemplary embodiment, the holes in the reconstructed depth image may be obtained by using breadth-first search or depth-first search.
  • the predetermined condition in the above steps may include: an area of the cavity is greater than a predetermined area threshold; and / or a pixel point closest to the selected photographing point on the edge of the cavity is at a distance from the selected photographing Points are within a predetermined threshold distance. For example, for a hole existing in the regenerated depth image of the selected shooting point, if the area of the hole is larger than a predetermined area threshold, and / or the edge of the hole is the nearest pixel to the selected shooting point If the point is within a predetermined threshold distance from the selected shooting point, the hole is determined as a hole that satisfies a predetermined condition.
  • the area of the hole can be represented by the number of pixels in the pixel matrix of the depth image.
  • the edge of the hole may be composed of pixels in the pixel matrix of the depth image that have a depth value adjacent to the hole that is not 0.
  • the area threshold of the cavity can be determined based on a variety of factors, such as the effective shooting distance of the shooting device, the angle of view of the shooting device, the shooting mechanism of the shooting device, and lighting conditions. For example, assuming that the depth image is 1600 ⁇ 800, the area threshold can be selected as 10000, that is, 10,000 pixels, and whether the area of the cavity is greater than the area threshold. It should be noted that the area thresholds described above are merely exemplary and not limiting. You can determine the appropriate area threshold as needed.
  • the threshold distance range of the pixel closest to the selected shooting point on the edge of the hole from the selected shooting point can also be determined based on a variety of factors, such as the effective shooting distance of the shooting device, the angle of view of the shooting device, etc. . For example, assuming that the effective shooting distance of the shooting device is 20 cm to 6 meters, the threshold distance range can be determined to be 3 meters to 6 meters, and whether the pixel closest to the selected shooting point on the edge of the hole is at a distance from The selected shooting point is within a range of 3 meters to 6 meters. It should be noted that the above-mentioned threshold distance range is merely exemplary and not restrictive. The appropriate threshold distance range can be determined as needed.
  • step 404 if there is a hole that satisfies a predetermined condition, a pixel point is selected from the edge of the hole, and the next shooting point position is obtained based on the position of the selected pixel point and the selected shooting point position. Location range.
  • the above-described manner of regenerating the depth image from the point cloud image corresponding to the selected shooting point position is merely schematic and not restrictive, and other methods may also be used to obtain the depth image.
  • the RangeImage module of the PCL library can be used to obtain a depth image from a point cloud image.
  • RangeImage you can also obtain the 3D space point coordinates corresponding to each pixel from the depth image, and then obtain a point cloud image.
  • Point cloud image stitching can be performed using the ICP-related point cloud registration algorithm of the PCL library.
  • the point cloud image corresponding to the depth image of the previously captured shooting point may include data of other shooting points, from the point corresponding to the depth image of the previously captured shooting point
  • the point cloud image corresponding to the selected shooting point obtained in the cloud image may also include data of other shooting points, which may result in the pixel matrix of the reconstructed depth image corresponding to the same pixel point. Multiple depth values, these depth values come from different shooting points.
  • the space coordinate diagram shown in FIG. 5 is still taken as an example. It is assumed that the point cloud image corresponding to the selected shooting point includes data of another shooting point, and this data results in that there is another point on the extension line of the line connecting the point M and the origin O along the OM direction. . Since the values of the angles ⁇ and ⁇ corresponding to the other point are the same as those of the point M, when the other point is mapped into the pixel matrix of the depth image, the other point is in the pixel matrix of the depth image The coordinate position (p, q) of the corresponding pixel point of is also the same as that of the point M. Therefore, there are multiple depth values corresponding to the same pixel point in the pixel matrix, and these depth values are from different shooting point positions.
  • Multiple depth values corresponding to the same pixel point may be caused by redundant data of shooting points other than the selected shooting point.
  • the minimum depth value among the multiple depth values is used as the depth value of the pixel point. From the perspective of the spatial occlusion relationship, a point closer to the selected shooting point will block a point farther away from the point. Therefore, the smallest depth value can be selected in the pixel matrix of the depth image.
  • a pixel point can be selected from the edge of the hole, and the position of the next shooting point position can be obtained based on the position of the selected pixel point and the selected shooting point position.
  • obtaining the position range of the next shooting point position based on the selected pixel point position and the selected shooting point position may include: selecting the selected pixel point in a position corresponding to the The three-dimensional coordinates in the selected point cloud image of the shooting point position to obtain the position of the projection point of the selected pixel point on the two-dimensional plane where the ground between functions is located; and, based on the position of the projection point and the selected shooting point Position, to get the position range of the next shooting point.
  • the space coordinate diagram shown in FIG. 5 is still taken as an example. Assume that the pixel point M on the edge of the hole is selected, and its three-dimensional coordinates in the point cloud image corresponding to the selected shooting point position are (x ', y', z '). Assuming that the two-dimensional plane where the ground between functions is the xz plane, the two-dimensional plane (xz plane) where the ground of the point M between the functions can be obtained from the three-dimensional coordinates (x ', y', z ') of the point M. The position of the projection point M ′ on the image can be represented by the two-dimensional coordinates (x ′, z ′) of the point M ′ in the xz plane.
  • the position of the projection point of the selected pixel point on the two-dimensional plane where the ground between functions is located can be obtained in various ways.
  • the position range where the next shooting point is located can be obtained in various ways.
  • a circle can be drawn on the two-dimensional plane where the ground between functions is located with the selected shooting point and projection point as the center of the circle, respectively, and a predetermined radius value can be used to intersect the two circles.
  • the predetermined radius value can be determined as needed. For example, a half of the effective shooting distance of the shooting device may be set as a predetermined radius value.
  • the shapes of the other shapes may be respectively drawn on the two-dimensional plane where the ground between the functions is located, with the selected shooting point and projection point as the center and a predetermined size, respectively. The part where the figure intersects is used as the position range where the next shooting point is located.
  • predicting a next shooting point based on a shooting point that has been previously shot may further include: if there is no hole that meets a predetermined condition, determining that shooting has been performed before at least one Whether there is a shooting point that has not been selected in the shooting point of; and, if there is a shooting point that has not been selected, then the shooting point is selected again from at least one shooting point that has previously been shot. Therefore, in the above manner, all the shooting points that have been taken before can be traversed, and there is no hole that satisfies a predetermined condition in all the traversed shooting points.
  • the traversal of the shooting points that have been taken before may be performed in the reverse order of the chronological order of the shooting, that is, from the latest shooting point of the previously taken shooting points to the first time. Shooting point.
  • the apparatus for data collection and model generation of a house includes an acquisition module 601, a creation module 602, and an execution module 603.
  • An acquisition module 601 configured to acquire a depth image and a photo of each function room collected in each of the at least one function room of a preset house;
  • a creating module 602 configured to create a virtual 3D model of a preset house based on a depth image of at least one function room, and generate a panoramic image of the function room according to a photo of each function room in the at least one function room;
  • the execution module 603 is configured to send a virtual 3D model of the preset house or send a panoramic image between target functions corresponding to the request information if the request information for displaying the preset house is received.
  • This embodiment provides a device for data collection and model generation of a house.
  • the device When establishing a virtual model of the house, the device not only acquires depth images collected from the house, but also obtains photos of the house for photographing. Use the depth image to create a virtual 3D model of the house, and use the photos to generate panoramic images between the various functions.
  • the user needs to understand the structure of the house, he can view the virtual three-dimensional model created from the depth image.
  • the user needs to know the specific details of the function room, he can understand it by viewing the panoramic image of the function room. In this way, it is possible to show the details of each function of the house while displaying the structure of the house, thereby helping to comprehensively understand the house.
  • FIG. 7 is a structural block diagram of an electronic device according to another embodiment of the present disclosure.
  • the electronic device includes: a processor 701, a memory 702, a communications interface 703, and a bus 704.
  • the processor 701, the memory 702, and the communication interface 703 complete communication with each other through the bus 704.
  • the communication interface 703 is used for information transmission between the electronic device and the communication device of the terminal.
  • the processor 701 is configured to call program instructions in the memory 702 to execute the methods provided by the foregoing method embodiments.
  • the method includes, for example, obtaining a depth image of each function room and a photo of each function room in at least one function room of a preset house, and creating a virtual 3D of the preset house according to the depth image of at least one function room. Model, and generate a panoramic image of the function room according to the photos of each function room in at least one function room; if the request information for displaying the preset house is received, send the preset house according to the request information Or sending a panoramic image between target functions corresponding to the request information.
  • the computer program product includes a computer program stored on a non-transitory computer-readable storage medium.
  • the computer program includes program instructions.
  • the program instructions When the program instructions are executed by a computer, the computer
  • the method provided by the foregoing method embodiments can, for example, include: obtaining a depth image of each function room and a photo of each function room in at least one function room of a preset house; and according to the depth image of at least one function room To create a virtual 3D model of the preset house, and generate a panoramic image of the function house according to the photos of each of the at least one function house; if the request information for displaying the preset house is received, according to The request information sends a virtual 3D model of the preset house or a panoramic image between target functions corresponding to the request information.
  • the foregoing program may be stored in a computer-readable storage medium.
  • the program is executed, the program is executed.
  • the method includes the steps of the foregoing method embodiment.
  • the foregoing storage medium includes: a ROM, a RAM, a magnetic disk, or an optical disk, and other media that can store program codes.
  • the embodiments can be implemented by means of software plus a necessary universal hardware platform, and of course, they can also be implemented by hardware.
  • the above-mentioned technical solution essentially or part that contributes to the existing technology can be embodied in the form of a software product, which can be stored in a computer-readable storage medium, such as ROM / RAM, magnetic A disc, an optical disc, and the like include instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) to execute the methods described in various embodiments or certain parts of the embodiments.
  • the first aspect a method for data collection and model generation of a house, comprising: acquiring depth images collected for each function room of a preset house and photos taken for each function room; Depth images between functions, create a 3D model of the preset house, and generate a panoramic image of the function house according to the photos corresponding to each function house; if the request information to display the preset house is received, according to the The request information sends the 3D model or a panoramic image between target functions corresponding to the request information.
  • the second aspect The method according to the first aspect, wherein the acquiring a depth image collected for each function room of a preset house and a photo taken for each function room includes: Each function room acquires each shooting point of the function room, and the depth image and photo of the function room are obtained by taking the shooting point as the center for each angle of the function room; wherein the depth image Obtained by depth camera.
  • the obtaining a depth image between functions by taking the shooting point as a center for each angle between the functions includes: using the shooting point
  • the point cloud images between the functions obtained from various angles of the functions are stitched and fused as the center. If the point cloud image after the stitching and fusion covers each corner of the functions, the point cloud image is used as Depth images of the function room obtained by shooting the angles between the functions with the shooting point as the center; if the point cloud image after stitching and fusion does not cover every corner of the function room, use the shooting point Make up shots with the center as the center or re-select the shooting point and shoot again until you get a point cloud image that covers every corner between the functions. Use the point cloud image as the center for the function on the shooting point. Depth images of the function obtained by shooting at various angles between the angles.
  • the fourth aspect The method according to the third aspect, wherein after the point cloud image is a depth image between the functions obtained by shooting the angle between the functions with the shooting point as a center, the method further includes: At the shooting point where the point cloud image is obtained, taking pictures of the various angles between the functions to obtain a picture of the shooting point at the various angles between the functions.
  • the method according to the first aspect wherein if the request information for displaying the preset house is received, sending the 3D model according to the request information or sending a request corresponding to the request information
  • the panoramic image between target functions includes: if the request information is a 3D model showing the preset house, sending the 3D model to a terminal corresponding to the request information; if the request information is displaying the For a panoramic image between target functions, a preset panoramic image at a default perspective corresponding to the target function is sent to the terminal.
  • the method further includes: if the information of changing the currently displayed viewing angle is received, acquiring the changed target viewing angle, and sending the panoramic image corresponding to the target viewing angle to the terminal; wherein,
  • the information of changing the currently displayed angle of view includes moving or zooming the currently displayed angle of view; the movement adjustment is achieved by sliding the screen left and right on the terminal, and the zoom adjustment is achieved by performing a zoom operation on the terminal.
  • the method further includes: if the information jumped to another function is received, sending the panoramic image at a preset default corresponding angle of view between the other functions to the terminal.
  • An electronic device includes at least one processor, at least one memory, a communication interface, and a bus; wherein the processor, the memory, and the communication interface communicate with each other through the bus; the communication interface is used for Information transmission between the electronic device and the communication device of the terminal; the memory stores program instructions executable by the processor, and the processor calling the program instructions can execute the instructions as in the first to seventh aspects The method of any one aspect.
  • Tenth aspect A non-transitory computer-readable storage medium, wherein the non-transitory computer-readable storage medium stores computer instructions that cause the computer to execute any one of the first to seventh aspects Aspect of the method.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Abstract

本公开的实施例公开了一种对房屋进行数据采集和模型生成的方法，该方法在建立房屋的模型时，不仅获取对房屋采集的深度图像，还获取房屋的照片。利用深度图像创建房屋的虚拟三维模型，利用照片生成各个功能间的全景图像。当用户需要了解房屋的结构时，可以查看根据深度图像创建的虚拟三维模型，当用户需要了解功能间的具体细节时，可以通过查看该功能间的全景图像进行了解。能够在展示房屋结构的同时，展示房屋各功能间的细节，帮助用户对房屋进行全面的了解。

Description

对房屋进行数据采集和模型生成的方法 技术领域
本公开实施例涉及虚拟三维(3D)建模技术领域，尤其是涉及对房屋进行数据采集和模型生成的方法。
背景技术
对房屋进行虚拟三维建模的过程中，常常通过深度相机进行图像采集。深度相机为可以测量出各拍摄点与相机距离的设备。例如，通过结构光原理测量拍摄点与相机距离的相机。结构光技术的基本原理是在激光器外放置一个光栅，激光通过光栅进行投射成像时会发生折射，从而使得激光最终在物体表面上的落点产生位移。当物体距离激光投射器比较近的时候，折射而产生的位移就较小，当物体距离较远时，折射而产生的位移也就会相应的变大。使用一个摄像头来检测采集投射到物体表面上的图样，通过图样的位移变化，就能用算法计算出物体的位置和深度信息，进而复原整个虚拟三维空间。通常通过深度图像采集建立房屋的模型图，然而在采集深度图像的过程中无法精细地采集到房屋各个功能间的细节，导致用户无法对房屋的各功能间进行较为全面的了解。
发明内容
本公开的一个目的是提供一种对房屋进行数据采集和模型生成的方法。
根据本公开的一个方面，提供了一种对房屋进行数据采集和模型生成的方法，包括：
获取对预设房屋的至少一个功能间中的每一功能间采集的深度图像和每一功能间的照片；
根据所述至少一个功能间的深度图像，创建所述预设房屋的虚拟3D模型，并根据所述至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；
若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
根据本公开的另一方面，提供了一种对房屋进行数据采集和模型生成的方法，包括：
采用有助于执行存储在非暂态计算机可读介质上的计算机可执行指令的处理器， 来执行操作，所述操作包括：
获取对预设房屋的至少一个功能间中的每一功能间采集的深度图像和每一功能间的照片；
根据所述至少一个功能间的深度图像，创建所述预设房屋的虚拟3D模型，并根据所述至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；
若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
根据本公开的实施例，所述预设房屋的至少一个功能间中的每一功能间的深度图像和每一功能间的照片的采集，包括：
针对每一功能间，分别以所述功能间中的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片。
根据本公开的另一实施例，所述分别以所述功能间中的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片，包括：
将以当前拍摄点位为中心对所述功能间进行拍摄得到的深度图像所对应的点云图像与之前已进行拍摄的拍摄点位的深度图像所对应的点云图像进行拼接融合，若拼接融合后的点云图像覆盖了所述功能间的每一角落，则基于所述当前拍摄点位的深度图像和所述之前已进行拍摄的拍摄点位的深度图像得到该功能间的深度图像；
若拼接融合后的点云图像没有覆盖到所述功能间的每一角落，则以所述当前拍摄点位为中心进行补拍或者重新选定拍摄点位再次进行拍摄直到得到覆盖了所述功能间的每一角落的点云图像，并基于所有已进行拍摄的拍摄点位的深度图像得到该功能间的深度图像。
根据本公开的另一实施例，上述方法还包括：
以每一个已拍摄深度图像的拍摄点位为中心，对所述功能间进行拍照，以得到所述功能间的对应于每一个已拍摄深度图像的拍摄点位的照片。
根据本公开的另一实施例，所述若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像，包括：
若所述请求信息为显示所述预设房屋的虚拟3D模型，则将所述预设房屋的虚拟3D模型发送到所述请求信息对应的终端；
若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功 能间对应的默认视角下的全景图像发送到所述终端。
根据本公开的另一实施例，上述方法还包括：在若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，
若接收到改变当前显示的视角的信息，则获取改变后的目标视角，将对应于所述目标视角下的全景图像发送到所述终端，
其中，改变当前显示的视角的信息包括对当前显示的视角进行移动调整或者缩放调整，所述移动调整通过在所述终端左右滑动屏幕实现，所述缩放调整通过在所述终端进行缩放操作实现。
根据本公开的另一实施例，所述至少一个功能间包括多个功能间，上述方法还包括：在所述若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，
若接收到跳转到另一功能间的信息，则将预先设定的另一功能间对应的默认视角下的全景图像发送到所述终端。
根据本公开的另一实施例，所述分别以所述功能间中的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片，包括：
基于之前已进行拍摄的拍摄点位预测下一拍摄点位，并且以所预测的下一拍摄点位为中心对所述功能间进行拍摄，以得到相应的深度图像和照片。
根据本公开的另一实施例，基于之前已进行拍摄的拍摄点位预测下一拍摄点位包括：
从至少一个之前已进行拍摄的拍摄点位中选取拍摄点位；
基于所述至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，重新生成所选取的拍摄点位的深度图像；
确定所选取的拍摄点位的重新生成的深度图像中是否存在满足预定条件的空洞；
如果存在满足预定条件的空洞，则从所述空洞的边缘上选取像素点，并基于所选取的像素点的位置以及所选取的拍摄点位的位置得到下一拍摄点位所在的位置范围。
根据本公开的另一实施例，基于所述至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，重新生成所选取的拍摄点位的深度图像，包括：
从所述至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像中得到对应于所选取的拍摄点位的点云图像，并且从所述对应于所选取的拍摄点位的点云图像 重新生成所选取的拍摄点位的所述深度图像。
根据本公开的另一实施例，从所述对应于所选取的拍摄点位的点云图像重新生成所选取的拍摄点位的所述深度图像，包括：
将所述对应于所选取的拍摄点位的点云图像中的每一个点映射到对应于所述深度图像的像素矩阵中；以及
如果存在与所述像素矩阵中的同一像素点相对应的多个深度值，则将所述多个深度值中的最小深度值作为该像素点的深度值。
根据本公开的另一实施例，基于所选取的像素点的位置以及所选取的拍摄点位的位置得到下一拍摄点位所在的位置范围，包括：
从所选取的像素点在所述对应于所选取的拍摄点位的点云图像中的三维坐标，得到所选取的像素点在所述功能间的地面所在的二维平面上的投影点的位置；以及
基于所述投影点的位置以及所选取的拍摄点位的位置，得到下一拍摄点位所在的位置范围。
根据本公开的另一实施例，所述预定条件包括：
所述空洞的面积大于预定的面积阈值；和/或
所述空洞的边缘上距所选取的拍摄点位最近的像素点处于距所选取的拍摄点位预定的阈值距离范围内。
根据本公开的另一实施例，所选取的像素点是所述空洞的边缘上距所选取的拍摄点位最近的像素点。
根据本公开的另一实施例，所选取的拍摄点位为所述至少一个之前已进行拍摄的拍摄点位中最新进行拍摄的拍摄点位。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该电子设备和终端的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述对应于终端的方法。
根据本公开的又一方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行以上所述的对应于终端的方法。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出根据本公开实施例的示例性三维虚拟现实(VR)环境的示意图；
图2是示出根据本公开实施例的示例性计算机系统的框图；
图3是根据本公开一个实施例的对房屋进行数据采集和模型生成的方法的流程示意图；
图4是根据本公开另一个实施例的基于之前已进行拍摄的拍摄点位预测下一拍摄点位的示例性方法的流程示意图；
图5是示意性地示出如何基于点云图像生成深度图像的原理的空间坐标示意图；
图6是根据本公开另一个实施例的对房屋进行数据采集和模型生成的装置的结构框图；
图7是根据本公开另一个实施例的电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1示出了根据本公开的实施例的示例性三维虚拟现实(VR)环境100。如图1所示，3D VR环境100可以模拟或表示住宅单元，诸如公寓或住宅楼层。注意，3D VR环境100可以包括任何室内空间或环境的VR表示。参考图1，3D VR环境100可以包括一个或多个功能间，诸如110、120、130、140、150和160。如本文所使用的，功能间是指与特定功能相关联的封闭或部分封闭的空间。在一些情况下，功能间可以对应于房间。例如，功能间110可以对应于第一卧室，并且功能间130可以对应于第二卧室。在一些情况下，功能间可以对应于房间内或与房间相邻的封闭或部分封闭的空间。例如，功能 间140可以对应于壁橱。在一些情况下，功能间可以对应于通常用于特定目的的区域。例如，功能间120可以对应于厨房区域，功能间150可以对应于餐厅区域，功能间160可以对应于客厅。尽管功能间120、150和160可以共享相同的房间(例如，封闭区域)，但是由于它们的功能不同，它们可以被认为是不同的功能间。
图2示出了被配置为实施本文所公开的各种功能的示例性计算机系统200的框图。例如，计算机系统200可以被配置为用于创建或重建VR环境100的服务器。在另一示例中，计算机系统200可以被配置为用于显示或丰富VR环境100的终端设备。如图2所示，计算机系统200可以包括处理器210、通信接口220、存储器/存储设备230和显示器240。存储器/存储设备230可以被配置用于存储计算机可读指令，所述计算机可读指令在由处理器210执行时可以使处理器210执行本文所公开的各种操作。存储器230可以是任何非暂态类型的大容量存储设备，诸如易失性或非易失性、磁性、基于半导体、基于磁带、光学、可移除、不可移除或其他类型的存储设备，或有形计算机可读介质，包括但不限于ROM、闪速存储器、动态RAM和静态RAM。
处理器210可以被配置用于根据存储在存储器230中的指令来执行操作。处理器210可包括任何适当类型的通用或专用微处理器、数字信号处理器、微控制器等。处理器210可以被配置为专用于执行本文所公开的一个或多个特定操作的单独处理器模块。可替代地，处理器210可以被配置为能够执行与本文公开的一个或多个特定操作无关的其他操作的共享处理器模块。
通信接口220可以被配置为在计算机系统200与其他设备或系统之间传输信息。例如，通信接口220可以包括综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供数据通信连接的调制解调器。作为另一示例，通信接口220可以包括局域网(LAN)卡，以提供与相容LAN的数据通信连接。作为另一示例，通信接口220可以包括高速网络适配器，诸如光纤网络适配器、10G以太网适配器等。通信接口220还可以实施无线链路。在这种实施方式中，通信接口220可以经由网络发送和接收携载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。网络通常可以包括蜂窝通信网络、无线局域网(WLAN)、广域网(WAN)等。
通信接口220还可以包括各种I/O设备，诸如键盘、鼠标、触摸板、触摸屏、麦克风、相机、生物传感器等。用户可以通过通信接口220将数据输入到终端设备。
显示器240可以集成为计算机系统200的一部分，或者可以作为通信地耦接到计算机系统200的单独设备来提供。显示器240可以包括诸如液晶显示器(LCD)、发光 二极管显示器(LED)、等离子显示器或任何其他类型的显示器等显示设备，并提供在显示器上呈现的图形用户界面(GUI)以供用户输入和数据描述。在一些实施例中，显示设备240可以包括提供沉浸式VR体验的VR护目镜、VR眼镜或其他类似设备。例如，VR环境100可以显示在显示器240上。在一些实施例中，显示器240可以集成为通信接口220的一部分。
图3是根据本公开的实施例提供的对房屋进行数据采集和模型生成的方法的流程示意图，参见图3，该方法包括：
301：获取预设房屋的至少一个功能间中的每一功能间采集的深度图像和每一功能间的照片；
302：根据至少一个功能间的深度图像，创建所述预设房屋的虚拟3D模型，并根据所述至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；
303：若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
本实施例提供的方法可以由能够执行上述方法的设备执行，例如，处理器或服务器。需要进行数据采集的房屋有可能包括一个或多个功能间。例如，房屋可以包括客厅、卧室、餐厅、厨房、卫生间等多个功能间。在对于包括多个功能间的房屋进行数据采集时，既可以对于多个功能间中的每一个功能间进行数据采集，也可以对于多个功能间中的仅一个功能间或部分功能间进行数据采集。例如，如果房屋包括客厅、卧室、餐厅、厨房、卫生间，可以仅对于客厅进行数据采集，从而得到客厅的深度图像和照片，并根据客厅的深度图像，创建包含客厅的房屋的虚拟3D模型，并根据客厅的照片，生成客厅的全景图像。可选地，也可以对于客厅和卧室这两者进行数据采集，从而根据客厅的深度图像和卧室的深度图像，得到包含客厅和卧室的房屋的虚拟3D模型，并根据客厅的照片生成客厅的全景图像，根据卧室的照片生成卧室的全景图像。当然，也可以对于房屋的所有功能间都进行数据采集，根据所有功能间的深度图像，创建包含所有功能间的房屋的虚拟3D模型，并根据每一功能间的照片，生成该功能间的全景图像。
深度图像可以通过利用深度相机对房屋进行采集而得到。照片可以通过利用普通相机对功能间进行拍照而获得。可以将采集得到的深度图像转化成点云图像(也可以称为点云模型)。如果存在多个深度图像，还可以将多个深度图像转化得到的多个点云图像进行拼接融合。将深度图像转化成点云图像，以及对于多个点云图像进行拼接融合，都可以通过例如开源库中的对点云进行拼接融合的函数(例如，PCL)计算得到。根据 照片生成全景图像，可以通过图像拼接技术实现(例如，通过opencv将照片合成为全景图像)。当用户需要了解房屋的结构，则通过终端发送查看房屋的虚拟3D模型的请求信息，即可获取虚拟3D模型。当用户需要了解某一功能间的局部细节图，则可以通过终端发送相应的请求信息，即可通过终端了解这一功能间的局部细节。
本实施例提供了一种对房屋进行数据采集和模型生成的方法，该方法在建立房屋的虚拟模型时，不仅获取对房屋采集的深度图像，还获取对房屋进行拍照的照片。利用深度图像创建房屋的虚拟三维模型，利用照片生成各个功能间的全景图像。当用户需要了解房屋的结构时，可以查看根据深度图像创建的虚拟三维模型，当用户需要了解功能间的具体细节时，可以通过查看该功能间的全景图像进行了解。由此，能够在展示房屋结构的同时，展示房屋各功能间的细节，从而帮助用对房屋进行全面的了解。
进一步地，在上述实施例的基础上，所述采集预设房屋的至少一个功能间中的每一功能间的深度图像和每一功能间的照片，可以包括：
针对每一功能间，分别以所述功能间中的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片。
该功能间的深度图像例如可以通过深度相机拍摄得到。
在对于房屋进行建模时，可能需要根据获取的房屋的全面信息来创建房屋的虚拟模型。因此，在功能间的某一拍摄点位上对于功能间进行拍摄时，例如可以以该拍摄点位为中心，对于功能间进行多角度的拍摄。例如，可以在每一功能间中选取多个拍摄点位，在每一拍摄点位上，以该拍摄点位为中心，对于功能间进行多角度的拍摄。比如，可以以该拍摄点位为中心，在0度、90度、180度和270度的角度上分别进行拍摄，或者也可以进行360度的连续环绕拍摄。在拍摄时，可以不仅通过深度相机拍摄得到深度图像，还可以通过普通相机进行拍摄而得到照片。由此，能够获取从各拍摄点位得到的房屋的各角度的信息。
在以某一拍摄点位为中心对于功能间进行多角度拍摄的情况下，可以得到对应于多个角度中每一角度的深度图像。因此，在这种情况下，该拍摄点位的深度图像可以包括分别对应于多个角度的多个深度图像。在进行数据处理时，可以将多个深度图像中的每一深度图像转化成点云图像，并将转化得到的多个点云图像进行拼接融合，从而得到该拍摄点位的深度图像所对应的点云图像。比如，以某一拍摄点位为中心，在0度、90度、180度和270度的角度上分别进行拍摄，可以得到分别对应于0度、90度、180度和270度的多个深度图像。可以将多个深度图像中的每一深度图像转化成点云图像，并 将转化得到的多个点云图像进行拼接融合，从而得到该拍摄点位的深度图像所对应的点云图像。
本实施例提供了一种对房屋进行数据采集和模型生成的方法。通过在多个拍摄点位中的每一拍摄点位上进行全方位的拍摄，可以为建模提供完整的信息。
进一步地，在上述各实施例的基础上，所述分别以所述功能间的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片，包括：
将以当前拍摄点位为中心对所述功能间进行拍摄得到的深度图像所对应的点云图像与之前已进行拍摄的拍摄点位的深度图像所对应的点云图像进行拼接融合，若拼接融合后的点云图像覆盖了所述功能间的每一角落，则基于所述当前拍摄点位的深度图像和所述之前已进行拍摄的拍摄点位的深度图像得到该功能间的深度图像；
若拼接融合后的点云图像没有覆盖到所述功能间的每一角落，则以当前拍摄点位为中心进行补拍或者重新选定拍摄点位再次进行拍摄直到得到覆盖了所述功能间的每一角落的点云图像，并基于所有已进行拍摄的拍摄点位的深度图像得到该功能间的深度图像。
进一步地，在上述各实施例的基础上，所述分别以所述功能间的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片，还包括：
以每一个已拍摄深度图像的拍摄点位为中心，对所述功能间进行拍照，以得到所述功能间的对应于每一个已拍摄深度图像的拍摄点位的照片。
本实施例提供了一种对房屋进行数据采集和模型生成的方法，在拍摄过程中，拍摄者可以实时根据拍摄的点云图像判断是否需要对拍摄点位进行调整，或者是否需要补拍，为后续能够通过房间完整的信息建立模型提供了基础。
进一步地，在上述各实施例的基础上，所述若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像，包括：
若所述请求信息为显示所述预设房屋的虚拟3D模型，则将所述预设房屋的虚拟3D模型发送到所述请求信息对应的终端；
若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端。
需要说明的是，用户可以通过终端向服务器发送显示预设房屋的虚拟3D模型还是显示某一功能间的全景图像的请求信息。服务器接收到请求信息后，根据请求信息向终 端发送相应的图像，以提供满足用户需求的图像。
例如，当用户在屏幕上点击显示预设房屋的虚拟3D模型的操作按键时，终端向服务器发送显示所述预设房屋的虚拟3D模型的请求信息，服务器接收到请求信息后，将预设房屋的虚拟3D模型发送到该终端，以向用户展示该房屋的结构。当用户在屏幕上点击选取该房屋的某一功能间时，则直接将该功能间默认视角下的图像发送到终端，后续用户可以对所显示的默认视角下的该功能间的图像进行调节。
本实施例提供了一种对房屋进行数据采集和模型生成的方法，可以对应于不同的用户请求信息显示相应的内容，以提供满足用户需要的房屋信息。
进一步地，在上述各实施例的基础上，所述若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，还包括：
若接收到改变当前显示的视角的信息，则获取改变后的目标视角，将对应于所述目标视角下的全景图像发送到所述终端；
其中，改变当前显示的视角的信息包括对当前显示的视角进行移动调整或者缩放调整；所述移动调整通过在所述终端左右滑动屏幕实现，所述缩放调整通过在所述终端进行缩放操作实现。
在展示某一功能间的过程中，用户可以通过滑动屏幕或者对屏幕进行缩放操作查看功能间不同位置的图像。
本实施例提供了一种对房屋进行数据采集和模型生成的方法，用户可以通过对终端的操作对房屋的不同位置进行详细的了解。
进一步地，在上述各实施例的基础上，所述至少一个功能间包括多个功能间，并且，所述若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，还包括：
若接收到跳转到另一功能间的信息，则将预先设定的另一功能间对应的默认视角下的全景图像发送到所述终端。
可理解的是，用户在查看预设房屋的全景图像时，可以从一个功能间跳转到另一个功能间，查看其想要了解的任一功能间的内部详尽信息。
本实施例提供了一种对房屋进行数据采集和模型生成的方法，用户可以通过终端进行功能间的切换或者在观看某一功能间的全景图时进行视角范围的切换。
作为具体的示例性实施例，提供了一种示例性方法(本示例性实施例提供的示例 性方法例如适合于室内拍摄的深度精度在6米左右的情形)，包括：
(1)用带有深度相机和普通彩色相机的硬件设备进行拍摄，每次拍摄可以同时拍摄360度的深度图像(信息)，以及对应位置的彩色照片。
(2)在拍摄过程中，拍摄人员可以通过手持的移动设备接收到拍摄的数据。
(3)可以将已经拍摄出的深度图像所对应的点云图像，自动和已有的点云图像进行拼接融合，或者，可以由拍摄人员手动将已经拍摄出的深度图像所对应的点云图像和已有的点云图像进行拼接融合。
(4)拍摄人员可以根据需要在室内的多个拍摄点位上进行拍摄，并可以在手持设备或进行拍摄的硬件设备的屏幕上看到已拍摄的点云图像的覆盖。
(5)拍摄完成后，后台系统接收到数据，并对数据进行优化处理，以生成房屋的虚拟三维模型，并利用在每个拍摄点位拍摄的普通彩色照生成对应于每个拍摄点位的全景图像。
(6)展示的时候，用户可以选择房屋的虚拟三维模型从整体上查看房屋情况，如果对细节感兴趣，也可以选择查看对应于某个具体拍摄点位的全景图像。
本实施例提供的方法既能充分展示房屋的三维结构，又能有效解决近景情况下房屋三维模型精细度不够的问题。
根据本公开的另一实施例，分别以功能间中的多个拍摄点位为中心对功能间进行拍摄、以得到该功能间的深度图像和照片，可以包括：基于之前已进行拍摄的拍摄点位预测下一拍摄点位，并且以所预测的下一拍摄点位为中心对功能间进行拍摄，以得到相应的深度图像和照片。
为了更好地生成房屋的虚拟3D模型，在对于房屋进行数据采集的过程中，有可能需要在多个拍摄点位上进行数据采集。对于拍摄点位的选择，通常需要依赖于拍摄者的个人经验来进行。由此，可能会由于拍摄点位选择不当而造成采集的数据不完整，从而影响房屋的虚拟3D模型的生成质量，或者由于多次选择拍摄点位而导致数据采集的效率低下。
根据本公开的实施例，通过基于之前已进行拍摄的拍摄点位预测下一拍摄点位，并且以所预测的下一拍摄点位为中心对功能间进行拍摄，能够提高数据采集的完整性和/或数据采集的效率。
图4是根据本公开另一个实施例的基于之前已进行拍摄的拍摄点位预测下一拍摄点位的示例性方法的流程示意图。
如图4所示，基于之前已进行拍摄的拍摄点位预测下一拍摄点位例如可以包括如下步骤。
在步骤401中，从至少一个之前已进行拍摄的拍摄点位中选取拍摄点位。
之前已进行拍摄的拍摄点位的数目可能是一个或多个。在该步骤中，从一个或多个之前已进行拍摄的拍摄点位中选取拍摄点位。
根据一个示例性的实施例，所选取的拍摄点位可以为至少一个之前已进行拍摄的拍摄点位中最新进行拍摄的拍摄点位。通过优先考虑最新进行拍摄的拍摄点位，有助于保持数据采集的连贯性，提高采集效率。当然，所选取的拍摄点位也可以是之前已进行拍摄的任意拍摄点位。
在步骤402中，基于至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，重新生成所选取的拍摄点位的深度图像。
更具体而言，可以通过对至少一个之前已进行拍摄的拍摄点位中每一个拍摄点位的深度图像所对应的点云图像进行拼接融合，而得到至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，并基于该点云图像，重新生成所选取的拍摄点位的深度图像。
例如，假设存在三个之前已进行拍摄的拍摄点位A、B、C。拍摄点位A的深度图像A1所对应的点云图像为A2。拍摄点位B的深度图像B1所对应的点云图像为B2。拍摄点位C的深度图像C1所对应的点云图像为C2。那么，通过对于点云图像A2，B2和C2进行拼接融合，就能够得到这三个之前已进行拍摄的拍摄点位的深度图像A1、B1、C1所对应的点云图像N。换言之，通过进行拼接融合而得到的点云图像N可以包括深度图像A1、B1、C1中的每一个所包含的深度信息。进一步假设从这三个之前已进行拍摄的拍摄点位A、B、C中选取了拍摄点位C，那么，可以基于这三个之前已进行拍摄的拍摄点位A、B、C的深度图像A1、B1、C1所对应的点云图像N，重新生成拍摄点位C的深度图像C12。
尽管对于所选取的拍摄点位而言，存在通过在该拍摄点位上进行拍摄而得到的该拍摄点位的原始深度图像，但由于某些因素，比如拍摄设备的影响、环境光的干扰等，有可能造成所得到的原始深度图像中的数据缺失。通过基于至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像来重新生成所选取的拍摄点位的深度图像，可以利用之前已进行拍摄的其它拍摄点位的数据对于原始深度图像中的数据进行补充。
仍以上文描述的拍摄点位A、B、C为例。所选取的拍摄点位C的原始深度图像C1 可能由于某些因素而缺失数据，比如缺失功能间中某些位置的深度信息。例如，由于拍摄设备的视角的限制，有可能在拍摄设备的正上方或正下方的位置没有深度信息。由于基于三个之前已进行拍摄的拍摄点位A、B、C的深度图像A1、B1、C1所对应的点云图像N来重新生成拍摄点位C的深度图像C12，那么可以利用拍摄点位A和B的数据对于所选取的拍摄点位C的原始深度图像C1中的数据进行补充，从而有可能使重新生成的深度图像C12中包含更多的深度信息，这有利于进行后续数据分析以预测下一拍摄点位。
在步骤403中，确定所选取的拍摄点位的重新生成的深度图像中是否存在满足预定条件的空洞。
即使有可能利用之前已进行拍摄的其它拍摄点位的数据对于所选取的拍摄点位的原始深度图像中的数据进行补充而重新生成所选取的拍摄点位的深度图像，但在重新生成的深度图像中，仍然有可能存在不包含任何深度信息的一个或多个空洞，这可能是由于某些因素导致的，比如拍摄设备的视角、拍摄设备的有效拍摄距离、光照条件等等。在步骤403中，确定所选取的拍摄点位的重新生成的深度图像中是否存在满足预定条件的空洞。例如，可以首先确定所选取的拍摄点位的重新生成的深度图像中是否存在空洞，并进一步确定所存在的空洞是否满足预定条件。
对于深度图像而言，其可以通过二维像素矩阵的方式来表示。该像素矩阵中的每个矩阵元素(像素点)的值表示相应的深度值，即，该矩阵元素(像素点)在三维空间中距拍摄点位的距离。可以通过确定深度图像的像素矩阵中深度值为0且在位置上相邻的矩阵元素(像素点)的集合，来得到该深度图像中的空洞。对于某一深度图像而言，有可能不存在任何空洞，也有可能存在一个或多个空洞。可以通过各种方式来得到深度图像中存在的空洞。根据一个示例性实施例，可以通过采用广度优先搜索或者深度优先搜索，来得到重新生成的深度图像中的空洞。
根据一个示例性的实施例，上述步骤中的预定条件可以包括：空洞的面积大于预定的面积阈值；和/或空洞的边缘上距所选取的拍摄点位最近的像素点处于距所选取的拍摄点位预定的阈值距离范围内。例如，对于所选取的拍摄点位的重新生成的深度图像中所存在的空洞，如果该空洞的面积大于预定的面积阈值，和/或该空洞的边缘上距所选取的拍摄点位最近的像素点处于距所选取的拍摄点位预定的阈值距离范围内，则将该空洞确定为满足预定条件的空洞。
空洞的面积可以用在深度图像的像素矩阵中该空洞所包含的像素点的数目来表示。空洞的边缘可以由深度图像的像素矩阵中与该空洞邻接的深度值不为0的像素点构成。
可以基于多种因素来确定空洞的面积阈值，比如拍摄设备的有效拍摄距离、拍摄设备的视角、拍摄设备的拍摄机制、光照条件等。例如，假设深度图像为1600×800，则可以将面积阈值选择为10000，即10000个像素点，并确定空洞的面积是否大于该面积阈值。应当注意的是，上述面积阈值仅仅是示例性的而非限制性的。可以根据需要来确定合适的面积阈值。
关于空洞的边缘上距所选取的拍摄点位最近的像素点距所选取的拍摄点位的阈值距离范围，也可以基于多种因素来确定，比如拍摄设备的有效拍摄距离、拍摄设备的视角等。例如，假设拍摄设备的有效拍摄距离为20厘米至6米，则可以将阈值距离范围确定为3米至6米，并确定空洞的边缘上距所选取的拍摄点位最近的像素点是否处于距所选取的拍摄点位3米至6米的范围内。应当注意的是，上述阈值距离范围仅仅是示例性的而非限制性的。可以根据需要来确定合适的阈值距离范围。
在步骤404中，如果存在满足预定条件的空洞，则从该空洞的边缘上选取像素点，并基于所选取的像素点的位置以及所选取的拍摄点位的位置得到下一拍摄点位所在的位置范围。
在这一步骤中，如果确定重新生成的深度图像中存在满足预定条件的空洞，则可以则从该空洞的边缘上选取像素点，并基于所选取的像素点的位置以及所选取的拍摄点位的位置，来得到下一拍摄点位所在的位置范围，从而使拍摄者可以在该位置范围内选择下一拍摄点位。如下文将会描述的，可以通过多种方式来得到下一拍摄点位所在的位置范围。
根据一个示例性的实施例，如果重新生成的深度图像中存在满足预定条件的多个空洞，则从每一空洞的边缘上选取像素点，并且基于所选取的像素点的位置以及所选取的拍摄点位的位置，可以得到下一拍摄点位所在的多个位置范围。在这种情况下，拍摄者可以根据需要从这多个位置范围中选择一个位置范围，并在所选择的位置范围内进一步选择下一拍摄点位。
根据一个示例性的实施例，从空洞的边缘上选取的像素点可以是空洞的边缘上距所选取的拍摄点位最近的像素点。空洞的边缘上距所选取的拍摄点位最近的像素点，一般是空洞的边缘上所有的像素点中，深度值最小的像素点。当然，也可以选择空洞的边缘上的其它像素点。例如，可以根据需要从满足预定条件的空洞的边缘上的所有像素点中选取像素点，以用于确定下一拍摄点位所在的位置范围。
确定所选取的拍摄点位的重新生成的深度图像中的空洞是否满足预定条件并基于 满足预定条件的空洞而得到下一拍摄点位所在的位置范围，可以有助于提高数据处理的效率和/或改善数据分析的精确性。例如，通过对于面积大于预定的面积阈值的空洞进行处理而不处理面积过小的空洞，可以减少运算量以提高数据处理的效率。而通过对于其边缘上距所选取的拍摄点位最近的像素点处于预定的阈值距离范围内的空洞进行处理，可能有助于改善数据分析的准确性。例如，由于拍摄设备的有效拍摄距离，可能导致距所选取的拍摄点位相对较远的距离处存在空洞。而在某些情况下，由于房屋本身的结构原因、比如距所选取的拍摄点位比较近的距离范围内存在阳台，可能导致在该距离范围内存在大面积的空洞。这种距所选取的拍摄点位过远或过近的空洞，可能会对于进行准确的数据分析以得到下一拍摄点位的合理位置范围造成干扰。因此，通过设置距所选取的拍摄点位的阈值距离范围、并对于其边缘上距所选取的拍摄点位最近的像素点处于该阈值距离范围内的空洞进行处理，可以改善数据分析的准确性。
如上所述，在基于之前已进行拍摄的拍摄点位预测下一拍摄点位的过程中，可以基于至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，重新生成所选取的拍摄点位的深度图像。可以根据需要通过多种方式来重新生成该深度图像。
根据一个示例性实施例，基于至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，重新生成所选取的拍摄点位的深度图像，可以包括：从至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像中得到对应于所选取的拍摄点位的点云图像，并且从对应于所选取的拍摄点位的点云图像重新生成所选取的拍摄点位的深度图像。
仍以上文描述的之前已进行拍摄的拍摄点位A、B、C为例。假设存在三个之前已进行拍摄的拍摄点位A、B、C。拍摄点位A的深度图像A1所对应的点云图像为A2。拍摄点位B的深度图像B1所对应的点云图像为B2。拍摄点位C的深度图像C1所对应的点云图像为C2。那么，通过对于点云图像A2，B2和C2进行拼接融合，就能够得到这三个之前已进行拍摄的拍摄点位的深度图像A1、B1、C1所对应的点云图像N。进一步假设从这三个之前已进行拍摄的拍摄点位A、B、C中选取了拍摄点位C，那么，可以从这三个之前已进行拍摄的拍摄点位A、B、C的深度图像A1、B1、C1所对应的点云图像N中得到对应于所选取的拍摄点位C的点云图像C22，并且从对应于所选取的拍摄点位C的点云图像C22重新生成所选取的拍摄点位C的深度图像C12。
可以采用多种方式从点云图像中得到对应于所选取的拍摄点位的点云图像。根据一个示例性的实施例，从至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云 图像中得到对应于所选取的拍摄点位的点云图像，可以包括：从至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像的所有点中挑选出满足预设条件的点的集合作为对应于所选取的拍摄点位的点云图像。
该预设条件例如可以是与距离相关联的条件。根据一个示例性的实施例，该预设条件可以是至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像中的点距所选取的拍摄点位小于预定距离。例如，可以遍历至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像的所有点，并将该点云图像的所有点中距所选取的拍摄点位小于预定距离的点所组成的集合作为对应于所选取的拍摄点位的点云图像。该预定距离例如可以是拍摄设备的有效拍摄距离或者小于该有效拍摄距离的某一距离。考虑到房屋的具体结构等因素，可以根据需要来确定该预定距离的具体数值。根据另一个示例性的实施例，该预设条件可以是至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像中的点位于以所选取的拍摄点位为中心、以预定长度为边长的正多面体的内部。
仍以上文描述的之前已进行拍摄的拍摄点位A、B、C为例。可以遍历拍摄点位A、B、C的深度图像A1、B1、C1所对应的点云图像N的所有点，并将点云图像N的所有点中距所选取的拍摄点位C小于预定距离的点所组成的集合作为对应于所选取的拍摄点位C的点云图像C22。
可以采用多种方式从对应于所选取的拍摄点位的点云图像重新生成所选取的拍摄点位的深度图像。例如，可以将对应于所选取的拍摄点位的点云图像中的每一个点映射到对应于所选取的拍摄点位的深度图像的像素矩阵中。
图5是示意性地示出如何基于点云图像生成深度图像的原理的空间坐标示意图。
如图5所示，由x轴、y轴和z轴所构成的直角坐标系的原点O是所选取的拍摄点位所在的位置。M是对应于所选取的拍摄点位的点云图像中的某一点，其在该直角坐标系中的三维坐标为(x',y',z')。
为了将点M映射到对应于所选取的拍摄点位的深度图像的像素矩阵中，首先计算如图5中所示的夹角φ(角度范围为-π/2至π/2)和θ(角度范围为0至2π)。其中，φ为点M和原点O的连线与x-z平面所呈的夹角，θ为点M在x-z平面上的投影点M’和原点O的连线与x轴所呈的夹角。
假设深度图像长为W个像素点，高为H个像素点，则可以通过如下方式计算点M在深度图像的像素矩阵中的坐标位置(p,q)。
p＝(W*θ)/2π
q＝(H*(φ+π/2))/π
对于计算得到的p和q的值进行四舍五入取整。p的范围在[0,W-1]，q的范围在[0,H-1]。如果超过W-1或H-1，则忽略。换言之，将φ的角度范围-π/2至π/2映射到0至H，将θ的角度范围0至2π映射到0至W。已知点云图像中某点的φ和θ的值，即可以计算出该点在深度图像的像素矩阵中相应的坐标位置(p,q)。
点M在深度图像的像素矩阵中的坐标位置(p,q)处的深度值，可以通过计算点M和原点O之间的距离而得到。
应当注意的是，以上描述的从对应于所选取的拍摄点位的点云图像重新生成深度图像的方式仅仅是示意性地而非限制性的，也可以根据需要采用其它方式来得到深度图像。例如，可以利用PCL库的RangeImage模块从点云图像中获得深度图像。利用RangeImage，还可以从深度图像中获得每个像素对应的三维空间点坐标，进而获得点云图像。利用PCL库的ICP相关点云配准算法，可以进行点云图像的拼接。
如上所述，由于之前已进行拍摄的拍摄点位的深度图像所对应的点云图像有可能包括其它拍摄点位的数据，因此，从之前已进行拍摄的拍摄点位的深度图像所对应的点云图像中得到的对应于所选取的拍摄点位的点云图像，也有可能包括其它拍摄点位的数据，这可能导致在重新生成的深度图像的像素矩阵中，存在与同一像素点相对应的多个深度值，这些深度值来自不同的拍摄点位。
仍以图5所示的空间坐标示意图为例。假设在对应于所选取的拍摄点位的点云图像中包括了另一拍摄点位的数据，该数据导致在点M和原点O的连线沿着O-M方向的延长线上，存在另一个点。由于对应于该另一个点的夹角φ和θ的值与点M的相同，因此，在将该另一个点映射到深度图像的像素矩阵中时，该另一个点在深度图像的像素矩阵中的相应像素点的坐标位置(p,q)也与点M的相同。由此，存在与像素矩阵中的同一像素点相对应的多个深度值，这些深度值来自不同的拍摄点位。
与同一像素点相对应的多个深度值可能是由于除了所选取的拍摄点位之外的其它拍摄点位的冗余数据所导致的。为了减少或消除其它拍摄点位的冗余数据，根据一个示例性的实施例，在将对应于所选取的拍摄点位的点云图像中每一个点映射到对应于深度图像的像素矩阵中之后，如果存在与像素矩阵中的同一像素点相对应的多个深度值，则将多个深度值中的最小深度值作为该像素点的深度值。从空间遮挡关系的角度而言，距所选取的拍摄点位更近的点会遮挡住距该点位更远的点，因此，可以在深度图像的像素 矩阵中选择最小的深度值。
如上所述，如果存在满足预定条件的空洞，则可以从该空洞的边缘上选取像素点，并基于所选取的像素点的位置以及所选取的拍摄点位的位置得到下一拍摄点位所在的位置范围。
可以通过多种方式来得到下一拍摄点位所在的位置范围。根据一个示例性的实施例，基于所选取的像素点的位置以及所选取的拍摄点位的位置，得到下一拍摄点位所在的位置范围，可以包括：从所选取的像素点在对应于所选取的拍摄点位的点云图像中的三维坐标，得到所选取的像素点在功能间的地面所在的二维平面上的投影点的位置；以及，基于投影点的位置以及所选取的拍摄点位的位置，得到下一拍摄点位所在的位置范围。
仍以图5所示的空间坐标示意图为例。假设选取了空洞边缘上的像素点M，其在对应于所选取的拍摄点位的点云图像中的三维坐标为(x',y',z')。假设功能间的地面所在的二维平面为x-z平面，则可以从点M的三维坐标(x',y',z')得到该点M在功能间的地面所在的二维平面(x-z平面)上的投影点M’的位置，该位置可以用点M’在x-z平面中的二维坐标(x',z')来表示。
在得到空洞的边缘上所选取的像素点在功能间的地面所在的二维平面上的投影点的位置之后，可以通过多种方式来基于投影点的位置以及所选取的拍摄点位的位置得到下一拍摄点位所在的位置范围。
例如，一种简单的方式是可以将该投影点与所选取的拍摄点位的连线的中点，作为下一拍摄点位所在的位置范围。由于房屋的功能间中可能存在物体，比如衣柜、床、餐桌等，因此某些情况下，投影点与所选取的拍摄点位的连线的中点不一定是可以进行拍摄的点位，比如该中点恰好位于衣柜所在的位置。因此，根据一个示例性实施例，可以将该投影点与所选取的拍摄点位的连线上的某一线段所在的位置范围，作为下一拍摄点位所在的位置范围。根据另一示例性实施例，可以分别以所选取的拍摄点位和投影点为圆心、以预定的半径值在功能间的地面所在的二维平面上分别画圆，将两个圆相交的部分作为下一拍摄点位所在的位置范围。可以根据需要来确定预定的半径值。例如，可以将拍摄设备的有效拍摄距离的一半作为预定的半径值。根据又一示例性实施例，可以分别以所选取的拍摄点位和投影点为中心、以预定的尺寸在功能间的地面所在的二维平面上分别画出其它形状的图形，并将两个图形相交的部分作为下一拍摄点位所在的位置范围。通过确定下一拍摄点位所在的位置范围而非精确的位置，有可能在一定程度上改 善下一拍摄点位预测的合理性。
在某些情况下，在所选取的拍摄点位的重新生成的深度图像中可能不存在任何满足预定条件的空洞。在这样的情况下，可以从之前已进行拍摄的拍摄点位中再次选取拍摄点位，并对于该再次选取的拍摄点位执行如图4所示的步骤402、403和404。因此，根据本公开的一个示例性的实施例，基于之前已进行拍摄的拍摄点位预测下一拍摄点位还可以包括：如果不存在满足预定条件的空洞，则确定在至少一个之前已进行拍摄的拍摄点位中是否存在尚未选取的拍摄点位；以及，如果存在尚未选取的拍摄点位，则从至少一个之前已进行拍摄的拍摄点位中再次选取拍摄点位。因此，可以通过以上方式，对于所有之前已进行拍摄的拍摄点位进行遍历，直至遍历过的所有拍摄点位中，均不存在任何满足预定条件的空洞。对于之前已进行拍摄的拍摄点位进行的遍历，例如可以按照与拍摄的时间顺序相反的顺序来进行，即，从之前已进行拍摄的拍摄点位中最新进行拍摄的拍摄点位起直至最初进行拍摄的拍摄点位。
图6是根据本公开另一个实施例的对房屋进行数据采集和模型生成的装置的结构框图。参见图6，该对房屋进行数据采集和模型生成的装置包括获取模块601、创建模块602和执行模块603，其中，
获取模块601，用于获取对预设房屋的至少一个功能间中的每一功能间采集的深度图像和每一功能间的照片；
创建模块602，用于根据至少一个功能间的深度图像，创建预设房屋的虚拟3D模型，并根据至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；
执行模块603，用于若接收到显示预设房屋的请求信息，则根据请求信息发送预设房屋的虚拟3D模型或者发送与请求信息对应的目标功能间的全景图像。
本实施例提供的对房屋进行数据采集和模型生成的装置适用于上述实施例提供的对房屋进行数据采集和模型生成的方法，在此不再赘述。
本实施例提供了一种对房屋进行数据采集和模型生成的装置，该装置在建立房屋的虚拟模型时，不仅获取对房屋采集的深度图像，还获取房屋进行拍照的照片。利用深度图像创建房屋的虚拟三维模型，利用照片生成各个功能间的全景图像。当用户需要了解房屋的结构时，可以查看根据深度图像创建的虚拟三维模型，当用户需要了解功能间的具体细节时，可以通过查看该功能间的全景图像进行了解。由此，能够在展示房屋结构的同时，展示房屋各功能间的细节，帮助用对房屋进行全面的了解。
图7是根据本公开另一个实施例的电子设备的结构框图。
参照图7，所述电子设备包括：处理器(processor)701、存储器(memory)702、通信接口(Communications Interface)703和总线704。
处理器701、存储器702、通信接口703通过总线704完成相互间的通信。
通信接口703用于该电子设备和终端的通信设备之间的信息传输。
处理器701用于调用存储器702中的程序指令，以执行上述各方法实施例所提供的方法。所述方法例如包括：获取预设房屋的至少一个功能间中的每一功能间的深度图像和每一功能间的照片；根据至少一个功能间的深度图像，创建所述预设房屋的虚拟3D模型，并根据至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取预设房屋的至少一个功能间中的每一功能间的深度图像和每一功能间的照片；根据至少一个功能间的深度图像，创建所述预设房屋的虚拟3D模型，并根据至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：获取预设房屋的至少一个功能间中的每一功能间的深度图像和每一功能间的照片；根据至少一个功能间的深度图像，创建所述预设房屋的虚拟3D模型，并根据至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的 单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本公开的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本公开的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开的实施例各实施例技术方案的范围。
第一方面：一种对房屋进行数据采集和模型生成的方法，包括：获取对预设房屋的每一功能间采集的深度图像和对每一功能间拍照的照片；根据采集的对应于对各功能间的深度图像，创建所述预设房屋的3D模型，并根据对应于各功能间的照片生成该功能间的全景图像；若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
第二方面：根据第一方面所述的方法，其中，所述获取对预设房屋的每一功能间采集的深度图像和对每一功能间拍照的照片，包括：针对所述预设房屋的每一功能间，获取所述功能间的每一拍摄点位，以该拍摄点位为中心对所述功能间的各个角度拍摄的得到该功能间的深度图像和照片；其中，所述深度图像通过深度相机拍摄得到。
第三方面：根据第二方面所述的方法，其中，所述以该拍摄点位为中心对所述功能间的各个角度拍摄的得到该功能间的深度图像，包括：将以该拍摄点位为中心对所述功能间的各个角度拍摄的得到该功能间的点云图像进行拼接融合，若拼接融合后的点云图像覆盖了所述功能间的每一角落，则将该点云图像作为以该拍摄点位为中心对所述功能间的各个角度拍摄得到的该功能间的深度图像；若拼接融合后的点云图像没有覆盖到所述功能间的每一角落，则以该拍摄点位为中心进行补拍或者重新选定拍摄点位再次进 行拍摄直到得到覆盖了所述功能间的每一角落的点云图像，将该点云图像作为以该拍摄点位为中心对所述功能间的各个角度拍摄得到的该功能间的深度图像。
第四方面：根据第三方面所述的方法，其中，在该点云图像作为以该拍摄点位为中心对所述功能间的各个角度拍摄得到的该功能间的深度图像之后，还包括：在得到该点云图像的拍摄点位上，对所述功能间的各个角度拍照得到以该拍摄点位为中心对所述功能间的各个角度拍照的照片。
第五方面：根据第一方面所述的方法，其中，所述若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述3D模型或者发送与所述请求信息对应的目标功能间的全景图像，包括：若所述请求信息为显示所述预设房屋的3D模型，则将所述3D模型发送到所述请求信息对应的终端；若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端。
第六方面：根据第五方面所述的方法，其中，所述若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，还包括：若接收到改变当前显示的视角的信息，则获取改变后的目标视角，将对应于所述目标视角下的全景图像发送到所述终端；其中，改变当前显示的视角的信息包括对当前显示的视角进行移动调整或者缩放调整；所述移动调整通过在所述终端左右滑动屏幕实现，所述缩放调整通过在所述终端进行缩放操作实现。
第七方面：根据第六方面所述的方法，其中，所述若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，还包括：若接收到跳转到另一功能间的信息，则将预先设定的另一功能间对应的默认视角下的全景图像发送到所述终端。
第八方面：一种对房屋进行数据采集和模型生成的装置，其中，包括：获取模块，用于获取对预设房屋的每一功能间采集的深度图像和对每一功能间拍照的照片；创建模块，用于根据采集的对应于对各功能间的深度图像，创建所述预设房屋的3D模型，并根据对应于各功能间的照片生成该功能间的全景图像；执行模块，用于若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
第九方面：一种电子设备，包括至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于该电子设备和终端的通信设备之间的信息传输；所述存储器存储有可被所述 处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一至第七方面中任一方面所述的方法。
第十方面：一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一至第七方面中任一方面所述的方法。

Claims (17)

  1. 一种对房屋进行数据采集和模型生成的方法，包括：
    获取对预设房屋的至少一个功能间中的每一功能间采集的深度图像和每一功能间的照片；
    根据所述至少一个功能间的深度图像，创建所述预设房屋的虚拟3D模型，并根据所述至少一个功能间中的每一功能间的照片，生成该功能间的全景图像；
    若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像。
  2. 根据权利要求1所述的方法，其中，所述预设房屋的至少一个功能间中的每一功能间的深度图像和每一功能间的照片的采集，包括：
    针对每一功能间，分别以所述功能间中的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片。
  3. 根据权利要求2所述的方法，其中，所述分别以所述功能间中的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片，包括：
    将以当前拍摄点位为中心对所述功能间进行拍摄得到的深度图像所对应的点云图像与之前已进行拍摄的拍摄点位的深度图像所对应的点云图像进行拼接融合，若拼接融合后的点云图像覆盖了所述功能间的每一角落，则基于所述当前拍摄点位的深度图像和所述之前已进行拍摄的拍摄点位的深度图像得到该功能间的深度图像；
    若拼接融合后的点云图像没有覆盖到所述功能间的每一角落，则以所述当前拍摄点位为中心进行补拍或者重新选定拍摄点位再次进行拍摄直到得到覆盖了所述功能间的每一角落的点云图像，并基于所有已进行拍摄的拍摄点位的深度图像得到该功能间的深度图像。
  4. 根据权利要求3所述的方法，还包括：
    以每一个已拍摄深度图像的拍摄点位为中心，对所述功能间进行拍照，以得到所述功能间的对应于每一个已拍摄深度图像的拍摄点位的照片。
  5. 根据权利要求1所述的方法，其中，所述若接收到显示所述预设房屋的请求信息，则根据所述请求信息发送所述预设房屋的虚拟3D模型或者发送与所述请求信息对应的目标功能间的全景图像，包括：
    若所述请求信息为显示所述预设房屋的虚拟3D模型，则将所述预设房屋的虚拟3D模型发送到所述请求信息对应的终端；
    若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端。
  6. 根据权利要求5所述的方法，还包括：在若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，
    若接收到改变当前显示的视角的信息，则获取改变后的目标视角，将对应于所述目标视角下的全景图像发送到所述终端，
    其中，改变当前显示的视角的信息包括对当前显示的视角进行移动调整或者缩放调整，所述移动调整通过在所述终端左右滑动屏幕实现，所述缩放调整通过在所述终端进行缩放操作实现。
  7. 根据权利要求6所述的方法，其中，所述至少一个功能间包括多个功能间，所述方法还包括：在所述若所述请求信息为显示所述目标功能间的全景图像，则将预先设定的所述目标功能间对应的默认视角下的全景图像发送到所述终端之后，
    若接收到跳转到另一功能间的信息，则将预先设定的另一功能间对应的默认视角下的全景图像发送到所述终端。
  8. 根据权利要求2所述的方法，其中，所述分别以所述功能间中的多个拍摄点位为中心对所述功能间进行拍摄、以得到该功能间的深度图像和照片，包括：
    基于之前已进行拍摄的拍摄点位预测下一拍摄点位，并且以所预测的下一拍摄点位为中心对所述功能间进行拍摄，以得到相应的深度图像和照片。
  9. 根据权利要求8所述的方法，其中，基于之前已进行拍摄的拍摄点位预测下一拍摄点位包括：
    从至少一个之前已进行拍摄的拍摄点位中选取拍摄点位；
    基于所述至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，重新生成所选取的拍摄点位的深度图像；
    确定所选取的拍摄点位的重新生成的深度图像中是否存在满足预定条件的空洞；
    如果存在满足预定条件的空洞，则从所述空洞的边缘上选取像素点，并基于所选取的像素点的位置以及所选取的拍摄点位的位置得到下一拍摄点位所在的位置范围。
  10. 根据权利要求9所述的方法，其中，基于所述至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像，重新生成所选取的拍摄点位的深度图像，包括：
    从所述至少一个之前已进行拍摄的拍摄点位的深度图像所对应的点云图像中得到 对应于所选取的拍摄点位的点云图像，并且从所述对应于所选取的拍摄点位的点云图像重新生成所选取的拍摄点位的所述深度图像。
  11. 根据权利要求10所述的方法，其中，从所述对应于所选取的拍摄点位的点云图像重新生成所选取的拍摄点位的所述深度图像，包括：
    将所述对应于所选取的拍摄点位的点云图像中的每一个点映射到对应于所述深度图像的像素矩阵中；以及
    如果存在与所述像素矩阵中的同一像素点相对应的多个深度值，则将所述多个深度值中的最小深度值作为该像素点的深度值。
  12. 根据权利要求10所述的方法，其中，基于所选取的像素点的位置以及所选取的拍摄点位的位置得到下一拍摄点位所在的位置范围，包括：
    从所选取的像素点在所述对应于所选取的拍摄点位的点云图像中的三维坐标，得到所选取的像素点在所述功能间的地面所在的二维平面上的投影点的位置；以及
    基于所述投影点的位置以及所选取的拍摄点位的位置，得到下一拍摄点位所在的位置范围。
  13. 根据权利要求9所述的方法，其中，所述预定条件包括：
    所述空洞的面积大于预定的面积阈值；和/或
    所述空洞的边缘上距所选取的拍摄点位最近的像素点处于距所选取的拍摄点位预定的阈值距离范围内。
  14. 根据权利要求9所述的方法，其中，所选取的像素点是所述空洞的边缘上距所选取的拍摄点位最近的像素点。
  15. 根据权利要求9所述的方法，其中，所选取的拍摄点位为所述至少一个之前已进行拍摄的拍摄点位中最新进行拍摄的拍摄点位。
  16. 一种电子设备，包括：
    至少一个处理器、至少一个存储器、通信接口和总线；其中，
    所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
    所述通信接口用于该电子设备和终端的通信设备之间的信息传输；
    所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至15中任一项所述的方法。
  17. 一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至15中任一项所述的方法。
PCT/CN2019/090179 2018-06-06 2019-06-05 对房屋进行数据采集和模型生成的方法 WO2019233445A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020567557A JP6951595B2 (ja) 2018-06-06 2019-06-05 住宅のデータ収集およびモデル生成方法
AU2019281667A AU2019281667B2 (en) 2018-06-06 2019-06-05 Data collection and model generation method for house
US16/521,795 US10872467B2 (en) 2018-06-06 2019-07-25 Method for data collection and model generation of house

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810574715.6 2018-06-06
CN201810574715.6A CN109064545B (zh) 2018-06-06 2018-06-06 一种对房屋进行数据采集和模型生成的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/521,795 Continuation US10872467B2 (en) 2018-06-06 2019-07-25 Method for data collection and model generation of house

Publications (1)

Publication Number Publication Date
WO2019233445A1 true WO2019233445A1 (zh) 2019-12-12

Family

ID=64820434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/090179 WO2019233445A1 (zh) 2018-06-06 2019-06-05 对房屋进行数据采集和模型生成的方法

Country Status (4)

Country Link
JP (1) JP6951595B2 (zh)
CN (1) CN109064545B (zh)
AU (1) AU2019281667B2 (zh)
WO (1) WO2019233445A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674397A (zh) * 2021-04-23 2021-11-19 阿里巴巴新加坡控股有限公司 一种数据处理方法及装置
CN114494486A (zh) * 2021-12-30 2022-05-13 北京城市网邻信息技术有限公司 户型图生成方法、设备及存储介质
CN115713616A (zh) * 2022-11-18 2023-02-24 北京城市网邻信息技术有限公司 一种房源空间模型生成方法、装置、终端设备及存储介质
CN115830161A (zh) * 2022-11-21 2023-03-21 北京城市网邻信息技术有限公司 户型图生成方法、装置、设备和存储介质
CN115861039A (zh) * 2022-11-21 2023-03-28 北京城市网邻信息技术有限公司 信息展示方法、装置、设备及介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064545B (zh) * 2018-06-06 2020-07-07 贝壳找房(北京)科技有限公司 一种对房屋进行数据采集和模型生成的方法及装置
US10872467B2 (en) 2018-06-06 2020-12-22 Ke.Com (Beijing) Technology Co., Ltd. Method for data collection and model generation of house
CN109872076A (zh) * 2019-03-06 2019-06-11 华北水利水电大学 一种基于移动交互的企业项目管理系统
CN110097539B (zh) * 2019-04-19 2020-09-11 贝壳找房(北京)科技有限公司 一种在虚拟三维模型中截取图片的方法及装置
CN110162236B (zh) * 2019-04-28 2020-12-29 深圳市思为软件技术有限公司 虚拟样板间的展示方法、装置及计算机设备
CN111125807A (zh) * 2019-11-06 2020-05-08 贝壳技术有限公司 一种装修三维模型渲染展示方法及系统
CN111445518B (zh) * 2020-03-25 2023-04-18 如你所视(北京)科技有限公司 图像转换方法和装置、深度图预测方法和装置
CN111028347B (zh) * 2019-12-24 2021-06-22 贝壳找房(北京)科技有限公司 用于重建物理工作空间的三维模型的方法和系统
CN111246109A (zh) * 2020-02-06 2020-06-05 贝壳技术有限公司 自动截图方法和系统
CN113947676B (zh) * 2021-09-30 2022-11-04 北京五八信息技术有限公司 一种信息处理方法、装置、电子设备及存储介质
CN114554176A (zh) * 2022-01-24 2022-05-27 北京有竹居网络技术有限公司 深度相机
CN117537735B (zh) * 2023-10-20 2024-04-30 中国中建设计研究院有限公司 一种测量方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9204121B1 (en) * 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
CN106600711A (zh) * 2016-12-09 2017-04-26 湖南拓视觉信息技术有限公司 一种虚拟装修的方法、装置和虚拟装修系统
CN106846485A (zh) * 2016-12-30 2017-06-13 Tcl集团股份有限公司 一种室内三维建模方法及装置
CN109064545A (zh) * 2018-06-06 2018-12-21 链家网（北京）科技有限公司 一种对房屋进行数据采集和模型生成的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117621B2 (en) * 1994-07-01 2006-10-10 Cherng Chang Three dimensional framed display and frame calendar
US9020275B2 (en) * 2010-07-30 2015-04-28 Shibaura Institute Of Technology Other viewpoint closed surface image pixel value correction device, method of correcting other viewpoint closed surface image pixel value, user position information output device, method of outputting user position information
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP6181373B2 (ja) * 2013-01-18 2017-08-16 東芝メディカルシステムズ株式会社 医用情報処理装置及びプログラム
CN103530799B (zh) * 2013-10-22 2017-07-11 惠州Tcl移动通信有限公司 根据3d图库实现掌上看房的浏览方法及3d看房系统
JP6821326B2 (ja) * 2016-05-12 2021-01-27 キヤノン株式会社 情報処理装置、計測システム、情報処理方法およびプログラム
CN106296783B (zh) * 2016-07-28 2019-01-11 众趣（北京）科技有限公司 一种结合空间全局3d视图和全景图片的空间展示方法
JP2018085571A (ja) * 2016-11-21 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN107465906B (zh) * 2017-08-09 2019-07-19 Oppo广东移动通信有限公司 场景的全景拍摄方法、装置及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9204121B1 (en) * 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
CN106600711A (zh) * 2016-12-09 2017-04-26 湖南拓视觉信息技术有限公司 一种虚拟装修的方法、装置和虚拟装修系统
CN106846485A (zh) * 2016-12-30 2017-06-13 Tcl集团股份有限公司 一种室内三维建模方法及装置
CN109064545A (zh) * 2018-06-06 2018-12-21 链家网（北京）科技有限公司 一种对房屋进行数据采集和模型生成的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674397A (zh) * 2021-04-23 2021-11-19 阿里巴巴新加坡控股有限公司 一种数据处理方法及装置
CN114494486A (zh) * 2021-12-30 2022-05-13 北京城市网邻信息技术有限公司 户型图生成方法、设备及存储介质
CN114494486B (zh) * 2021-12-30 2022-09-06 北京城市网邻信息技术有限公司 户型图生成方法、设备及存储介质
CN115713616A (zh) * 2022-11-18 2023-02-24 北京城市网邻信息技术有限公司 一种房源空间模型生成方法、装置、终端设备及存储介质
CN115713616B (zh) * 2022-11-18 2023-10-31 北京城市网邻信息技术有限公司 一种房源空间模型生成方法、装置、终端设备及存储介质
CN115830161A (zh) * 2022-11-21 2023-03-21 北京城市网邻信息技术有限公司 户型图生成方法、装置、设备和存储介质
CN115861039A (zh) * 2022-11-21 2023-03-28 北京城市网邻信息技术有限公司 信息展示方法、装置、设备及介质
CN115830161B (zh) * 2022-11-21 2023-10-31 北京城市网邻信息技术有限公司 户型图生成方法、装置、设备和存储介质

Also Published As

Publication number Publication date
AU2019281667A1 (en) 2020-12-17
CN109064545A (zh) 2018-12-21
JP6951595B2 (ja) 2021-10-20
JP2021520584A (ja) 2021-08-19
AU2019281667B2 (en) 2021-10-14
CN109064545B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
WO2019233445A1 (zh) 对房屋进行数据采集和模型生成的方法
US10872467B2 (en) Method for data collection and model generation of house
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
KR101364874B1 (ko) 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법 및 관련 장치
KR101566543B1 (ko) 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
US8803992B2 (en) Augmented reality navigation for repeat photography and difference extraction
CN110458897B (zh) 多摄像头自动标定方法及系统、监控方法及系统
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
GB2588030A (en) Method for reconstructing three-dimensional space scene on basis of photography
JP5093053B2 (ja) 電子カメラ
JP6353175B1 (ja) 視覚特徴を使用した画像の自動結合
Fangi et al. Improving spherical photogrammetry using 360 omni-cameras: Use cases and new applications
JP2016537901A (ja) ライトフィールド処理方法
CN110428501B (zh) 全景影像生成方法、装置、电子设备及可读存储介质
CN110874818A (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
WO2021035891A1 (zh) 基于增强现实技术的投影方法及投影设备
CN108286945A (zh) 基于视觉反馈的三维扫描系统和方法
CN109102566A (zh) 一种变电站的室内外实景重建方法及其装置
US20180204387A1 (en) Image generation device, image generation system, and image generation method
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
CN108668108A (zh) 一种视频监控的方法、装置及电子设备
CN113298928A (zh) 房屋三维重建方法、装置、设备和存储介质
US10354399B2 (en) Multi-view back-projection to a light-field
CN110191284B (zh) 对房屋进行数据采集的方法、装置、电子设备和存储介质
CN110880161A (zh) 一种多主机多深度摄像头的深度图像拼接融合方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19814372

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567557

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019281667

Country of ref document: AU

Date of ref document: 20190605

Kind code of ref document: A

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 19/03/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19814372

Country of ref document: EP

Kind code of ref document: A1