WO2023223518A1 - 三次元再構成装置、三次元再構成方法及びプログラム - Google Patents

三次元再構成装置、三次元再構成方法及びプログラム Download PDF

Info

Publication number
WO2023223518A1
WO2023223518A1 PCT/JP2022/020886 JP2022020886W WO2023223518A1 WO 2023223518 A1 WO2023223518 A1 WO 2023223518A1 JP 2022020886 W JP2022020886 W JP 2022020886W WO 2023223518 A1 WO2023223518 A1 WO 2023223518A1
Authority
WO
WIPO (PCT)
Prior art keywords
plan
view
dimensional reconstruction
unit
intersection
Prior art date
Application number
PCT/JP2022/020886
Other languages
English (en)
French (fr)
Inventor
みずき 田端
潤一郎 玉松
亮 田中
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/020886 priority Critical patent/WO2023223518A1/ja
Publication of WO2023223518A1 publication Critical patent/WO2023223518A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings

Definitions

  • the present disclosure relates to a three-dimensional reconstruction device, a three-dimensional reconstruction method, and a program.
  • FIG. 12A shows an example of a drawing of the interior of a structure based on the Manhattan World hypothesis
  • FIG. 12B shows an example of a drawing of the interior of a structure not based on the Manhattan World hypothesis.
  • An object of the present disclosure made in view of such circumstances, is to provide a technique for accurately performing three-dimensional reconstruction of an image inside a structure without assuming an orthogonal system.
  • a three-dimensional reconstruction device includes a panoramic image acquisition unit that acquires a panoramic image of the inside of a target structure, a drawing of the interior of the structure, and a ceiling height of the structure. a drawing information acquisition unit, a plan view creation unit that creates a plan view of the interior of the structure based on the panoramic image and the ceiling height, and aligns the created plan view with the drawing. and a three-dimensional coordinate calculation unit that performs three-dimensional reconstruction of the structure based on the determined coordinate values of the plan view.
  • a three-dimensional reconstruction method is a three-dimensional reconstruction method executed by a three-dimensional reconstruction device, and includes a panoramic image acquisition step of obtaining a panoramic image of the inside of a target structure; a drawing information acquisition step of acquiring a drawing of the interior of the structure and a ceiling height of the structure; and a plan view of creating a plan view of the interior of the structure based on the panoramic image and the ceiling height. a registration step of aligning the created plan view with the drawing and determining coordinate values of the plan view; and a registration step of aligning the created plan view with the drawing and determining coordinate values of the plan view; and a three-dimensional coordinate calculation step of performing three-dimensional reconstruction.
  • the program according to the present disclosure causes a computer to function as a three-dimensional reconstruction device according to the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a configuration of a three-dimensional reconstruction device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a panoramic image acquired by a panoramic image acquisition unit.
  • FIG. 3 is a diagram illustrating an example of a drawing inside a structure to be acquired by a drawing information acquisition unit.
  • FIG. 3 is a diagram showing a simplified example for explanation in which coordinate axes are attached to a panoramic image.
  • FIG. 2 is a cross-sectional view of a structure showing a camera that takes a panoramic image installed inside the structure. It is a figure which shows an example of the top view comprised by the point cloud acquired by the plan view creation part.
  • 1 is a flowchart illustrating an example of the operation of a three-dimensional reconstruction device according to an embodiment of the present disclosure.
  • 1 is a flowchart illustrating an example of the operation of a three-dimensional reconstruction device according to an embodiment of the present disclosure. It is a flowchart which shows an example of operation of the three-dimensional reconstruction device concerning the 1st modification of this indication. It is a flowchart which shows an example of operation of the three-dimensional reconstruction device concerning the 1st modification of this indication.
  • FIG. 3 is a diagram showing an example of a drawing of the interior of a structure based on the Manhattan World hypothesis.
  • FIG. 3 is a diagram showing an example of a drawing of the interior of a structure that is not based on the Manhattan World hypothesis.
  • the three-dimensional reconstruction device 10 is a computer such as a server belonging to a cloud computing system or other computing system.
  • the three-dimensional reconstruction device 10 includes a control section 11, a storage section 12, a communication section 13, an input section 14, and an output section 15.
  • the storage unit 12 includes one or more memories, and may include, for example, semiconductor memory, magnetic memory, optical memory, etc. Each memory included in the storage unit 12 may function as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 12 stores arbitrary information used for the operation of the three-dimensional reconstruction device 10. The storage unit 12 does not necessarily need to be provided inside the three-dimensional reconstruction device 10, and may be provided outside the three-dimensional reconstruction device 10.
  • the communication unit 13 includes at least one communication interface.
  • the communication interface is, for example, a LAN interface.
  • the communication unit 13 receives information used for the operation of the three-dimensional reconstruction device 10 and transmits information obtained by the operation of the three-dimensional reconstruction device 10.
  • the communication unit 13 enables the three-dimensional reconstruction device 10 to send and receive information to and from other devices via the network.
  • the network includes the Internet, at least one WAN (Wide Area Network), at least one MAN (Metropolitan Area Network), or a combination thereof.
  • the network may include at least one wireless network, at least one optical network, or a combination thereof.
  • the wireless network is, for example, an ad hoc network, a cellular network, a wireless LAN (Local Area Network), a satellite communication network, or a terrestrial microwave network.
  • the input unit 14 includes at least one input interface.
  • the input interface is, for example, a physical key, a capacitive key, a pointing device, a touch screen integrated with the display, or a microphone.
  • the input unit 14 receives an operation for inputting information used for the operation of the three-dimensional reconstruction device 10.
  • the input unit 14 may be connected to the three-dimensional reconstruction apparatus 10 as an external input device instead of being included in the three-dimensional reconstruction apparatus 10.
  • any method such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), or Bluetooth (registered trademark) can be used.
  • the output unit 15 includes at least one output interface.
  • the output interface is, for example, a display or a speaker.
  • the display is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
  • the output unit 15 may include a device such as VR goggles that can be worn by the user.
  • the output unit 15 outputs information obtained by the operation of the three-dimensional reconstruction device 10.
  • the output unit 15 may be connected to the three-dimensional reconstruction device 10 as an external output device instead of being included in the three-dimensional reconstruction device 10.
  • any method such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.
  • the control unit 11 is realized by a control calculation circuit (controller).
  • the control calculation circuit may be composed of dedicated hardware such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array), or may be composed of a processor, or may be composed of both. may be done.
  • the control unit 11 executes processing related to the operation of the three-dimensional reconstruction apparatus 10 while controlling each part of the three-dimensional reconstruction apparatus 10.
  • the control unit 11 can transmit and receive information to and from an external device via the communication unit 13 and the network.
  • the control unit 11 includes a panoramic image acquisition unit 111, a drawing information acquisition unit 112, a plan view creation unit 113, a first straight line detection unit 114, a second straight line detection unit 115, a registration unit 116, and a three-dimensional A coordinate calculation unit 117 is provided.
  • the panoramic image acquisition unit 111 acquires a panoramic image I photographing the inside of the target structure S.
  • FIG. 2 shows an example of a panoramic image I acquired by the panoramic image acquisition unit 111.
  • the panoramic image I is a panoramic image I that captures the inside of the structure S at an angle of -90° to +90° vertically in the vertical direction and from 0° to 360° horizontally in the horizontal direction. This is an image obtained by shooting at an angle.
  • region A shows the ceiling inside the structure S
  • region B shows the wall surface
  • region C shows the floor surface.
  • the panoramic image I includes a first boundary line LC, which is a boundary line between a wall surface and a ceiling, and a second boundary line LF, which is a boundary line between a wall surface and a floor surface, which have been detected in advance.
  • a boundary line LC and a boundary line LF are indicated by solid lines. Detection of the boundary line LC and boundary line LF may be performed using any image processing technique such as deep learning.
  • the panoramic image acquisition unit 111 may directly acquire the panoramic image I from an external device such as a terminal device equipped with a camera via the communication unit 13, or may acquire the panoramic image I input by the user via the input unit 14. may be obtained directly.
  • the panoramic image acquisition unit 111 may acquire the panoramic image I by reading out the panoramic image I stored in the storage unit 12 in advance.
  • the panoramic image acquisition unit 111 outputs the acquired panoramic image I to the plan view creation unit 113.
  • the drawing information acquisition unit 112 acquires drawing information indicating a drawing D inside the target structure S and ceiling height information indicating the ceiling height of the target structure S.
  • drawing D is a completed plan view of the target structure S.
  • FIG. 3 shows an example of a drawing D of a target structure S acquired by the drawing information acquisition unit 112.
  • the drawing information is information including coordinate values of a point group representing the drawing D.
  • the drawing information acquisition unit 112 may analyze the image representing the drawing D input by the user through the input unit 14 using any image processing technique, and may acquire drawing information and ceiling height information.
  • the drawing information acquisition unit 112 outputs drawing information to the second straight line detection unit 115.
  • the drawing information acquisition unit 112 also outputs ceiling height information to the plan view creation unit 113.
  • the plan view creation unit 113 acquires the panoramic image I and ceiling height information.
  • the plan view creation unit 113 creates a plan view P of the interior of the structure S based on the panoramic image I and the ceiling height indicated by the ceiling height information. Specifically, the plan view creation unit 113 calculates the coordinate values of a point group representing the plan view P.
  • the plan view creation unit 113 may create the plan view P by calculating coordinates from the panoramic image I using any image processing technique.
  • FIG. 4 is a diagram showing an example in which coordinate axes are attached to the panoramic image I in a simplified manner for explanation.
  • the v-axis in Figure 4 represents the angle (elevation/depression angle) from -90° to +90° when the camera photographs the inside of the structure S in the vertical direction
  • the u-axis represents the angle (elevation/depression angle) when the camera photographs the inside of the structure S in the horizontal direction.
  • the width W of the panoramic image I corresponds to the u-axis
  • the height H corresponds to the v-axis
  • FIG. 5 is a cross-sectional view of the structure S, and is a diagram showing how a camera that took a panoramic image I is installed inside the structure S.
  • ⁇ c in FIG. 5 indicates the photographing angle of the camera from a plane parallel to the ceiling or floor to the boundary line LC at the height of the camera from the floor.
  • ⁇ f indicates the photographing angle of the camera from a plane parallel to the ceiling or the floor to the boundary line LF at the height of the camera from the floor.
  • ⁇ c corresponds to the v-axis element v c of the above-mentioned pixel coordinates
  • ⁇ f corresponds to v f .
  • the plan view creation unit 113 first obtains ⁇ ′ c and ⁇ ′ f ⁇ [ ⁇ /2, ⁇ /2] in FIG.
  • ⁇ ' including ⁇ ' c and ⁇ ' f can be calculated using the following equation 1.
  • plan view creation unit 113 calculates ⁇ c from Equation 2 below.
  • plan view creation unit 113 calculates ⁇ f from Equation 3 below.
  • the plan drawing creation unit 113 uses the ceiling height h inside the structure S indicated by the ceiling height information acquired from the drawing information acquisition unit 112 to calculate the height hf of the camera from the floor shown in FIG. Calculated using equation 4.
  • the plan view creation unit 113 uses the ceiling height h to calculate the distance d from the position of the camera height from the floor inside the structure S to the wall surface using Equation 5 below.
  • the plan view creation unit 113 applies Equation 5 above for each u coordinate, and plots a point at a position at a distance d from the wall surface. For each point to be plotted, the plan view creation unit 113 creates a plan view by determining the position of the distance d as the x-axis and y-axis coordinate values, and determining the height hf of the camera from the floor as the Z-axis coordinate value. The coordinate values of the point group making up P can be obtained. In this way, the plan view creation unit 113 calculates the distance d from the camera that took the panoramic image I to the wall surface, and creates the plan view P by plotting the distance d for each horizontal shooting angle of the camera.
  • plan view creation unit 113 may calculate the distance d from the camera to the wall using any method.
  • the plan view creation unit 113 may calculate the distance d using the detection results of a distance sensor, depth camera, or the like.
  • FIG. 6 is an example of a plan view P configured by a group of points acquired by the plan view creation unit 113.
  • the plan view creation unit 113 outputs plan view information indicating the created plan view P to the first straight line detection unit 114.
  • the first straight line detection unit 114 detects a straight line in the plan view P indicated by the plan view information acquired from the plan view creation unit 113 using the LSD (Line Segment Detector) method.
  • the method is not limited to this, and any method may be used to detect the straight line.
  • FIG. 7 is a diagram showing a plan view P' in which straight lines PL1 to PL6 are detected by the first straight line detection unit 114 from the plan view P indicated by the plan view information.
  • the first straight line detection unit 114 identifies at least one intersection of the detected straight lines as a first intersection.
  • the intersection points identified by the first straight line detection unit 114 are indicated by circles labeled A1 to A6.
  • the first straight line detection unit 114 outputs first intersection information indicating the identified intersection to the registration unit 116 together with plan view information that also includes a group of points other than the intersection.
  • the second straight line detection unit 115 detects a straight line in the drawing D indicated by the drawing information acquired from the drawing information acquisition unit 112 using the LSD method, similarly to the first straight line detection unit 114.
  • the method is not limited to this, and any method may be used to detect the straight line.
  • FIG. 8 is a diagram showing a drawing D' in which straight lines DL1 to DL6 are detected by the second straight line detection unit 115 from the drawing D indicated by the drawing information.
  • the second straight line detection unit 115 identifies at least one intersection of the detected straight lines as a second intersection.
  • the intersection points identified by the second straight line detection unit 115 are indicated by circles labeled B1 to B6.
  • the second straight line detection unit 115 outputs second intersection point information indicating the identified intersection point to the registration unit 116 together with drawing information including a group of points other than the intersection point.
  • the registration unit 116 calculates the point group representing the plan view P′ and the drawing D′ based on the plan view information output from the first straight line detection unit 114 and the drawing information output from the second straight line detection unit 115. Perform alignment with the represented point group.
  • the registration unit 116 performs alignment using a technique such as an ICP (Iterative Closest Point) algorithm.
  • ICP Intelligent Closest Point
  • the registration unit 116 is not limited to this, and may perform alignment using any algorithm.
  • the ICP algorithm is one of the algorithms for aligning multiple three-dimensional point groups.
  • the ICP algorithm is disclosed, for example, in the following documents. Reference 1: Besl, P. J. and N. D. McKay (1992), "A method for registration of 3-D shapes", IEEE Transactions on Pattern Analysis and Machine Intelligence 14(2): 239-256.
  • the ICP algorithm given dimensional point groups P s and P t acquired from different positions, estimates a rotation matrix R and a translation matrix T that align P s with P t .
  • the registration unit 116 executes steps 1 to 4 below.
  • Step 1 The registration unit 116 uses a nearest neighbor detection algorithm to find the closest point P tj in the point group P t for each point P si of the point group P s , and sets the corresponding point of the point P si to the point P tj . do. Since the corresponding points are reset by steps 3 and 4, which will be described later, the first corresponding point is referred to as the "initial position.”
  • the registration unit 116 initializes the first intersection indicated by the first intersection information output from the first straight line detection unit 114 and the second intersection indicated by the second intersection information output from the second straight line detection unit 115. Include it in the position and perform alignment.
  • the registration unit 116 performs an iterative process without using the first intersection point and the second intersection point in steps 3 and 4 below.
  • Step 2 Define an objective function E between corresponding points determined by , and estimate R and T at which E converges. Step 3. Step 2 above. Ps is moved by R and T found in . Step 4. Repeat steps 1 to 3 above.
  • the registration unit 116 makes the initial position robust by using the first intersection detected by the first straight line detection unit 114 and the second intersection detected by the second straight line detection unit 115 as landmarks. Can be set.
  • the registration unit 116 detects the first intersection indicated by the first intersection information output from the first straight line detection unit 114 and the second intersection indicated by the second intersection information output from the second straight line detection unit 115. Alignment is performed using the intersection point as the initial position.
  • the point group resulting from the alignment performed by the registration unit 116 represents the shape of the boundary line between the wall surface, ceiling, and floor surface of the target structure S, that is, the shape of the plan view P''.
  • the registration unit 116 aligns the created plan view P' with the drawing D' and determines the coordinate values of the plan view P''.
  • the registration unit 116 outputs information indicating the determined coordinate values of the plan view P'' to the three-dimensional coordinate calculation unit 117.
  • the three-dimensional coordinate calculation unit 117 performs three-dimensional reconstruction of the target structure S. Specifically, the three-dimensional coordinate calculation unit 117 acquires information indicating the coordinate values of the plan view P'' determined by the registration unit 116. Furthermore, the three-dimensional coordinate calculation unit 117 calculates three-dimensional coordinates for the entire internal shape of the structure S except for the shape of the boundary line represented by the plan view P''. Any method may be adopted to acquire the information. The three-dimensional coordinate calculation unit 117 stores information indicating the three-dimensional coordinates of the target structure S reconstructed in this manner in the storage unit 12.
  • ⁇ Program> In order to function as the three-dimensional reconstruction device 10 described above, it is also possible to use a computer that can execute program instructions.
  • the computer may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like.
  • Program instructions may be program code, code segments, etc. to perform necessary tasks.
  • the computer includes a processor, a storage section, an input section, an output section, and a communication interface.
  • a processor is a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured.
  • the processor controls each of the above components and performs various calculation processes by reading and executing programs from the storage unit. Note that at least a part of these processing contents may be realized by hardware.
  • the input unit is an input interface that receives a user's input operation and obtains information based on the user's operation, and is a pointing device, a keyboard, a mouse, or the like.
  • the output unit is an output interface that outputs information, such as a display or a speaker.
  • the communication interface is an interface for communicating with an external device.
  • the program may be recorded on a computer-readable recording medium. Using such a recording medium, it is possible to install a program on a computer.
  • the recording medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, and may be, for example, a CD-ROM, a DVD-ROM, a USB memory, or the like. Further, this program may be downloaded from an external device via a network.
  • the panoramic image acquisition unit 111 of the control unit 11 acquires a panoramic image I of the inside of the target structure S.
  • the panoramic image I includes a first boundary line LC, which is a boundary line between a wall surface and a ceiling, and a second boundary line LF, which is a boundary line between a wall surface and a floor surface, which have been detected in advance. Detection of the boundary line LC and boundary line LF may be performed using any image processing technique such as deep learning. Any method may be used to acquire the panoramic image.
  • the panoramic image acquisition unit 111 outputs the acquired panoramic image I to the plan view creation unit 113.
  • step S2 the drawing information acquisition unit 112 acquires drawing information indicating the drawing D inside the target structure S and ceiling height information indicating the ceiling height of the target structure S. Any method may be adopted to obtain the drawing information and ceiling height information.
  • the drawing information acquisition unit 112 outputs drawing information to the second straight line detection unit 115.
  • the drawing information acquisition unit 112 also outputs ceiling height information to the plan view creation unit 113.
  • the plan view creation unit 113 acquires the panoramic image I and ceiling height information.
  • the plan view creation unit 113 creates a plan view P based on the panoramic image I and the ceiling height indicated by the ceiling height information. Specifically, the plan view creation unit 113 calculates coordinate values of a point group representing the plan view.
  • the plan view creation unit 113 first obtains ⁇ ′ c and ⁇ ′ f ⁇ [ ⁇ /2, ⁇ /2] in FIG.
  • ⁇ ' including ⁇ ' c and ⁇ ' f can be calculated using Equation 1 above.
  • the plan view creation unit 113 calculates ⁇ c from the above equation 2, and calculates ⁇ f from the above equation 3.
  • the plan drawing creation unit 113 uses the ceiling height h inside the structure S indicated by the ceiling height information acquired from the drawing information acquisition unit 112 to calculate the height hf of the camera from the floor shown in FIG. Calculated using equation 4.
  • the plan view creation unit 113 uses the ceiling height h to calculate the distance d from the position of the camera height from the floor inside the structure S to the wall surface using Equation 5 described above.
  • the plan view creation unit 113 applies Equation 5 above to each u coordinate in FIG. 4, and plots a point at a position at a distance d from the wall surface. For each point to be plotted, the plan view creation unit 113 creates a plan view by determining the position of the distance d as the x-axis and y-axis coordinate values, and determining the height hf of the camera from the floor as the Z-axis coordinate value. The coordinate values of the point group making up P can be obtained. In this way, the plan view creation unit 113 calculates the distance d from the camera that took the panoramic image I to the wall surface, and creates the plan view P by plotting the distance d for each horizontal shooting angle of the camera. The plan view creation unit 113 outputs plan view information indicating the created plan view P to the first straight line detection unit 114.
  • the first straight line detection unit 114 detects a straight line in the plan view P indicated by the plan view information acquired from the plan view creation unit 113 using the LSD method.
  • the method is not limited to this, and any method may be used to detect the straight line.
  • the first straight line detection unit 114 identifies at least one intersection of the detected straight lines as a first intersection.
  • the first straight line detection unit 114 outputs first intersection information indicating the identified intersection to the registration unit 116 together with plan view information that also includes a group of points other than the intersection.
  • the second straight line detection unit 115 detects a straight line in the drawing D indicated by the drawing information acquired from the drawing information acquisition unit 112, using the LSD method similarly to the first straight line detection unit 114.
  • the method is not limited to this, and any method may be used to detect the straight line.
  • the second straight line detection unit 115 identifies at least one intersection of the detected straight lines as a second intersection.
  • the second straight line detection unit 115 outputs second intersection point information indicating the identified intersection point to the registration unit 116 together with drawing information including a group of points other than the intersection point.
  • the registration unit 116 represents the plan view P′ based on the plan view information output from the first straight line detection unit 114 and the drawing information output from the second straight line detection unit 115.
  • the point group is aligned with the point group representing drawing D'.
  • the registration unit 116 selects the first intersection indicated by the first intersection information output from the first straight line detection unit 114 and the second intersection indicated by the second intersection information output from the second straight line detection unit 115. Positioning is performed using the two intersection points as initial positions.
  • the registration unit performs alignment using a technique such as an ICP algorithm.
  • the registration unit 116 is not limited to this, and may perform alignment using any algorithm.
  • the point group resulting from the alignment performed by the registration unit 116 represents the shape of the boundary line between the wall surface, ceiling, and floor surface of the target structure S, that is, the shape of the plan view P''.
  • the registration unit 116 aligns the created plan view P' with the drawing D' and determines the coordinate values of the plan view P''.
  • the registration unit 116 outputs information indicating the determined coordinate values of the plan view P'' to the three-dimensional coordinate calculation unit 117.
  • step S7 the three-dimensional coordinate calculation unit 117 performs three-dimensional reconstruction of the target structure S. Specifically, the three-dimensional coordinate calculation unit 117 acquires information indicating the coordinate values of the plan view P'' determined by the registration unit 116. Furthermore, the three-dimensional coordinate calculation unit 117 calculates three-dimensional coordinates for the entire internal shape of the structure S except for the shape of the boundary line represented by the plan view P''. Any method may be adopted to acquire the information. The three-dimensional coordinate calculation unit 117 stores information indicating the three-dimensional coordinates of the target structure S reconstructed in this manner in the storage unit 12.
  • step S8 the control unit 11 displays an image representing the inside of the reconstructed three-dimensional structure S to the user in response to the user's request. Any method may be used to display the information to the user.
  • the control unit 11 can display an image to the user via the output unit 15.
  • the control unit 11 may communicate with a terminal device used by a user via the communication unit 13 and transmit images to the terminal device. After that, the operation of the three-dimensional reconstruction device 10 ends.
  • the three-dimensional reconstruction device 10 includes a panoramic image acquisition unit 111 that acquires a panoramic image of the inside of a target structure, a drawing of the inside of the structure, and a panoramic image of the inside of the structure.
  • a drawing information acquisition unit 112 that obtains the ceiling height;
  • a plan view creation unit 113 that creates a plan view of the interior of the structure based on the panoramic image and the ceiling height;
  • the user can obtain three-dimensionally reconstructed data that includes information indicating internal deterioration locations. Using this data, it becomes possible to perform structural calculations and quantitatively evaluate the soundness of the structure. In this manner, according to the present embodiment, it is possible to three-dimensionally reconstruct a panoramic image of the interior of a structure whose interior wall surface has a complicated shape and which does not conform to the Manhattan World hypothesis. Therefore, it is possible to improve the technique of accurately performing three-dimensional reconstruction of an image inside a structure without assuming an orthogonal system.
  • the three-dimensional reconstruction device 10 includes a first straight line detection unit 114 that detects straight lines in the created plan view and identifies at least one intersection of the straight lines as a first intersection. and a second straight line detection unit 115 that detects straight lines in the obtained drawing and identifies at least one intersection of the straight lines as a second intersection.
  • the registration unit 116 performs alignment using the first intersection point and the second intersection point as initial positions.
  • the accuracy of alignment using the ICP algorithm largely depends on the initial positions of the point groups.
  • the first intersection point detected by the first straight line detection unit 114 and the second straight line detection unit 115 respectively.
  • Positioning can be performed using the second intersection point as a landmark. Since the first intersection point and the second intersection point as corresponding landmarks are automatically identified, the accuracy of alignment can be easily improved. Therefore, it is possible to improve the technique of accurately performing three-dimensional reconstruction of an image inside a structure without assuming an orthogonal system.
  • the plan view creation unit 113 calculates the distance of the camera that has taken the panoramic image to the wall of the structure, and calculates the distance in the horizontal direction of the camera. Create a plan view by plotting each shooting angle.
  • the distance from the camera to the wall surface and create a plan view based on the assumption that the ceiling height inside the structure S is constant.
  • the plan view can also be created for a panoramic image of the interior of a structure whose walls are not perpendicular to each other, that is, a structure that does not conform to the Manhattan World hypothesis.
  • calculation costs can be reduced and three-dimensional coordinates can be calculated even for structures that do not conform to the Manhattan World Hypothesis. Therefore, it is possible to improve the technique of accurately performing three-dimensional reconstruction of an image inside a structure without assuming an orthogonal system.
  • Steps S21 to S28 in FIGS. 10A and 10B correspond to steps S1 to S8 in FIGS. 9A and 9B of the above-described embodiment.
  • step S22 the drawing information acquisition unit 112 acquires drawing information indicating the drawing D2 inside the target structure S2 and ceiling height information indicating the ceiling height of the target structure S2, and converts the drawing information into a second
  • the straight line detection unit 115 outputs ceiling height information to the plan view creation unit 113.
  • step S23 the plan view creating unit 113 creates a distorted plan view P2.
  • the first intersection with the straight line in the plan view P2 is detected by the first straight line detection unit 114.
  • the drawing D2' in step S25 is a drawing in which the straight line and the second intersection in the drawing D2 acquired by the drawing information acquisition section 112 are detected by the second straight line detection section 115.
  • step S26 of FIG. 10B the registration unit 116 performs alignment using the detected first and second intersection points as initial positions. Thereby, the registration unit 116 determines the coordinate values of the plan view P2''.
  • step S27 the three-dimensional coordinate calculation unit 117 performs three-dimensional reconstruction of the target structure S2, as in the above-described embodiment.
  • step S28 the control unit 11 displays an image representing the inside of the reconstructed three-dimensional structure S2 to the user in response to the user's request, as in the above-described embodiment.
  • the registration unit 116 corrects the distortion based on the drawing D2 given as input. It is possible to determine the coordinate values of the plan view P2'' without. Therefore, it is possible to perform three-dimensional reconstruction even from the panoramic image I2 in which the wall is blocked by an object and the detection accuracy of the wall surface or boundary line is not high.
  • Steps S31 to S38 in FIGS. 11A and 11B correspond to steps S1 to S8 in the embodiment described above.
  • step S32 the drawing information acquisition unit 112 acquires drawing information indicating the internal drawing D3 of the target structure S3 and ceiling height information indicating the ceiling height of the target structure S3, and converts the drawing information into a second
  • the straight line detection unit 115 outputs ceiling height information to the plan view creation unit 113.
  • step S33 the plan view creation unit 113 creates a plan view P3 with low accuracy.
  • step S34 the first intersection with the straight line in the plan view P3 is detected by the first straight line detection unit 114.
  • the drawing D3' in step S35 is a drawing in which the second intersection point with the straight line in the drawing D3 obtained by the drawing information obtaining section 112 is detected by the second straight line detecting section 115.
  • step S36 of FIG. 11B the registration unit 116 performs alignment using the detected first and second intersection points as initial positions. Thereby, the registration unit 116 determines the coordinate values of the plan view P3''.
  • step S37 the three-dimensional coordinate calculation unit 117 performs three-dimensional reconstruction of the target structure S3, as in the above embodiment.
  • step S38 the control unit 11 displays an image representing the inside of the reconstructed three-dimensional structure S3 to the user in response to the user's request, as in the above-described embodiment.
  • a three-dimensional reconstruction device comprising: a control unit that performs three-dimensional reconstruction of the structure based on the determined coordinate values of the plan view.
  • the control unit detects straight lines in the created plan view, and identifies at least one intersection of the straight lines as a first intersection, Detecting straight lines in the obtained drawing, identifying at least one intersection of the straight lines as a second intersection, The three-dimensional reconstruction device according to appendix 1, wherein alignment is performed using the first intersection point and the second intersection point as initial positions.
  • the control unit calculates a distance from a camera that has taken the panoramic image to a wall surface of the structure, and plots the distance for each horizontal shooting angle of the camera to create the plan view. 3.
  • the three-dimensional reconstruction device according to 1 or 2.
  • a three-dimensional reconstruction method executed by a three-dimensional reconstruction device comprising: a panoramic image acquisition step of acquiring a panoramic image of the inside of the target structure; a drawing information acquisition step of acquiring an internal drawing of the structure and a ceiling height of the structure; a plan view creation step of creating a plan view of the interior of the structure based on the panoramic image and the ceiling height; a registration step of aligning the created plan view with the drawing and determining coordinate values of the plan view; and a three-dimensional coordinate calculation step of performing three-dimensional reconstruction of the structure based on the determined coordinate values of the plan view.
  • the plan view creation step is a step of determining the distance from the camera that took the panoramic image to the wall of the structure, and plotting the distance for each horizontal shooting angle of the camera to create the plan view.
  • Three-dimensional reconstruction device 11 Control unit 12 Storage unit 13 Communication unit 14 Input unit 15 Output unit 111 Panoramic image acquisition unit 112 Drawing information acquisition unit 113 Plan view creation unit 114 First straight line detection unit 115 Second straight line detection unit 116 Registration ration section 117 Three-dimensional coordinate calculation section

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示に係る三次元再構成装置（１０）は、対象の構造物の内部を撮影したパノラマ画像を取得するパノラマ画像取得部（１１１）と、構造物の内部の図面と、構造物の天井高とを取得する図面情報取得部（１１２）と、パノラマ画像と天井高とに基づいて、構造物の内部の平面図を作成する平面図作成部（１１３）と、作成された平面図と、図面との位置合わせを行い、平面図の座標値を決定するレジストレーション部（１１６）と、決定された平面図の座標値に基づいて構造物の三次元再構成を行う三次元座標計算部（１１７）とを備える。

Description

三次元再構成装置、三次元再構成方法及びプログラム
　本開示は、三次元再構成装置、三次元再構成方法及びプログラムに関する。
　従来、構造物の内部の画像に基づく三次元復元技術において、三次元座標は、前処理、壁面の検出、三次元座標計算により再構成される。三次元座標の計算では、マンハッタンワールド仮説に基づいて計算がされている（例えば、非特許文献１及び２参照）。「マンハッタンワールド仮説」とは、構造物の内部の全ての壁が直交しているという仮説である。図１２Ａは、マンハッタンワールド仮説に基づく構造物の内部の図面の例を示し、図１２Ｂは、マンハッタンワールド仮説に基づかない構造物の内部の図面の例を示す。
　しかしながら、全ての壁が直交していない、すなわちマンハッタンワールド仮説に基づかない構造物の内部については、３次元再構成を行うことが困難であった。このように、直交系を仮定しない構造物の内部の画像の３次元再構成を、精度よく行う技術が望まれていた。
　かかる事情に鑑みてなされた本開示の目的は、直交系を仮定しない構造物の内部の画像の三次元再構成を、精度よく行う技術を提供することである。
　本開示に係る三次元再構成装置は、対象の構造物の内部を撮影したパノラマ画像を取得するパノラマ画像取得部と、前記構造物の内部の図面と、前記構造物の天井高とを取得する図面情報取得部と、前記パノラマ画像と前記天井高とに基づいて、前記構造物の内部の平面図を作成する平面図作成部と、作成された前記平面図と、前記図面との位置合わせを行い、前記平面図の座標値を決定するレジストレーション部と、決定された前記平面図の座標値に基づいて前記構造物の三次元再構成を行う三次元座標計算部とを備える。
　また、本開示に係る三次元再構成方法は、三次元再構成装置が実行する三次元再構成方法であって、対象の構造物の内部を撮影したパノラマ画像を取得するパノラマ画像取得ステップと、前記構造物の内部の図面と、前記構造物の天井高とを取得する図面情報取得ステップと、前記パノラマ画像と前記天井高とに基づいて、前記構造物の内部の平面図を作成する平面図作成ステップと、作成された前記平面図と、前記図面との位置合わせを行い、前記平面図の座標値を決定するレジストレーションステップと、決定された前記平面図の座標値に基づいて前記構造物の三次元再構成を行う三次元座標計算ステップとを含む。
　また、本開示に係るプログラムは、コンピュータを、本開示に係る三次元再構成装置として機能させる。
　本開示によれば、直交系を仮定しない構造物の内部の画像の三次元再構成を、精度よく行う技術を提供することができる。
本開示の一実施形態に係る三次元再構成装置の構成の一例を示す図である。 パノラマ画像取得部が取得するパノラマ画像の一例を示す図である。 図面情報取得部が取得する対象の構造物の内部の図面の一例を示す図である。 パノラマ画像に座標軸を付した例を、説明のため簡略化して示す図である。 構造物の内部に、パノラマ画像を撮影したカメラが設置されている様子を示す、構造物の断面図である。 平面図作成部が取得した点群が構成する平面図の一例を示す図である。 第１直線検出部によって直線が検出された平面図の一例を示す図である。 第２直線検出部によって直線が検出された図面の一例を示す図である。 本開示の一実施形態に係る三次元再構成装置の動作の一例を示すフローチャートである。 本開示の一実施形態に係る三次元再構成装置の動作の一例を示すフローチャートである。 本開示の第１の変形例に係る三次元再構成装置の動作の一例を示すフローチャートである。 本開示の第１の変形例に係る三次元再構成装置の動作の一例を示すフローチャートである。 本開示の第２の変形例に係る三次元再構成装置の動作の一例を示すフローチャートである。 本開示の第２の変形例に係る三次元再構成装置の動作の一例を示すフローチャートである。 マンハッタンワールド仮説に基づく構造物の内部の図面の例を示す図である。 マンハッタンワールド仮説に基づかない構造物の内部の図面の例を示す図である。
　以下、本開示の実施形態について適宜図面を参照しながら説明する。各図面中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。以下に説明する実施形態は本開示の構成の例であり、本発明は、以下の実施形態に制限されるものではない。
　本実施形態に係る三次元再構成装置１０は、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバなどのコンピュータである。
＜三次元再構成装置１０の構成＞
　図１を参照して、本実施形態に係る三次元再構成装置１０の構成の一例について説明する。図１に示すように、三次元再構成装置１０は、制御部１１と、記憶部１２と、通信部１３と、入力部１４と、出力部１５と、を備える。
　記憶部１２は、１つ以上のメモリを含み、例えば半導体メモリ、磁気メモリ、光メモリなどを含んでもよい。記憶部１２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、三次元再構成装置１０の動作に用いられる任意の情報を記憶する。記憶部１２は、必ずしも三次元再構成装置１０が内部に備える必要はなく、三次元再構成装置１０の外部に備える構成としてもよい。
　通信部１３には、少なくとも１つの通信インタフェースが含まれる。通信インタフェースは、例えば、ＬＡＮインタフェースである。通信部１３は、三次元再構成装置１０の動作に用いられる情報を受信し、また三次元再構成装置１０の動作によって得られる情報を送信する。
　通信部１３は、三次元再構成装置１０がネットワークを介して他の装置と情報の送受信を行うことを可能にする。ネットワークとは、インターネット、少なくとも１つのＷＡＮ（Wide Area Network）、少なくとも１つのＭＡＮ（Metropolitan Area Network）、又はこれらの組み合わせを含む。ネットワークは、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの組み合わせを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ（Local Area Network）、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。
　入力部１４には、少なくとも１つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部１４は、三次元再構成装置１０の動作に用いられる情報を入力する操作を受け付ける。入力部１４は、三次元再構成装置１０に備えられる代わりに、外部の入力機器として三次元再構成装置１０に接続されてもよい。接続方式としては、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、又はBluetooth（登録商標）等の任意の方式を用いることができる。
　出力部１５には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイである。出力部１５は、ＶＲゴーグル等のユーザが装着可能な装置を含んでよい。出力部１５は、三次元再構成装置１０の動作によって得られる情報を出力する。出力部１５は、三次元再構成装置１０に備えられる代わりに、外部の出力機器として三次元再構成装置１０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）等の任意の方式を用いることができる。
　制御部１１は、制御演算回路（コントローラ）により実現される。該制御演算回路は、ＡＳＩＣ（Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。制御部１１は、三次元再構成装置１０の各部を制御しながら、三次元再構成装置１０の動作に関わる処理を実行する。制御部１１は、外部装置との情報の送受信を、通信部１３及びネットワークを介して行うことができる。
　制御部１１は、パノラマ画像取得部１１１と、図面情報取得部１１２と、平面図作成部１１３と、第１直線検出部１１４と、第２直線検出部１１５と、レジストレーション部１１６と、三次元座標計算部１１７とを備える。
　パノラマ画像取得部１１１は、対象の構造物Ｓの内部を撮影したパノラマ画像Ｉを取得する。パノラマ画像取得部１１１が取得したパノラマ画像Ｉの一例を図２に示す。パノラマ画像Ｉは、構造物Ｓの内部を、カメラ等により鉛直方向に沿った上下方向に－９０°から＋９０°までの角度で、また水平方向に沿った左右方向に０°から３６０°までの角度で撮影することで得られる画像である。図２のパノラマ画像Ｉにおいて、領域Ａは構造物Ｓの内部における天井を、領域Ｂは壁面を、領域Ｃは床面を示す。パノラマ画像Ｉは、予め検出された、壁面と天井との境界線である第１の境界線ＬＣ、及び、壁面と床面との境界線である第２の境界線ＬＦを含む。図２のパノラマ画像Ｉにおいて、境界線ＬＣと境界線ＬＦとが実線で示される。境界線ＬＣと境界線ＬＦとの検出は深層学習等、任意の画像処理技術により行われたものであってよい。
　パノラマ画像Ｉの取得の手法には任意の手法が採用されてよい。例えばパノラマ画像取得部１１１は、通信部１３を介して、カメラを備える端末装置等の外部装置からパノラマ画像Ｉを直接取得してもよいし、入力部１４を介してユーザが入力したパノラマ画像Ｉを直接取得してもよい。パノラマ画像取得部１１１は、記憶部１２に予め格納されたパノラマ画像Ｉを読み出すことでパノラマ画像Ｉを取得してもよい。
　パノラマ画像取得部１１１は、取得したパノラマ画像Ｉを平面図作成部１１３に出力する。
　図面情報取得部１１２は、対象の構造物Ｓの内部の図面Ｄを示す図面情報と、対象の構造物Ｓの天井高を示す天井高情報とを取得する。図面Ｄとは具体的には対象の構造物Ｓの平面竣工図である。図３は、図面情報取得部１１２が取得する対象の構造物Ｓの図面Ｄの例を示す。図面情報は具体的には、図面Ｄを表す点群の座標値を含む情報である。
　図面情報と天井高情報との取得には任意の手法が採用されてよい。例えば図面情報取得部１１２は、入力部１４からユーザによって入力された図面Ｄを表す画像を、任意の画像処理技術により解析し、図面情報と天井高情報とを取得してもよい。
　図面情報取得部１１２は、図面情報を第２直線検出部１１５に出力する。図面情報取得部１１２はまた、天井高情報を平面図作成部１１３に出力する。
　平面図作成部１１３は、パノラマ画像Ｉと天井高情報とを取得する。平面図作成部１１３は、パノラマ画像Ｉと天井高情報が示す天井高に基づいて、構造物Ｓの内部の平面図Ｐを作成する。具体的には、平面図作成部１１３は平面図Ｐを表す点群の座標値を計算する。平面図作成部１１３は、任意の画像処理技術によりパノラマ画像Ｉから座標を計算して平面図Ｐを作成してよい。
　図４は、パノラマ画像Ｉに座標軸を付した例を、説明のため簡略化して示す図である。図４のｖ軸は構造物Ｓの内部をカメラが鉛直方向に沿った上下方向に撮影するときの－９０°から＋９０°までの角度（仰俯角）を表し、ｕ軸はカメラが水平方向に沿った左右方向に撮影するときの０°から３６０°までの角度（方位角）を表す。すなわちパノラマ画像Ｉの幅Ｗがｕ軸に、高さＨがｖ軸にそれぞれ対応し、パノラマ画像Ｉの境界線ＬＣの任意の画素の座標（ｕｃ，ｖｃ）と、境界線ＬＦの任意の画素の座標（ｕｆ，ｖｆ）とが得られることがわかる。ｕｃ，ｕｆ∈[０，Ｗ]、ｖｃ，ｖｆ∈[０，Ｈ]である。
　図５は構造物Ｓの断面図であり、当該構造物Ｓの内部に、パノラマ画像Ｉを撮影したカメラが設置されている様子を示す図である。図５におけるθｃは、カメラの床面からの高さの位置の、天井又は床面と平行な面から境界線ＬＣまでのカメラの撮影角度を示す。θｆは、カメラの床面からの高さの位置の、天井又は床面と平行な面から境界線ＬＦまでのカメラの撮影角度を示す。本実施形態において、θｃは、上述の画素の座標のｖ軸の要素ｖｃと対応し、θｆはｖｆと対応する。
　θｃとθｆとを求めるため、平面図作成部１１３はまず、図５中のθ’ｃ及びθ’ｆ∈［－π／２，π／２］を求める。ここでθ’ｃ及びθ’ｆを含むθ’は以下の式１により算出できる。
Figure JPOXMLDOC01-appb-M000001
　よって、平面図作成部１１３は、以下の式２からθｃを算出する。
Figure JPOXMLDOC01-appb-M000002
　さらに平面図作成部１１３は、以下の式３からθｆを算出する。
Figure JPOXMLDOC01-appb-M000003
　平面図作成部１１３は、図面情報取得部１１２から取得した天井高情報が示す構造物Ｓの内部の天井高ｈを用いて、図５で示すカメラの床からの高さｈｆを、以下の式４により算出する。
Figure JPOXMLDOC01-appb-M000004
　次に平面図作成部１１３は、天井高ｈを用いて、以下の式５により、構造物Ｓの内部の床面からのカメラの高さの位置から壁面までの距離ｄを計算する。
Figure JPOXMLDOC01-appb-M000005
　平面図作成部１１３は、ｕ座標ごとに上記式５を適用し、壁面までの距離ｄの位置に点をプロットする。平面図作成部１１３は、プロットする各点について、距離ｄの位置をｘ軸及びｙ軸座標値とし、カメラの床からの高さｈｆをＺ軸の座標値として決定することで、平面図Ｐを構成する点群の座標値を取得できる。このようにして平面図作成部１１３はパノラマ画像Ｉを撮影したカメラの、壁面までの距離ｄを求め、当該距離ｄをカメラの水平方向の撮影角度ごとにプロットして平面図Ｐを作成する。
　上述に限られず、平面図作成部１１３は、カメラの壁面までの距離ｄを任意の手法により求めてもよい。例えば平面図作成部１１３は、距離センサ、深度カメラ等の検出結果を用いての距離ｄを求めてもよい。
　図６は、平面図作成部１１３が取得した点群が構成する平面図Ｐの例である。平面図作成部１１３は、作成した平面図Ｐを示す平面図情報を、第１直線検出部１１４に出力する。
　第１直線検出部１１４は、平面図作成部１１３から取得した平面図情報が示す平面図Ｐ中の直線をＬＳＤ（Line Segment Detector）法により検出する。これに限られず、直線の検出には任意の手法が採用されてよい。
　図７は、平面図情報が示す平面図Ｐから第１直線検出部１１４によって直線ＰＬ１からＰＬ６が検出された平面図Ｐ’を示す図である。第１直線検出部１１４は、検出した直線の少なくとも１つの交点を第１交点として特定する。図７の平面図Ｐ’において、第１直線検出部１１４が特定した交点を、Ａ１～Ａ６を付した丸印で示す。第１直線検出部１１４は、特定した交点を示す第１交点情報を、当該交点以外の点群も含む平面図情報と併せて、レジストレーション部１１６に出力する。
　第２直線検出部１１５は、図面情報取得部１１２から取得した図面情報が示す図面Ｄ中の直線を、第１直線検出部１１４と同様にＬＳＤ法により検出する。これに限られず、直線の検出には任意の手法が採用されてよい。
　図８は、図面情報が示す図面Ｄから第２直線検出部１１５によって直線ＤＬ１からＤＬ６が検出された図面Ｄ’を示す図である。第２直線検出部１１５は、検出した直線の少なくとも１つの交点を第２交点として特定する。図８の図面Ｄ’において、第２直線検出部１１５が特定した交点を、Ｂ１～Ｂ６を付した丸印で示す。第２直線検出部１１５は、特定した交点を示す第２交点情報を、当該交点以外の点群も含む図面情報と併せて、レジストレーション部１１６に出力する。
　レジストレーション部１１６は、第１直線検出部１１４から出力された平面図情報と、第２直線検出部１１５から出力された図面情報とに基づき、平面図Ｐ’を表す点群と図面Ｄ’を表す点群との位置合わせを行う。本実施形態では、レジストレーション部１１６は、ＩＣＰ（Iterative Closest Point）アルゴリズム等の手法を用いて位置合わせを行う。これに限られず、レジストレーション部１１６は任意のアルゴリズムを用いて位置合わせを行ってもよい。
　ＩＣＰアルゴリズムとは、複数の３次元点群同士の位置合わせのためのアルゴリズムの１つである。ＩＣＰアルゴリズムは例えば以下の文献に開示されている。
　　文献１： Besl, P. J. and N. D. McKay (1992), "A method for registration of 3-D shapes", IEEE Transactions on Pattern Analysis and Machine Intelligence 14(2): 239-256.
　ＩＣＰアルゴリズムは、異なる位置から取得された次元点群Ｐｓ及びＰｔが与えられると、ＰｓをＰｔに位置合わせする回転行列Ｒと並進行列Ｔとを推定するものである。具体的には、レジストレーション部１１６は、以下の手順１から手順４を実行する。
　手順１．レジストレーション部１１６は最近傍検出アルゴリズムを用いて、点群Ｐｓの各点Ｐｓｉについて、点群Ｐｔ内で最も近い点Ｐｔｊを求め、点Ｐｓｉの対応点を点Ｐｔｊに設定する。後述する手順３，４により対応点は再設定されるため、最初の対応点を「初期位置」という。レジストレーション部１１６は、第１直線検出部１１４から出力された第１交点情報が示す第１交点と、第２直線検出部１１５から出力された第２交点情報とが示す第２交点とを初期位置に含めて位置合わせを行う。レジストレーション部１１６は、当該第１交点と第２交点とは、以下手順３，４では用いずに反復処理を行う。最近傍検出アルゴリズムについては、以下の文献２に開示されているため詳細な説明を省略する。
　　文献２：Eggert, D. W., et al. (1997), "Estimating 3-D rigid body transformations: a comparison of four major algorithms", Machine Vision and Applications 9(5): 272-290.
　手順２．上記手順１．で定められた対応点同士の目的関数Ｅを定義し、Ｅが収束するＲ及びＴを推定する。
　手順３．上記手順２．で求められたＲ及びＴによってＰｓを移動させる。
　手順４．上記手順１乃至３を反復する。
　ＩＣＰアルゴリズムにおいては、対応させる両点群の初期位置の座標が大きく異なっていると、位置合わせが失敗して本来の三次元座標の位置に点群が決定されない場合がある。本実施形態では、レジストレーション部１１６は、第１直線検出部１１４が検出した第１交点と第２直線検出部１１５が検出した第２交点とをランドマークとすることにより、初期位置を頑健に設定することができる。
　このようにしてレジストレーション部１１６は、第１直線検出部１１４から出力された第１交点情報が示す第１交点と、第２直線検出部１１５から出力された第２交点情報とが示す第２交点とを初期位置として用いて位置合わせを行う。
　レジストレーション部１１６により位置合わせを行った結果の点群は、対象の構造物Ｓの壁面と天井及び床面との境界線の形状、すなわち平面図Ｐ’’の形状を表す。このようにしてレジストレーション部１１６は、作成された平面図Ｐ’と、図面Ｄ’との位置合わせを行い、平面図Ｐ’’の座標値を決定する。レジストレーション部１１６は、決定した平面図Ｐ’’の座標値を示す情報を三次元座標計算部１１７に出力する。
　三次元座標計算部１１７は、対象の構造物Ｓの三次元再構成を行う。具体的には、三次元座標計算部１１７は、レジストレーション部１１６が決定した平面図Ｐ’’の座標値を示す情報を取得する。さらに三次元座標計算部１１７は、平面図Ｐ’’が表す境界線の形状以外についての構造物Ｓの内部の形状の全体について三次元の座標を計算する。当該情報の取得には任意の手法が採用されてよい。三次元座標計算部１１７は、このようにして再構成した対象の構造物Ｓの三次元の座標を示す情報を記憶部１２に格納する。
＜プログラム＞
　上述した三次元再構成装置１０として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インタフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）等であり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インタフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インタフェースであり、ディスプレイ、スピーカなどである。通信インタフェースは、外部の装置と通信するためのインタフェースである。
　プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
＜三次元再構成装置１０の動作＞
　次に図４、図５、図９Ａ、及び図９Ｂを参照して、本実施形態に係る三次元再構成装置１０の動作について説明する。三次元再構成装置１０の動作は、本実施形態に係る三次元再構成方法に相当する。
　ステップＳ１において、制御部１１のパノラマ画像取得部１１１は、対象の構造物Ｓの内部を撮影したパノラマ画像Ｉを取得する。パノラマ画像Ｉは、予め検出された、壁面と天井との境界線である第１の境界線ＬＣ、及び、壁面と床面との境界線である第２の境界線ＬＦを含む。境界線ＬＣと境界線ＬＦとの検出は深層学習等、任意の画像処理技術により行われたものであってよい。パノラマ画像の取得の手法には任意の手法が採用されてよい。パノラマ画像取得部１１１は、取得したパノラマ画像Ｉを平面図作成部１１３に出力する。
　ステップＳ２において、図面情報取得部１１２は、対象の構造物Ｓの内部の図面Ｄを示す図面情報と、対象の構造物Ｓの天井高を示す天井高情報とを取得する。図面情報と天井高情報との取得には任意の手法が採用されてよい。図面情報取得部１１２は、図面情報を第２直線検出部１１５に出力する。図面情報取得部１１２はまた、天井高情報を平面図作成部１１３に出力する。
　ステップＳ３において、平面図作成部１１３は、パノラマ画像Ｉと天井高情報とを取得する。平面図作成部１１３は、パノラマ画像Ｉと天井高情報が示す天井高に基づいて平面図Ｐを作成する。具体的には、平面図作成部１１３は平面図を表す点群の座標値を計算する。
　図５におけるθｃとθｆとを求めるため、平面図作成部１１３はまず、図５中のθ’ｃ及びθ’ｆ∈［－π／２，π／２］を求める。ここでθ’ｃ及びθ’ｆを含むθ’は上述の式１により算出できる。平面図作成部１１３は、上述の式２からθｃを算出し、上述の式３からθｆを算出する。平面図作成部１１３は、図面情報取得部１１２から取得した天井高情報が示す構造物Ｓの内部の天井高ｈを用いて、図５で示すカメラの床からの高さｈｆを、上述の式４により算出する。次に平面図作成部１１３は、天井高ｈを用いて、上述の式５により、構造物Ｓの内部の床面からのカメラの高さの位置から壁面までの距離ｄを計算する。
　平面図作成部１１３は、図４のｕ座標ごとに上記式５を適用し、壁面までの距離ｄの位置に点をプロットする。平面図作成部１１３は、プロットする各点について、距離ｄの位置をｘ軸及びｙ軸座標値とし、カメラの床からの高さｈｆをＺ軸の座標値として決定することで、平面図Ｐを構成する点群の座標値を取得できる。このようにして平面図作成部１１３はパノラマ画像Ｉを撮影したカメラの、壁面までの距離ｄを求め、当該距離ｄをカメラの水平方向の撮影角度ごとにプロットして平面図Ｐを作成する。平面図作成部１１３は、作成した平面図Ｐを示す平面図情報を、第１直線検出部１１４に出力する。
　ステップＳ４において、第１直線検出部１１４は、平面図作成部１１３から取得した平面図情報が示す平面図Ｐ中の直線をＬＳＤ法により検出する。これに限られず、直線の検出には任意の手法が採用されてよい。第１直線検出部１１４は、検出した直線の少なくとも１つの交点を第１交点として特定する。第１直線検出部１１４は、特定した交点を示す第１交点情報を、当該交点以外の点群も含む平面図情報と併せて、レジストレーション部１１６に出力する。
　ステップＳ５において、第２直線検出部１１５は、図面情報取得部１１２から取得した図面情報が示す図面Ｄ中の直線を、第１直線検出部１１４と同様にＬＳＤ法により検出する。これに限られず、直線の検出には任意の手法が採用されてよい。第２直線検出部１１５は、検出した直線の少なくとも１つの交点を第２交点として特定する。第２直線検出部１１５は、特定した交点を示す第２交点情報を、当該交点以外の点群も含む図面情報と併せて、レジストレーション部１１６に出力する。
　図９ＢのステップＳ６において、レジストレーション部１１６は、第１直線検出部１１４から出力された平面図情報と、第２直線検出部１１５から出力された図面情報とに基づき、平面図Ｐ’を表す点群と図面Ｄ’を表す点群との位置合わせを行う。具体的には、レジストレーション部１１６は、第１直線検出部１１４から出力された第１交点情報が示す第１交点と、第２直線検出部１１５から出力された第２交点情報とが示す第２交点とを初期位置として用いて位置合わせを行う。本実施形態では、レジストレーション部は、ＩＣＰアルゴリズム等の手法を用いて位置合わせを行う。これに限られず、レジストレーション部１１６は任意のアルゴリズムを用いて位置合わせを行ってもよい。
　レジストレーション部１１６により位置合わせを行った結果の点群は、対象の構造物Ｓの壁面と天井及び床面との境界線の形状、すなわち平面図Ｐ’’の形状を表す。このようにしてレジストレーション部１１６は、作成された平面図Ｐ’と、図面Ｄ’との位置合わせを行い、平面図Ｐ’’の座標値を決定する。レジストレーション部１１６は、決定した平面図Ｐ’’の座標値を示す情報を三次元座標計算部１１７に出力する。
　ステップＳ７において、三次元座標計算部１１７は、対象の構造物Ｓの三次元再構成を行う。具体的には、三次元座標計算部１１７は、レジストレーション部１１６が決定した平面図Ｐ’’の座標値を示す情報を取得する。さらに三次元座標計算部１１７は、平面図Ｐ’’が表す境界線の形状以外についての構造物Ｓの内部の形状の全体について三次元の座標を計算する。当該情報の取得には任意の手法が採用されてよい。三次元座標計算部１１７は、このようにして再構成した対象の構造物Ｓの三次元の座標を示す情報を記憶部１２に格納する。
　ステップＳ８において、制御部１１は、ユーザの要求に応じて、再構成した三次元の構造物Ｓの内部を表す画像をユーザに対し表示する。ユーザへの表示には任意の手法が採用されてよい。例えば、制御部１１は、出力部１５を介して画像をユーザに対して表示できる。制御部１１は、ユーザが使用する端末装置と通信部１３を介して通信し、当該端末装置に画像を送信してもよい。その後、三次元再構成装置１０の動作は終了する。
　上述のように、本実施形態にかかる三次元再構成装置１０は、対象の構造物の内部を撮影したパノラマ画像を取得するパノラマ画像取得部１１１と、構造物の内部の図面と、構造物の天井高とを取得する図面情報取得部１１２と、パノラマ画像と天井高とに基づいて、構造物の内部の平面図を作成する平面図作成部１１３と、作成された平面図と、図面との位置合わせを行い、平面図の座標値を決定するレジストレーション部１１６と、決定された平面図の座標値に基づいて構造物の三次元再構成を行う三次元座標計算部１１７とを備える。
　本実施形態によれば、作成した平面図を図面と突合させる位置合わせにより、図面によって補正して最終的に正確な平面図の座標を決定することができる。最終的に高精度な３次元再構成を行うことができるため、ユーザにとって視認性の向上につながる。例えば、パノラマ画像としてインフラ設備等の構造物の内部の点検画像を用いた場合、内部の劣化箇所を示す情報を含む、三次元再構成を行ったデータをユーザが得ることが可能となる。当該データを用いて、構造計算を行い定量的な構造物の健全性評価が可能となる。このように、本実施形態によれば、内部の壁面が複雑な形状を有する、マンハッタンワールド仮説に従わない構造物の内部のパノラマ画像の三次元再構成が可能となる。よって、直交系を仮定しない構造物の内部の画像の三次元再構成を精度よく行う技術を改善することができる。
　上述のように、本実施形態にかかる三次元再構成装置１０は、作成された平面図中の直線を検出し、該直線の少なくとも１つの交点を第１交点として特定する第１直線検出部１１４と、取得された図面中の直線を検出し、該直線の少なくとも１つの交点を第２交点として特定する第２直線検出部１１５とをさらに備える。レジストレーション部１１６は、第１交点と第２交点とを初期位置として用いて位置合わせを行う。
　ＩＣＰアルゴリズムを用いた位置合わせの精度は点群同士の初期位置に大きく依存するところ、本実施形態によれば、第１直線検出部１１４と第２直線検出部１１５とがそれぞれ検出した第１交点及び第２交点をランドマークとして、位置合わせを行うことができる。対応するランドマークとしての第１交点と第２交点との特定が自動的に行われるため、位置合わせの精度が向上しやすくなる。よって、直交系を仮定しない構造物の内部の画像の三次元再構成を精度よく行う技術を改善することができる。
　上述のように、本実施形態にかかる三次元再構成装置１０において、平面図作成部１１３は、パノラマ画像を撮影したカメラの、構造物の壁面までの距離を求め、距離をカメラの水平方向の撮影角度ごとにプロットして平面図を作成する。
　本実施形態によれば、構造物Ｓの内部の天井高は一定であるという仮定に基づき、カメラから壁面までの距離を計算し、平面図を作成できる。当該平面図は、壁面が直交していない構造物、すなわちマンハッタンワールド仮説に従わないような構造物の内部を撮影対象としたパノラマ画像についても作成できる。作成した平面図に基づいて位置合わせを行うことにより、計算コストを低減して、マンハッタンワールド仮説に従わないような構造物についても三次元座標の計算が可能となる。よって、直交系を仮定しない構造物の内部の画像の三次元再構成を精度よく行う技術を改善することができる。
　本開示を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。
　（第１の変形例）
　次に、本開示の実施形態の第１の変形例として、上述の実施形態の構造物Ｓと異なる構造物Ｓ２に対して三次元再構成装置１０を適用した場合について説明する。本変形例では、三次元再構成装置１０の各部の構成は上述の実施形態と同様であるため説明を省略する。
　以下、上述の実施形態に係る三次元再構成装置１０の動作と本変形例に係る三次元再構成装置１０の動作との差異を、図１０Ａ及び図１０Ｂを参照しながら説明する。図１０Ａ及び図１０ＢのステップＳ２１からステップＳ２８は、上述の実施形態の図９Ａ及び図９ＢのステップＳ１からステップＳ８に対応する。
　本例では、構造物Ｓ２の内部は、壁面がオブジェクトにより遮蔽されており、ステップＳ２１においてパノラマ画像取得部１１１が取得したパノラマ画像Ｉ２の壁面及び境界線の検出精度が低いとする。ステップＳ２２において、図面情報取得部１１２は、対象の構造物Ｓ２の内部の図面Ｄ２を示す図面情報と、対象の構造物Ｓ２の天井高を示す天井高情報とを取得し、図面情報を第２直線検出部１１５に、天井高情報を平面図作成部１１３に出力する。この場合、ステップＳ２３において、平面図作成部１１３によって歪んだ平面図Ｐ２が作成される。
　ステップＳ２４の平面図Ｐ２’は、平面図Ｐ２中の直線と第１交点が、第１直線検出部１１４によって検出されたものである。ステップＳ２５の図面Ｄ２’は、図面情報取得部１１２が取得した図面Ｄ２中の、直線と第２交点とが第２直線検出部１１５によって検出されたものである。
　図１０ＢのステップＳ２６において、レジストレーション部１１６が検出された第１交点と第２交点とを初期位置として用いて位置合わせを行う。これにより、レジストレーション部１１６は、平面図Ｐ２’’の座標値を決定する。ステップＳ２７において、三次元座標計算部１１７は上述の実施形態と同様に、対象の構造物Ｓ２の三次元再構成を行う。ステップＳ２８において、制御部１１は上述の実施形態と同様に、ユーザの要求に応じて、再構成した三次元の構造物Ｓ２の内部を表す画像をユーザに対し表示する。
　このように本変形例では、平面図作成部１１３が歪んだ平面図Ｐ２を作成した場合であっても、入力として与えられた図面Ｄ２により補正を行って、レジストレーション部１１６が最終的に歪みのない平面図Ｐ２’’の座標値を決定できる。よって、壁がオブジェクトにより遮蔽されており、壁面又は境界線の検出精度が高くないパノラマ画像Ｉ２からも三次元再構成をすることが可能となる。
　（第２の変形例）
　次に、本開示の実施形態の第２の変形例として、上述の実施形態の構造物Ｓと異なる構造物Ｓ３に対して三次元再構成装置１０を適用した場合について説明する。本変形例では、三次元再構成装置１０の各部の構成は上述の実施形態と同様であるため説明を省略する。
　以下、上述の実施形態に係る三次元再構成装置１０の動作と本変形例に係る三次元再構成装置１０の動作との差異を、図１１Ａ及び図１１Ｂを参照しながら説明する。図１１Ａ及び図１１ＢのステップＳ３１からステップＳ３８は、上述の実施形態のステップＳ１からステップＳ８に対応する。
　本例では、構造物Ｓ３の内部は、壁面に柱があり、ステップＳ３１においてパノラマ画像取得部１１１が取得したパノラマ画像Ｉ３の壁面及び境界線の検出精度が低いとする。ステップＳ３２において、図面情報取得部１１２は、対象の構造物Ｓ３の内部の図面Ｄ３を示す図面情報と、対象の構造物Ｓ３の天井高を示す天井高情報とを取得し、図面情報を第２直線検出部１１５に、天井高情報を平面図作成部１１３に出力する。この場合、ステップＳ３３において、平面図作成部１１３によって精度の低い平面図Ｐ３が作成される。
　ステップＳ３４の平面図Ｐ３’は、平面図Ｐ３中の直線と第１交点が、第１直線検出部１１４によって検出されたものである。ステップＳ３５の図面Ｄ３’は、図面情報取得部１１２が取得した図面Ｄ３中の直線と第２交点とが第２直線検出部１１５によって検出されたものである。
　図１１ＢのステップＳ３６において、レジストレーション部１１６が検出された第１交点と第２交点とを初期位置として用いて位置合わせを行う。これにより、レジストレーション部１１６は、平面図Ｐ３’’の座標値を決定する。ステップＳ３７において、三次元座標計算部１１７は上述の実施形態と同様に、対象の構造物Ｓ３の三次元再構成を行う。ステップＳ３８において、制御部１１は上述の実施形態と同様に、ユーザの要求に応じて、再構成した三次元の構造物Ｓ３の内部を表す画像をユーザに対し表示する。
　このように本変形例では、平面図作成部１１３が精度の低い平面図Ｐ３を作成した場合であっても、入力として与えられた、柱の位置が反映されている図面Ｄ３により補正を行って、レジストレーション部１１６が最終的に正確な平面図Ｐ３’’の座標値を決定できる。よって、壁面に柱があり、壁面又は境界検出では精緻に推定できないと予想されるパノラマ画像Ｉ３からも三次元再構成をすることが可能となる。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　対象の構造物の内部を撮影したパノラマ画像を取得し、
　前記構造物の内部の図面と、前記構造物の天井高とを取得し、
　前記パノラマ画像と前記天井高とに基づいて、前記構造物の内部の平面図を作成し、
　作成された前記平面図と、前記図面との位置合わせを行い、前記平面図の座標値を決定し、
　決定された前記平面図の座標値に基づいて前記構造物の三次元再構成を行う制御部と
を備える、三次元再構成装置。
　（付記項２）
　前記制御部は、作成された前記平面図中の直線を検出し、該直線の少なくとも１つの交点を第１交点として特定し、
　取得された前記図面中の直線を検出し、該直線の少なくとも１つの交点を第２交点として特定し、
　前記第１交点と前記第２交点とを初期位置として用いて位置合わせを行う、付記項１に記載の三次元再構成装置。
　（付記項３）
　前記制御部は、前記パノラマ画像を撮影したカメラの、前記構造物の壁面までの距離を求め、前記距離を前記カメラの水平方向の撮影角度ごとにプロットして前記平面図を作成する、付記項１又は２に記載の三次元再構成装置。
　（付記項４）
　三次元再構成装置が実行する三次元再構成方法であって、
　対象の構造物の内部を撮影したパノラマ画像を取得するパノラマ画像取得ステップと、
　前記構造物の内部の図面と、前記構造物の天井高とを取得する図面情報取得ステップと、
　前記パノラマ画像と前記天井高とに基づいて、前記構造物の内部の平面図を作成する平面図作成ステップと、
　作成された前記平面図と、前記図面との位置合わせを行い、前記平面図の座標値を決定するレジストレーションステップと、
　決定された前記平面図の座標値に基づいて前記構造物の三次元再構成を行う三次元座標計算ステップと
を含む、三次元再構成方法。
　（付記項５）
　作成された前記平面図中の直線を検出し、該直線の少なくとも１つの交点を第１交点として特定する第１直線検出ステップと、
　取得された前記図面中の直線を検出し、該直線の少なくとも１つの交点を第２交点として特定する第２直線検出ステップとをさらに含み、
　前記レジストレーションステップは、前記第１交点と前記第２交点とを初期位置として用いて位置合わせを行うステップをさらに含む、付記項４に記載の三次元再構成方法。
　（付記項６）
　前記平面図作成ステップは、前記パノラマ画像を撮影したカメラの、前記構造物の壁面までの距離を求め、前記距離を前記カメラの水平方向の撮影角度ごとにプロットして前記平面図を作成するステップをさらに含む、付記項４又は５に記載の三次元再構成方法。
　（付記項７）
　コンピュータを、付記項１又は２に記載の三次元再構成装置として機能させるためのプログラムを記憶した非一時的なコンピュータ読取り可能な媒体。
　　１０　三次元再構成装置
　　１１　制御部
　　１２　記憶部
　　１３　通信部
　　１４　入力部
　　１５　出力部
　　１１１　パノラマ画像取得部
　　１１２　図面情報取得部
　　１１３　平面図作成部
　　１１４　第１直線検出部
　　１１５　第２直線検出部
　　１１６　レジストレーション部
　　１１７　三次元座標計算部

Claims (7)

  1. 　対象の構造物の内部を撮影したパノラマ画像を取得するパノラマ画像取得部と、
    　前記構造物の内部の図面と、前記構造物の天井高とを取得する図面情報取得部と、
    　前記パノラマ画像と前記天井高とに基づいて、前記構造物の内部の平面図を作成する平面図作成部と、
    　作成された前記平面図と、前記図面との位置合わせを行い、前記平面図の座標値を決定するレジストレーション部と、
    　決定された前記平面図の座標値に基づいて前記構造物の三次元再構成を行う三次元座標計算部と
    を備える、三次元再構成装置。
  2. 　作成された前記平面図中の直線を検出し、該直線の少なくとも１つの交点を第１交点として特定する第１直線検出部と、
    　取得された前記図面中の直線を検出し、該直線の少なくとも１つの交点を第２交点として特定する第２直線検出部とをさらに備え、
    　前記レジストレーション部は、前記第１交点と前記第２交点とを初期位置として用いて位置合わせを行う、請求項１に記載の三次元再構成装置。
  3. 　前記平面図作成部は、前記パノラマ画像を撮影したカメラの、前記構造物の壁面までの距離を求め、前記距離を前記カメラの水平方向の撮影角度ごとにプロットして前記平面図を作成する、請求項１又は２に記載の三次元再構成装置。
  4. 　三次元再構成装置が実行する三次元再構成方法であって、
    　対象の構造物の内部を撮影したパノラマ画像を取得するパノラマ画像取得ステップと、
    　前記構造物の内部の図面と、前記構造物の天井高とを取得する図面情報取得ステップと、
    　前記パノラマ画像と前記天井高とに基づいて、前記構造物の内部の平面図を作成する平面図作成ステップと、
    　作成された前記平面図と、前記図面との位置合わせを行い、前記平面図の座標値を決定するレジストレーションステップと、
    　決定された前記平面図の座標値に基づいて前記構造物の三次元再構成を行う三次元座標計算ステップと
    を含む、三次元再構成方法。
  5. 　作成された前記平面図中の直線を検出し、該直線の少なくとも１つの交点を第１交点として特定する第１直線検出ステップと、
    　取得された前記図面中の直線を検出し、該直線の少なくとも１つの交点を第２交点として特定する第２直線検出ステップとをさらに含み、
    　前記レジストレーションステップは、前記第１交点と前記第２交点とを初期位置として用いて位置合わせを行うステップをさらに含む、請求項４に記載の三次元再構成方法。
  6. 　前記平面図作成ステップは、前記パノラマ画像を撮影したカメラの、前記構造物の壁面までの距離を求め、前記距離を前記カメラの水平方向の撮影角度ごとにプロットして前記平面図を作成するステップをさらに含む、請求項４又は５に記載の三次元再構成方法。
  7. 　コンピュータを、請求項１又は２に記載の三次元再構成装置として機能させるためのプログラム。
PCT/JP2022/020886 2022-05-19 2022-05-19 三次元再構成装置、三次元再構成方法及びプログラム WO2023223518A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020886 WO2023223518A1 (ja) 2022-05-19 2022-05-19 三次元再構成装置、三次元再構成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020886 WO2023223518A1 (ja) 2022-05-19 2022-05-19 三次元再構成装置、三次元再構成方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023223518A1 true WO2023223518A1 (ja) 2023-11-23

Family

ID=88835049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020886 WO2023223518A1 (ja) 2022-05-19 2022-05-19 三次元再構成装置、三次元再構成方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023223518A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081548A (ja) * 2016-11-17 2018-05-24 株式会社Ｌｉｆｕｌｌ 情報処理装置、情報処理方法、及びプログラム
US20190327413A1 (en) * 2018-02-07 2019-10-24 Structionsite Inc. Construction Photograph Integration with 3D Model Images
WO2020207512A1 (zh) * 2019-04-12 2020-10-15 北京城市网邻信息技术有限公司 三维对象建模方法、图像处理方法、图像处理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081548A (ja) * 2016-11-17 2018-05-24 株式会社Ｌｉｆｕｌｌ 情報処理装置、情報処理方法、及びプログラム
US20190327413A1 (en) * 2018-02-07 2019-10-24 Structionsite Inc. Construction Photograph Integration with 3D Model Images
WO2020207512A1 (zh) * 2019-04-12 2020-10-15 北京城市网邻信息技术有限公司 三维对象建模方法、图像处理方法、图像处理装置

Similar Documents

Publication Publication Date Title
US20190392609A1 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
JP5248806B2 (ja) 情報処理装置、情報処理方法
US10636168B2 (en) Image processing apparatus, method, and program
US7746377B2 (en) Three-dimensional image display apparatus and method
US20140369557A1 (en) Systems and Methods for Feature-Based Tracking
WO2012165491A1 (ja) ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体
WO2014186970A1 (en) Systems and methods for generating three-dimensional models using sensed position data
JP6334927B2 (ja) 付加情報表示装置および付加情報表示プログラム
JP2007323615A (ja) 画像処理装置及びその処理方法
EP3633606B1 (en) Information processing device, information processing method, and program
CN104976950B (zh) 物件空间信息量测装置与方法及取像路径的计算方法
JP2015198374A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えたカメラ及びプログラム
JP6438995B2 (ja) 図面投影システム、図面投影方法及びプログラム
JPWO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
JP5311465B2 (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
TWI599987B (zh) 點雲拼接系統及方法
JP2011133341A (ja) 変位計測装置、変位計測方法、及び変位計測プログラム
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
JP4694624B2 (ja) 画像補正装置及び方法、並びにコンピュータプログラム
JP2019109747A (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
JP2010066595A (ja) 環境地図生成装置及び環境地図生成方法
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
WO2023223518A1 (ja) 三次元再構成装置、三次元再構成方法及びプログラム
Das et al. Joint point cloud and image based localization for efficient inspection in mixed reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22942722

Country of ref document: EP

Kind code of ref document: A1