WO2023157100A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2023157100A1
WO2023157100A1 PCT/JP2022/006026 JP2022006026W WO2023157100A1 WO 2023157100 A1 WO2023157100 A1 WO 2023157100A1 JP 2022006026 W JP2022006026 W JP 2022006026W WO 2023157100 A1 WO2023157100 A1 WO 2023157100A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
node
processing system
information processing
line segments
Prior art date
Application number
PCT/JP2022/006026
Other languages
English (en)
French (fr)
Inventor
潜隆 王
Original Assignee
株式会社Clue
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Clue filed Critical 株式会社Clue
Priority to PCT/JP2022/006026 priority Critical patent/WO2023157100A1/ja
Publication of WO2023157100A1 publication Critical patent/WO2023157100A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Definitions

  • the present invention relates to an information processing system.
  • drones or multi-copters which fly by rotating multiple propellers, are used to observe objects from high places, take aerial photographs of the ground from above, or observe areas that are difficult to enter.
  • the body is sometimes used.
  • An image generated by imaging an object from a high place using such a flying vehicle may be used for inspection, surveying, and the like of the object.
  • Patent Document 1 discloses a technique for measuring the shape and dimensions of a roof, which is an object, from an image captured by a camera mounted on an aircraft, and calculating the area of the roof from the shape and dimensions.
  • the image of the object captured from a high place is perspectiveed by the central projection, so the shape of the object seen in parallel projection and the image captured from a high place appear. Objects often have different shapes. Therefore, the accuracy of the shape and size of the object captured in the image is by no means high.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to improve the accuracy of the shape and size of an object shown in an image.
  • An information processing system for achieving the above object acquires information related to a plurality of line segments defining a region corresponding to an object of a target object and nodes connecting the plurality of line segments.
  • an acquiring unit for acquiring information related to a plurality of line segments defining a region corresponding to an object of a target object and nodes connecting the plurality of line segments.
  • an acquiring unit for acquiring information related to a plurality of line segments defining a region corresponding to an object of a target object and nodes connecting the plurality of line segments.
  • an acquiring unit for correcting the positions of the nodes based on information related to the part of the object associated with each of the plurality of line segments, and a plurality of line segments connected to the corrected nodes.
  • an output control unit for outputting information about the repartitioned area.
  • the position of the node connecting the line segment that defines the area corresponding to the object in the image is determined from the feature of the component part of the object. can be corrected to suit Therefore, it is possible to obtain the shape and dimensions of the object in the image with higher accuracy.
  • FIG. 1 It is a figure showing the outline of the information processing system concerning one embodiment of the present invention. It is a block diagram which shows the structure of the information processing terminal which concerns on the same embodiment. 3 is a block diagram showing functional configurations of a processor and a storage according to the same embodiment; FIG. It is a figure which shows an example of the production
  • FIG. 10 is a diagram showing a display example of line segment information and node information according to another embodiment of the present invention. It is a figure which shows an example of the correction
  • FIG. 10 is a diagram showing a display example of line segment information and node information according to another embodiment of the present invention. It is a figure which shows an example of the correction
  • 10 is a diagram showing a display example of line segment information and node information according to a modification of one embodiment of the present invention
  • 4 is a flow chart showing an example of the processing flow of the information processing system according to one embodiment of the present invention. It is a figure which shows the outline of the information processing system which concerns on other embodiment of this invention.
  • FIG. 1 is a diagram showing an outline of an information processing system according to one embodiment of the present invention. As illustrated, the information processing system 1 includes an information processing terminal 10 .
  • the information processing system 1 creates a top view of the roof 101 from an image of the roof 101 of the building 100 that is the object. At this time, the information processing system 1 corrects the area corresponding to the roof 101 appearing in the image, thereby providing an upside-down drawing with high precision in shape and size.
  • the information processing terminal 10 is implemented by a so-called tablet-like small computer.
  • the information processing terminal 10 may be realized by a portable information processing terminal such as a smart phone or a game machine, or may be realized by a stationary information processing terminal such as a personal computer.
  • Information processing terminal 10 may also have a configuration in which functions are distributed among a plurality of pieces of hardware.
  • FIG. 2 is a block diagram showing the configuration of the information processing terminal 10 according to one embodiment of the present invention.
  • the information processing terminal 10 includes a control section 11 and a touch panel section 12 which is a display section.
  • the control unit 11 includes a processor 11a, a memory 11b, a storage 11c, a transmission/reception unit 11d, and an input/output unit 11e as main components, which are electrically connected to each other via a bus 11f.
  • the processor 11a is an arithmetic device that controls the operation of the control unit 11, controls transmission and reception of data between elements, and performs processes necessary for program execution.
  • This processor 11a is, for example, a CPU (Central Processing Unit) in this embodiment, and executes a program stored in a storage 11c described later and developed in a memory 11b to perform each process.
  • CPU Central Processing Unit
  • the memory 11b includes a main memory device composed of a volatile memory device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory device composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive). .
  • a volatile memory device such as a DRAM (Dynamic Random Access Memory)
  • auxiliary memory device composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive).
  • This memory 11b is used as a work area for the processor 11a, and stores the BIOS (Basic Input/Output System) that is executed when the control unit 11 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 11c stores programs and information used for various processes. For example, a database of image information of the roof 101, line segment information, node information, object part information, etc., and a program for processing such information may be stored.
  • the transmission/reception unit 11d connects the control unit 11 to a network such as the Internet network, and may be equipped with a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • a control signal for controlling the flight of the flying object 10 may be transmitted to the flying object 10 via the transmitting/receiving section 11d.
  • the input/output unit 11e is an interface to which an input/output device is connected, and in this embodiment, the touch panel unit 12 is connected.
  • the bus 11f transmits, for example, address signals, data signals and various control signals among the connected processor 11a, memory 11b, storage 11c, transmission/reception unit 11d and input/output unit 11e.
  • the touch panel unit 12 is an example of a display unit, and includes a display surface 12a on which acquired videos and images are displayed.
  • the display surface 12a receives information input by touching the display surface 12a, and is implemented by various techniques such as a resistive film system and a capacitance system.
  • the user can input line segment information and node information via the touch panel unit 12 with respect to the image displayed on the display surface 12a.
  • Display information output by the control unit 11 is displayed on the display surface 12a.
  • FIG. 3 is a block diagram showing functional configurations of the processor 11a and storage 11c according to one embodiment of the present invention.
  • the processor 11 a includes an acquisition unit 111 , a correction unit 113 , a drawing unit 115 and a display control unit 117 .
  • the storage 11 c also includes a target area information database (DB) 119 .
  • the target region information database 119 stores line segment information 121 , node information 123 , target object part information 125 and gradient information 127 . Image information obtained by imaging the roof 101 may be stored in the storage 11c.
  • the acquisition unit 111 has a function of acquiring various types of information from the target area information database 119 .
  • the acquisition unit 111 acquires the line segment information 121, the node information 123, the target part information 125, and the gradient information 127 included in the target region information database 119.
  • the line segment information 121 and node information 123 are, for example, information about nodes and line segments for demarcating an area corresponding to the image of the roof 101 .
  • the line segment information 121 means information about the position, orientation and attributes of the line segment when displayed on the display surface 12a.
  • a line segment is part of the outer and inner boundaries of a region that defines an object related to the target object, and corresponds to a component part of the target object. For example, when the target object is the roof 101, the component parts corresponding to the line segment are eaves, ridges, and the like.
  • Node information 123 contains information about the location of the node. The information about the position of the node is
  • the line segment information 121 and the node information 123 may be generated, for example, by the user operating the mobile information terminal 10 operating the display surface 12a. Specifically, when an image showing the roof 101 is displayed on the display surface 12a, the user operates the touch panel unit 12 to set line segments and nodes corresponding to the constituent parts of the roof 101. good too.
  • the object part information 125 is information about the constituent parts of the object. That is, when the object is the roof 101, the object part information 125 is information indicating eaves, ridges, and the like. Such target object part information 125 is linked to the line segment information 121 described above. Such linking processing may be performed by a user's operation, or may be performed based on a predetermined algorithm or machine learning. An example of linking processing will be described later. Such object part information 125 can be used for correcting the position of a node, which will be described later.
  • the gradient information 127 is information about the gradient of the part of the object corresponding to the partitioned area described above.
  • the slope information 127 is information indicating the slope of the roof. Such slope information 127 can be used for correcting the positions of nodes and calculating the area of the roof 101, which will be described later.
  • image information can be used to generate line segment information and node information.
  • image information will be described based on a case where line segment information and node information are generated using image information.
  • FIG. 4 shows an example of how image information is generated according to one embodiment of the present invention.
  • image information may be image information generated by imaging the roof 101 as an object with the camera 31 attached to the aircraft 30 flying over the roof 101 .
  • Image information obtained by the flying object 30 is stored, for example, in the storage 11c.
  • the image captured by the camera 31 is central projection. Therefore, depending on the altitude of the flying object 30 (distance to each part of the roof 101) and the angle of view of the camera 31, the actual planar structure seen by parallel projection from the upper part of the roof 101 and the image obtained by the camera 31
  • the image of the roof 101 may differ in shape. That is, since the perspective is applied to the roof 101, which is the subject, the shape may differ from the actual planar structure.
  • FIG. 5 is a diagram showing a display example of image information according to one embodiment of the present invention.
  • an image including the roof 101 of the building 100 is displayed on the display surface 12a.
  • the perspective is applied according to the distance and angle of view between the camera 31 and each part of the roof 101 . Therefore, the tops 154 , 155 , 156 of the roof 101 are positioned differently from the positions in the planar structure viewed from the top of the actual roof 101 .
  • plan view of the roof 101 plan view of the roof
  • a plan view reflecting the position of the top of the roof 101 in a perspective state will be created. Then, when calculating the area of the roof 101, for example, from such a plan view, it is difficult to obtain an accurate value.
  • the information processing system 1 is capable of performing processing for obtaining more accurate shape dimensions using line segment information, node information, and target part information.
  • the description of each functional unit will be continued below.
  • the acquisition unit 111 may display the acquired line segment information 121 and node information 123 on the display surface 12 a of the touch panel unit 12 .
  • FIG. 6 is a diagram showing a display example of line segment information 121 and node information 123 according to an embodiment of the present invention.
  • nodes 102a-102l and line segments 103a-103o are set.
  • the nodes 102a to 102l and the line segments 103a to 103o may be set by the user's input so that the nodes and line segments are superimposed on the image of the roof 101 being displayed.
  • the area that partitions the object related to the target object refers to the area surrounded by the line segments 103a to 103o.
  • the outer periphery of the area refers to a portion formed by line segments corresponding to the outermost side of the area to be partitioned, as shown in FIG.
  • the inside of the area means the inside portion surrounded by the outer circumference of the area.
  • a partitioned area means a unit area partitioned by each line segment inside the area.
  • the line segment information 121 and node information 123 may be generated by extracting portions corresponding to nodes and line segments through image recognition processing on an image showing the roof 101 .
  • image recognition processing for example, a known machine learning method such as deep learning may be used.
  • image recognition processing can be realized by using an image showing the roof 101 and a learning model related to the components of the roof 101 .
  • Image recognition processing may be performed in the processor 11 a of the mobile information terminal 10 .
  • Attributes are set for these nodes 102a to 102l and line segments 103a to 103o.
  • the attribute of the line segment 103 is an attribute linked by the target object part information 125 .
  • Tables 1 and 2 provide information about node and line segment attributes. In the examples shown in Tables 1 and 2, each node is determined based on the connecting line segments and the node's position in the area.
  • the component part of the object linked to the line segment 103 is automatically determined according to the combination of node attributes at both ends of the line segment.
  • the legend 104 is a legend for indicating the component parts of the object linked to the line segment 103 in association with the display mode of the line segment 103 .
  • the attribute of the line segment (that is, the component part of the object) may be determined by user input.
  • information about line segments and candidate component parts of an object may be presented on the display surface 12a, and which component part each line segment corresponds to may be determined based on user input.
  • the acquisition unit 111 outputs various types of acquired information to the correction unit 113 .
  • the correction unit 113 corrects the node information 123 based on the target part information 125 linked to the line segment information 121 . Specifically, the correcting unit 113 corrects the information about the position of the node based on the information about the part of the object linked to each line segment. An example of node position correction processing by the correction unit 113 will be described below.
  • FIG. 7 and 8 are diagrams showing an example of correction processing by the correction unit 113 according to one embodiment of the present invention.
  • an example of correction processing of the node 102c in the correction target area 151 shown in FIG. 6 will be described.
  • a similar correction process can be performed on the correction target area 153 as well.
  • the line segments 103b and 103m corresponding to the eaves and the line segment 103i corresponding to the corner ridge are connected to the node 102g (Outer Vertex). Also, the line segment 103i is connected to a node 102c (Top Vertex) corresponding to the top of the roof 101 . Node 102c is connected to line segment 103c corresponding to the corner ridge and line segment 103d corresponding to the ridge.
  • each roof with the same top has the same slope.
  • the roof portion corresponding to the partitioned area 161 and the roof portion corresponding to the partitioned area 162 have the same slope.
  • the angle Ang1 formed by the line segments 103b and 103i is substantially the same as the angle Ang2 formed by the line segments 103m and 103i. . Therefore, the correction unit 113 uses the line segment 103i connecting to the node 102c (corresponding to the top) inside the area as a reference line segment, and calculates the angle formed by the reference line segment and the other two line segments (103b, 103m).
  • Correction is performed so that Ang1 and Ang2 are the same. Since the roof portion corresponding to the partitioned region 161 and the roof portion corresponding to the partitioned region 166 also have the same slope, the correction unit 113 uses the line segment 103c as a reference line segment to adjust the angles Ang3 and Ang4 formed by the line segments 103a and 103b. are corrected to be the same.
  • a virtual line segment 106 is set such that the angles Ang1 and Ang2 are the same, and the node 102c is corrected so as to be positioned on the virtual line segment 106.
  • the virtual line segment 106 is set so that the angles Ang1 and Ang2 formed by the line segments (line segments 103b, 103a, and 103c) on the upper side of the correction target region 151 are also the same, and the line segment 103c is connected.
  • node 102c is corrected.
  • the correction unit 113 corrects the position of the node to the position of the illustrated node 102c'.
  • the correction unit 113 can correct the position of the node based on the angle information made up of a plurality of line segments.
  • the node information corrected for the node position by the correction unit 113 is output to the drawing unit 115 .
  • the drawing unit 115 has a function of repartitioning the area based on a plurality of line segments connected to the corrected nodes. That is, the drawing unit 115 corrects the line segments that were originally connected to the corrected nodes, and repartitions and draws the area that partitions the image of the roof 101 using the corrected line segments.
  • FIG. 9 is a diagram showing an example of drawing processing by the drawing unit 115 according to one embodiment of the present invention.
  • the drawing unit 115 draws line segments 103i', 103d', and 103i' so as to connect to the corrected node 102c'.
  • the line segment 103i' is drawn so that the angles Ang1 and Ang2 formed by the line segments 103b and 103m are equal.
  • line segment 103c' is drawn so that angles Ang3 and Ang4 formed by line segments 103a and 103b are equal.
  • the drawing unit 115 generates line segments based on the nodes after correction, and repartitions the area that partitions the image of the roof 101 .
  • Information about the area repartitioned by the rendering unit 115 is output to the output control unit 117 .
  • 10 to 12 are diagrams showing other examples of correction processing by the correction unit 113 and drawing processing by the drawing unit 115 according to one embodiment of the present invention.
  • an example of the correction processing of the node 102d in the correction target area 152 shown in FIG. 6 will be described.
  • line segments 103m and 103n corresponding to the eaves and line segment 103j corresponding to the valley are connected to the node 102h.
  • Line segment 103 j is also connected to node 102 d corresponding to the top of roof 101 .
  • the node 102d is connected to line segments 103d and 103e corresponding to the ridges.
  • the roof portion corresponding to the partitioned area 162 and the roof portion corresponding to the partitioned area 163 have the same slope.
  • the angle Ang3 formed by the line segments 103m and 103j is substantially the same as the angle Ang4 formed by the line segments 103n and 103j. Therefore, the correction unit 113 uses the line segment 103j connecting to the node 102d (corresponding to the top) inside the area as a reference line segment, and calculates the angle formed by the reference line segment and the other two line segments (103m, 103n). are corrected to be the same.
  • a virtual line segment 107 is set such that the angles Ang5 and Ang6 are the same, and the node 102d' is positioned on the virtual line segment 107. corrected.
  • the correction unit 113 corrects the position of the node to the position of the illustrated node 102d'.
  • the drawing unit 115 draws line segments 103d', 103e', and 103j' so as to connect to the corrected node 102d'.
  • the line segment 103j' is drawn so that the angles Ang5 and Ang6 formed by the line segments 103m and 103n are equal.
  • the drawing unit 115 generates line segments based on the nodes after correction, and repartitions the area that partitions the image of the roof 101 .
  • the output control unit 117 outputs information related to the area repartitioned by the drawing unit 115 .
  • the output mode of the output control unit 117 is not particularly limited, and the output control unit 117 may display the area repartitioned by the drawing unit 115 on the display surface 12a of the touch panel unit 12, for example. Further, the output control unit 117 may display the areas before and after the correction, or may display the image of the roof 101 and the areas in a superimposed manner. At that time, the image of the roof 101 may be displayed as it is, or may be displayed after being deformed according to the area after correction.
  • FIG. 13 is a diagram showing an example of an output mode by the output control section 117 according to one embodiment of the present invention.
  • the output control unit 117 displays an area 108 drawn using the nodes after correction on the display surface 12a.
  • the configuration of the roof 101 that is closer to parallel projection can be obtained, and the shape and dimensions of the roof 101 can be obtained with higher accuracy. For example, it is possible to create an upside-down drawing with higher dimensions, and to calculate the area of the roof 101 with high accuracy.
  • FIG. 14 is a diagram showing another example of the output mode by the output control section 117 according to one embodiment of the present invention.
  • the illustrated example is an example of a plan view 108 of the roof 101 .
  • the output control unit 117 may create a plan view 108 of the roof 101 using the corrected node information and line segment information.
  • the output control unit 117 may output information regarding the areas of the partitioned regions 161 to 166 corresponding to the respective portions (objects) of the roof 101.
  • the information about the area is information about the numerical value of the area of each part or the whole, and the output mode of the information is not particularly limited, and may be a numerical value, a color map, or the like.
  • the output control unit 117 calculates the areas of the divided regions 161 to 166 before the node positions are corrected by the correction unit 113 .
  • the length of such an area and the like are acquired in advance.
  • the correction unit 113 performs node position correction processing, and when each region is repartitioned, the output control unit 117 corrects the previously calculated area based on the repartitioned region.
  • the output control unit 117 corrects the area of the region before correction using various types of information after correction, but the present invention is not limited to this example.
  • the output control unit 117 may directly calculate the area of the roof from the repartitioned area.
  • the output control unit 117 may output information about the area using information about the slope of each part (corresponding to the partitioned areas 161 to 166) of the roof 101, which is the object. Since the partitioned regions 161 to 166 displayed on the display surface 12a are mapped onto a plane, the area can be calculated with higher accuracy by using information about the gradient (for example, the numerical value and direction of the gradient). Information about the gradient is obtained by the obtaining unit 111 obtaining the gradient information 127 of the target area information database 119 .
  • FIG. 15 is a diagram showing a display example of line segment information 121 and node information 123 according to another embodiment of the present invention.
  • nodes 202a-202l and line segments 203a-203o are set, and a region 205 of the roof 201 is displayed.
  • Attributes are set for these nodes 202a to 202l and line segments 203a to 203o.
  • the meaning of each attribute is as shown in Tables 1 and 2.
  • Legend 204 is a legend similar to legend 104 . Sectioned areas 261 to 264 corresponding to the roof portions of the roof 201 are set by these line segments.
  • line segments 203c, 203f, 203j, 203l, 203m, and 203o correspond to the gable verge of the roof 101. Then, in an image captured from a high place, the tops of the verges (corresponding to nodes 202d, 202i, and 202j) may be projected outward due to central projection. Therefore, the information processing system 1 according to the present embodiment can obtain the shape and dimensions of the roof 201 with higher precision by correcting these nodes.
  • 16 and 17 are diagrams showing an example of correction processing by the correction unit 113 and an example of drawing processing by the drawing unit 115 according to this embodiment.
  • an example of the correction processing of the node 202i in the correction target area 251 shown in FIG. 15 will be described. Similar correction processing can be performed on the correction target areas 252 and 253 as well.
  • line segments 203j and 203m corresponding to the verge and line segment 203k corresponding to the ridge are connected to a node 202i (Rake Top Vertex).
  • the line segment 203j is connected to the node 202a (Corner).
  • the line segment 203m is connected to the node 202k (Corner). That is, the line segments 203j and 203m have the same component parts of the object, and the number of line segments connected to the nodes 202a and 202k (nodes other than the node 202i connected to the line segments 203j and 203m) is 2.
  • the correction unit 113 defines a line segment 206 connecting the nodes 202a and 202k, and performs correction processing using a point on the line segment 206 as the correction position of the node 202i.
  • the roof portion corresponding to the partitioned area 261 and the roof portion corresponding to the partitioned area 262 have the same gradient across the line segment 203k' corresponding to the eaves.
  • the midpoint 207 of the line segment 206 corresponds to the corrected position of the node 202i. Therefore, as shown in FIG. 17, the correction unit 113 corrects the position of the node 202i to the node 202i' so that the position of the node 202i becomes the position of the midpoint 207.
  • the correction unit 113 may correct the position of the node using the information regarding the gradient. For example, the correction unit 113 may use the numerical value of the gradient as a weight, and process the position corresponding to the weight among the line segments connecting the nodes corresponding to the corners of the roof as the correction position of the node.
  • the drawing unit 115 corrects the line segments 203j, 203k, and 203m according to the corrected node 202i' to make line segments 203j', 203k', and 203m', and redivides and draws the area.
  • FIG. 18 is a diagram showing an example of an output mode by the output control section 117 according to this embodiment. As illustrated, the output control unit 117 displays an area 208 drawn using the nodes after correction on the display surface 12a. As described above, even when the structures of the objects are different, the information processing system 1 according to the present embodiment can obtain the shape and dimensions of the structures of the objects with higher accuracy.
  • FIG. 19 is a diagram showing a display example of line segment information and node information according to a modification of one embodiment of the present invention.
  • An object 305 displayed on the display surface 12a shown in FIG. 19 is an object obtained by three-dimensional modeling of a roof, which is an object.
  • such an object may be modeled based on information obtained using a stereo camera or the like.
  • the object is based on an image obtained by central projection, depending on the circumstances under which the object is imaged. Therefore, as mentioned above, the geometrical accuracy of the obtained object is not necessarily high.
  • the line segment information 121 and the node information 123 obtained by setting the node 302 and the line segment 303 for the object 305, and the object linked to the line segment information Based on the object part information 125 (shown in legend 304), the position of node 302 can be corrected. Therefore, it is possible to improve the accuracy of the shape and dimensions of the object even for the three-dimensionally modeled object.
  • FIG. 20 is a flow chart showing an example of the processing flow of the information processing system 1 according to one embodiment of the present invention.
  • the acquisition unit 111 of the information processing terminal 10 acquires the line segment information 121, the node information 123, and the object part information 125 stored in the storage 11c, and outputs them to the correction unit 113 (step SQ101 ).
  • the correction unit 113 corrects the positions of the nodes included in the node information 123 based on the line segment information 121 and the target part information 125 (step SQ103).
  • the drawing unit 115 repartitions the area based on the line segments connecting to the corrected nodes (step SQ105). Then, the output control unit 117 outputs information about the repartitioned area (step SQ107).
  • FIG. 21 is a diagram showing an outline of an information processing system 1' according to another embodiment.
  • an information processing system 1 ′ comprises an information processing terminal 10 and a server 20 .
  • some or all of the functions of the processor 11a and the storage 11c of the information processing terminal 10 according to the above-described embodiment may be implemented by the processor and storage of the server 20.
  • the object is the roof 101 of the building 100
  • it may be a tree or an arbitrary ground surface. It may be an object such as The constituent parts of the object are appropriately set according to the type of the object and the specific structure of the object.
  • each step in the above embodiment does not necessarily have to be processed in chronological order according to the order described in the flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • an acquisition unit that acquires information related to a plurality of line segments that partition a region corresponding to an object related to a target object and nodes that connect the plurality of line segments; a correction unit that corrects the position of the node based on information related to the part of the object associated with each of the plurality of line segments; a rendering unit that repartitions the region based on a plurality of line segments connected to the corrected nodes; an output control unit that outputs information related to the repartitioned region;
  • An information processing system comprising (2) The information processing system according to (1), wherein the correction unit corrects the position of the node based on angle information formed by a plurality of line segments connecting to one node.
  • a line segment in which the other node of the three line segments connected to the one node is inside the region is set as a reference line segment
  • the correction unit corrects the position of the other node.
  • the acquisition unit acquires information related to a gradient of the object in each of the plurality of regions
  • the output control unit calculates the area of the object in each of the areas before correction, and corrects the area using information about the repartitioned area.
  • the acquisition unit acquires information related to a gradient of the object in each of the plurality of regions, The information processing system according to (8) or (9), wherein the output control unit outputs information regarding the area of the object in each of the regions using the information regarding the gradient.
  • the output control unit displays information related to the area repartitioned by the drawing unit.
  • the object related to the target is an image of the target included in an image captured from above the target.
  • the object related to the target object is a three-dimensional modeled object.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】画像に映る対象物の形状寸法の精度を向上させることができる情報処理システムを提供する。 【解決手段】情報処理システムは、対象物に係るオブジェクトに対応する領域を区画する複数の線分、および上記複数の線分を接続するノードに係る情報を取得する取得部と、上記複数の線分の各々に関連づけられた上記対象物の部位に係る情報に基づいて、上記ノードの位置を補正する補正部と、補正された上記ノードに接続する複数の線分に基づいて上記領域を再区画する描画部と、再区画された上記領域に係る情報を出力する出力制御部と、を備える。

Description

情報処理システム
　本発明は、情報処理システムに関する。
　対象物を高所から観察したり、上空から地上を空撮したり、あるいは立ち入りが困難な領域を観察したりする場合には、近年、複数のプロペラの回転によって飛行するいわゆるドローンあるいはマルチコプタといった飛行体が用いられることがある。このような飛行体を用いて高所から対象物を撮像して生成された画像が、対象物の点検や測量等に用いられることがある。
　例えば特許文献１には、飛行体に搭載したカメラで対象物を撮像した画像から対象物である屋根の形状寸法を測定し、かかる形状寸法から屋根の面積を算出する技術が開示されている。
特開２００３－１６２５５２号公報
　しかしながら、上記特許文献に開示された技術においては、高所から撮像される対象物の画像は中心投影によりパースがかかるので、対象物を平行投影して見る形状と高所からの撮像画像に写る対象物の形状は異なることが多い。そのため、画像に写る対象物の形状寸法の精度は決して高くない。
　本発明は、上記事情に鑑みてなされたものであり、画像に映る対象物の形状寸法の精度を向上させることを課題とするものである。
　上記課題を達成するための、本発明に係る情報処理システムは、対象物に係るオブジェクトに対応する領域を区画する複数の線分、および上記複数の線分を接続するノードに係る情報を取得する取得部と、上記複数の線分の各々に関連づけられた上記対象物の部位に係る情報に基づいて、上記ノードの位置を補正する補正部と、補正された上記ノードに接続する複数の線分に基づいて上記領域を再区画する描画部と、再区画された上記領域に係る情報を出力する出力制御部と、を備えることを特徴としている。
　この情報処理システムによれば、画像に写る対象物に係るオブジェクトに対応する領域を区画する線分の該対象物の構成部位に係る特徴から、該線分を接続するノードの位置をその対象物に適するように補正することが可能である。そのため、画像に写る対象物の形状寸法をより精度高く得ることができる。
　本発明によれば、画像に映る対象物の形状寸法の精度を向上させることができる。
本発明の一実施形態に係る情報処理システムの概略を示す図である。 同実施形態に係る情報処理端末の構成を示すブロック図である。 同実施形態に係るプロセッサおよびストレージの機能構成を示すブロック図である。 同実施形態に係る画像情報の生成態様の一例を示す図である。 同実施形態に係る画像情報の表示例を示す図である。 同実施形態に係る線分情報およびノード情報の表示例を示す図である。 同実施形態に係る補正部による補正処理の一例を示す図である。 同実施形態に係る補正部による補正処理の一例を示す図である。 同実施形態に係る描画部による描画処理の一例を示す図である。 同実施形態に係る補正部による補正処理の一例を示す図である。 同実施形態に係る補正部による補正処理の一例を示す図である。 同実施形態に係る描画部による描画処理の一例を示す図である。 同実施形態に係る出力制御部による出力態様の一例を示す図である。 同実施形態に係る出力制御部による出力態様の他の例を示す図である。 本発明の他の実施形態に係る線分情報およびノード情報の表示例を示す図である。 同実施形態に係る補正部による補正処理の一例を示す図である。 同実施形態に係る描画部による描画処理の一例を示す図である。 同実施形態に係る出力制御部による出力態様の一例を示す図である。 本発明の一実施形態の変形例に係る線分情報およびノード情報の表示例を示す図である。 本発明の一実施形態に係る情報処理システムの処理の流れの一例を示すフローチャートである。 本発明の他の実施形態に係る情報処理システムの概略を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の一実施形態に係る情報処理システムの概略を示す図である。図示のように、情報処理システム１は、情報処理端末１０を備える。
　本実施形態に係る情報処理システム１は、対象物である建造物１００の屋根１０１を撮像した画像から、屋根１０１の伏せ図を作成するものである。その際、情報処理システム１は、画像に写る屋根１０１に対応する領域について補正を行うことで、形状寸法の精度の高い伏せ図を提供する。
　本実施形態に係る情報処理端末１０は、いわゆるタブレット状の小型のコンピュータによって実装される。他の実施形態においては、情報処理端末１０は、スマートフォンまたはゲーム機等の携帯型の情報処理端末により実現されてもよいし、パーソナルコンピュータ等の据え置き型の情報処理端末により実現されてもよい。また、情報処理端末１０は、複数のハードウェアにより実現され、それらに機能が分散された構成を有してもよい。
　図２は、本発明の一実施形態に係る情報処理端末１０の構成を示すブロック図である。図示のように、情報処理端末１０は、制御部１１及び表示部であるタッチパネル部１２を備える。
　制御部１１は、プロセッサ１１ａ、メモリ１１ｂ、ストレージ１１ｃ、送受信部１１ｄ、及び入出力部１１ｅを主要構成として備え、これらが互いにバス１１ｆを介して電気的に接続される。
　プロセッサ１１ａは、制御部１１の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。
　このプロセッサ１１ａは、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、後述するストレージ１１ｃに格納されてメモリ１１ｂに展開されたプログラムを実行して各処理を行う。
　メモリ１１ｂは、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
　このメモリ１１ｂは、プロセッサ１１ａの作業領域として使用される一方、制御部１１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
　ストレージ１１ｃは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、屋根１０１の画像情報、線分情報、ノード情報または対象物部位情報等のデータベースや、これらの情報を処理するためのプログラムが格納されていてもよい。
　送受信部１１ｄは、制御部１１をインターネット網等のネットワークに接続するものであって、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。
　本実施形態では、例えば、飛行体１０の飛行を制御する制御信号が、この送受信部１１ｄを介して飛行体１０に送信されてもよい。
　入出力部１１ｅは、入出力機器が接続されるインターフェースであって、本実施形態では、タッチパネル部１２が接続される。
　バス１１ｆは、接続したプロセッサ１１ａ、メモリ１１ｂ、ストレージ１１ｃ、送受信部１１ｄ及び入出力部１１ｅの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
　タッチパネル部１２は、表示部の一例であり、取得した映像や画像が表示される表示面１２ａを備える。この表示面１２ａは、本実施形態では、表示面１２ａへの接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。
　例えば、ユーザは、表示面１２ａに表示された画像に対して、タッチパネル部１２を介して、線分情報やノード情報を入力し得る。また、表示面１２ａには、制御部１１により出力される表示情報が表示される。
　図３は、本発明の一実施形態に係るプロセッサ１１ａおよびストレージ１１ｃの機能構成を示すブロック図である。図示のように、プロセッサ１１ａは、取得部１１１、補正部１１３、描画部１１５および表示制御部１１７を備える。また、ストレージ１１ｃは、対象領域情報データベース（ＤＢ）１１９を備える。対象領域情報データベース１１９には、線分情報１２１、ノード情報１２３、対象物部位情報１２５および勾配情報１２７が格納されている。またストレージ１１ｃには、屋根１０１を撮像して得られる画像情報が格納されていてもよい。
　本実施形態に係る情報処理システム１の各機能部の機能について説明する。取得部１１１は、対象領域情報データベース１１９から各種情報を取得する機能を有する。例えば、取得部１１１は、対象領域情報データベース１１９に含まれる線分情報１２１、ノード情報１２３、対象物部位情報１２５および勾配情報１２７を取得する。
　線分情報１２１およびノード情報１２３は、例えば、屋根１０１の像に対応する領域を区画するためのノードおよび線分に関する情報である。線分情報１２１は、表示面１２ａに表示させた際の線分の位置、向きおよび属性に関する情報を意味する。線分は、対象物に係るオブジェクトを区画する領域の外側および内側の境界の一部であり、対象物の構成部位に対応する。例えば、対象物が屋根１０１である場合、線分に対応する構成部位とは、軒や棟等である。
　ノード情報１２３を表示面１２ａに表示させた際のノードの位置を示す情報を意味する。ノードは、かかる複数の線分を接続する頂点を意味する。なお、対象物が屋根１０１である場合、ノードに対応する構成部位とは、軒や棟等の端部（頂部）である。ノード情報１２３はノードの位置に関する情報を含む。ノードの位置に関する情報とは、
　線分情報１２１およびノード情報１２３は、例えば、携帯情報端末１０を操作するユーザが表示面１２ａに対する操作により生成されてもよい。具体的には、表示面１２ａに屋根１０１が映る画像が表示されている場合、ユーザは、タッチパネル部１２に対して、屋根１０１の構成部位に対応する線分およびノードを設定する操作を行ってもよい。
　対象物部位情報１２５は、対象物の構成部位に関する情報である。すなわち、対象物が屋根１０１である場合、対象物部位情報１２５は、軒や棟等を示す情報である。かかる対象物部位情報１２５は、上述した線分情報１２１に紐づけられる。かかる紐づけ処理は、ユーザの操作により行われてもよいし、所定のアルゴリズムや機械学習に基づいて行われてもよい。紐づけ処理の一例については後述する。かかる対象物部位情報１２５は、後述するノードの位置の補正に用いられ得る。
　勾配情報１２７は、上述した区画領域に対応する対象物の部分の勾配に関する情報である。例えば、対象物が屋根１０１である場合、勾配情報１２７は、屋根の勾配を示す情報である。かかる勾配情報１２７は、後述するノードの位置の補正や、屋根１０１の面積の算出に用いられ得る。
　なお画像情報は、線分情報およびノード情報の生成に用いられ得る。かかる画像情報は、本実施形態では、画像情報を用いて線分情報およびノード情報を生成するケースをもとに説明する。
　図４は、本発明の一実施形態に係る画像情報の生成態様の一例を示す。図示のように、かかる画像情報は、屋根１０１の上空に飛行する飛行体３０に付随するカメラ３１が、屋根１０１を対象物として撮像することにより生成される画像情報であってもよい。飛行体３０により得られる画像情報は、例えば、ストレージ１１ｃに格納される。
　このとき、図４に示すように、カメラ３１による撮像画像は中心投影である。そのため、飛行体３０の高度（屋根１０１の各部位との距離）およびカメラ３１の画角によっては、屋根１０１の上部から平行投影して見る実際の平面構造と、カメラ３１により撮像されて得られる屋根１０１の像とは、形状が異なる場合がある。すなわち、被写体である屋根１０１に対してパースがかかっているため、実際の平面構造と形状が異なる可能性がある。
　図５は、本発明の一実施形態に係る画像情報の表示例を示す図である。図示のように、表示面１２ａには、建造物１００の屋根１０１を含む画像が表示される。このとき、対象領域１５１、１５２、１５３においては、カメラ３１と屋根１０１の各部位との距離および画角に応じてパースがかかっている。そのため、屋根１０１の頂部１５４、１５５、１５６は、実際の屋根１０１の上部から見た平面構造における位置とは異なる位置となっている。
　例えば、この画像情報をもとに屋根１０１の伏せ図（屋根の平面図）を作成しようとすると、パースがかかっている状態の屋根１０１の頂部の位置を反映した伏せ図が作成されてしまう。そうすると、例えば屋根１０１の面積をかかる伏せ図から算出する際に、正確な値を得ることが難しい。
　本実施形態に係る情報処理システム１は、線分情報、ノード情報および対象物部位情報を用いてより高い精度の形状寸法を得るための処理を行うことが可能である。以下、各機能部の説明を続ける。
　取得部１１１は、取得した線分情報１２１およびノード情報１２３をタッチパネル部１２の表示面１２ａに表示してもよい。図６は、本発明の一実施形態に係る線分情報１２１およびノード情報１２３の表示例を示す図である。図示のように、ノード１０２ａ～１０２ｌおよび線分１０３ａ～１０３ｏが設定される。このとき、表示されている屋根１０１の画像に対して、ノードおよび線分が重畳されるようにユーザが入力することで、ノード１０２ａ～１０２ｌおよび線分１０３ａ～１０３ｏが設定されてもよい。このとき、対象物に係るオブジェクトを区画する領域とは、各線分１０３ａ～１０３ｏにより囲まれる領域を指す。また、領域の外周とは、図６で示すように、区画する領域の最外側に対応する線分により構成される部分を指す。また、領域の内側とは、かかる領域の外周に囲まれる内側の部分を意味する。区画領域とは、領域の内側において各線分により区画された単位の領域を意味する。なお、ノード１０２ａ～１０２ｌに記載されている数字は後述するノードの属性を示す数字であり、表示面１２ａにノードと重畳して表示されてもよく、されなくてもよい。
　なお、線分情報１２１およびノード情報１２３は、屋根１０１が映る画像に対する画像認識処理により、ノードおよび線分に相当する部分を抽出することで生成されてもよい。かかる画像認識処理は、例えば、ディープラーニング等の公知の機械学習による手法が用いられてもよい。この場合、例えば、屋根１０１が映る画像と屋根１０１の構成部位とに関する学習モデルを用いることで、画像認識処理が実現され得る。画像認識処理は、携帯情報端末１０のプロセッサ１１ａにおいて行われてもよい。
　これらのノード１０２ａ～１０２ｌおよび線分１０３ａ～１０３ｏには、それぞれ属性が設定されている。このうち、線分１０３の属性は、対象物部位情報１２５により紐づけされる属性である。表１および表２にノードおよび線分の属性に関する情報を示す。表１および表２に示す例では、各ノードは接続する線分およびノードの領域における位置に基づいて決定される。また、線分の両端におけるノードの属性の組み合わせに応じて、線分１０３に紐づく対象物の構成部位が自動的に決定される。なお、凡例１０４は、線分１０３に紐づく対象物の構成部位を線分１０３の表示態様に関連付けて示すための凡例である。
　なお、線分の属性（すなわち対象物の構成部位）は、ユーザの入力によって決定されてもよい。例えば、表示面１２ａに線分および候補となる対象物の構成部位に関する情報が提示され、ユーザの入力に基づいて、各線分がどの構成部位に対応するかが決定されてもよい。
　取得部１１１は、取得した各種情報を補正部１１３に出力する。
　補正部１１３は、線分情報１２１に紐づけられている対象物部位情報１２５に基づいて、ノード情報１２３を補正する。具体的には、補正部１１３は、各線分に紐づけられている対象物の部位に関する情報に基づいて、ノードの位置に関する情報を補正する。以下、補正部１１３によるノードの位置の補正処理の例について説明する。
　図７および図８は、本発明の一実施形態に係る補正部１１３による補正処理の一例を示す図である。ここでは、図６に示す補正対象領域１５１におけるノード１０２ｃの補正処理の一例について説明する。補正対象領域１５３に対しても同様の補正処理が可能である。
　図７に示すように、補正対象領域１５１においては、軒に対応する線分１０３ｂ、１０３ｍと、隅棟に対応する線分１０３ｉがノード１０２ｇ（Ｏｕｔｅｒ　Ｖｅｒｔｅｘ）に接続されている。また、線分１０３ｉは、屋根１０１の頂部に対応するノード１０２ｃ（Ｔｏｐ　Ｖｅｒｔｅｘ）に接続されている。ノード１０２ｃは、隅棟に対応する線分１０３ｃと棟に対応する線分１０３ｄと接続されている。
　一般的に、同じ頂部（ここではノード１０２ｃ）を有する屋根の各々は同じ勾配を有する。この場合だと、区画領域１６１に対応する屋根部分と区画領域１６２に対応する屋根部分は同じ勾配を有する。このことを鑑みると、屋根１０１を平行投影して見る際に、線分１０３ｂと線分１０３ｉとが成す角度Ａｎｇ１と、線分１０３ｍと線分１０３ｉとが成す角度Ａｎｇ２とは、略同一となる。そこで補正部１１３は、領域の内部にあるノード１０２ｃ（頂部に相当する）と接続する線分１０３ｉを基準線分として、基準線分と他の２つの線分（１０３ｂ、１０３ｍ）とが成す角度Ａｎｇ１、Ａｎｇ２が同一となるように補正を行う。区画領域１６１に対応する屋根部分と区画領域１６６に対応する屋根部分も同じ勾配を有するので、補正部１１３は、線分１０３ｃを基準線分として、線分１０３ａ、１０３ｂとが成す角度Ａｎｇ３、Ａｎｇ４が同一となるように補正を行う。
　この場合、例えば、図８に示すように、角度Ａｎｇ１と角度Ａｎｇ２とを同一にするような仮想線分１０６が設定され、仮想線分１０６上に位置するようにノード１０２ｃが補正される。その際、補正対象領域１５１の上側の各線分同士（線分１０３ｂ、１０３ａ、１０３ｃ）が成す角度Ａｎｇ１、Ａｎｇ２についても同様に同一となるように仮想線分１０６が設定され、線分１０３ｃが接続するノード１０２ｃが補正される。その結果、補正部１１３は、ノードの位置を図示するノード１０２ｃ’の位置に補正する。
　このように、補正部１１３は複数の線分からなる角度情報に基づいてノードの位置を補正することができる。補正部１１３によりノードの位置について補正されたノード情報は、描画部１１５に出力される。
　描画部１１５は、補正されたノードに接続する複数の線分に基づいて領域を再区画する機能を有する。すなわち、描画部１１５は、補正されたノードに元々接続された線分を補正し、屋根１０１の像を区画する領域を補正後の線分を用いて再区画して描画する。
　図９は、本発明の一実施形態に係る描画部１１５による描画処理の一例を示す図である。図９に示すように、描画部１１５は補正されたノード１０２ｃ’に接続するように線分１０３ｉ’、１０３ｄ’、１０３ｉ’を描画する。かかる線分１０３ｉ’は、線分１０３ｂおよび１０３ｍとの成す角度Ａｎｇ１、Ａｎｇ２が等しくなるように描画される。同様に、線分１０３ｃ’は、線分１０３ａおよび１０３ｂとの成す角度Ａｎｇ３、Ａｎｇ４が等しくなるように描画される。このようにして描画部１１５は補正後のノードに基づく線分を生成し、屋根１０１の像を区画する領域を再区画する。
　描画部１１５により再区画された領域に関する情報は、出力制御部１１７に出力される。
　ここで、補正部１１３による補正処理および描画部１１５による描画処理について別の例を示す。図１０～図１２は、本発明の一実施形態に係る補正部１１３による補正処理および描画部１１５による描画処理の他の例を示す図である。ここでは、図６に示す補正対象領域１５２におけるノード１０２ｄの補正処理の一例について説明する。
　図１０に示すように、補正対象領域１５２においては、軒に対応する線分１０３ｍ、１０３ｎと、谷に対応する線分１０３ｊがノード１０２ｈに接続されている。また、線分１０３ｊは、屋根１０１の頂部に対応するノード１０２ｄに接続されている。ノード１０２ｄは、棟に対応する線分１０３ｄ、１０３ｅと接続されている。
　ここで、区画領域１６２に対応する屋根部分と区画領域１６３に対応する屋根部分は同じ勾配を有する。この場合、屋根１０１を平行投影して見る際に、線分１０３ｍと線分１０３ｊとが成す角度Ａｎｇ３と、線分１０３ｎと線分１０３ｊとが成す角度Ａｎｇ４とは、略同一となる。そこで補正部１１３は、領域の内部にあるノード１０２ｄ（頂部に相当する）と接続する線分１０３ｊを基準線分として、基準線分と他の２つの線分（１０３ｍ、１０３ｎ）とが成す角度が同一となるように補正を行う。
　この場合上述したケースと同様に、図１１に示すように、角度Ａｎｇ５と角度Ａｎｇ６とを同一にするような仮想線分１０７が設定され、仮想線分１０７上に位置するようにノード１０２ｄ’が補正される。その結果、補正部１１３は、ノードの位置を図示するノード１０２ｄ’の位置に補正する。
　次に描画部１１５は、図１２に示すように、描画部１１５は補正されたノード１０２ｄ’に接続するように線分１０３ｄ’、１０３ｅ’、１０３ｊ’を描画する。かかる線分１０３ｊ’は、線分１０３ｍおよび１０３ｎとの成す角度Ａｎｇ５、Ａｎｇ６が等しくなるように描画される。このようにして描画部１１５は補正後のノードに基づく線分を生成し、屋根１０１の像を区画する領域を再区画する。
　出力制御部１１７は、描画部１１５により再区画された領域に係る情報を出力する。出力制御部１１７による出力態様は特に限定されず、出力制御部１１７は、例えば、描画部１１５により再区画された領域をタッチパネル部１２の表示面１２ａに表示してもよい。また、出力制御部１１７は、補正前後の領域をそれぞれ表示させてもよいし、屋根１０１の画像と該領域を重畳して表示してもよい。その際、屋根１０１の画像は、そのまま表示されてもよいし、補正後の領域に応じて画像を変形して表示されてもよい。
　図１３は、本発明の一実施形態に係る出力制御部１１７による出力態様の一例を示す図である。図示するように、出力制御部１１７は、補正後のノードを用いて描画された領域１０８を表示面１２ａに表示する。これにより、より平行投影に近い屋根１０１の構成を得ることができ、屋根１０１の形状寸法をより高い精度で得ることができる。例えば、より形状寸法の高い伏せ図を作成することや、屋根１０１の面積を高い精度で算出することが可能となる。
　図１４は、本発明の一実施形態に係る出力制御部１１７による出力態様の他の例を示す図である。図示する例は、屋根１０１の伏せ図１０８の例である。出力制御部１１７は、補正後のノード情報と線分情報を用いて屋根１０１の伏せ図１０８を作成してもよい。
　また、出力制御部１１７は、屋根１０１のそれぞれの部分（対象物）に対応する区画領域１６１－１６６の面積に関する情報を出力してもよい。面積に関する情報とは、各部分または全体の面積の数値に関する情報であり、該情報の出力態様は特に限定されず、数値やカラーマップ等であってもよい。
　具体的には以下のような方法を取りうる。まず、出力制御部１１７は、補正部１１３によりノードの位置が補正される前の各区画領域１６１－１６６の面積を算出する。かかる領域の長さ等は事前に取得される。その後補正部１１３によるノードの位置の補正処理が行われ、各領域が再区画された際に、出力制御部１１７は、先に算出された面積を再区画後の領域に基づいて補正する。
　このように、補正されたノードに基づく領域を用いることにより、より高い精度で屋根の面積を算出することが可能である。なお、上記の例では、出力制御部１１７は、補正前の領域の面積を補正後の各種情報を用いて補正する処理としたが、本発明はかかる例に限定されない。例えば、出力制御部１１７は、再区画された後の領域から直接屋根の面積を算出してもよい。
　また、出力制御部１１７は、対象物である屋根１０１の各部分（区画領域１６１－１６６に対応する）の勾配に関する情報を用いて、面積に関する情報を出力してもよい。表示面１２ａに表示される区画領域１６１－１６６は平面に写像されているため、勾配に関する情報（例えば勾配の数値や向き）を用いることで、さらに高い精度で面積を算出することができる。勾配に関する情報は、取得部１１１が対象領域情報データベース１１９の勾配情報１２７を取得することで得られる。
　以上、本発明の一実施形態に係る情報処理システム１の機能について説明した。次に、本発明の他の実施形態に係る情報処理システム１の機能について説明する。ここでは、対象物である屋根１０１の構成部位が異なるケースの補正処理について説明する。
　図１５は、本発明の他の実施形態に係る線分情報１２１およびノード情報１２３の表示例を示す図である。図示のように、ノード２０２ａ～２０２ｌおよび線分２０３ａ～２０３ｏが設定され、屋根２０１について領域２０５が表示されている。これらのノード２０２ａ～２０２ｌおよび線分２０３ａ～２０３ｏには、それぞれ属性が設定されている。各属性の意味は、表１および表２に示したとおりである。凡例２０４は凡例１０４と同様の凡例である。これらの線分により、屋根２０１の屋根部分に相当する区画領域２６１～２６４が設定されている。
　対象領域２５１、２５２、２５３においては、線分２０３ｃ、２０３ｆ、２０３ｊ、２０３ｌ、２０３ｍ、２０３ｏが屋根１０１の切妻のケラバに対応する。すると、高所から撮像した画像では、中心投影によりケラバの頂部（ノード２０２ｄ、２０２ｉ、２０２ｊに相当）が外方に出張った状態で写ることがある。そこで、本実施形態に係る情報処理システム１は、これらのノードを補正することで、屋根２０１のより高い精度の形状寸法を得ることが可能となる。
　図１６、図１７は、本実施形態に係る補正部１１３による補正処理の一例および描画部１１５による描画処理の一例を示す図である。ここでは、図１５に示す補正対象領域２５１におけるノード２０２ｉの補正処理の一例について説明する。補正対象領域２５２、２５３に対しても同様の補正処理が可能である。
　図１６に示すように、補正対象領域２５１においては、ケラバに対応する線分２０３ｊ、２０３ｍと、棟に対応する線分２０３ｋがノード２０２ｉ（Ｒａｋｅ　Ｔｏｐ　Ｖｅｒｔｅｘ）に接続されている。また、線分２０３ｊは、ノード２０２ａ（Ｃｏｒｎｅｒ）に接続されている。線分２０３ｍは、ノード２０２ｋ（Ｃｏｒｎｅｒ）に接続されている。すなわち、線分２０３ｊ、２０３ｍは対象物の構成部位が同一であり、ノード２０２ａ、ノード２０２ｋ（線分２０３ｊ、２０３ｍと接続するノード２０２ｉとは他方のノード）に接続する線分の数がいずれも２である。
　一般的に屋根の切妻を構成するケラバは、上方からの平行投影においては、屋根の角（Ｃｏｒｎｅｒに相当）と角とを一直線に結ぶように見える。そこで、補正部１１３は、図１６に示すように、ノード２０２ａとノード２０２ｋとを結ぶ線分２０６を定義し、線分２０６上の点をノード２０２ｉの補正位置として補正処理を行う。
　図１６に示した例では、軒に対応する線分２０３ｋ’を挟んで、区画領域２６１に相当する屋根部分と区画領域２６２に相当する屋根部分との間で勾配が等しい。この場合、ノード２０２ｉの補正位置としては、線分２０６の中点２０７に相当する。したがって、図１７に示すように、補正部１１３は、ノード２０２ｉの位置が中点２０７の位置になるようノード２０２ｉ’に補正する。
　なお、上述する区画領域に相当する屋根部分との間で勾配が等しくない場合、画像上では同じ大きさを有する屋根に見えても、実際の棟の頂部の位置が異なり、屋根の大きさが大きく異なる場合がある。この場合、補正部１１３は、該勾配に関する情報を用いてノードの位置を補正してもよい。例えば、補正部１１３は、勾配の数値等を重みにして、屋根の角に相当するノード同士を結ぶ線分のうち、該重みに応じた位置をノードの補正位置として処理してもよい。
　そして描画部１１５は、補正されたノード２０２ｉ’に応じて線分２０３ｊ、２０３ｋ、２０３ｍを補正して線分２０３ｊ’、２０３ｋ’、２０３ｍ’とし、領域を再区画して描画する。
　図１８は、本実施形態に係る出力制御部１１７による出力態様の一例を示す図である。図示するように、出力制御部１１７は、補正後のノードを用いて描画された領域２０８を表示面１２ａに表示する。このように、対象物の構造が異なる場合においても、本実施形態に係る情報処理システム１により、対象物の構造の形状寸法をより高い精度で得ることができる。
　次に本発明の一実施形態の変形例について説明する。上記実施形態では、屋根１０１の上方から撮像されて得られる画像をもとに線分情報およびノード情報を取得するものとしたが、本発明はかかる例に限定されない。図１９は、本発明の一実施形態の変形例に係る線分情報およびノード情報の表示例を示す図である。図１９に示す表示面１２ａに表示されるオブジェクト３０５は、対象物である屋根を三次元モデリングして得られるオブジェクトである。
　かかるオブジェクトは、例えば対象物をステレオカメラ等を用いて得られた情報に基づいてモデリングされたものであってもよい。このような場合、対象物を撮像する状況によっては、中心投影で得られた画像に基づくオブジェクトである可能性が高い。そのため、上述したように、得られたオブジェクトの形状寸法の精度は必ずしも高くない。
　そこで、本実施形態に係る情報処理システム１を用いることで、かかるオブジェクト３０５に関して、ノード３０２および線分３０３を設定して得られる線分情報１２１およびノード情報１２３と、線分情報に紐づく対象物部位情報１２５（凡例３０４に示す）に基づいて、ノード３０２の位置を補正することができる。よって、三次元モデリングされたオブジェクトに対してであっても、対象物の形状寸法の精度を向上させることができる。
　次に、本実施形態に係る情報処理システム１における処理の流れについて説明する。図２０は、本発明の一実施形態に係る情報処理システム１の処理の流れの一例を示すフローチャートである。図示のように、まず情報処理端末１０の取得部１１１は、ストレージ１１ｃに格納されている線分情報１２１、ノード情報１２３および対象物部位情報１２５を取得し、補正部１１３に出力する（ステップＳＱ１０１）。次に、補正部１１３は、線分情報１２１および対象物部位情報１２５に基づき、ノード情報１２３に含まれるノードの位置を補正する（ステップＳＱ１０３）。
　次に、描画部１１５は、補正されたノードに接続する線分に基づいて領域を再区画する（ステップＳＱ１０５）。そして、出力制御部１１７は、再区画された領域に関する情報を出力する（ステップＳＱ１０７）。
　以上説明したように、本発明の実施形態によれば、画像に写る対象物の形状寸法の精度を向上させることが可能である。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　例えば、他の実施形態においては、情報処理システム１は、情報処理端末１０のみにより実現されていたが、本発明はかかる例に限定されない。図２１は、他の実施形態に係る情報処理システム１’の概略を示す図である。他の実施形態では、情報処理システム１’は、情報処理端末１０およびサーバ２０を備える。この場合、例えば、上記の実施形態に係る情報処理端末１０のプロセッサ１１ａおよびストレージ１１ｃが有していた機能の一部または全部が、サーバ２０の備えるプロセッサやストレージにより実現されてもよい。
　また、上記実施の形態では、対象物が建造物１００の屋根１０１である場合を説明したが、樹木や任意の地表面であってもよく、更には、一時的に停止している自動車や動物といった物体であってもよい。対象物の構成部位は、その対象物の種類や対象物が有する特定の構造に応じて適宜設定される。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本発明の技術的範囲に属する。
（１）
　対象物に係るオブジェクトに対応する領域を区画する複数の線分、および上記複数の線分を接続するノードに係る情報を取得する取得部と、
　上記複数の線分の各々に関連づけられた上記対象物の部位に係る情報に基づいて、上記ノードの位置を補正する補正部と、
　補正された上記ノードに接続する複数の線分に基づいて上記領域を再区画する描画部と、
　再区画された上記領域に係る情報を出力する出力制御部と、
　を備える情報処理システム。
（２）
　上記補正部は、一のノードに接続する複数の線分からなる角度の情報に基づいて、上記ノードの位置を補正する、（１）に記載の情報処理システム。
（３）
　上記一のノードに接続する３つの線分のうち他方のノードが上記領域の内部にある線分を基準線分とし、
　上記補正部は、上記基準線分と他の２つの線分とのそれぞれと成す角度が同一となるように上記ノードの位置を補正する、（２）に記載の情報処理システム。
（４）
　上記補正部は、上記他方のノードの位置を補正する、（３）に記載の情報処理システム。
（５）
　一のノードに接続する３つの線分のうち２つの線分に係る対象物の部位が同一であり、
　上記２つの線分の上記一のノードとは異なる他方のノードの各々に接続する線分の数がいずれも２である場合、
　上記補正部は、上記一のノードを、上記他方のノードの各々を直接結ぶ線分上となる位置に補正する、（１）～（４）のいずれか一項に記載の情報処理システム。
（６）
　上記補正部は、上記一のノードを、上記線分の中点となる位置に補正する、（５）に記載の情報処理システム。
（７）
　上記取得部は、上記複数の領域の各々における上記対象物の勾配に係る情報を取得し、
　上記補正部は、上記２つの線分のそれぞれが区画する領域の各々における対象物の上記勾配に基づいて、上記一のノードを補正する、（５）または（６）に記載の情報処理システム。
（８）
　上記出力制御部は、上記領域の各々における上記対象物の面積に関する情報を出力する、（１）～（７）のいずれか一項に記載の情報処理システム。
（９）
　上記出力制御部は、補正前の上記領域の各々における上記対象物の面積を算出し、再区画された領域に関する情報を用いて上記面積を補正する、（８）に記載の情報処理システム。
（１０）
　上記取得部は、上記複数の領域の各々における上記対象物の勾配に係る情報を取得し、
上記出力制御部は、上記勾配に係る情報を用いて上記領域の各々における上記対象物の面積に関する情報を出力する、（８）または（９）に記載の情報処理システム。
（１１）
　上記出力制御部は、上記描画部により再区画された領域に係る情報を表示する、（１）～（１０）のいずれか一項に記載の情報処理システム。
（１２）
　上記対象物に係るオブジェクトは、上記対象物の上方から撮像された画像に含まれる対象物の像である、請求項（１）～（１１）のいずれか一項に記載の情報処理システム。
（１３）
　上記対象物に係るオブジェクトは、三次元モデリングされたオブジェクトである、（１）～（１２）のいずれか一項に記載の情報処理システム。
１　　情報処理システム
１０　　情報処理端末
１１　　制御部
１２　　タッチパネル部（表示部）
１００、２００　　建造物
１０１、２０１　　屋根（対象物）
１０２、２０２、３０２　　ノード
１０３、２０３、３０３　　線分
１１１　　取得部
１１３　　補正部
１１５　　描画部
１１７　　出力制御部
１２１　　線分情報
１２３　　ノード情報
１２５　　対象物部位情報
１２７　　勾配情報

Claims (13)

  1. 　対象物に係るオブジェクトに対応する領域を区画する複数の線分、および前記複数の線分を接続するノードに係る情報を取得する取得部と、
    　前記複数の線分の各々に関連づけられた前記対象物の部位に係る情報に基づいて、前記ノードの位置を補正する補正部と、
    　補正された前記ノードに接続する複数の線分に基づいて前記領域を再区画する描画部と、
    　再区画された前記領域に係る情報を出力する出力制御部と、
    　を備える情報処理システム。
  2. 　前記補正部は、一のノードに接続する複数の線分からなる角度の情報に基づいて、前記ノードの位置を補正する、請求項１に記載の情報処理システム。
  3. 　前記一のノードに接続する３つの線分のうち他方のノードが前記領域の内部にある線分を基準線分とし、
    　前記補正部は、前記基準線分と他の２つの線分とのそれぞれと成す角度が同一となるように前記ノードの位置を補正する、請求項２に記載の情報処理システム。
  4. 　前記補正部は、前記他方のノードの位置を補正する、請求項３に記載の情報処理システム。
  5. 　一のノードに接続する３つの線分のうち２つの線分に係る対象物の部位が同一であり、
    　前記２つの線分の前記一のノードとは異なる他方のノードの各々に接続する線分の数がいずれも２である場合、
    　前記補正部は、前記一のノードを、前記他方のノードの各々を直接結ぶ線分上となる位置に補正する、請求項１～４のいずれか一項に記載の情報処理システム。
  6. 　前記補正部は、前記一のノードを、前記線分の中点となる位置に補正する、請求項５に記載の情報処理システム。
  7. 　前記取得部は、前記複数の領域の各々における前記対象物の勾配に係る情報を取得し、
    　前記補正部は、前記２つの線分のそれぞれが区画する領域の各々における対象物の前記勾配に基づいて、前記一のノードを補正する、請求項５または６に記載の情報処理システム。
  8. 　前記出力制御部は、前記領域の各々における前記対象物の面積に関する情報を出力する、請求項１～７のいずれか一項に記載の情報処理システム。
  9. 　前記出力制御部は、補正前の前記領域の各々における前記対象物の面積を算出し、再区画された領域に関する情報を用いて前記面積を補正する、請求項８に記載の情報処理システム。
  10. 　前記取得部は、前記複数の領域の各々における前記対象物の勾配に係る情報を取得し、
    前記出力制御部は、前記勾配に係る情報を用いて前記領域の各々における前記対象物の面積に関する情報を出力する、請求項８または９に記載の情報処理システム。
  11. 　前記出力制御部は、前記描画部により再区画された領域に係る情報を表示する、請求項１～１０のいずれか一項に記載の情報処理システム。
  12. 　前記対象物に係るオブジェクトは、前記対象物の上方から撮像された画像に含まれる対象物の像である、請求項１～１１のいずれか一項に記載の情報処理システム。
  13. 　前記対象物に係るオブジェクトは、三次元モデリングされたオブジェクトである、請求項１～１２のいずれか一項に記載の情報処理システム。
     
PCT/JP2022/006026 2022-02-15 2022-02-15 情報処理システム WO2023157100A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/006026 WO2023157100A1 (ja) 2022-02-15 2022-02-15 情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/006026 WO2023157100A1 (ja) 2022-02-15 2022-02-15 情報処理システム

Publications (1)

Publication Number Publication Date
WO2023157100A1 true WO2023157100A1 (ja) 2023-08-24

Family

ID=87577769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006026 WO2023157100A1 (ja) 2022-02-15 2022-02-15 情報処理システム

Country Status (1)

Country Link
WO (1) WO2023157100A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032551A (ja) * 2006-07-28 2008-02-14 Okamura Printing Industries Co Ltd ゲージ板による屋根面積の算出方法
US20100114537A1 (en) * 2008-10-31 2010-05-06 Eagle View Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
JP2014010098A (ja) * 2012-07-02 2014-01-20 Olympus Corp 計測装置、計測方法、およびプログラム
US20150234947A1 (en) * 2013-11-04 2015-08-20 Aurora Solar Inc. Estimation of Three-Dimensional Models of Roofs from Spatial Two-Dimensional Graphs
JP2021002247A (ja) * 2019-06-24 2021-01-07 株式会社Ｃｌｕｅ 情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032551A (ja) * 2006-07-28 2008-02-14 Okamura Printing Industries Co Ltd ゲージ板による屋根面積の算出方法
US20100114537A1 (en) * 2008-10-31 2010-05-06 Eagle View Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
JP2014010098A (ja) * 2012-07-02 2014-01-20 Olympus Corp 計測装置、計測方法、およびプログラム
US20150234947A1 (en) * 2013-11-04 2015-08-20 Aurora Solar Inc. Estimation of Three-Dimensional Models of Roofs from Spatial Two-Dimensional Graphs
JP2021002247A (ja) * 2019-06-24 2021-01-07 株式会社Ｃｌｕｅ 情報処理システム

Similar Documents

Publication Publication Date Title
US10657714B2 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
JP2022087153A (ja) 情報処理システム
CN109447326B (zh) 无人机迁移轨迹生成方法、装置、电子设备和存储介质
CN111707238B (zh) 一种生成航空数字正射影像图的方法及系统
JP2017182695A (ja) 情報処理プログラム、情報処理方法および情報処理装置
US20200349727A1 (en) Obstacle detection method, mobile platform, and computer readable storage medium
US10147240B2 (en) Product image processing method, and apparatus and system thereof
US20240144617A1 (en) Methods and systems for anchoring objects in augmented or virtual reality
CN112561788A (zh) 一种bim模型的二维展开方法及纹理贴图方法、装置
WO2024051458A1 (zh) 续扫重定位方法、装置、设备、存储介质及三维续扫方法
CN111382618A (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN113034347B (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
WO2022062355A1 (zh) 一种融合定位方法及装置
WO2023157100A1 (ja) 情報処理システム
US10748351B1 (en) Shape refinement of three dimensional shape model
CN116912417A (zh) 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质
CN115619986B (zh) 场景漫游方法、装置、设备和介质
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
JP2022103427A (ja) 情報処理システム
CN115731334A (zh) 模型纹理生成方法、装置、计算机设备和存储介质
WO2023157099A1 (ja) 情報処理システム
US20170228926A1 (en) Determining Two-Dimensional Images Using Three-Dimensional Models
JP7362179B1 (ja) 情報処理システム、情報処理方法及びプログラム
CN117315035B (zh) 一种车辆朝向的处理方法、装置以及处理设备
WO2023199594A1 (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22927003

Country of ref document: EP

Kind code of ref document: A1