WO2023219155A1 - 情報処理装置、データ構造、プログラム - Google Patents

情報処理装置、データ構造、プログラム Download PDF

Info

Publication number
WO2023219155A1
WO2023219155A1 PCT/JP2023/017857 JP2023017857W WO2023219155A1 WO 2023219155 A1 WO2023219155 A1 WO 2023219155A1 JP 2023017857 W JP2023017857 W JP 2023017857W WO 2023219155 A1 WO2023219155 A1 WO 2023219155A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud data
feature
evaluation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/017857
Other languages
English (en)
French (fr)
Inventor
幹太 安田
紀夫 安田
貫之 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2024520495A priority Critical patent/JPWO2023219155A1/ja
Publication of WO2023219155A1 publication Critical patent/WO2023219155A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This technology uses an information processing device that generates point cloud data showing the three-dimensional structure of the target area based on sensing data of the target area, a data structure related to the point cloud data, and a device that controls the display of the point cloud data. and a program for executing the same.
  • sensing data of a target area such as a construction site by taking aerial photographs of the target area using a drone
  • point cloud data that shows the three-dimensional structure of the target area based on the sensing data
  • This patent document 1 also discloses a technique for removing objects other than the ground surface, such as construction equipment and buildings, as unnecessary objects.
  • a configuration may be considered in which the adjustment of the number of point clouds of unnecessary objects according to user operations as described above is performed not by the device that generates point cloud data, but by a user terminal used by the user, such as a tablet terminal. .
  • the user terminal accepts the threshold value designation operation while displaying the point cloud data received from the device that generates the point cloud data to the user. If a threshold value is specified, the threshold value is sent to the device that generates point cloud data, the number of point clouds is adjusted based on the threshold value, and the point cloud data after the number adjustment is received. , to display to the user. This allows the user to check the point cloud data on the display screen of the user terminal, the number of which has been adjusted according to the specified threshold.
  • the device that generates the point cloud data adjusts the number of point clouds based on the threshold each time the user specifies the threshold, and Point cloud data will be transmitted to the user terminal. Therefore, in the user terminal, the response speed from the user's threshold designation operation to the display of point cloud data according to the designated threshold decreases.
  • This technology was developed in view of the above circumstances, and when an external device separate from the device that generates point cloud data controls the display of point cloud data based on user operations, the technology It is an object of the present invention to improve the response speed until point cloud data is displayed based on the user operation.
  • the information processing device includes a point cloud generation unit that generates point cloud data indicating a three-dimensional structure of the target area based on sensing data of the target area, and a result of analyzing a captured image of the target area.
  • a feature evaluation unit that evaluates the characteristics of a subject in the target area based on the above, a correlation unit that associates evaluation information of the feature with the point cloud data, and a correspondence unit that corresponds to the point cloud data and the point cloud data.
  • an output processing unit that performs a process of outputting the attached evaluation information to an external device.
  • the external device when the external device is a device that performs display control of point cloud data based on user operations, the external device uses feature evaluation information received together with the point cloud data to control the display of point cloud data based on user operations. It becomes possible to completely control the display of point cloud data based on the data within the own device.
  • the data structure according to the present technology includes a point cloud generation unit that generates point cloud data indicating a three-dimensional structure of the target area based on sensing data of the target area, and a point cloud generation unit that analyzes captured images of the target area.
  • an information processing device includes a feature evaluation unit that evaluates the characteristics of the object in the target area, and a correlation unit that associates evaluation information of the feature with the point cloud data.
  • a data structure of data to be output to an external device that performs data display control, the data structure including the point cloud data and the evaluation information associated with the point cloud data, the external device This is a data structure used to control the display of the point cloud data according to user operations based on information.
  • an external device that controls the display of point cloud data based on user operations can internally control the display of point cloud data based on user operations using the feature evaluation information received with the point cloud data. This can be done completely.
  • the program according to the present technology is a program readable by a computer device, and includes a point cloud generation unit that generates point cloud data indicating a three-dimensional structure of the target area based on sensing data of the target area; a feature evaluation unit that evaluates the characteristics of a subject in the target area based on a result of analyzing a captured image of the target area; and a matching unit that associates evaluation information of the feature with the point cloud data.
  • the point cloud data and the evaluation information associated with the point cloud data are received from the information processing device provided, and display control of the point cloud data is performed in accordance with user operations based on the evaluation information.
  • This is a program that causes the computer device to execute a process. This makes it possible to realize a device that can completely control the display of point cloud data based on user operations within the device itself, using feature evaluation information received together with point cloud data from the information processing device. Become.
  • FIG. 1 is a diagram illustrating a configuration overview of an information processing system as a first embodiment according to the present technology.
  • FIG. 3 is a diagram illustrating a GUI related to adjusting the number of display point groups in the embodiment.
  • FIG. 2 is an explanatory diagram of the current method.
  • FIG. 2 is an explanatory diagram of an example of a method as an embodiment.
  • FIG. 1 is a block diagram showing an example of an internal configuration of an information processing device according to a first embodiment.
  • FIG. 3 is a diagram showing an example of the structure of multiplexed data in the embodiment. It is a block diagram showing an example of the internal configuration of a user terminal (external device) in an embodiment. 2 is a flowchart showing processing as an embodiment executed by a user terminal.
  • FIG. 2 is a block diagram showing an example of the internal configuration of an information processing device according to a second embodiment. It is a diagram showing a configuration example of an information processing system as a modification.
  • First embodiment> (1-1. System overview) (1-2. Overview of the current method and the method of the embodiment) (1-3. About information processing equipment) (1-4. About user terminals) (1-5. Processing on the user terminal side) (1-6. Other examples related to feature evaluation) (1-7. Other examples related to metadata superimposition) ⁇ 2.
  • Second embodiment> ⁇ 3.
  • Modified example> ⁇ 4. Summary of embodiments> ⁇ 5. This technology>
  • FIG. 1 is a diagram illustrating a configuration overview of an information processing system as a first embodiment according to the present technology.
  • the information processing system according to the first embodiment includes an information processing device 1, a user terminal 2, an imaging device 3, and a mobile body M.
  • the information processing device 1 and the user terminal 2 are configured as computer devices having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the imaging device 3 is configured with an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type, and obtains a captured image of a subject.
  • the imaging device 3 has color filters for individually receiving R (red) light, B (blue) light, and G (green) light, and receives light reception signals of these R, B, and G lights.
  • the camera is configured as an RGB camera that obtains a color image as a captured image based on the following.
  • the moving body M broadly refers to an object that can be moved while the imaging device 3 is mounted thereon.
  • the mobile object M is a flying object such as a drone, an airplane, or a helicopter.
  • the moving body M equipped with the imaging device 3 is moved over the target area At, such as a construction site, for example, while the imaging device 3 images the target area At.
  • the imaging device 3 divides the target area At into a plurality of areas and performs imaging for each area. That is, a plurality of captured images of different areas of the target area At are obtained as the captured images of the target area At.
  • the information processing device 1 generates point cloud data indicating the three-dimensional structure of the target area At based on a plurality of captured images captured for each area of the target area At as described above.
  • the information processing device 1 evaluates the characteristics of the subject at a plurality of positions within the target area At based on a plurality of captured images captured for each area of the target area At as described above. Specifically, the information processing device 1 in this example evaluates the degree of unnecessaryness of the object as an evaluation of the characteristics of the object.
  • the unnecessary object degree here means an evaluation value representing the likelihood of an unnecessary object being an object other than the ground surface in the target area At.
  • the reason why objects other than the earth's surface are treated as unnecessary objects is that in this example, the purpose is to obtain point cloud data indicating the structure (three-dimensional shape) of the earth's surface. Note that in this example, the unnecessary object degree is calculated based on the result of performing image recognition processing as semantic segmentation on the captured image, but the details will be explained later.
  • the user terminal 2 is a device different from the information processing device 1 that is expected to be used by a user, and in this example, is a portable computer device.
  • Specific device forms of the user terminal 2 include, for example, a smartphone, a tablet terminal, a notebook personal computer, and the like.
  • the device form of the user terminal 2 may be smart glasses, a head mounted display, or the like.
  • the user terminal 2 receives point cloud data from the information processing device 1 and performs display control of the point cloud data. Specifically, as this display control, the user terminal 2 performs a process of adjusting the number of displayed point groups, as illustrated in FIG. 2, for example. More specifically, on the user terminal 2, an image that visualized point cloud data and an adjustment operator Oa for adjusting the threshold of the degree of unnecessary objects were displayed, as illustrated in FIGS. 2A and 2B, for example. A process of displaying a screen (hereinafter referred to as "point cloud adjustment screen Ga”) to the user is performed.
  • point cloud adjustment screen Ga A process of displaying a screen (hereinafter referred to as "point cloud adjustment screen Ga") to the user is performed.
  • the user terminal 2 removes the point cloud whose unnecessary object degree is equal to or higher than the specified threshold value from among the point cloud data.
  • the group data is displayed on the point group adjustment screen Ga.
  • FIG. 2A to FIG. 2B shows an example in which the number of point clouds displayed on the point cloud adjustment screen Ga is reduced in response to an operation to reduce the threshold using the adjustment operator Oa. There is.
  • an external device different from the device that generates point cloud data (information processing device 1) controls the display of point cloud data based on user operations.
  • a method for the user terminal 2 to control the display of point cloud data based on user operations a method as shown in FIG. 3 is currently adopted.
  • the information processing device 1 evaluates the degree of unnecessaryness of the point group. Then, the information processing device 1 transmits the point cloud data to the user terminal 2 as indicated by ⁇ 2>.
  • the user terminal 2 that has received the point cloud data displays the point cloud data and accepts operations, as shown in ⁇ 3>. That is, the received point cloud data is displayed on the point cloud adjustment screen Ga, and an operation for the adjustment operator Oa is accepted (that is, an operation for specifying a threshold value for the degree of unnecessary objects is accepted).
  • the user terminal 2 transmits the threshold value of the degree of unnecessary objects according to the operation to the information processing apparatus 1, as shown by ⁇ 4> in FIG. 3B. Then, the information processing device 1 performs a process of extracting a point group based on the threshold value, as shown in ⁇ 5>. That is, the number of point groups is adjusted so that only point groups whose unnecessary object degree is less than a threshold value are left. In other words, the number of point groups is adjusted so as to remove point groups whose degree of unnecessary object is larger than the threshold value.
  • the information processing device 1 transmits the extracted point cloud data to the user terminal 2, as shown in ⁇ 6> in FIG. 3C. Then, the user terminal 2 displays the extracted point cloud data and accepts operations, as shown in ⁇ 7>. Although not shown, when a new threshold is specified by an operation, the user terminal 2 transmits the specified threshold to the information processing device 1, and the information processing device 1 uses the point cloud based on the transmitted threshold. is extracted and sent to the user terminal 2.
  • the information processing device 1 that generates point cloud data adjusts the number of point clouds based on the threshold every time the user specifies a threshold, and the user of the point cloud data after the number adjustment. Transmission to terminal 2 will be performed. For this reason, in the user terminal 2, the response speed from the user's threshold designation operation to the display of point cloud data according to the designated threshold decreases.
  • a method as shown in FIG. 4 is adopted, for example. That is, as shown in the figure, the information processing device 1 evaluates the unnecessary object degree of the point cloud ( ⁇ 1> in the figure), and then transfers the point cloud data and the unnecessary object degree to the user terminal 2 as shown by ⁇ a>. Send (output) to.
  • the user terminal 2 that has received the point cloud data and the degree of unnecessary objects first displays the point cloud data and accepts operations, as in ⁇ 3> above, but then performs an operation to specify the threshold value of the degree of unnecessary objects. If there is, as indicated by ⁇ b>, a process is performed to extract point cloud data based on the threshold value specified by the operation.
  • the user terminal 2 uses the feature evaluation information received together with the point cloud data from the information processing device 1 to control the display of the point cloud data based on the operation of the user terminal 2. It becomes possible to do this completely within the company. That is, when controlling the display of point cloud data based on an operation, it is necessary to transmit a threshold value specified by the operation to the information processing device 1, and to receive point cloud data whose number has been adjusted on the information processing device 1 side. disappears. Therefore, it is possible to improve the response speed from when a user operation is performed to when point cloud data based on the user operation is displayed.
  • FIG. 5 is a block diagram showing an example of the internal configuration of the information processing device 1.
  • the information processing device 1 includes a memory section 10, a point cloud generation section 11, a feature evaluation section 12, a multiplexing section 13, a communication section 14, a point cloud number adjustment section 15, and a control section 16. These units are able to perform data communication with each other via the bus 17.
  • the memory unit 10 is constituted by a nonvolatile memory such as an HDD (Hard Disk Drive) or an SDD (Solid State Drive), and is used to store various data handled by the information processing device 1.
  • the memory unit 10 stores a captured image obtained by the imaging device 3 capturing an image of the target area At. Specifically, these are a plurality of captured images obtained by capturing images of different areas within the target area At using the imaging device 3 mounted on the mobile body M.
  • images captured by the imaging device 3 are stored in the memory unit 10 via the communication unit 14.
  • the imaging device 3 sequentially transfers captured images to the information processing device 1 while imaging the target area At, and stores the captured images sequentially transferred in this way in the memory unit 10.
  • the point cloud generation unit 11 generates point cloud data indicating the three-dimensional structure of the target area At based on the sensing data of the target area At. Specifically, the point cloud generation unit 11 of this example generates a three-dimensional image of the target area At based on a plurality of captured images stored in the memory unit 10, which are captured images while moving on the target area At. Generate point cloud data that shows the structure. In this example, the point cloud generation unit 11 generates point cloud data using SfM (Structure from Motion). As is well known, SfM is a technique for determining the three-dimensional structure of an object and the camera position from a plurality of captured images captured while changing the viewpoint of the camera.
  • SfM Structure from Motion
  • point cloud data indicating the three-dimensional structure of an object is generated based on the results of detecting corresponding points (same feature points) from a plurality of captured images captured while changing the camera viewpoint.
  • the point cloud data here includes coordinate information (X coordinate, Y coordinate, Z coordinate) in three-dimensional space and brightness values of R, G, and B for each recognized point (corresponding point above). It is generated as information that associates the
  • the feature evaluation unit 12 evaluates the characteristics of the subject at a plurality of positions within the target area At based on the results of analyzing the captured image of the target area At. Specifically, the feature evaluation unit 12 in this example applies a machine-learned artificial intelligence model (for example, an artificial intelligence model based on CNN (Convolutional Neural Network), etc.) to the plurality of captured images stored in the memory unit 10. Using this method, image recognition processing is performed as semantic segmentation, and the degree of unnecessary objects for the point group is calculated based on the image recognition results.
  • a machine-learned artificial intelligence model for example, an artificial intelligence model based on CNN (Convolutional Neural Network), etc.
  • the unnecessary object degree of a point cloud belonging to a segment in which an object of a specific class is recognized is set to be larger than the unnecessary object degree of a point cloud belonging to a segment in which an object of a non-specific class is recognized.
  • the classes of objects to be recognized by semantic segmentation include, for example, classes of unnecessary objects such as construction equipment and buildings.
  • the unnecessaryness here is that the unnecessaryness of a point group belonging to a segment in which an object in the unnecessary object class is recognized is the unnecessaryness degree of a point cloud belonging to a segment in which an object in the non-unnecessary object class is recognized. Calculate so that it is larger than the physical property.
  • the unnecessary object degree is calculated as a value weighted according to the likelihood of image recognition (evaluation index of certainty of recognition) in image recognition processing using an artificial intelligence model.
  • corresponding point detection is performed for multiple captured images from different imaging viewpoints, and points in three-dimensional space are recognized based on the positional relationship of the corresponding points in each captured image. Therefore, it is known which pixel in the captured image corresponds to which point in the point cloud data. Therefore, when image recognition processing is performed on a captured image, it is determined which point group in the point cloud data corresponds to an image area in which an object of the target class has been recognized.
  • the unnecessary object degree calculated by the feature evaluation unit 12 is an example of evaluation information that evaluates the characteristics of the subject.
  • the multiplexing unit 13 inputs the point cloud data obtained by the point cloud generation unit 11 and the unnecessary object degree (evaluation information of the subject's features) obtained by the feature evaluation unit 12, and performs processing on the point cloud data. Obtain multiplexed data in which the degree of unnecessary objects is superimposed as metadata.
  • FIG. 6 is a diagram showing an example of the structure of multiplexed data generated by the multiplexer 13.
  • the multiplexed data corresponds to each point data in the point cloud data (data in which information on X coordinates, Y coordinates, and Z coordinates is associated with R, G, and B brightness values).
  • the metadata that is, in this example, the unnecessary object degree is associated with the metadata.
  • the communication unit 14 comprehensively represents a communication device that performs wired/wireless communication with various devices and communication processing via a transmission path such as the Internet.
  • the information processing device 1 is able to perform data communication with the imaging device 3 and the user terminal 2 via the communication unit 14 .
  • the point cloud number adjustment section 15 adjusts the number of point clouds for the point cloud data generated by the point cloud generation section 11 based on the evaluation information of the object's features obtained by the feature evaluation section 12 (unnecessary object degree in this example). Perform adjustment processing. Specifically, the point group number adjustment section 15 performs a point group number adjustment process based on the evaluation information of the object's features obtained by the feature evaluation section 12 and the feature instruction information instructed by the control section 16. .
  • the feature instruction information here means information for indicating the feature of the point group to be extracted, and in this example, the above-mentioned threshold value, that is, the threshold value for the degree of unnecessary objects, corresponds to this information.
  • the determined threshold is transmitted to the information processing device 1 (control unit 16).
  • the point cloud number adjustment unit 15 of this example adjusts the number of point clouds for the point cloud data based on the threshold transmitted from the user terminal 2 and the unnecessary object degree for each point obtained by the feature evaluation unit 12. Perform adjustment processing.
  • the control unit 16 is configured with a microcomputer having, for example, a CPU, a ROM, a RAM, etc., and the CPU executes processing according to a program stored in the ROM or a program loaded in the RAM, so that information is stored. Performs overall control of the processing device 1. Specifically, the control unit 16 performs point cloud data generation processing by the point cloud generation unit 11, feature evaluation processing by the feature evaluation unit 12, multiplexed data generation processing by the multiplexing unit 13, and point cloud number adjustment unit. Regarding the point group number adjustment process according to No. 15, control such as instruction to execute the process is performed.
  • control unit 16 performs data communication with the imaging device 3 and the user terminal 2 (CPU 21 described later) via the communication unit 14.
  • the control unit 16 performs a process of transmitting (outputting) the multiplexed data generated by the multiplexing unit 13 to the user terminal 2 via the communication unit 14 in response to a transmission request from the user terminal 2 side.
  • the user terminal 2 side can completely control the display of point cloud data based on user operations within its own device, using the metadata (unnecessary object degree in this example) received along with the point cloud data. It becomes possible to do so.
  • control unit 16 uses the point cloud data generated by the point cloud generation unit 11 and the evaluation information of the characteristics of the subject calculated by the feature evaluation unit 12 (in this example, the unnecessary object degree for each point in the point cloud data).
  • a process for storing data in the memory unit 10 is performed.
  • the point group number adjustment section 15 performs point group number adjustment processing using the point cloud data and the evaluation information of the characteristics of the subject stored in the memory section 10 in this way.
  • FIG. 7 is a block diagram showing an example of the internal configuration of the user terminal 2.
  • the user terminal 2 includes a CPU 21.
  • the CPU 21 functions as an arithmetic processing unit that performs the various processes described above as processing of the user terminal 2, and stores data in a ROM 22 or a nonvolatile memory unit 24 such as an EEP-ROM (Electrically Erasable Programmable Read-Only Memory).
  • ROM 22 Read Only Memory
  • EEP-ROM Electrically Erasable Programmable Read-Only Memory
  • Various processes are executed according to the programs currently running or programs loaded from the storage unit 29 to the RAM 23.
  • the RAM 23 also appropriately stores data necessary for the CPU 21 to execute various processes.
  • the CPU 21, ROM 22, RAM 23, and nonvolatile memory section 24 are interconnected via a bus 33.
  • An input/output interface (I/F) 25 is also connected to this bus 33 .
  • the input/output interface 25 is connected to an input section 26 consisting of an operator or an operating device.
  • the input unit 26 may be various operators or operating devices such as a keyboard, mouse, keys, dial, touch panel, touch pad, or remote controller.
  • a user's operation is detected by the input unit 26, and a signal corresponding to the input operation is interpreted by the CPU 21.
  • a display section 27 made of an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) panel, and an audio output section 28 made of a speaker or the like, either integrally or separately.
  • the display unit 27 is used to display various information, and is configured by, for example, a display device provided in the housing of the computer device, a separate display device connected to the computer device, or the like.
  • the display unit 27 displays images for various image processing, moving images to be processed, etc. on the display screen based on instructions from the CPU 21. Further, the display unit 27 displays various operation menus, icons, messages, etc., ie, as a GUI (Graphical User Interface), based on instructions from the CPU 21.
  • GUI Graphic User Interface
  • the input/output interface 25 may be connected to a storage section 29 made up of an HDD (Hard Disk Drive), a solid state memory, etc., and a communication section 30 made up of a modem or the like.
  • a storage section 29 made up of an HDD (Hard Disk Drive), a solid state memory, etc.
  • a communication section 30 made up of a modem or the like.
  • the communication unit 30 performs communication processing via a transmission path such as the Internet, and communicates with various devices by wired/wireless communication, bus communication, etc.
  • a drive 31 is also connected to the input/output interface 25 as necessary, and a removable storage medium 32 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately installed.
  • the drive 31 can read data files such as programs used for each process from the removable storage medium 32.
  • the read data file is stored in the storage section 29, and images and sounds included in the data file are outputted on the display section 27 and the audio output section 28. Further, computer programs and the like read from the removable storage medium 32 are installed in the storage unit 29 as necessary.
  • software for the processing of this embodiment can be installed via network communication by the communication unit 30 or the removable storage medium 32.
  • the software may be stored in the ROM 22, storage unit 29, etc. in advance.
  • FIG. 8 is a flowchart showing the processing executed by the user terminal 2 as an embodiment.
  • the process shown in FIG. 8 is executed by the CPU 21 in the user terminal 2 based on a program stored in a predetermined storage device such as the storage unit 29, for example.
  • the process shown in FIG. 8 is executed by the CPU 21 based on an application (application program) for point group number adjustment operation installed in the user terminal 2 in advance.
  • this application is installed from the information processing device 1 to the storage unit 29 or the like via the communication unit 30 and used.
  • step S101 the CPU 21 performs a process of receiving point cloud data on which metadata is superimposed. That is, it makes a transmission request to the information processing device 1 (control unit 16), and receives multiplexed data transmitted from the information processing device 1 side in response to the transmission request.
  • step S102 the CPU 21 performs display processing of point cloud data and GUI. That is, as the above-mentioned point cloud adjustment screen Ga, a point cloud adjustment screen Ga that includes a display image of the point cloud data included in the multiplexed data received in step S101 and a GUI as the adjustment operator Oa is displayed on the display unit 27. Perform display processing. Note that in the process of step S102, the GUI as the adjustment operator Oa is first displayed on the display unit 27, and the point cloud data is displayed upon completion of drawing the point cloud data received in step S101. You can also use methods.
  • step S103 the CPU 21 determines whether an adjustment operation, that is, a threshold adjustment operation by the user using the adjustment operator Oa has been performed. If there is no adjustment operation, the CPU 21 proceeds to step S104, and determines whether a confirmation operation, that is, a predetermined operation to confirm the threshold value, has been performed. If there is no confirmation operation, the CPU 21 proceeds to step S105, and determines whether or not the application is to be terminated, i.e., as described above. It is determined whether a predetermined operation to instruct termination of the application for adjusting the number of point groups has been performed. In step S105, if the application has not ended, the CPU 21 returns to step S103.
  • step S103 if there is an adjustment operation, the CPU 21 proceeds to step S106 and performs a process of adjusting the number of display point groups according to the adjustment operation. That is, this is a process of adjusting the number of point groups displayed on the point cloud adjustment screen Ga based on the threshold value specified by the adjustment operation. Specifically, the CPU 21 compares the unnecessary object degree superimposed as metadata with a threshold value for each point in the point cloud data, and displays only the points whose unnecessary object degree is less than the threshold value on the point cloud adjustment screen Ga. control.
  • step S106 In response to having executed the process in step S106, the CPU 21 returns to step S103. As a result, if there is an adjustment operation again, the number adjustment process of step S106 is executed again. That is, each time the user moves the adjustment operator Oa, the number of points displayed on the point cloud adjustment screen Ga is adjusted.
  • step S104 If there is a confirmation operation in step S104, the CPU 21 proceeds to step S107, performs a process of transmitting the confirmed threshold value to the information processing device 1, and returns to step S103.
  • step S105 the CPU 21 ends the series of processes shown in FIG.
  • the user terminal 2 outputs the threshold determined by the process of step S107 to the information processing device 1.
  • the point group number adjustment unit 15 performs point group number adjustment processing.
  • This point group number adjustment process is performed as a so-called final number adjustment process for storing point cloud data in the information processing apparatus 1 based on the number of point groups determined by the user's operation.
  • point cloud data whose number of point groups has been adjusted in such a final number adjustment process is stored in a predetermined storage device such as the memory section 10 under the control of the control section 16 .
  • the user can transmit the point cloud data thus stored in the information processing device 1 to the user terminal 2, display it on the display unit 27, and view it.
  • the user terminal 2 stores the point cloud data of the determined number of point clouds on the information processing device 1 side. Instead of outputting the determined threshold value (feature instruction information). Thereby, it is possible to reduce the amount of transmitted data when the information processing device 1 stores point cloud data based on the determined number of point clouds.
  • the slope of the degree of unnecessaryness at the edge of the segment where unnecessary objects are recognized is the slope of the unnecessary object degree at the edge of the segment where unnecessary objects are recognized, if the area recognized as non-unnecessary objects is adjacent to the segment, the slope of the unnecessary object degree at the edge of the segment where unnecessary objects are recognized is It can also be extended to.
  • the slope of the degree of unnecessary objects at the edge of the segment in which unnecessary objects (objects on the ground in the figure) are recognized is expressed as An example of extending to the edge of the area is shown.
  • the degree of unnecessary objects has been illustrated as an example of evaluation information (feature evaluation information) that evaluates the characteristics of the subject with respect to a plurality of positions within the target area
  • the evaluation information of the characteristics is For example, it may be information on the class of an object recognized through image recognition processing as semantic segmentation.
  • the information processing device 1 control unit 16
  • the user terminal 2 performs adjustment processing of the number of display point groups not based on the threshold value specified by the operation, but based on information on the class of unnecessary objects specified by the operation.
  • a process is performed to remove a point group belonging to a segment in which an object of a specified class of unnecessary objects is recognized.
  • the information specifying the class of unnecessary items here corresponds to an example of "characteristic instruction information" in the present technology.
  • the user terminal 2 performs a process of removing point groups other than the point group belonging to the segment in which the object of the specified class has been recognized, as a process of adjusting the number of display point groups.
  • the metadata is superimposed on each point of the point cloud data, but it is not essential to superimpose the metadata on each point.
  • the feature evaluation information is the unnecessaryness level.
  • the unnecessary object degree is superimposed on some points, specifically one point belonging to the area in the illustrated example, and the remaining points are Avoid superimposing unnecessary physical properties on the object. For confirmation, this process is performed in the multiplexer 13.
  • a vegetation evaluation value is calculated based on a wavelength analysis image obtained by a multispectral camera (also referred to as a multispectral camera) as evaluation information of the characteristics of the subject.
  • FIG. 11 is a block diagram showing an example of the internal configuration of an information processing device 1A according to the second embodiment.
  • parts that are similar to parts that have already been explained will be designated by the same reference numerals and the description will be omitted.
  • the information processing system in the second embodiment includes a mobile body M, an imaging device 3, and a user terminal 2 along with the information processing device 1A.
  • the moving body M is equipped with a multispectral camera together with the imaging device 3.
  • the target area At is not a construction site but an area where plants are cultivated, such as a field.
  • the multispectral camera means a camera that obtains multiple narrowband images, specifically narrowband images of at least four wavelength bands or more, as captured images.
  • a plurality of narrowband images obtained by a multispectral camera indicate the amount of light received for each wavelength band with respect to incident light from the same subject. From this, the plurality of narrowband images obtained by the multispectral camera can be said to be wavelength analysis images that analyze which wavelength band and how much light is included in the incident light from the subject.
  • the imaging device 3 and the multispectral camera are performs imaging. That is, a plurality of images of different areas within the target area At are obtained as images taken by the imaging device 3 and wavelength analysis images by the multispectral camera, respectively.
  • the information processing device 1A differs from the information processing device 1 in that a feature evaluation section 12A is provided instead of the feature evaluation section 12. Further, in this case, in addition to the image captured by the imaging device 3, the memory unit 10 stores a wavelength analysis image obtained by the multispectral camera. These captured images and wavelength analysis images were obtained by performing imaging operations using the imaging device 3 and the multispectral camera while moving the mobile object M as described above, and were obtained by imaging different areas within the target area At. These are multiple captured images and wavelength analysis images.
  • the point cloud generation unit 11 generates point cloud data indicating the three-dimensional structure of the target area At based on the plurality of captured images stored in the memory unit 10, for example, by SfM.
  • the feature evaluation unit 12A calculates an evaluation value related to vegetation (vegetation evaluation value) for each point in the point cloud data based on the plurality of wavelength analysis images stored in the memory unit 10.
  • NDVI Normalized Difference Vagetation Index
  • NDVI can be calculated based on a narrowband image (R image) having a center wavelength of 660 nm and a narrowband image (NIR image) having a center wavelength of 800 nm.
  • R image narrowband image
  • NIR image narrowband image
  • the multiplexing unit 13 inputs the point cloud data generated by the point cloud generation unit 11 and the NDVI generated by the feature evaluation unit 12A, and generates multiplexed data in which the NDVI is superimposed on the point cloud data as metadata. generate. Then, the control unit 16 in this case performs a process of outputting the above-mentioned multiplexed data generated by the multiplexing unit 13 to the user terminal 2 via the communication unit 14 in response to a transmission request from the user terminal 2.
  • the application for adjusting the number of point groups on the user terminal 2 accepts an operation for specifying a threshold value for NDVI, and uses the specified threshold value and the NDVI included in the multiplexed data received from the information processing device 1A. Based on this, an application is used that adjusts the number of displayed point groups. Specifically, the process of adjusting the number of point groups in this case may be performed as a process of extracting point groups whose NDVI is greater than or equal to a threshold value.
  • the point cloud data after extraction can be It can be used as data indicating the area where fertilizers, pesticides, etc. have been sprayed.
  • the control unit 16 when the user terminal 2 (CPU 21) performs an operation to confirm the threshold value, the user terminal 2 (CPU 21) performs a process of outputting the determined threshold value to the information processing apparatus 1A.
  • the control unit 16 receives the determined threshold value from the user terminal 2, the control unit 16 causes the point group number adjustment unit 15 to adjust the determined threshold value to the point cloud data generated by the point cloud generation unit 11.
  • the process of adjusting the number of point groups (for example, the process of extracting a point group whose NDVI is greater than or equal to a threshold value) is executed.
  • the control unit 16 performs a process of storing the point cloud data adjusted by the point group number adjustment unit 15 in a predetermined storage device such as the memory unit 10.
  • the metadata superimposition method for reducing the amount of data as described above with reference to FIG. 10 can be adopted. Specifically, for a group of points having the same vegetation evaluation value, the vegetation evaluation value is superimposed on only some of the points, and the vegetation evaluation value is not superimposed on the remaining points.
  • a device performs (final) point cloud number adjustment processing based on the determined threshold value and stores the point cloud data after the point cloud number adjustment processing.
  • the information processing device 1 (or 1A) is the information processing device 1 (or 1A) that generates the point cloud data
  • the point cloud data storage destination device is the device that generates the point cloud data and the user terminal 2. It is also possible to use a separate device from the device that performs display control of such point cloud data.
  • FIG. 12 shows a configuration example of an information processing system as a modification in which the point cloud data storage destination device is a device different from the device that generates the point cloud data and the device that controls the display of the point cloud data.
  • the information processing system as a modified example includes an information processing device 1B, a user terminal 2B, and a server device 5.
  • the server device 5 corresponds to the point cloud data storage destination device.
  • the information processing device 1B, the user terminal 2B, and the server device 5 are capable of data communication via a predetermined network NT such as the Internet or a LAN (Local Area Network). has been done.
  • NT such as the Internet or a LAN (Local Area Network).
  • the server device 5 includes a communication section 51 and a memory section 52, as well as a point group number adjustment section 15.
  • the communication unit 51 is provided to perform data communication with the information processing device 1B and the user terminal 2B via the network NT.
  • the memory unit 52 is used as a storage destination memory for point cloud data after adjustment.
  • the information processing device 1 differs from the information processing device 1A in that the point group number adjustment unit 15 is omitted. Furthermore, in the information processing device 1B, the control unit 16 outputs multiplexed data including point cloud data and metadata to the user terminal 2B, and also outputs the multiplexed data to the server device 5.
  • the user terminal 2B accepts an operation to specify a threshold value, and adjusts the number of displayed point groups based on the specified threshold value and evaluation information as metadata (for example, unnecessary object level and vegetation evaluation value). Similar to the case of the user terminal 2, the user terminal 2B outputs the determined threshold value to the server device 5 in response to the operation to determine the threshold value.
  • the point cloud number adjustment unit 15 adjusts the point cloud data based on the point cloud data and metadata output from the information processing device 1B and the threshold output from the user terminal 2B as described above. Perform point group number adjustment processing. Then, in the server device 5, the point cloud data subjected to the point group number adjustment process by the point group number adjustment section 15 is stored in the memory section 52.
  • the information processing device 1B is an external device different from the server device 5, that is, the user terminal 2B, and the information processing device 1B is an external device that is different from the server device 5, that is, the user terminal 2B. Processing is performed to output point cloud data on which metadata is superimposed to another external device that performs number adjustment processing.
  • the server device 5 as a separate external device receives the threshold value (feature instruction information) determined by the user's operation from the user terminal 2B that controls the display of point cloud data, thereby determining the final point cloud data. It is possible to perform a number adjustment process.
  • an application for adjusting the number of display point groups is stored in the server device 5, and the user terminal 2B downloads the application from the server device 5 and uses it. It is also possible.
  • the point cloud data is generated by SfM based on the captured image of the target area At, but the point cloud data is generated using, for example, SLAM (Simultaneous Localization) based on the captured image of the target area At. It can also be generated using the technology of And Mapping). Alternatively, the point cloud data can also be generated based on data obtained by sensing the target area At with a depth sensor such as a LiDAR (Light Detection And Ranging) sensor or a ToF (Time Of Flight) sensor. That is, it is not essential to use a captured image to generate the point cloud data, and the point cloud data may be generated based on sensing data of the target area At.
  • SLAM Simultaneous Localization
  • the point cloud data can also be generated based on data obtained by sensing the target area At with a depth sensor such as a LiDAR (Light Detection And Ranging) sensor or a ToF (Time Of Flight) sensor. That is, it is not essential to use a
  • the information processing apparatus (1, 1A, 1B) as the embodiment includes a point cloud generation unit ( 11), a feature evaluation unit (12, 12A) that evaluates the characteristics of objects within the target area based on the results of analyzing captured images of the target area, and feature evaluation information for point cloud data. and an output processing unit (control unit 16) that outputs point cloud data and evaluation information associated with the point cloud data to an external device.
  • the external device is a device that performs display control of point cloud data based on user operations
  • the external device uses feature evaluation information received together with the point cloud data to control the display of point cloud data based on user operations.
  • the output processing unit includes an external device (a user terminal 2, 2B), processing is performed to output point cloud data and evaluation information.
  • the external device that performs display control of point cloud data based on user operations related to feature evaluation information uses the evaluation information received together with the point cloud data to perform display control of point cloud data based on user operations. This can be done completely within the own device. Therefore, it is possible to improve the response speed from when a user operation is performed to when point cloud data based on the user operation is displayed.
  • the feature evaluation unit generates a feature evaluation value that digitizes the feature of the object, and the association unit associates the feature evaluation value with the point cloud data as evaluation information. ing. Thereby, it is possible to realize a system in which the number of point groups can be adjusted by specifying a threshold value for a feature evaluation value.
  • the feature evaluation unit calculates the unnecessary object degree as the feature evaluation value.
  • the term "unnecessary object level” as used herein means an evaluation value representing the likelihood that an object is an unnecessary object other than the surface of the earth. Therefore, according to the above configuration, it is possible to realize a system in which the point cloud range of unnecessary objects can be adjusted by specifying a threshold value for the degree of unnecessary objects.
  • the feature evaluation unit performs image recognition processing as semantic segmentation on the captured image, and determines whether the unnecessary object degree of the point group belonging to the segment in which the object of the specific class is recognized is
  • the unnecessary object degree is calculated so that the value is larger than the unnecessary object degree of the point group belonging to the segment in which the object of the specific class is recognized (see FIG. 9).
  • the unnecessary object degree of a point cloud belonging to a segment of a class that corresponds to unnecessary objects such as construction equipment or buildings is calculated to be larger than the unnecessary object degree of a point cloud that belongs to a segment of a class that does not correspond to unnecessary objects. be done. Therefore, the degree of unnecessary objects can be appropriately calculated.
  • the feature evaluation unit weights the unnecessary object degree according to the likelihood of image recognition in image recognition processing. Therefore, it is possible to realize a system that can appropriately adjust the point cloud range of unnecessary objects based on the likelihood of image recognition.
  • the feature evaluation unit is configured to determine the degree of unnecessaryness of a point group belonging to the edge of a segment in which an object of a specific class is recognized, the more points located on the outside, the more unnecessary the degree of object is. (See Figure 9). This makes it possible to adjust the size of the contour of the range to be removed by adjusting the threshold value for the segment of the class estimated to be unnecessary. Therefore, it is possible to realize an excellent user interface that can appropriately adjust the size of the range to be removed as unnecessary items by adjusting the threshold value.
  • the associating unit associates the feature evaluation information with some of the points for point groups with the same feature evaluation information, and the association unit associates the feature evaluation information with some of the points, and the feature evaluation information with respect to the remaining points. Information is not associated with each other (see FIG. 10). This makes it possible to reduce the amount of data transmitted to the external device.
  • the feature evaluation unit performs image recognition processing as semantic segmentation on the captured image
  • the association unit identifies the class of the object recognized by the image recognition processing as evaluation information.
  • the information shown is associated with the point cloud data.
  • the feature evaluation unit (12A) calculates the vegetation evaluation value based on the image captured by the multispectral camera, and the association unit calculates the vegetation evaluation value based on the image captured by the multispectral camera.
  • Vegetation evaluation values are associated with point cloud data.
  • the output processing unit is an external device different from the external device (user terminal 2B), and the output processing unit is an external device that is a feature instruction that instructs the features of the point cloud to be extracted. Processing is performed to output point cloud data and evaluation information associated with the point cloud data to another external device (server device 5) that performs a process of adjusting the number of point cloud data based on the information ( Figure 12 reference). As a result, another external device can perform the final number adjustment process for the point cloud data by receiving the feature instruction information determined by the user's operation from the external device that controls the display of the point cloud data. .
  • the data structure of the embodiment includes a point cloud generation unit that generates point cloud data showing the three-dimensional structure of the target area based on sensing data of the target area, and a point cloud generation unit that generates point cloud data showing the three-dimensional structure of the target area based on sensing data of the target area, and a
  • an information processing device includes a feature evaluation unit that evaluates features of objects within a target area, and a correlation unit that matches feature evaluation information with point cloud data, controls display of point cloud data.
  • an external device that controls the display of point cloud data based on user operations can internally control the display of point cloud data based on user operations using the feature evaluation information received with the point cloud data. This can be done completely. Therefore, when an external device different from the device that generates point cloud data controls the display of point cloud data based on user operations, the display of point cloud data based on the user operations is performed after the user operations are performed. It is possible to improve the response speed until
  • the program of the embodiment is a program readable by a computer device, and includes a point cloud generation unit that generates point cloud data indicating a three-dimensional structure of the target area based on sensing data of the target area; From an information processing device that includes a feature evaluation unit that evaluates the characteristics of objects in the target area based on the results of analyzing the captured images, and a correlation unit that associates feature evaluation information with point cloud data.
  • a program that causes a computer device to execute a process of receiving point cloud data and evaluation information associated with the point cloud data, and controlling display of the point cloud data in accordance with user operations based on the evaluation information.
  • the functions of the user terminal 2 described above can be realized through software processing by a computer device.
  • the above program can be recorded in advance on an HDD as a recording medium built into equipment such as a computer device, or a ROM in a microcomputer having a CPU.
  • a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a Blu-ray Disc (registered trademark), a magnetic disk, a semiconductor memory It can be stored (recorded) temporarily or permanently in a removable recording medium such as a memory card.
  • a removable recording medium can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN or the Internet.
  • Such a program is suitable for providing a wide range of user terminals 2 as an embodiment.
  • a program for example, by downloading a program to a personal computer, portable information processing device, mobile phone, game device, video device, PDA (Personal Digital Assistant), etc., the personal computer, etc. can be processed as the user terminal 2 of the present disclosure. It can be made to function as a device that realizes this.
  • the computer device performs a process of selecting a part of a plurality of points included in point cloud data based on evaluation information associated with the point cloud data and user operations. It is also possible to create a program to be executed. This makes it possible to select a group of display points based not only on user operations but also on evaluation information.
  • the program as an embodiment may be a program that causes a computer device to execute a process of selecting a point from among a plurality of points that satisfies a condition related to evaluation information specified by a user operation. This eliminates the need for the user to perform a complicated operation of specifying the display point group one by one, and it is possible to reduce the operational burden on the user in selecting the display point group.
  • the evaluation information may be a feature evaluation value obtained by quantifying the feature
  • the condition may be a condition determined by a threshold value for the feature evaluation value.
  • a device information processing device 1, 1A
  • the feature instruction information determined by the user's operation is output to a device that adjusts the number of point cloud data, such as a device that generates point cloud data or a server device.
  • a device that stores point cloud data whose number has been adjusted based on determined feature instruction information is an external device to a device that controls the display of point cloud data, such as a device that generates point cloud data or a server device, In this case, it is no longer necessary to transmit point cloud data whose number has been adjusted based on a user's operation from the device that controls the display of point cloud data to the external device. That is, it is possible to reduce the amount of data to be transmitted when the external device stores point cloud data based on the determined number of point groups.
  • the present technology can also adopt the following configuration.
  • a point cloud generation unit that generates point cloud data indicating a three-dimensional structure of the target area based on sensing data of the target area; a feature evaluation unit that evaluates the characteristics of a subject within the target area based on a result of analyzing a captured image of the target area; a matching unit that matches evaluation information of the feature to the point cloud data;
  • An information processing device comprising: an output processing unit that performs a process of outputting the point cloud data and the evaluation information associated with the point cloud data to an external device.
  • the output processing unit is configured to transmit the point cloud data and the The information processing device according to (1) above, which performs a process of outputting evaluation information.
  • the feature evaluation unit generates a feature evaluation value that digitizes the feature of the subject, The information processing device according to (1) or (2), wherein the association unit associates the feature evaluation value with the point cloud data as the evaluation information.
  • the feature evaluation unit performs image recognition processing as semantic segmentation on the captured image, and the unnecessary object degree of a point group belonging to a segment in which an object of a specific class is recognized is a segment in which an object of a non-specific class is recognized.
  • the information processing device according to (4), wherein the unnecessary object degree is calculated so that the value is larger than the unnecessary object degree of the point group belonging to the point group.
  • the feature evaluation unit weights the unnecessary object degree according to the likelihood of image recognition in the image recognition process.
  • the feature evaluation unit reduces the degree of unnecessaryness of the point group belonging to the edge of the segment in which the object of the specific class is recognized, as the points are located on the outer side.
  • the association unit associates the feature evaluation information with some of the points and does not associate the feature evaluation information with the remaining points. ) or the information processing device according to (2).
  • the feature evaluation unit performs image recognition processing as semantic segmentation on the captured image, The information processing according to (1), (2), or (8), wherein the association unit associates, as the evaluation information, information indicating a class of the object recognized in the image recognition process with the point cloud data.
  • the feature evaluation unit calculates a vegetation evaluation value based on an image captured by a multispectral camera, The information processing device according to (1), (2), or (8), wherein the association unit associates the vegetation evaluation value with the point cloud data as the evaluation information.
  • the output processing unit is an external device that is different from the external device, and performs a process of adjusting the number of point cloud data based on feature instruction information that specifies features of the point cloud to be extracted.
  • the information processing device according to any one of (2) to (10), which performs a process of outputting the point cloud data and the evaluation information associated with the point cloud data.
  • (12) a point cloud generation unit that generates point cloud data showing a three-dimensional structure of the target area based on sensing data of the target area; and a point cloud generation unit that generates point cloud data representing a three-dimensional structure of the target area based on sensing data of the target area; an information processing device including a feature evaluation unit that evaluates the feature of the point cloud data, and a correlation unit that associates evaluation information of the feature with the point cloud data, outputs the point cloud data to an external device that controls display of the point cloud data.
  • a data structure of data including the point cloud data and the evaluation information associated with the point cloud data, A data structure used by the external device to perform display control of the point cloud data according to a user operation based on the received evaluation information.
  • a program readable by a computer device a point cloud generation unit that generates point cloud data showing a three-dimensional structure of the target area based on sensing data of the target area; and a point cloud generation unit that generates point cloud data representing a three-dimensional structure of the target area based on sensing data of the target area;
  • An information processing device that includes a feature evaluation section that evaluates the feature of the point cloud data, and a matching section that matches the evaluation information of the feature with the point cloud data,
  • the program according to (14) causes the computer device to execute a process of selecting a point among the plurality of points that satisfies a condition related to the evaluation information specified by the user operation.
  • the evaluation information is a feature evaluation value obtained by quantifying the feature, The program according to (15), wherein the condition is a condition defined by a threshold value for the feature evaluation value.
  • the computer device executes a process of outputting feature instruction information for instructing the feature of the point cloud to be extracted, determined by a user operation, to a device that adjusts the number of point cloud data.
  • the program according to any one of (16).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本技術に係る情報処理装置は、対象地域のセンシングデータに基づいて対象地域の三次元構造を示す点群データを生成する点群生成部と、対象地域を撮像した撮像画像を解析した結果に基づき、対象地域内の被写体の特徴を評価する特徴評価部と、点群データに対して特徴の評価情報を対応づける対応づけ部と、点群データと点群データに対応づけられた評価情報とを外部装置に出力する処理を行う出力処理部とを備えている。

Description

情報処理装置、データ構造、プログラム
　本技術は、対象地域のセンシングデータに基づき対象地域の三次元構造を示す点群データを生成する情報処理装置と、点群データに係るデータ構造と、点群データの表示制御を行う装置に処理を実行させるためのプログラムとに関する。
　例えば、建設現場等の対象地域をドローンで空撮する等して対象地域のセンシングデータを得、センシングデータに基づき対象地域の三次元構造を示す点群データの生成を行う技術がある（例えば下記特許文献１参照）。
　この特許文献１には、例えば建設機材や建物等、地表以外の物体を不要物として除去する技術も開示されている。
特許第６４５７１５９号公報
　ここで、ユーザ操作に応じて不要物として除去する点群数の調整を可能とするシステムを考える。例えば、点群データの各点に対して不要物らしさを示す評価値を付与しておき、ユーザが操作により該評価値に対する閾値を指定したことに応じて、評価値が閾値以上の点を除去する（つまり抽出する点群の個数調整を行う）。これにより、ユーザ操作に応じて不要物として除去する点群数を調整可能とすることができる。
　また、上記のようなユーザ操作に応じた不要物の点群数調整は、点群データを生成する装置ではなく、ユーザが使用する例えばタブレット端末等のユーザ端末で行うようにする構成が考えられる。
　その場合、ユーザ端末は、点群データを生成する装置から受信した点群データをユーザに対して表示した状態で、上記の閾値の指定操作を受け付ける。そして、閾値が指定された場合には、該閾値を点群データを生成する装置側に送信し、該閾値に基づく点群の個数調整を実行させ、個数調整後の点群データを受信して、ユーザに表示する。これによりユーザは、指定した閾値に応じて点群数調整された点群データをユーザ端末の表示画面上で確認することができる。
　しかしながら、上記のような点群データの表示手法を採った場合、点群データを生成する装置側は、ユーザによる閾値指定があるごとに、閾値に基づく点群の個数調整、及び個数調整後の点群データのユーザ端末に対する送信を行うことになる。このため、ユーザ端末においては、ユーザの閾値指定操作から指定閾値に応じた点群データの表示が行われるまでの応答速度が低下するものとなってしまう。
　本技術は上記事情に鑑み為されたものであり、点群データを生成する装置とは別の外部装置がユーザ操作に基づく点群データの表示制御を行う場合において、ユーザ操作が行われてから該ユーザ操作に基づく点群データの表示が行われるまでの応答速度の向上を図ることを目的とする。
　本技術に係る情報処理装置は、対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、前記点群データに対して前記特徴の評価情報を対応づける対応づけ部と、前記点群データと前記点群データに対応づけられた前記評価情報とを外部装置に出力する処理を行う出力処理部と、を備えるものである。
　上記構成によれば、外部装置がユーザ操作に基づく点群データの表示制御を行う装置である場合において、該外部装置が、点群データと共に受信される特徴の評価情報を用いて、ユーザ操作に基づいた点群データの表示制御を自装置内で完結的に行うことが可能となる。
　また、本技術に係るデータ構造は、対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、前記点群データに対して前記特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置が、前記点群データの表示制御を行う外部装置に出力するデータのデータ構造であって、前記点群データと、前記点群データに対応づけられた前記評価情報とを含み、前記外部装置が、受信した前記評価情報に基づきユーザ操作に応じた前記点群データの表示制御を行うために用いられるデータ構造である。
　これにより、ユーザ操作に基づく点群データの表示制御を行う外部装置においては、点群データと共に受信される特徴の評価情報を用いて、ユーザ操作に基づいた点群データの表示制御を自装置内で完結的に行うことが可能となる。
　また、本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、前記点群データに対して前記特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置より、前記点群データと、前記点群データに対応づけられた前記評価情報とを受信し、前記評価情報に基づき、ユーザ操作に応じた前記点群データの表示制御を行う処理を、前記コンピュータ装置に実行させるプログラムである。
　これにより、情報処理装置から点群データと共に受信される特徴の評価情報を用いて、ユーザ操作に基づいた点群データの表示制御を自装置内で完結的に行うことのできる装置を実現可能となる。
本技術に係る第一実施形態としての情報処理システムの構成概要を例示した図である。 実施形態における表示点群の個数調整に係るＧＵＩを例示した図である。 現状の手法についての説明図である。 実施形態としての手法の一例の説明図である。 第一実施形態としての情報処理装置の内部構成例を示したブロック図である。 実施形態における多重化データの構造例を示した図である。 実施形態におけるユーザ端末（外部装置）の内部構成例を示したブロック図である。 ユーザ端末が実行する実施形態としての処理を示したフローチャートである。 特徴評価に係る別例についての説明図である。 メタデータ重畳に係る別例についての説明図である。 第二実施形態としての情報処理装置の内部構成例を示したブロック図である。 変形例としての情報処理システムの構成例を示した図である。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
（1-1．システム概要）
（1-2．現状の手法と実施形態の手法の概要）
（1-3．情報処理装置について）
（1-4．ユーザ端末について）
（1-5．ユーザ端末側の処理）
（1-6．特徴評価に係る別例）
（1-7．メタデータ重畳に係る別例）
＜２．第二実施形態＞
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞
＜１．第一実施形態＞
（1-1．システム概要）
　図１は、本技術に係る第一実施形態としての情報処理システムの構成概要を例示した図である。
　図示のように第一実施形態としての情報処理システムは、情報処理装置１と、ユーザ端末２と、撮像装置３と、移動体Ｍとを含む。
　情報処理装置１、及びユーザ端末２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ( Random Access Memory)等を有するコンピュータ装置として構成されている。
　撮像装置３は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型等のイメージセンサを備えて構成され、被写体を撮像した撮像画像を得る。本例において撮像装置３は、Ｒ（赤）光、Ｂ（青）光、Ｇ（緑）光を個別に受光するためのカラーフィルタを有し、これらＲ光、Ｂ光、Ｇ光の受光信号に基づいて撮像画像としてカラー画像を得るＲＧＢカメラとして構成されている。
　移動体Ｍは、撮像装置３を搭載したまま移動を行うことが可能とされた物体を広く意味する。本例では、移動体Ｍは、例えばドローンや飛行機、ヘリコプター等の飛行体とされる。
　実施形態の情報処理システムでは、撮像装置３を搭載した移動体Ｍを、例えば建設現場等の対象地域Ａｔの上空で移動させながら、撮像装置３により対象地域Ａｔを撮像させる。このとき、撮像装置３による撮像は、対象地域Ａｔを複数の区域に区切って、区域ごとに行う。すなわち、対象地域Ａｔの撮像画像として、対象地域Ａｔのそれぞれ異なる区域を撮像した複数枚の撮像画像を得る。
　情報処理装置１では、上記のように対象地域Ａｔの区域ごとに撮像された複数枚の撮像画像に基づき、対象地域Ａｔの三次元構造を示す点群データを生成する。
　また、情報処理装置１では、上記のような対象地域Ａｔの区域ごとに撮像された複数枚の撮像画像に基づき、対象地域Ａｔ内の複数の位置について被写体の特徴を評価する。具体的に、本例における情報処理装置１は、被写体の特徴の評価として、被写体の不要物度の評価を行う。
　ここで言う不要物度とは、対象地域Ａｔにおける地表以外の物体である不要物らしさを表す評価値を意味する。
　地表以外の物体を不要物として扱うのは、本例では、地表面の構造（三次元形状）を示す点群データを得ることを目的としているためである。
　なお、本例において不要物度は、撮像画像についてセマンティックセグメンテーションとしての画像認識処理を行った結果に基づいて算出するが、詳細については後に改めて説明する。
　ユーザ端末２は、ユーザによる使用が想定される、情報処理装置１とは別の装置であり、本例では、可搬性を有するコンピュータ装置とされる。ユーザ端末２の具体的な装置形態としては、例えばスマートフォンやタブレット端末、ノートブック型のパーソナルコンピュータ等を挙げることができる。或いは、ユーザ端末２の装置形態としては、スマートグラスやヘッドマウントディスプレイ等の形態も考えられ得る。
　ユーザ端末２は、情報処理装置１から点群データを受信し、点群データの表示制御を行う。具体的に、この表示制御としてユーザ端末２は、例えば図２に例示するような、点群の表示個数の調整処理を行う。
　より具体的に、ユーザ端末２では、例えば図２Ａや図２Ｂに例示するような、点群データを可視化した画像と、不要物度の閾値を調整するための調整操作子Ｏａとが表示された画面（以下「点群調整画面Ｇａ」と表記する）をユーザに表示する処理を行う。そして、ユーザ端末２は、調整操作子Ｏａの操作により不要物度の閾値が指定された場合は、点群データのうち、不要物度が該指定された閾値以上である点群を除いた点群データが点群調整画面Ｇａ上に表示されるようにする。図２Ａから図２Ｂの遷移では、調整操作子Ｏａにより閾値を小さくする操作が行われたことに対応して、点群調整画面Ｇａ上で表示される点群数が減少された例を示している。
（1-2．現状の手法と実施形態の手法の概要）
　ここで、上記のように本実施形態では、点群データを生成する装置（情報処理装置１）とは別の外部装置（ユーザ端末２）がユーザ操作に基づく点群データの表示制御を行うことを前提としているが、このようにユーザ端末２がユーザ操作に基づく点群データの表示制御を行う手法として、現状では、図３に示すような手法が採られている。
　先ず、図３Ａにおける＜１＞と示すように、情報処理装置１が、点群の不要物度を評価する。そして情報処理装置１が、＜２＞と示すように点群データをユーザ端末２に対し送信する。
　点群データを受信したユーザ端末２は、＜３＞と示すように、点群データの表示及び操作受け付けを行う。すなわち、点群調整画面Ｇａ上に受信した点群データを表示すると共に、調整操作子Ｏａに対する操作の受け付け（つまり不要物度に対する閾値の指定操作の受け付け）を行う。
　ユーザ操作により閾値の指定が行われた場合、ユーザ端末２は、図３Ｂの＜４＞と示すように、操作に応じた不要物度の閾値を情報処理装置１に対して送信する。
　そして、情報処理装置１は、＜５＞と示すように、閾値に基づき点群を抽出する処理を行う。すなわち、不要物度が閾値以下の点群のみを残すように、点群の個数調整を行うものである。換言すれば、不要物度が閾値よりも大きい点群を除去するように、点群の個数調整を行う。
　上記＜５＞の点群抽出を行ったことに応じ、情報処理装置１は、図３Ｃの＜６＞と示すように、抽出後の点群データをユーザ端末２に送信する。
　そして、ユーザ端末２は、＜７＞と示すように、抽出後の点群データの表示及び操作受け付けを行う。
　図示は省略するが、操作により新たな閾値が指定された場合、ユーザ端末２は、指定された閾値を情報処理装置１に送信し、情報処理装置１では、送信された閾値に基づいて点群を抽出し、ユーザ端末２に送信する。
　上記のような現状の手法によると、点群データを生成する情報処理装置１は、ユーザによる閾値指定があるごとに、閾値に基づく点群の個数調整、及び個数調整後の点群データのユーザ端末２に対する送信を行うことになる。このため、ユーザ端末２においては、ユーザの閾値指定操作から指定閾値に応じた点群データの表示が行われるまでの応答速度が低下するものとなってしまう。
　そこで、本実施形態では、例えば図４に示すような手法を採る。
　すなわち、図示のように情報処理装置１は、点群の不要物度を評価した上で（図中＜１＞）、＜ａ＞と示すように、点群データ及び不要物度をユーザ端末２に対して送信（出力）する。
　点群データと不要物度とを受信したユーザ端末２は、先の＜３＞と同様に、先ず点群データの表示及び操作受け付けを行うが、その後、不要物度の閾値を指定する操作があった場合には、＜ｂ＞と示すように、操作により指定された閾値に基づき、点群データを抽出する処理を行う。
　上記のような実施形態としての手法によれば、情報処理装置１から点群データと共に受信される特徴の評価情報を用いて、ユーザ端末２が操作に基づいた点群データの表示制御を自装置内で完結的に行うことが可能となる。すなわち、操作に基づく点群データの表示制御を行うにあたり、操作により指定された閾値を情報処理装置１に送信したり、情報処理装置１側で個数調整された点群データを受信したりする必要がなくなる。
　従って、ユーザ操作が行われてから該ユーザ操作に基づく点群データの表示が行われるまでの応答速度の向上を図ることができる。
（1-3．情報処理装置について）
　図５は、情報処理装置１の内部構成例を示したブロック図である。
　図示のように情報処理装置１は、メモリ部１０、点群生成部１１、特徴評価部１２、多重化部１３、通信部１４、点群数調整部１５、及び制御部１６を備えており、これら各部がバス１７を介して相互にデータ通信を行うことが可能とされている。
　メモリ部１０は、例えばＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）等の不揮発性のメモリにより構成され、情報処理装置１で扱われる各種データの記憶に用いられる。
　本例において、メモリ部１０には、撮像装置３が対象地域Ａｔを撮像して得られた撮像画像が記憶される。具体的には、移動体Ｍに搭載された撮像装置３により、対象地域Ａｔ内のそれぞれ異なる区域を撮像した複数枚の撮像画像である。
　本例において、撮像装置３による撮像画像は、通信部１４を介してメモリ部１０に記憶される。例えば、撮像装置３による対象地域Ａｔ全体の撮像完了後に、撮像装置３から全撮像画像を情報処理装置１に転送させてメモリ部１０に記憶させることが考えられる。或いは、撮像装置３が対象地域Ａｔの撮像中に順次撮像済みの撮像画像を情報処理装置１に転送し、このように順次転送される撮像画像をメモリ部１０に記憶させることも考えられる。
　点群生成部１１は、対象地域Ａｔのセンシングデータに基づいて対象地域Ａｔの三次元構造を示す点群データを生成する。具体的に、本例の点群生成部１１は、対象地域Ａｔ上を移動しながら撮像した撮像画像である、メモリ部１０に記憶された複数枚の撮像画像に基づき、対象地域Ａｔの三次元構造を示す点群データを生成する。
　本例において、点群生成部１１は、ＳｆＭ（Structure from Motion）により点群データを生成する。公知のようにＳｆＭは、カメラの視点を変えながら撮像した複数の撮像画像から対象の三次元構造とカメラ位置とを求める技術である。ＳｆＭでは、カメラの視点を変えながら撮像した複数の撮像画像から、対応点（同一特徴点）を検出した結果に基づいて対象の三次元構造を示す点群データを生成する。
　ここでの点群データは、認識された各点（上記の対応点）ごとに、三次元空間上の座標情報（Ｘ座標、Ｙ座標、Ｚ座標）と、Ｒ、Ｇ、Ｂの輝度値とを対応づけた情報として生成される。
　特徴評価部１２は、対象地域Ａｔを撮像した撮像画像を解析した結果に基づき、対象地域Ａｔ内の複数の位置について被写体の特徴を評価する。具体的に、本例における特徴評価部１２は、メモリ部１０に記憶された複数枚の撮像画像について、機械学習された人工知能モデル（例えば、ＣＮＮ（Convolutional Neural Network）等による人工知能モデル）を用いてセマンティックセグメンテーションとしての画像認識処理を行い、この画像認識結果に基づいて、点群に対する不要物度を算出する。具体的には、特定クラスの物体が認識されたセグメントに属する点群の不要物度が、非特定クラスの物体が認識されたセグメントに属する点群の不要物度よりも値が大きくなるように、不要物度を算出する。
　本例では、セマンティックセグメンテーションで認識対象とする物体のクラスに、例えば建設機材や建物等といった不要物のクラスが含まれている。ここでの不要物度は、そのような不要物のクラスの物体が認識されたセグメントに属する点群の不要物度が、非不要物のクラスの物体が認識されたセグメントに属する点群の不要物度よりも大きくなるようにして算出する。
　そして、本例では、不要物度は、人工知能モデルを用いた画像認識処理における、画像認識の尤度（認識の確からしさの評価指標）に応じて重み付けした値として算出する。
　具体的な一例を挙げれば、例えば、不要物のクラスの物体が認識されたセグメントに属する点群について、基礎不要物度として例えば「１．０」を設定する。そして、この基礎不要物度に対し、当該セグメントについての画像認識の尤度に応じた係数を乗じることで、当該セグメントの不要物度を算出する。例えば、尤度が「０．８」であれば、基礎不要物度＝「１．０」に対して「０．８」の不要物度が算出される。
　なお、非不要物のクラスの物体が認識されたセグメントに属する点群の不要物度については、例えば一律に「０」を設定することが考えられる。或いは、不要物の場合と同様に、基礎不要物度として０以外の値（ただし、不要物の基礎不要物度よりも小さな値とする）を設定し、基礎不要物度に対し画像認識の尤度に応じた重み付けを行った値を不要物度として算出することも考えられる。
　なお確認のため述べておくと、ＳｆＭでは、撮像視点が異なる複数の撮像画像について、対応点検出が行われ、各撮像画像における対応点の位置関係に基づいて三次元空間上の点が認識されるため、撮像画像におけるどの画素が点群データにおけるどの点と対応するかが把握されている。このため、撮像画像について画像認識処理を行ったとき、対象クラスの物体が認識された画像領域が、点群データにおけるどの点群に対応していているかが把握される。
　ここで、特徴評価部１２が算出する不要物度は、被写体の特徴を評価した評価情報の一例である。
　多重化部１３は、点群生成部１１により得られた点群データと、特徴評価部１２により得られた不要物度（被写体の特徴の評価情報）とを入力し、点群データに対して不要物度をメタデータとして重畳した多重化データを得る。
　図６は、多重化部１３により生成される多重化データの構造例を示した図である。
　図示のように多重化データは、点群データにおける各点のデータ（Ｘ座標、Ｙ座標、Ｚ座標の情報とＲ、Ｇ、Ｂの輝度値とが対応づけれたデータ）ごとに、対応するメタデータ、つまり本例では不要物度が対応づけられたものとなる。
　図５において、通信部１４は、各種機器との有線／無線通信や、インターネット等の伝送路を介しての通信処理を行う通信用デバイスを包括的に表したものである。情報処理装置１は、この通信部１４を介して、撮像装置３やユーザ端末２との間でデータ通信を行うことが可能とされる。
　点群数調整部１５は、特徴評価部１２で得られた被写体の特徴の評価情報（本例では不要物度）に基づき、点群生成部１１が生成した点群データについて、点群数の調整処理を行う。具体的に、点群数調整部１５は、特徴評価部１２で得られた被写体の特徴の評価情報と、制御部１６から指示される特徴指示情報とに基づき、点群数の調整処理を行う。ここで言う特徴指示情報とは、抽出すべき点群の特徴を指示するための情報を意味するものであり、本例では、上述した閾値、すなわち不要物度に対する閾値が該当する。
　後述するように、本例では、ユーザ端末２において、閾値を確定する操作が行われたことに応じ、確定された閾値が情報処理装置１（制御部１６）に送信される。本例の点群数調整部１５は、このようにユーザ端末２から送信された閾値と、特徴評価部１２で得られた点ごとの不要物度とに基づき、点群データについての点群数調整処理を行う。
　制御部１６は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭ等を有するマイクロコンピュータを備えて構成され、ＣＰＵが例えばＲＯＭに記憶されたプログラムやＲＡＭにロードされたプログラムに従った処理を実行することで、情報処理装置１の全体制御を行う。
　具体的に、制御部１６は、点群生成部１１による点群データの生成処理、特徴評価部１２による特徴の評価処理、多重化部１３による多重化データの生成処理、及び点群数調整部１５による点群数調整処理について、処理の実行指示等の制御を行う。
　また、制御部１６は、通信部１４を介して、撮像装置３やユーザ端末２（後述するＣＰＵ２１）との間でデータ通信を行う。
　特に、制御部１６は、多重化部１３が生成した多重化データを、ユーザ端末２側からの送信要求に応じ、通信部１４を介してユーザ端末２に送信（出力）する処理を行う。
　これにより、ユーザ端末２側においては、点群データと共に受信されるメタデータ（本例では不要物度）を用いて、ユーザ操作に基づいた点群データの表示制御を自装置内で完結的に行うことが可能となる。
　また、制御部１６は、点群生成部１１が生成した点群データ、及び特徴評価部１２が算出した被写体の特徴の評価情報（本例では点群データにおける点ごとの不要物度）を、メモリ部１０に記憶させる処理を行う。
　本例では、このようにメモリ部１０に記憶された点群データ及び被写体の特徴の評価情報を用いて、点群数調整部１５が点群数調整処理を行う。
（1-4．ユーザ端末について）
　続いて、ユーザ端末２について説明する。
　図７は、ユーザ端末２の内部構成例を示したブロック図である。
　図示のようにユーザ端末２は、ＣＰＵ２１を備えている。ＣＰＵ２１は、これまでにユーザ端末２の処理として説明した各種の処理を行う演算処理部として機能し、ＲＯＭ２２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部２４に記憶されているプログラム、又は記憶部２９からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ２３にはまた、ＣＰＵ２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及び不揮発性メモリ部２４は、バス３３を介して相互に接続されている。このバス３３にはまた、入出力インタフェース（Ｉ／Ｆ）２５も接続されている。
　入出力インタフェース２５には、操作子や操作デバイスよりなる入力部２６が接続される。例えば、入力部２６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部２６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ２１によって解釈される。
　また入出力インタフェース２５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部２７や、スピーカなどよりなる音声出力部２８が一体又は別体として接続される。
　表示部２７は各種の情報表示に用いられ、例えばコンピュータ装置の筐体に設けられるディスプレイデバイスや、コンピュータ装置に接続される別体のディスプレイデバイス等により構成される。
　表示部２７は、ＣＰＵ２１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部２７はＣＰＵ２１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
　入出力インタフェース２５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部２９や、モデムなどより構成される通信部３０が接続される場合もある。
　通信部３０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
　入出力インタフェース２５にはまた、必要に応じてドライブ３１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記憶媒体３２が適宜装着される。
　ドライブ３１により、リムーバブル記憶媒体３２から各処理に用いられるプログラム等のデータファイルなどを読み出すことができる。読み出されたデータファイルは記憶部２９に記憶されたり、データファイルに含まれる画像や音声が表示部２７や音声出力部２８で出力されたりする。またリムーバブル記憶媒体３２から読み出されたコンピュータプログラム等は必要に応じて記憶部２９にインストールされる。
　上記のようなハードウェア構成を有するコンピュータ装置では、例えば本実施形態の処理のためのソフトウェア（プログラム）を、通信部３０によるネットワーク通信やリムーバブル記憶媒体３２を介してインストールすることができる。或いは、当該ソフトウェアは予めＲＯＭ２２や記憶部２９等に記憶されていてもよい。
　ＣＰＵ２１が各種のプログラムに基づいて処理動作を行うことで、前述したユーザ端末２としての必要な情報処理や通信処理が実行される。
（1-5．ユーザ端末側の処理）
　図８は、ユーザ端末２が実行する実施形態としての処理を示したフローチャートである。図８に示す処理は、ユーザ端末２におけるＣＰＵ２１が例えば記憶部２９等の所定の記憶装置に記憶されたプログラムに基づき実行する。
　図８に示す処理は、予めユーザ端末２にインストールされた点群数調整操作用のアプリ（アプリケーションプログラム）に基づきＣＰＵ２１が実行するものとされる。本例において、このアプリは、情報処理装置１から通信部３０を介して記憶部２９等にインストールされて用いられる。
　先ず、ＣＰＵ２１はステップＳ１０１で、メタデータが重畳された点群データを受信する処理を行う。すなわち、情報処理装置１（制御部１６）に対する送信要求を行い、該送信要求に応じて情報処理装置１側から送信される多重化データを受信する。
　ステップＳ１０１に続くステップＳ１０２でＣＰＵ２１は、点群データ及びＧＵＩの表示処理を行う。すなわち、前述した点群調整画面Ｇａとして、ステップＳ１０１で受信した多重化データに含まれる点群データの表示画像と、調整操作子ＯａとしてのＧＵＩとを含む点群調整画面Ｇａを表示部２７に表示する処理を行う。
　なお、ステップＳ１０２の処理としては、表示部２７に調整操作子ＯａとしてのＧＵＩを先に表示しておき、ステップＳ１０１で受信した点群データの描画完了に応じて、点群データを表示するという手法を採ることもできる。
　ステップＳ１０２の表示処理を実行したことに応じ、ＣＰＵ２１は、ステップＳ１０３、Ｓ１０４、及びＳ１０５の処理により、調整操作、確定操作、アプリ終了の何れかを待機する。
　具体的に、ステップＳ１０３でＣＰＵ２１は、調整操作、すなわち調整操作子Ｏａを用いたユーザによる閾値の調整操作が行われたか否かを判定する。調整操作がなければ、ＣＰＵ２１はステップＳ１０４に進み、確定操作、すなわち閾値を確定する所定操作が行われたか否かを判定し、確定操作がなければ、ステップＳ１０５でアプリ終了か否か、すなわち上述した点群数調整用のアプリの終了を指示する所定操作が行われたか否かを判定する。ステップＳ１０５において、アプリ終了でなければ、ＣＰＵ２１はステップＳ１０３に戻る。
　ステップＳ１０３において、調整操作があった場合には、ＣＰＵ２１はステップＳ１０６に進み、調整操作に応じた表示点群の個数調整処理を行う。すなわち、調整操作により指定された閾値を基準として、点群調整画面Ｇａに表示される点群数を調整する処理である。具体的にＣＰＵ２１は、点群データにおける点ごとに、メタデータとして重畳された不要物度と閾値とを比較し、不要物度が閾値以下の点のみが点群調整画面Ｇａに表示されるように制御する。
　ＣＰＵ２１は、ステップＳ１０６の処理を実行したことに応じ、ステップＳ１０３に戻る。これにより、再度調整操作があった場合には、再度ステップＳ１０６の個数調整処理が実行される。すなわち、ユーザが調整操作子Ｏａを動かすごとに、点群調整画面Ｇａに表示される点群の数が調整されるものとなる。
　ステップＳ１０４で確定操作があった場合、ＣＰＵ２１はステップＳ１０７に進み、確定された閾値を情報処理装置１に送信する処理を行い、ステップＳ１０３に戻る。
　また、ステップＳ１０５において、アプリ終了と判定した場合、ＣＰＵ２１は図８に示す一連の処理を終える。
　ここで、上記のようにユーザ端末２は、ステップＳ１０７の処理により確定した閾値を情報処理装置１に対して出力するが、情報処理装置１では、このようにユーザ端末２から出力された閾値に基づいて、点群数調整部１５による点群の個数調整処理が行われる。この点群の個数調整処理は、ユーザ操作により確定された点群数による点群データを情報処理装置１において保存するための、いわば最終的な個数調整処理として行われるものである。
　情報処理装置１では、このような最終的な個数調整処理で点群数が調整された点群データが、制御部１６の制御により例えばメモリ部１０等の所定の記憶装置に記憶される。ユーザは、ユーザ端末２を用いて、このように情報処理装置１に記憶された点群データをユーザ端末２に送信させ、表示部２７に表示させて閲覧することが可能とされる。
　このとき、ユーザ端末２は、上記のように確定した点群数の点群データを情報処理装置１側で保存しておく前提において、情報処理装置１側に確定した点群数による点群データを出力するのではなく、確定された閾値（特徴指示情報）を出力するものとしている。
　これにより、情報処理装置１に確定された点群数による点群データを保存させるにあたっての送信データ量の削減を図ることができる。
（1-6．特徴評価に係る別例）
　ここで、上記では、不要物度は、セグメント内に同一の値を割り当てる例を挙げたが、例えば図９に例示するように、不要物度は、セグメントの縁部の値が、該縁部の内側部の値よりも小さくなるように算出することもできる。
　具体的に、図９の例では、不要物（特定クラスの物体）が認識されたセグメントの縁部に属する点群の不要物度について、外側に位置する点ほど不要物度を小さくする例を示している。
　これにより、不要物と推定されるクラスのセグメントについて、調整操作子Ｏａによる閾値の調整により、除去する範囲の輪郭の大きさを調整することが可能となる。
　従って、閾値の調整により不要物として除去する範囲の大きさを適切に調整することのできる優れたユーザインタフェースを実現することができる。
　ここで、不要物が認識されたセグメントの縁部における不要物度のスロープは、当該セグメントに非不要物と認識された領域が隣接している場合には、当該非不要物の領域の縁部まで延長することもできる。図９では、このように不要物（図中、地表上物体）が認識されたセグメントの縁部における不要物度のスロープを、この不要物のセグメントに隣接する非不要物（図中、地表）の領域の縁部まで延長した例を示している。
　このように不要物度のスロープを非不要物の領域の縁部まで延長することで、非不要物と認識された領域についても、閾値の変化に対する点群数の変化幅が緩やかとなるようにすることができる。
　また、これまでの説明では、対象地域Ａｔ内の複数の位置について被写体の特徴を評価した評価情報（特徴の評価情報）の例として、不要物度を例示したが、該特徴の評価情報は、例えばセマンティックセグメンテーションとしての画像認識処理で認識された物体のクラスの情報とすることもできる。この場合、情報処理装置１（制御部１６）は、メタデータとして、特徴評価部１２の画像認識処理で認識された物体のクラスを示す情報を点群データに重畳してユーザ端末２に出力する処理を行う。
　この場合のユーザ端末２では、表示点群数の調整処理として、操作により指定された閾値に基づく調整ではなく、操作により指定された不要物のクラスの情報に基づいた調整を行う。具体的には、指定された不要物のクラスの物体が認識されたセグメントに属する点群を除去する処理を行う。なお、ここでの不要物のクラスを指定する情報は、本技術における「特徴指示情報」の一例に該当する。
　なお、上記ではユーザに不要物のクラスを指定させる前提としたが、画像認識処理において非不要物のクラスの物体を認識可能な場合には、ユーザに非不要物のクラスを指定させることも可能である。この場合、ユーザ端末２では、表示点群数の調整処理として、指定されたクラスの物体が認識されたセグメントに属する点群以外の点群を除去する処理を行う。
（1-7．メタデータ重畳に係る別例）
　上記では、点群データの各点ごとにメタデータを重畳する例を挙げたが、点ごとにメタデータを重畳することは必須ではない。
　例えば、特徴の評価情報が同じ点群については、一部の点に対し特徴の評価情報を重畳し、残部の点に対し特徴の評価情報を重畳しないようにすることが考えられる。
　図１０は、特徴の評価情報を不要物度とした場合のメタデータの重畳例を示している。
　図示のように、不要物度が同じ領域の点群については、一部の点、具体的に図示の例では該領域に属する一つの点に対して不要物度を重畳し、残部の点に対しては不要物度を重畳しないようにする。確認のため述べておくと、この処理は、多重化部１３において行われるものである。
　上記のようなメタデータの重畳手法を採ることで、ユーザ端末２に対する送信データについてデータ量の削減を図ることができる。
　なお、図１０で説明したようなメタデータの重畳手法は、特徴の評価情報が不要物度とされる場合のみでなく、上述した別例として説明したような、特徴の評価情報を画像処理装置で認識された物体のクラスの情報とする場合にも好適に適用できるものである。
＜２．第二実施形態＞
　続いて、第二実施形態について説明する。第二実施形態は、被写体の特徴の評価情報として、マルチスペクトルカメラ（マルチスペクトラムカメラとも呼ばれる）により得られる波長解析画像に基づいた植生評価値を算出するものである。
　図１１は、第二実施形態としての情報処理装置１Ａの内部構成例を示したブロック図である。
　なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
　図示は省略するが、第二実施形態における情報処理システムには、情報処理装置１Ａと共に、移動体Ｍ、撮像装置３、及びユーザ端末２が含まれる。そして、第二実施形態では、移動体Ｍには、撮像装置３と共にマルチスペクトルカメラが搭載される。
　さらに、第二実施形態では、対象地域Ａｔは、建設現場ではなく、例えば圃場等、植物が栽培される地域とされる。
　ここで、マルチスペクトルカメラは、撮像画像として、複数の狭帯域画像、具体的には少なくとも４波長帯以上の狭帯域画像を得るカメラを意味する。公知のようにマルチスペクトルカメラによる複数の狭帯域画像は、同一の被写体からの入射光について、波長帯ごとの受光量を示すものとなる。このことから、マルチスペクトルカメラにより得られる複数の狭帯域画像は、被写体からの入射光にどの波長帯の光がどの程度含まれるかを解析した、波長解析画像であると換言することができる。
　第二実施形態の情報処理システムでは、撮像装置３及びマルチスペクトルカメラを搭載した移動体Ｍを、対象地域Ａｔの上空で移動させながら、対象地域Ａｔの区域ごとに、撮像装置３及びマルチスペクトルカメラに撮像を実行させる。すなわち、撮像装置３による撮像画像、及びマルチスペクトルカメラによる波長解析画像として、それぞれ、対象地域Ａｔ内の異なる区域を撮像した複数枚の画像を得るものである。
　図１１において、情報処理装置１Ａは、情報処理装置１と比較して、特徴評価部１２に代えて特徴評価部１２Ａが設けられた点が異なる。また、この場合、メモリ部１０には、撮像装置３による撮像画像に加えて、マルチスペクトルカメラによる波長解析画像が記憶される。これら撮像画像、波長解析画像は、上述のように移動体Ｍを移動させながら撮像装置３、及びマルチスペクトルカメラによる撮像動作を実行させることで得られた、対象地域Ａｔ内の異なる区域を撮像した複数枚の撮像画像、波長解析画像である。
　この場合も点群生成部１１は、メモリ部１０に記憶された複数枚の撮像画像に基づき、対象地域Ａｔの三次元構造を示す点群データを例えばＳｆＭにより生成する。
　特徴評価部１２Ａは、メモリ部１０に記憶された複数枚の波長解析画像に基づき、点群データにおける各点について、植生に係る評価値（植生評価値）を算出する。具体的に本例において、植生評価値としては、ＮＤＶＩ（Normalized Difference Vagetation Index）を算出する。
　ＮＤＶＩは、波長６６０ｎｍを中心波長とする狭帯域画像（Ｒ画像）と、波長８００ｎｍを中心波長とする狭帯域画像（ＮＩＲ画像）とに基づいて算出することができる。具体的に、ＮＤＶＩは、例えば、
　ＮＤＶＩ＝（１－（Ｒ／ＮＩＲ））／（１＋（Ｒ／ＮＩＲ））
　により算出される。このようなＮＤＶＩは、植生が濃い場合に大きな値を示す特徴を有する。
　この場合の多重化部１３は、点群生成部１１が生成した点群データと、特徴評価部１２Ａが生成したＮＤＶＩとを入力し、点群データにＮＤＶＩをメタデータとして重畳した多重化データを生成する。
　そして、この場合の制御部１６は、ユーザ端末２からの送信要求に応じて、多重化部１３が生成した上記の多重化データを通信部１４を介してユーザ端末２に出力する処理を行う。
　この場合、ユーザ端末２における点群数調整操作用のアプリとしては、ＮＤＶＩについての閾値の指定操作を受け付け、指定された閾値と、情報処理装置１Ａから受信した多重化データに含まれるＮＤＶＩとに基づき、表示点群数の調整処理を行うアプリが用いられる。具体的に、この場合の点群数の調整処理は、ＮＤＶＩが閾値以上の点群を抽出する処理として行うことが考えられる。
　これにより、圃場等の対象地域Ａｔについて、植生が濃い領域（つまり植物が存在している可能性が高い領域）の点群データのみを抽出することができ、抽出後の点群データを、水や肥料、農薬等の散布領域を示すデータとして用いることが可能となる。
　なお、第二実施形態においても、ユーザ端末２（ＣＰＵ２１）は、閾値を確定する操作があった場合には、確定した閾値を情報処理装置１Ａに出力する処理を行う。
　情報処理装置１Ａにおいて、制御部１６は、ユーザ端末２から確定した閾値を受信した場合には、点群数調整部１５により、点群生成部１１が生成した点群データについて、該確定した閾値に基づく点群数の調整処理（例えば、ＮＤＶＩが閾値以上の点群を抽出する処理）を実行させる。そして、制御部１６は、点群数調整部１５により調整処理された点群データを、メモリ部１０等の所定の記憶装置に記憶させる処理を行う。
　なお、第二実施形態においても、先の図１０で説明したようなデータ量削減のためのメタデータ重畳手法を採ることができる。具体的には、植生評価値が同じ点群については、一部の点にのみ植生評価値を重畳し、残部の点に対しては植生評価値を重畳しないものである。
＜３．変形例＞
　以上、本技術に係る第一及び第二実施形態について説明したが、本技術は、上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
　例えば上記では、確定された閾値に基づき（最終的な）点群数調整処理を行い該点群数調整処理後の点群データを保存しておく装置（以下「点群データ保存先装置」と表記する）が、点群データの生成を行う情報処理装置１（又は１Ａ）とされる例を挙げたが、該点群データ保存先装置は、点群データを生成する装置及びユーザ端末２のような点群データの表示制御を行う装置とは別の装置とすることもできる。
　図１２は、このように点群データ保存先装置を点群データを生成する装置及び点群データの表示制御を行う装置とは別の装置とする変形例としての情報処理システムの構成例を示した図である。
　変形例としての情報処理システムは、情報処理装置１Ｂ、ユーザ端末２Ｂ、及びサーバ装置５を備える。この場合、サーバ装置５が、点群データ保存先装置に該当する。
　変形例としての情報処理システムにおいて、情報処理装置１Ｂ、ユーザ端末２Ｂ、及びサーバ装置５は、例えばインターネットやＬＡＮ（Local Area Network）等の所定のネットワークＮＴを介したデータ通信を行うことが可能とされている。
　図示のようにサーバ装置５は、通信部５１、及びメモリ部５２を備えると共に、点群数調整部１５を備える。通信部５１は、ネットワークＮＴを介して情報処理装置１Ｂやユーザ端末２Ｂとの間でデータ通信を行うために設けられる。
　メモリ部５２は、調整後の点群データの保存先メモリとして用いられる。
　情報処理装置１は、情報処理装置１Ａと比較して、点群数調整部１５が省略された点が異なる。また、情報処理装置１Ｂにおいて、制御部１６は、点群データ及びメタデータを含む多重化データを、ユーザ端末２Ｂに出力すると共に、サーバ装置５に対しても出力する処理を行う。
　ユーザ端末２Ｂは、閾値を指定する操作を受け付け、指定された閾値とメタデータとしての評価情報（例えば、不要物度や植生評価値）とに基づき、表示点群数の調整処理を行う点はユーザ端末２の場合と同様であるが、ユーザ端末２Ｂは、閾値を確定する操作が行われたことに応じて、確定した閾値をサーバ装置５に対して出力する。
　サーバ装置５において、点群数調整部１５は、前述のように情報処理装置１Ｂから出力された点群データ及びメタデータと、ユーザ端末２Ｂから出力された閾値とに基づき、点群データについての点群数調整処理を行う。そして、サーバ装置５では、このように点群数調整部１５により点群数調整処理が施された点群データがメモリ部５２に記憶される。
　上記のように変形例としての情報処理システムでは、情報処理装置１Ｂが、サーバ装置５、すなわちユーザ端末２Ｂとは別の外部装置であって、閾値に（特徴指示情報）に基づき点群データの個数調整処理を行う別外部装置に対して、メタデータを重畳した点群データを出力する処理を行っている。
　これにより、別外部装置としてのサーバ装置５においては、点群データの表示制御を行うユーザ端末２Ｂからユーザ操作により確定された閾値（特徴指示情報）を受け取ることで、点群データについての最終的な個数調整処理を行うことができる。
　なお、上記した変形例としての情報処理システムにおいて、表示点群数の調整処理を行うアプリは、サーバ装置５に格納しておき、ユーザ端末２Ｂが該アプリをサーバ装置５からダウンロードして使用することも考えられる。
　ここで、これまでの説明では、点群データは、対象地域Ａｔの撮像画像に基づきＳｆＭにより生成する例としたが、点群データは、対象地域Ａｔの撮像画像に基づき、例えばＳＬＡＭ（Simultaneous Localization And Mapping）の技術により生成することもできる。
　或いは、点群データは、対象地域ＡｔをＬｉＤＡＲ（Light Detection And Ranging）センサやＴｏＦ（Time Of Flight）センサ等のデプスセンサでセンシングしたデータに基づき生成することもできる。すなわち、点群データの生成に撮像画像を用いることは必須ではなく、点群データは、対象地域Ａｔのセンシングデータに基づき生成されればよい。
＜４．実施形態のまとめ＞
　以上で説明したように実施形態としての情報処理装置（同１，１Ａ，１Ｂ）は、対象地域のセンシングデータに基づいて対象地域の三次元構造を示す点群データを生成する点群生成部（同１１）と、対象地域を撮像した撮像画像を解析した結果に基づき、対象地域内の被写体の特徴を評価する特徴評価部（同１２，１２Ａ）と、点群データに対して特徴の評価情報を対応づける対応づけ部（多重化部１３）と、点群データと点群データに対応づけられた評価情報とを外部装置に出力する処理を行う出力処理部（制御部１６）と、を備えるものである。
　上記構成によれば、外部装置がユーザ操作に基づく点群データの表示制御を行う装置である場合において、該外部装置が、点群データと共に受信される特徴の評価情報を用いて、ユーザ操作に基づいた点群データの表示制御を自装置内で完結的に行うことが可能となる。
　従って、点群データを生成する装置とは別の外部装置がユーザ操作に基づく点群データの表示制御を行う場合において、ユーザ操作が行われてから該ユーザ操作に基づく点群データの表示が行われるまでの応答速度の向上を図ることができる。
　また、実施形態としての情報処理装置においては、出力処理部は、特徴の評価情報と特徴の評価情報に係るユーザ操作とに基づいて点群データの表示制御を行う装置である外部装置（ユーザ端末２，２Ｂ）に対して、点群データと評価情報とを出力する処理を行っている。
　これにより、特徴の評価情報に係るユーザ操作に基づき点群データの表示制御を行う外部装置が、点群データと共に受信される評価情報を用いて、ユーザ操作に基づいた点群データの表示制御を自装置内で完結的に行うことが可能となる。
　従って、ユーザ操作が行われてから該ユーザ操作に基づく点群データの表示が行われるまでの応答速度の向上を図ることができる。
　さらに、実施形態としての情報処理装置においては、特徴評価部は、被写体の特徴を数値化した特徴評価値を生成し、対応づけ部は、点群データに対し特徴評価値を評価情報として対応づけている。
　これにより、特徴評価値に対する閾値の指定操作により点群の個数調整を行うことが可能なシステムを実現することができる。
　さらにまた、実施形態としての情報処理装置（同１）においては、特徴評価部は、特徴評価値として不要物度を算出している。
　ここで言う不要物度とは、地表以外の物体である不要物らしさを表す評価値を意味する。
　従って、上記構成によれば、不要物度に対する閾値の指定操作により不要物の点群範囲を調整可能なシステムを実現することができる。
　また、実施形態としての情報処理装置においては、特徴評価部は、撮像画像についてセマンティックセグメンテーションとしての画像認識処理を行い、特定クラスの物体が認識されたセグメントに属する点群の不要物度が、非特定クラスの物体が認識されたセグメントに属する点群の不要物度よりも値が大きくなるように不要物度を算出している（図９参照）。
　これにより、例えば建設機材や建物等の不要物に該当するクラスのセグメントに属する点群の不要物度が、不要物に該当しないクラスのセグメントに属する点群の不要物度よりも値が大きく算出される。
　従って、不要物度を適切に算出することができる。
　さらに、実施形態としての情報処理装置においては、特徴評価部は、画像認識処理における画像認識の尤度に応じて不要物度の重み付けを行っている。
　これにより、不要物の点群範囲を、画像認識の尤度に基づいて適切に調整可能なシステムを実現することができる。
　さらにまた、実施形態としての情報処理装置においては、特徴評価部は、特定クラスの物体が認識されたセグメントの縁部に属する点群の不要物度について、外側に位置する点ほど不要物度を小さくしている（図９参照）。
　これにより、不要物と推定されるクラスのセグメントについて、閾値の調整により、除去する範囲の輪郭の大きさを調整することが可能となる。
　従って、閾値の調整により不要物として除去する範囲の大きさを適切に調整することのできる優れたユーザインタフェースを実現することができる。
　また、実施形態としての情報処理装置においては、対応づけ部は、特徴の評価情報が同じ点群については、一部の点に対し特徴の評価情報を対応づけ、残部の点に対し特徴の評価情報を対応づけないものとしている（図１０参照）。
　これにより、外部装置に対する送信データについてデータ量の削減を図ることができる。
　さらに、実施形態としての情報処理装置においては、特徴評価部は、撮像画像についてセマンティックセグメンテーションとしての画像認識処理を行い、対応づけ部は、評価情報として、画像認識処理で認識された物体のクラスを示す情報を前記点群データに対応づけている。
　これにより、ユーザに抽出対象又は除去対象とする物体のクラスを指定させることで点群の個数調整を行うユーザインタフェースを実現することができる。
　さらにまた、実施形態としての情報処理装置（同１Ａ）においては、特徴評価部（同１２Ａ）は、マルチスペクトルカメラによる撮像画像に基づいて植生評価値を算出し、対応づけ部は、評価情報として植生評価値を点群データに対応づけている。
　これにより、例えば圃場を対象とした水や肥料等の散布領域を植生評価値についての閾値の指定操作により調整可能なユーザインタフェースを実現することができる。

項１１
　また、実施形態としての情報処理装置（同１Ｂ）においては、出力処理部は、外部装置（ユーザ端末２Ｂ）とは別の外部装置であって、抽出すべき点群の特徴を指示する特徴指示情報に基づき点群データの個数調整処理を行う別外部装置（サーバ装置５）に対して、点群データと点群データに対応づけられた評価情報とを出力する処理を行っている（図１２参照）。
　これにより、別外部装置においては、点群データの表示制御を行う外部装置からユーザ操作により確定された特徴指示情報を受け取ることで、点群データについての最終的な個数調整処理を行うことができる。
　また、実施形態としてのデータ構造は、対象地域のセンシングデータに基づいて対象地域の三次元構造を示す点群データを生成する点群生成部と、対象地域を撮像した撮像画像を解析した結果に基づき、対象地域内の被写体の特徴を評価する特徴評価部と、点群データに対して特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置が、点群データの表示制御を行う外部装置に出力するデータのデータ構造であって、点群データと、点群データに対応づけられた評価情報とを含み、外部装置が、受信した評価情報に基づきユーザ操作に応じた点群データの表示制御を行うために用いられるデータ構造である。
　これにより、ユーザ操作に基づく点群データの表示制御を行う外部装置においては、点群データと共に受信される特徴の評価情報を用いて、ユーザ操作に基づいた点群データの表示制御を自装置内で完結的に行うことが可能となる。
　従って、点群データを生成する装置とは別の外部装置がユーザ操作に基づく点群データの表示制御を行う場合において、ユーザ操作が行われてから該ユーザ操作に基づく点群データの表示が行われるまでの応答速度の向上を図ることができる。
　ここで、実施形態としては、先の図８等で説明したユーザ端末２側の処理を、例えばＣＰＵ、ＤＳＰ（Digital Signal Processor）等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
　すなわち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、対象地域のセンシングデータに基づいて対象地域の三次元構造を示す点群データを生成する点群生成部と、対象地域を撮像した撮像画像を解析した結果に基づき、対象地域内の被写体の特徴を評価する特徴評価部と、点群データに対して特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置より、点群データと、点群データに対応づけられた評価情報とを受信し、評価情報に基づき、ユーザ操作に応じた前記点群データの表示制御を行う処理を、コンピュータ装置に実行させるプログラムである。
　このようなプログラムにより、上述したユーザ端末２としての機能をコンピュータ装置によるソフトウェア処理により実現できる。
　上記のようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
　またこのようなプログラムによれば、実施形態としてのユーザ端末２の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示のユーザ端末２としての処理を実現する装置として機能させることができる。
　また、実施形態としてのプログラムについては、点群データに対応づけられた評価情報とユーザ操作とに基づき、点群データに含まれる複数の点のうちの一部を選択する処理を、コンピュータ装置に実行させるプログラムとすることも考えられる。
　これにより、ユーザ操作のみでなく評価情報に基づいた表示点群の選択を行うことができる。
　さらに、実施形態としてのプログラムについては、複数の点のうちユーザ操作により指定された評価情報に係る条件を満たす点を選択する処理を、コンピュータ装置に実行させるプログラムとすることも考えられる。
　これにより、ユーザに表示点群を一つずつ指定させるという煩雑な操作を行わせずに済み、表示点群の選択に係るユーザの操作負担軽減を図ることができる。
　さらにまた、実施形態としてのプログラムについては、評価情報は、特徴を数値化した特徴評価値とされ、条件は、特徴評価値に対する閾値により定められた条件であるものとすることも考えられる。
　これにより、表示点群の選択に要するユーザ操作を、特徴評価値に対する閾値の指定操作とすることが可能となり、表示点群の選択に係るユーザの操作負担軽減を図ることができる。
　また、実施形態としてのプログラムについては、ユーザ操作により確定された、抽出すべき点群の特徴を指示するための特徴指示情報を、点群データの個数調整を行う装置（情報処理装置１，１Ａ、又はサーバ装置５）に出力する処理をさらにコンピュータ装置に実行させるプログラムとすることも考えられる。
　これにより、例えば点群データを生成する装置やサーバ装置等、点群データの個数調整を行う装置に対して、ユーザ操作により確定された特徴指示情報が出力される。
　従って、確定された特徴指示情報に基づき個数調整された点群データを保存する装置が点群データを生成する装置やサーバ装置等、点群データの表示制御を行う装置の外部装置とされる場合において、点群データの表示制御を行う装置から該外部装置に対してユーザ操作に基づき個数調整した点群データを送信する必要がなくなる。すなわち、該外部装置に確定された点群数による点群データを保存させるにあたっての送信データ量の削減を図ることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜５．本技術＞
　本技術は以下のような構成を採ることもできる。
（１）
　対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、
　前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、
　前記点群データに対して前記特徴の評価情報を対応づける対応づけ部と、
　前記点群データと前記点群データに対応づけられた前記評価情報とを外部装置に出力する処理を行う出力処理部と、を備える
　情報処理装置。
（２）
　前記出力処理部は、前記特徴の評価情報と前記特徴の評価情報に係るユーザ操作とに基づいて前記点群データの表示制御を行う装置である前記外部装置に対して、前記点群データと前記評価情報とを出力する処理を行う
　前記（１）に記載の情報処理装置。
（３）
　前記特徴評価部は、前記被写体の特徴を数値化した特徴評価値を生成し、
　前記対応づけ部は、前記点群データに対し前記特徴評価値を前記評価情報として対応づける
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記特徴評価部は、前記特徴評価値として不要物度を算出する
　前記（３）に記載の情報処理装置。
（５）
　前記特徴評価部は、前記撮像画像についてセマンティックセグメンテーションとしての画像認識処理を行い、特定クラスの物体が認識されたセグメントに属する点群の前記不要物度が、非特定クラスの物体が認識されたセグメントに属する点群の前記不要物度よりも値が大きくなるように前記不要物度を算出する
　前記（４）に記載の情報処理装置。
（６）
　前記特徴評価部は、前記画像認識処理における画像認識の尤度に応じて前記不要物度の重み付けを行う
　前記（５）に記載の情報処理装置。
（７）
　前記特徴評価部は、前記特定クラスの物体が認識されたセグメントの縁部に属する点群の不要物度について、外側に位置する点ほど不要物度を小さくする
　前記（５）又は（６）に記載の情報処理装置。
（８）
　前記対応づけ部は、前記特徴の評価情報が同じ点群については、一部の点に対し前記特徴の評価情報を対応づけ、残部の点に対し前記特徴の評価情報を対応づけない
　前記（１）又は（２）に記載の情報処理装置。
（９）
　前記特徴評価部は、前記撮像画像についてセマンティックセグメンテーションとしての画像認識処理を行い、
　前記対応づけ部は、前記評価情報として、前記画像認識処理で認識された物体のクラスを示す情報を前記点群データに対応づける
　前記（１）又は（２）又は（８）に記載の情報処理装置。
（１０）
　前記特徴評価部は、マルチスペクトルカメラによる撮像画像に基づいて植生評価値を算出し、
　前記対応づけ部は、前記評価情報として前記植生評価値を前記点群データに対応づける
　前記（１）又は（２）又は（８）に記載の情報処理装置。
（１１）
　前記出力処理部は、前記外部装置とは別の外部装置であって、抽出すべき点群の特徴を指示する特徴指示情報に基づき点群データの個数調整処理を行う別外部装置に対して、前記点群データと前記点群データに対応づけられた前記評価情報とを出力する処理を行う
　前記（２）から（１０）の何れかに記載の情報処理装置。
（１２）
　対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、前記点群データに対して前記特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置が、前記点群データの表示制御を行う外部装置に出力するデータのデータ構造であって、
　前記点群データと、前記点群データに対応づけられた前記評価情報とを含み、
　前記外部装置が、受信した前記評価情報に基づきユーザ操作に応じた前記点群データの表示制御を行うために用いられる
　データ構造。
（１３）
　コンピュータ装置が読み取り可能なプログラムであって、
　対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、前記点群データに対して前記特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置より、前記点群データと、前記点群データに対応づけられた前記評価情報とを受信し、前記評価情報に基づき、ユーザ操作に応じた前記点群データの表示制御を行う処理を、前記コンピュータ装置に実行させる
　プログラム。
（１４）
　前記点群データに対応づけられた前記評価情報と前記ユーザ操作とに基づき、前記点群データに含まれる複数の点のうちの一部を選択する処理を、前記コンピュータ装置に実行させる
　前記（１３）に記載のプログラム。
（１５）
　前記複数の点のうち前記ユーザ操作により指定された前記評価情報に係る条件を満たす点を選択する処理を、前記コンピュータ装置に実行させる
　前記（１４）に記載のプログラム。
（１６）
　前記評価情報は、前記特徴を数値化した特徴評価値とされ、
　前記条件は、前記特徴評価値に対する閾値により定められた条件である
　前記（１５）に記載のプログラム。
（１７）
　ユーザ操作により確定された、抽出すべき点群の特徴を指示するための特徴指示情報を、前記点群データの個数調整を行う装置に出力する処理を前記コンピュータ装置に実行させる
　前記（１３）から（１６）の何れかに記載のプログラム。
１，１Ａ，１Ｂ　情報処理装置
２，２Ｂ　ユーザ端末
３　撮像装置
Ａｔ　対象地域
Ｏａ　調整操作子
Ｇａ　点群調整画面
１０　メモリ部
１１　点群生成部
１２，１２Ａ　特徴評価部
１３　多重化部
１４　通信部
１５　点群数調整部
１６　制御部
１７　バス
２１　ＣＰＵ
２２　ＲＯＭ
２３　ＲＡＭ
２４　不揮発性メモリ部
２５　入出力インタフェース
２６　入力部
２７　表示部
２９　記憶部
３０　通信部
５　サーバ装置
５１　通信部
５２　メモリ部
ＮＴ　ネットワーク

Claims (17)

  1. 　対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、
    　前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、
    　前記点群データに対して前記特徴の評価情報を対応づける対応づけ部と、
    　前記点群データと前記点群データに対応づけられた前記評価情報とを外部装置に出力する処理を行う出力処理部と、を備える
    　情報処理装置。
  2. 　前記出力処理部は、前記特徴の評価情報と前記特徴の評価情報に係るユーザ操作とに基づいて前記点群データの表示制御を行う装置である前記外部装置に対して、前記点群データと前記評価情報とを出力する処理を行う
    　請求項１に記載の情報処理装置。
  3. 　前記特徴評価部は、前記被写体の特徴を数値化した特徴評価値を生成し、
    　前記対応づけ部は、前記点群データに対し前記特徴評価値を前記評価情報として対応づける
    　請求項１に記載の情報処理装置。
  4. 　前記特徴評価部は、前記特徴評価値として不要物度を算出する
    　請求項３に記載の情報処理装置。
  5. 　前記特徴評価部は、前記撮像画像についてセマンティックセグメンテーションとしての画像認識処理を行い、特定クラスの物体が認識されたセグメントに属する点群の前記不要物度が、非特定クラスの物体が認識されたセグメントに属する点群の前記不要物度よりも値が大きくなるように前記不要物度を算出する
    　請求項４に記載の情報処理装置。
  6. 　前記特徴評価部は、前記画像認識処理における画像認識の尤度に応じて前記不要物度の重み付けを行う
    　請求項５に記載の情報処理装置。
  7. 　前記特徴評価部は、前記特定クラスの物体が認識されたセグメントの縁部に属する点群の不要物度について、外側に位置する点ほど不要物度を小さくする
    　請求項５に記載の情報処理装置。
  8. 　前記対応づけ部は、前記特徴の評価情報が同じ点群については、一部の点に対し前記特徴の評価情報を対応づけ、残部の点に対し前記特徴の評価情報を対応づけない
    　請求項１に記載の情報処理装置。
  9. 　前記特徴評価部は、前記撮像画像についてセマンティックセグメンテーションとしての画像認識処理を行い、
    　前記対応づけ部は、前記評価情報として、前記画像認識処理で認識された物体のクラスを示す情報を前記点群データに対応づける
    　請求項１に記載の情報処理装置。
  10. 　前記特徴評価部は、マルチスペクトルカメラによる撮像画像に基づいて植生評価値を算出し、
    　前記対応づけ部は、前記評価情報として前記植生評価値を前記点群データに対応づける
    　請求項１に記載の情報処理装置。
  11. 　前記出力処理部は、前記外部装置とは別の外部装置であって、抽出すべき点群の特徴を指示する特徴指示情報に基づき点群データの個数調整処理を行う別外部装置に対して、前記点群データと前記点群データに対応づけられた前記評価情報とを出力する処理を行う
    　請求項２に記載の情報処理装置。
  12. 　対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、前記点群データに対して前記特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置が、前記点群データの表示制御を行う外部装置に出力するデータのデータ構造であって、
    　前記点群データと、前記点群データに対応づけられた前記評価情報とを含み、
    　前記外部装置が、受信した前記評価情報に基づきユーザ操作に応じた前記点群データの表示制御を行うために用いられる
    　データ構造。
  13. 　コンピュータ装置が読み取り可能なプログラムであって、
    　対象地域のセンシングデータに基づいて前記対象地域の三次元構造を示す点群データを生成する点群生成部と、前記対象地域を撮像した撮像画像を解析した結果に基づき、前記対象地域内の被写体の特徴を評価する特徴評価部と、前記点群データに対して前記特徴の評価情報を対応づける対応づけ部とを備えた情報処理装置より、前記点群データと、前記点群データに対応づけられた前記評価情報とを受信し、前記評価情報に基づき、ユーザ操作に応じた前記点群データの表示制御を行う処理を、前記コンピュータ装置に実行させる
    　プログラム。
  14. 　前記点群データに対応づけられた前記評価情報と前記ユーザ操作とに基づき、前記点群データに含まれる複数の点のうちの一部を選択する処理を、前記コンピュータ装置に実行させる
    　請求項１３に記載のプログラム。
  15. 　前記複数の点のうち前記ユーザ操作により指定された前記評価情報に係る条件を満たす点を選択する処理を、前記コンピュータ装置に実行させる
    　請求項１４に記載のプログラム。
  16. 　前記評価情報は、前記特徴を数値化した特徴評価値とされ、
    　前記条件は、前記特徴評価値に対する閾値により定められた条件である
    　請求項１５に記載のプログラム。
  17. 　ユーザ操作により確定された、抽出すべき点群の特徴を指示するための特徴指示情報を、前記点群データの個数調整を行う装置に出力する処理を前記コンピュータ装置に実行させる
    　請求項１３に記載のプログラム。
PCT/JP2023/017857 2022-05-12 2023-05-12 情報処理装置、データ構造、プログラム Ceased WO2023219155A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024520495A JPWO2023219155A1 (ja) 2022-05-12 2023-05-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-078694 2022-05-12
JP2022078694 2022-05-12

Publications (1)

Publication Number Publication Date
WO2023219155A1 true WO2023219155A1 (ja) 2023-11-16

Family

ID=88730367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017857 Ceased WO2023219155A1 (ja) 2022-05-12 2023-05-12 情報処理装置、データ構造、プログラム

Country Status (2)

Country Link
JP (1) JPWO2023219155A1 (ja)
WO (1) WO2023219155A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025083017A (ja) * 2023-11-20 2025-05-30 日本電気株式会社 点検支援システム、点検支援装置、点検支援方法、及び、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021061611A1 (en) * 2019-09-24 2021-04-01 Dentsply Sirona Inc. Method, system and computer readable storage media for registering intraoral measurements
JP2021058099A (ja) * 2019-10-03 2021-04-15 国立大学法人京都大学 農作業機
WO2021181525A1 (ja) * 2020-03-10 2021-09-16 日本電気株式会社 表示装置、表示方法及び表示プログラムが格納された非一時的なコンピュータ可読媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021061611A1 (en) * 2019-09-24 2021-04-01 Dentsply Sirona Inc. Method, system and computer readable storage media for registering intraoral measurements
JP2021058099A (ja) * 2019-10-03 2021-04-15 国立大学法人京都大学 農作業機
WO2021181525A1 (ja) * 2020-03-10 2021-09-16 日本電気株式会社 表示装置、表示方法及び表示プログラムが格納された非一時的なコンピュータ可読媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025083017A (ja) * 2023-11-20 2025-05-30 日本電気株式会社 点検支援システム、点検支援装置、点検支援方法、及び、プログラム
JP7838563B2 (ja) 2023-11-20 2026-04-01 日本電気株式会社 点検支援システム、点検支援装置、点検支援方法、及び、プログラム

Also Published As

Publication number Publication date
JPWO2023219155A1 (ja) 2023-11-16

Similar Documents

Publication Publication Date Title
EP3770854B1 (en) Target tracking method, apparatus, medium, and device
CN108521808B (zh) 一种障碍信息显示方法、显示装置、无人机及系统
JP7299213B2 (ja) 情報処理装置
US11961407B2 (en) Methods and associated systems for managing 3D flight paths
US20230131458A1 (en) Probe sensor
KR102908501B1 (ko) 적응적 포커스 범위 및 계층화 스캐터링을 이용한 보케 이미지들의 생성
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
WO2019041266A1 (zh) 一种路径规划方法、飞行器、飞行系统
US20230245285A1 (en) Device and method for generating image in which subject has been captured
US12536250B2 (en) Electronic device and method for smoke level estimation
JP2022006180A (ja) 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
WO2023219155A1 (ja) 情報処理装置、データ構造、プログラム
CN111080537B (zh) 水下机器人智能控制方法、介质、设备及系统
CN114511596A (zh) 一种数据处理方法及相关设备
WO2025097545A1 (zh) 无人机飞行高度控制方法、装置、电子设备及存储介质
JP2020021368A (ja) 画像解析システム、画像解析方法及び画像解析プログラム
CN113470051B (zh) 图像分割方法、计算机终端及存储介质
US10366495B2 (en) Multi-spectrum segmentation for computer vision
CN116320597A (zh) 直播图像帧处理方法、装置、设备、可读存储介质及产品
EP3786841A1 (en) Output control apparatus, display control system, output control method, and carrier means
JP2018502488A (ja) 視覚的画像アレイに関する、装置、方法およびシステム
JP4512778B2 (ja) 不法投棄箇所検知装置、方法、およびプログラム
US10613552B2 (en) Drone remaining undetectable from current target location during surveillance
CN115760584B (zh) 一种图像处理方法及相关设备
CN107220959A (zh) 一种基于无人机的图像处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23803629

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024520495

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18862896

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23803629

Country of ref document: EP

Kind code of ref document: A1