WO2024023953A1 - 情報処理システム、情報処理方法、プログラム、サーバ - Google Patents

情報処理システム、情報処理方法、プログラム、サーバ Download PDF

Info

Publication number
WO2024023953A1
WO2024023953A1 PCT/JP2022/028863 JP2022028863W WO2024023953A1 WO 2024023953 A1 WO2024023953 A1 WO 2024023953A1 JP 2022028863 W JP2022028863 W JP 2022028863W WO 2024023953 A1 WO2024023953 A1 WO 2024023953A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information processing
information
unit
end point
Prior art date
Application number
PCT/JP2022/028863
Other languages
English (en)
French (fr)
Inventor
達ガイ 衛
穣 坂田
雄介 中鉢
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Priority to JP2022572669A priority Critical patent/JP7228311B1/ja
Priority to PCT/JP2022/028863 priority patent/WO2024023953A1/ja
Priority to JP2023016316A priority patent/JP2024018882A/ja
Publication of WO2024023953A1 publication Critical patent/WO2024023953A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/40—Transportation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/40—Maintenance of things

Definitions

  • the present invention relates to an information processing system, an information processing method, a program, and a server.
  • Patent Document 1 discloses a system in which a flying object sequentially photographs an object at a plurality of preset waypoints.
  • a plurality of image data are arranged so that the position on the map can be visually recognized by, for example, associating the position information of the photographed image data with the position information of the map.
  • the present invention has been made in view of this background, and particularly aims to provide an information processing system, an information processing method, a program, and a server for linking image data to a drawing showing at least a part of a structure. purpose.
  • the main invention of the present invention for solving the above problems includes a starting point/end point setting unit that sets one or more sets of a starting point position and an ending point position on a drawing showing at least a part of a structure;
  • An information processing system includes: an associating unit that associates an associated set; and a position associating unit that associates image data corresponding to a predetermined position between a starting point position and an end point position corresponding to the associated set.
  • an information processing system an information processing method, a program, and a server for linking image data to a drawing showing at least a portion of a structure.
  • FIG. 1 is a diagram showing the overall configuration of an information processing system according to an embodiment of the present invention.
  • 1 is a diagram showing a system configuration of an information processing system according to an embodiment of the present invention.
  • 3 is a block diagram showing the hardware configuration of the server in FIG. 2.
  • FIG. 3 is a block diagram showing the hardware configuration of the terminal in FIG. 2.
  • FIG. 3 is a block diagram showing the hardware configuration of the aircraft shown in FIG. 2.
  • FIG. 3 is a block diagram showing the functions of the server and terminal in FIG. 2.
  • FIG. FIG. 2 is a diagram illustrating an example of processing of the information processing system according to the embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of processing of the information processing system according to the embodiment of the present invention.
  • FIG. 1 is a diagram showing a system configuration of an information processing system according to an embodiment of the present invention.
  • 3 is a block diagram showing the hardware configuration of the server in FIG. 2.
  • FIG. 3 is a block diagram showing the
  • FIG. 2 is a diagram illustrating an example of processing of the information processing system according to the embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of processing of the information processing system according to the embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of processing of the information processing system according to the embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of processing of the information processing system according to the embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of processing of the information processing system according to the embodiment of the present invention.
  • 1 is a flowchart of an information processing system according to an embodiment of the present invention.
  • An information processing system, an information processing method, a program, and a server have the following configuration.
  • [Item 1] a start point and end point setting unit that sets one or more sets of start point positions and end point positions on a drawing showing at least a portion of the structure; an association unit that associates one or more image data with the set; a position linking unit that links image data corresponding to a predetermined position between a starting point position and an end point position corresponding to the associated set;
  • An information processing system characterized by: [Item 2] The start point and end point setting unit sets the set of the start point position and the end point position based on a user's setting operation on the drawing.
  • the information processing system characterized in that: [Item 3] The starting point and ending point setting unit analyzes the drawing and sets a set of the starting point position and the ending point position for at least one side of the structure.
  • the information processing system characterized in that: [Item 4] The association unit associates the image data selected based on a selection operation by a user with the set.
  • the information processing system according to any one of items 1 to 3, characterized in that: [Item 5] The association unit associates the image data with the set based on at least one of time information or position information regarding the image data.
  • the information processing system calculates the predetermined position based on at least one of time information or position information regarding the image data, and links image data corresponding to the predetermined position.
  • the information processing system according to any one of items 1 to 3, characterized in that: [Item 7]
  • the drawing is a drawing based on drawing information that does not include latitude and longitude information,
  • the information processing system according to any one of items 1 to 3, characterized in that: [Item 8] a step of setting one or more sets of a starting point position and an ending point position on a drawing showing at least a portion of the structure by a starting point/end point setting unit; associating one or more image data with the set by an associating unit; a step of associating image data corresponding to a predetermined position between a starting point position and an end point position corresponding to the associated set by a position associating unit; An information processing method characterized by: [Item 9] a step of setting one or
  • the information processing system photographs at least a portion of a structure (for example, a wall surface) using an unmanned flying vehicle 4, and photographs a drawing showing at least a portion of the structure.
  • Image data is linked and managed.
  • the information processing system in this embodiment includes a server 1, a terminal 2, and an unmanned flying vehicle 4.
  • the server 1, the terminal 2, and the unmanned aircraft 4 may be communicably connected to each other via the network NW.
  • the illustrated configuration is an example, and the configuration is not limited to this.
  • the unmanned flying object 4 may not be connected to the network NW.
  • the unmanned aerial vehicle 4 may be operated by a transmitter (so-called radio) operated by a user, or the image data acquired by the camera of the unmanned aerial vehicle 4 may be stored in an auxiliary storage device (e.g.
  • the configuration may be such that the data is stored in a memory card such as an SD card, a USB memory, etc.), and later read out from the auxiliary storage device by the user and stored in the server 1 or terminal 2, for operational purposes or image data.
  • the unmanned aerial vehicle 4 may be connected to the network NW only for one of the storage purposes.
  • FIG. 3 is a diagram showing the hardware configuration of the server 1. Note that the illustrated configuration is an example, and other configurations may be used.
  • a server 1 is connected to a terminal 2 and an unmanned aerial vehicle 4, and constitutes a part of this system.
  • the server 1 may be a general-purpose computer, such as a workstation or a personal computer, or may be logically implemented by cloud computing.
  • the server 1 includes at least a processor 10, a memory 11, a storage 12, a transmitting/receiving section 13, an input/output section 14, etc., which are electrically connected to each other via a bus 15.
  • the processor 10 is an arithmetic device that controls the overall operation of the server 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit), and executes programs for this system stored in the storage 12 and developed in the memory 11 to perform various information processing. .
  • the memory 11 includes a main memory configured with a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory configured with a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). .
  • the memory 11 is used as a work area for the processor 10, and also stores a BIOS (Basic Input/Output System) executed when the server 1 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 12 stores various programs such as application programs.
  • a database storing data used for each process may be constructed in the storage 12.
  • each of the storage units described below may be provided in a part of the storage area.
  • the transmitting/receiving unit 13 connects the server 1 to the network NW.
  • the transmitter/receiver 13 may include a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • the input/output unit 14 is information input devices such as a keyboard and mouse, and output devices such as a display.
  • the bus 15 is commonly connected to each of the above elements and transmits, for example, address signals, data signals, and various control signals.
  • the terminal 2 shown in FIG. 4 also includes a processor 20, a memory 21, a storage 22, a transmitting/receiving section 23, an input/output section 24, etc., which are electrically connected to each other through a bus 25. Since the functions of each element can be configured in the same manner as the server 1 described above, a detailed explanation of each element will be omitted.
  • FIG. 5 is a block diagram showing the hardware configuration of the unmanned aerial vehicle 4.
  • Flight controller 41 may include one or more processors, such as a programmable processor (eg, a central processing unit (CPU)).
  • processors such as a programmable processor (eg, a central processing unit (CPU)).
  • the flight controller 41 has a memory 411 and can access the memory.
  • Memory 411 stores logic, code, and/or program instructions executable by the flight controller to perform one or more steps.
  • the flight controller 41 may include sensors 412 such as an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (eg, lidar), and the like.
  • the memory 411 may include, for example, a separable medium or external storage device such as an SD card or random access memory (RAM). Data acquired from cameras/sensors 42 may be communicated directly to and stored in memory 411. For example, still image/video data taken with a camera or the like may be recorded in the built-in memory or external memory, but the data is not limited to this. 2 may be recorded.
  • the camera 42 is installed on the unmanned aerial vehicle 4 via a gimbal 43.
  • Flight controller 41 includes a control module (not shown) configured to control the state of unmanned aerial vehicle 4 .
  • the control module adjusts the spatial position, velocity, and/or acceleration of the unmanned air vehicle 4 with six degrees of freedom (translational movements x, y, and z, and rotational movements ⁇ x , ⁇ y , and ⁇ z ).
  • the propulsion mechanism (motor 45, etc.) of the unmanned aerial vehicle 4 is controlled via an ESC 44 (Electric Speed Controller).
  • a propeller 46 is rotated by a motor 45 supplied with power from a battery 48, thereby generating lift of the unmanned flying vehicle 4.
  • the control module can control one or more of the states of the mounting section and sensors.
  • Flight controller 41 is a transceiver configured to transmit and/or receive data from one or more external devices (e.g., a transceiver 49, terminal, display, or other remote controller). It is possible to communicate with the unit 47.
  • Transceiver 49 may use any suitable communication means, such as wired or wireless communication.
  • the transmitter/receiver 47 uses one or more of a local area network (LAN), wide area network (WAN), infrared rays, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication, etc. can do.
  • LAN local area network
  • WAN wide area network
  • infrared rays wireless
  • WiFi point-to-point
  • P2P point-to-point
  • telecommunications network telecommunications network
  • cloud communication etc.
  • the transmitting/receiving unit 47 transmits and/or receives one or more of data acquired by the sensors 42, processing results generated by the flight controller 41, predetermined control data, user commands from a terminal or remote controller, etc. be able to.
  • Sensors 42 may include an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (eg, lidar), or a vision/image sensor (eg, camera).
  • inertial sensor acceleration sensor, gyro sensor
  • GPS sensor GPS sensor
  • proximity sensor eg, lidar
  • vision/image sensor eg, camera
  • FIG. 6 is a block diagram illustrating functions implemented in the server 1 and the terminal 2.
  • the server 1 includes a communication section 110, a start point/end point setting section 120, an association section 130, an image linking section 140, an information output section 150, a drawing-related data storage section 160, and an aircraft-related information storage section 170. It is equipped with The various functional units are illustrated as functional units in the processor 10 of the server 1, but some or all of the various functional units may be implemented in the processor 10 of the server 1, the processor 20 of the terminal 2, or the controller of the unmanned aircraft 4. The configuration may be implemented in any of the processor 10, the processor 20, and the controller 41 depending on the capabilities of the processor 41 and the like.
  • the communication unit 110 communicates with the terminal 2 and the unmanned aerial vehicle 4 via the network NW.
  • the communication unit 110 also functions as a reception unit that receives various requests, data, etc. from the terminal 2, the unmanned aircraft 4, and the like.
  • the start point/end point setting unit 120 sets one or more sets of start point positions and end point positions on a drawing showing at least a portion of the structure (for example, a wall surface, etc.).
  • the start point/end point setting unit 120 reads drawing data of a drawing showing at least a part of the structure from the drawing-related data storage unit 160 and sends the data to the input/output unit of the terminal 2.
  • the drawing is displayed on the display section included in 24, and a first axis (hereinafter also referred to as "X-axis”) and a second axis (hereinafter also referred to as "Y-axis”) orthogonal to the first axis are displayed on the drawing.
  • X-axis first axis
  • Y-axis second axis orthogonal to the first axis
  • start point and end point setting unit 120 may automatically assign the first axis and the second axis according to the vertical and horizontal directions of the read drawing data, or may set the first axis according to the user's operation and A second axis orthogonal to the axis may also be set.
  • the start point and end point setting unit 120 responds to a position designation operation (setting operation) performed by the user on the terminal 2 to designate a start point position and an end point position on the drawing, respectively.
  • a set of starting point positions and ending point positions may be set for the drawing.
  • the start point and end point setting unit 120 analyzes the drawing of the drawing data using a learning model learned in advance, and comprehensively determines the start and end points of the structures described in the drawing, as illustrated in FIG. The set of positions may be set automatically. Then, the start point/end point setting unit 120 stores the set of the start point position and end point position in the drawing related data storage unit 160 in association with the drawing data.
  • the display may be different (for example, the shape, color, size, etc. of the points) so that the start point position and the end point position can be distinguished, or the set of the start point position and the end point position may be different.
  • An arrow from the starting point position to the ending point position may be displayed for easy recognition.
  • the start point/end point setting unit 120 may set a plurality of sets of start point positions and end point positions on the drawing.
  • the second axis may be limited to the vertical direction in the vertical direction of the drawing, etc.), and by being limited in this way, the linking process by the image linking unit 140, which will be described later, is Simplify.
  • the starting point position and the ending point position can be set by the starting point and ending point setting unit 120 at any position on the drawing, but for example, the first axis and the second axis are separated by a predetermined interval, It may be possible to specify the position of the intersection of both axes (so-called XY coordinates) or the position of the center point of a square area partitioned into a checkerboard pattern.
  • the structure may be, for example, a building such as a house or a building, a dam, an embankment, a bridge, a power generation facility, a power transmission facility, a tank, a vehicle, a building, or the like.
  • the drawing is a drawing showing at least a part of the structure, and may be a plan view such as an external view of the structure from one direction or a design drawing. , it may be an image in which three-dimensional model data (for example, BIM data, CAD data, etc.) of a structure is displayed from one direction, or it may be an image taken of an actual structure.
  • the drawing may particularly be a drawing showing the external appearance of the side or top surface of the structure.
  • the superiority of the present invention becomes particularly clear when the drawing data is drawing data that does not include positional information (for example, latitude, longitude, and height information).
  • the association unit 130 associates one or more pieces of image data with the set of start and end positions set by the start and end point setting unit 120.
  • a predetermined set is selected by the user's selection operation (in the example, the selected arrow is shown as a dotted line), and as illustrated in FIG. , one or more image data are associated with the selected set by selecting image data to be associated with the selected set by a user's selection operation.
  • each set of Image data corresponding to the relative distance (particularly the length on the drawing) between the starting point position and the ending point position may be associated with each set in time order or position order.
  • image data for 10 timings grasped by time information is assigned to each set.
  • the association unit 130 may store, in the drawing-related data storage unit 160, correspondence information indicating the correspondence between sets and image data obtained through such association processing.
  • the image data may be image data taken by a camera provided on the unmanned flying vehicle 4, and may be stored in the flying vehicle related information storage section 170 and read out by the association section 130.
  • the image linking unit 140 links the image data corresponding to each set linked by the linking unit 130 to a predetermined position from the starting point position to the ending point position.
  • the direction from the starting point position to the ending point position is set along the height direction of the structure (in particular, if the Y axis is direction, and the direction from the starting point position to the ending point position is set along the Y-axis direction), height information included in the image data (i.e., when the image is captured by the camera of the unmanned aerial vehicle 4).
  • the position on the drawing (for example, the position between the starting point position and the ending point position) may be set based on the acquired altitude information).
  • the five image data may be linked to positions 0 cm, 2 cm, 6 cm, 8 cm, and 10 cm from the starting point of the arrow, as illustrated in FIG.
  • the 5 pieces of image data are 0 cm, 1 cm, 3 cm, 4 cm, It may be tied at a position of 5 cm.
  • each image data may be linked from the position corresponding to the minimum value of the height information of the plurality of associated image data.
  • the position corresponding to at least one of the lower limit value and upper limit value of the height information of a plurality of associated image data is determined based on the user operation on the terminal 2.
  • the image linking unit 140 may be configured, for example, when the direction from the start point position to the end point position is set along the horizontal direction of the structure (especially when the and the direction from the starting point position to the ending point position is set along the
  • the position on the drawing may be set based on the latitude and longitude information (latitude and longitude information).
  • the configuration may be such that, based on a user operation on the terminal 2, it can be set based on at least either latitude information or longitude information to link the positions of the image data.
  • the image linking unit 140 divides the distance from the start point position to the end point position equally by the number of associated image data, for example, along the direction from the start point position to the end point position. It may be possible to equally link each position. As a more specific example, if the length of the arrow indicating the selection set illustrated in FIG. It may be linked to positions 0 cm, 2 cm, 4 cm, 6 cm, 8 cm, and 10 cm from the starting point. For example, if the length of the arrow indicating the selection set is 5 cm on the drawing, the 6 image data will be linked to positions 0 cm, 1 cm, 2 cm, 3 cm, 4 cm, and 5 cm from the starting point of the arrow. It's okay to be hit.
  • the information output unit 150 outputs drawing data stored in the drawing-related data storage unit 160, image data associated with the drawing data, aircraft route information and self-position information stored in the aircraft-related information storage unit 170, and unmanned flight information. Based on the image data captured by the body 4, output information to be transmitted in response to a request from the terminal 2 or the unmanned flying vehicle 4 is generated.
  • the information output unit 150 selects tag information associated with drawing data on the terminal 2 (for example, the tag information is information indicating a position regarding a structure, and in FIG. 13, the tag information is "
  • the output information may include corresponding drawing data to generate the output information depending on whether the "east face" or the wall position is selected.
  • the position of the image data linked on the drawing may be visualized based on visualization information such as a symbol, and the position of the image data on the drawing may be selected on the terminal 2.
  • the information output unit 150 may generate the output information by including the corresponding image data.
  • image-related information related to the image data included in the output information may also be included in the output information.
  • the image-related information may be, for example, information about the structure, such as location information of the structure (for example, latitude and longitude information, etc.), information on the composition type of the wall of the structure (for example, tile, brick, concrete, wood, etc.). ) may also be included.
  • location information of the structure for example, latitude and longitude information, etc.
  • composition type of the wall of the structure for example, tile, brick, concrete, wood, etc.
  • the image-related information may include, for example, location information (for example, latitude, longitude, and height information) where the image was acquired by the unmanned aerial vehicle 4, and information indicating the deterioration state of the structure.
  • location information for example, latitude, longitude, and height information
  • information indicating the deterioration state of the structure may be deterioration state information associated with image data through an input operation on the terminal 2, or may be deterioration state information associated with image data through an input operation on the terminal 2. It may also be deterioration state information obtained by image analysis.
  • Deterioration state information resulting from image analysis of image data is information resulting from inputting and analyzing image data by the information output unit 150 into a learning model provided within or outside this system, and includes, for example, cracks or dirt in a structure, etc. It may also be information on the results of analysis using a learning model that estimates the state of deterioration.
  • the deterioration state information includes, for example, deterioration type information (e.g., cracks, chips, stains, etc.) as shown in FIG. (eg, a level in which the size of the chipping area is divided into a predetermined range).
  • the information output unit 150 may use the deterioration state information to limit the image data to be visualized on the read drawing to image data estimated to include a deteriorated portion.
  • the terminal 2 displays the output information in a format illustrated in FIG. 13 in correspondence with a predetermined user interface on an application executed on the terminal 2.
  • the server 1 uses the start point/end point setting unit 120 to set one or more sets of start point positions and end point positions on a drawing showing at least a portion of a structure (for example, a wall surface, etc.) (SQ101).
  • a structure for example, a wall surface, etc.
  • the server 1 uses the association unit 130 to associate one or more pieces of image data with the set of start and end positions set by the start and end point setting unit 120.
  • the server 1 uses the image linking unit 140 to link the image data corresponding to each set linked by the linking unit 130 to a predetermined position from the start position to the end position (SQ103).
  • the server 1 generates output information to be transmitted to the terminal 2 based on the drawing data stored in the drawing-related data storage unit 160, image data associated with the drawing data, and various information (SQ104). .
  • the terminal 2 displays various information in a predetermined format in correspondence with a predetermined user interface on the application executed on the terminal 2, based on the output information generated by the information output unit 150 (SQ105).
  • the present invention makes it possible to provide an information processing system, an information processing method, a program, and a server for linking image data to a drawing showing at least a part of a structure. etc., it becomes easy to link image data taken of structures described in a drawing, especially on a drawing that does not include latitude and longitude information.

Abstract

【課題】本発明は、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供すること。 【解決手段】本発明は、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、一以上の画像データを前記セットに関連付ける関連付け部と、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える情報処理システム。

Description

情報処理システム、情報処理方法、プログラム、サーバ
　本発明は、情報処理システム及び情報処理方法、プログラム、サーバに関する。
　近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）などの飛行体（以下、「無人飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。
特開２０１４－０８９１６０号公報
　ここで、従来システムにおいては、撮影した画像データの位置情報と地図の位置情報とを対応付けるなどして、複数の画像データを地図上の位置が視認可能に整理していた。
　しかしながら、例えば建物の外壁の点検などにおいては、外観図や設計図などのような構造物の少なくとも一部分を示す図面上で撮影した画像データを整理したいというニーズがあり、これに対応するシステムを構築する必要性があった。
　本発明はこのような背景を鑑みてなされたものであり、特に、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、一以上の画像データを前記セットに関連付ける関連付け部と、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える情報処理システムである。
　本発明によれば、特に、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供することができる。
本発明の実施の形態にかかる情報処理システムの全体構成を示す図である。 本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。 図２のサーバのハードウェア構成を示すブロック図である。 図２の端末のハードウェア構成を示すブロック図である。 図２の飛行体のハードウェア構成を示すブロック図である。 図２のサーバ、端末の機能を示すブロック図である。 本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。 本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。 本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。 本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。 本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。 本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。 本発明の実施の形態にかかる情報処理システムの処理を説明する一例の図である。 本発明の実施の形態にかかる情報処理システムのフローチャートである。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及び情報処理方法、プログラム、サーバは、以下のような構成を備える。
［項目１］
　構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
　一以上の画像データを前記セットに関連付ける関連付け部と、
　関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
　ことを特徴とする情報処理システム。
［項目２］
　前記始点終点設定部は、ユーザによる前記図面に対する設定操作に基づき前記始点位置及び終点位置のセットを設定する、
　ことを特徴とする項目１に記載の情報処理システム。
［項目３］
　前記始点終点設定部は、前記図面を解析して前記構造物の少なくとも一面に対して前記始点位置及び終点位置のセットを設定する、
　ことを特徴とする項目１に記載の情報処理システム。
［項目４］
　前記関連付け部は、ユーザによる選択操作に基づき選択された前記画像データを前記セットに関連付ける、
　ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目５］
　前記関連付け部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記画像データを前記セットに関連付ける、
　ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目６］
　前記位置紐づけ部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記所定位置を算出し、当該所定位置に対応する画像データを紐づける、
　ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目７］
　前記図面は、緯度経度情報を含まない図面情報に基づく図面である、
　ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目８］
　始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
　関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
　位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を含む、
　ことを特徴とする情報処理方法。
［項目９］
　始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
　関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
　位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を情報処理システムに実行させる、
　ことを特徴とするプログラム。
［項目１０］
　構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
　一以上の画像データを前記セットに関連付ける関連付け部と、
　関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
　ことを特徴とするサーバ。
＜実施の形態の詳細＞
　以下、本発明の実施の形態による情報処理システム及び情報処理方法、プログラム、サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜全体構成＞
　図１に示されるように、本実施の形態における情報処理システムは、無人飛行体４により構造物の少なくとも一部（例えば壁面）を撮影し、当該構造物の少なくとも一部を示す図面に撮影した画像データを紐づけて管理するものである。
＜システム構成＞
　図２に示されるように、本実施の形態における情報処理システムは、サーバ１と、端末２と、無人飛行体４とを有している。サーバ１と、端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザが操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置からサーバ１や端末２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。
＜サーバ１＞
　図３は、サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　図示されるように、サーバ１は、端末２と、無人飛行体４と接続され本システムの一部を構成する。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
　サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
　プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
　メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　／　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の各記憶部が記憶領域の一部に設けられていてもよい。
　送受信部１３は、サーバ１をネットワークＮＷに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）などの近距離通信インターフェースを備えていてもよい。
　入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜端末２＞
　図４に示される端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
＜無人飛行体４＞
　図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
　メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくともサーバ１や端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。
　フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
　フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
＜サーバの機能＞
　図６は、サーバ１及び端末２に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、通信部１１０、始点終点設定部１２０、関連付け部１３０、画像紐付け部１４０、情報出力部１５０、図面関連データ記憶部１６０、飛行体関連情報記憶部１７０を備えている。なお、各種機能部は、サーバ１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、サーバ１のプロセッサ１０または端末２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。
　通信部１１０は、ネットワークＮＷを介して端末２や、無人飛行体４と通信を行う。通信部１１０は、端末２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。
　始点終点設定部１２０は、構造物の少なくとも一部分（例えば、壁面など）を示す図面上に始点位置及び終点位置のセットを一以上設定する。
　具体的な例としては、図７に例示されるように、始点終点設定部１２０は、図面関連データ記憶部１６０から構造物の少なくとも一部分を示す図面の図面データを読み出して端末２の入出力部２４に含まれる表示部へ図面を表示し、図面に対して第１軸（以下、「Ｘ軸」ともいう。）及び第１軸に直交する第２軸（以下、「Ｙ軸」ともいう）を設定する。始点終点設定部１２０は、例えば、読み出した図面データの縦横に合わせて自動で第１軸及び第２軸を付与してもよいし、ユーザ操作に応じて第１軸を設定し、当該第１軸に直交する第２軸を設定するなどしてもよい。
　そして、図８及び図９に例示されるように、始点終点設定部１２０は、端末２上で行われるユーザによる図面上で始点位置及び終点位置をそれぞれ指定する位置指定操作（設定操作）に応じて、図面に対して始点位置及び終点位置のセットを設定してもよい。もしくは、始点終点設定部１２０は、図面データの図面を事前に学習した学習モデルを用いて画像解析し、図９に例示されるように、図面に記載の構造物を網羅的に始点位置及び終点位置のセットを自動で設定してもよい。そして、始点終点設定部１２０は、始点位置及び終点位置のセットを図面データに紐づけて図面関連データ記憶部１６０に記憶する。なお、図８に例示されるように、始点位置及び終点位置の区別がつくように表示を異ならせたり（例えば、点の形状や、色、大きさなど）、始点位置及び終点位置のセットが認識しやすいように始点位置から終点位置までの矢印を表示してもよい。
　また、図９に例示されるように、始点終点設定部１２０は、図面上に始点位置及び終点位置のセットを複数設定してもよい。そして、始点終点設定部１２０は、特に、図９に例示されるように、始点位置から終点位置までの方向は、第１軸または第２軸の少なくともいずれかに沿う方向（例えば、第１軸は図面の横方向で左右方向、第２軸は縦方向で上下方向など）に限定されていてもよく、そのように限定されていることで、後述の画像紐付け部１４０による紐付け処理が簡略化する。さらに、始点終点設定部１２０により始点位置や終点位置の設定可能な位置は、図面上のいずれの位置であってもよいが、例えば第１軸及び第２軸が所定間隔で区切られていて、両軸の交点の位置（いわゆるＸＹ座標）、または、碁盤の目状に区画化された四角領域の中心点の位置が指定可能であってもよい。
　本発明の実施の形態においては、構造物は、例えば家屋やビルなどの建物、ダム、堤防、橋梁、発電設備、送電設備、タンク、乗り物、建造物などであってもよい。
　本発明の実施の形態においては、図面は、構造物の少なくとも一部分を示す図面であって、例えば、構造物の一方向からの外観図や設計図などのような平面図であってもよいし、構造物の三次元モデルデータ（例えば、ＢＩＭデータやＣＡＤデータなど）の一方向からの表示を保存した画像であってもよいし、実際の構造物を撮影した画像であってもよい。そして、図面は、特に構造物の側面や上面の外観を示す図面であってもよい。さらに、図面データは、位置情報（例えば緯度経度高さ情報）を含まない図面データであると、本発明の優位性が特に明確となる。
　関連付け部１３０は、始点終点設定部１２０により設定された始点位置及び終点位置のセットに対して、一以上の画像データを関連付ける。具体的な例としては、図１０に例示されるように、ユーザの選択操作により所定のセットを選択し（例示では、選択された矢印を点線化している）、図１１に例示されるように、選択セットに対して関連付ける画像データをユーザの選択操作により選択することで選択セットに対して一以上の画像データを関連付ける。もしくは、ユーザ操作により始点位置及び終点位置のセットを無人飛行体４が飛行した経路に沿って設定している場合には、各画像データに含まれる時間情報または位置情報を互いに比較し、各セットにおける始点位置及び終点位置の間の相対距離（特に図面上の長さ）に応じた画像データを時間順又は位置順に各セットに関連付けるようにしてもよい。より具体的な例として、例えば同じ長さの矢印を有する始点位置及び終点位置のセットが２つ設定されている場合に、時間情報により把握される１０タイミング分の画像データを、それぞれのセットに対して時間順に５タイミング分の画像データごとに自動で対応付けるようにしてもよい。関連付け部１３０は、このような関連付け処理によるセットと画像データの対応関係を示す対応関係情報を図面関連データ記憶部１６０に記憶するようにしてもよい。画像データは、無人飛行体４に設けられたカメラにより撮影された画像データであってよく、飛行体関連情報記憶部１７０に記憶されていて、関連付け部１３０により読み出されてもよい。
　画像紐付け部１４０は、関連付け部１３０により関連付けた各セットに対応する画像データを始点位置から終点位置までの所定位置にそれぞれ紐づける。
　具体的な一例としては、画像紐付け部１４０は、例えば、始点位置から終点位置までの方向が構造物の高さ方向に沿って設定されている場合（特に、Ｙ軸が構造物の高さ方向に沿っていて、Ｙ軸方向に沿って始点位置から終点位置までの方向が設定されている場合）には、画像データに含まれる高さ情報（すなわち、無人飛行体４のカメラで画像を取得した際の高度情報）に基づいて、図面上の位置（例えば、始点位置から終点位置まで間の位置）を設定してもよい。より具体的な一例としては、図１０に例示した選択セットを示す矢印の長さが図面上で１０ｃｍであって、関連付けられた５枚の画像データに含まれる高さ情報がそれぞれ０ｍ、２ｍ、６ｍ、８ｍ、１０ｍである場合、図１２に例示されるように５枚の画像データは矢印の始点から０ｃｍ、２ｃｍ、６ｃｍ、８ｃｍ、１０ｃｍの位置に紐づけられてもよい。これらは、例えば、選択セットを示す矢印の長さが図面上で５ｃｍである場合には、図１２に例示されるように５枚の画像データは矢印の始点から０ｃｍ、１ｃｍ、３ｃｍ、４ｃｍ、５ｃｍの位置に紐づけられてもよい。この時、関連付けられた複数の画像データの高さ情報の最小値が０でない場合には、０から最大値までの範囲を、対応する選択セットの始点位置から終点位置までの距離（すなわち図１０の場合選択された矢印の長さ）に対応付けて、関連付けられた複数の画像データの高さ情報の最小値に対応する位置から各画像データを紐づけるようにしてもよい。もしくは、０から最大値までの範囲に代えて、関連付けられた複数の画像データの高さ情報の下限値と上限値の少なくとも何れか一方に対応する位置を、端末２上でのユーザ操作に基づき、又は画像データが持つ高さ情報に応じて自動で、対応する選択セットの始点位置又は終点位置として設定可能としてもよい。
　また、上記同様に、画像紐付け部１４０は、例えば、始点位置から終点位置までの方向が構造物の水平方向に沿って設定されている場合（特に、Ｘ軸が構造物の水平方向に沿っていて、Ｘ軸方向に沿って始点位置から終点位置までの方向が設定されている場合）には、画像データに含まれる緯度経度情報（すなわち、無人飛行体４のカメラで画像を取得した際の緯度経度情報）に基づいて、図面上の位置を設定してもよい。この時、端末２上でのユーザ操作に基づき、緯度情報と経度情報の少なくともいずれに基づき画像データの位置を紐づけていくかを設定できるように構成されていてもよい。
　具体的な他の例としては、画像紐付け部１４０は、例えば、始点位置から終点位置までの方向に沿って、始点位置から終点位置までの距離を関連付けられた画像データの数で等分した位置にそれぞれ均等に紐づけるようにしてもよい。より具体的な一例としては、図１０に例示した選択セットを示す矢印の長さが図面上で１０ｃｍであって、関連付けられた画像データが６枚である場合、６枚の画像データは矢印の始点から０ｃｍ、２ｃｍ、４ｃｍ、６ｃｍ、８ｃｍ、１０ｃｍの位置に紐づけられてもよい。これらは、例えば、選択セットを示す矢印の長さが図面上で５ｃｍである場合には、６枚の画像データは矢印の始点から０ｃｍ、１ｃｍ、２ｃｍ、３ｃｍ、４ｃｍ、５ｃｍの位置に紐づけられてもよい。
　情報出力部１５０は、図面関連データ記憶部１６０に記憶される図面データや図面データに関連付けられた画像データ、飛行体関連情報記憶部１７０に記憶される飛行体経路情報や自己位置情報、無人飛行体４で撮影された画像データなどに基づいて、端末２や無人飛行体４からの要求等に応じて送信するための出力情報を生成する。
　具体的な例は、情報出力部１５０は、端末２上で図面データに紐づくタグ情報を選択する（例えば、タグ情報は構造物に関する位置を示す情報であって、図１３ではタグ情報として「東面」と壁面の位置が選択されている）ことに応じて、対応する図面データを出力情報に含めて生成してもよい。
　また、図１３においては、図面上に紐づけられた画像データの位置が記号等の可視化情報に基づき可視化されていてもよく、端末２上で図面上の画像データの位置の選択操作がされた場合には、情報出力部１５０は、対応する画像データを出力情報に含めて生成してもよい。その際、出力情報に含められた画像データに関連する画像関連情報も出力情報に含めてもよい。
　画像関連情報は、例えば、構造物に関する情報であってもよく、構造物の位置情報（例えば、緯度経度情報など）、構造物の壁面の構成物種別情報（例えば、タイル、レンガ、コンクリート、木など）を含んでいてもよい。
　画像関連情報は、例えば、無人飛行体４で画像を取得した位置情報（例えば、緯度経度高さ情報など）や、構造物の劣化状態を示す情報を含んでもよい。構造物の劣化状態を示す情報（以下、「劣化状態情報」ともいう。）は、端末２上での入力操作を介して画像データに関連付けられた劣化状態情報であってもよいし、画像データを画像解析した劣化状態情報であってもよい。画像データを画像解析した劣化状態情報は、情報出力部１５０が画像データを本システム内または外に備えられる学習モデルに入力して解析した結果情報であり、例えば、構造物のヒビ割れや汚れなどの劣化状態を推定する学習モデルを用いて解析した結果情報であってもよい。劣化状態情報は、例えば図１３に示されるような劣化種別情報（例えば、ヒビ割れ、欠け、汚れなど）や劣化種別ごとの劣化の程度を示すレベル（例えば、ヒビ割れの大きさを所定範囲ごとに区切ったレベル、欠けの面積の大きさを所定範囲ごとに区切ったレベルなど）を含んでいてもよい。さらに、情報出力部１５０は、劣化状態情報を用いて、読み出した図面上に可視化する画像データを劣化している部分を含むと推定された画像データに限定して可視化するようにしてもよい。
　なお、端末２は、情報出力部１５０が生成した出力情報に基づき、端末２上で実行されるアプリケーション上で所定のユーザインタフェースに対応させて図１３に例示するようなフォーマットで表示する。
＜点検方法の一例＞
　図１４を参照して、本実施形態にかかる情報処理システムによる点検方法について説明する。
　まず、サーバ１は、始点終点設定部１２０により、構造物の少なくとも一部分（例えば、壁面など）を示す図面上に始点位置及び終点位置のセットを一以上設定する（ＳＱ１０１）。
　次に、サーバ１は、関連付け部１３０により、始点終点設定部１２０により設定された始点位置及び終点位置のセットに対して、一以上の画像データを関連付ける。
　次に、サーバ１は、画像紐付け部１４０により、関連付け部１３０により関連付けた各セットに対応する画像データを始点位置から終点位置までの所定位置にそれぞれ紐づける（ＳＱ１０３）。
　次に、サーバ１は、図面関連データ記憶部１６０に記憶される図面データや図面データに関連付けられた画像データ、各種情報に基づいて、端末２に送信するための出力情報を生成する（ＳＱ１０４）。
　次に、端末２は、情報出力部１５０が生成した出力情報に基づき、端末２上で実行されるアプリケーション上で所定のユーザインタフェースに対応させて所定のフォーマットで各種情報を表示する（ＳＱ１０５）。
　このように、本発明は、構造物の少なくとも一部分を示す図面に画像データを紐づけるための情報処理システム及び情報処理方法、プログラム、サーバを提供することが可能となり、例えば構造物の外壁の点検などにおいては、特に緯度経度情報などを含まない図面上で、当該図面に記載の構造物を撮影した画像データの紐付けが容易になる。
　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
　１　　　　サーバ
　２　　　　ユーザ端末
　４　　　　無人飛行体

 

Claims (10)

  1. 　構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
    　一以上の画像データを前記セットに関連付ける関連付け部と、
    　関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
    　ことを特徴とする情報処理システム。
  2. 　前記始点終点設定部は、ユーザによる前記図面に対する設定操作に基づき前記始点位置及び終点位置のセットを設定する、
    　ことを特徴とする請求項１に記載の情報処理システム。
  3. 　前記始点終点設定部は、前記図面を解析して前記構造物の少なくとも一面に対して前記始点位置及び終点位置のセットを設定する、
    　ことを特徴とする請求項１に記載の情報処理システム。
  4. 　前記関連付け部は、ユーザによる選択操作に基づき選択された前記画像データを前記セットに関連付ける、
    　ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
  5. 　前記関連付け部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記画像データを前記セットに関連付ける、
    　ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
  6. 　前記位置紐づけ部は、前記画像データに関する時間情報または位置情報の少なくともいずれかに基づき前記所定位置を算出し、当該所定位置に対応する画像データを紐づける、
    　ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
  7. 　前記図面は、緯度経度情報を含まない図面情報に基づく図面である、
    　ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
  8. 　始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
    　関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
    　位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を含む、
    　ことを特徴とする情報処理方法。
  9. 　始点終点設定部により、構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定するステップと、
    　関連付け部により、一以上の画像データを前記セットに関連付けるステップと、
    　位置紐づけ部により、関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づけるステップと、を情報処理システムに実行させる、
    　ことを特徴とするプログラム。
  10. 　構造物の少なくとも一部分を示す図面上に始点位置及び終点位置のセットを一以上設定する始点終点設定部と、
    　一以上の画像データを前記セットに関連付ける関連付け部と、
    　関連付けられたセットに対応する始点位置から終点位置までの間の所定位置に対応する画像データを紐づける位置紐づけ部と、を備える、
    　ことを特徴とするサーバ。

     
PCT/JP2022/028863 2022-07-27 2022-07-27 情報処理システム、情報処理方法、プログラム、サーバ WO2024023953A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022572669A JP7228311B1 (ja) 2022-07-27 2022-07-27 情報処理システム、情報処理方法、プログラム、サーバ
PCT/JP2022/028863 WO2024023953A1 (ja) 2022-07-27 2022-07-27 情報処理システム、情報処理方法、プログラム、サーバ
JP2023016316A JP2024018882A (ja) 2022-07-27 2023-02-06 情報処理システム、情報処理方法、プログラム、サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028863 WO2024023953A1 (ja) 2022-07-27 2022-07-27 情報処理システム、情報処理方法、プログラム、サーバ

Publications (1)

Publication Number Publication Date
WO2024023953A1 true WO2024023953A1 (ja) 2024-02-01

Family

ID=85283411

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028863 WO2024023953A1 (ja) 2022-07-27 2022-07-27 情報処理システム、情報処理方法、プログラム、サーバ

Country Status (2)

Country Link
JP (2) JP7228311B1 (ja)
WO (1) WO2024023953A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040931A (ja) * 2000-07-28 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> 映像情報と連携した地図情報提供システム，地図情報提供方法，地図情報登録方法および地図情報提供のためのプログラム記録媒体
JP2018147314A (ja) * 2017-03-07 2018-09-20 東日本高速道路株式会社 点検報告書作成支援装置および点検報告書作成支援プログラム
WO2021005782A1 (ja) * 2019-07-11 2021-01-14 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
WO2021064977A1 (ja) * 2019-10-04 2021-04-08 株式会社センシンロボティクス 飛行体の飛行経路生成方法及び飛行体予約方法、プログラム、管理サーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040931A (ja) * 2000-07-28 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> 映像情報と連携した地図情報提供システム，地図情報提供方法，地図情報登録方法および地図情報提供のためのプログラム記録媒体
JP2018147314A (ja) * 2017-03-07 2018-09-20 東日本高速道路株式会社 点検報告書作成支援装置および点検報告書作成支援プログラム
WO2021005782A1 (ja) * 2019-07-11 2021-01-14 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
WO2021064977A1 (ja) * 2019-10-04 2021-04-08 株式会社センシンロボティクス 飛行体の飛行経路生成方法及び飛行体予約方法、プログラム、管理サーバ

Also Published As

Publication number Publication date
JP7228311B1 (ja) 2023-02-24
JP2024018882A (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
JP6829513B1 (ja) 位置算出方法及び情報処理システム
JP6730763B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP6807093B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP6661187B1 (ja) 飛行体の管理サーバ及び管理システム
JP2023164746A (ja) 作業計画生成システム
JP7149569B2 (ja) 建造物の測定方法
WO2024023953A1 (ja) 情報処理システム、情報処理方法、プログラム、サーバ
JP6991525B1 (ja) ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP6818379B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
JP6934646B1 (ja) 飛行制限領域設定方法、ウェイポイント設定方法及び管理サーバ、情報処理システム、プログラム
WO2021064982A1 (ja) 情報処理装置および情報処理方法
JP2021100234A (ja) 飛行体の撮像方法及び情報処理装置
JP6978026B1 (ja) ウェイポイント設定方法及びウェイポイント修正方法、管理サーバ、情報処理システム、プログラム
JP6899108B1 (ja) 計器指示値読取方法及び管理サーバ、計器指示値読取システム、プログラム
JP6810498B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP6810497B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP7418727B1 (ja) 情報処理方法、情報処理システム及びプログラム
JP7401068B1 (ja) 情報処理システム、情報処理方法及びプログラム
JP7170369B1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
WO2023002615A1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7370045B2 (ja) 寸法表示システムおよび寸法表示方法
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
JP2021067670A (ja) 飛行体の飛行経路作成方法及び管理サーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953048

Country of ref document: EP

Kind code of ref document: A1