WO2020246474A1 - 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム - Google Patents

支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム Download PDF

Info

Publication number
WO2020246474A1
WO2020246474A1 PCT/JP2020/021805 JP2020021805W WO2020246474A1 WO 2020246474 A1 WO2020246474 A1 WO 2020246474A1 JP 2020021805 W JP2020021805 W JP 2020021805W WO 2020246474 A1 WO2020246474 A1 WO 2020246474A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
facility
inspection
classification
unit
Prior art date
Application number
PCT/JP2020/021805
Other languages
English (en)
French (fr)
Inventor
奈良 一孝
末松 克輝
平野 潤也
祐介 平川
拓也 城戸
渡邉 隆
潤 堀
Original Assignee
古河電気工業株式会社
株式会社ゼンリンデータコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古河電気工業株式会社, 株式会社ゼンリンデータコム filed Critical 古河電気工業株式会社
Priority to EP20818849.0A priority Critical patent/EP3979150A4/en
Publication of WO2020246474A1 publication Critical patent/WO2020246474A1/ja
Priority to US17/457,167 priority patent/US20220084309A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Definitions

  • the present invention relates to a support information creation device, a support information creation system, a support information creation method, and a support information creation program.
  • an inspection support system that supports the inspection of road accessories such as signs and lights
  • two devices that take pictures of the inspection points and input the inspection results of the inspection points are independent of each other.
  • a facility ledger support information
  • the facility ledger is for each facility under the jurisdiction managed by the manager of the local government, etc., facility location information (latitude, longitude, etc.) indicating the location of the facility, classification of the facility (signs, lighting, information boards, etc.).
  • This is information that lists facility classification information indicating the degree of damage, damage degree information indicating the degree of damage of the facility, and the like. That is, the manager can grasp the facility to be inspected and the degree of damage of the facility by referring to the facility ledger.
  • the facility ledger is conventionally created as shown below.
  • Workers search for facilities such as road attachments within the jurisdiction by walking within the jurisdiction.
  • a worker finds a facility such as a road accessory, he / she checks the position of the facility, and indicates the facility position information (latitude, longitude, etc.) indicating the searched position and the classification of the facility. Make a note of the facility classification information (signs, lighting, information boards, etc.).
  • the worker creates a facility ledger listing facility location information and facility classification information for each facility for all facilities found within the jurisdiction.
  • the worker adds the damage degree information indicating the damage degree of the facility, which is the result of the inspection, to the facility ledger.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a support information creation device, a support information creation system, a support information creation method, and a support information creation program that can improve convenience. To do.
  • the support information creating device sequentially sets the shooting position of the first shot image with respect to the plurality of first shot images taken in chronological order.
  • the related information acquisition unit that acquires the first related information associated with the first shooting position information shown, and the plurality of first shot images are analyzed, and at least one of the first shots of the plurality of first shot images is first shot.
  • An image analysis unit that recognizes a specific facility reflected in an image and a classification determination unit that discriminates the classification of the specific facility reflected in the first captured image and generates first facility classification information indicating the classification.
  • the first facility classification information and the first facility position information indicating the position of the specific facility according to the first shooting position information associated with the first photographed image in which the specific facility is reflected. It is equipped with an information creation unit that creates support information associated with.
  • the information creation unit when the image analysis unit recognizes a plurality of the specific facilities that are different from each other, the information creation unit recognizes the specific facility.
  • the support information that lists the first facility classification information and the first facility location information is created for each.
  • the information creation unit when the image analysis unit recognizes a plurality of the specific facilities that are different from each other, the information creation unit recognizes the specific facility.
  • the support information is created for each case.
  • the support information creating device further includes a map information recording unit for recording map information, and the information creating unit is associated with the first captured image in which the specific facility is reflected. Based on the first facility position information corresponding to the first shooting position information, the corresponding information corresponding to the position of the specific facility is extracted from the map information, and the corresponding information is obtained with respect to the first facility position information. Create the support information associated with.
  • the support information creating apparatus further includes a position correction unit that generates the first facility position information from the first shooting position information, and the position correction unit is recognized by the image analysis unit.
  • the distance from the shooting position to the specific facility is estimated based on the size of the specific facility in the first captured image, and the shooting position is corrected based on the estimated distance.
  • the first facility location information is generated.
  • the related information acquisition unit indicates a second captured position of the second captured image with respect to a plurality of second captured images sequentially captured in chronological order.
  • the second related information to which the shooting position information is associated with each other is acquired, and the image analysis unit analyzes the plurality of second shot images and obtains at least one of the second shot images of the plurality of second shot images. Recognizing the specific facility reflected in the image, the classification determination unit determines the classification of the specific facility reflected in the second captured image, generates the second facility classification information indicating the classification, and the above.
  • the information creation unit indicates the second facility position information indicating the specific facility according to the second facility classification information and the second photographed position information associated with the second photographed image in which the specific facility is reflected. And the first facility classification information and the first facility location information included in the support information are compared with each other, and the support information is updated based on the comparison result.
  • the support information creating device is output from a photographing unit that sequentially outputs captured images, a positioning unit that measures a shooting position and generates shooting position information indicating the shooting position, and the shooting unit.
  • the image analysis unit that sequentially analyzes the captured images and recognizes the specific facility reflected in the captured image, and the facility that determines the classification of the specific facility reflected in the captured image and indicates the classification.
  • a classification determination unit that generates classification information, the facility classification information, and facility position information indicating the position of the specific facility according to the shooting position information indicating the shooting position of the shot image in which the specific facility is reflected. It is equipped with an information creation unit that creates support information associated with.
  • the support information creation system measures the positions of the above-mentioned support information creation device, the photographing unit that generates the plurality of first captured images, and the photographing unit, and indicates the position. It has a positioning unit that generates information, and includes a related information creating device that generates the first related information.
  • the support information creation method is a support information creation method executed by the processor of the support information creation device, and indicates the shooting position of the shot images with respect to a plurality of shot images taken sequentially in chronological order.
  • the related information associated with the shooting position information is acquired, the plurality of shot images are analyzed, a specific facility reflected in at least one of the shot images of the plurality of shot images is recognized, and the shot image is converted into the shot image.
  • the category of the specific facility reflected in the image is determined, facility category information indicating the category is generated, and the facility category information and the photographed position information associated with the photographed image in which the specific facility is reflected are used. Create support information associated with facility location information that indicates the location of the specific facility in response.
  • the support information creation method is a support information creation method executed by the processor of the support information creation device, in which captured images are sequentially output to the imaging unit, and the positioning unit measures the position of the imaging unit.
  • the photographed position information indicating the position is generated, the photographed image output from the photographing unit is sequentially analyzed, a specific facility reflected in the photographed image is recognized, and the photographed image is reflected in the photographed image.
  • the classification of the specific facility is determined, facility classification information indicating the classification is generated, and the facility classification information and the shooting position information indicating the shooting position of the shot image in which the specific facility is reflected correspond to the shooting position information.
  • the support information creation program is a support information creation program to be executed by the processor of the support information creation device, and the support information creation program instructs the processor to execute the following: shooting in chronological order.
  • the related information in which the shooting position information indicating the shooting position of the shot image is associated with the plurality of shot images is acquired, the plurality of shot images are analyzed, and at least one of the plurality of shot images is obtained. It recognizes a specific facility reflected in the captured image, determines the classification of the specific facility reflected in the captured image, generates facility classification information indicating the classification, and generates the facility classification information and the specific facility.
  • Support information associated with the facility position information indicating the position of the specific facility according to the shooting position information associated with the captured image in which the facility is reflected is created.
  • the support information creation program is a support information creation program to be executed by the processor of the support information creation device, and the support information creation program instructs the processor to execute the following: shooting taken by the photographing unit.
  • the images are sequentially output, the positioning unit is made to measure the position of the photographing unit to generate the imaging position information indicating the position, the captured images output from the imaging unit are sequentially analyzed, and the captured images are converted into the captured images.
  • the specific facility reflected in the image is recognized, the classification of the specific facility reflected in the photographed image is determined, the facility classification information indicating the classification is generated, and the facility classification information and the specific facility are reflected.
  • Support information associated with the facility position information indicating the position of the specific facility according to the shooting position information indicating the shooting position of the captured image is created.
  • the support information creation device the support information creation system, the support information creation method, and the support information creation program according to the present invention, convenience can be improved.
  • FIG. 1 is a diagram showing a support information creation system according to the first embodiment.
  • FIG. 2 is a block diagram showing a related information creating device.
  • FIG. 3 is a block diagram showing a support information creating device.
  • FIG. 4 is a flowchart showing a method of creating support information.
  • FIG. 5 is a diagram showing an example of the facility ledger created in step S1E.
  • FIG. 6 is a diagram showing an example of facility specifications created in step S1E.
  • FIG. 7 is a diagram showing an inspection support system.
  • FIG. 8 is a flowchart showing the operation of the photographing apparatus.
  • FIG. 9 is a flowchart showing the first operation of the inspection support device.
  • FIG. 10 is a diagram illustrating step S3A.
  • FIG. 11 is a diagram illustrating step S3A.
  • FIG. 12 is a diagram showing an example of an inspection location selection screen.
  • FIG. 13 is a diagram showing an example of a table.
  • FIG. 14 is a flowchart showing the second operation of the inspection support device.
  • FIG. 15 is a diagram illustrating step S3N.
  • FIG. 16 is a diagram showing an example of a damage record sheet screen.
  • FIG. 17 is a flowchart showing an information updating method according to the second embodiment.
  • FIG. 18 is a block diagram showing a support information creating device according to the third embodiment.
  • FIG. 19 is a flowchart showing a method of creating support information.
  • FIG. 1 is a diagram showing a support information creation system 1 according to the first embodiment.
  • the support information creation system 1 is a system for creating support information for supporting the inspection of road accessories (corresponding to the facility according to the present invention) such as signs and lights.
  • facility ledger data hereinafter referred to as facility ledger
  • facility specification data hereinafter referred to as facility specifications
  • the support information creation system 1 includes a related information creation device 2, a support information creation device 3, and a portable recording medium 4.
  • the recording medium 4 is a portable recording medium for transferring data between the related information creation device 2 and the support information creation device 3, and is a portable recording medium for the related information creation device 2 and the support information creation device 3, respectively. It is configured to be removable.
  • FIG. 2 is a block diagram showing a related information creating device 2.
  • the related information creating device 2 is composed of a drive recorder or the like mounted on the vehicle. As shown in FIG. 2, the related information creating device 2 includes a first control unit 21, a first recording unit 22, a first input unit 23, a first display unit 24, a first photographing unit 25, and the like.
  • a first positioning unit 26 and a first reader / writer 27 are provided, and the respective units 21 to 27 are connected via a bus 28.
  • the first control unit 21 is composed of a CPU (Central Processing Unit), an FPGA (Field-Programmable Gate Array), etc., and controls the operation of the entire related information creation device 2 according to the program recorded in the first recording unit 22. To do.
  • the first recording unit 22 records a program executed by the first control unit 21, information necessary for processing of the first control unit 21, information processed by the first control unit 21, and the like.
  • the first input unit 23 is composed of buttons, switches, a touch panel, etc. that accept user operations, and outputs an operation signal corresponding to the user operation to the first control unit 21.
  • the first display unit 24 is composed of a display display using a liquid crystal or an organic EL (Electro Luminescence), and displays various images under the control of the first control unit 21. A part or all of the functions of the first input unit 23 may be arranged on the surface of the first display unit 24 as a touch panel.
  • the first photographing unit 25 corresponds to the photographing unit according to the present invention. Although the specific illustration is omitted, the first imaging unit 25 includes a lens unit, an image sensor, and a signal processing unit.
  • the lens unit captures a subject image and forms an image on the image pickup surface of the image pickup device.
  • the image sensor is composed of a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) that receives an image of a subject imaged by the lens unit and converts it into an electric signal.
  • the signal processing unit performs signal processing (for example, A / D conversion, etc.) on the electric signal from the image sensor, and outputs image data (hereinafter referred to as a captured image).
  • the first positioning unit 26 corresponds to the positioning unit according to the present invention.
  • the first positioning unit 26 receives satellite orbit information transmitted from a plurality of GPS satellites constituting GPS (Global Positioning System), which is a positioning means for measuring the position of an object on the ground, and receives the received orbit. Based on the information, the shooting position information indicating the position (latitude and longitude) of the related information creation device 2 (first shooting unit 25) is output.
  • GPS Global Positioning System
  • the first control unit 21 sets the shooting position information (in the first positioning unit 26) indicating the shooting position of the shot images with respect to the plurality of shot images taken in chronological order by the first shooting unit 25. Generate) Related information associated with each.
  • the number of shooting position information generated per unit time by the first positioning unit 26 is smaller than the number of shot images (frame rate) generated per unit time by the first shooting unit 25. Therefore, when the first control unit 21 cannot generate the shooting position information at the time of generating the shot image, the first control unit 21 generates the shooting position information by interpolation and generates the shot image by the interpolation. Associate the shooting position information.
  • the interpolation is assumed to be linear interpolation, but in the case of a curve or the like where linear interpolation is not possible, it is assumed that the vehicle travels on the network data (road link) of the nearby road shape, and the interpolation is performed on this road link. Correct the data along. Specifically, the first control unit 21 corrects based on the GPS position information acquired before and after and the traveling data (speed, distance, etc.).
  • the first reader / writer 27 obtains the related information generated by the first control unit 21 under the control of the first control unit 21.
  • the related information includes a plurality of captured images sequentially captured by the first photographing unit 25 when the related information creating device 2 is mounted on the vehicle and the vehicle is traveling on the road. This is information generated based on the imaging position information measured sequentially by the positioning unit 26.
  • FIG. 3 is a block diagram showing the support information creating device 3.
  • the support information creating device 3 is composed of a PC (Personal Computer) or the like.
  • the support information creating device 3 includes a second reader / writer 31, a second control unit 32, a second recording unit 33, a second input unit 34, and a second display unit 35.
  • Each of the parts 31 to 35 is connected via the bus 36.
  • the second reader / writer 31 corresponds to the related information acquisition unit according to the present invention.
  • the second reader / writer 31 takes in the related information recorded on the recording medium 4 under the control of the second control unit 32. Then, the related information taken in by the second reader / writer 31 is recorded in the second recording unit 33.
  • a configuration is adopted in which the related information is passed from the related information creating device 2 to the support information creating device 3 by using the portable recording medium 4, but the present invention is not limited to this.
  • a configuration may be adopted in which related information is passed from the related information creating device 2 to the support information creating device 3 using wireless communication or wired communication.
  • the communication unit provided in the support information creation device 3 and performing the communication corresponds to the related information acquisition unit according to the present invention.
  • the second control unit 32 corresponds to the processor according to the present invention.
  • the second control unit 32 is composed of a CPU, an FPGA, or the like, and operates the entire support information creation device 3 according to a program recorded in the second recording unit 33 (including the support information creation program according to the present invention). Control.
  • the second control unit 32 has functions as an image analysis unit, a classification determination unit, a position correction unit, and an information creation unit according to the present invention. The function of the second control unit 32 will be described in the "support information creation method" described later.
  • the second recording unit 33 processes the program executed by the second control unit 32 (including the support information creation program according to the present invention), the information required for the processing of the second control unit 32, and the processing by the second control unit 32.
  • the information obtained and the related information taken in by the second reader / writer 31 are recorded.
  • map information used for a car navigation device or the like and the learning model shown below can be exemplified. That is, the second recording unit 33 corresponds to the map information recording unit according to the present invention.
  • the learning model is provided for each type of road attachment, and by machine learning (for example, deep learning) the characteristics of the road attachment based on a photographed image (teacher image) of the road attachment. This is the obtained model.
  • the second control unit 32 is reflected in at least one of the plurality of captured images included in the related information by image recognition using the learning model (image recognition using AI (Artificial Intelligence)).
  • image recognition using AI Artificial Intelligence
  • road attachments corresponding to a specific facility according to the present invention (in the first embodiment, a sign, lighting, an information board, etc.)).
  • the second input unit 34 is composed of buttons, switches, a touch panel, etc. that accept user operations, and outputs an operation signal corresponding to the user operation to the second control unit 32.
  • the second display unit 35 is composed of a display using a liquid crystal or an organic EL or the like, and displays various images under the control of the second control unit 32. A part or all of the functions of the second input unit 34 may be arranged on the surface of the second display unit 35 as a touch panel.
  • FIG. 4 is a flowchart showing a method of creating support information.
  • the second control unit 32 outputs a control signal to the second reader / writer 31 in response to a user operation for starting the creation of support information for the second input unit 34 by the operator.
  • the second reader / writer 31 captures the related information recorded on the recording medium 4 (step S1A). Then, the related information taken in by the second reader / writer 31 is recorded in the second recording unit 33.
  • the second control unit 32 reads out the related information recorded in the second recording unit 33 and analyzes a plurality of captured images included in the related information (step S1B).
  • the second control unit 32 is a road accessory (book) that is reflected in at least one of the plurality of captured images by image recognition using the learning model recorded in the second recording unit 33. Recognize a specific facility according to the invention (corresponding to a sign, lighting, information board, etc. in the first embodiment).
  • the second control unit 32 determines the classification (sign, lighting, information board, etc.) of the road attachment recognized in step S1B, and generates facility classification information indicating the classification (step S1C). ..
  • the second control unit 32 indicates the position of the road accessory based on the shooting position information associated with the captured image in which the road accessory recognized in step S1B is reflected.
  • Generate facility location information step S1D). Specifically, in step S1D, the second control unit 32 estimates and estimates the distance from the shooting position to the road attachment based on the size in the captured image of the road attachment recognized in step S1B. Based on the distance, the shooting position is corrected to generate facility position information indicating the position of the road attachment. For example, a member whose size and length can be specified (hereinafter referred to as a specified member) is set to be reflected in the captured image.
  • a specified member a member whose size and length can be specified
  • the second control unit 32 refers to the specified member reflected together with the road accessory in the captured image in which the road accessory recognized in step S1B is reflected, and determines the number of pixels of the specified member and the like. 1
  • the distance from the position of the photographing unit 25 (the position based on the photographing position information associated with the photographed image in which the road accessory recognized in step S1B is reflected) to the road accessory is calculated.
  • the second control unit 32 generates facility position information indicating the position of the road attachment based on the position of the first photographing unit 25 and the calculated distance. Further, for example, the second control unit 32 compares the captured image in which the road attachment recognized in step S1B is reflected with the captured image generated before a predetermined time with respect to the captured image.
  • the distance from the position of the first photographing unit 25 (the position based on the photographing position information associated with the photographed image in which the road accessory recognized in step S1B is reflected) to the road accessory is calculated. Then, the second control unit 32 generates facility position information indicating the position of the road attachment based on the position of the first photographing unit 25 and the calculated distance.
  • step S1D the second control unit 32 provides support information (facility ledger D1 (see FIG. 5) and facility specifications D2 (see FIG. 5)) in which the facility classification information generated in step S1C and the facility location information generated in step S1D are associated with each other. (See FIG. 6)) is created (step S1E). After this, the second control unit 32 ends this flow.
  • FIG. 5 is a diagram showing an example of the facility ledger D1 created in step S1E.
  • FIG. 5 illustrates a case where three different road attachments (road attachments No. 1 to No. 3) are recognized from all the captured images included in the related information in step S1B. ..
  • the facility ledger D1 created in step S1E has a control number D101, an administrator name D102, a route name D103, a distance marker D104, and a facility for each road attachment recognized in step S1B.
  • Registration fields for position information D105 latitude D106 and longitude D107
  • vertical division D108 indicating up / down of the road
  • facility classification information D109 inspection date D110, inspection company D111, inspector D112, and damage degree D113 are provided. It is a thing. That is, the facility ledger D1 is a list of items D101 to D113 for each road attachment.
  • the second control unit 32 uses the facility position information D105 (latitude D106) generated in step S1D based on the shooting position information associated with the captured image in which the road attachment recognized in step S1B is reflected.
  • longitude D107 are registered in the registration field.
  • No. In the road attachment of No. 1, the No. Latitude D106 and longitude because the facility position information (latitude and longitude) generated based on the shooting position information associated with the shot image in which the road attachment of 1 is reflected is latitude "X1" and longitude "Y1".
  • the latitude "X1" and the longitude "Y1" are registered in the registration column of D107, respectively.
  • the second control unit 32 registers the facility classification information generated in step S1C in the registration column of the facility classification information D109. For example, No. In the road attachment of No. 1, the No. Since the facility classification information indicating the classification of the road attachment of 1 is a "sign", the "sign" is registered in the registration column of the facility classification information D109.
  • the second control unit 32 sets the route name information indicating the route name of the road on which the road accessory is located, based on the facility position information indicating the position of the road accessory generated in step S1D, and the route name information on the road.
  • the distance marker information indicating the distance marker on which the road attachment is located and the upper / lower division information indicating the upper / lower division of the road are extracted from the map information recorded in the second recording unit 33.
  • the line name information, distance marker information, and upper / lower division information correspond to the corresponding information according to the present invention.
  • the second control unit 32 registers the extracted route name information, distance marker information, and upper / lower division information in each registration column of the route name D103, the distance marker D104, and the upper / lower division D108, respectively.
  • the administrator name that manages the corresponding road attachment is registered in response to the user operation (input operation of the administrator name) to the second input unit 34 by the operator. ..
  • the inspection company D111, the inspector D112, and the damage degree D113 for example, the user operation (inspection date, inspection company, inspector, and damage) to the second input unit 34 by the operator According to the input operation of the degree), the inspection date, the inspection company, the inspector, and the damage degree indicating the inspection result of inspecting the corresponding road attachment are registered respectively.
  • control number D101 In the registration column of the control number D101, the control number peculiar to the corresponding road attachment is registered, but the second control unit 32 may independently generate and register the unique control number, or , The unique management number may be registered in response to a user operation (control number input operation) in the second input unit 34 by the operator.
  • FIG. 6 is a diagram showing an example of facility specifications D2 created in step S1E.
  • the facility specifications D2 created in step S1E are provided for each road attachment recognized in step S1B. That is, since the facility specifications D2 corresponding to the facility ledger D1 shown in FIG. 5 include three road attachments included in the facility ledger D1, three are created.
  • No. 6 included in the facility ledger D1 shown in FIG. Only the facility specifications D2 according to the road attachment of 1 are shown.
  • the facility specification D2 is provided with registration fields for type information D201, location information D202, structural information D203, installation environment information D204, inspection information D205, surrounding map D206, and photographed image D207. It was done.
  • the registration column of the type information D201 is composed of each registration column of information such as facility classification information of the corresponding road attachment, the manager name of the road attachment, and the management number of the road attachment. Then, the second control unit 32 registers the facility classification information generated in step S1C in the facility classification information registration column included in the type information D201. Further, in the administrator name registration field included in the type information D201, the corresponding road attachment is managed according to, for example, a user operation (input operation of the administrator name) to the second input unit 34 by the operator. The administrator name is registered. In the registration field of the management number included in the type information D201, the management number peculiar to the corresponding road accessory is registered, but even if the second control unit 32 independently generates and registers the management number. Alternatively, the management number may be registered in response to a user operation (input operation of the management number) in the second input unit 34 by the operator.
  • the registration column of the position information D202 is the facility position information (longitudinal and latitude) indicating the position of the corresponding road attachment, the road type of the road on which the road attachment is located (general national highway / principal local road / ...), It is composed of each registration column of information such as the route name of the road, the upper and lower division of the road, and the location of the road attachment. Then, the second control unit 32 registers the facility position information generated in step S1D in the facility position information registration field included in the position information D202. Further, the second control unit 32 has the road type information indicating the road type of the road on which the road accessory is located and the route name of the road based on the facility position information indicating the position of the road accessory generated in step S1D.
  • the second recording unit 33 contains the route name information indicating the above, the upper and lower division information indicating the upper and lower division of the road, and the location information indicating the location of the road accessory (1-1, XX ward, XX city, XX prefecture, etc.). Extract from the map information recorded in.
  • the road type information, the route name information, the upper and lower division information, and the location information correspond to the corresponding information according to the present invention.
  • the second control unit 32 puts the extracted road type information, route name information, vertical division information, and location information in each registration column of the road type, route name, vertical division, and location included in the position information D202. Register each.
  • the registration column of the structural information D203 is composed of each registration column of information on the structure of the road accessory such as the support column type, the surface treatment type, and the rib shape of the support column base of the corresponding road accessory. Then, various types of information are registered in each registration field of the structural information D203, for example, in response to a user operation (input operation of various information) to the second input unit 34 by the operator.
  • the registration column of the installation environment information D204 is the installation environment of the relevant road attachment (general part / bridge part / tunnel / 7), distance from the coast, whether it is a snow melting agent spraying section, and whether it is a wind regulation implementation section. It is composed of each registration column of information on the installation environment of road attachments such as whether or not it is a section where snow prevention measures are implemented. Then, various types of information are registered in each registration field of the installation environment information D204, for example, according to a user operation (input operation of various information) to the second input unit 34 by the operator.
  • the registration column of inspection information D205 is the type of inspection of the corresponding road accessory (initial inspection / periodic inspection / temporary inspection / ...), inspection method (proximity visual / appearance visual / ...), inspection date, previous time. It is composed of each registration column of information such as inspection date, inspection company, and inspector. Then, in each registration field of the inspection information D205, various kinds of information are registered in response to, for example, a user operation (input operation of various information) to the second input unit 34 by the operator.
  • the second control unit 32 extracts the map around the road accessory from the map information recorded in the second recording unit 33 based on the facility position information indicating the position of the road accessory generated in step S1D. ..
  • the surrounding map corresponds to the corresponding information according to the present invention.
  • the second control unit 32 registers the peripheral map information in which the position of the road attachment is marked on the extracted peripheral map in the registration column of the peripheral map D206.
  • the second control unit 32 registers the photographed image in which the road attachment recognized in step S1B is reflected in the registration column of the photographed image D207.
  • an inspection result sheet created based on the facility specifications D2 in the inspection support system 5 (see FIG. 7) described later.
  • Data D3 (hereinafter referred to as inspection result sheet D3 (see FIG. 10)) is used.
  • damage record sheet data D4 (hereinafter referred to as damage record sheet D4 (see FIG. 10)) is created based on the inspection result sheet D3.
  • the inspection result sheet D3 information on the inspection result of the entire road attachment specified by the control number is registered.
  • the road attachment is a support
  • it is composed of a plurality of members such as a support body and a support base.
  • the member is a strut body
  • a plurality of inspection points such as a strut body, a strut joint portion, and a strut branch portion are assigned to the member.
  • Information specific to the inspection location is registered in advance.
  • the inspection result sheet D3 is associated with the information unique to the plurality of inspection points, and whether or not the plurality of inspection points are subject to inspection (yes / no) and inspection of the plurality of inspection points.
  • Situation (implemented / not implemented), evaluation classification of the degree of damage of the multiple inspection points (no damage / damage is observed / large damage), necessity of countermeasures for the multiple inspection points (necessary / required / No), inspection result information such as the diagnosis classification (health / preventive maintenance stage / early measure stage / emergency measure stage) of the soundness of the plurality of inspection points is registered.
  • information such as the diagnosis classification of the soundness of the road attachment as a whole is also registered based on the diagnosis result of the soundness of all the inspection points in the road attachment.
  • the damage record sheet D4 information for each member (hereinafter referred to as member information) that constitutes one road accessory specified by the control number is registered.
  • member information member-specific information of the member is registered in advance. Further, the member information includes the damage degree of the member as a whole based on the evaluation result of the damage degree of a plurality of inspection points assigned to the member in association with the member-specific information in step S3O described later. Information such as the evaluation result and the content of measures for the member, and inspection images of a plurality of inspection points assigned to the member are registered.
  • the management number of one road accessory, the member-specific information of the member constituting the road accessory, and the inspection point-specific information of the inspection point assigned to the member are information having mutual relation. is there. For example, it is possible to derive the member-specific information of the member including the inspection point based on the inspection point-specific information and the management number of the road attachment including the member from the inspection-point-specific information.
  • FIG. 7 is a diagram showing an inspection support system 5.
  • the inspection support system 5 is a system that supports the inspection of road accessories.
  • the inspection support system 1 includes two imaging devices 6 and an inspection support device 7 in which the photographing of the inspection point and the input of the inspection result of the inspection point are independent of each other. It is a system to be used. That is, when inspecting road accessories, the workers who perform the inspection are the worker who operates the inspection support device 7 (hereinafter referred to as the first worker) and the worker who operates the photographing device 6 (hereinafter referred to as the first worker). , Described as a second worker).
  • the first worker and the second worker may be the same person.
  • the inspection support system 5 is configured to include only one photographing device 6, but the present invention is not limited to this, and the inspection support system 5 may be configured to include a plurality of photographing devices 6.
  • the photographing device 6 is composed of, for example, a digital camera or the like. The function of the photographing device 6 will be described in "Operation of the photographing device” described later.
  • the inspection support device 7 is composed of, for example, a tablet terminal, a smartphone, a notebook PC (Personal Computer), a wearable device (for example, a glasses-type or helmet-type head-mounted display) and the like. The function of the inspection support device 7 will be described in "Operation of the inspection support device” described later.
  • FIG. 8 is a flowchart showing the operation of the photographing device 6.
  • the photographing device 6 constantly monitors whether or not there is a photographing operation by the second operator (step S2A). When there is a photographing operation (step S2A: Yes), the photographing device 6 photographs the inspection portion and generates an inspection image (step S2B). When there is no photographing operation (step S2A: No), the photographing device 6 repeats step S2A. After step S2B, the photographing device 6 associates the inspection image generated in step S2B with the shooting time of the inspection image (for example, the time when the shooting operation was performed in step S2A) and records the internal recording unit (illustrated) as shooting data. (Omitted) (step S2C). After this, the photographing apparatus 6 returns to step S2A.
  • FIG. 9 is a flowchart showing the first operation of the inspection support device 7.
  • the inspection support device 7 displays the facility selection screen F1 (see FIG. 11) (step S3A).
  • 10 and 11 are diagrams illustrating step S3A.
  • FIG. 10 is a diagram showing an example of inspection data D0.
  • FIG. 11 is a diagram showing an example of the facility selection screen F1.
  • the inspection data D0 (FIG. 10) of the road accessory to be inspected is recorded in the recording unit (not shown) inside the inspection support device 7.
  • the inspection data D0 is associated with the above-mentioned facility specifications D2, inspection result slip D3, and damage record slip D4 for each road attachment included in the above-mentioned facility ledger D1. It is registered.
  • the inspection support device 7 is a road accessory to be inspected by the first worker based on each facility specification D2 included in the inspection data D0 recorded in the internal recording unit (not shown).
  • the facility selection screen F1 (FIG. 11) prompting the selection is displayed.
  • the facility selection screen F1 is a screen displaying a list of each road accessory information F10a, F10b, ..., Which is information on a plurality of road accessories.
  • the road attachment information F10a, F10b, ... Are, for example, as shown in FIG. 11, the "facility classification information" and the "management number" of the road attachment included in the facility specifications D2 corresponding to the corresponding road attachment.
  • the photographed image of the entire road accessory included in the facility specification D2 (the photographed image in which the road accessory recognized in step S1B is reflected) F12a, F12b, ... is the information on which.
  • the first worker can perform a facility selection operation for selecting the road attachment to be inspected for the inspection support device 7.
  • the facility selection operation is an operation of selecting road accessory information according to the road accessory to be inspected from among a plurality of road accessory information F10a, F10b, ... In the facility selection screen F1.
  • step S3A the inspection support device 7 constantly monitors whether or not the facility selection operation by the first worker has been performed (step S3B).
  • step S3B Yes
  • the inspection support device 7 uses the inspection location selection screen F2 based on the inspection result sheet D3 corresponding to the road attachment selected by the facility selection operation. (See FIG. 12) is displayed (step S3C).
  • the inspection location selection screen F2 is always displayed from step S3C until the end of this flow (steps S3A to S3L). If there is no facility selection operation (step S3B: No), the inspection support device 7 repeats step S3B.
  • FIG. 12 is a diagram showing an example of the inspection location selection screen F2. Specifically, on the inspection location selection screen F2, for example, as shown in FIG. 12, the names of all the inspection locations in one road accessory are described, and the inspection target is described for each of the inspection locations. Presence / absence (yes / no), inspection status (conducted / not performed), evaluation classification of damage degree (no damage / damage is found / large damage), necessity of countermeasures (necessary / no), and This screen is provided with a combo box CB that encourages selection of each of the soundness diagnosis categories (health / preventive maintenance stage / early measure stage / emergency measure stage).
  • the inspection location selection screen F2 is provided with an inspection start button BS for prompting the operation to start the inspection of the inspection location and an inspection end button BE for prompting the operation to end the inspection of the inspection location for each inspection location.
  • the inspection start button BS and the inspection end button BE may be configured by the same button (hereinafter, referred to as an inspection button).
  • the inspection support device 7 has a function of counting the number of times the inspection button is selected. Then, the inspection support device 7 determines whether the inspection start operation or the inspection end operation has been performed based on the count of the number of selections.
  • the first operator confirms the inspection location selection screen F2 displayed in step S3C to start the inspection of the inspection location to be inspected by the inspection support device 7 (the inspection location).
  • (Operation to select the inspection start button BS according to the inspection location) and inspection end operation to end the inspection of the inspection location (operation to select the inspection end button BE according to the inspection location) can be performed.
  • the inspection point selection screen F2 is provided with a confirmation button BC prompting the selection of the inspection end of all the inspection points in one road accessory. Then, the first operator confirms the inspection location selection screen F2 displayed in step S3C to complete the inspection of all the inspection locations in one road accessory for the inspection support device 7 (confirmation operation). The operation of selecting the confirmation button BC) can be performed.
  • the inspection support device 7 constantly monitors whether or not there is an inspection start operation by the first worker (step S3D).
  • the inspection support device 7 includes the inspection location specific information of the inspection location corresponding to the inspection start button BS selected by the inspection start operation and the inspection location. (For example, the time when the inspection start operation was performed in step S3D) is specified (step S3E). If there is no inspection start operation (step S3D: No), the inspection support device 7 repeats step S3D.
  • step S3E the inspection support device 7 constantly monitors whether or not the inspection end operation by the first worker has been performed (step S3F).
  • step S3F Yes
  • the inspection support device 7 provides the inspection location specific information of the inspection location corresponding to the inspection end button BS selected by the inspection end operation and the inspection location.
  • step S3G the time when the inspection end operation was performed in step S3F
  • step S3G the time when the inspection end operation was performed in step S3F
  • the first worker performs the inspection start operation (step S3D) according to the inspection point to be inspected, and then instructs the second worker to take a picture of the inspection point.
  • the second worker notifies the first worker that the shooting has been completed after the shooting of the inspection location has been completed.
  • the first worker performs the inspection end operation (step S3F) according to the inspection location after the second worker notifies that the shooting has been completed. That is, in the inspection image obtained by photographing the inspection location (inspection image generated in step S2B), in step S2C, the period from the inspection start operation to the inspection end operation according to the inspection location (period from steps S3D to S3F).
  • the shooting time in is associated.
  • the first operator operates the combo box CB while checking the inspection location selection screen F2 during the period from the inspection start operation to the inspection end operation according to the inspection location to be inspected, and about the inspection location. , Whether or not to be inspected, inspection status, evaluation classification of damage degree, necessity of countermeasures, and diagnosis classification of soundness are selected respectively.
  • the inspection support device 7 displays the inspection result information of the selected inspection target presence / absence, inspection status, damage degree evaluation classification, necessity of countermeasures, and soundness diagnosis classification in step S3E, It is registered in the inspection result sheet D3 in association with the same inspection location-specific information as the inspection location-specific information specified in S3F (step S3H).
  • a part or all of the operation of the combo box CB may be performed after all the inspection work is completed. Further, after all the inspection work is completed, the operation content of the combo box CB selected at the time of inspection may be modified.
  • the inspection support device 7 refers to the table TB recorded in the internal recording unit (not shown), and the same inspection location specific information as the inspection location specific information specified in steps S3E and S3G is the table. It is determined whether or not it is registered in TB (step S3I).
  • FIG. 13 is a diagram showing an example of the table TB.
  • the table TB (FIG. 13) is recorded in the recording unit (not shown) inside the inspection support device 7.
  • a table TB is provided for each road accessory included in the facility ledger D1 described above. Note that FIG. 13 illustrates only one table TB corresponding to one road attachment.
  • this table TB a plurality of inspection-related information associated with the inspection location-specific information of the inspection location and the time stamp indicating the inspection start time and inspection end time of the inspection location is registered for each inspection location.
  • all the inspection points of one road attachment are 6 points of the 1st to 6th inspection points, and the table TB has 6 inspection points corresponding to the 1st to 6th inspection points, respectively.
  • Related information DA1 to DA6 are registered. Of the six inspection-related information DA1 to DA6, inspection-related information DA1, DA2, and DA5 will be described below.
  • the inspection-related information DA1 is information associated with the inspection location unique information ID1, a time stamp indicating the inspection start time ST1 and the inspection end time EN1, and a time stamp indicating the inspection start time ST1'and the inspection end time EN1'. is there.
  • the inspection location unique information ID1 is the inspection location unique information specified in the first steps S3E and S3G executed for the first inspection location.
  • the time stamps indicating the inspection start time ST1 and the inspection end time EN1 are the time stamps specified in the first steps S3E and S3G executed for the first inspection location.
  • the time stamps indicating the inspection start time ST1'and the inspection end time EN1' are the time stamps specified in the second steps S3E and S3G executed for the first inspection location.
  • the inspection-related information DA2 is information in which the inspection location unique information ID2 is associated with the inspection start time ST2 and the time stamp indicating the inspection end time EN2.
  • the inspection location unique information ID2 is the inspection location unique information specified in the first steps S3E and S3G executed for the second inspection location.
  • the time stamp indicating the inspection start time ST2 and the inspection end time EN2 is the time stamp specified in the first steps S3E and S3G executed for the second inspection location.
  • the other inspection-related information DA3, DA4, and DA6 also have the same configuration as the inspection-related information DA2.
  • the inspection-related information DA5 includes an inspection location unique information ID 5, a time stamp indicating the inspection start time ST5 and the inspection end time EN5, a time stamp indicating the inspection start time ST5'and the inspection end time EN5', and an inspection start time ST5'.
  • This is information associated with the time stamp indicating the inspection end time EN5 ′.
  • the inspection location unique information ID 5 is the inspection location unique information specified in the first steps S3E and S3G executed for the fifth inspection location.
  • the time stamp indicating the inspection start time ST5 and the inspection end time EN5 is the time stamp specified in the first steps S3E and S3G executed for the fifth inspection location.
  • time stamps indicating the inspection start time ST5'and the inspection end time EN5' are the time stamps specified in the second steps S3E and S3G executed for the fifth inspection point.
  • the time stamps indicating the inspection start time ST5 ′′ and the inspection end time EN5 ′′ are the time stamps specified in the third steps S3E and S3G executed for the fifth inspection location.
  • the first case is a case where the inspection location unique information ID1, the inspection start time ST1, and the inspection end time EN1 are specified in the first steps S3E and S3G executed for the first inspection location. Further, in the first case, the inspection-related information DA1 is not registered in the table TB before the first steps S3E and S3G.
  • the inspection support device 7 determines that the same inspection location unique information ID1 as the inspection location unique information ID1 specified in the first steps S3E and S3G is not registered in the table TB (step S3I). : No). Then, the inspection support device 7 associates the inspection location unique information ID1 specified in the first steps S3E and S3G with the time stamp indicating the inspection start time ST1 and the inspection end time EN1 and sets the table TB as new inspection-related information DA1. Register in (step S3J).
  • the second case is a case where the inspection location unique information ID1, the inspection start time ST1', and the inspection end time EN1'are specified in the second steps S3E and S3G executed for the first inspection location. .. That is, in the second case, the inspection-related information DA1 is registered in the table TB before the second steps S3E and S3G, but the inspection start time ST1'and the inspection end time EN1' are registered in the inspection-related information DA1. This is the case when the time stamp of is not included.
  • the inspection support device 7 determines that the same inspection location unique information ID1 as the inspection location unique information ID1 specified in the second steps S3E and S3G is registered in the table TB (step S3I). : Yes). Then, the inspection support device 7 has the same inspection location unique information ID1 as the inspection location unique information ID1 specified in the second steps S3E and S3G, and the inspection start time ST1 ′ specified in the second step S3E and S3G. And the inspection-related information DA1 is updated in association with the time stamp indicating the inspection end time EN1'(step S3K).
  • step S3J or step S3K the inspection support device 7 determines whether or not there has been a confirmation operation by the first operator (step S3L). If there is no confirmation operation (step S3L: No), the inspection support device 7 returns to step S3D. On the other hand, when there is a confirmation operation (step S3L: Yes), the inspection support device 7 ends this flow (first operation).
  • FIG. 14 is a flowchart showing the second operation of the inspection support device 7.
  • the inspection support device 7 establishes a communication connection with the photographing device 6 and receives the photographing data recorded in the internal recording unit (not shown) in the photographing device 6 (step S3M).
  • the second operation may be configured to be executed continuously after the first operation, or may be executed independently of the first operation after the first operation.
  • step S3M is executed with the presence of the confirmation operation as a trigger.
  • step S3M is executed with a predetermined operation by the user for the inspection support device 7 as a trigger.
  • step S3M the inspection support device 7 inspects the inspection location-specific information registered in the table TB recorded in the internal recording unit (not shown) in association with the inspection image in the captured data received in step S3M. Update related information (step S3N).
  • FIG. 15 is a diagram illustrating step S3N. Specifically, FIG. 15 is a diagram showing an example of the table TB. Note that FIG. 15 is a diagram corresponding to FIG. Further, in FIG. 15, for convenience of explanation, the time stamps are not shown in the inspection-related information DA1 to DA6. Further, in FIG. 15, the inspection images IM1 to IM35 are taken in the order of the inspection images IM1 to IM35. More specifically, the inspection images IM1 to IM5 are inspection images taken within the period from the inspection start time ST1 to the inspection end time EN1. The inspection images IM6 to IM11 are inspection images taken within the period from the inspection start time ST2 to the inspection end time EN2, respectively.
  • the inspection images IM12 to IM14 are inspection images taken within the period from the inspection start time ST3 to the inspection end time EN3, respectively.
  • the inspection images IM15 to IM20 are inspection images taken within the period from the inspection start time ST4 to the inspection end time EN4, respectively.
  • the inspection images IM21 and IM22 are inspection images taken within the period from the inspection start time ST5 to the inspection end time EN5, respectively.
  • the inspection images IM23 to IM28 are inspection images taken within the period from the inspection start time ST6 to the inspection end time EN6, respectively.
  • the inspection images IM29 to IM31 are inspection images taken within the period from the inspection start time ST1'to the inspection end time EN1', respectively.
  • the inspection images IM32 and IM33 are inspection images taken within the period from the inspection start time ST5'to the inspection end time EN5', respectively.
  • the inspection images IM34 and IM35 are inspection images taken within the period from the inspection start time ST5 ′′ to the inspection end time EN5 ′′, respectively.
  • step S3N will be described with reference to the example of FIG.
  • the inspection support device 7 collates the time stamps included in the inspection-related information DA1 to DA6 registered in the table TB with the photographing time included in the photographing data received in step S3M. Then, the inspection support device 7 displays the inspection image associated with the shooting time within the period from the inspection start time to the inspection end time, and the inspection location specific information associated with the inspection start time and the time stamp indicating the inspection end time. Update inspection-related information in association with. For example, the inspection images IM1 to IM5 are associated with shooting times within a period from the inspection start time ST1 to the inspection end time EN1.
  • the inspection images IM29 to IM31 are associated with shooting times within a period from the inspection start time ST1'to the inspection end time EN1'. Therefore, the inspection support device 7 updates the inspection-related information DA1 by associating the inspection images IM1 to IM5 and IM29 to IM31 with the inspection location unique information ID1. Similarly, the inspection support device 7 updates the inspection-related information DA2 by associating the inspection images IM6 to IM11 with the inspection location unique information ID2. Further, the inspection support device 7 updates the inspection-related information DA3 by associating the inspection images IM12 to IM14 with the inspection location unique information ID3.
  • the inspection support device 7 updates the inspection-related information DA4 by associating the inspection images IM15 to IM20 with the inspection location unique information ID4. Further, the inspection support device 7 updates the inspection-related information DA5 by associating the inspection images IM21, IM22, IM32 to IM35 with the inspection location unique information ID5. Further, the inspection support device 7 updates the inspection-related information DA6 by associating the inspection images IM23 to IM28 with the inspection location unique information ID6.
  • the inspection support device 7 converts the member information for each member into the damage record sheet D4 based on the inspection result sheet D3 in which the inspection result information is registered in step S3H and each inspection-related information updated in step S3N. Register (step S3O). After this, the inspection support device 7 ends this flow (second operation). Specifically, the inspection support device 7 is registered in the inspection result sheet D3 when registering the member information of the predetermined member in step S3O, and is associated with the inspection location specific information related to the member specific information of the member. The inspection result information and the inspection image registered in the table TB and associated with the inspection location specific information related to the member specific information are associated with the member specific information and registered in the damage record sheet D3 as the member information.
  • the inspection support device 7 may be operated by the first operator to display the damage record sheet screen.
  • the display operation of the damage record sheet screen is an operation of selecting the area Ar1 corresponding to the member to be confirmed from the plurality of areas Ar1 (FIG. 12) in which the names of the members are described in the inspection location selection screen F2. is there. Then, when the inspection support device 7 has a display operation of the damage record sheet screen by the first operator, the damage record sheet is based on the damage record sheet D3 corresponding to the member selected by the display operation.
  • the screen F3 (see FIG. 16) is displayed.
  • FIG. 16 is a diagram showing an example of the damage record sheet screen F3.
  • information such as a member name, an evaluation result of the degree of damage of the member as a whole, and measures for the member, and a plurality of assigned members are displayed.
  • the inspection image of the inspection point of is posted.
  • the second control unit 32 analyzes a plurality of captured images included in the related information created in advance by the related information creating device 2, and the plurality of captured images are analyzed. Recognize road attachments in at least one of the captured images. In addition, the second control unit 32 determines the classification of the road attachment reflected in the captured image, and generates facility classification information indicating the classification. Then, the second control unit 32 supports associating the facility classification information with the facility position information indicating the position of the road accessory according to the shooting position information associated with the photographed image in which the road accessory is reflected. Create information (facility ledger D1 and facility specifications D2). As described above, since the support information creating device 3 can create the support information substantially automatically based on the related information created by the related information creating device 2, it is conventional to create the support information. It is possible to improve the convenience without forcing the operator to perform complicated work.
  • the second control unit 32 is based on the facility position information corresponding to the photographed position information associated with the photographed image in which the road attachment is reflected. Correspondence information corresponding to the position of the road attachment is extracted from the map information recorded in the second recording unit 33. Then, the second control unit 32 creates support information in which the corresponding information is associated with the facility location information. Therefore, in the support information creating device 3, various information (facility classification information, facility location information, correspondence information, etc.) related to the road accessory is registered in the support information, and therefore, the road accessory is based on the support information. It becomes easy to manage the information, and the convenience can be further improved.
  • the second control unit 32 generates facility position information based on the shooting position information. Therefore, it is possible to register highly accurate position information (facility position information) as the position of the road accessory in the support information as compared with the configuration in which the shooting position information is registered in the support information.
  • FIG. 17 is a flowchart showing an information updating method according to the second embodiment.
  • the support information (facility ledger D1 and facility specifications D2) has already been created according to the flow of FIG. 4, and the support information has already been recorded in the second recording unit 33.
  • the related information creating device 2 newly generates related information different from the related information acquired in step S1A, and the recording medium 4 on which the new related information is recorded is inserted into the second reader / writer 31. It is assumed that there is.
  • the new related information is a plurality of shots sequentially taken by the first shooting unit 25 when the vehicle is traveling on the road again when the related information acquired in step S1A is created. This is information generated based on the images and the shooting position information sequentially measured by the first positioning unit 26.
  • the related information acquired in step S1A, the photographed image and the photographed position information included in the related information correspond to the first related information, the first photographed image, and the first photographed position information according to the present invention, respectively.
  • the facility classification information and facility location information included in the support information (facility ledger D1 and facility specifications D2) already created by the flow of FIG. 4 are the first facility classification information and the first facility location information according to the present invention. Corresponds to each.
  • the facility classification information and the facility location information included in the support information already created by the flow of FIG. 4 will be described as the first facility classification information and the first facility location information, respectively.
  • the new related information, the photographed image and the photographed position information included in the new related information correspond to the second related information, the second photographed image and the second photographed position information according to the present invention, respectively.
  • the second control unit 32 outputs a control signal to the second reader / writer 31 in response to a user operation that starts updating the support information to the second input unit 34 by the operator.
  • the second reader / writer 31 takes in new related information recorded on the recording medium 4 (step S1F). Then, the new related information taken in by the second reader / writer 31 is recorded in the second recording unit 33.
  • step S1F the second control unit 32 reads out the new related information recorded in the second recording unit 33 and analyzes a plurality of captured images included in the new related information (step S1G).
  • the method for analyzing the captured image is the same as step S1B described in the first embodiment described above.
  • the second control unit 32 recognizes the road attachments reflected in at least one of the captured images included in the new related information.
  • the second control unit 32 determines the classification (sign, lighting, information board, etc.) of the road accessory recognized in step S1G, and generates facility classification information indicating the classification (step S1H). ..
  • the facility classification information corresponds to the second facility classification information according to the present invention. In the following, for convenience of explanation, the facility classification information will be referred to as the second facility classification information.
  • the second control unit 32 After step S1H, the second control unit 32 generates facility position information indicating the position of the road accessory based on the shooting position information associated with the captured image in which the road accessory recognized in step S1G is reflected. (Step S1I).
  • the method for generating the facility location information is the same as step S1D described in the first embodiment described above.
  • the facility location information corresponds to the second facility location information according to the present invention. In the following, for convenience of explanation, the facility location information will be referred to as a second facility location information.
  • step S1I the second control unit 32 reads out each first facility position information in all the road attachments included in the facility ledger D1 recorded in the second recording unit 33. Then, the second control unit 32 has the position of each road accessory based on the first facility position information and the road accessory based on the second facility position information generated in step S1I (road accessory recognized in step S1G). ), Each separation distance ⁇ R is calculated (step S1J).
  • step S1J the second control unit 32 determines whether or not all the separation distances ⁇ R calculated in step S1J exceed the predetermined threshold values Rj (step S1K). When it is determined that all the separation distances ⁇ R exceed the threshold values Rj (step S1K: Yes), the second control unit 32 determines that the road attachments recognized in step S1G are newly provided on the road. Recognize it as an accessory. Then, the second control unit 32 updates the support information recorded in the second recording unit 33 (step S1L). After this, the second control unit 32 ends this flow. Specifically, in step S1L, the second control unit 32 registers the second facility classification information generated in step S1H and the second facility position information generated in step S1I for the newly provided road accessory in the facility ledger. Newly registered in D1 (in the example of FIG. 5, newly registered as a road attachment of No. 4). In addition, the second control unit 32 creates the facility specifications D2 according to the newly provided road attachment.
  • the second control unit 32 steps.
  • the position (first) of the road attachment (hereinafter referred to as the first road attachment) having a separation distance ⁇ R which is equal to or less than the threshold value Rj with respect to the road attachment recognized by S1G (hereinafter referred to as the second road attachment). It is determined whether or not the first facility classification information associated with the facility location information) and the second facility classification information generated in step S1H for the second road attachment are the same (step S1M).
  • step S1M Yes
  • the second control unit 32 has already registered the second road attachment in the facility ledger D1. It is determined that the road attachment (for example, the road attachment already provided on the road under the jurisdiction managed by the manager of the local government, etc.), and this flow is terminated.
  • step S1M when it is determined that the first facility classification information and the second facility classification information are different (step S1M: No), the second control unit 32 replaces the second road accessory with the first road accessory. Recognize that it is a newly established road accessory. Then, the second control unit 32 shifts to step S1L and updates the support information recorded in the second recording unit 33. Specifically, in step S1L, the second control unit 32 deletes the information regarding the first road attachment registered in the facility ledger D1. In addition, the second control unit 32 deletes the facility specifications D2 according to the first road attachment. Further, the second control unit 32 newly registers the second facility classification information generated in step S1H and the second facility location information generated in step S1I for the second road attachment in the facility ledger D1. In addition, the second control unit 32 creates the facility specifications D2 according to the second road attachment.
  • the second control unit 32 updates the support information by the information updating method described above. Therefore, the support information creating device 3 can easily create support information corresponding to the case where the road attachment is removed or newly installed, and the convenience can be further improved.
  • the support information creation device 3 creates support information based on the related information generated in advance by the related information creation device 2.
  • the support information creating device according to the third embodiment is composed of a drive recorder or the like mounted on the vehicle, and is attached to the road while the vehicle is traveling on the road under the jurisdiction managed by the manager of the local government or the like. Create support information in real time when shooting objects.
  • FIG. 18 is a block diagram showing a support information creating device 8 according to the third embodiment.
  • the support information creating device 8 according to the third embodiment includes a third control unit 81, a third recording unit 82, a third input unit 83, a third display unit 84, and a third display unit 84.
  • the configuration includes three photographing units 85, a third positioning unit 86, and a communication unit 87, and the respective units 81 to 87 are connected via a bus 88.
  • the third control unit 81 corresponds to the processor according to the present invention.
  • the third control unit 81 is composed of a CPU, an FPGA, or the like, and operates the entire support information creation device 8 according to a program recorded in the third recording unit 82 (including the support information creation program according to the present invention). Control.
  • the third control unit 81 has functions as an image analysis unit, a classification determination unit, a position correction unit, and an information creation unit according to the present invention. The function of the third control unit 81 will be described in the "support information creation method" described later.
  • the third recording unit 82 includes a program executed by the third control unit 81 (including a support information creation program according to the present invention), information necessary for processing of the third control unit 81, and the third control unit 81.
  • the processed information (including the captured image generated by the third imaging unit 85) and the like are recorded.
  • the map information and the learning model recorded in the second recording unit 33 described in the above-described first embodiment can be exemplified.
  • the third input unit 83 is composed of buttons, switches, a touch panel, etc. that accept user operations, and outputs an operation signal corresponding to the user operation to the third control unit 81.
  • the third display unit 84 is composed of a display using a liquid crystal or an organic EL or the like, and displays various images under the control of the second control unit 81. A part or all of the functions of the third input unit 83 may be arranged on the surface of the third display unit 84 as a touch panel.
  • the third photographing unit 85 corresponds to the photographing unit according to the present invention. Although the specific illustration is omitted, the third photographing unit 85 includes a lens unit, an image sensor, and a signal processing unit.
  • the lens unit captures a subject image and forms an image on the image pickup surface of the image pickup device.
  • the image sensor is composed of a CCD, CMOS, or the like that receives an image of a subject imaged by the lens unit and converts it into an electric signal.
  • the signal processing unit performs signal processing (for example, A / D conversion, etc.) on the electric signal from the image sensor, and outputs image data (hereinafter referred to as a captured image).
  • the third positioning unit 86 corresponds to the positioning unit according to the present invention.
  • the third positioning unit 86 receives satellite orbit information transmitted from a plurality of GPS satellites constituting GPS (Global Positioning System), which is a measuring means for measuring the position of an object on the ground, and receives the received orbit. Based on the information, the shooting position information indicating the position (latitude and longitude) of the support information creating device 3 (third shooting unit 85) is output.
  • GPS Global Positioning System
  • the communication unit 87 receives various data (created support information, etc.) from the external device (not shown) such as the inspection support device 7 described in the first embodiment described above. Communication (wireless communication or wired communication) is performed according to a predetermined protocol. In the third embodiment, the created support information or the like is transmitted to an external device by communication, but the present invention is not limited to this, and a portable type such as the recording medium 4 described in the first embodiment described above is used. A configuration may be adopted in which the support information or the like is delivered to the external device using a recording medium.
  • FIG. 19 is a flowchart showing a method of creating support information.
  • the support information creation device 8 is mounted on the vehicle and the vehicle is traveling on a road under the jurisdiction managed by a manager such as a local government.
  • the third control unit 81 outputs control signals to the third imaging unit 85 and the third positioning unit 86, respectively, in response to a user operation for starting the creation of support information for the third input unit 83 by the operator. ..
  • the captured images captured by the third imaging unit 85 are sequentially output, and the imaging position generated by positioning from the third positioning unit 86 is synchronized with the output timing of the captured image.
  • Information is sequentially output (step S4A).
  • step S4A the third control unit 81 sequentially analyzes the captured images output from the third imaging unit 85 (step S4B).
  • the method for analyzing the captured image is the same as step S1B described in the first embodiment described above. As a result, the third control unit 81 recognizes the road attachment reflected in the captured image.
  • the third control unit 81 determines the classification (sign, lighting, information board, etc.) of the road attachment recognized in step S4B, and generates facility classification information indicating the classification (step S4C). ..
  • step S4C the third control unit 81 said, based on the shooting position information output from the third positioning unit 86 at substantially the same output timing as the captured image in which the road attachment recognized in step S4B was reflected.
  • Generate facility location information indicating the location of road attachments step S4D).
  • the method for generating the facility location information is the same as step S1D described in the first embodiment described above. Further, the number of shooting position information generated per unit time by the third positioning unit 86 is smaller than the number of shot images (frame rate) generated per unit time by the third shooting unit 85.
  • the third control unit 81 does not have the shooting position information output from the third positioning unit 86 at substantially the same output timing as the captured image in which the road attachment recognized in step S4B is reflected, the third control unit 81 is concerned.
  • the shooting position information is generated by interpolation (for example, linear interpolation).
  • step S4D the third control unit 81 associates the facility classification information generated in step S4C with the facility position information generated in step S4D, as in step S1E described in the first embodiment described above. (Facility ledger D1 and facility specifications D2) are created (step S4E). After this, the third control unit 81 ends this flow.
  • the support information creating device 8 adopts a configuration for creating support information in real time when shooting road accessories and the like, the above-described implementation It has the same effect as that of Form 1.
  • the support information creation device, the support information creation system, the support information creation method, and the support information creation program according to the present invention create support information for supporting the inspection of road accessories such as signs and lights. Useful to do.
  • Support information creation system 2 Related information creation device 3, 8 Support information creation device 4 Recording medium 5 Inspection support system 6 Imaging device 7 Inspection support device 21 1st control unit 22 1st recording unit 23 1st input unit 24 1st display Unit 25 1st imaging unit 26 1st positioning unit 27 1st reader / writer 28 bus 31 2nd reader / writer 32 2nd control unit 33 2nd recording unit 34 2nd input unit 35 2nd display unit 36 bus 81 3rd control unit 82 3rd recording unit 83 3rd input unit 84 3rd display unit 85 3rd shooting unit 86 3rd positioning unit 87 Communication unit 88 Bus BC Confirmation button BE Inspection end button BS Inspection start button CB Combo box D0 Inspection data D1 Facility ledger D2 Facility specifications D3 Inspection result sheet D4 Damage record sheet D101 Control number D102 Administrator name D10 Route name D104 Distance mark D105 Facility position information D106 Latitude D107 Longitudinal D108 Upper and lower division D109 Facility classification information D110 Inspection date D111 Inspection company D112 Inspector D113 Degree of

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

支援情報作成装置3は、時系列で順次、撮影された複数の第1撮影画像に対して当該第1撮影画像の撮影位置を示す第1撮影位置情報がそれぞれ関連付けられた第1関連情報を取得する関連情報取得部31と、複数の第1撮影画像を解析し、当該複数の第1撮影画像の少なくともいずれかの第1撮影画像に写り込んだ特定の施設を認識する画像解析部32と、第1撮影画像に写り込んだ特定の施設の区分を判別し、当該区分を示す第1施設区分情報を生成する区分判別部32と、第1施設区分情報と、特定の施設が写り込んだ第1撮影画像に関連付けられた第1撮影位置情報に応じた当該特定の施設の位置を示す第1施設位置情報とを関連付けた支援情報を作成する情報作成部32とを備える。

Description

支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム
 本発明は、本発明は、支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラムに関する。
 従来、標識や照明等の道路附属物等の点検を支援する点検支援システムとして、点検箇所の撮影と当該点検箇所の点検結果の入力とを互いに独立した2台の装置(撮影装置、点検端末)を用いて行うシステムが知られている(例えば、特許文献1参照)。
 ところで、特許文献1に記載の点検支援システムを用いて点検が行われる道路附属物等の施設は、通常、施設台帳(支援情報)によって管理されている。当該施設台帳は、自治体等の管理者が管理する管轄内の施設毎に、当該施設の位置を示す施設位置情報(緯度及び経度等)、当該施設の区分(標識、照明、及び情報板等)を示す施設区分情報、及び当該施設の損傷度を示す損傷度情報等がリスト化された情報である。すなわち、管理者は、施設台帳を参照すれば、点検を行うべき施設、及び当該施設の損傷度等を把握することができる。
 そして、施設台帳は、従来、以下に示すように作成される。
 作業者は、管轄内を歩くことによって当該管轄内にある道路附属物等の施設を探す。また、作業者は、道路附属物等の施設を見付けた場合には、当該施設の位置を調べるとともに、当該調べた位置を示す施設位置情報(緯度及び経度等)と、当該施設の区分を示す施設区分情報(標識、照明、及び情報板等)とをメモしておく。そして、作業者は、管轄内で見付けた全ての施設について、施設毎に施設位置情報及び施設区分情報をリスト化した施設台帳を作成する。また、施設台帳に載っている施設の点検が行われた後、作業者は、当該点検の結果である当該施設の損傷度を示す損傷度情報を施設台帳に追記する。
特開2017-228249号公報
 しかしながら、従来の施設台帳の作成方法では、作業者に煩雑な作業を強いることとなり、利便性を向上させることができない、という問題がある。
 本発明は、上記に鑑みてなされたものであって、利便性を向上させることができる支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る支援情報作成装置は、時系列で順次、撮影された複数の第1撮影画像に対して当該第1撮影画像の撮影位置を示す第1撮影位置情報がそれぞれ関連付けられた第1関連情報を取得する関連情報取得部と、前記複数の第1撮影画像を解析し、当該複数の第1撮影画像の少なくともいずれかの第1撮影画像に写り込んだ特定の施設を認識する画像解析部と、前記第1撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す第1施設区分情報を生成する区分判別部と、前記第1施設区分情報と、前記特定の施設が写り込んだ前記第1撮影画像に関連付けられた前記第1撮影位置情報に応じた当該特定の施設の位置を示す第1施設位置情報とを関連付けた支援情報を作成する情報作成部とを備える。
 本発明に係る支援情報作成装置では、上記発明において、前記情報作成部は、前記画像解析部にて互いに異なる複数の前記特定の施設が認識された場合には、当該認識された前記特定の施設毎に前記第1施設区分情報及び前記第1施設位置情報をリスト化した前記支援情報を作成する。
 本発明に係る支援情報作成装置では、上記発明において、前記情報作成部は、前記画像解析部にて互いに異なる複数の前記特定の施設が認識された場合には、当該認識された前記特定の施設毎にそれぞれ前記支援情報を作成する。
 本発明に係る支援情報作成装置では、上記発明において、地図情報を記録する地図情報記録部をさらに備え、前記情報作成部は、前記特定の施設が写り込んだ前記第1撮影画像に関連付けられた前記第1撮影位置情報に応じた前記第1施設位置情報に基づいて、当該特定の施設の位置に対応した対応情報を前記地図情報から抽出し、当該第1施設位置情報に対して当該対応情報を関連付けた前記支援情報を作成する。
 本発明に係る支援情報作成装置では、上記発明において、前記第1撮影位置情報から前記第1施設位置情報を生成する位置補正部をさらに備え、前記位置補正部は、前記画像解析部にて認識された前記特定の施設の前記第1撮影画像内における大きさに基づいて、撮影位置から当該特定の施設までの距離を推定し、推定した当該距離に基づいて、当該撮影位置を補正して前記第1施設位置情報を生成する。
 本発明に係る支援情報作成装置では、上記発明において、前記関連情報取得部は、時系列で順次、撮影された複数の第2撮影画像に対して当該第2撮影画像の撮影位置を示す第2撮影位置情報がそれぞれ関連付けられた第2関連情報を取得し、前記画像解析部は、前記複数の第2撮影画像を解析し、当該複数の第2撮影画像の少なくともいずれかの第2撮影画像に写り込んだ前記特定の施設を認識し、前記区分判別部は、前記第2撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す第2施設区分情報を生成し、前記情報作成部は、前記第2施設区分情報、及び前記特定の施設が写り込んだ前記第2撮影画像に関連付けられた前記第2撮影位置情報に応じた当該特定の施設を示す第2施設位置情報と、前記支援情報に含まれる前記第1施設区分情報及び前記第1施設位置情報とをそれぞれ比較し、当該比較結果に基づいて、当該支援情報を更新する。
 本発明に係る支援情報作成装置は、撮影した撮影画像を順次、出力する撮影部と、撮影位置を測定して当該撮影位置を示す撮影位置情報を生成する測位部と、前記撮影部から出力される前記撮影画像を順次、解析し、当該撮影画像に写り込んだ特定の施設を認識する画像解析部と、前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成する区分判別部と、前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像の撮影位置を示す前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する情報作成部とを備える。
 本発明に係る支援情報作成システムは、上述した支援情報作成装置と、前記複数の第1撮影画像を生成する撮影部、及び当該撮影部の位置を測定して当該位置を示す前記第1撮影位置情報を生成する測位部を有し、前記第1関連情報を生成する関連情報作成装置とを備える。
 本発明に係る支援情報作成方法は、支援情報作成装置のプロセッサが実行する支援情報作成方法であって、時系列で順次、撮影された複数の撮影画像に対して当該撮影画像の撮影位置を示す撮影位置情報がそれぞれ関連付けられた関連情報を取得し、前記複数の撮影画像を解析し、当該複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ特定の施設を認識し、前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像に関連付けられた前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する。
 本発明に係る支援情報作成方法は、支援情報作成装置のプロセッサが実行する支援情報作成方法であって、撮影部に撮影した撮影画像を順次、出力させ、測位部に前記撮影部の位置を測定させて当該位置を示す撮影位置情報を生成させ、前記撮影部から出力される前記撮影画像を順次、解析し、当該撮影画像に写り込んだ特定の施設を認識し、前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像の撮影位置を示す前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する。
 本発明に係る支援情報作成プログラムは、支援情報作成装置のプロセッサに実行させる支援情報作成プログラムであって、当該支援情報作成プログラムは、前記プロセッサに以下の実行を指示する:時系列で順次、撮影された複数の撮影画像に対して当該撮影画像の撮影位置を示す撮影位置情報がそれぞれ関連付けられた関連情報を取得し、前記複数の撮影画像を解析し、当該複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ特定の施設を認識し、前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像に関連付けられた前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する。
 本発明に係る支援情報作成プログラムは、支援情報作成装置のプロセッサに実行させる支援情報作成プログラムであって、当該支援情報作成プログラムは、前記プロセッサに以下の実行を指示する:撮影部に撮影した撮影画像を順次、出力させ、測位部に前記撮影部の位置を測定させて当該位置を示す撮影位置情報を生成させ、前記撮影部から出力される前記撮影画像を順次、解析し、当該撮影画像に写り込んだ特定の施設を認識し、前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像の撮影位置を示す前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する。
 本発明に係る支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラムによれば、利便性を向上させることができる。
図1は、実施の形態1に係る支援情報作成システムを示す図である。 図2は、関連情報作成装置を示すブロック図である。 図3は、支援情報作成装置を示すブロック図である。 図4は、支援情報作成方法を示すフローチャートである。 図5は、ステップS1Eで作成される施設台帳の一例を示す図である。 図6は、ステップS1Eで作成される施設諸元の一例を示す図である。 図7は、点検支援システムを示す図である。 図8は、撮影装置の動作を示すフローチャートである。 図9は、点検支援装置の第1動作を示すフローチャートである。 図10は、ステップS3Aを説明する図である。 図11は、ステップS3Aを説明する図である。 図12は、点検箇所選択画面の一例を示す図である。 図13は、テーブルの一例を示す図である。 図14は、点検支援装置の第2動作を示すフローチャートである。 図15は、ステップS3Nを説明する図である。 図16は、損傷記録票画面の一例を示す図である。 図17は、実施の形態2に係る情報更新方法を示すフローチャートである。 図18は、実施の形態3に係る支援情報作成装置を示すブロック図である。 図19は、支援情報作成方法を示すフローチャートである。
 以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
 〔支援情報作成システムの概略構成〕
 図1は、本実施の形態1に係る支援情報作成システム1を示す図である。
 支援情報作成システム1は、標識や照明等の道路附属物(本発明に係る施設に相当)の点検を支援するための支援情報を作成するシステムである。当該支援情報としては、具体的には後述するが、施設台帳データ(以下、施設台帳と記載)及び施設諸元データ(以下、施設諸元と記載)を例示することができる。
 この支援情報作成システム1は、図1に示すように、関連情報作成装置2と、支援情報作成装置3と、可搬型の記録媒体4とを備える。
 記録媒体4は、関連情報作成装置2と支援情報作成装置3との間におけるデータの受け渡しを行うための可搬型の記録メディアであり、関連情報作成装置2及び支援情報作成装置3に対してそれぞれ着脱可能に構成されている。
 〔関連情報作成装置の構成〕
 図2は、関連情報作成装置2を示すブロック図である。
 関連情報作成装置2は、車両に搭載されるドライブレコーダ等で構成されている。この関連情報作成装置2は、図2に示すように、第1制御部21と、第1記録部22と、第1入力部23と、第1表示部24と、第1撮影部25と、第1測位部26と、第1リーダライタ27とを備え、当該各部21~27がバス28を介して接続された構成である。
 第1制御部21は、CPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等で構成され、第1記録部22に記録されたプログラムにしたがって、関連情報作成装置2全体の動作を制御する。
 第1記録部22は、第1制御部21が実行するプログラム、当該第1制御部21の処理に必要な情報、及び当該第1制御部21が処理した情報等を記録する。
 第1入力部23は、ユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた操作信号を第1制御部21に出力する。
 第1表示部24は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、第1制御部21による制御の下、種々の画像を表示する。なお、第1入力部23の機能の一部または全部がタッチパネルとして第1表示部24の表面に配置されてもよい。
 第1撮影部25は、本発明に係る撮影部に相当する。この第1撮影部25は、具体的な図示は省略したが、レンズユニットと、撮像素子と、信号処理部とを備える。当該レンズユニットは、被写体像を取り込んで当該撮像素子の撮像面に結像する。当該撮像素子は、当該レンズユニットが結像した被写体像を受光して電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。当該信号処理部は、当該撮像素子からの電気信号に対して信号処理(例えばA/D変換等)を行って画像データ(以下、撮影画像と記載)を出力する。
 第1測位部26は、本発明に係る測位部に相当する。この第1測位部26は、地上の物体の位置を測定する測位手段であるGPS(Global Positioning System)を構成する複数のGPS衛星から送信されてくる衛星の軌道情報を受信し、当該受信した軌道情報に基づいて、関連情報作成装置2(第1撮影部25)の位置(緯度や経度)を示す撮影位置情報を出力する。
 そして、第1制御部21は、第1撮影部25にて時系列で順次、撮影された複数の撮影画像に対して当該撮影画像の撮影位置を示す撮影位置情報(第1測位部26にて生成)をそれぞれ関連付けた関連情報を生成する。
 なお、第1測位部26における単位時間あたりに生成する撮影位置情報の数は、第1撮影部25における単位時間あたりに生成する撮影画像の数(フレームレート)よりも少ないものである。このため、第1制御部21は、撮影画像の生成時に撮影位置情報を生成することができていない場合には、当該撮影位置情報を補間により生成し、当該撮影画像に対して当該補間により生成した撮影位置情報を関連付ける。なお、当該補間は、直線補間を想定しているが、直線補間ができないカーブ等の場合は、近傍の道路形状のネットワークデータ(道路リンク)上を走行したと仮定して、この道路リンク上に沿ってデータを補正する。具体的には、第1制御部21は、前後の取得したGPSによる位置情報と、走行データ(時速や距離等)に基づいて補正する。
 第1リーダライタ27は、当該第1リーダライタ27に記録媒体4が挿着された際に、第1制御部21による制御の下、当該第1制御部21にて生成された関連情報を当該記録媒体4に記録する。
 ここで、当該関連情報は、関連情報作成装置2が車両に搭載され、道路を当該車両が走行している際に、第1撮影部25にて順次、撮影された複数の撮影画像、及び第1測位部26にて順次、測定された撮影位置情報に基づいて生成された情報である。
 〔支援情報作成装置の構成〕
 図3は、支援情報作成装置3を示すブロック図である。
 支援情報作成装置3は、PC(Personal Computer)等で構成されている。この支援情報作成装置3は、図3に示すように、第2リーダライタ31と、第2制御部32と、第2記録部33と、第2入力部34と、第2表示部35とを備え、当該各部31~35がバス36を介して接続された構成である。
 第2リーダライタ31は、本発明に係る関連情報取得部に相当する。この第2リーダライタ31は、当該第2リーダライタ31に記録媒体4が挿着された際に、第2制御部32による制御の下、当該記録媒体4に記録された関連情報を取り込む。そして、第2リーダライタ31にて取り込まれた関連情報は、第2記録部33に記録される。
 なお、本実施の形態1では、可搬型の記録媒体4を利用して関連情報作成装置2から支援情報作成装置3に対して関連情報を受け渡す構成を採用したが、これに限らない。例えば、無線通信や有線通信を利用して関連情報作成装置2から支援情報作成装置3に対して関連情報を受け渡す構成を採用しても構わない。この際、支援情報作成装置3に設けられ、当該通信を行う通信部は、本発明に係る関連情報取得部に相当する。
 第2制御部32は、本発明に係るプロセッサに相当する。この第2制御部32は、CPUやFPGA等で構成され、第2記録部33に記録されたプログラム(本発明に係る支援情報作成プログラムを含む)にしたがって、支援情報作成装置3全体の動作を制御する。ここで、第2制御部32は、本発明に係る画像解析部、区分判別部、位置補正部、及び情報作成部としての機能を有する。なお、第2制御部32の機能については、後述する「支援情報作成方法」において説明する。
 第2記録部33は、第2制御部32が実行するプログラム(本発明に係る支援情報作成プログラムを含む)、当該第2制御部32の処理に必要な情報、当該第2制御部32が処理した情報、及び第2リーダライタ31にて取り込まれた関連情報等を記録する。
 ここで、当該第2制御部32の処理に必要な情報としては、カーナビゲーション装置等に用いられる地図情報や以下に示す学習モデルを例示することができる。すなわち、第2記録部33は、本発明に係る地図情報記録部に相当する。
 当該学習モデルは、道路附属物の種別毎に設けられ、当該道路附属物が撮影された撮影画像(教師画像)に基づいて当該道路附属物の特徴を機械学習(例えば深層学習等)することにより得られたモデルである。そして、第2制御部32は、当該学習モデルを用いた画像認識(AI(Artificial Intelligence)を用いた画像認識)により、関連情報に含まれる複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ道路附属物(本発明に係る特定の施設(本実施の形態1では標識、照明、及び情報板等)に相当)を認識することが可能となる。
 第2入力部34は、ユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた操作信号を第2制御部32に出力する。
 第2表示部35は、液晶または有機EL等を用いた表示ディスプレイで構成され、第2制御部32による制御の下、種々の画像を表示する。なお、第2入力部34の機能の一部または全部がタッチパネルとして第2表示部35の表面に配置されてもよい。
 〔支援情報作成方法〕
 次に、上述した支援情報作成装置3の動作(支援情報作成方法)について説明する。
 図4は、支援情報作成方法を示すフローチャートである。
 以下では、説明の便宜上、関連情報作成装置2にて既に関連情報が生成され、当該関連情報を記録した記録媒体4が第2リーダライタ31に挿着されているものとする。
 先ず、第2制御部32は、作業者による第2入力部34への支援情報の作成を開始するユーザ操作に応じて、第2リーダライタ31に制御信号を出力する。当該制御信号に応じて、第2リーダライタ31は、記録媒体4に記録された関連情報を取り込む(ステップS1A)。そして、第2リーダライタ31にて取り込まれた関連情報は、第2記録部33に記録される。
 ステップS1Aの後、第2制御部32は、第2記録部33に記録された関連情報を読み出し、当該関連情報に含まれる複数の撮影画像を解析する(ステップS1B)。具体的に、第2制御部32は、第2記録部33に記録された学習モデルを用いた画像認識により、当該複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ道路附属物(本発明に係る特定の施設(本実施の形態1では標識、照明、及び情報板等)に相当)を認識する。
 ステップS1Bの後、第2制御部32は、ステップS1Bで認識した道路附属物の区分(標識、照明、及び情報板等)を判別し、当該区分を示す施設区分情報を生成する(ステップS1C)。
 ステップS1Cの後、第2制御部32は、後述するように、ステップS1Bで認識した道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に基づいて、当該道路附属物の位置を示す施設位置情報を生成する(ステップS1D)。
 具体的に、第2制御部32は、ステップS1Dにおいて、ステップS1Bで認識した道路附属物の撮影画像内における大きさに基づいて、撮影位置から当該道路附属物までの距離を推定し、推定した当該距離に基づいて、当該撮影位置を補正して当該道路附属物の位置を示す施設位置情報を生成する。
 例えば、撮影画像内に大きさや長さを規定することができる部材(以下、規定部材と記載)が写り込むように設定しておく。また、第2制御部32は、ステップS1Bで認識した道路附属物が写り込んだ撮影画像内において、当該道路附属物とともに写り込んだ規定部材を参照し、当該規定部材の画素数等によって、第1撮影部25の位置(ステップS1Bで認識した道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に基づく位置)から当該道路附属物までの距離を算出する。そして、第2制御部32は、当該第1撮影部25の位置と当該算出した距離とに基づいて、当該道路附属物の位置を示す施設位置情報を生成する。
 また、例えば、第2制御部32は、ステップS1Bで認識した道路附属物が写り込んだ撮影画像と、当該撮影画像に対して所定の時間前に生成された撮影画像とを比較することによって、第1撮影部25の位置(ステップS1Bで認識した道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に基づく位置)から当該道路附属物までの距離を算出する。そして、第2制御部32は、当該第1撮影部25の位置と当該算出した距離とに基づいて、当該道路附属物の位置を示す施設位置情報を生成する。
 ステップS1Dの後、第2制御部32は、ステップS1Cで生成した施設区分情報とステップS1Dで生成した施設位置情報とを関連付けた支援情報(施設台帳D1(図5参照)及び施設諸元D2(図6参照))を作成する(ステップS1E)。この後、第2制御部32は、本フローを終了する。
 図5は、ステップS1Eで作成される施設台帳D1の一例を示す図である。なお、図5では、ステップS1Bにおいて、関連情報に含まれる全ての撮影画像から互いに異なる3つの道路附属物(No.1~No.3の道路附属物)が認識された場合を例示している。
 ステップS1Eで作成される施設台帳D1は、例えば、図5に示すように、ステップS1Bで認識された道路附属物毎に、管理番号D101、管理者名D102、路線名D103、距離標D104、施設位置情報D105(緯度D106及び経度D107)、道路の上り・下りを示す上下区分D108、施設区分情報D109、点検日D110、点検会社D111、点検員D112、及び損傷度D113の登録欄が設けられたものである。すなわち、施設台帳D1は、道路附属物毎に、各項目D101~D113がリスト化されたものである。
 ここで、第2制御部32は、ステップS1Bで認識した道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に基づいてステップS1Dで生成した施設位置情報を施設位置情報D105(緯度D106及び経度D107)の登録欄に登録する。例えば、No.1の道路附属物では、当該No.1の道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に基づいて生成された施設位置情報(緯度及び経度)が緯度「X1」及び経度「Y1」であるため、緯度D106及び経度D107の登録欄には、当該緯度「X1」及び当該経度「Y1」がそれぞれ登録されている。
 また、第2制御部32は、ステップS1Cにおいて生成した施設区分情報を施設区分情報D109の登録欄に登録する。例えば、No.1の道路附属物では、当該No.1の道路附属物の区分を示す施設区分情報が「標識」であるため、施設区分情報D109の登録欄には、当該「標識」が登録されている。
 また、第2制御部32は、ステップS1Dで生成した道路附属物の位置を示す施設位置情報に基づいて、当該道路附属物が位置する道路の路線名を示す路線名情報、当該道路上での当該道路附属物が位置する距離標を示す距離標情報、及び当該道路の上下区分を示す上下区分情報を、第2記録部33に記録された地図情報から抽出する。当該路線名情報、距離標情報、及び上下区分情報は、本発明に係る対応情報に相当する。そして、第2制御部32は、当該抽出した路線名情報、距離標情報、及び上下区分情報を路線名D103、距離標D104、及び上下区分D108の各登録欄にそれぞれ登録する。
 管理者名D102の登録欄には、例えば作業者による第2入力部34へのユーザ操作(管理者名の入力操作)に応じて、該当する道路附属物を管理する管理者名が登録される。
 また、点検日D110、点検会社D111、点検員D112、及び損傷度D113の各登録欄には、例えば作業者による第2入力部34へのユーザ操作(点検日、点検会社、点検員、及び損傷度の入力操作)に応じて、該当する道路附属物を点検した点検日、点検会社、点検員、及び点検結果を示す損傷度がそれぞれ登録される。
 なお、管理番号D101の登録欄には、該当する道路附属物固有の管理番号が登録されるが、第2制御部32が独自に固有の当該管理番号を生成して登録してもよく、あるいは、作業者による第2入力部34へのユーザ操作(管理番号の入力操作)に応じて固有の当該管理番号を登録する構成としても構わない。
 図6は、ステップS1Eで作成される施設諸元D2の一例を示す図である。
 ステップS1Eで作成される施設諸元D2は、ステップS1Bで認識された道路附属物毎に設けられている。すなわち、図5に示した施設台帳D1に対応する施設諸元D2は、当該施設台帳D1に含まれる道路附属物が3つであるため、3つ作成されることとなる。なお、図6では、図5に示した施設台帳D1に含まれるNo.1の道路附属物に応じた施設諸元D2のみを図示している。この施設諸元D2は、例えば、図6に示すように、種別情報D201、位置情報D202、構造情報D203、設置環境情報D204、点検情報D205、周辺地図D206、及び撮影画像D207の登録欄が設けられたものである。
 種別情報D201の登録欄は、該当する道路附属物の施設区分情報、当該道路附属物の管理者名、当該道路附属物の管理番号等の情報の各登録欄によって構成されている。
 そして、第2制御部32は、ステップS1Cで生成した施設区分情報を種別情報D201に含まれる施設区分情報の登録欄に登録する。また、種別情報D201に含まれる管理者名の登録欄には、例えば作業者による第2入力部34へのユーザ操作(管理者名の入力操作)に応じて、該当する道路附属物を管理する管理者名が登録される。なお、種別情報D201に含まれる管理番号の登録欄には、該当する道路附属物固有の管理番号が登録されるが、第2制御部32が独自に当該管理番号を生成して登録してもよく、あるいは、作業者による第2入力部34へのユーザ操作(管理番号の入力操作)に応じて当該管理番号を登録する構成としても構わない。
 位置情報D202の登録欄は、該当する道路附属物の位置を示す施設位置情報(経度及び緯度)、当該道路附属物が位置する道路の道路種別(一般国道/主要地方道/・・・)、当該道路の路線名、当該道路の上下区分、及び当該道路附属物の所在地等の情報の各登録欄によって構成されている。
 そして、第2制御部32は、ステップS1Dで生成した施設位置情報を位置情報D202に含まれる施設位置情報の登録欄に登録する。また、第2制御部32は、ステップS1Dで生成した道路附属物の位置を示す施設位置情報に基づいて、当該道路附属物が位置する道路の道路種別を示す道路種別情報、当該道路の路線名を示す路線名情報、当該道路の上下区分を示す上下区分情報、及び当該道路附属物の所在地(○○県○○市○○区1-1等)を示す所在地情報を、第2記録部33に記録された地図情報から抽出する。当該道路種別情報、路線名情報、上下区分情報、及び所在地情報は、本発明に係る対応情報に相当する。そして、第2制御部32は、当該抽出した道路種別情報、路線名情報、上下区分情報、及び所在地情報を位置情報D202に含まれる道路種別、路線名、上下区分、及び所在地の各登録欄にそれぞれ登録する。
 構造情報D203の登録欄は、該当する道路附属物の支柱形式、表面処理形式、及び支柱基部リブ形状等の道路附属物の構造に関する情報の各登録欄によって構成されている。
 そして、構造情報D203の各登録欄には、例えば作業者による第2入力部34へのユーザ操作(各種の情報の入力操作)に応じて、各種の情報がそれぞれ登録される。
 設置環境情報D204の登録欄は、該当する道路附属物の設置環境(一般部/橋梁部/トンネル/・・・)、海岸からの距離、融雪剤散布区間か否か、風規制実施区間か否か、及び防雪対策実施区間か否か等の道路附属物の設置環境に関する情報の各登録欄によって構成されている。
 そして、設置環境情報D204の各登録欄には、例えば作業者による第2入力部34へのユーザ操作(各種の情報の入力操作)に応じて、各種の情報がそれぞれ登録される。
 点検情報D205の登録欄は、該当する道路附属物の点検の種別(初期点検/定期点検/臨時点検/・・・)、点検方法(近接目視/外観目視/・・・)、点検日、前回点検日、点検会社、及び点検員等の情報の各登録欄によって構成されている。
 そして、点検情報D205の各登録欄には、例えば作業者による第2入力部34へのユーザ操作(各種の情報の入力操作)に応じて、各種の情報がそれぞれ登録される。
 また、第2制御部32は、ステップS1Dで生成した道路附属物の位置を示す施設位置情報に基づいて、当該道路附属物の周辺地図を第2記録部33に記録された地図情報から抽出する。当該周辺地図は、本発明に係る対応情報に相当する。そして、第2制御部32は、当該抽出した周辺地図上に当該道路附属物の位置をマーキングした周辺地図情報を周辺地図D206の登録欄に登録する。
 また、第2制御部32は、ステップS1Bで認識した道路附属物が写り込んだ撮影画像を撮影画像D207の登録欄に登録する。
 なお、道路附属物を実際に点検する際には、後述する点検支援システム5(図7参照)において、上述した施設諸元D2の他、当該施設諸元D2に基づいて作成される点検結果票データD3(以下、点検結果票D3(図10参照)と記載)が用いられる。詳細は後述するが、この点検結果票D3に基づいて、損傷記録票データD4(以下、損傷記録票D4(図10参照)と記載)が作成される。
 点検結果票D3には、管理番号によって特定される1つの道路附属物全体の点検結果の情報が登録される。ここで、道路附属物は、支柱であれば、支柱本体や支柱基部等の複数の部材で構成されている。また、当該部材が支柱本体であれば、当該部材には、支柱本体、支柱継手部、及び支柱分岐部等の複数の点検箇所がそれぞれ割り当てられている。そして、点検結果票D3には、道路附属物を構成する各部材それぞれを一意に識別する複数の部材固有情報と、当該各部材毎に割り当てられた複数の点検箇所それぞれを一意に識別する複数の点検箇所固有情報とが予め登録されている。また、点検結果票D3には、後述するステップS3Hにおいて、当該複数の点検箇所固有情報にそれぞれ関連付けて、当該複数の点検箇所の点検の対象有無(有/無)、当該複数の点検箇所の点検状況(実施済/未実施)、当該複数の点検箇所の損傷程度の評価区分(損傷が認められない/損傷が認められる/損傷が大きい)、当該複数の点検箇所の対策の要否(要/否)、当該複数の点検箇所の健全性の診断区分(健全/予防保全段階/早期措置段階/緊急措置段階)等の点検結果情報が登録される。また、点検結果票D3には、道路附属物における全ての点検箇所の健全性の診断結果等を踏まえ、当該道路附属物全体としての健全性の診断区分等の情報も登録される。
 損傷記録票D4には、管理番号によって特定される1つの道路附属物を構成する部材毎の情報(以下、部材情報と記載)がそれぞれ登録される。当該部材情報には、当該部材の部材固有情報が予め登録されている。また、当該部材情報には、後述するステップS3Oにおいて、当該部材固有情報に関連付けて、当該部材に対して割り当てられた複数の点検箇所の損傷程度の評価結果を踏まえた部材全体としての損傷程度の評価結果、及び当該部材の措置内容等の情報と、当該部材に対して割り当てられた複数の点検箇所を撮影した点検画像とが登録される。
 なお、1つの道路附属物の管理番号と、当該道路附属物を構成する部材の部材固有情報と、当該部材に割り当てられた点検箇所の点検箇所固有情報とは、相互に関連性を有する情報である。例えば、点検箇所固有情報から、当該点検箇所固有情報に基づく点検箇所を含む部材の部材固有情報、及び当該部材を含む道路附属物の管理番号を導き出すことが可能である。
 〔点検支援システムの概略構成〕
 次に、点検支援システム5について説明する。
 図7は、点検支援システム5を示す図である。
 点検支援システム5は、道路附属物の点検を支援するシステムである。本実施の形態1では、点検支援システム1は、図7に示すように、点検箇所の撮影と当該点検箇所の点検結果の入力とを互いに独立した撮影装置6及び点検支援装置7の2台を用いて行うシステムである。すなわち、道路附属物の点検を行うにあたって、当該点検を行う作業者は、点検支援装置7を操作する作業者(以下、第1作業者と記載)と、撮影装置6を操作する作業者(以下、第2作業者と記載)との複数人で構成される。なお、第1作業者と第2作業者とは、同一人物であってもよい。
 また、本実施の形態1では、点検支援システム5は、撮影装置6を1台のみ備えた構成としているが、これに限らず、撮影装置6を複数台備えた構成としても構わない。
 撮影装置6は、例えば、デジタルカメラ等で構成されている。なお、撮影装置6の機能については、後述する「撮影装置の動作」において説明する。
 点検支援装置7は、例えば、タブレット端末、スマートフォン、ノートPC(Personal Computer)、ウェアラブルデバイス(例えば、眼鏡型あるいはヘルメット型のヘッドマウントディスプレイ)等で構成されている。なお、点検支援装置7の機能については、後述する「点検支援装置の動作」において説明する。
 〔点検支援システムの動作〕
 次に、上述した点検支援システム5の動作について説明する。以下では、説明の便宜上、撮影装置6の動作、及び点検支援装置7の動作を順に説明する。
 〔撮影装置の動作〕
 図8は、撮影装置6の動作を示すフローチャートである。
 撮影装置6は、第2作業者による撮影操作が有ったか否かを常時、監視する(ステップS2A)。
 撮影操作が有った場合(ステップS2A:Yes)には、撮影装置6は、点検箇所を撮影して点検画像を生成する(ステップS2B)。なお、撮影操作が無い場合(ステップS2A:No)には、撮影装置6は、ステップS2Aを繰り返す。
 ステップS2Bの後、撮影装置6は、ステップS2Bで生成した点検画像と当該点検画像の撮影時刻(例えばステップS2Aで撮影操作が有った時刻)とを関連付けて撮影データとして内部の記録部(図示略)に記録する(ステップS2C)。この後、撮影装置6は、ステップS2Aに戻る。
 〔点検支援装置の動作〕
 以下では、点検支援装置7の動作として、第1動作と第2動作とを順に説明する。
 〔点検支援装置の第1動作〕
 先ず、点検支援装置7の第1動作について説明する。
 図9は、点検支援装置7の第1動作を示すフローチャートである。
 点検支援装置7は、施設選択画面F1(図11参照)を表示する(ステップS3A)。
 図10及び図11は、ステップS3Aを説明する図である。具体的に、図10は、点検データD0の一例を示す図である。図11は、施設選択画面F1の一例を示す図である。
 ここで、点検支援装置7の内部の記録部(図示略)には、点検対象となる道路附属物の点検データD0(図10)が記録されている。
 点検データD0には、図10に示すように、上述した施設台帳D1に含まれる全ての道路附属物毎に、上述した施設諸元D2、点検結果票D3、及び損傷記録票D4が関連付けられて登録されている。
 ステップS3Aにおいて、点検支援装置7は、内部の記録部(図示略)に記録された点検データD0に含まれる各施設諸元D2に基づいて、第1作業者に点検対象となる道路附属物の選択を促す施設選択画面F1(図11)を表示する。
 具体的に、施設選択画面F1は、複数の道路附属物の情報である各道路附属物情報F10a,F10b,・・・を一覧表示した画面である。道路附属物情報F10a,F10b,・・・は、例えば、図11に示すように、対応する道路附属物に応じた施設諸元D2に含まれる道路附属物の「施設区分情報」及び「管理番号」等の諸元情報F11a,F11b,・・・と、当該施設諸元D2に含まれる道路附属物全体の撮影画像(ステップS1Bで認識した道路附属物が写り込んだ撮影画像)F12a,F12b,・・・とが載せられた情報である。
 そして、第1作業者は、ステップS3Aで表示された施設選択画面F1を確認することにより、点検支援装置7に対して点検対象となる道路附属物を選択する施設選択操作を行うことが可能となる。当該施設選択操作は、施設選択画面F1内における複数の道路附属物情報F10a,F10b,・・・のうち、点検対象となる道路附属物に応じた道路附属物情報を選択する操作である。
 ステップS3Aの後、点検支援装置7は、第1作業者による施設選択操作が有ったか否かを常時、監視する(ステップS3B)。
 施設選択操作が有った場合(ステップS3B:Yes)には、点検支援装置7は、当該施設選択操作によって選択された道路附属物に応じた点検結果票D3に基づいて、点検箇所選択画面F2(図12参照)を表示する(ステップS3C)。当該点検箇所選択画面F2は、ステップS3C以降、本フロー(ステップS3A~S3L)を終了するまで常時、表示されている。なお、施設選択操作が無い場合(ステップS3B:No)には、点検支援装置7は、ステップS3Bを繰り返す。
 図12は、点検箇所選択画面F2の一例を示す図である。
 具体的に、点検箇所選択画面F2は、例えば、図12に示すように、1つの道路附属物における全ての点検箇所の名称が記載されているとともに、当該全ての点検箇所毎に、点検の対象有無(有/無)、点検状況(実施済/未実施)、損傷程度の評価区分(損傷が認められない/損傷が認められる/損傷が大きい)、対策の要否(要/否)、及び健全性の診断区分(健全/予防保全段階/早期措置段階/緊急措置段階)それぞれの選択を促すコンボボックスCBが設けられた画面である。
 また、点検箇所選択画面F2には、全ての点検箇所毎に、当該点検箇所の点検開始の操作を促す点検開始ボタンBSと当該点検箇所の点検終了の操作を促す点検終了ボタンBEとがそれぞれ設けられている。なお、点検開始ボタンBSと点検終了ボタンBEとは、同一のボタン(以下、点検ボタンと記載)で構成されてもよい。この構成の場合、点検支援装置7は、点検ボタンの選択回数をカウントする機能を有する。そして、点検支援装置7は、選択回数のカウントに基づいて、点検開始の操作が行われたか、または、点検終了の操作が行われたかを判断する。
 そして、第1作業者は、ステップS3Cで表示された点検箇所選択画面F2を確認することにより、点検支援装置7に対して点検対象となる点検箇所の点検を開始する点検開始操作(当該点検箇所に応じた点検開始ボタンBSを選択する操作)、及び当該点検箇所の点検を終了する点検終了操作(当該点検箇所に応じた点検終了ボタンBEを選択する操作)を行うことが可能となる。
 さらに、点検箇所選択画面F2には、1つの道路附属物における全ての点検箇所の点検終了の選択を促す確認ボタンBCが設けられている。
 そして、第1作業者は、ステップS3Cで表示された点検箇所選択画面F2を確認することにより、点検支援装置7に対して1つの道路附属物における全ての点検箇所の点検を終了する確認操作(確認ボタンBCを選択する操作)を行うことが可能となる。
 ステップS3Cの後、点検支援装置7は、第1作業者による点検開始操作が有ったか否かを常時、監視する(ステップS3D)。
 点検開始操作が有った場合(ステップS3D:Yes)には、点検支援装置7は、当該点検開始操作により選択された点検開始ボタンBSに対応する点検箇所の点検箇所固有情報と、当該点検箇所の点検開始時刻(例えばステップS3Dで点検開始操作が有った時刻)とを特定する(ステップS3E)。なお、点検開始操作が無い場合(ステップS3D:No)には、点検支援装置7は、ステップS3Dを繰り返す。
 ステップS3Eの後、点検支援装置7は、第1作業者による点検終了操作が有ったか否かを常時、監視する(ステップS3F)。
 点検終了操作が有った場合(ステップS3F:Yes)には、点検支援装置7は、当該点検終了操作により選択された点検終了ボタンBSに対応する点検箇所の点検箇所固有情報と、当該点検箇所の点検終了時刻(例えばステップS3Fで点検終了操作が有った時刻)とを特定する(ステップS3G)。なお、点検終了操作が無い場合(ステップS3F:No)には、点検支援装置7は、ステップS3Fを繰り返す。
 ここで、第1作業者は、点検対象となる点検箇所に応じた点検開始操作(ステップS3D)を行った後、第2作業者に対して当該点検箇所の撮影を指示する。また、第2作業者は、当該点検箇所の撮影を終了した後、当該撮影を終了した旨を第1作業者に伝える。そして、第1作業者は、第2作業者から当該撮影を終了した旨の連絡が有った後、当該点検箇所に応じた点検終了操作(ステップS3F)を行う。すなわち、点検箇所を撮影した点検画像(ステップS2Bで生成された点検画像)には、ステップS2Cにおいて、当該点検箇所に応じた点検開始操作から点検終了操作までの期間(ステップS3D~S3Fの期間)内の撮影時刻が関連付けられる。
 また、第1作業者は、点検対象となる点検箇所に応じた点検開始操作から点検終了操作までの期間において、点検箇所選択画面F2を確認しながら、コンボボックスCBを操作し、当該点検箇所について、点検の対象有無、点検状況、損傷程度の評価区分、対策の要否、及び健全性の診断区分をそれぞれ選択する。そして、ステップS3Gの後、点検支援装置7は、当該選択された点検の対象有無、点検状況、損傷程度の評価区分、対策の要否、及び健全性の診断区分の点検結果情報をステップS3E,S3Fで特定した点検箇所固有情報と同一の点検箇所固有情報に関連付けて点検結果票D3に登録する(ステップS3H)。なお、コンボボックスCBの操作の一部または全部は、全ての点検作業が終了した後に行ってもよい。また、全ての点検作業が終了した後、検査時に選択したコンボボックスCBの操作内容を修正してもよい。
 ステップS3Hの後、点検支援装置7は、内部の記録部(図示略)に記録されたテーブルTBを参照し、ステップS3E,S3Gで特定した点検箇所固有情報と同一の点検箇所固有情報が当該テーブルTBに登録されているか否かを判定する(ステップS3I)。
 図13は、テーブルTBの一例を示す図である。
 ここで、点検支援装置7の内部の記録部(図示略)には、テーブルTB(図13)が記録されている。
 テーブルTBは、上述した施設台帳D1に含まれる全ての道路附属物毎にそれぞれ設けられている。なお、図13では、1つの道路附属物に応じた1つのテーブルTBのみを図示している。このテーブルTBには、点検箇所の点検箇所固有情報と当該点検箇所の点検開始時刻及び点検終了時刻を示すタイムスタンプとが関連付けられた点検関連情報が点検箇所毎に複数、登録される。図13の例では、1つの道路附属物の全ての点検箇所が第1~第6点検箇所の6箇所とされ、テーブルTBには、当該第1~第6点検箇所にそれぞれ対応する6つの点検関連情報DA1~DA6が登録されている。以下、6つの点検関連情報DA1~DA6のうち、点検関連情報DA1,DA2,DA5について説明する。
 点検関連情報DA1は、点検箇所固有情報ID1と、点検開始時刻ST1及び点検終了時刻EN1を示すタイムスタンプと、点検開始時刻ST1´及び点検終了時刻EN1´を示すタイムスタンプとが関連付けられた情報である。
 ここで、点検箇所固有情報ID1は、第1点検箇所に対して実行された1回目のステップS3E,S3Gで特定された点検箇所固有情報である。また、点検開始時刻ST1及び点検終了時刻EN1を示すタイムスタンプは、第1点検箇所に対して実行された1回目のステップS3E,S3Gで特定されたタイムスタンプである。さらに、点検開始時刻ST1´及び点検終了時刻EN1´を示すタイムスタンプは、第1点検箇所に対して実行された2回目のステップS3E,S3Gで特定されたタイムスタンプである。
 点検関連情報DA2は、点検箇所固有情報ID2と、点検開始時刻ST2及び点検終了時刻EN2を示すタイムスタンプとが関連付けられた情報である。
 ここで、点検箇所固有情報ID2は、第2点検箇所に対して実行された1回目のステップS3E,S3Gで特定された点検箇所固有情報である。また、点検開始時刻ST2及び点検終了時刻EN2を示すタイムスタンプは、第2点検箇所に対して実行された1回目のステップS3E,S3Gで特定されたタイムスタンプである。なお、他の点検関連情報DA3,DA4,DA6も点検関連情報DA2と同様の構成を有している。
 点検関連情報DA5は、点検箇所固有情報ID5と、点検開始時刻ST5及び点検終了時刻EN5を示すタイムスタンプと、点検開始時刻ST5´及び点検終了時刻EN5´を示すタイムスタンプと、点検開始時刻ST5´´及び点検終了時刻EN5´´を示すタイムスタンプとが関連付けられた情報である。
 ここで、点検箇所固有情報ID5は、第5点検箇所に対して実行された1回目のステップS3E,S3Gで特定された点検箇所固有情報である。また、点検開始時刻ST5及び点検終了時刻EN5を示すタイムスタンプは、第5点検箇所に対して実行された1回目のステップS3E,S3Gで特定されたタイムスタンプである。さらに、点検開始時刻ST5´及び点検終了時刻EN5´を示すタイムスタンプは、第5点検箇所に対して実行された2回目のステップS3E,S3Gで特定されたタイムスタンプである。また、点検開始時刻ST5´´及び点検終了時刻EN5´´を示すタイムスタンプは、第5点検箇所に対して実行された3回目のステップS3E,S3Gで特定されたタイムスタンプである。
 以下、図13の例を基に、ステップS3J,S3Kについて説明する。
 ここで、以下の第1の場合を想定する。
 第1の場合とは、第1点検箇所に対して実行された1回目のステップS3E,S3Gにおいて、点検箇所固有情報ID1、点検開始時刻ST1、及び点検終了時刻EN1を特定した場合である。また、第1の場合は、1回目のステップS3E,S3Gの前に、点検関連情報DA1がテーブルTBに登録されていない場合である。
 第1の場合には、点検支援装置7は、1回目のステップS3E,S3Gで特定した点検箇所固有情報ID1と同一の点検箇所固有情報ID1がテーブルTBに登録されていないと判定する(ステップS3I:No)。そして、点検支援装置7は、1回目のステップS3E,S3Gで特定した点検箇所固有情報ID1と点検開始時刻ST1及び点検終了時刻EN1を示すタイムスタンプとを関連付けて新たな点検関連情報DA1としてテーブルTBに登録する(ステップS3J)。
 また、以下の第2の場合を想定する。
 第2の場合とは、第1点検箇所に対して実行された2回目のステップS3E,S3Gにおいて、点検箇所固有情報ID1、点検開始時刻ST1´、及び点検終了時刻EN1´を特定した場合である。すなわち、第2の場合は、2回目のステップS3E,S3Gの前に、点検関連情報DA1がテーブルTBに登録されているが、当該点検関連情報DA1に点検開始時刻ST1´及び点検終了時刻EN1´のタイムスタンプが含まれていない場合である。
 第2の場合には、点検支援装置7は、2回目のステップS3E,S3Gで特定した点検箇所固有情報ID1と同一の点検箇所固有情報ID1がテーブルTBに登録されていると判定する(ステップS3I:Yes)。そして、点検支援装置7は、2回目のステップS3E,S3Gで特定した点検箇所固有情報ID1と同一の点検箇所固有情報ID1に対して当該2回目のステップS3E,S3Gで特定した点検開始時刻ST1´及び点検終了時刻EN1´を示すタイムスタンプを関連付けて点検関連情報DA1を更新する(ステップS3K)。
 ステップS3JまたはステップS3Kの後、点検支援装置7は、第1作業者による確認操作が有ったか否かを判断する(ステップS3L)。
 確認操作がない場合(ステップS3L:No)には、点検支援装置7は、ステップS3Dに戻る。一方、確認操作が有った場合(ステップS3L:Yes)には、点検支援装置7は、本フロー(第1動作)を終了する。
 〔点検支援装置の第2動作〕
 次に、点検支援装置7の第2動作について説明する。
 図14は、点検支援装置7の第2動作を示すフローチャートである。
 点検支援装置7は、撮影装置6との間で通信接続を確立し、当該撮影装置6における内部の記録部(図示略)に記録された撮影データを受信する(ステップS3M)。なお、第2動作としては、第1動作の後に続けて実行する構成としてもよく、第1動作の後、当該第1動作とは独立して実行する構成としてもよい。第2動作を第1動作の後に続けて実行する構成では、例えば、確認操作が有ったことをトリガとしてステップS3Mが実行される。また、第1動作の後、当該第1動作とは独立して第2動作を実行する構成では、例えば、点検支援装置7に対するユーザによる所定の操作をトリガとしてステップS3Mが実行される。
 ステップS3Mの後、点検支援装置7は、内部の記録部(図示略)に記録されたテーブルTBに登録された点検箇所固有情報に対してステップS3Mで受信した撮影データにおける点検画像を関連付けて点検関連情報を更新する(ステップS3N)。
 図15は、ステップS3Nを説明する図である。具体的に、図15は、テーブルTBの一例を示す図である。なお、図15は、図13に対応させた図としている。また、図15では、説明の便宜上、点検関連情報DA1~DA6において、タイムスタンプの図示を省略している。さらに、図15において、点検画像IM1~IM35は、当該点検画像IM1~IM35の順に撮影されたものである。より具体的に、点検画像IM1~IM5は、点検開始時刻ST1から点検終了時刻EN1までの期間内にそれぞれ撮影された点検画像である。点検画像IM6~IM11は、点検開始時刻ST2から点検終了時刻EN2までの期間内にそれぞれ撮影された点検画像である。点検画像IM12~IM14は、点検開始時刻ST3から点検終了時刻EN3までの期間内にそれぞれ撮影された点検画像である。点検画像IM15~IM20は、点検開始時刻ST4から点検終了時刻EN4までの期間内にそれぞれ撮影された点検画像である。点検画像IM21,IM22は、点検開始時刻ST5から点検終了時刻EN5までの期間内にそれぞれ撮影された点検画像である。点検画像IM23~IM28は、点検開始時刻ST6から点検終了時刻EN6までの期間内にそれぞれ撮影された点検画像である。点検画像IM29~IM31は、点検開始時刻ST1´から点検終了時刻EN1´までの期間内にそれぞれ撮影された点検画像である。点検画像IM32,IM33は、点検開始時刻ST5´から点検終了時刻EN5´までの期間内にそれぞれ撮影された点検画像である。点検画像IM34,IM35は、点検開始時刻ST5´´から点検終了時刻EN5´´までの期間内にそれぞれ撮影された点検画像である。
 以下、図15の例を基に、ステップS3Nについて説明する。
 点検支援装置7は、テーブルTBに登録されている各点検関連情報DA1~DA6に含まれるタイムスタンプとステップS3Mで受信した撮影データに含まれる撮影時刻とを照合する。そして、点検支援装置7は、点検開始時刻から点検終了時刻までの期間内の撮影時刻が関連付けられた点検画像を当該点検開始時刻及び当該点検終了時刻を示すタイムスタンプが関連付けられた点検箇所固有情報に対して関連付けて点検関連情報を更新する。
 例えば、点検画像IM1~IM5には、点検開始時刻ST1から点検終了時刻EN1までの期間内の撮影時刻がそれぞれ関連付けられている。また、点検画像IM29~IM31には、点検開始時刻ST1´から点検終了時刻EN1´までの期間内の撮影時刻がそれぞれ関連付けられている。このため、点検支援装置7は、点検箇所固有情報ID1に対して点検画像IM1~IM5,IM29~IM31を関連付けて点検関連情報DA1を更新する。同様に、点検支援装置7は、点検箇所固有情報ID2に対して点検画像IM6~IM11を関連付けて点検関連情報DA2を更新する。また、点検支援装置7は、点検箇所固有情報ID3に対して点検画像IM12~IM14を関連付けて点検関連情報DA3を更新する。さらに、点検支援装置7は、点検箇所固有情報ID4に対して点検画像IM15~IM20を関連付けて点検関連情報DA4を更新する。また、点検支援装置7は、点検箇所固有情報ID5に対して点検画像IM21,IM22,IM32~IM35を関連付けて点検関連情報DA5を更新する。さらに、点検支援装置7は、点検箇所固有情報ID6に対して点検画像IM23~IM28を関連付けて点検関連情報DA6を更新する。
 ステップS3Nの後、点検支援装置7は、ステップS3Hで点検結果情報を登録した点検結果票D3、及びステップS3Nで更新した各点検関連情報に基づいて、部材毎の部材情報を損傷記録票D4に登録する(ステップS3O)。この後、点検支援装置7は、本フロー(第2動作)を終了する。
 具体的に、点検支援装置7は、ステップS3Oにおいて、所定の部材の部材情報を登録する際、点検結果票D3に登録され、当該部材の部材固有情報に関連する点検箇所固有情報に関連付けられた点検結果情報と、テーブルTBに登録され、当該部材固有情報に関連する点検箇所固有情報に関連付けられた点検画像とを当該部材固有情報に関連付けて部材情報として損傷記録票D3に登録する。
 ここで、点検支援装置7には、第1作業者により損傷記録票画面の表示操作が行われる場合がある。当該損傷記録票画面の表示操作は、点検箇所選択画面F2内における部材の名称が記載された複数の領域Ar1(図12)のうち、確認を希望する部材に応じた領域Ar1を選択する操作である。そして、点検支援装置7は、第1作業者による損傷記録票画面の表示操作が有った場合には、当該表示操作で選択された部材に応じた損傷記録票D3に基づいて、損傷記録票画面F3(図16参照)を表示する。
 図16は、損傷記録票画面F3の一例を示す図である。
 損傷記録票画面F3には、例えば、図16に示すように、部材名称、部材全体としての損傷程度の評価結果、及び当該部材の措置内容等の情報と、当該部材に対して割り当てられた複数の点検箇所を撮影した点検画像とが載せられている。
 以上説明した本実施の形態1によれば、以下の効果を奏する。
 本実施の形態1に係る支援情報作成装置3では、第2制御部32は、関連情報作成装置2にて予め作成された関連情報に含まれる複数の撮影画像を解析し、当該複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ道路附属物を認識する。また、第2制御部32は、撮影画像に写り込んだ道路附属物の区分を判別し、当該区分を示す施設区分情報を生成する。そして、第2制御部32は、施設区分情報と、当該道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に応じた当該道路附属物の位置を示す施設位置情報とを関連付けた支援情報(施設台帳D1及び施設諸元D2)を作成する。
 以上のように、支援情報作成装置3は、関連情報作成装置2にて作成された関連情報に基づいて、支援情報を略自動で作成することができるため、当該支援情報を作成するにあたって従来のように作業者に煩雑な作業を強いることがなく、利便性を向上させることができる。
 また、本実施の形態1に係る支援情報作成装置3では、第2制御部32は、道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に応じた施設位置情報に基づいて、当該道路附属物の位置に対応した対応情報を第2記録部33に記録された地図情報から抽出する。そして、第2制御部32は、当該施設位置情報に対して当該対応情報を関連付けた支援情報を作成する。
 したがって、支援情報作成装置3は、道路附属物に関する種々の情報(施設区分情報、施設位置情報、及び対応情報等)が支援情報に登録されるため、当該支援情報に基づいて、当該道路附属物の管理を行い易いものとなり、利便性をさらに向上させることができる。
 また、本実施の形態1に係る支援情報作成装置3では、第2制御部32は、撮影位置情報に基づいて施設位置情報を生成する。
 このため、撮影位置情報を支援情報に登録する構成と比較して、道路附属物の位置として精度の高い位置情報(施設位置情報)を支援情報に登録することができる。
(実施の形態2)
 次に、本実施の形態2について説明する。
 以下の説明では、上述した実施の形態1と同様の構成に同一の符号を付し、その詳細な説明を省略または簡略化する。
 本実施の形態2では、上述した実施の形態1に対して、図4のフローにより支援情報(施設台帳D1及び施設諸元D2)を作成する支援情報作成機能を有する第2制御部32に対して、作成された当該支援情報を更新する支援情報更新機能を追加した点が異なるのみである。当該支援情報更新機能について、以下の「情報更新方法」において説明する。
 〔情報更新方法〕
 図17は、本実施の形態2に係る情報更新方法を示すフローチャートである。
 以下では、説明の便宜上、図4のフローにより既に支援情報(施設台帳D1及び施設諸元D2)が作成され、当該支援情報が第2記録部33に既に記録されているものとする。また、関連情報作成装置2にてステップS1Aで取得した関連情報とは異なる関連情報が新たに生成され、当該新たな関連情報が記録された記録媒体4が第2リーダライタ31に挿着されているものとする。
 なお、当該新たな関連情報は、ステップS1Aで取得した関連情報を作成する際に車両で走行した道路を改めて走行しているときに、第1撮影部25にて順次、撮影された複数の撮影画像、及び第1測位部26にて順次、測定された撮影位置情報に基づいて生成された情報である。
 ここで、ステップS1Aで取得した関連情報、当該関連情報に含まれる撮影画像及び撮影位置情報は、本発明に係る第1関連情報、第1撮影画像及び第1撮影位置情報にそれぞれ相当する。また、図4のフローにより既に作成された支援情報(施設台帳D1及び施設諸元D2)に含まれる施設区分情報及び施設位置情報は、本発明に係る第1施設区分情報及び第1施設位置情報にそれぞれ相当する。以下では、説明の便宜上、図4のフローにより既に作成された支援情報に含まれる施設区分情報及び施設位置情報をそれぞれ第1施設区分情報及び第1施設位置情報と記載する。さらに、当該新たな関連情報、当該新たな関連情報に含まれる撮影画像及び撮影位置情報は、本発明に係る第2関連情報、第2撮影画像及び第2撮影位置情報にそれぞれ相当する。
 先ず、第2制御部32は、作業者による第2入力部34への支援情報の更新を開始するユーザ操作に応じて、第2リーダライタ31に制御信号を出力する。当該制御信号に応じて、第2リーダライタ31は、記録媒体4に記録された新たな関連情報を取り込む(ステップS1F)。そして、第2リーダライタ31にて取り込まれた新たな関連情報は、第2記録部33に記録される。
 ステップS1Fの後、第2制御部32は、第2記録部33に記録された新たな関連情報を読み出し、当該新たな関連情報に含まれる複数の撮影画像を解析する(ステップS1G)。なお、当該撮影画像の解析手法は、上述した実施の形態1で説明したステップS1Bと同様である。これによって、第2制御部32は、新たな関連情報に含まれる複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ道路附属物を認識する。
 ステップS1Gの後、第2制御部32は、ステップS1Gで認識した道路附属物の区分(標識、照明、及び情報板等)を判別し、当該区分を示す施設区分情報を生成する(ステップS1H)。当該施設区分情報は、本発明に係る第2施設区分情報に相当する。以下では、説明の便宜上、当該施設区分情報を第2施設区分情報と記載する。
 ステップS1Hの後、第2制御部32は、ステップS1Gで認識した道路附属物が写り込んだ撮影画像に関連付けられた撮影位置情報に基づいて、当該道路附属物の位置を示す施設位置情報を生成する(ステップS1I)。なお、当該施設位置情報の生成手法は、上述した実施の形態1で説明したステップS1Dと同様である。当該施設位置情報は、本発明に係る第2施設位置情報に相当する。以下では、説明の便宜上、当該施設位置情報を第2施設位置情報と記載する。
 ステップS1Iの後、第2制御部32は、第2記録部33に記録された施設台帳D1に含まれる全ての道路附属物における各第1施設位置情報を読み出す。そして、第2制御部32は、当該各第1施設位置情報に基づく各道路附属物の位置と、ステップS1Iで生成した第2施設位置情報に基づく道路附属物(ステップS1Gで認識した道路附属物)の位置との各離間距離ΔRをそれぞれ算出する(ステップS1J)。
 ステップS1Jの後、第2制御部32は、ステップS1Jで算出した全ての離間距離ΔRが所定の閾値Rjをそれぞれ超えているか否かを判定する(ステップS1K)。
 全ての離間距離ΔRが閾値Rjをそれぞれ超えていると判定した場合(ステップS1K:Yes)には、第2制御部32は、ステップS1Gで認識した道路附属物が道路に新たに設けられた道路附属物であると認識する。そして、第2制御部32は、第2記録部33に記録された支援情報を更新する(ステップS1L)。この後、第2制御部32は、本フローを終了する。
 具体的に、第2制御部32は、ステップS1Lにおいて、当該新たに設けられた道路附属物についてステップS1Hで生成した第2施設区分情報及びステップS1Iで生成した第2施設位置情報等を施設台帳D1に新たに登録(図5の例ではNo.4の道路附属物として新たに登録)する。また、第2制御部32は、当該新たに設けられた道路附属物に応じた施設諸元D2を作成する。
 一方、いずれか1つの離間距離ΔRが閾値Rj以下であり、全ての離間距離ΔRが閾値Rjをそれぞれ超えていないと判定した場合(ステップS1K:No)には、第2制御部32は、ステップS1Gで認識した道路附属物(以下、第2道路附属物と記載)に対して閾値Rj以下である離間距離ΔRとなる道路附属物(以下、第1道路附属物と記載)の位置(第1施設位置情報)に関連付けられた第1施設区分情報と、第2道路附属物についてステップS1Hで生成した第2施設区分情報とが同一であるか否かを判定する(ステップS1M)。
 第1施設区分情報と第2施設区分情報とが同一であると判定した場合(ステップS1M:Yes)には、第2制御部32は、第2道路附属物を既に施設台帳D1に登録された道路附属物(例えば、自治体等の管理者が管理する管轄内の道路に既に設けられていた道路附属物)であると判断し、本フローを終了する。
 一方、第1施設区分情報と第2施設区分情報とが異なると判定した場合(ステップS1M:No)には、第2制御部32は、第2道路附属物が第1道路附属物に代えて新たに設けられた道路附属物であると認識する。そして、第2制御部32は、ステップS1Lに移行し、第2記録部33に記録された支援情報を更新する。
 具体的に、第2制御部32は、ステップS1Lにおいて、施設台帳D1に登録されている第1道路附属物に関する情報を削除する。また、第2制御部32は、第1道路附属物に応じた施設諸元D2を削除する。さらに、第2制御部32は、第2道路附属物についてステップS1Hで生成した第2施設区分情報及びステップS1Iで生成した第2施設位置情報等を施設台帳D1に新たに登録する。また、第2制御部32は、第2道路附属物に応じた施設諸元D2を作成する。
 以上説明した本実施の形態2によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
 本実施の形態2に係る支援情報作成装置3では、第2制御部32は、上述した情報更新方法により支援情報を更新する。
 このため、支援情報作成装置3は、道路附属物が取り外された場合や新たに設置された場合に対応した支援情報を容易に作成することができ、利便性をさらに向上させることができる。
(実施の形態3)
 次に、本実施の形態3について説明する。
 以下の説明では、上述した実施の形態1と同様の構成に同一の符号を付し、その詳細な説明を省略または簡略化する。
 上述した実施の形態1では、支援情報作成装置3は、関連情報作成装置2にて予め生成された関連情報に基づいて、支援情報を作成していた。
 これに対して本実施の形態3に係る支援情報作成装置は、車両に搭載されるドライブレコーダ等で構成され、自治体等の管理者が管理する管轄内の道路を当該車両が走行しながら道路附属物等を撮影している際に、リアルタイムで支援情報を作成する。
 図18は、本実施の形態3に係る支援情報作成装置8を示すブロック図である。
 本実施の形態3に係る支援情報作成装置8は、図18に示すように、第3制御部81と、第3記録部82と、第3入力部83と、第3表示部84と、第3撮影部85と、第3測位部86と、通信部87とを備え、当該各部81~87がバス88を介して接続された構成である。
 第3制御部81は、本発明に係るプロセッサに相当する。この第3制御部81は、CPUやFPGA等で構成され、第3記録部82に記録されたプログラム(本発明に係る支援情報作成プログラムを含む)にしたがって、支援情報作成装置8全体の動作を制御する。ここで、第3制御部81は、本発明に係る画像解析部、区分判別部、位置補正部、及び情報作成部としての機能を有する。なお、第3制御部81の機能については、後述する「支援情報作成方法」において説明する。
 第3記録部82は、第3制御部81が実行するプログラム(本発明に係る支援情報作成プログラムを含む)、当該第3制御部81の処理に必要な情報、及び当該第3制御部81が処理した情報(第3撮影部85にて生成された撮影画像を含む)等を記録する。
 ここで、当該第3制御部81の処理に必要な情報としては、上述した実施の形態1で説明した第2記録部33に記録された地図情報や学習モデルを例示することができる。
 第3入力部83は、ユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた操作信号を第3制御部81に出力する。
 第3表示部84は、液晶または有機EL等を用いた表示ディスプレイで構成され、第2制御部81による制御の下、種々の画像を表示する。なお、第3入力部83の機能の一部または全部がタッチパネルとして第3表示部84の表面に配置されてもよい。
 第3撮影部85は、本発明に係る撮影部に相当する。この第3撮影部85は、具体的な図示は省略したが、レンズユニットと、撮像素子と、信号処理部とを備える。当該レンズユニットは、被写体像を取り込んで当該撮像素子の撮像面に結像する。当該撮像素子は、当該レンズユニットが結像した被写体像を受光して電気信号に変換するCCDまたはCMOS等で構成されている。当該信号処理部は、当該撮像素子からの電気信号に対して信号処理(例えばA/D変換等)を行って画像データ(以下、撮影画像と記載)を出力する。
 第3測位部86は、本発明に係る測位部に相当する。この第3測位部86は、地上の物体の位置を測定する測定手段であるGPS(Global Positioning System)を構成する複数のGPS衛星から送信されてくる衛星の軌道情報を受信し、当該受信した軌道情報に基づいて、支援情報作成装置3(第3撮影部85)の位置(緯度や経度)を示す撮影位置情報を出力する。
 通信部87は、第3制御部81による制御の下、上述した実施の形態1で説明した点検支援装置7等の外部機器(図示略)との間で各種データ(作成した支援情報等)の通信(無線通信や有線通信)を所定のプロトコルに従って行う。なお、本実施の形態3では、作成した支援情報等を通信によって外部機器に送信する構成としたが、これに限らず、上述した実施の形態1で説明した記録媒体4のような可搬型の記録媒体を用いて当該支援情報等を当該外部機器に受け渡す構成を採用しても構わない。
 〔支援情報作成方法〕
 次に、上述した支援情報作成装置8の動作(支援情報作成方法)について説明する。
 図19は、支援情報作成方法を示すフローチャートである。
 以下では、支援情報作成装置8が車両に搭載され、自治体等の管理者が管理する管轄内の道路を当該車両が走行しているものとする。
 先ず、第3制御部81は、作業者による第3入力部83への支援情報の作成を開始するユーザ操作に応じて、第3撮影部85及び第3測位部86に制御信号をそれぞれ出力する。そして、当該制御信号に応じて、第3撮影部85から撮影した撮影画像が順次、出力されるとともに、当該撮影画像の出力タイミングに同期して、第3測位部86から測位により生成した撮影位置情報が順次、出力される(ステップS4A)。
 ステップS4Aの後、第3制御部81は、第3撮影部85から順次、出力される撮影画像を順次、解析する(ステップS4B)。なお、当該撮影画像の解析手法は、上述した実施の形態1で説明したステップS1Bと同様である。これによって、第3制御部81は、撮影画像に写り込んだ道路附属物を認識する。
 ステップS4Bの後、第3制御部81は、ステップS4Bで認識した道路附属物の区分(標識、照明、及び情報板等)を判別し、当該区分を示す施設区分情報を生成する(ステップS4C)。
 ステップS4Cの後、第3制御部81は、ステップS4Bで認識した道路附属物が写り込んだ撮影画像と略同一の出力タイミングで第3測位部86から出力された撮影位置情報に基づいて、当該道路附属物の位置を示す施設位置情報を生成する(ステップS4D)。なお、当該施設位置情報の生成手法は、上述した実施の形態1で説明したステップS1Dと同様である。また、第3測位部86における単位時間あたりに生成する撮影位置情報の数は、第3撮影部85における単位時間あたりに生成する撮影画像の数(フレームレート)よりも少ないものである。このため、第3制御部81は、ステップS4Bで認識した道路附属物が写り込んだ撮影画像と略同一の出力タイミングで第3測位部86から出力された撮影位置情報がない場合には、当該撮影位置情報を補間(例えば直線補間)により生成する。
 ステップS4Dの後、第3制御部81は、上述した実施の形態1で説明したステップS1Eと同様に、ステップS4Cで生成した施設区分情報とステップS4Dで生成した施設位置情報とを関連付けた支援情報(施設台帳D1及び施設諸元D2)を作成する(ステップS4E)。この後、第3制御部81は、本フローを終了する。
 以上説明した本実施の形態3のように、支援情報作成装置8は、道路附属物等を撮影している際にリアルタイムで支援情報を作成する構成を採用した場合であっても、上述した実施の形態1と同様の効果を奏する。
(その他の実施形態)
 ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1~3によってのみ限定されるべきものではない。
 上述した実施の形態1~3では、本発明に係る施設は、道路附属物で例示されていたが、これに限らず、橋梁やトンネル等も含まれるものである。
 上述した実施の形態1~3で説明したフローは、図4、図8、図9、図14、図17、及び図19のフローに限らず、矛盾のない範囲で順序を変更しても構わない。
 以上のように、本発明に係る支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラムは、標識や照明等の道路附属物の点検を支援するための支援情報を作成するのに有用である。
 1 支援情報作成システム
 2 関連情報作成装置
 3,8 支援情報作成装置
 4 記録媒体
 5 点検支援システム
 6 撮影装置
 7 点検支援装置
 21 第1制御部
 22 第1記録部
 23 第1入力部
 24 第1表示部
 25 第1撮影部
 26 第1測位部
 27 第1リーダライタ
 28 バス
 31 第2リーダライタ
 32 第2制御部
 33 第2記録部
 34 第2入力部
 35 第2表示部
 36 バス
 81 第3制御部
 82 第3記録部
 83 第3入力部
 84 第3表示部
 85 第3撮影部
 86 第3測位部
 87 通信部
 88 バス
 BC 確認ボタン
 BE 点検終了ボタン
 BS 点検開始ボタン
 CB コンボボックス
 D0 点検データ
 D1 施設台帳
 D2 施設諸元
 D3 点検結果票
 D4 損傷記録票
 D101 管理番号
 D102 管理者名
 D10 路線名
 D104 距離標
 D105 施設位置情報
 D106 緯度
 D107 経度
 D108 上下区分
 D109 施設区分情報
 D110 点検日
 D111 点検会社
 D112 点検員
 D113 損傷度
 D201 種別情報
 D202 位置情報
 D203 構造情報
 D204 設置環境情報
 D205 点検情報
 D206 周辺地図
 D207 撮影画像
 DA1~DA6 点検関連情報
 EN1,EN1´,EN2~EN5,EN5´,EN5´´,EN6 点検終了時刻 F1 施設選択画面
 F2 点検箇所選択画面
 F3 損傷記録票画面
 F10a,F10b 道路附属物情報
 F11a,F11b 諸元情報
 F12a,F12b 撮影画像
 ID1~ID6 点検箇所固有情報
 IM1~IM35 点検画像
 ST1,ST1´,ST2~ST5,ST5´,ST5´´,ST6 点検開始時刻
 TB テーブル

Claims (12)

  1.  時系列で順次、撮影された複数の第1撮影画像に対して当該第1撮影画像の撮影位置を示す第1撮影位置情報がそれぞれ関連付けられた第1関連情報を取得する関連情報取得部と、
     前記複数の第1撮影画像を解析し、当該複数の第1撮影画像の少なくともいずれかの第1撮影画像に写り込んだ特定の施設を認識する画像解析部と、
     前記第1撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す第1施設区分情報を生成する区分判別部と、
     前記第1施設区分情報と、前記特定の施設が写り込んだ前記第1撮影画像に関連付けられた前記第1撮影位置情報に応じた当該特定の施設の位置を示す第1施設位置情報とを関連付けた支援情報を作成する情報作成部とを備える支援情報作成装置。
  2.  前記情報作成部は、
     前記画像解析部にて互いに異なる複数の前記特定の施設が認識された場合には、当該認識された前記特定の施設毎に前記第1施設区分情報及び前記第1施設位置情報をリスト化した前記支援情報を作成する請求項1に記載の支援情報作成装置。
  3.  前記情報作成部は、
     前記画像解析部にて互いに異なる複数の前記特定の施設が認識された場合には、当該認識された前記特定の施設毎にそれぞれ前記支援情報を作成する請求項1に記載の支援情報作成装置。
  4.  地図情報を記録する地図情報記録部をさらに備え、
     前記情報作成部は、
     前記特定の施設が写り込んだ前記第1撮影画像に関連付けられた前記第1撮影位置情報に応じた前記第1施設位置情報に基づいて、当該特定の施設の位置に対応した対応情報を前記地図情報から抽出し、当該第1施設位置情報に対して当該対応情報を関連付けた前記支援情報を作成する請求項1~3のいずれか一つに記載の支援情報作成装置。
  5.  前記第1撮影位置情報から前記第1施設位置情報を生成する位置補正部をさらに備え、
     前記位置補正部は、
     前記画像解析部にて認識された前記特定の施設の前記第1撮影画像内における大きさに基づいて、撮影位置から当該特定の施設までの距離を推定し、推定した当該距離に基づいて、当該撮影位置を補正して前記第1施設位置情報を生成する請求項1~4のいずれか一つに記載の支援情報作成装置。
  6.  前記関連情報取得部は、
     時系列で順次、撮影された複数の第2撮影画像に対して当該第2撮影画像の撮影位置を示す第2撮影位置情報がそれぞれ関連付けられた第2関連情報を取得し、
     前記画像解析部は、
     前記複数の第2撮影画像を解析し、当該複数の第2撮影画像の少なくともいずれかの第2撮影画像に写り込んだ前記特定の施設を認識し、
     前記区分判別部は、
     前記第2撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す第2施設区分情報を生成し、
     前記情報作成部は、
     前記第2施設区分情報、及び前記特定の施設が写り込んだ前記第2撮影画像に関連付けられた前記第2撮影位置情報に応じた当該特定の施設の位置を示す第2施設位置情報と、前記支援情報に含まれる前記第1施設区分情報及び前記第1施設位置情報とをそれぞれ比較し、当該比較結果に基づいて、当該支援情報を更新する請求項1~5のいずれか一つに記載の支援情報作成装置。
  7.  撮影した撮影画像を順次、出力する撮影部と、
     撮影位置を測定して当該撮影位置を示す撮影位置情報を生成する測位部と、
     前記撮影部から出力される前記撮影画像を順次、解析し、当該撮影画像に写り込んだ特定の施設を認識する画像解析部と、
     前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成する区分判別部と、
     前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像の撮影位置を示す前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する情報作成部とを備える支援情報作成装置。
  8.  請求項1~6のいずれか一つに記載の支援情報作成装置と、
     前記複数の第1撮影画像を生成する撮影部、及び当該撮影部の位置を測定して当該位置を示す前記第1撮影位置情報を生成する測位部を有し、前記第1関連情報を生成する関連情報作成装置とを備える支援情報作成システム。
  9.  支援情報作成装置のプロセッサが実行する支援情報作成方法であって、
     時系列で順次、撮影された複数の撮影画像に対して当該撮影画像の撮影位置を示す撮影位置情報がそれぞれ関連付けられた関連情報を取得し、
     前記複数の撮影画像を解析し、当該複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ特定の施設を認識し、
     前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、
     前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像に関連付けられた前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する支援情報作成方法。
  10.  支援情報作成装置のプロセッサが実行する支援情報作成方法であって、
     撮影部に撮影した撮影画像を順次、出力させ、
     測位部に前記撮影部の位置を測定させて当該位置を示す撮影位置情報を生成させ、
     前記撮影部から出力される前記撮影画像を順次、解析し、当該撮影画像に写り込んだ特定の施設を認識し、
     前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、
     前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像の撮影位置を示す前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する支援情報作成方法。
  11.  支援情報作成装置のプロセッサに実行させる支援情報作成プログラムであって、
     当該支援情報作成プログラムは、前記プロセッサに以下の実行を指示する:
     時系列で順次、撮影された複数の撮影画像に対して当該撮影画像の撮影位置を示す撮影位置情報がそれぞれ関連付けられた関連情報を取得し、
     前記複数の撮影画像を解析し、当該複数の撮影画像の少なくともいずれかの撮影画像に写り込んだ特定の施設を認識し、
     前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、
     前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像に関連付けられた前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する支援情報作成プログラム。
  12.  支援情報作成装置のプロセッサに実行させる支援情報作成プログラムであって、
     当該支援情報作成プログラムは、前記プロセッサに以下の実行を指示する:
     撮影部に撮影した撮影画像を順次、出力させ、
     測位部に前記撮影部の位置を測定させて当該位置を示す撮影位置情報を生成させ、
     前記撮影部から出力される前記撮影画像を順次、解析し、当該撮影画像に写り込んだ特定の施設を認識し、
     前記撮影画像に写り込んだ前記特定の施設の区分を判別し、当該区分を示す施設区分情報を生成し、
     前記施設区分情報と、前記特定の施設が写り込んだ前記撮影画像の撮影位置を示す前記撮影位置情報に応じた当該特定の施設の位置を示す施設位置情報とを関連付けた支援情報を作成する支援情報作成プログラム。
PCT/JP2020/021805 2019-06-03 2020-06-02 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム WO2020246474A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20818849.0A EP3979150A4 (en) 2019-06-03 2020-06-02 ASSISTANT INFORMATION GENERATION DEVICE, ASSISTANT INFORMATION GENERATION METHOD, AND ASSISTANT INFORMATION GENERATION PROGRAM
US17/457,167 US20220084309A1 (en) 2019-06-03 2021-12-01 Support information generating device, support information generating system, support information generating method, and computer readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-103609 2019-06-03
JP2019103609A JP7280119B2 (ja) 2019-06-03 2019-06-03 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/457,167 Continuation US20220084309A1 (en) 2019-06-03 2021-12-01 Support information generating device, support information generating system, support information generating method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2020246474A1 true WO2020246474A1 (ja) 2020-12-10

Family

ID=73648473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021805 WO2020246474A1 (ja) 2019-06-03 2020-06-02 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム

Country Status (5)

Country Link
US (1) US20220084309A1 (ja)
EP (1) EP3979150A4 (ja)
JP (1) JP7280119B2 (ja)
TW (1) TW202046194A (ja)
WO (1) WO2020246474A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096855A (ja) * 2005-09-29 2007-04-12 Fujifilm Corp 撮影システム及び撮影方法
JP2011048674A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 検査支援システム、助言者端末、検査支援方法および検査支援プログラム
JP2017228249A (ja) 2016-06-24 2017-12-28 古河電気工業株式会社 点検支援システム、情報端末、点検支援方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US11386512B2 (en) 2015-02-06 2022-07-12 Sunrun, Inc. Systems and methods for generating permit sets
JP6203208B2 (ja) * 2015-02-18 2017-09-27 株式会社東芝 道路構造物管理システム、及び道路構造物管理方法
JP6646527B2 (ja) * 2016-06-14 2020-02-14 株式会社日立ソリューションズ 物体検知評価システム及び物体検知評価方法
JP6615065B2 (ja) * 2016-07-29 2019-12-04 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
JP6602743B2 (ja) * 2016-12-08 2019-11-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
DE112018004507T5 (de) * 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096855A (ja) * 2005-09-29 2007-04-12 Fujifilm Corp 撮影システム及び撮影方法
JP2011048674A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 検査支援システム、助言者端末、検査支援方法および検査支援プログラム
JP2017228249A (ja) 2016-06-24 2017-12-28 古河電気工業株式会社 点検支援システム、情報端末、点検支援方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3979150A4

Also Published As

Publication number Publication date
US20220084309A1 (en) 2022-03-17
EP3979150A4 (en) 2023-04-26
TW202046194A (zh) 2020-12-16
JP2020197903A (ja) 2020-12-10
EP3979150A1 (en) 2022-04-06
JP7280119B2 (ja) 2023-05-23

Similar Documents

Publication Publication Date Title
JP7023690B2 (ja) 道路維持管理システム、道路維持管理方法及びコンピュータプログラム
WO2015005573A1 (ko) 회전익 구조체를 이용한 공중관측 지형자료 구축 방법
ATE406565T1 (de) Verfahren und vorrichtung zur entfernten überwachung eines messgerät
US7676325B2 (en) Road landscape map producing apparatus, method and program
KR101558467B1 (ko) 지피에스 수신기의 동선에 따라 수치지도에 링크된 수치좌표를 보정하는 수치정보 시스템
US20200034637A1 (en) Real-Time Track Asset Recognition and Position Determination
WO2017022994A1 (ko) 그린에서의 퍼팅정보 제공방법
JP2007121528A (ja) 地図作成更新システムおよび地図作成更新方法
JP2022054521A (ja) 巡視点検作業評価システム、巡視点検作業評価装置、操作端末、位置検出端末、及び巡視点検作業評価方法
WO2020246474A1 (ja) 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム
KR101047378B1 (ko) 옥외광고물 측정시스템
CN106062850B (zh) 信号机检测装置以及信号机检测方法
CN111242354A (zh) 用于可穿戴设备的方法、装置、电子设备及可读存储介质
CN113378754B (zh) 一种工地裸土监测方法
WO2020071573A1 (ko) 딥러닝을 이용한 위치정보 시스템 및 그 제공방법
JP2001344285A (ja) 被害情報収集管理装置
JP2022050926A (ja) 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム
US20150016715A1 (en) Output device and output system
JP2017138813A (ja) 保全点検システム、保全点検携帯端末および保全点検作業支援方法
JP6976474B1 (ja) 情報表示装置、情報表示方法及びプログラム
CN105974169A (zh) 对室外电能表读表的机器人
JP2023112536A (ja) 路面損傷位置の算定方法
JP2020173866A (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
CN111476304B (zh) 一种影像数据处理方法及装置
JP2020046843A (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818849

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020818849

Country of ref document: EP

Effective date: 20220103