WO2019064581A1 - 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム - Google Patents

建設機械の点検支援システム、管理サーバおよび点検レポート作成システム Download PDF

Info

Publication number
WO2019064581A1
WO2019064581A1 PCT/JP2017/035716 JP2017035716W WO2019064581A1 WO 2019064581 A1 WO2019064581 A1 WO 2019064581A1 JP 2017035716 W JP2017035716 W JP 2017035716W WO 2019064581 A1 WO2019064581 A1 WO 2019064581A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
guidance
data
unit
image
Prior art date
Application number
PCT/JP2017/035716
Other languages
English (en)
French (fr)
Inventor
草木 貴巳
智宏 吉田
増高 熊坂
藤島 一雄
聡志 猪瀬
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to CN202311488160.0A priority Critical patent/CN117522378A/zh
Priority to KR1020197003772A priority patent/KR20190045160A/ko
Priority to KR1020217000429A priority patent/KR102237932B1/ko
Priority to CN201780049618.9A priority patent/CN109863514B/zh
Priority to JP2019506751A priority patent/JP6825079B2/ja
Priority to EP17922069.4A priority patent/EP3690764A4/en
Priority to PCT/JP2017/035716 priority patent/WO2019064581A1/ja
Priority to US16/328,776 priority patent/US11640425B2/en
Publication of WO2019064581A1 publication Critical patent/WO2019064581A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313Resource planning in a project environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems

Definitions

  • the present invention relates to a technology for creating an inspection report of a construction machine, and more particularly to a technology for supporting inspection for collecting data for creating an inspection report.
  • a management system that manages the operation status of a construction machine such as a hydraulic shovel.
  • a service report is created using operation information transmitted daily from a construction machine and the result of an on-site inspection by a service person.
  • the construction machine is provided with a control device, and the management center is provided with a server in which a communication network is constructed via one or more terminals, mobile terminals and the Internet.
  • the server determines that the construction machine has been stolen, and notifies all terminals and all mobile terminals constituting the communication network to that effect.
  • the service report is used not only for reporting on the operating condition of construction machines, but also for proposing maintenance and repairs to customers, and proposing preventive maintenance. Therefore, the accuracy and quality of the underlying data are important.
  • an inspection report that actually visits the site and inspects construction equipment and summarizes the results is an important basis for enhancing the persuasiveness of the proposed service.
  • the data on which the inspection report is based tends to be dependent on the serviceman's ability and experience in order for the serviceman to go to the site and collect it. Therefore, even the inspection report created based on such data can not always ensure a certain quality.
  • the present invention has been made in view of the above circumstances, and supports inspection and supports the creation of an inspection report of stable quality regardless of the strength and experience of a serviceman and without increasing the number of preparation steps.
  • the purpose is to provide technology.
  • the inspection support system for a construction machine which has a camera and a display and acquires image data of the construction machine listed in the inspection report, a guidance image showing a composition of a subject to be photographed as the image data Providing a guidance display unit to be displayed on a display, a photographing unit that acquires an object image of the camera as image data, and a transmission unit that transmits the acquired image data to a management server that manages the inspection report.
  • FIG. 1 It is a general view of a management system of a first embodiment. It is an outline view of a hydraulic shovel of a first embodiment.
  • A is a hardware block diagram of the portable terminal of 1st embodiment
  • (b) and (c) are external views of the portable terminal of 1st embodiment
  • (d) is the It is a hardware block diagram of the management server of one Embodiment. It is a functional block diagram of the management server of a first embodiment, and a portable terminal.
  • (A) to (d) are explanatory diagrams for describing operation information, vehicle body information, customer data, and maintenance information of the first embodiment, respectively.
  • (A) to (c) are explanatory diagrams for describing the imaging target database of the first embodiment, the inspection type database, and the second inspection type database of the second embodiment, respectively. It is an explanatory view for explaining a guidance database of a first embodiment.
  • (A) And (b) is an explanatory view for explaining an initial guidance screen and a guidance screen of a first embodiment, respectively.
  • a hydraulic shovel will be described as an example of a construction machine.
  • the target construction machine is not limited to a hydraulic shovel, and can be applied to a wheel shovel and other construction machines.
  • the present embodiment supports the creation of inspections and inspection reports within a management system that manages the operating status of a construction machine.
  • the serviceman locally collects data for inspection report creation using a portable terminal.
  • a guidance screen for supporting data collection is displayed on the portable terminal so that necessary data can be collected without omission.
  • the guidance screen includes an essential composition of image data, an essential comment type, and the like.
  • the management system 100 manages operation information transmitted daily from a construction machine to be managed such as the hydraulic shovel 200 and data acquired by a serviceman, creates an inspection report, and proposes maintenance and repair. Create a service report that summarizes proposals for preventive maintenance.
  • FIG. 1 is a diagram for explaining an outline of a management system 100 according to the present embodiment.
  • the management system 100 of the present embodiment one or more hydraulic shovels 200 are managed.
  • the management system 100 of the present embodiment includes a management server 300, a portable terminal 400, and a customer information processing apparatus (customer PC) 500.
  • the management server 300, the portable terminal 400, and the customer PC 500 are connected via a network 101 such as a public network, for example.
  • the portable terminal 400 is connected to the network 101 via a wireless station, a connection device, and the like (not shown).
  • the hydraulic shovel 200 to be managed includes a sensor that detects the state of each part as state data, and a controller that transmits the state data detected by the sensor to the management server 300.
  • the state data detected by each sensor is transmitted to the management server 300 via, for example, the communication satellite 111, the base station 110, and the network 101.
  • FIG. 2 is an external view of the hydraulic shovel of the present embodiment.
  • the hydraulic shovel 200 has a lower vehicle body 201 having a lower traveling band for traveling the hydraulic shovel, an upper swing body 202 pivotally attached to the lower vehicle body 201, a cab 203, and a front portion of the upper swing body 202 vertically. It has a work front 207 mounted swingably and a controller for controlling each part.
  • the work front 207 has a boom 210 attached to the upper swing body 202 so as to be vertically pivotable, an arm 211 attached to the tip of the boom 210 so as to be vertically pivotable, and an upper pivot rotatably attached to the tip of the arm 211 ,
  • a boom cylinder 213 which is a hydraulic cylinder for driving each of the buckets 212, an arm cylinder 214, and a bucket cylinder 215.
  • various groups of sensors 220 for detecting the state of each part are attached to the hydraulic shovel 200.
  • the attached sensor 220 include an inclination sensor, a pressure sensor, an oil temperature sensor, a key sensor, and a rotation number sensor.
  • the tilt sensor detects, for example, the posture of the work front 207. Further, the pressure sensor detects, for example, a turning operation amount of the upper turning body 202, a traveling operation amount, a discharge pressure of a pump in the hydraulic drive circuit, and the like.
  • the oil temperature sensor detects an oil temperature that is the temperature of the hydraulic oil in the hydraulic drive circuit.
  • the key sensor detects start / stop of the engine, and the rotation speed sensor detects the rotation speed of the engine crankshaft.
  • Detection values detected by each sensor are transmitted to the management server 300 as status data (operation information) via the controller.
  • the portable terminal 400 is carried by the serviceman 401 at the time of inspection, photographs a predetermined inspection position of the hydraulic shovel 200, and transmits the image to the management server 300.
  • a part to be photographed for inspection including the entire image of the hydraulic shovel 200, will be referred to as a photographing target.
  • 3 (a) is a hardware configuration diagram of the portable terminal 400
  • FIG. 3 (b) is a front view of the external appearance of the portable terminal 400
  • FIG. 3 (c) is a back side of the external appearance of the portable terminal 400.
  • Each is an example of a back surface) figure.
  • the portable terminal 400 of the present embodiment is an information processing apparatus including a CPU 411, a memory 412, a storage device 413, and a communication interface (I / F) 415.
  • a camera 416 is provided as an imaging unit.
  • a GPS antenna 417 is provided as a position information acquisition unit.
  • a display 414 that displays processing results and the like and receives an instruction is provided.
  • the portable terminal 400 may further include a call function and the like.
  • Each function of the portable terminal 400 described later is realized by the CPU 411 loading a program stored in the storage device 413 into the memory 412 and executing the program. Further, various data necessary for realizing the function, such as data held by a data holding unit described later, and data generated during processing are stored in the storage device 413 or the like.
  • the display 414 is provided, for example, on the opposite side of the lens 418 of the camera 416 to visually confirm the subject image photographed by the camera 416. Also functions as an electronic viewfinder.
  • the lens 418 of the camera 416 may be further provided on the same surface as the display 414.
  • the management server 300 of the present embodiment manages state data transmitted from each hydraulic shovel 200 as operation information, creates a report as necessary, and transmits it to the customer PC 500. Further, in the present embodiment, the inspection report is created based on the image data transmitted from the portable terminal 400 and transmitted to the customer PC 500.
  • the management server 300 is an information processing apparatus including a CPU 311, a memory 312, a storage device 313, an input / output interface (I / F) 314, and a communication I / F 315.
  • Each function of the management server 300 described later is realized by the CPU 311 loading a program stored in advance in the storage device 313 into the memory 312 and executing it.
  • Various data necessary for realizing a function such as data held by a data holding unit described later, and data generated during processing are stored in the storage device 313 or the like.
  • Each function is executed according to a predetermined timing or an instruction from the user via the input / output I / F 314. Also, data is transmitted / received to / from an external device via the communication I / F 315.
  • the portable terminal 400 installs in advance an application (inspection application) for acquiring information for inspection report creation, and acquires a necessary information according to the guidance data provided with the inspection application. To achieve. Then, the acquired information is transmitted (uploaded) to the management server 300 as inspection data. Then, the management server 300 that has received the information creates an inspection report using the received inspection data.
  • application inspection application
  • the management server 300 that has received the information creates an inspection report using the received inspection data.
  • FIG. 4 is a functional block diagram for realizing the above functions of the management server 300 and the portable terminal 400.
  • the management server 300 includes a transmission / reception unit 320, a data collection unit 330, an inspection report creation unit 340, an operation information management unit 350, and a data holding unit 370.
  • the transmission and reception unit 320 transmits and receives data to and from an external device via the network 101.
  • data transmission / reception is performed with the portable terminal 400.
  • sensor information is received from each hydraulic shovel 200, and is stored in the data storage unit 370 as operation information 371 described later.
  • the transmission and reception unit 320 is realized by the communication I / F 315.
  • Data collection unit 330 collects inspection data transmitted from portable terminal 400.
  • the inspection report creation unit 340 creates an inspection report based on the inspection data collected by the data collection unit 330. At this time, various data held in the data holding unit 370 are used. The details of the data held in the data holding unit 370 will be described later. Further, the created inspection report is stored in a past report DB to be described later and transmitted to the customer PC 500.
  • the operation information management unit 350 monitors operation information to be described later, and sets an alarm flag when data outside the predetermined range is generated.
  • the portable terminal 400 includes a transmission / reception unit 420, an inspection application execution unit 430, an operation unit 440, a photographing unit 450, a position information acquisition unit 460, and a data holding unit 470.
  • the transmission / reception unit 420 transmits / receives data to / from an external device via the network 101.
  • the transmission and reception unit 420 is realized by the communication I / F 415.
  • an inspection application, guidance data, and the like are downloaded from an external server, and inspection data collected according to the inspection application is uploaded to the management server 300.
  • the downloaded inspection application, guidance data and the like are stored in the storage device 413 or the like.
  • Operation unit 440 receives an operation of a user (here, service person 401) on portable terminal 400.
  • an instruction is received via the display 414.
  • the operation unit 440 receives, for example, an instruction for shooting by the camera 416. Also, it receives inputs of various instructions, comments, etc., which are required when the inspection application is executed.
  • the imaging unit 450 captures an image of a subject (here, a shooting target) with the camera 416 to obtain image data.
  • An object image captured by the camera 416 is displayed in an area (finder area) of the display 414 as an electronic viewfinder.
  • a subject image displayed in the finder area of the display 414 at that time is acquired as image data.
  • the position information acquisition unit 460 calculates the position information of the portable terminal 400 from the distance measurement satellite data collected by the GPS antenna 417.
  • the inspection application execution unit 430 executes the inspection application.
  • the CPU 411 develops the installed inspection application in the memory 412 and realizes it.
  • the inspection application execution unit 430 realizes the functions of the machine ID reception unit 431, the guidance display unit 432, the data acquisition unit 433, and the guidance data extraction unit 434.
  • the machine ID reception unit 431 receives an input of information (model and machine ID) identifying the machine of the hydraulic shovel 200 to be inspected.
  • the guidance data extraction unit 434 extracts guidance data from the data holding unit 470 according to the received model and according to the received inspection type.
  • the guidance data includes a guidance image, a comment type, and the like as described later. Further, at this time, the guidance data is extracted for all the image data necessary for creating the inspection report of the inspection of the inspection type.
  • the guidance display unit 432 activates the camera 416 and displays a guidance screen described later on the display 414.
  • the guidance images extracted by the guidance data extraction unit 434 are sequentially displayed one by one in the guidance image display area included in the guidance screen. At this time, the guidance image and the subject image from the camera 416 are combined and displayed in the guidance image display area. Details of the guidance screen will be described later.
  • the data acquisition unit 433 When the data acquisition unit 433 receives a photographing instruction from the serviceman 401, the data acquisition unit 433 temporarily stores the subject image displayed on the display 414 at that time as image data. For example, an instruction is issued to the imaging unit 450 to obtain image data, and the image data is temporarily stored. Also, when an input of a comment is received from the serviceperson 401, the image data displayed in the guidance image display area at that time is temporarily stored in association with the image data.
  • These storage destinations are, for example, the storage device 413 and the like.
  • the data acquisition unit 433 determines the propriety.
  • the determination here may be only the presence or absence of image data, or may be a simple quality check.
  • image matching processing is performed between the acquired image data and the guidance image using image analysis software, and when the degree of coincidence of a predetermined level or more is indicated, it is determined to be appropriate.
  • the degree of coincidence is determined in the image matching process, for example, in the photographing direction, the photographing size, the contrast, and the like.
  • the data holding unit 370 of the management server 300 holds operation information 371, body management information 372, report data 381, and a past report database (past report DB) 382. Further, the data holding unit 470 of the portable terminal 400 holds a guidance database (guidance DB) 473 and an inspection database (inspection DB) 474.
  • guidance DB guidance database
  • inspection DB inspection database
  • the operation information 371 is state data transmitted from the hydraulic shovel 200.
  • a record of the operation information 371 is created and held for each machine and each transmission timing.
  • the state data 371c is registered for each of the machine ID 371a specifying the hydraulic shovel 200 and the transmission time 371b of the state data.
  • the state data 371c to be registered is, for example, a pilot pressure, a pump pressure, a hydraulic fluid temperature, an engine speed, an hour meter, and the like.
  • the car body management information 372 includes car body information 375, customer data 376, and maintenance information 377.
  • the car body information 375 is information on the car body of each hydraulic shovel 200 managed by the management system 100.
  • information such as a model 375a, a model 375b, a machine number 375c, and a machine ID 375d is registered.
  • the machine ID 375d is an identification number of each hydraulic shovel 200 as described above, and is uniquely set for each vehicle body.
  • the record of the vehicle body information 375 is created, for example, for each vehicle body ID 375d.
  • Customer data 376 is customer-specific information.
  • a customer ID 376a for specifying a customer for example, as shown in FIG. 5C
  • a customer name 376b for specifying a customer
  • a used machine ID 376c for example, a used machine ID 376c
  • an industry type 376d and the like are registered.
  • the used machine ID 376c is information for identifying the machine used by the customer, and the machine ID 375d of the car body information 375 is registered.
  • the maintenance information 377 is a repair history of each vehicle body.
  • a repair date 377b, a repair location 377c and a repair content 377d are registered for each machine ID 377a.
  • the inspection DB 474 includes an imaging target database (DB) 478 for registering information (imaging target name) specifying an imaging target to be included in the inspection report, and an inspection type DB 479 for registering an inspection type for each part and operation information. Prepare.
  • DB imaging target database
  • inspection type DB 479 for registering an inspection type for each part and operation information.
  • the imaging target DB 478 is a database in which the imaging target name 478c for each inspection type 478b is registered for each model 478a of the hydraulic shovel.
  • the shooting target names 478c may be registered in the order in which the images of the shooting target are acquired.
  • the inspection type 478b includes, for example, a periodic inspection, an inspection for each failure site, an inspection for each abnormality occurrence point, an inspection for a model of a special specification, an inspection according to the type of industry using the hydraulic shovel 200, and the like.
  • the inspection type 478b is "periodic inspection"
  • the name plate an image of the hydraulic shovel 200 seen obliquely from the front (oblique front), an image seen from the same oblique rear (obliquely back), monitor, engine, upper revolving unit 202 , Lower travel belt, footrest, work front 207, for example, attachments such as bucket 212, etc. are registered in this order.
  • the inspection type 478b is “breaker specification machine inspection” specified in the specification, a breaker pipe, a breaker main body (attachment), a breaker specification dedicated part, and the like are registered in the imaging target name 478c.
  • the inspection type 478b is “industrial waste machine inspection” specified by the type of industry used, radiator circumference, radiator core enlargement, etc. are registered in the shooting target name 478c.
  • the inspection type 478b is "pump abnormality”
  • an enlargement of a sensor unit for detecting a pump discharge pressure, a harness up to the sensor, and the like are registered in the imaging target name 478c.
  • the inspection type 478b is "hydraulic oil and / or water temperature abnormality”
  • the radiator core portion enlargement and the like are registered in the imaging target name 478c.
  • an inspection type 479b according to the part or state data (part / state data) 479a is registered in the inspection type DB 479.
  • the part / state data 479a corresponds to the state data 371c set in the alarm flag of the operation information 371 and the repair point 377c of the maintenance information 377.
  • the guidance data extraction unit 434 is used when selecting the guidance data to be extracted.
  • the guidance DB 473 is a database in which a guidance image 473 c and a comment type 473 d of each imaging target (the imaging target name 473 b) are registered for each model 473 a of the hydraulic shovel 200.
  • the guidance image 473c is an image for specifying a shooting composition including the direction of the shooting target, the size in the image, and the like.
  • the comment type 473d is a type of input comment predetermined for each shooting target.
  • the serviceman 401 can input a comment by selecting the state of the object to be photographed from the comment type 473d.
  • a guidance image or the like may be held for each type of hydraulic shovel 200.
  • the comment type 473d may be different depending on the inspection type even if the same photographing target. Therefore, it may be registered in association with each shooting target name 478c in the shooting target DB 478.
  • the report data 381 stores an inspection report form.
  • the inspection report form may be stored, for example, for each inspection type.
  • the inspection report creation unit 340 creates an inspection report using the inspection data collected by the data collection unit 330, the inspection report form, the operation information 371, and the vehicle management information 372. An example inspection report will be described later.
  • the past report DB 382 stores the created inspection report.
  • the inspection report itself, the image data used to create the inspection report, comments, etc. are accumulated.
  • an initial guidance screen 620 displayed on the display 414 is shown in FIG. 8A.
  • the initial guidance screen 620 includes a machine ID reception area 621 for receiving an input of an inspection type, a model to be inspected and a machine ID. The inspection type may not be accepted.
  • the machine ID reception unit 431 receives the inspection type, the model, and the machine ID input from the service person 401 via the machine ID reception area 621.
  • the machine ID reception area 621 may directly receive an input of inspection type, model, and information specifying the machine ID, and holds in advance a list of selectable models and machine IDs, It may be configured to be selected from the list.
  • the list of selectable models and machine IDs may be transmitted from the management server 300.
  • the management server 300 may receive, for example, the transmission of the position information from the portable terminal 400, and narrow down the list of model types and machine IDs to be transmitted.
  • the management system 100 manages location information for each construction machine of each customer. For example, only the model of the construction machine and the machine ID within a predetermined range may be extracted centering on the position information of the portable terminal 400, and may be transmitted to the portable terminal 400 as a list.
  • the guidance screen 610 displayed on the display 414 by the guidance display unit 432 will be described.
  • the guidance screen 610 includes a guidance image display area 611, a photographing instruction reception area 612, a guidance image information display area 613, a comment reception area 614, and a confirmation instruction reception area 615. Equipped with
  • the guidance image display area 611 is an area for displaying a guidance image. As described above, the guidance display unit 432 also displays the subject image by the camera 416 in the guidance image display area 611. That is, in the present embodiment, a finder area which is an electronic view finder of the camera 416 is set in the guidance image display area 611.
  • the serviceman 401 can easily obtain image data of a necessary composition by matching the subject image displayed in the guidance image display area 611 with the guidance image at the time of image data acquisition and performing photographing.
  • the finder area may be set on the entire surface of the display 414, and only the subject image in the guidance image display area may be cut out and acquired as image data.
  • the imaging instruction reception area 612 is an area for receiving an imaging instruction.
  • the imaging unit 450 acquires, as image data, a subject image displayed in the guidance image display area 611 at that time.
  • the guidance image information display area 613 is an area for displaying information of the guidance image displayed in the guidance image display area 611. In the present embodiment, for example, the shooting target name 473b is displayed.
  • the comment receiving area 614 receives an input of a comment by the serviceman 401.
  • the comment may be configured to be selected from among the comment types 473d prepared in advance, or may be configured to allow the serviceperson 401 to freely input.
  • the input is performed using the text input function of the portable terminal 400.
  • the comment type 473 d is provided in advance as guidance data in association with the guidance image 473 c displayed in the guidance image display area 611.
  • the selection from the comment type 473 d may be combined with the direct input. For example, only when abnormality is selected, the content of the abnormality is input.
  • the confirmation instruction receiving area 615 is an area for receiving the intention (determination instruction) of completing the acquisition of the image data and the input of the comment.
  • the guidance display unit 432 first determines the presence or absence of an undisplayed guidance image among the guidance images extracted by the guidance data extraction unit 434. . Then, when there is a guidance image that has not been displayed, the next guidance image and the shooting target name are displayed in the guidance image display area 611 and the guidance image information display area 613, respectively.
  • FIG. 9 is a flowchart of the inspection support process of the present embodiment.
  • the serviceman 401 carries the portable terminal 400, arrives near the hydraulic shovel 200 to be inspected, and inputs the inspection type, the machine ID, etc. on the initial guidance screen 620 of the portable terminal 400. It is started triggered by
  • the guidance data extraction unit 434 extracts the guidance data (step S1101). Details of the guidance data extraction process will be described later.
  • the guidance display unit 432 displays one guidance image in the guidance image display area 611 of the guidance screen 610 (step S1102). At this time, the guidance display unit 432 activates the camera 416 and causes the guidance image display area 611 to display an object image.
  • the data acquisition unit 433 When the data acquisition unit 433 receives a photographing instruction from the serviceman 401, the data acquisition unit 433 causes the photographing unit 450 to photograph and acquire image data (step S1103).
  • the image data acquired here is a subject image displayed in the guidance image display area 611.
  • the data acquisition unit 433 when the data acquisition unit 433 receives the confirmation instruction, the data acquisition unit 433 temporarily stores the acquired image data in the storage device 413 or the like. At this time, the image data is stored in association with the imaging region name of the guidance image displayed in the guidance image display area 611. Also, when a comment is input, the data acquisition unit 433 also stores the comment in association with the imaging region name.
  • the data acquisition unit 433 determines the presence or absence of the next guidance image (step S1104), and when there is the next guidance image, the process returns to step S1102 and repeats the processing.
  • the data acquisition unit 433 determines the appropriateness of each acquired image data by the method described above (step S1104). S1105).
  • the data acquisition unit 433 transmits all the stored image data and comments as inspection data to the management server 300 (step S1107).
  • the inspection report creation unit 340 creates the inspection report using the transmitted inspection data.
  • the data acquisition unit 433 notifies the guidance data extraction unit 434. Then, the guidance data extraction unit 434 reextracts the guidance data corresponding to the image data (step S1108), returns to step S1102, and repeats the process.
  • FIG. 10 is a processing flow of guidance data extraction processing according to the present embodiment.
  • the guidance data extraction unit 434 first determines the presence or absence of designation of the inspection type (step S1201).
  • one or more imaging target names 478c registered in association with the designated model 478a and the designated inspection type 478b are extracted with reference to the imaging target DB 478 (step S1203).
  • step S1204 the guidance image 473c and the comment type 473d to be registered in association with each extracted imaging target name 473b are extracted.
  • step S1211 it is determined whether or not there is a key inspection point (step S1211).
  • the guidance data extraction unit 434 accesses the operation information 371 of the management server 300 and determines whether there is state data in which abnormal data is generated. For example, if there is state data 371c in which the operation information management unit 350 sets an alarm flag, the state data 371c is extracted as a priority inspection point. Further, the maintenance information 377 is accessed, and it is determined whether or not there is a repair portion 377 c registered as the repair history. If there is a repair history in the maintenance information 377, the repair point 377c is extracted as a key check point.
  • the number of important inspection points to be extracted is not limited to one.
  • step S1211 when it is determined that there is a key inspection point, and the key inspection point is extracted, the inspection type DB 479 is referred to and the inspection registered corresponding to the corresponding part / state data 479a (the key inspection point) The type 479b is identified (step S1212).
  • the inspection classification specified here is not limited to one.
  • the process proceeds to step S1203. The processes of S1203 and S1204 are repeated for the identified inspection type.
  • step S1211 determines whether there is no major inspection point. If it is determined in step S1211 that there is no major inspection point, the inspection type is set as a periodic inspection (step S1213), and the process proceeds to step S1203.
  • the inspection type is a periodic inspection
  • the nameplate 631, the diagonal front 632 of the vehicle body, the diagonal rear 633 of the vehicle body, the monitor (hour meter) 634, the engine 635, the upper revolving unit 636, the lower traveling band 637, the foot 638, the work front A case where image data is acquired in the order of 639 and attachment 640 will be illustrated.
  • the above-described guidance images are set in the above order and transmitted to the portable terminal 400 as guidance data. Then, as shown in FIG. 11, the guidance image display area 611 is sequentially displayed.
  • the serviceman 401 combines the guidance image displayed in the guidance image display area 611 with the subject image each time a new guidance image is displayed, and performs imaging. Also, enter a comment. Thereafter, an instruction to end the imaging is input via the confirmation instruction receiving area 615.
  • FIG. 700 An example of the inspection report 700 created by the inspection report creation unit 340 using the inspection data (image data and comment) acquired as described above is shown in FIG.
  • the inspection report 700 includes a car body information area 710 and a main body area 720.
  • a car body information area 710 includes a car body information area 710 and a main body area 720.
  • an image data area 721 and a comment area 722 are provided for each image data.
  • the inspection report creation unit 340 creates the vehicle body information area 710 by acquiring necessary information from the vehicle body management information 372.
  • the inspection report creation unit 340 attaches the image data of inspection data collected and stored by the data collection unit 330 in the image data area 721. At this time, the image size, the resolution, and the like may be appropriately processed and displayed. In the comment area 722, the comment and the imaging region name transmitted together with the image data are inserted.
  • a guidance image indicating a shooting composition to be shot is displayed on the display 414 which also serves as a finder of the camera 416 of the portable terminal 400 carried by the serviceman 401. For this reason, the serviceman 401 can obtain image data of a desired composition only by photographing the subject image in accordance with the displayed guidance image.
  • the guidance image is extracted and displayed for all the images necessary to create the inspection report.
  • the next guidance image is displayed on the display 414 each time image data is acquired. For this reason, the serviceman 401 can obtain all the image data necessary for creating the inspection report only by acquiring the image data matching the respective guidance images according to the guidance.
  • the present embodiment it is possible to obtain an image necessary for creating an inspection report without exception, in an intended composition, only by photographing according to the guidance. That is, according to the present embodiment, collection of image data necessary for creating an inspection report can be appropriately supported, and the management system 100 of the present embodiment is an image of stable quality regardless of the strength and experience of the serviceman 401. Data can be collected.
  • the inspection report is created using the image data collected by the above method. For this reason, it is possible to easily create a stable quality inspection report regardless of the serviceman's skill and experience.
  • the portable terminal 400 collectively transmits the image data of the entire imaging target from the portable terminal 400.
  • it is not limited to this method.
  • the acquired image data may be transmitted to the management server 300 one by one.
  • the portable terminal 400 confirms the propriety of each time image data is acquired.
  • the inspection report 700 is created using only the transmitted inspection data (image data and comments). However, it is not limited to this. For example, the contents of the past inspection report of the same aircraft may be further used.
  • the inspection report creation unit 340 creates an inspection report using the latest inspection data and inspection data (image data and comments) of the same imaging target held in the past report DB 382.
  • inspection data at the time of the previous inspection report creation and the currently transmitted inspection data are described in parallel for the same imaging target.
  • Second Embodiment a second embodiment of the present invention will be described.
  • the portable terminal 400 only whether or not the acquired image data has a desired quality is determined.
  • the management server 300 the transmitted image data is analyzed to determine whether or not a new inspection is necessary. Then, when it is determined that a new inspection is necessary, the mobile terminal 400 is notified of that.
  • the present embodiment will be described focusing on a configuration different from the first embodiment.
  • the management server 300 further includes a check result analysis unit 335 as shown in FIG. Further, as shown in FIG. 6C, the data holding unit 370 further includes a second inspection type DB 380 for storing an inspection type 380b in the case where an inspection is necessary for each analysis result 380a.
  • the inspection result analysis unit 335 analyzes the inspection data acquired and transmitted by the mobile terminal 400. For example, image data is analyzed using existing image analysis software or the like to determine the presence or absence of a scratch, the presence or absence of deformation, the presence or absence of breakage, or the like of a subject to be imaged.
  • the inspection result analysis unit 335 also determines the necessity of a new inspection according to the analysis result. The determination is performed based on whether or not the analysis result is registered in the analysis result 380a of the second inspection type DB 380. That is, when the analysis result is registered, the inspection result analysis unit 335 determines that a new inspection is necessary. Then, when it is determined that a new type of inspection is necessary, the second inspection type DB 380 is referred to, and the necessary inspection type 380 b is identified and notified to the portable terminal 400.
  • the guidance data extraction unit 434 refers to the shooting target DB 478 and the guidance DB 473, and registers it in association with the inspection type 478b. To extract guidance data.
  • the flow of the inspection support process in this case will be described with reference to FIG.
  • the inspection support process of this embodiment is the same as that of the first embodiment up to the transmission of inspection data in step S1107.
  • step S1107 after transmitting inspection data, if a new inspection type is received from the management server 300 within a predetermined time (step S2101), the process returns to step S1101 and the guidance data extraction unit 434 Extract the corresponding guidance data and repeat the process again.
  • the guidance data extraction method is the same as in the first embodiment.
  • the inspection application execution unit 430 ends the process as it is.
  • the collection of image data necessary for creating an inspection report can be appropriately supported, and stable quality can be obtained regardless of the strength and experience of the serviceman 401.
  • the presence or absence of an additional inspection is automatically determined according to the inspection result, and if necessary, the mobile terminal 400 is notified to perform a reinspection. For this reason, if it goes to the field once, all necessary inspections can be covered. That is, the serviceman 401 does not have to visit the site many times. For this reason, according to this embodiment, a stable quality inspection report can be efficiently created.
  • the guidance image may be transmitted one by one.
  • the inspection report to be created may also include inspection data of a past inspection report.
  • the serviceperson 401 is configured to input the model and the machine ID to be checked, but the present invention is not limited to this.
  • an imaging region such as a nameplate or the like capable of specifying a model and an aircraft ID may be imaged, and an imaging result may be analyzed and identified.
  • the portable terminal 400 communicates by NFC (Near Field Communication) or the like to read the model and machine ID in the IC chip. , Model and machine ID may be acquired.
  • NFC Near Field Communication
  • the serviceman 401 acquires image data only for a composition prepared in advance as a guidance image, but the invention is not limited to this. It may be configured to be able to acquire other image data of the imaging target. Further, the guidance image may be displayed to obtain the image data, and the non-display mode may be selected.
  • the serviceman 401 When the image data of the composition other than the guidance image is acquired, the serviceman 401 inputs the imaging target name corresponding to the acquired image data.
  • the data acquisition unit 433 transmits, to the management server 300, the shooting target name input together with the image data via the transmission / reception unit 420.
  • the inspection application execution unit 430 registers the image data and the imaging target name in the guidance DB 473 or the imaging target DB 478 as a new guidance image. The registration may be performed only when the serviceman 401 determines that the registration is necessary.
  • 100 Management system
  • 101: Network 110: Base station
  • 200 hydraulic excavator
  • 201: lower vehicle body 202: upper swing body
  • 210: boom 211: arm
  • 212: bucket bucket
  • 214 arm cylinder
  • 220 sensor
  • 300: Management server 311: CPU
  • 312: Memory 313: Storage device
  • 315 Communication I / F
  • 320 Transmission / reception unit
  • 335: Inspection result analysis unit 340: inspection report preparation unit
  • 350: operation information management unit 370: data holding unit, 371: operation information, 371a: machine ID, 371b: transmission time, 371c: state data, 372: vehicle management information, 374: inspection DB, 375: vehicle information, 375a: model, 375b: model, 375c: machine number,

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Emergency Management (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

カメラ416とディスプレイ414とを有し、点検レポートに掲載する建設機械の画像データを取得する建設機械の点検支援システムにおいて、画像データとして撮影する撮影対象の構図を示すガイダンス画像をディスプレイ414に表示させるガイダンス表示部432と、カメラ416の被写体像を画像データとして取得する撮影部450と、取得した画像データを、点検レポートを管理する管理サーバ300に送信する送信部と、を備える建設機械の点検支援システム。

Description

建設機械の点検支援システム、管理サーバおよび点検レポート作成システム
 本発明は、建設機械の点検レポートを作成する技術に関し、特に、点検レポート作成用のデータ収集を行う点検を支援する技術に関する。
 油圧ショベル等の建設機械に関し、稼働状況を管理する管理システムがある。この管理システムでは、建設機械から日々送信される稼働情報や、サービスマンによる現地での点検結果を用い、サービスレポートが作成される。
 また、建設機械の管理システムにおいて、携帯端末を利用する技術がある。例えば、特許文献1には、「建設機械には制御装置が設けられ、管理センタには、1または複数の端末、携帯端末とインターネットを介して通信ネットワーク網が構築されるサーバが設けられている。GPSにより建設機械がその稼動領域の外に出た時には、サーバではこの建設機械が盗難されたと判定して、通信ネットワーク網を構成する全ての端末及び全ての携帯端末にその旨の通知を行う(要約抜粋)。」が開示されている。
特開2003-27530号公報
 サービスレポートは、単に建設機械の稼働状況の報告だけでなく、顧客へのメンテナンスや修理の提案、予防保全の提案等にも用いられる。従って、基礎となるデータの精度、品質は重要である。特に、実際に現地に赴いて建設機械を点検し、その結果をまとめた点検レポートは、提案型サービスの説得力を高めるために重要な根拠となる。
 ところが、点検レポートの元となるデータは、サービスマンが現地に行き、収集するため、サービスマンの力量や経験に依存しがちである。従って、このようなデータに基づいて作成される点検レポートについても、必ずしも一定の品質を確保できていない。
 本発明は、上記事情に鑑みてなされたもので、サービスマンの力量や経験によらず、また、作成工数を増大させることなく、点検を支援し、安定した品質の点検レポートの作成を支援する技術を提供することを目的とする。
 本発明は、カメラとディスプレイとを有し、点検レポートに掲載する建設機械の画像データを取得する、建設機械の点検支援システムにおいて、前記画像データとして撮影する撮影対象の構図を示すガイダンス画像を前記ディスプレイに表示させるガイダンス表示部と、前記カメラの被写体像を画像データとして取得する撮影部と、取得した前記画像データを、前記点検レポートを管理する管理サーバに送信する送信部と、を備えることを特徴とする建設機械の点検支援システムを提供する。
 本発明によれば、サービスマンの力量や経験によらず、また、作成工数を増大させることなく、安定した品質の点検レポートを作成できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
第一の実施形態の管理システムの全体図である。 第一の実施形態の油圧ショベルの外観図である。 (a)は、第一の実施形態の携帯端末のハードウェア構成図であり、(b)および(c)は、第一の実施形態の携帯端末の外観図であり、(d)は、第一の実施形態の管理サーバのハードウェア構成図である。 第一の実施形態の管理サーバと携帯端末との機能ブロック図である。 (a)~(d)は、それぞれ、第一の実施形態の稼働情報、車体情報、顧客データ、メンテナンス情報を、説明するための説明図である。 (a)~(c)は、それぞれ、第一の実施形態の撮影対象データベース、点検種別データベース、第二の実施形態の第二の点検種別データベースを、説明するための説明図である。 第一の実施形態のガイダンスデータベースを説明するための説明図である。 (a)および(b)は、それぞれ、第一の実施形態の初期ガイダンス画面およびガイダンス画面を、説明するための説明図である。 第一の実施形態の点検レポート作成処理のフローチャートである。 第一の実施形態のガイダンスデータ作成処理のフローチャートである。 第一の実施形態の点検レポート作成時の、ガイダンス画面の遷移を説明するための説明図である。 第一の実施形態の点検レポート例を説明するための説明図である。 第一の実施形態の変形例2の点検レポート例を説明するための説明図である。 第二の実施形態の管理サーバと携帯端末との機能ブロック図である。 第二の実施形態の点検レポート処理のフローチャートである。
 以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、実施形態を説明するための全図において、同一の機能を有する部材には同一又は関連する符号を付し、その繰り返しの説明は省略する。また、以下の実施形態では、特に必要なとき以外は同一又は同様な部分の説明を原則として繰り返さない。
 また、以下の各実施形態では、建設機械として、油圧ショベルを例に挙げて説明する。しかしながら、対象とする建設機械は、油圧ショベルに限定される訳ではなく、ホイールショベルやその他の建設機械にも適用することができる。
 <<第一の実施形態>>
 本発明の第一の実施形態を説明する。本実施形態は、建設機械の稼働状況を管理する管理システム内で点検および点検レポートの作成を支援する。本実施形態では、サービスマンは、現地で、携帯端末を用いて、点検レポート作成のためのデータを収集する。このとき、もれなく必要なデータを収集できるように、データ収集を支援するガイダンス画面を当該携帯端末に表示する。ガイダンス画面には、必須な画像データの構図、必須なコメントの類型等が含まれる。
 [管理システム]
 まず、本実施形態の点検レポート作成システムを有する管理システム100の概略を説明する。本実施形態の管理システム100は、油圧ショベル200等の管理対象の建設機械から日々送信される稼働情報や、サービスマンが取得するデータを管理し、点検レポートの作成や、メンテナンスや修理の提案、予防保全の提案等をまとめたサービスレポートの作成等を行う。
 図1は、本実施形態の管理システム100の概略を説明するための図である。本実施形態の管理システム100においては、1台以上の油圧ショベル200を管理する。
 本実施形態の管理システム100は、管理サーバ300と、携帯端末400と、顧客情報処理装置(顧客PC)500と、を備える。管理サーバ300と、携帯端末400と、顧客PC500は、例えば、公衆回線網等のネットワーク101を介して接続される。なお、携帯端末400は、図示しない無線局や接続機器等を介して、ネットワーク101に接続される。
  [油圧ショベル]
 管理対象の油圧ショベル200は、各部の状態を状態データとして検出するセンサと、センサで検出した状態データを、管理サーバ300に送信するコントローラと、を備える。各センサで検出した状態データは、例えば、通信衛星111、基地局110およびネットワーク101を介して管理サーバ300に送信される。
 ここで、本実施形態の、管理対象の油圧ショベル200を説明する。図2は、本実施形態の油圧ショベルの外観図である。
 油圧ショベル200は、油圧ショベルを走行させる下部走行帯を有する下部車体201と、下部車体201に旋回可能に取り付けられた上部旋回体202と、運転室203と、上部旋回体202の前部に上下揺動自在に取り付けられた作業フロント207と、各部を制御するコントローラと、を備える。
 作業フロント207は、上部旋回体202に対して上下揺動自在に取り付けられるブーム210と、ブーム210の先端に上下揺動自在に取り付けられるアーム211と、アーム211の先端に上下回動自在に取り付けられるバケット212と、それぞれを駆動させる油圧シリンダであるブームシリンダ213と、アームシリンダ214と、バケットシリンダ215と、を備える。
 また、油圧ショベル200には、各部の状態を検出する各種のセンサ220群が取り付けられる。取り付けられるセンサ220には、例えば、傾斜センサ、圧力センサ、油温センサ、キーセンサ、回転数センサ等がある。
 傾斜センサは、例えば、作業フロント207の姿勢を検出する。また、圧力センサは、例えば、上部旋回体202の旋回操作量、走行操作量、油圧駆動回路内のポンプの吐出圧等を検出する。油温センサは、油圧駆動回路内の作動油の温度である油温を検出する。キーセンサは、エンジンの始動、停止スイッチのON/OFFを検出する、回転数センサは、エンジンのクランク軸の回転数を検出する。
 各センサで検出された検出値は、コントローラを介して、状態データ(稼働情報)として、管理サーバ300に送信される。
  [携帯端末]
 携帯端末400は、サービスマン401が点検時に携帯し、油圧ショベル200の、予め定めた点検個所の撮影を行い、管理サーバ300に送信する。以下、本明細書では、油圧ショベル200の全体像も含め、点検のために撮影する部位を、撮影対象と呼ぶ。図3(a)は、携帯端末400のハードウェア構成図であり、図3(b)は、携帯端末400の外観の表面図の、図3(c)は、携帯端末400の外観の背面(裏面)図の、それぞれ、一例である。
 これらの図に示すように、本実施形態の携帯端末400は、CPU411と、メモリ412と、記憶装置413と、通信インタフェース(I/F)415と、を備える情報処理装置である。また、撮影手段として、カメラ416を備える。また、位置情報取得手段として、GPSアンテナ417とを備える。さらに、ユーザインタフェースとして、処理結果等を表示し、指示を受け付けるディスプレイ414を備える。なお、携帯端末400は、さらに通話機能等を備えていてもよい。
 後述する携帯端末400の各機能は、記憶装置413に格納されたプログラムを、CPU411がメモリ412にロードして実行することにより実現される。また、後述するデータ保持部が保持するデータ等、機能を実現するにあたり、必要な各種のデータ、処理中に生成されるデータは、記憶装置413等に格納される。
 また、図3(b)および図3(c)に示すように、ディスプレイ414は、例えば、カメラ416のレンズ418とは、反対側の面に設けられ、カメラ416で撮影する被写体像を目視確認する電子ビューファインダの機能も兼ねる。なお、カメラ416のレンズ418は、さらに、ディスプレイ414と同じ面にも設けられていてもよい。
  [管理サーバ]
 本実施形態の管理サーバ300は、各油圧ショベル200から送信される状態データを稼働情報として管理し、必要に応じてレポートを作成し、顧客PC500に送信する。また、本実施形態では、携帯端末400から送信される画像データに基づいて点検レポートを作成し、顧客PC500に送信する。
 これを実現する管理サーバ300のハードウェア構成を図3(d)に示す。本図に示すように、管理サーバ300は、CPU311と、メモリ312と、記憶装置313と、入出力インタフェース(I/F)314と、通信I/F315と、を備える情報処理装置である。
 後述する管理サーバ300の各機能は、記憶装置313に予め保持されるプログラムを、CPU311がメモリ312にロードして実行することにより、実現される。後述するデータ保持部が保持するデータ等、機能を実現するにあたり、必要な各種のデータ、処理中に生成されるデータは、記憶装置313等に格納される。各機能は、予め定めたタイミング、あるいは、入出力I/F314を介したユーザからの指示により実行される。また、通信I/F315を介して、外部装置とデータの送受信を行う。
  [管理サーバ・携帯端末]
 次に、管理システム100のうち、点検レポート作成部分に係る管理サーバ300と携帯端末400との機能を説明する。本実施形態では、携帯端末400は、点検レポート作成用の情報を取得するためのアプリケーション(点検アプリ)を予めインストールし、点検アプリとともに提供されたガイダンスデータに従って、必要な情報を取得する点検支援システムを実現する。そして、取得した情報を、点検データとして管理サーバ300に送信(アップロード)する。そして、情報を受け取った管理サーバ300は、受け取った点検データを用いて点検レポートを作成する。
 これらを実現する管理サーバ300および携帯端末400について説明する。図4は、管理サーバ300および携帯端末400の上記機能を実現するための機能ブロック図である。
 管理サーバ300は、送受信部320と、データ収集部330と、点検レポート作成部340と、稼働情報管理部350と、データ保持部370と、を備える。
 送受信部320は、ネットワーク101を介して外部装置とデータを送受信する。本実施形態では、携帯端末400との間で、データの送受信を行う。また、各油圧ショベル200から、センサ情報を受信し、後述する稼働情報371としてデータ保持部370に保持する。送受信部320は、通信I/F315により実現される。
 データ収集部330は、携帯端末400から送信される点検データを収集する。
 点検レポート作成部340は、データ収集部330が収集した点検データに基づいて、点検レポートを作成する。このとき、データ保持部370に保持される各種のデータを用いる。データ保持部370に保持されるデータの詳細は、後述する。また、作成した点検レポートは、後述する過去レポートDBに保持するとともに、顧客PC500に送信される。
 稼働情報管理部350は、後述する稼働情報を監視し、予め定めた範囲外のデータが発生した場合、アラームフラグを設定する。
 一方、携帯端末400は、送受信部420と、点検アプリ実行部430と、操作部440と、撮影部450と、位置情報取得部460と、データ保持部470と、を備える。
 送受信部420は、ネットワーク101を介して、外部装置とのデータの送受信を行う。送受信部420は、通信I/F415により実現される。本実施形態では、例えば、外部サーバから点検アプリやガイダンスデータ等をダウンロードし、点検アプリに従って収集した点検データを管理サーバ300にアップロードする。ダウンロードした点検アプリやガイダンスデータ等は、記憶装置413等に保存する。
 操作部440は、携帯端末400に対するユーザ(ここでは、サービスマン401)の操作を受け付ける。本実施形態では、ディスプレイ414を介して指示を受け付ける。操作部440は、例えば、カメラ416による撮影の指示を受け付ける。また、点検アプリ実行時に要求される各種指示、コメント等の入力を受け付ける。
 撮影部450は、カメラ416により被写体像(ここでは、撮影対象)を撮影し、画像データを得る。カメラ416で撮影する被写体像は、ディスプレイ414の電子ビューファインダとしての領域(ファインダ領域)に表示される。本実施形態では、サービスマン401から撮影の指示を受け付けると、その時点でディスプレイ414のファインダ領域に表示される被写体像を画像データとして取得する。
 位置情報取得部460は、GPSアンテナ417で収集した測距衛星データから、携帯端末400の位置情報を算出する。
 点検アプリ実行部430は、点検アプリを実行する。ここでは、インストールした点検アプリをCPU411がメモリ412に展開して実現する。本実施形態では、点検アプリ実行部430は、機体ID受付部431と、ガイダンス表示部432と、データ取得部433と、ガイダンスデータ抽出部434と、の機能を実現する。
 機体ID受付部431は、点検対象の油圧ショベル200の機体を識別する情報(機種および機体ID)の入力を受け付ける。
 ガイダンスデータ抽出部434は、受け付けた機種に応じて、また、受け付けた点検種別に応じて、データ保持部470から、ガイダンスデータを抽出する。なお、ガイダンスデータは、後述するようにガイダンス画像と、コメント類型等を備える。また、このとき、ガイダンスデータは、当該点検種別の点検の、点検レポートを作成するために必要な全画像データ分、抽出される。
 ガイダンス表示部432は、カメラ416を起動し、ディスプレイ414に後述するガイダンス画面を表示する。また、ガイダンスデータ抽出部434が抽出したガイダンス画像を、ガイダンス画面が備えるガイダンス画像表示領域に、1枚ずつ、順に表示する。このとき、ガイダンス画像表示領域に、ガイダンス画像と、カメラ416による被写体像とを合成して表示する。ガイダンス画面の詳細は、後述する。
 データ取得部433は、サービスマン401から撮影の指示を受け付けると、その時点でディスプレイ414に表示される被写体像を画像データとして一時保存する。例えば、撮影部450に指示を出し、画像データとして取得させ、その画像データを一時保存する。また、サービスマン401からコメントの入力を受け付けると、その時点でガイダンス画像表示領域に表示される画像データに対応づけて一時保存する。これらの保存先は、例えば、記憶装置413等とする。
 また、データ取得部433は、画像データを管理サーバ300に送信する前に、その適否を判別する。なお、ここでの判別は、画像データの有無のみであってもよいし、簡易な品質チェックであってもよい。簡易な品質チェックは、例えば、画像解析ソフトウェアを用い、取得した画像データとガイダンス画像との間で画像マッチング処理を実行し、所定以上の一致度を示した場合、適と判別する。画像マッチング処理で一致度を判別するのは、例えば、撮影方向、撮影サイズ、コントラスト等である。
  [データ保持部]
 ここで、管理サーバ300のデータ保持部370および携帯端末400のデータ保持部470に保持されるデータを説明する。管理サーバ300のデータ保持部370には、稼働情報371と、車体管理情報372と、レポートデータ381と、過去レポートデータベース(過去レポートDB)382と、が保持される。また、携帯端末400のデータ保持部470には、ガイダンスデータベース(ガイダンスDB)473と、点検データベース(点検DB)474と、が保持される。
 稼働情報371は、油圧ショベル200から送信される状態データである。稼働情報371は、機体毎、送信タイミング毎にレコードが作成され、保持される。各レコードには、例えば、図5(a)に示すように、油圧ショベル200を特定する機体ID371aおよび状態データの送信時刻371b毎に、状態データ371cが登録される。登録される状態データ371cは、例えば、パイロット圧、ポンプ圧、作動油温度、エンジン回転数、アワメータ等である。
 車体管理情報372は、車体情報375と、顧客データ376と、メンテナンス情報377と、を備える。
 車体情報375は、管理システム100で管理する各油圧ショベル200の車体に関する情報である。車体情報375の各レコードには、図5(b)に示すように、例えば、機種375a、型式375b、号機番号375c、機体ID375d等の情報が登録される。機体ID375dは、上述のように各油圧ショベル200の識別番号であり、車体毎に一意に設定される。車体情報375のレコードは、例えば、機体ID375d毎に作成される。
 顧客データ376は、顧客固有の情報である。顧客データ376の各レコードには、例えば、図5(c)に示すように、顧客を特定する顧客ID376aと、顧客名376bと、使用機体ID376c、業種376d等が登録される。使用機体ID376cは、当該顧客が使用している機体を識別する情報であり、車体情報375の機体ID375dが登録される。
 メンテナンス情報377は、各車体の修理履歴である。メンテナンス情報377の各レコードには、例えば、図5(d)に示すように、機体ID377a毎に、修理日時377b、修理箇所377cおよび修理内容377dが登録される。
 点検DB474は、点検レポートに掲載する撮影対象を特定する情報(撮影対象名)を登録する撮影対象データベース(DB)478と、部位や稼働情報毎の点検種別が登録される点検種別DB479と、を備える。
 撮影対象DB478は、図6(a)に示すように、油圧ショベルの機種478a毎に、点検種別478b毎の、撮影対象名478cが登録されるデータベースである。撮影対象名478cは、撮影対象の画像を取得する順に登録されていてもよい。
 点検種別478bには、例えば、定期点検、故障部位毎の点検、異常発生箇所毎の点検、特別な仕様の機種に対する点検、油圧ショベル200を使用する業種に応じた点検、等が含まれる。
 例えば、点検種別478bが「定期点検」の場合、銘板、油圧ショベル200を斜め前から見た画像(斜め前)、同斜め後から見た画像(斜め後)、モニタ、エンジン、上部旋回体202、下部走行帯、足回り、作業フロント207、例えば、バケット212等のアタッチメント、等が、この順に登録される。
 また、点検種別478bが、仕様で特定される「ブレーカ仕様機点検」の場合、撮影対象名478cには、ブレーカ用配管、ブレーカ本体(アタッチメント)、ブレーカ仕様専用部品、等が登録される。また、点検種別478bが、使用業種で特定される「産廃機点検」の場合、撮影対象名478cには、ラジエータ廻り、ラジエータコア部拡大等が登録される。点検種別478bが「ポンプ異常」の場合、撮影対象名478cには、ポンプ吐出圧を検出するセンサ部拡大、センサまでのハーネス等が登録される。点検種別478bが「作動油および/または水温異常」の場合、撮影対象名478cには、ラジエータ廻り、ラジエータコア部の拡大等が登録される。
 点検種別DB479には、図6(b)に示すように、部位や状態データ(部位/状態データ)479aに応じた点検種別479bが登録される。部位/状態データ479aは、稼働情報371の、アラームフラグに設定される状態データ371cや、メンテナンス情報377の修理箇所377cに対応する。本実施形態では、ガイダンスデータ抽出部434が、抽出するガイダンスデータを選択する際に用いられる。
 ガイダンスDB473は、図7に示すように、油圧ショベル200の機種473a毎に、各撮影対象(撮影対象名473b)のガイダンス画像473cと、コメント類型473dとが登録されるデータベースである。ガイダンス画像473cは、撮影対象の向き、画像内のサイズ等を含む撮影構図を特定する画像である。コメント類型473dは、撮影対象毎に予め定めた入力コメントの類型である。サービスマン401は、撮影対象の状態をコメント類型473dから選択することにより、コメントを入力できる。なお、油圧ショベル200の型式毎に、ガイダンス画像等を保持してもよい。
 なお、コメント類型473dは、同じ撮影対象であっても、点検種別により異なる可能性がある。従って、撮影対象DB478の、各撮影対象名478cに対応づけて登録されてもよい。
 レポートデータ381には、点検レポートのフォームが格納される。点検レポートのフォームは、例えば、点検種別毎に格納されてもよい。点検レポート作成部340は、データ収集部330が収集した点検データと、点検レポートのフォームと、稼働情報371と、車体管理情報372と、を用いて、点検レポートを作成する。点検レポート例は、後述する。
 過去レポートDB382には、作成した点検レポートが蓄積される。点検レポートそのものと、当該点検レポートを作成するために用いた画像データ、コメント等が蓄積される。
 [ガイダンス画面]
 次に、点検アプリを実行することにより、携帯端末400のディスプレイ414に表示されるガイダンス画面を説明する。
 点検アプリ実行部430が、最初に点検アプリを起動した際、ディスプレイ414に表示される初期ガイダンス画面620を、図8(a)に示す。本図に示すように、初期ガイダンス画面620は、点検種別および点検対象の機種および機体IDの入力を受け付ける機体ID受付領域621を備える。なお、点検種別は、受け付けなくてもよい。
 機体ID受付部431は、機体ID受付領域621を介してサービスマン401から入力された点検種別、機種、および、機体IDを受け付ける。
 なお、機体ID受付領域621は、点検種別、機種、および、機体IDを特定する情報の入力を、直接、受け付けてもよいし、予め、選択可能な機種および機体IDのリストを保持し、当該リストの中から選択させるよう構成してもよい。
 なお、選択可能な機種および機体IDのリストは、管理サーバ300から送信するよう構成してもよい。この場合、管理サーバ300側は、例えば、携帯端末400から位置情報の送信を受け、送信する機種および機体IDのリストを絞ってもよい。管理システム100では、各顧客の建設機械毎の位置情報を管理している。例えば、携帯端末400の位置情報を中心として、所定の範囲内にある建設機械の機種および機体IDのみを抽出し、リストとして携帯端末400へ送信してもよい。
 次に、ガイダンス表示部432によりディスプレイ414に表示されるガイダンス画面610を説明する。図8(b)に示すように、ガイダンス画面610は、ガイダンス画像表示領域611と、撮影指示受付領域612と、ガイダンス画像情報表示領域613と、コメント受付領域614と、確定指示受付領域615と、を備える。
 ガイダンス画像表示領域611は、ガイダンス画像を表示する領域である。なお、上述のように、ガイダンス表示部432は、カメラ416による被写体像も、ガイダンス画像表示領域611に表示する。すなわち、本実施形態では、カメラ416の電子ビューファインダであるファインダ領域は、ガイダンス画像表示領域611に設定される。サービスマン401は、画像データ取得時、ガイダンス画像表示領域611内に表示される被写体像をガイダンス画像に合致させて撮影を行うことにより、必要な構図の画像データを、容易に得ることができる。なお、ファインダ領域はディスプレイ414の全面に設定され、ガイダンス画像表示領域内の被写体像のみが切り取られ、画像データとして取得されるよう構成されてもよい。
 撮影指示受付領域612は、撮影指示を受け付ける領域である。本領域を介して撮影指示を受け付けると、撮影部450は、その時点でガイダンス画像表示領域611に表示される被写体像を画像データとして取得する。
 ガイダンス画像情報表示領域613は、ガイダンス画像表示領域611に表示されているガイダンス画像の情報を表示する領域である。本実施形態では、例えば、撮影対象名473bが表示される。
 コメント受付領域614は、サービスマン401によるコメントの入力を受け付ける。コメントは、例えば、予め用意されたコメント類型473dの中から選択するように構成してもよいし、サービスマン401が自由に入力可能なように構成してもよい。入力は、携帯端末400のテキスト入力機能を用いて行う。なお、コメント類型473dは、ガイダンス画像表示領域611に表示されているガイダンス画像473cに対応づけて、ガイダンスデータとして予め提供される。なお、コメント類型473dからの選択と直接入力とを組み合わせてもよい。例えば、異常ありを選択した場合のみ、異常の内容を入力するなどである。
 確定指示受付領域615は、画像データの取得およびコメントの入力を終えた意思(確定指示)を受け付ける領域である。本実施形態では、確定指示受付領域615を介して確定指示を受け付けると、ガイダンス表示部432は、まず、ガイダンスデータ抽出部434が抽出したガイダンス画像のうち、未表示のガイダンス画像の有無を判別する。そして、未表示のガイダンス画像が有る場合は、次のガイダンス画像および撮影対象名を、それぞれ、ガイダンス画像表示領域611およびガイダンス画像情報表示領域613に表示させる。一方、ガイダンスデータ抽出部434が抽出した全てのガイダンス画像の表示を終えた場合は、データ取得部433に一旦保存した後、取得した全ての画像データ等を点検データとして、送受信部420を介して管理サーバ300へ送信させる。
 [点検支援処理の流れ]
 次に、本実施形態の携帯端末400による点検支援処理の流れを説明する。図9は、本実施形態の点検支援処理のフローチャートである。本実施形態の点検支援処理は、サービスマン401が携帯端末400を携帯し、点検対象の油圧ショベル200近傍に到着し、携帯端末400の初期ガイダンス画面620に点検種別と機体ID等とを入力することを契機に開始される。
 機体ID受付部431を介して点検種別と機体ID等の入力を受け付けると、ガイダンスデータ抽出部434は、ガイダンスデータを抽出する(ステップS1101)。ガイダンスデータ抽出処理の詳細は、後述する。
 ガイダンス表示部432は、ガイダンス画面610のガイダンス画像表示領域611に、ガイダンス画像を1枚表示する(ステップS1102)。このとき、ガイダンス表示部432は、カメラ416を起動し、ガイダンス画像表示領域611に、被写体像を表示させる。
 データ取得部433は、サービスマン401から撮影の指示を受け付けると、撮影部450に撮影させ、画像データを取得する(ステップS1103)。ここで取得される画像データは、ガイダンス画像表示領域611に表示されている被写体像である。
 そして、データ取得部433は、確定指示を受け付けると、取得した画像データを記憶装置413等に一時保存する。このとき、画像データは、ガイダンス画像表示領域611に表示されるガイダンス画像の撮影部位名に対応づけて保存される。また、データ取得部433は、コメントが入力された場合、コメントも、併せて撮影部位名に対応づけて保存する。
 データ取得部433は、次のガイダンス画像の有無を判別し(ステップS1104)、次のガイダンス画像が有る場合は、ステップS1102へ戻り、処理を繰り返す。
 一方、次のガイダンス画像が無い場合、すなわち、全ての画像の撮影を終えた場合は(ステップS1104)、データ取得部433は、上述の手法で、取得した各画像データの適否を判別する(ステップS1105)。
 全て適と判別された場合(ステップS1106)、データ取得部433は、保存されている全ての画像データおよびコメントを、点検データとして管理サーバ300に送信する(ステップS1107)。なお、管理サーバ300側では、画像データおよびコメントを受信すると、点検レポート作成部340は、送信された点検データを用いて点検レポートを作成する。
 一方、ステップS1106で、適切でないと判別された画像データが有る場合、データ取得部433は、ガイダンスデータ抽出部434に通知する。そして、ガイダンスデータ抽出部434は、当該画像データに対応するガイダンスデータを再抽出し(ステップS1108)、ステップS1102へ戻り、処理を繰り返す。
 次に、ステップS1101のガイダンスデータ抽出部434によるガイダンスデータ抽出処理の流れを説明する。図10は、本実施形態のガイダンスデータ抽出処理の処理フローである。
 ガイダンスデータ抽出部434は、まず、点検種別の指定の有無を判別する(ステップS1201)。
 点検種別が指定されている場合、撮影対象DB478を参照し、指定された機種478aおよび指定された点検種別478bに対応づけて登録される1以上の撮影対象名478cを抽出する(ステップS1203)。
 そして、ガイダンスDB473を参照し、抽出した各撮影対象名473bに対応づけて登録されるガイダンス画像473cおよびコメント類型473dを抽出し(ステップS1204)、処理を終了する。
 一方、ステップS1201において、点検種別が指定されていない場合、まず、重点点検個所があるか否かを判別する(ステップS1211)。ここでは、ガイダンスデータ抽出部434は、管理サーバ300の稼働情報371にアクセスし、異常なデータが発生している状態データがあるか否かを判別する。例えば、稼働情報管理部350がアラームフラグを設定している状態データ371cが有れば、その状態データ371cを、重点点検個所として抽出する。また、メンテナンス情報377にアクセスし、修理履歴として登録された修理箇所377cがあるか否かを判別する。メンテナンス情報377に修理履歴があれば、修理箇所377cを重点点検個所として抽出する。なお、ここで、抽出する重点点検個所は1か所に限定されない。
 そして、ステップS1211において、重点点検個所ありと判別され、重点点検個所が抽出された場合、点検種別DB479を参照し、該当する部位/状態データ479a(重点点検個所)に対応づけて登録される点検種別479bを特定する(ステップS1212)。なお、ここで特定される点検種別は、1つに限定されない。そして、点検種別479bを特定後、ステップS1203へ移行する。S1203およびS1204の処理は、特定された点検種別分、繰り返す。
 一方、ステップS1211において、重点点検個所がないと判別された場合、点検種別を定期点検とし(ステップS1213)、ステップS1203へ移行する。
 次に、点検支援処理のステップS1103でディスプレイ414に表示されるガイダンス画面610の、処理ループごとの変化(遷移)の様子を、図11に示す。
 ここでは、点検種別を定期点検とし、銘板631、車体の斜め前方632、車体の斜め後方633、モニタ(アワメータ)634、エンジン635、上部旋回体636、下部走行帯637、足回り638、作業フロント639、アタッチメント640の順に、画像データを取得する場合を例示する。
 この場合、上述の各ガイダンス画像が、上記順に設定されてガイダンスデータとして携帯端末400に送信される。そして、図11に示すように、順にガイダンス画像表示領域611に表示される。
 サービスマン401は、新たなガイダンス画像が表示される毎に、ガイダンス画像表示領域611に表示されるガイダンス画像と、被写体像とを合わせ、撮影を行う。また、コメントを入力する。その後、確定指示受付領域615を介して、撮影終了の指示を入力する。
 上述のようにして取得された点検データ(画像データおよびコメント)を用いて、点検レポート作成部340により作成される点検レポート700の例を図12に示す。
 本図に示すように、点検レポート700は、車体情報領域710と、本体領域720と、を備える。本体領域720には、画像データ領域721と、コメント領域722とが、画像データ毎に設けられる。
 点検レポート作成部340は、車体情報領域710を、車体管理情報372から必要な情報を取得し、作成する。
 また、点検レポート作成部340は、画像データ領域721には、データ収集部330により収集され、保存された点検データの画像データを添付する。なお、このとき、画像サイズ、解像度等を適宜加工して表示してもよい。コメント領域722には、画像データとともに送信されたコメントおよび撮影部位名を挿入する。
 以上説明したように、本実施形態によれば、サービスマン401が携帯する携帯端末400の、カメラ416のファインダを兼ねるディスプレイ414に、撮影対象の撮影構図を示すガイダンス画像が表示される。このため、サービスマン401は、表示されるガイダンス画像に被写体像を合わせて撮影するだけで、所望の構図の画像データを得ることができる。
 また、ガイダンス画像は、点検レポートの作成に必要な全画像分抽出され、表示される。ディスプレイ414には、画像データを1枚取得する毎に、次のガイダンス画像が表示される。このため、サービスマン401は、ガイダンスに従って、各ガイダンス画像に合致する画像データを取得するだけで、点検レポートの作成に必要な、全ての画像データを得ることができる。
 このように、本実施形態によれば、ガイダンスに従って撮影するだけで、点検レポート作成に必要な画像を、意図した構図で、もれなく取得することができる。すなわち、本実施形態によれば、点検レポート作成に必要な画像データの収集を適切に支援でき、本実施形態の管理システム100は、サービスマン401の力量や経験によらず、安定した品質の画像データを収集することができる。
 また、本実施形態によれば、上記手法で収集した画像データを用いて点検レポートを作成する。このため、サービスマンの力量や経験によらず、安定した品質の点検レポートを容易に作成できる。
 <変形例>
 なお、上記実施形態では、携帯端末400は、全撮影対象の画像データを一括して携帯端末400から送信する。しかしながら、この手法に限定されない。
 例えば、取得した画像データを1枚ずつ管理サーバ300に送信してもよい。この場合、携帯端末400は、画像データを取得する毎に、適否を確認する。
 <変形例2>
 また、上記実施形態では、点検レポート700を、送信された点検データ(画像データおよびコメント)のみを用いて作成している。しかしながら、これに限定されない。例えば、過去の同機体の点検レポートの内容をさらに用いてもよい。
 この場合、点検レポート作成部340は、最新の点検データと、過去レポートDB382に保持される、同じ撮影対象の点検データ(画像データおよびコメント)とを用い、点検レポートを作成する。
 例えば、図13に示す点検レポート700aのように、同じ撮影対象について、前回の点検レポート作成時の点検データと、今回の送信された点検データとを並列に表記する。
 これにより、点検部位である各撮影対象の、時間的な変化を把握可能な点検レポートを作成できる。
 <<第二の実施形態>>
 次に本発明の第二の実施形態を説明する。第一の実施形態では、携帯端末400において、取得した画像データが所望の品質であるか否かのみを判別している。しかしながら、本実施形態では、管理サーバ300において、送信された画像データを解析し、新たな点検の要否を判別する。そして、新たな点検要と判別された場合、その旨、携帯端末400に通知する。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
 本実施形態の管理サーバ300は、第一の実施形態の構成に加え、図14に示すように、データ収集部330が点検結果解析部335をさらに備える。また、データ保持部370は、図6(c)に示すように、解析結果380a毎に、点検が必要な場合の点検種別380bを格納する第二の点検種別DB380をさらに備える。
 点検結果解析部335は、携帯端末400で取得され、送信された点検データを解析する。例えば、既存の画像解析ソフトウェア等を用いて、画像データを解析し、撮影対象の傷の有無、変形等の有無、破損の有無などを判別する。
 点検結果解析部335は、また、解析結果に応じて、新たな点検の要否を判別する。判別は、解析結果が、第二の点検種別DB380の解析結果380aに登録されているか否かにより行う。すなわち、点検結果解析部335は、解析結果が登録されている場合は、新たな点検要と判別する。そして、新たな種別の点検が必要と判別した場合、第二の点検種別DB380を参照して必要な点検種別380bを特定し、携帯端末400に通知する。
 なお、携帯端末400では、点検結果解析部335から点検種別の通知を受け付けると、ガイダンスデータ抽出部434は、撮影対象DB478と、ガイダンスDB473とを参照し、当該点検種別478bに対応づけて登録されるガイダンスデータを抽出する。
 この場合の点検支援処理の流れを、図15を用いて説明する。本実施形態の点検支援処理は、ステップS1107の点検データの送信までは、第一の実施形態と同様である。
 ステップS1107で、点検データを送信した後、所定の時間内に、管理サーバ300から新たな点検種別を受信した場合(ステップS2101)、ステップS1101へ戻り、ガイダンスデータ抽出部434は、当該点検種別に対応するガイダンスデータを抽出し、再度処理を繰り返す。なお、ガイダンスデータの抽出手法は、第一の実施形態と同様である。
 一方、ステップS2101で、所定の時間内に、管理サーバ300から新たな点検種別を受信しない場合、点検アプリ実行部430は、そのまま、処理を終了する。
 以上説明したように、本実施形態によれば、第一の実施形態同様、点検レポート作成に必要な画像データの収集を適切に支援でき、サービスマン401の力量や経験によらず、安定した品質の点検レポートを作成できる。
 また、点検結果に応じて、自動的に追加の点検の有無を判定し、必要な場合は、再点検を行うよう携帯端末400に通知する。このため、1回現場に行けば、必要な点検を全てカバーすることができる。すなわち、サービスマン401は、何度も現場に足を運ぶ必要がない。このため、本実施形態によれば、安定した品質の点検レポートを、効率的に作成できる。
 なお、本実施形態においても、ガイダンス画像を1枚ずつ送信するよう構成してもよい。また、作成する点検レポートも、過去の点検レポートの点検データを併記するものであってもよい。
 <変形例>
 上記各実施形態では、点検対象の機種および機体IDについて、サービスマン401が入力するよう構成しているが、これに限定されない。例えば、上述のように銘板等、機種および機体IDを特定可能な撮影部位を撮影し、その撮影結果を解析して、識別してもよい。
 また、各機体が機種および機体IDを登録したICチップを備える場合、例えば、携帯端末400が、NFC(Near Field Communication)等により通信を行い、当該ICチップ内の機種および機体IDを読み取ることにより、機種および機体IDを取得してもよい。
 また、上記各実施形態では、サービスマン401は、ガイダンス画像として予め用意される構図のみ、画像データを取得しているが、これに限定されない。それ以外の撮影対象の画像データも取得可能なように構成してもよい。また、ガイダンス画像を表示して画像データを取得するモードと、表示しないで取得するモードとを選択可能なように構成してもよい。
 ガイダンス画像以外の構図の画像データを取得した場合、サービスマン401は、取得した画像データに対応する撮影対象名を入力する。データ取得部433は、送受信部420を介して画像データとともに入力された撮影対象名を管理サーバ300に送信する。また、ガイダンス画像以外の構図の画像データを取得した場合、点検アプリ実行部430は、当該画像データと撮影対象名とを、新たなガイダンス画像として、ガイダンスDB473や、撮影対象DB478に登録する。なお、登録は、サービスマン401が登録要と判別した場合のみ行うよう構成してもよい。
 また、上記各実施形態では、ガイダンスDB473や点検DB474に保持するデータを、点検アプリとともに、予め携帯端末400に提供する場合を例にあげて説明したが、この構成に限定されない。例えば、これらのデータは、管理サーバ300が保持し、携帯端末400からの要求に応じて提供するよう構成してもよい。
 100:管理システム、101:ネットワーク、110:基地局、111:通信衛星、
 200:油圧ショベル、201:下部車体、202:上部旋回体、203:運転室、207:作業フロント、210:ブーム、211:アーム、212:バケット、213:ブームシリンダ、214:アームシリンダ、215:バケットシリンダ、220:センサ、
 300:管理サーバ、311:CPU、312:メモリ、313:記憶装置、314:入出力I/F、315:通信I/F、320:送受信部、330:データ収集部、335:点検結果解析部、340:点検レポート作成部、350:稼働情報管理部、
 370:データ保持部、371:稼働情報、371a:機体ID、371b:送信時刻、371c:状態データ、372:車体管理情報、374:点検DB、375:車体情報、375a:機種、375b:型式、375c:号機番号、375d:機体ID、376:顧客データ、376a:顧客ID、376b:顧客名、376c:使用機体ID、376d:業種、377:メンテナンス情報、377a:機体ID、377b:修理日時、377c:修理箇所、377d:修理内容、380:第二の点検種別DB、380a:解析結果、380b:点検種別、381:レポートデータ、382:過去レポートDB、
 400:携帯端末、401:サービスマン、411:CPU、412:メモリ、413:記憶装置、414:ディスプレイ、415:通信I/F、416:カメラ、417:GPSアンテナ、418:レンズ、420:送受信部、430:点検アプリ実行部、431:機体ID受付部、432:ガイダンス表示部、433:データ取得部、434:ガイダンスデータ抽出部、440:操作部、450:撮影部、460:位置情報取得部、
 470:データ保持部、473:ガイダンスDB、473a:機種、473b:撮影対象名、473c:ガイダンス画像、473d:コメント類型、478:撮影対象DB、478a:機種、478b:点検種別、478c:撮影対象名、479:点検種別DB、479a:部位/状態データ、479b:点検種別、
 500:顧客PC、
 610:ガイダンス画面、611:ガイダンス画像表示領域、612:撮影指示受付領域、613:ガイダンス画像情報表示領域、614:コメント受付領域、615:確定指示受付領域、620:初期ガイダンス画面、621:機体ID受付領域、631:銘板、632:斜め前、633:斜め後、634:モニタ、635:エンジン、636:上部旋回体、637:下部走行帯、638:足回り、639:作業フロント、640:アタッチメント、
 700:点検レポート、700a:点検レポート、710:車体情報領域、720:本体領域、721:画像データ領域、722:コメント領域

Claims (7)

  1.  カメラとディスプレイとを有し、点検レポートに掲載する建設機械の画像データを取得する、建設機械の点検支援システムにおいて、
     前記画像データとして撮影する撮影対象の構図を示すガイダンス画像を前記ディスプレイに表示させるガイダンス表示部と、
     前記カメラの被写体像を画像データとして取得する撮影部と、
     取得した前記画像データを、前記点検レポートを管理する管理サーバに送信する送信部と、を備えること
     を特徴とする建設機械の点検支援システム。
  2.  請求項1記載の建設機械の点検支援システムにおいて、
     前記建設機械の機体識別情報の指定を受け付ける機体識別情報受付部と、
     前記建設機械の前記機体識別情報で特定される機種毎に前記ディスプレイに表示する前記ガイダンス画像を保持するデータ保持部と、
     前記機体識別情報受付部で受け付けた前記機体識別情報で特定される機種に対応づけて前記データ保持部に保持される前記ガイダンス画像を抽出するガイダンスデータ抽出部と、をさらに備えること、
     を特徴とする建設機械の点検支援システム。
  3.  請求項2記載の建設機械の点検支援システムにおいて、
     前記データ保持部は、さらに、前記建設機械の点検種別毎に前記ガイダンス画像を特定する情報を保持し、
     前記ガイダンスデータ抽出部は、前記管理サーバが保持する建設機械の稼働情報および車体管理情報の少なくとも1つに基づいて前記建設機械の前記点検種別を特定し、特定結果に基づいて、前記データ保持部から前記ガイダンス画像を抽出すること
     を特徴とする建設機械の点検支援システム。
  4.  カメラとディスプレイとを有する携帯端末で、撮影対象の構図を示すガイダンス画像を前記ディスプレイに表示して撮影した画像データを用いて、建設機械の点検レポートを作成する管理サーバにおいて、
     前記携帯端末から送信される前記画像データを解析し、追加の点検の要否を判別し、点検要と判別した場合、当該点検で必要なガイダンス画像を特定し、前記携帯端末に通知する点検結果解析部を備えること
     を特徴とする管理サーバ。
  5.  請求項4に記載の建設機械の点検レポートを作成する管理サーバにおいて、
     前記建設機械の過去の点検レポートを保持する過去レポートデータベースと、
     前記携帯端末から送信された最新の画像データと、前記過去レポートデータベースに保持される過去の同じ撮影対象の画像データとを用い、前記点検レポートを作成する点検レポート作成部と、をさらに備えること
     を特徴とする管理サーバ。
  6.  カメラとディスプレイとを有する携帯端末と、前記携帯端末で取得した画像を用いて建設機械の点検レポートを作成する管理サーバと、を有する建設機械の点検レポート作成システムにおいて、
     前記携帯端末は、
     前記建設機械の機体識別情報の指定を受け付ける機体識別情報受付部と、
     前記建設機械の前記機体識別情報で特定される機種毎および点検種別毎に、前記建設機械の撮影対象であって前記点検レポートに掲載する画像データの撮影対象の構図を示すガイダンス画像を保持するデータ保持部と、
     前記機体識別情報受付部で指定された前記機体識別情報で特定される機種に対応づけて前記データ保持部に保持される前記ガイダンス画像を抽出するガイダンスデータ抽出部と、
     前記ガイダンスデータ抽出部が抽出したガイダンス画像を前記ディスプレイに表示するガイダンス表示部と、
     前記カメラの被写体像を画像データとして取得する撮影部と、
     取得した前記画像データを、前記管理サーバに送信する送信部と、を備え、
     前記管理サーバは、
     前記携帯端末から送信される前記画像データを解析し、追加の点検の要否を判別し、点検要と判別した場合、当該点検の点検種別を特定し、前記携帯端末に送信する点検結果解析部を備え、
     前記ガイダンスデータ抽出部は、前記管理サーバから前記点検種別が送信されると、当該点検種別に対応づけて前記データ保持部に保持される前記ガイダンス画像を抽出すること、
     を特徴とする建設機械の点検レポート作成システム。
  7.  請求項6記載の建設機械の点検レポート作成システムにおいて、
     前記管理サーバは、
     前記建設機械の過去の点検レポートを保持する過去レポートデータベースと、
     前記携帯端末から送信された最新の画像データと、前記過去レポートデータベースに保持される過去の同じ撮影対象の画像データとを用い、前記点検レポートを作成する点検レポート作成部と、をさらに備えること
     を特徴とする建設機械の点検レポート作成システム。
PCT/JP2017/035716 2017-09-29 2017-09-29 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム WO2019064581A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202311488160.0A CN117522378A (zh) 2017-09-29 2017-09-29 工程机械的点检支援系统、管理服务器及点检报告创建系统
KR1020197003772A KR20190045160A (ko) 2017-09-29 2017-09-29 건설 기계의 점검 지원 시스템, 관리 서버 및 점검 리포트 작성 시스템
KR1020217000429A KR102237932B1 (ko) 2017-09-29 2017-09-29 건설 기계의 점검 지원 시스템, 관리 서버 및 점검 리포트 작성 시스템
CN201780049618.9A CN109863514B (zh) 2017-09-29 2017-09-29 工程机械的点检支援系统、管理服务器及点检报告创建系统
JP2019506751A JP6825079B2 (ja) 2017-09-29 2017-09-29 管理サーバおよび建設機械の点検レポート作成システム
EP17922069.4A EP3690764A4 (en) 2017-09-29 2017-09-29 SUPPORT SYSTEM FOR CONSTRUCTION MACHINE INSPECTION, ADMINISTRATION SERVER AND SYSTEM FOR GENERATING INSPECTION REPORTS
PCT/JP2017/035716 WO2019064581A1 (ja) 2017-09-29 2017-09-29 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム
US16/328,776 US11640425B2 (en) 2017-09-29 2017-09-29 Inspection support system for construction machine, management server, and inspection report creation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/035716 WO2019064581A1 (ja) 2017-09-29 2017-09-29 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム

Publications (1)

Publication Number Publication Date
WO2019064581A1 true WO2019064581A1 (ja) 2019-04-04

Family

ID=65902327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035716 WO2019064581A1 (ja) 2017-09-29 2017-09-29 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム

Country Status (6)

Country Link
US (1) US11640425B2 (ja)
EP (1) EP3690764A4 (ja)
JP (1) JP6825079B2 (ja)
KR (2) KR20190045160A (ja)
CN (2) CN117522378A (ja)
WO (1) WO2019064581A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7494470B2 (ja) * 2020-01-10 2024-06-04 コベルコ建機株式会社 建設機械の点検システム
US11354943B2 (en) 2020-02-28 2022-06-07 Zonar Systems, Inc. Asset map view, dwell time, pre-populate defects, and visual-inspection guidance
WO2024130195A1 (en) * 2022-12-16 2024-06-20 Insurance Services Office, Inc. Machine learning systems and methods for validating workflows

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002011007A1 (fr) * 2000-08-01 2002-02-07 Bigrental Co., Ltd. Systeme de location
JP2003027530A (ja) 2001-07-23 2003-01-29 Hitachi Constr Mach Co Ltd 建設機械の管理システム
JP2016053531A (ja) * 2014-09-04 2016-04-14 東日本旅客鉄道株式会社 車両検査システム
WO2016137016A1 (ja) * 2016-03-28 2016-09-01 株式会社小松製作所 評価装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084380A1 (en) * 2000-05-04 2001-11-08 Song Jin Ho Automatic vehicle management apparatus and method using wire and wireless communication network
JP2003002176A (ja) * 2001-06-20 2003-01-08 Mitsubishi Electric Corp 自動車点検システム
JP4264955B2 (ja) * 2005-07-11 2009-05-20 株式会社Jm 認証画像付き報告書作成システム
CA2619083A1 (en) * 2007-01-26 2008-07-26 Service Repair Solutions, Inc. Smart inspections
JP2011170540A (ja) * 2010-02-17 2011-09-01 Fujifilm Corp 検査システム及び方法、管理サーバ、携帯端末、プログラム、並びに記憶媒体
US20120185260A1 (en) * 2011-01-18 2012-07-19 Francis Perez System and method for inspecting equipment and estimating refurbishment costs thereof
US9298351B2 (en) * 2011-08-03 2016-03-29 Olympus Corporation Inspection image display apparatus, inspection image display method and storage medium
US20130262497A1 (en) * 2012-04-02 2013-10-03 Caterpillar Inc. Inspection Tool
US8510196B1 (en) * 2012-08-16 2013-08-13 Allstate Insurance Company Feedback loop in mobile damage assessment and claims processing
US20140316998A1 (en) * 2013-03-15 2014-10-23 RPM Industries, LLC Machine inspection tool with service report synchronization
US9723251B2 (en) * 2013-04-23 2017-08-01 Jaacob I. SLOTKY Technique for image acquisition and management
JP6325814B2 (ja) 2013-12-26 2018-05-16 株式会社安藤・間 車両系建設機械インターロックシステム
US10089396B2 (en) * 2014-07-30 2018-10-02 NthGen Software Inc. System and method of a dynamic interface for capturing vehicle data
US10304260B2 (en) * 2015-10-26 2019-05-28 Verizon Patent And Licensing, Inc. Automated vehicle identification and inspection data processing system
JP6332568B2 (ja) * 2015-11-10 2018-05-30 日本電気株式会社 情報処理装置、制御方法、及びプログラム
CN106408491B (zh) * 2016-02-04 2020-06-05 苏州易信安工业技术有限公司 一种监控方法、装置及系统
US10692050B2 (en) * 2016-04-06 2020-06-23 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CA2936854A1 (en) * 2016-07-22 2018-01-22 Edmond Helstab Methods and systems for assessing and managing asset condition
WO2018104794A1 (en) * 2016-12-07 2018-06-14 Abb Schweiz Ag System and method for handling and charting data obtained by an inspection vehicle
WO2018191402A1 (en) * 2017-04-12 2018-10-18 Roadtec, Inc. System for tracking operating time for conveyor of working machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002011007A1 (fr) * 2000-08-01 2002-02-07 Bigrental Co., Ltd. Systeme de location
JP2003027530A (ja) 2001-07-23 2003-01-29 Hitachi Constr Mach Co Ltd 建設機械の管理システム
JP2016053531A (ja) * 2014-09-04 2016-04-14 東日本旅客鉄道株式会社 車両検査システム
WO2016137016A1 (ja) * 2016-03-28 2016-09-01 株式会社小松製作所 評価装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3690764A4

Also Published As

Publication number Publication date
KR102237932B1 (ko) 2021-04-08
EP3690764A1 (en) 2020-08-05
US20200142923A1 (en) 2020-05-07
CN109863514A (zh) 2019-06-07
EP3690764A4 (en) 2021-01-27
CN109863514B (zh) 2024-04-02
US11640425B2 (en) 2023-05-02
KR20210006018A (ko) 2021-01-15
JP6825079B2 (ja) 2021-02-03
CN117522378A (zh) 2024-02-06
JPWO2019064581A1 (ja) 2019-11-14
KR20190045160A (ko) 2019-05-02

Similar Documents

Publication Publication Date Title
US7493112B2 (en) Construction machine management apparatus and construction machines management system
JP5557718B2 (ja) 配管施工管理システム、携帯端末及び施工情報管理サーバ
KR101614013B1 (ko) 쇼벨, 그 감시장치 및 쇼벨의 출력장치
WO2017150298A1 (ja) 評価装置、管理装置、評価システム、及び評価方法
JP6825079B2 (ja) 管理サーバおよび建設機械の点検レポート作成システム
JP6946527B2 (ja) 建設機械の点検支援システム
US20050071124A1 (en) Operating state management system for machine tool
KR101909212B1 (ko) 시설물 안전점검 시스템 및 방법
CN109426869B (zh) 工程机械的消耗品维护日程信息调整服务器及方法
JP6725063B2 (ja) 設備管理システム
CN108432234B (zh) 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
JP2019032684A (ja) 巡視点検システム
JP7269785B2 (ja) 監視システム、監視方法および監視プログラム
KR101564223B1 (ko) 지반침하를 예방하기 위한 하수관거 점검시스템
JP6929162B2 (ja) 観測設定管理システム及び観測設定管理方法
JP2021103840A (ja) 作業支援サーバ、撮像装置の選択方法
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
CN113785091A (zh) 施工机械用图像获取装置、信息管理系统、信息终端、施工机械用图像获取程序
CN101232533B (zh) 携带式电话及其对应型施工机械和数据收发方法
JP7365448B1 (ja) 作業機械及び部品管理システム
JP2020143476A (ja) 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
CN114731388A (zh) 作业支援服务器、作业支援方法以及作业支援系统
KR20240121290A (ko) 입출고 관리 시스템
WO2017169598A1 (ja) 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
JP2005105682A (ja) トンネルデータ管理システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019506751

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197003772

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17922069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017922069

Country of ref document: EP

Effective date: 20200429