WO2019012823A1 - 物体識別システム - Google Patents

物体識別システム Download PDF

Info

Publication number
WO2019012823A1
WO2019012823A1 PCT/JP2018/020418 JP2018020418W WO2019012823A1 WO 2019012823 A1 WO2019012823 A1 WO 2019012823A1 JP 2018020418 W JP2018020418 W JP 2018020418W WO 2019012823 A1 WO2019012823 A1 WO 2019012823A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
identification
terminal
control unit
identified
Prior art date
Application number
PCT/JP2018/020418
Other languages
English (en)
French (fr)
Inventor
圭志 中村
章浩 新熊
Original Assignee
ヤンマー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンマー株式会社 filed Critical ヤンマー株式会社
Priority to CN202311317938.1A priority Critical patent/CN117372952A/zh
Priority to KR1020197023544A priority patent/KR102252245B1/ko
Priority to KR1020217013190A priority patent/KR102363216B1/ko
Priority to CN201880021896.8A priority patent/CN110959167B/zh
Priority to EP18831870.3A priority patent/EP3654279A4/en
Publication of WO2019012823A1 publication Critical patent/WO2019012823A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to an object identification system.
  • Patent Document 1 discloses an object identification system including a terminal device provided with a camera and a server capable of communicating with the terminal device. Specifically, the terminal device transmits an image (input image) captured by the camera to the server. The server extracts the feature amount of the image received from the terminal device, and collates the extracted feature amount with the first feature amount dictionary to identify an object shown in the received image. Then, the server acquires the second feature dictionary and the additional information database to be provided to the terminal device according to the identification result, and transmits the second feature amount dictionary and the additional information database to the terminal device.
  • the second feature dictionary is a dictionary having a smaller amount of data than the first feature dictionary.
  • the terminal device extracts the feature amount of the input image, and identifies the object shown in the input image by collating with the second feature amount dictionary acquired from the server. Next, the terminal device acquires the additional information related to the identified object from the additional information database acquired from the server, and generates the output image by superposing the acquired additional information on the input image. Then, the terminal device displays the output image on the display unit.
  • the terminal device identifies the object shown in the input image by collating the feature amount of the input image with the second feature amount dictionary acquired from the server.
  • the second feature amount dictionary acquired from the server.
  • An object of the present invention is to identify an identification target at an individual level by capturing an identification target with a terminal device even when a plurality of identification target objects having the same feature information exist among a plurality of identification target objects. It is to provide an object identification system that will be able to
  • An object identification system can communicate with a terminal device capable of imaging an identification target which is an identified object to be identified among a plurality of identification objects having feature information which can be imaged from the outside, and the terminal device
  • the terminal device includes a server, the detection unit detecting terminal position information including the position and orientation of the terminal device, an imaging unit for imaging the identification target, and a captured image captured by the imaging unit
  • a terminal-side identification control unit that extracts feature information of the identification target included in the identification information and transmits identification determination information including the extracted feature information and the terminal position information to the server;
  • a search unit based on a storage unit storing feature information and position information of the identified object for each of the identified objects, and terminal position information in the identification determination information received from the terminal device Is set, and a predetermined to-be-identified object satisfying a condition that exists in the set search area and has the same feature information as the feature information in the identification determination information is searched, and a predetermined to-be-identified object satisfying the above condition
  • a server-side identification control unit
  • An identified object means an object that can be an object to be identified by the object identification system of the present invention.
  • the identification target refers to an object to be identified among a plurality of identification objects.
  • the imaging target of the terminal apparatus captures an image of the identification target, and the feature information of the identification target is extracted. Then, identification determination information including feature information to be identified and terminal position information is transmitted to the server.
  • the condition that the search area is set based on the terminal position information and exists in the set search area and has the same feature information as the feature information (feature information of the identification target) in the identification determination information An identified object to be satisfied is searched. Then, when the to-be-identified object satisfying the condition is found, the to-be-identified object is specified as the identification target. Therefore, even when there are a plurality of objects to be identified having the same feature information among a plurality of objects to be identified, it is possible to identify the object to be identified at the individual level by imaging the object to be identified by the terminal device become.
  • the server side identification control unit when there are a plurality of predetermined identified objects that satisfy the condition, is positioned closest to the terminal device among the plurality of predetermined identified objects. It is comprised so that the predetermined to-be-identified object which exists exists as said identification object.
  • the storage unit stores, for each of the identified objects, feature information, position information, and individual information of the identified objects, and the server-side identification control unit When the identified object of is identified as the identification target, the individual information of the predetermined identified object stored in the storage unit is transmitted to the terminal device.
  • individual information of the identified object identified as the identification target can be transmitted from the server to the terminal device.
  • the terminal device further includes a display unit for displaying a captured image captured by the imaging unit, and the terminal-side identification control unit transmits the image by the server-side identification control unit.
  • the above individual information is configured to be superimposed and displayed on the captured image displayed on the display unit.
  • the user of the terminal device can recognize individual information to be identified.
  • the individual information includes at least one of identification information identifying a corresponding identified object, operation information of a corresponding identified object, and maintenance information of a corresponding identified object.
  • the user of the terminal device can recognize at least one of identification information to be identified, operation information, and maintenance information.
  • the individual information includes faulty component identification information representing a faulty component of a corresponding identified object
  • the terminal side identification control unit is transmitted by the server side identification control unit.
  • the image of the failed part corresponding to the failed part identification information is superimposed on the captured image displayed on the display unit based on the failed part identification information included in the individual information. .
  • the user of the terminal device can visually recognize the failure point.
  • the feature information is type information of a corresponding identified object.
  • FIG. 1 is a schematic view showing a configuration of a work vehicle identification system to which an object identification system according to an embodiment of the present invention is applied.
  • FIG. 2 is a block diagram showing the main electrical configuration of the work vehicle.
  • FIG. 3 is a block diagram showing the electrical configuration of the remote monitoring server.
  • FIG. 4A is a schematic view showing an example of contents of a basic table.
  • FIG. 4B is a schematic view showing an example of contents of a replacement part table.
  • FIG. 4C is a schematic view showing an example of contents of a parts replacement procedure table.
  • FIG. 5A is a schematic view showing an example of contents of the error monitoring table.
  • FIG. 5B is a schematic view showing an example of contents of the maintenance history management table.
  • FIG. 6 is a block diagram showing the electrical configuration of the portable terminal.
  • FIG. 7 is a schematic view showing an example of the content of the component image table.
  • FIG. 8 is a flowchart illustrating an example of a procedure of terminal-side identification control processing executed by the terminal-side identification control unit.
  • FIG. 9 is a flowchart illustrating an example of a procedure of server-side identification control processing executed by the server-side identification control unit.
  • FIG. 10 is a schematic diagram for explaining a method of setting a search area.
  • FIG. 11 is a schematic view showing an example in which individual information and a component image are superimposed on a captured image.
  • FIG. 12 is a schematic view showing another example in which the individual information and the component image are superimposed on the captured image.
  • FIG. 1 is a schematic view showing a configuration of a work vehicle identification system to which an object identification system according to an embodiment of the present invention is applied.
  • the work vehicle identification system 1 is a system for identifying the work vehicle 2 as an identified object at an individual level.
  • the work vehicle identification system 1 includes a portable terminal device (hereinafter, referred to as “mobile terminal 3”) and a remote monitoring server 4.
  • the work vehicle 2 can communicate with the remote monitoring server 4 via the communication network 6.
  • the work vehicle 2 has a function of positioning its own position using the positioning satellite 7.
  • type information 9 indicating the type is described.
  • the type information 9 of the work vehicle 2 shown in FIG. 1 is “YH 448”.
  • the type information 9 is an example of feature information of a target object.
  • the portable terminal 3 is formed of a portable terminal such as a smartphone or a tablet personal computer (tablet PC).
  • the portable terminal 3 is a smartphone.
  • the portable terminal 3 includes an imaging unit 53 (see FIG. 6) such as a CCD camera.
  • the portable terminal 3 has a function of positioning its own position using the positioning satellite 7.
  • the portable terminal 3 is equipped with a vehicle identification and information addition program developed to carry out the present embodiment.
  • the vehicle identification / information addition program is an application program for performing identification of the work vehicle 2 in cooperation with the remote monitoring server 4 and adding information to a captured image using the AR.
  • AR is called Augmented Reality, and is a technology for displaying additional information in a real space and extending the real world.
  • the portable terminal 3 can communicate with the remote monitoring server 4 via the communication network 6.
  • the portable terminal 3 is carried by, for example, a service person who performs maintenance when the maintenance of the work vehicle 2 is performed.
  • the remote monitoring server 4 is a server for remotely monitoring the plurality of work vehicles 2, and is provided in the remote monitoring center 5.
  • the remote monitoring server 4 can communicate with the work vehicle 2 and the portable terminal 3 via the communication network 6.
  • the work vehicle 2 transmits the identification information, position information, operation information, error detection information (abnormality information), etc. of the work vehicle 2 to the remote monitoring server 4.
  • the identification information of the work vehicle 2 transmitted from the work vehicle 2 to the remote monitoring server 4 is, in this embodiment, the telephone number of the remote monitoring terminal 12 (see FIG. 2) provided on the work vehicle 2 as described later. is there.
  • the identification information may be a machine number which is unique identification information assigned to the work vehicle 2.
  • the remote monitoring server 4 When the remote monitoring server 4 receives identification information, position information, operation information, error detection information, and the like from the work vehicle 2, the information is stored in association with the identification information, type information, and machine number of the work vehicle 2. Do. When the remote monitoring server 4 receives the error detection information from the work vehicle 2, the remote monitoring server 4 notifies the serviceman of the fact via the operator or directly. The serviceman carries the portable terminal 3 and travels to a place where the work vehicle 2 in which an error has occurred is present. In the following, the work vehicle 2 in which the error has occurred may be referred to as an "error vehicle".
  • the service person When the service person arrives at the place where the error vehicle exists, the service person operates the portable terminal 3 to start the vehicle identification and information addition program.
  • the vehicle identification / information addition program When the vehicle identification / information addition program is activated, the imaging unit 53 is activated, so that the service person adjusts the imaging direction of the portable terminal 3 to the side surface of the error vehicle (identification target). More specifically, the serviceman directs the portable terminal 3 to the error vehicle so that the side on which the type information 9 in the error vehicle is described is captured. As a result, an image including an error vehicle is input from the imaging unit 53 to the portable terminal 3.
  • the portable terminal 3 extracts the type information 9 from the input image. Then, the portable terminal 3 transmits the identification determination information including the extracted type information 9 and the position information of the portable terminal 3 (which may include information on the attitude and orientation of the portable terminal 3) to the remote monitoring server 4 .
  • the remote monitoring server 4 When receiving the identification determination information from the portable terminal 3, the remote monitoring server 4 sets a search area in the vicinity of the portable terminal 3 based on the position information in the identification determination information. Next, based on the latest position information of the plurality of work vehicles 2, the remote monitoring server 4 satisfies the condition that it exists in the search area and has the same type as the type information 9 in the identification determination information. Search 2 Then, when the work vehicle 2 satisfying the condition is found, the remote monitoring server 4 specifies the work vehicle 2 as an error vehicle (identification target), and information on the work vehicle 2 (hereinafter referred to as “individual information”) , Transmit to the portable terminal 3. When receiving the individual information, the portable terminal 3 superimposes and displays predetermined information in the individual information on the input image, and superimposes and displays an image (for example, a component image) corresponding to the predetermined information in the individual information on the input image. To
  • FIG. 2 is a block diagram showing the main electrical configuration of work vehicle 2.
  • Work vehicle 2 includes a work vehicle control device 11 and a remote monitoring terminal 12.
  • the work vehicle control device 11 controls the electric devices of each part of the work vehicle 2.
  • the work vehicle control device 11 controls the electric devices of each part of the combine such as a traveling device, a reaper, a transport device, and a threshing device.
  • the work vehicle control device 11 provides the remote monitoring terminal 12 with operation information of the work vehicle 2, error detection information, and the like.
  • the operation information includes an operation time, an engine speed, an exhaust temperature, an operating state of an accelerator, an operating state of a brake, and the like.
  • the error detection information includes an error code that indicates the type of error.
  • the remote monitoring terminal 12 transmits, to the remote monitoring server 4, position information of the work vehicle 2, operation information provided from the work vehicle control device 11, error detection information, and the like.
  • a telephone number for communication is set in the remote monitoring terminal 12.
  • the remote monitoring terminal 12 includes a control unit 20. To the control unit 20, a position detection unit 21, a communication unit 22, an operation display unit 23, an operation unit 24, a storage unit 25, and the like are connected.
  • the position detection unit 21 calculates position information of the remote monitoring terminal 12 based on the satellite positioning system.
  • the satellite positioning system is a Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the position detection unit 21 receives satellite signals from a plurality of positioning satellites 7 (see FIG. 1), and calculates position information of the remote monitoring terminal 12 (work vehicle 2).
  • Position information consists of latitude, longitude, and altitude information, for example.
  • the communication unit 22 is a communication interface for the control unit 20 to communicate with the remote monitoring server 4 via the communication network 6.
  • the operation display unit 23 is, for example, a touch panel display.
  • the operation unit 24 includes, for example, one or more operation buttons.
  • the storage unit 25 is configured of a storage device such as a non-volatile memory.
  • the control unit 20 includes a microcomputer provided with a CPU and a memory (ROM, RAM, etc.).
  • the control unit 20 acquires position information calculated by the position detection unit 21 at predetermined time intervals and stores the acquired position information in the storage unit 25. Then, the control unit 20 transmits the latest position information stored in the storage unit 25 to the remote monitoring server 4 at predetermined time intervals.
  • the control unit 20 also stores the operation information provided from the work vehicle control device 11 in the storage unit 25. Then, the control unit 20 collectively transmits the operation information stored in the storage unit 25 to the remote monitoring server 4 at a predetermined timing (for example, the timing when the power-off operation is performed). Further, when error detection information is given from the work vehicle control device 11, the control unit 20 stores the error detection information in the storage unit 25 and transmits the error detection information to the remote monitoring server 4.
  • FIG. 3 is a block diagram showing the electrical configuration of the remote monitoring server 4.
  • the remote monitoring server 4 includes a control unit 30.
  • a communication unit 31, an operation display unit 32, an operation unit 33, a storage unit 34 and the like are connected to the control unit 30.
  • the communication unit 31 is a communication interface for the control unit 30 to communicate with the remote monitoring terminal 12 (work vehicle 2) and the portable terminal 3 via the communication network 6.
  • the operation display unit 32 is, for example, a touch panel display.
  • the operation unit 33 includes, for example, a keyboard, a mouse, and the like.
  • the storage unit 34 is configured of storage devices such as a hard disk and a non-volatile memory.
  • the storage unit 34 is provided with a basic table 35, a replacement part table 36, a part replacement procedure table 37, an error monitoring table 38, a maintenance history management table 39, and the like.
  • the basic table 35 for each telephone number of the remote monitoring terminal 12 provided on the work vehicle 2, the type, machine number, latest position information, operation time, and other operation information of the work vehicle 2 (Not shown) etc. are stored.
  • the latest position information and the operation time are updated by the control unit 30 each time position information and operation information are received from the corresponding work vehicle 2.
  • the replacement part table 36 stores, for each error code, the code (replacement part code) and the part name of the part requiring replacement in order to cancel the error represented by the error code.
  • the replacement part code is an example of the failed part identification information.
  • a replacement part code and a part name for each of the plurality of parts are stored corresponding to the error code.
  • the part replacement procedure table 37 stores replacement procedure information of the part for each part code (replacement part code).
  • the parts replacement procedure information is stored, for example, as a PDF file.
  • the error monitoring table 38 is a table in which information such as an error code is stored when the error detection information from the work vehicle 2 is received. Specifically, when the error detection information from the work vehicle 2 is received, as shown in FIG. 5A, the control unit 30 makes an error information including the telephone number of the work vehicle 2, an error occurrence date, an error code, etc. It is stored in the monitoring table 38.
  • the maintenance history management table 39 is a table for managing maintenance history information. As shown in FIG. 5B, the maintenance history information includes the telephone number of the work vehicle 2 on which the maintenance has been performed, the date and time the maintenance was performed (maintenance date and time), the content of the maintenance, and the like. The maintenance history information is input by, for example, an operator or the like after the end of the maintenance.
  • control unit 30 includes a microcomputer provided with a CPU and a memory (ROM, RAM, etc.).
  • the control unit 30 includes a remote monitoring unit 41 and a server-side identification control unit 42.
  • the remote monitoring unit 41 updates the operation information in the basic table 35 or adds the operation information in the basic table 35 when the operation information from the work vehicle 2 is received. Further, when receiving the error detection information from the work vehicle 2, the remote monitoring unit 41 stores the error information in the error monitoring table 38 and notifies the serviceman of these contents via the operator or directly. .
  • the remote monitoring unit 41 when receiving the error detection information, displays a warning indicating that the error detection information has been received, or outputs a warning sound to indicate that the error detection information has been received. Inform the operator. When the operator recognizes that the error detection information has been received, the operator notifies the service person of the error information. Alternatively, when receiving the error detection information, the remote monitoring unit 41 creates an error notification e-mail including the error information, and transmits the error notification e-mail to a preset service person.
  • the server-side identification control unit 42 performs a server-side identification control process of specifying the work vehicle (identification target) captured by the mobile terminal 3 and transmitting individual information on the specified work vehicle to the mobile terminal 3. Details of the server-side identification control process will be described later.
  • FIG. 6 is a block diagram showing the electrical configuration of the portable terminal 3.
  • the portable terminal 3 includes a control unit 50. To the control unit 50, a position detection unit 51, an attitude / orientation detection unit 52, an imaging unit 53, a communication unit 54, an operation display unit 55, an operation unit 56, a storage unit 57, and the like are connected.
  • the position detection unit 51 calculates the position information of the portable terminal 3 based on the satellite positioning system.
  • the satellite positioning system is a Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the position detection unit 51 receives satellite signals from a plurality of positioning satellites 7 (see FIG. 1), and calculates position information of the portable terminal 3.
  • Position information consists of latitude, longitude, and altitude information, for example.
  • the attitude / orientation detection unit 52 detects the attitude and orientation of the mobile terminal 3.
  • the attitude of the mobile terminal 3 indicates the inclination angle in the three-dimensional direction of the mobile terminal 3, and the azimuth of the mobile terminal 3 indicates the imaging direction by the imaging unit 53.
  • the attitude / orientation detection unit 52 detects the attitude and orientation of the mobile terminal 3 using, for example, a gyro sensor, an acceleration sensor, a geomagnetic sensor, or the like.
  • terminal position information information including at least the position is referred to as terminal position information.
  • the terminal position information includes all information of position, attitude and orientation.
  • the imaging unit 53 images the work vehicle 2 to be identified using an imaging device such as, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • an imaging device such as, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the communication unit 54 is a communication interface for the control unit 50 to communicate with the remote monitoring server 4 via the communication network 6.
  • the operation display unit 55 is, for example, a touch panel display.
  • the operation unit 56 includes, for example, one or more operation buttons.
  • the storage unit 57 is configured of a storage device such as a non-volatile memory.
  • the storage unit 57 is provided with component image tables 58, 58,... For each type of the work vehicle 2. As shown in FIG. 7, in each component image table 58, for each component code of the components that make up the work vehicle 2 of that type, information (component position information) representing the position of the component and an image of the component (components Images are stored.
  • the component image is a three-dimensional CG image in this embodiment.
  • the component image may be a photographic image or a two-dimensional CG image.
  • the component image is displayed superimposed on the captured image, for example, in order to clearly indicate the component to be replaced on the captured image, as described later.
  • the part position information is information representing the position of the part based on the position of the type information described on the side surface of the work vehicle 2. For example, when the observer sees the side on which the type information 9 of the work vehicle 2 is described from the outside of the work vehicle 2, the xyz coordinate value of the XYZ coordinate system with the position of the type information 9 as the origin It can be used as part position information.
  • the X-axis direction is the longitudinal direction of the vehicle (the lateral direction of the side surface)
  • the Y-axis direction is the height direction of the vehicle (the longitudinal direction of the side surface)
  • the Z-axis direction is the lateral direction of the vehicle It is also good for the depth direction from the side.
  • the reference display size of the component image stored in the component image table 58 is set to a size which is a predetermined multiple of the size of the actual component.
  • coordinate values which are part position information, are also set to values obtained by multiplying the actual coordinate values for the work vehicle 2 by, for example, the predetermined value.
  • the work vehicle of a size obtained by multiplying the actual work vehicle by a predetermined size is a reference work vehicle
  • the absolute value of the part position information (coordinate value) and the reference display size of the part image correspond to the reference work vehicle. Is set.
  • the size of the work vehicle 2 in the image captured by the imaging unit 53 changes in accordance with imaging conditions such as the distance between the mobile terminal 3 and the work vehicle 2 and the zoom amount. Therefore, in order to superimpose and display the component image on the corresponding position of the work vehicle in the captured image, the absolute value of the component position information and the display size of the component image are sized according to the size of the work vehicle in the captured image Need to be changed.
  • This change can be made, for example, as follows. That is, from the size of the type information 9 of the work vehicle in the image, the ratio of the size of the work vehicle in the image to the size of the reference work vehicle is determined. Then, based on this ratio, the absolute value of the part position information and the display size of the part image are adjusted to a size according to the size of the work vehicle in the image.
  • the control unit 50 includes a microcomputer including a CPU and a memory (ROM, RAM, non-volatile memory, etc.) 60.
  • the memory (in detail, non-volatile memory) 60 stores the above-described vehicle identification / information addition program.
  • Control unit 50 includes a terminal-side identification control unit 61 that executes terminal-side identification control processing according to the identification / information addition program when the vehicle identification / information addition program is activated.
  • FIG. 8 is a flowchart illustrating an example of a procedure of terminal-side identification control processing executed by the terminal-side identification control unit 61.
  • FIG. 9 is a flowchart illustrating an example of the procedure of the server-side identification control process executed by the server-side identification control unit 42.
  • the service person After the service person arrives at a place where a work vehicle (error vehicle) in which an error occurs is present, the service person operates the portable terminal 3. , And is started by starting a vehicle identification and information addition program.
  • a work vehicle error vehicle
  • the terminal-side identification control unit 61 brings the imaging unit 53 into operation (step S1).
  • an image is captured by the imaging unit 53, and the captured image is displayed on the operation display unit 55 via the control unit 50.
  • the captured image is also input to the terminal-side identification control unit 61.
  • the serviceman directs the portable terminal 3 to the side of the error vehicle so that the side of the error vehicle in which the type information 9 is described is captured.
  • the terminal side identification control unit 61 performs type information extraction processing for extracting type information from the input image (step S2). This type information extraction process can be performed using a known image recognition technology.
  • the terminal identification control unit 61 transmits identification determination information including the extracted type information and the terminal position information to the remote monitoring server 4 (step S3).
  • the server-side identification control unit 42 of the remote monitoring server 4 receives the identification determination information from the terminal-side identification control unit 61 (step S11: YES), the terminal position in the identification determination information
  • the search area is set based on the information (step S12: YES).
  • the server-side identification control unit 42 has a radius r expanding from the portable terminal 3 toward the imaging direction of the imaging unit 53 (direction A indicated by the arrow in FIG. 10) in plan view.
  • the fan-shaped area (hatching area) S of is set as a search area.
  • the angle formed by the two radii of the fan-shaped area S is the central angle of the fan-shaped area S.
  • the central angle of the fan-shaped area S is 2 ⁇ of the sum of the angle ⁇ formed by one radius of the fan-shaped area S and the imaging direction A, and the angle ⁇ formed by the other radius of the fan-shaped area S and the imaging direction A.
  • the radius r is set to 30 m and ⁇ is set to 15 degrees. That is, in this embodiment, the central angle of the fan-shaped area S is set to 30 degrees.
  • the server-side identification control unit 42 exists in the search area S and the type in the identification determination information The work vehicle 2 satisfying the condition of the same type as the information is searched for (step S13).
  • the server-side identification control unit 42 determines whether only one working vehicle 2 satisfying the condition is found, or two or more working vehicles 2 are found (step S14).
  • the server-side identification control unit 42 includes an identification failure command indicating that the error vehicle captured by the portable terminal 3 could not be identified. Result information is transmitted to the portable terminal 3 (step S15).
  • step S14 when only one work vehicle 2 satisfying the condition is found, the server-side identification control unit 42 determines that the work vehicle 2 is an error vehicle (identification target) captured by the portable terminal 3 (Step S16). Then, the server-side identification control unit 42 proceeds to step S18.
  • the server-side identification control unit 42 exists at a position closest to the portable terminal 3 among the plurality of work vehicles 2
  • the work vehicle 2 is specified as an error vehicle (identification target) captured by the mobile terminal 3 (step S17). Then, the process proceeds to step S18.
  • step S18 the server-side identification control unit 42 acquires individual information on the work vehicle 2 identified as an error vehicle (identification target) based on the tables 35 to 38, and the acquired individual information and the identification success command Is transmitted to the portable terminal 3.
  • the server-side identification control unit 42 acquires, from the basic table 35 of FIG. 4A, information such as the type, machine number, and operating time of the work vehicle 2 identified as the error vehicle.
  • the server-side identification control unit 42 also acquires an error code that is the cause of the current error of the work vehicle 2 identified as an error vehicle from the error monitoring table 38 of FIG. 5A.
  • the server-side identification control unit 42 acquires the replacement part code and the part name corresponding to the error code acquired from the error monitoring table 38 from the replacement part table 36 in FIG. 4B.
  • the server-side identification control unit 42 acquires component replacement procedure information corresponding to each replacement component code acquired from the replacement component table 36 from the component replacement procedure table 37 of FIG. 4C.
  • the server-side identification control unit 42 receives the individual information (type, machine number, operating time, error code, replacement part code and part name, part replacement procedure information, etc.) acquired from the tables 35 to 38, an identification success command, Is transmitted to the portable terminal 3.
  • individual information type, machine number, operating time, error code, replacement part code and part name, part replacement procedure information, etc.
  • step S5 when the terminal side identification control unit 61 of the portable terminal 3 receives the identification result information from the remote monitoring server 4 (step S4: YES), whether or not the command contained therein is an identification success command The following is determined (step S5). If the command included in the identification result information is an identification failure command (step S5: NO), the terminal-side identification control unit 61 returns to step S2.
  • the terminal-side identification control unit 61 performs an information addition process (step S6). Specifically, as shown in FIG. 11, the terminal-side identification control unit 61 superimposes and displays the model, the machine number, and the operating time included in the identification result information on the captured image. Further, as shown in FIG. 11, the terminal-side identification control unit 61 superimposes and displays the error code and the replacement part name included in the identification result information, and the replacement procedure button 71 on the captured image.
  • the replacement part name is the MH sensor.
  • a replacement part code may be displayed instead of or in addition to the replacement part name.
  • the terminal-side identification control unit 61 determines the part image table corresponding to the type based on the type included in the identification result information and the replacement part code (in this example, the part name corresponding to the code is the MH sensor). The part position information and the part image corresponding to the said replacement part code are acquired from. Next, as described above, the terminal-side identification control unit 61 adjusts the component position information absolute value and the display size of the component image based on the size of the type information 9 extracted from the captured image. Then, the terminal-side identification control unit 61 superimposes the component image on the captured image in the display size after adjustment at the position indicated by the component position information after adjustment as shown by the component image 72 within the broken line in FIG. indicate. Although not shown in FIG. 11, in order to inform the user of the position to be the reference of the identification determination, the enlarged image of the small area including the type information 9 of the work vehicle 2 For example, it may be displayed at one corner.
  • the terminal-side identification control unit 61 determines whether or not the serviceman has performed an operation for re-identifying the error vehicle (step S7). Although not shown in FIG. 11, the terminal-side identification control unit 61 displays, for example, a re-identification button on the display screen, and when the re-identification button is operated by a service person, the identification of the error vehicle is It may be determined that an operation to redo is performed.
  • step S7 When the operation for re-identifying the error vehicle is not performed (step S7: NO), the terminal-side identification control unit 61 causes the service person to perform an operation for ending the vehicle identification / information addition program. It is determined whether it has been received (step S8). If the operation for ending the vehicle identification / information addition program has not been performed (step S8: NO), the terminal-side identification control unit 61 returns to step S7.
  • step S7 If it is determined in step S7 that the operation for re-identifying the error vehicle has been performed (step S7: YES), the terminal-side identification control unit 61 returns to step S2. Thereby, the process after step S2 is performed again.
  • step S8 If it is determined in step S8 that the operation for ending the vehicle identification / information addition program has been performed (step S8: YES), the terminal-side identification control unit 61 ends the terminal-side identification control process. .
  • the working vehicle 2 as identification object is imaged with the portable terminal 3, and the model information of the said identification object is extracted.
  • identification determination information including the type information of the identification target and the terminal position information of the portable terminal 3 is transmitted to the remote monitoring server 4.
  • the search area S is set based on the terminal position information, and the work vehicle 2 satisfying the condition that it is present in the set search area S and is the same type as the type information of the identification target is searched Be done.
  • the work vehicle 2 satisfying the condition is found, the work vehicle 2 is specified as an identification target. Therefore, even when there are a plurality of work vehicles 2 having the same type information among a plurality of work vehicles 2, the identification target can be identified at the individual level by imaging the identification target with the portable terminal 3 It will be.
  • individual information such as a model to be identified, a machine number, an operation time, an error code, a replacement part name, and part replacement procedure information can be superimposed and displayed on a captured image of the portable terminal 3.
  • the user of the portable terminal 3 the serviceman in the example of the embodiment
  • recognizes individual information such as the model to be identified, model number, operating time, error code, replacement part name, and part replacement procedure information. Will be able to
  • the component image corresponding to the replacement component code included in the individual information can be superimposed and displayed on the corresponding position of the captured image of the portable terminal 3.
  • the user of the portable terminal 3 in the example of the embodiment, the service person
  • the failure point can visually recognize the failure point.
  • the portable terminal 3 may superimpose and display information related to maintenance on the captured image as shown in FIG.
  • the MH sensor part image 72
  • Such a message is created by the remote monitoring server 4 based on the maintenance history management table 39 (see FIG. 5B) in step S18 of FIG.
  • the remote monitoring server 4 may create, for example, a maintenance recommendation message or the like predicted from various detection values of the identification target 2 as the individual information, and may be included in the individual information.
  • the maintenance recommendation message can be displayed on the mobile terminal 3.
  • An example of the maintenance recommendation message may be, for example, "Loss sensor value is high. We recommend checking once.”
  • the portable terminal 3 transmits, to the remote monitoring server 4, terminal position information including position, attitude, and orientation, and identification determination information including type information.
  • the terminal position information may include at least position information among position, attitude, and orientation. If the terminal position information includes, for example, position information but does not include attitude and orientation information, the remote monitoring server 4 centers on the mobile terminal 3 in a plan view of the search area S. It may be set in a circular area of a predetermined radius.
  • the GNSS single positioning system is used as the positioning system used for the remote monitoring terminal 12 and the portable terminal 3 of the work vehicle 2.
  • RTK-GNSS Real-time Kinematic GNSS
  • a positioning system other than a single positioning system such as may be used.
  • the work vehicle which is an identification object is a tractor, a rice transplanter, a civil engineering and construction work vehicle, a snow removal car, a riding type work machine It may be a working vehicle other than a combine working machine such as a walking type working machine.
  • an identified object may be objects other than a work vehicle.
  • Work vehicle identification system 2 Work vehicle 3 Terminal device (portable terminal) 4 remote monitoring server 11 work vehicle control device 12 remote monitoring terminal 30 control unit 31 communication unit 32 operation display unit 33 operation unit 34 storage unit 35 basic table 36 replacement parts table 37 parts replacement procedure table 38 error monitoring table 39 maintenance history management table 41 remote monitoring unit 42 server side identification control unit 50 control unit 51 position detection unit 52 attitude / direction detection unit 53 imaging unit 54 communication unit 55 operation display unit 57 storage unit 58 component image table 61 terminal side identification control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

端末装置は、撮像部によって撮像された撮像画像に含まれる識別対象の特徴情報を抽出し、抽出された特徴情報と端末位置情報とを含む識別判定用情報を、サーバに送信する端末側識別制御部とを含む。サーバは、被識別物体毎に、当該被識別物体の特徴情報および位置情報が記憶された記憶部と、端末装置から受信した識別判定用情報内の端末位置情報に基づいて探索領域を設定し、設定した探索領域内に存在しかつ識別判定用情報内の特徴情報と同じ特徴情報を有するという条件を満たす所定の被識別物体を探索し、この条件を満たす所定の被識別物体を探索できたときに、当該所定の被識別物体を識別対象として特定するサーバ側識別制御部とを含む。

Description

物体識別システム
　この発明は、物体識別システムに関する。
　特許文献１には、カメラを備えた端末装置と、端末装置と通信可能なサーバとを備えた物体識別システムが開示されている。具体的には、端末装置は、カメラで撮像された画像（入力画像）をサーバに送信する。サーバは、端末装置から受信した画像の特徴量を抽出し、抽出した特徴量を第１特徴量辞書と照合することにより、受信画像に映っている物体を識別する。そして、サーバは、識別結果に応じて、端末装置に提供すべき第２特徴量辞書と付加情報データベースとを取得して、端末装置に送信する。第２特徴量辞書は、第１特徴量辞書よりもデータ量が少ない辞書である。
　端末装置は、入力画像の特徴量を抽出し、サーバから取得した第２特徴量辞書と照合することにより、入力画像に映っている物体を識別する。次に、端末装置は、識別された物体に関連する付加情報を、サーバから取得した付加情報データベースから取得し、取得した付加情報を入力画像に重畳することにより、出力画像を生成する。そして、端末装置は、出力画像を表示部に表示する。
特開第２０１５－２１２９６７号公報
　上記特許文献１に記載の物体識別システムでは、端末装置は、入力画像の特徴量と、サーバから取得した第２特徴量辞書とを照合することによって、入力画像に映っている物体を識別している。しかしながら、例えば、作業車両のように、同じ型式の作業車両が複数存在している場合には、入力画像に映っている作業車両の特徴量から、当該作業車両を個体レベルで識別することは困難である。
　この発明の目的は、複数の被識別物体の中に同じ特徴情報を有する複数の被識別物体が存在する場合でも、端末装置で識別対象を撮像することによって、当該識別対象を個体レベルで識別することができるようになる物体識別システムを提供することである。
　この発明による物体識別システムは、外部から撮像可能な特徴情報を有する複数の被識別物体のうち、識別すべき被識別物体である識別対象を撮像可能な端末装置と、前記端末装置と通信可能なサーバとを含み、前記端末装置は、当該端末装置の位置および方位を含む端末位置情報を検出する検出部と、前記識別対象を撮像するための撮像部と、前記撮像部によって撮像された撮像画像に含まれる前記識別対象の特徴情報を抽出し、抽出された特徴情報と前記端末位置情報とを含む識別判定用情報を、前記サーバに送信する端末側識別制御部とを含み、前記サーバは、前記被識別物体毎に、当該被識別物体の特徴情報および位置情報が記憶された記憶部と、前記端末装置から受信した前記識別判定用情報内の端末位置情報に基づいて探索領域を設定し、設定した探索領域内に存在しかつ前記識別判定用情報内の特徴情報と同じ特徴情報を有するという条件を満たす所定の被識別物体を探索し、前記条件を満たす所定の被識別物体を探索できたときに、当該所定の被識別物体を前記識別対象として特定するサーバ側識別制御部とを含む。
　被識別物体とは、この発明の物体識別システムによって識別されるべき対象となり得る物体を意味する。識別対象とは、複数の被識別物体のうち、識別されるべき対象をいう。
　この構成では、端末装置の撮像部によって識別対象が撮像され、当該識別対象の特徴情報が抽出される。そして、識別対象の特徴情報と端末位置情報とを含む識別判定用情報がサーバに送信される。サーバ側では、端末位置情報に基づいて探索領域が設定され、設定された探索領域内に存在しかつ識別判定用情報内の特徴情報（識別対象の特徴情報）と同じ特徴情報を有するという条件を満たす被識別物体が探索される。そして、前記条件を満たす被識別物体が見つけられると、当該被識別物体が識別対象として特定される。したがって、複数の被識別物体の中に同じ特徴情報を有する複数の被識別物体が存在する場合でも、端末装置で識別対象を撮像することによって、当該識別対象を個体レベルで識別することができるようになる。
　この発明の一実施形態では、前記サーバ側識別制御部は、前記条件を満たす所定の被識別物体が複数存在するときには、これらの複数の所定の被識別物体のうち前記端末装置に最も近い位置に存在する所定の被識別物体を前記識別対象として特定するように構成されている。
　この構成では、撮像画像内に識別対象と同じ特徴情報を有する複数の被識別物体が存在している場合でも、識別対象を特定することが可能となる。
　この発明の一実施形態では、前記記憶部には、前記被識別物体毎に、当該被識別物体の特徴情報、位置情報および個別情報が記憶されており、前記サーバ側識別制御部は、前記所定の被識別物体を前記識別対象として特定したときには、前記記憶部に記憶されている当該所定の被識別物体の個別情報を、前記端末装置に送信するように構成されている。
　この構成では、識別対象として特定された被識別物体の個別情報を、サーバから端末装置に送信できるようになる。
　この発明の一実施形態では、前記端末装置は、前記撮像部で撮像されている撮像画像を表示するための表示部をさらに含み、前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報を、前記表示部に表示されている撮像画像に重畳表示するように構成されている。
　この構成では、端末装置の使用者は、識別対象の個別情報を認識できるようになる。
　この発明の一実施形態では、前記個別情報は、対応する被識別物体を識別する識別情報、対応する被識別物体の稼働情報および対応する被識別物体のメンテンス情報のうちの少なくとも１つを含む。
　この構成では、端末装置の使用者は、識別対象の識別情報、稼働情報およびメンテンス情報のうちの少なくとも１つを認識することが可能となる。
　この発明の一実施形態では、前記個別情報は、対応する被識別物体の故障部品を表す故障部品識別情報を含んでおり、前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報に含まれている故障部品識別情報に基づいて、前記表示部に表示されている撮像画像に、前記故障部品識別情報に対応する故障部品の画像を重畳表示するように構成されている。
　この構成では、端末装置の使用者は、故障個所を視覚的に認識することができるようになる。
　この発明の一実施形態では、前記特徴情報は、対応する被識別物体の型式情報である。
　本発明における上述の、またはさらに他の目的、特徴および効果は、添付図面を参照して次に述べる実施形態の説明により明らかにされる。
図１は、この発明の一実施形態に係る物体識別システムが適用された作業車両識別システムの構成を示す模式図である。 図２は、作業車両の主要な電気的構成を示すブロック図である。 図３は、遠隔監視サーバの電気的構成を示すブロック図である。 図４Ａは基本テーブルの内容例を示す模式図である。 図４Ｂは交換部品テーブルの内容例を示す模式図である。 図４Ｃは部品交換手順テーブルの内容例を示す模式図である。 図５Ａはエラー監視テーブルの内容例を示す模式図である。 図５Ｂはメンテナンス履歴管理テーブルの内容例を示す模式図である。 図６は、携帯端末の電気的構成を示すブロック図である。 図７は、部品画像テーブルの内容例を示す模式図である。 図８は、端末側識別制御部によって実行される端末側識別制御処理の手順の一例を示すフローチャートである。 図９は、サーバ側識別制御部によって実行されるサーバ側識別制御処理の手順の一例を示すフローチャートである。 図１０は、探索領域の設定方法を説明するための模式図である。 図１１は、撮像画像に個別情報および部品画像が重畳された例を示す模式図である。 図１２は、撮像画像に個別情報および部品画像が重畳された他の例を示す模式図である。
　図１は、この発明の一実施形態に係る物体識別システムが適用された作業車両識別システムの構成を示す模式図である。
　作業車両識別システム１は、被識別物体としての作業車両２を個体レベルで識別するためのシステムである。作業車両識別システム１は、携帯型の端末装置（以下、「携帯端末３」という）と、遠隔監視サーバ４とを含む。
　作業車両２は、通信網６を介して遠隔監視サーバ４と通信可能である。作業車両２は、測位衛星７を利用して自己位置を測位する機能を備えている。作業車両２の側面には、型式を表す型式情報９が記載されている。図１に示されている作業車両２の型式情報９は、“ＹＨ４４８”である。型式情報９は、被識物体の特徴情報の一例である。
　携帯端末３は、スマートフォン、タブレット型パーソナルコンピュータ（タブレット型ＰＣ）等の携帯端末からなる。この実施形態では、携帯端末３は、スマートフォンである。携帯端末３は、ＣＣＤカメラ等の撮像部５３（図６参照）を備えている。また、携帯端末３は、測位衛星７を利用して自己位置を測位する機能を備えている。携帯端末３には、本実施形態を実施するために開発された車両識別・情報付加プログラムが搭載されている。車両識別・情報付加プログラムは、遠隔監視サーバ４と連携して作業車両２の識別を行うとともに、ＡＲを利用して撮像画像への情報付加を行うためのアプリケーションプログラムである。ここでＡＲは、拡張現実（Augmented Reality）と呼ばれ、現実空間に付加情報を表示させ、現実世界を拡張する技術である。携帯端末３は、通信網６を介して遠隔監視サーバ４と通信可能である。この実施形態では、携帯端末３は、例えば、作業車両２のメンテナンスを行う際に、メンテナンスを行うサービスマンによって携帯される。
　遠隔監視サーバ４は、複数の作業車両２を遠隔監視するためのサーバであり、遠隔監視センター５内に設けられている。遠隔監視サーバ４は、通信網６を介して、作業車両２および携帯端末３と通信可能である。
　作業車両識別システム１の全体的な動作の概要について説明する。
　作業車両２は、作業車両２の識別情報、位置情報、稼働情報、エラー検知情報（異常情報）等を、遠隔監視サーバ４に送信する。作業車両２から遠隔監視サーバ４に送信される作業車両２の識別情報は、この実施形態では、後述するように、作業車両２に設けられた遠隔監視端末１２（図２参照）の電話番号である。この識別情報は、作業車両２に割り当てられたユニークな識別情報である機番であってもよい。
　遠隔監視サーバ４は、作業車両２から、識別情報、位置情報、稼働情報、エラー検知情報等を受信すると、これらの情報を当該作業車両２の識別情報、型式情報および機番に関係付けて記憶する。遠隔監視サーバ４は、作業車両２からのエラー検知情報を受信した場合には、オペレータを介してまたは直接に、サービスマンにその旨を通知する。サービスマンは、携帯端末３を携帯して、エラーが発生している作業車両２が存在している場所に出向く。以下において、前記エラーが発生している作業車両２を「エラー車両」という場合がある。
　エラー車両が存在している場所にサービスマンが到着すると、サービスマンは、携帯端末３を操作して、車両識別・情報付加プログラムを起動する。車両識別・情報付加プログラムが起動されると、撮像部５３が作動状態となるので、サービスマンは携帯端末３の撮像方向をエラー車両（識別対象）の側面に合わせる。より具体的には、エラー車両における型式情報９が記載されている側面が撮像されるように、サービスマンは携帯端末３をエラー車両に向ける。これにより、撮像部５３からエラー車両を含む画像が携帯端末３に入力される状態となる。
　携帯端末３は、入力画像から型式情報９を抽出する。そして、携帯端末３は、抽出した型式情報９ならびに携帯端末３の位置情報（携帯端末３の姿勢および方位の情報を含んでいてもよい）を含む識別判定用情報を遠隔監視サーバ４に送信する。
　遠隔監視サーバ４は、携帯端末３からの識別判定用情報を受信すると、識別判定用情報内の位置情報に基づいて、携帯端末３の近傍に探索領域を設定する。次に、遠隔監視サーバ４は、複数の作業車両２の最新の位置情報に基づいて、探索領域内に存在しかつ識別判定用情報内の型式情報９と同型式であるという条件を満たす作業車両２を探索する。そして、前記条件を満たす作業車両２が見つかると、遠隔監視サーバ４は、当該作業車両２をエラー車両（識別対象）として特定し、当該作業車両２に関する情報（以下、「個別情報」という）を、携帯端末３に送信する。携帯端末３は、個別情報を受信すると、個別情報内の所定の情報を入力画像に重畳表示したり、個別情報内の所定の情報に対応する画像（例えば部品画像）を入力画像に重畳表示したりする。
　以下、作業車両２、遠隔監視サーバ４および携帯端末３の電気的構成について説明する。
　図２は、作業車両２の主要な電気的構成を示すブロック図である。
　作業車両２は、作業車両制御装置１１と、遠隔監視端末１２とを含む。作業車両制御装置１１は、作業車両２の各部の電気機器を制御する。作業車両２が例えばコンバインである場合には、作業車両制御装置１１は、走行装置、刈取装置、搬送装置、脱穀装置等のコンバインの各部の電気機器を制御する。作業車両制御装置１１は、作業車両２の稼働情報、エラー検知情報等を遠隔監視端末１２に与える。稼働情報としては、稼働時間、エンジン回転数、排気温度、アクセルの操作状態、ブレーキの操作状態等が挙げられる。この実施形態では、エラー検知情報は、エラーの種類を示すエラーコードを含む。
　遠隔監視端末１２は、作業車両２の位置情報、作業車両制御装置１１から与えられた稼働情報およびエラー検知情報等を遠隔監視サーバ４に送信する。この実施形態では、遠隔監視端末１２には、通信用の電話番号が設定されている。
　遠隔監視端末１２は、制御部２０を備えている。制御部２０には、位置検出部２１、通信部２２、操作表示部２３、操作部２４、記憶部２５等が接続されている。位置検出部２１は、衛星測位システムに基づいて遠隔監視端末１２の位置情報を算出する。この実施形態では、衛星測位システムは、ＧＮＳＳ（Global Navigation Satellite System）である。具体的には、位置検出部２１は、複数の測位衛星７（図１参照）からの衛星信号を受信して、遠隔監視端末１２（作業車両２）の位置情報を算出する。位置情報は、例えば、緯度、経度および高度情報からなる。
　通信部２２は、制御部２０が通信網６を介して遠隔監視サーバ４と通信するための通信インタフェースである。操作表示部２３は、例えば、タッチパネル式ディスプレイからなる。操作部２４は、例えば、１または複数の操作ボタンを含む。記憶部２５は、不揮発性メモリ等の記憶デバイスから構成されている。
　制御部２０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ等）を備えたマイクロコンピュータを含む。制御部２０は、位置検出部２１によって算出される位置情報を所定時間毎に取得して記憶部２５に記憶する。そして、制御部２０は、所定時間毎に、記憶部２５に記憶されている最新の位置情報を遠隔監視サーバ４に送信する。
　また、制御部２０は、作業車両制御装置１１から与えられた稼働情報を記憶部２５に蓄積する。そして、制御部２０は、記憶部２５に蓄積されている稼働情報を、所定のタイミング（例えば、電源オフ操作が行われたタイミング）で、一括して遠隔監視サーバ４に送信する。また、制御部２０は、作業車両制御装置１１からエラー検知情報が与えられたときには、当該エラー検知情報を記憶部２５に記憶するとともに、当該エラー検知情報を遠隔監視サーバ４に送信する。
　図３は、遠隔監視サーバ４の電気的構成を示すブロック図である。
　遠隔監視サーバ４は、制御部３０を備えている。制御部３０には、通信部３１、操作表示部３２、操作部３３、記憶部３４等が接続されている。通信部３１は、制御部３０が通信網６を介して遠隔監視端末１２（作業車両２）および携帯端末３と通信するための通信インタフェースである。操作表示部３２は、例えば、タッチパネル式ディスプレイからなる。操作部３３は、例えば、キーボード、マウス等を含む。記憶部３４は、ハードディスク、不揮発性メモリ等の記憶デバイスから構成されている。
　記憶部３４には、基本テーブル３５、交換部品テーブル３６、部品交換手順テーブル３７、エラー監視テーブル３８、メンテナンス履歴管理テーブル３９等が設けられている。
　基本テーブル３５は、図４Ａに示すように、作業車両２に設けられた遠隔監視端末１２の電話番号毎に、当該作業車両２の型式、機番、最新位置情報、稼働時間、その他の稼働情報（図示略）等が記憶される。最新位置情報および稼働時間は、それぞれ対応する作業車両２から位置情報および稼働情報を受信する毎に制御部３０によって更新される。
　交換部品テーブル３６は、図４Ｂに示すように、エラーコード毎に、当該エラーコードで表されるエラーを解除するために交換が必要な部品のコード（交換部品コード）および部品名称が記憶される。交換部品コードは、故障部品識別情報の一例である。１つのエラーコードに対して複数の部品の交換が必要である場合には、当該エラーコードに対応して、これらの複数の部品それぞれに対する交換部品コードおよび部品名称が記憶される。
　部品交換手順テーブル３７は、図４Ｃに示すように、部品コード（交換部品コード）毎に、当該部品の交換手順情報が記憶される。部品交換手順情報は、例えば、ＰＤＦファイルとして記憶される。
　エラー監視テーブル３８は、作業車両２からのエラー検知情報を受信したときに、エラーコード等の情報が記憶されるテーブルである。具体的には、作業車両２からのエラー検知情報を受信すると、制御部３０は、図５Ａに示すように、作業車両２の電話番号、エラー発生日時、エラーコード等を含むエラー情報を、エラー監視テーブル３８に記憶する。
　メンテナンス履歴管理テーブル３９は、メンテナンス履歴情報を管理するためのテーブルである。メンテナンス履歴情報は、図５Ｂに示すように、メンテナンスが行われた作業車両２の電話番号、メンテナンスが行われた日時（メンテナンス日時）、メンテナンスの内容等からなる。メンテナンス履歴情報は、例えば、メンテナンス終了後において、オペレータ等によって入力される。
　図３に戻り、制御部３０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ等）を備えたマイクロコンピュータを含む。制御部３０は、遠隔監視部４１と、サーバ側識別制御部４２とを含む。遠隔監視部４１は、作業車両２からの稼働情報を受信したときに、基本テーブル３５内の稼働情報を更新したり、基本テーブル３５内に稼働情報を追加する。また、遠隔監視部４１は、作業車両２からのエラー検知情報を受信したときには、エラー監視テーブル３８にエラー情報を記憶するとともに、これらの内容を、オペレータを介してまたは直接にサービスマンに通知する。
　例えば、遠隔監視部４１は、エラー検知情報を受信したときに、エラー検知情報を受信したことを示す警告表示を行ったり、警告音を出力したりすることによって、エラー検知情報を受信したことをオペレータに報知する。オペレータは、エラー検知情報を受信したことを認識すると、エラー情報をサービスマンに通知する。あるいは、遠隔監視部４１は、エラー検知情報を受信したときに、エラー情報を含むエラー通知メールを作成して、予め設定されたサービスマン宛てにエラー通知メールを送信する。
　サーバ側識別制御部４２は、携帯端末３によって撮像されている作業車両（識別対象）を特定し、特定した作業車両に関する個別情報を携帯端末３に送信するといったサーバ側識別制御処理を行う。サーバ側識別制御処理の詳細については、後述する。
　図６は、携帯端末３の電気的構成を示すブロック図である。
　携帯端末３は、制御部５０を備えている。制御部５０には、位置検出部５１、姿勢・方位検出部５２、撮像部５３、通信部５４、操作表示部５５、操作部５６、記憶部５７等が接続されている。位置検出部５１は、衛星測位システムに基づいて携帯端末３の位置情報を算出する。この実施形態では、衛星測位システムは、ＧＮＳＳ（Global Navigation Satellite System）である。具体的には、位置検出部５１は、複数の測位衛星７（図１参照）からの衛星信号を受信して、携帯端末３の位置情報を算出する。位置情報は、例えば、緯度、経度および高度情報からなる。
　姿勢・方位検出部５２は、携帯端末３の姿勢および方位を検出する。携帯端末３の姿勢とは、携帯端末３の三次元方向の傾き角を示し、携帯端末３の方位とは、撮像部５３による撮像方向を示す。姿勢・方位検出部５２は、例えば、ジャイロセンサ、加速度センサ、地磁気センサ等を用いて、携帯端末３の姿勢および方位を検出する。
　以下において、位置検出部５１によって検出された位置ならびに姿勢・方位検出部５２によって検出された姿勢および方位のうち、少なくとも位置を含む情報を端末位置情報ということにする。ただし、この実施形態では、端末位置情報は、位置、姿勢および方位の全ての情報を含んでいる。
　撮像部５３は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスを用いて、被識別対象である作業車両２を撮像する。
　通信部５４は、制御部５０が通信網６を介して遠隔監視サーバ４と通信を行うための通信インタフェースである。操作表示部５５は、例えば、タッチパネル式ディスプレイからなる。操作部５６は、例えば、１または複数の操作ボタンを含む。記憶部５７は、不揮発性メモリ等の記憶デバイスから構成される。
　記憶部５７には、作業車両２の型式毎に部品画像テーブル５８，５８，…が設けられている。各部品画像テーブル５８には、図７に示すように、当該型式の作業車両２を構成する部品の部品コード毎に、その部品の位置を表す情報（部品位置情報）およびその部品の画像（部品画像）が記憶されている。部品画像は、この実施形態では、三次元のＣＧ画像である。なお、部品画像は、写真画像であってもよいし、二次元のＣＧ画像であってもよい。部品画像は、後述するように、例えば、交換すべき部品を撮像画像上に明示するために、撮像画像に重畳表示される。
　部品位置情報は、作業車両２の側面に記された型式情報の位置を基準とした部品の位置を表す情報である。例えば、作業車両２の型式情報９が記載されている側面を、作業車両２の外側方から観察者が見たときに、型式情報９の位置を原点としたＸＹＺ座標系のｘｙｚ座標値を、部品位置情報として用いることができる。この際、例えば、Ｘ軸方向を車両の前後方向（前記側面の横方向）にとり、Ｙ軸方向を車両の高さ方向（前記側面の縦方向）にとり、Ｚ軸方向を車両の左右方向（前記側面からの奥行方向）にとってもよい。
　部品画像テーブル５８に記憶される部品画像の基準表示サイズは、実際の部品の大きさの所定倍の大きさに設定されている。同様に、部品位置情報である座標値も、実際の作業車両２に対する座標値を例えば前記所定倍した値に設定されている。言い換えれば、実際の作業車両を所定倍した大きさの作業車両を、基準作業車両とすると、部品位置情報（座標値）の絶対値および部品画像の基準表示サイズは、基準作業車両に対応した大きさに設定されている。
　撮像部５３によって撮像される画像内の作業車両２の大きさは、携帯端末３と作業車両２との距離、ズーム量等の撮像条件に応じて変化する。したがって、部品画像を撮像画像内の作業車両の対応する位置に重畳表示するためには、部品位置情報の絶対値および部品画像の表示サイズを、撮像画像内の作業車両の大きさに応じた大きさに変更する必要がある。この変更は、例えば次のように行うことができる。すなわち、画像内の作業車両の型式情報９の大きさから、基準作業車両の大きさに対する画像内の作業車両の大きさの比を求める。そして、この比に基づいて、部品位置情報の絶対値および部品画像の表示サイズを、画像内の作業車両の大きさに応じた大きさに調整する。
　制御部５０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）６０を備えたマイクロコンピュータを含む。メモリ（詳しくは不揮発性メモリ）６０には、前述した車両識別・情報付加プログラムが記憶されている。制御部５０は、車両識別・情報付加プログラムが起動されたときに、識別・情報付加プログラムに従って端末側識別制御処理を実行する端末側識別制御部６１を含む。
　図８は、端末側識別制御部６１によって実行される端末側識別制御処理の手順の一例を示すフローチャートである。図９は、サーバ側識別制御部４２によって実行されるサーバ側識別制御処理の手順の一例を示すフローチャートである。
　図８に示される端末側識別制御処理は、例えば、エラーが発生している作業車両（エラー車両）が存在している場所にサービスマンが到着した後、サービスマンが携帯端末３を操作して、車両識別・情報付加プログラムを起動することによって開始される。
　端末側識別制御処理が開始されると、端末側識別制御部６１は、撮像部５３を作動状態にする(ステップＳ１)。これにより、撮像部５３によって画像が撮像され、撮像画像は制御部５０を介して、操作表示部５５に表示される。この撮像画像は、端末側識別制御部６１にも入力される。サービスマンは、型式情報９が記載されているエラー車両の側面が撮像されるように、携帯端末３をエラー車両の側面に向ける。
　端末側識別制御部６１は、入力画像から型式情報を抽出するための型式情報抽出処理を行う(ステップＳ２)。この型式情報抽出処理は、公知の画像認識技術を用いて行うことができる。
　入力画像から型式情報が抽出されると、端末側識別制御部６１は、抽出された型式情報と端末位置情報とを含む識別判定用情報を遠隔監視サーバ４に送信する(ステップＳ３)。
　図９を参照して、遠隔監視サーバ４のサーバ側識別制御部４２は、端末側識別制御部６１からの識別判定用情報を受信すると(ステップＳ１１：ＹＥＳ)、識別判定用情報内の端末位置情報に基づいて、探索領域を設定する(ステップＳ１２：ＹＥＳ)。具体的には、サーバ側識別制御部４２は、図１０に示すように、平面視において、携帯端末３から撮像部５３の撮像方向（図１０に矢印で示す方向Ａ）に向かって拡がる半径ｒの扇形領域（ハッチング領域）Ｓを、探索領域として設定する。扇形領域Ｓの２つの半径がなす角が、扇型領域Ｓの中心角である。扇形領域Ｓの中心角は、扇形領域Ｓの一方の半径と撮像方向Ａとのなす角θと、扇形領域Ｓの他方の半径と撮像方向Ａとのなす角θとの和の２θとなる。この実施形態では、半径ｒは３０ｍに設定され、θは１５度に設定されている。つまり、この実施形態では、扇形領域Ｓの中心角は、３０度に設定されている。
　次に、サーバ側識別制御部４２は、図４Ａの基本テーブル３５に記憶されている複数の作業車両２の最新位置情報に基づいて、探索領域Ｓ内に存在しかつ識別判定用情報内の型式情報と同型式であるという条件を満たす作業車両２を探索する(ステップＳ１３)。
　そして、サーバ側識別制御部４２は、所定の探索時間後に、前記条件を満たす作業車両２が１台のみ見つかったか、２台以上見つかったか、１台もみつからなかったかを判別する(ステップＳ１４)。
　前記条件を満たす作業車両２が１台もみつからなかった場合には、サーバ側識別制御部４２は、携帯端末３で撮像されているエラー車両を特定できなかったことを表す識別失敗コマンドを含む識別結果情報を、携帯端末３に送信する（ステップＳ１５）。
　前記ステップＳ１４において、前記条件を満たす作業車両２が１台のみ見つかった場合には、サーバ側識別制御部４２は、当該作業車両２を、携帯端末３で撮像されているエラー車両（識別対象）として特定する(ステップＳ１６)。そして、サーバ側識別制御部４２は、ステップＳ１８に移行する。
　前記ステップＳ１４において、前記条件を満たす作業車両２が２台以上見つかった場合には、サーバ側識別制御部４２は、これらの複数の作業車両２のうち、携帯端末３に最も近い位置に存在する作業車両２を、携帯端末３で撮像されているエラー車両（識別対象）として特定する(ステップＳ１７)。そして、ステップＳ１８に移行する。
　前記ステップＳ１８では、サーバ側識別制御部４２は、テーブル３５～３８に基づいて、エラー車両（識別対象）として特定された作業車両２に関する個別情報を取得し、取得した個別情報と識別成功コマンドとを含む識別結果情報を、携帯端末３に送信する。
　具体的には、サーバ側識別制御部４２は、図４Ａの基本テーブル３５から、エラー車両として特定された作業車両２の型式、機番、稼働時間等の情報を取得する。また、サーバ側識別制御部４２は、図５Ａのエラー監視テーブル３８から、エラー車両として特定された作業車両２の今回のエラー原因であるエラーコードを取得する。そして、サーバ側識別制御部４２は、図４Ｂの交換部品テーブル３６から、エラー監視テーブル３８から取得したエラーコードに対応する交換部品コードおよび部品名称を取得する。さらに、サーバ側識別制御部４２は、図４Ｃの部品交換手順テーブル３７から、交換部品テーブル３６から取得した各交換部品コードに対応する部品交換手順情報を取得する。そして、サーバ側識別制御部４２は、テーブル３５～３８から取得した個別情報（型式、機番、稼働時間、エラーコード、交換部品コードおよび部品名称、部品交換手順情報等）と、識別成功コマンドとを含む識別結果情報を、携帯端末３に送信する。
　図８に戻り、携帯端末３の端末側識別制御部６１は、遠隔監視サーバ４からの識別結果情報を受信すると(ステップＳ４：ＹＥＳ)、それに含まれているコマンドが識別成功コマンドあるか否か以下を判別する(ステップＳ５)。識別結果情報に含まれているコマンドが識別失敗コマンドである場合には(ステップＳ５：ＮＯ)、端末側識別制御部６１は、ステップＳ２に戻る。
　識別結果情報に含まれているコマンドが識別成功コマンドである場合には(ステップＳ５：ＹＥＳ)、端末側識別制御部６１は、情報付加処理を行う(ステップＳ６)。具体的には、端末側識別制御部６１は、図１１に示すように、識別結果情報に含まれている型式、機番および稼働時間を撮像画像に重畳表示する。また、端末側識別制御部６１は、図１１に示すように、識別結果情報に含まれているエラーコードおよび交換部品名称と、交換手順ボタン７１とを撮像画像に重畳表示する。この例では、交換部品名称は、ＭＨセンサである。交換部品名称の代わりにまたはそれに加えて交換部品コードが表示されてもよい。サービスマンが交換手順ボタン７１を押すと、識別結果情報に含まれている部品交換手順情報が表示される。
　さらに、端末側識別制御部６１は、識別結果情報に含まれている型式および交換部品コード（この例では当該コードに対応する部品名称はＭＨセンサ）に基づいて、当該型式に対応する部品画像テーブルから当該交換部品コードに対応する部品位置情報および部品画像を取得する。次に、端末側識別制御部６１は、前述したように，撮像画像から抽出した型式情報９の大きさに基づいて、部品位置情報絶対値および部品画像の表示サイズを調整する。そして、端末側識別制御部６１は、図１１に破線内の部品画像７２に示すように、調整後の部品位置情報で示される位置に、調整後の表示サイズで、部品画像を撮像画像に重畳表示する。なお、図１１には示されていないが、利用者に対し、識別判定の基準となる位置を知らせるため、作業車両２の型式情報９を含む小領域の拡大画像を、画像の所定の領域（例えば１つの角部）に表示してもよい。
　この後、端末側識別制御部６１は、サービスマンによってエラー車両の識別をやり直すための操作が行われたか否かを判別する(ステップＳ７)。図１１には図示されていないが、端末側識別制御部６１は、例えば、表示画面上に識別やり直しボタンを表示し、この識別やり直しボタンがサービスマンによって操作されたときに、エラー車両の識別をやり直すための操作が行われたと判別するようにしてもよい。
　エラー車両の識別をやり直すための操作が行われていない場合には(ステップＳ７：ＮＯ)、端末側識別制御部６１は、サービスマンによって、車両識別・情報付加プログラムを終了させるための操作が行われたか否かを判別する(ステップＳ８)。車両識別・情報付加プログラムを終了させるための操作が行われていない場合には(ステップＳ８：ＮＯ)、端末側識別制御部６１は、ステップＳ７に戻る。
　前記ステップＳ７において、エラー車両の識別をやり直すための操作が行われたと判別された場合には(ステップＳ７：ＹＥＳ)、端末側識別制御部６１は、ステップＳ２に戻る。これにより、ステップＳ２以降の処理が再度実行される。
　前記ステップＳ８において、車両識別・情報付加プログラムを終了させるための操作が行われたと判別された場合には(ステップＳ８：ＹＥＳ)、端末側識別制御部６１は、端末側識別制御処理を終了する。
　前記実施形態では、携帯端末３によって識別対象としての作業車両２が撮像され、当該識別対象の型式情報が抽出される。そして、当該識別対象の型式情報と携帯端末３の端末位置情報とを含む識別判定用情報が、遠隔監視サーバ４に送信される。遠隔監視サーバ４側では、端末位置情報に基づいて探索領域Ｓが設定され、設定された探索領域Ｓ内に存在しかつ識別対象の型式情報と同型式であるという条件を満たす作業車両２が探索される。そして、前記条件を満たす作業車両２が見つけられると、当該作業車両２が識別対象として特定される。したがって、複数の作業車両２の中に同じ型式情報を有する複数の作業車両２が存在する場合でも、携帯端末３で識別対象を撮像することによって、当該識別対象を個体レベルで識別することができるようになる。
　また、前記実施形態では、識別対象の型式、機番、稼働時間、エラーコード、交換部品名称、部品交換手順情報等の個別情報を、携帯端末３の撮像画像に重畳表示することができる。これにより、携帯端末３の使用者（前記実施形態の例ではサービスマン）は、識別対象の型式、機番、稼働時間、エラーコード、交換部品名称、部品交換手順情報等の個別情報を認識することができるようになる。
　また、前記実施形態では、個別情報に含まれている交換部品コードに対応する部品画像を、携帯端末３の撮像画像の対応する位置に重畳表示することができる。これにより、携帯端末３の使用者（前記実施形態の例ではサービスマン）は、故障個所を視覚的に認識できるようになる。
　以上、この発明の実施形態について説明したが、この発明はさらに他の形態で実施することもできる。例えば、携帯端末３は、図８のステップＳ６の情報付加処理において、図１２に示すように、メンテナンスに関連する情報を、撮像画像に重畳表示するようにしてもよい。この例では、ＭＨセンサ（部品画像７２）は故障していないが、交換推奨対象とされている。図１２の例では、ＭＨセンサの部品画像７２に関して、「交換から１００時間が経過していますので、交換をお勧めします。」というメッセージと、「オイル交換は２０１６／０６／１２に行いました。」というメッセージとが、撮像画像に重畳表示されている。このようなメッセージは、遠隔監視サーバ４が、図９のステップＳ１８において、メンテナンス履歴管理テーブル３９（図５Ｂ参照）に基づいて作成し、個別情報として識別結果情報に含ませることにより、携帯端末３に送ることができる。図１２では、交換推奨部品も、前述の交換部品と同様に取り扱われているため、エラーコード、交換部品名称および交換手順ボタン７１も、図１１と同様に表示されている。
　また、遠隔監視サーバ４は、個別情報として、例えば、識別対象２の各種検出値から予測されるメンテナンス推奨メッセージ等を作成して、個別情報に含めてもよい。このようにすると、メンテナンス推奨メッセージを携帯端末３に表示することができる。メンテナンス推奨メッセージとしては、例えば、「ロスセンサ値が高いです。一度点検をお勧めします。」というような例を挙げることができる。
　前述の実施形態では、携帯端末３は、位置、姿勢および方位からなる端末位置情報と、型式情報を含む識別判定用情報を遠隔監視サーバ４に送信している。しかし、端末位置情報は、位置、姿勢および方位のうち、少なくとも位置情報を含んでいればよい。端末位置情報が、例えば、位置の情報を含んでいるが、姿勢および方位の情報を含んでいない場合には、遠隔監視サーバ４は、探索領域Ｓを、平面視において、携帯端末３を中心とする所定半径の円領域に設定してもよい。
　前述の本実施形態では、作業車両２の遠隔監視端末１２および携帯端末３に用いられている測位システムとして、ＧＮＳＳの単独測位システムが用いられているが、ＲＴＫ－ＧＮＳＳ（リアルタイム・キネマティクＧＮＳＳ）等のような単独測位システム以外の測位システムを用いてもよい。
　また、前述の実施形態では、識別対象である作業車両がコンバインである場合について説明したが、識別対象である作業車両は、トラクタ、田植え機、土木・建設作業車両、除雪車、乗用型作業機、歩行型作業機等のコンバイン以外の作業車両であってもよい。
　また、前述の実施形態では、被識別物体として作業車両を例にとって説明したが、被識別物体は作業車両以外の物体であってもよい。
　その他、請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。
　本発明の実施形態について詳細に説明してきたが、これらは本発明の技術的内容を明らかにするために用いられた具体例に過ぎず、本発明はこれらの具体例に限定して解釈されるべきではなく、本発明の範囲は添付の請求の範囲によってのみ限定される。
　この出願は、２０１７年７月１３日に日本国特許庁に提出された特願２０１７－１３７２６３号に対応しており、その出願の全開示はここに引用により組み込まれるものとする。
　１　作業車両識別システム
　２　作業車両
　３　端末装置（携帯端末）
　４　遠隔監視サーバ
　１１　作業車両制御装置
　１２　遠隔監視端末
　３０　制御部
　３１　通信部
　３２　操作表示部
　３３　操作部
　３４　記憶部
　３５　基本テーブル
　３６　交換部品テーブル
　３７　部品交換手順テーブル
　３８　エラー監視テーブル
　３９　メンテナンス履歴管理テーブル
　４１　遠隔監視部
　４２　サーバ側識別制御部
　５０　制御部
　５１　位置検出部
　５２　姿勢・方位検出部
　５３　撮像部
　５４　通信部
　５５　操作表示部
　５７　記憶部
　５８　部品画像テーブル
　６１　端末側識別制御部

Claims (7)

  1. 　外部から撮像可能な特徴情報を有する複数の被識別物体のうち、識別すべき被識別物体である識別対象を撮像可能な端末装置と、前記端末装置と通信可能なサーバとを含み、
    　前記端末装置は、
    　当該端末装置の位置および方位を含む端末位置情報を検出する検出部と、
    　前記識別対象を撮像するための撮像部と、
    　前記撮像部によって撮像された撮像画像に含まれる前記識別対象の特徴情報を抽出し、抽出された特徴情報と前記端末位置情報とを含む識別判定用情報を、前記サーバに送信する端末側識別制御部とを含み、
    　前記サーバは、
    　前記被識別物体毎に、当該被識別物体の特徴情報および位置情報が記憶された記憶部と、
    　前記端末装置から受信した前記識別判定用情報内の端末位置情報に基づいて探索領域を設定し、設定した探索領域内に存在しかつ前記識別判定用情報内の特徴情報と同じ特徴情報を有するという条件を満たす所定の被識別物体を探索し、前記条件を満たす所定の被識別物体を探索できたときに、当該所定の被識別物体を前記識別対象として特定するサーバ側識別制御部とを含む、物体識別システム。
  2. 　前記サーバ側識別制御部は、前記条件を満たす所定の被識別物体が複数存在するときには、これらの複数の所定の被識別物体のうち前記端末装置に最も近い位置に存在する所定の被識別物体を前記識別対象として特定するように構成されている、請求項１に記載の物体識別システム。
  3. 　前記記憶部には、前記被識別物体毎に、当該被識別物体の特徴情報、位置情報および個別情報が記憶されており、
    　前記サーバ側識別制御部は、前記所定の被識別物体を前記識別対象として特定したときには、前記記憶部に記憶されている当該所定の被識別物体の個別情報を、前記端末装置に送信するように構成されている、請求項１または２に記載の物体識別システム。
  4. 　前記端末装置は、前記撮像部で撮像されている撮像画像を表示するための表示部をさらに含み、
    　前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報を、前記表示部に表示されている撮像画像に重畳表示するように構成されている、請求項３に記載の物体識別システム。
  5. 　前記個別情報は、対応する被識別物体を識別する識別情報、対応する被識別物体の稼働情報および対応する被識別物体のメンテンス情報のうちの少なくとも１つを含む、請求項４に記載の物体識別システム。
  6. 　前記個別情報は、対応する被識別物体の故障部品を表す故障部品識別情報を含んでおり、
    　前記端末側識別制御部は、前記サーバ側識別制御部によって送信された前記個別情報に含まれている故障部品識別情報に基づいて、前記表示部に表示されている撮像画像に、前記故障部品識別情報に対応する故障部品の画像を重畳表示するように構成されている、請求項４に記載の物体識別システム。
  7. 　前記特徴情報は、対応する被識別物体の型式情報である、請求項１～６のいずれかに記載の物体識別システム。
PCT/JP2018/020418 2017-07-13 2018-05-28 物体識別システム WO2019012823A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202311317938.1A CN117372952A (zh) 2017-07-13 2018-05-28 物体识别系统
KR1020197023544A KR102252245B1 (ko) 2017-07-13 2018-05-28 물체 식별 시스템
KR1020217013190A KR102363216B1 (ko) 2017-07-13 2018-05-28 물체 식별 시스템
CN201880021896.8A CN110959167B (zh) 2017-07-13 2018-05-28 物体识别系统
EP18831870.3A EP3654279A4 (en) 2017-07-13 2018-05-28 OBJECT IDENTIFICATION SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017137263A JP6815290B2 (ja) 2017-07-13 2017-07-13 物体識別システム
JP2017-137263 2017-07-13

Publications (1)

Publication Number Publication Date
WO2019012823A1 true WO2019012823A1 (ja) 2019-01-17

Family

ID=65001897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020418 WO2019012823A1 (ja) 2017-07-13 2018-05-28 物体識別システム

Country Status (5)

Country Link
EP (1) EP3654279A4 (ja)
JP (1) JP6815290B2 (ja)
KR (2) KR102363216B1 (ja)
CN (2) CN110959167B (ja)
WO (1) WO2019012823A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022129956A (ja) * 2021-02-25 2022-09-06 井関農機株式会社 走行車両

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4261353A1 (en) * 2020-12-10 2023-10-18 Kubota Corporation Diagnosis assistance apparatus for work machine

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004095374A1 (ja) * 2003-04-21 2004-11-04 Nec Corporation 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
JP2012043396A (ja) * 2010-08-13 2012-03-01 Hyundai Motor Co Ltd 拡張現実を用いた車両消耗品管理システム及びその方法
WO2013035758A1 (ja) * 2011-09-06 2013-03-14 Ｎｅｃビッグローブ株式会社 情報表示システム、情報表示方法、及び記憶媒体
JP2013534342A (ja) * 2010-07-30 2013-09-02 クゥアルコム・インコーポレイテッド インクリメントな特徴抽出を使用するオブジェクト認識
JP2015212967A (ja) 2015-07-07 2015-11-26 ソニー株式会社 端末装置、物体識別方法、及び情報処理装置
JP2016004292A (ja) * 2014-06-13 2016-01-12 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
JP2017111670A (ja) * 2015-12-17 2017-06-22 富士通テン株式会社 情報表示装置、情報表示システム及び情報表示方法
JP2017137263A (ja) 2016-02-04 2017-08-10 株式会社トクヤマ １，１，１，３−テトラクロロプロパンの製造方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3045713B1 (ja) * 1998-12-09 2000-05-29 富士通株式会社 車載型車両誘導装置及び通信サーバシステム並びに代替車両誘導システム
JP5685390B2 (ja) * 2010-05-14 2015-03-18 株式会社Ｎｔｔドコモ 物体認識装置、物体認識システムおよび物体認識方法
JP5776255B2 (ja) * 2011-03-25 2015-09-09 ソニー株式会社 端末装置、物体識別方法、プログラム及び物体識別システム
JP5902930B2 (ja) * 2011-12-02 2016-04-13 ヤンマー株式会社 遠隔監視システムの管理サーバ
KR101867853B1 (ko) * 2012-02-29 2018-06-15 엘지전자 주식회사 휴대 단말기 및 네트워크 시스템
US8977423B2 (en) * 2012-05-23 2015-03-10 Snap-On Incorporated Methods and systems for providing vehicle repair information
CN104272431B (zh) * 2012-07-03 2017-03-08 东京毅力科创株式会社 制造设备的监视装置以及监视方法
CN103632513A (zh) * 2013-11-21 2014-03-12 深圳市卡讯尔车联网科技开发有限公司 基于云服务器的车辆紧急救援交互方法及系统
TWI597139B (zh) * 2014-02-18 2017-09-01 廣達電腦股份有限公司 自走式機器人、資料中心及資料中心之維修方法
CN103940620B (zh) * 2014-04-24 2016-09-21 成都华诚立信科技有限公司 基于图像识别的汽车故障判别与提示的方法及系统
US20170124776A1 (en) * 2015-11-03 2017-05-04 Cnh Industrial America Llc Vehicle maintenance apparatus and method
CN106851701B (zh) * 2016-12-09 2019-09-10 交控科技股份有限公司 一种车地通信中轨旁无线ap故障处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004095374A1 (ja) * 2003-04-21 2004-11-04 Nec Corporation 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
JP2013534342A (ja) * 2010-07-30 2013-09-02 クゥアルコム・インコーポレイテッド インクリメントな特徴抽出を使用するオブジェクト認識
JP2012043396A (ja) * 2010-08-13 2012-03-01 Hyundai Motor Co Ltd 拡張現実を用いた車両消耗品管理システム及びその方法
WO2013035758A1 (ja) * 2011-09-06 2013-03-14 Ｎｅｃビッグローブ株式会社 情報表示システム、情報表示方法、及び記憶媒体
JP2016004292A (ja) * 2014-06-13 2016-01-12 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
JP2015212967A (ja) 2015-07-07 2015-11-26 ソニー株式会社 端末装置、物体識別方法、及び情報処理装置
JP2017111670A (ja) * 2015-12-17 2017-06-22 富士通テン株式会社 情報表示装置、情報表示システム及び情報表示方法
JP2017137263A (ja) 2016-02-04 2017-08-10 株式会社トクヤマ １，１，１，３−テトラクロロプロパンの製造方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022129956A (ja) * 2021-02-25 2022-09-06 井関農機株式会社 走行車両
JP7211443B2 (ja) 2021-02-25 2023-01-24 井関農機株式会社 走行車両

Also Published As

Publication number Publication date
CN110959167B (zh) 2023-11-03
KR20190107076A (ko) 2019-09-18
KR102363216B1 (ko) 2022-02-14
EP3654279A4 (en) 2021-04-14
CN117372952A (zh) 2024-01-09
JP6815290B2 (ja) 2021-01-20
JP2019020914A (ja) 2019-02-07
KR102252245B1 (ko) 2021-05-13
CN110959167A (zh) 2020-04-03
EP3654279A1 (en) 2020-05-20
KR20210054024A (ko) 2021-05-12

Similar Documents

Publication Publication Date Title
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
JP6852729B2 (ja) プラント管理システム、プラント管理方法、プラント管理装置、および、プラント管理プログラム
EP3147738B1 (en) Inspection work support device, inspection work support system, and inspection work support method
US20150025927A1 (en) Mission component evaluation and response architecture
WO2017169841A1 (ja) 表示装置および表示制御方法
US20200294329A1 (en) Data collecting device, data collecting system, data collecting method, and on-vehicle device
WO2019012823A1 (ja) 物体識別システム
JP2017020922A (ja) 作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、作業行動支援ナビゲーション用プログラムを記憶した記憶媒体、作業行動支援ナビゲーションシステムを搭載した自走式ロボット、作業行動支援ナビゲーションシステムに用いられるインテリジェントヘルメット
JPWO2017164009A1 (ja) 営農支援システム、営農支援方法、制御装置、通信端末、制御方法、及び、制御プログラムが記録された記録媒体
CN114363161B (zh) 异常设备的定位方法、装置、设备及介质
US20180165285A1 (en) Comparative Geolocation System
JP2020086980A (ja) 設備点検支援端末、設備点検支援システム及びプログラム
CN113543937A (zh) 特种机器人操控系统、方法、电子设备、介质以及程序
JP7055186B2 (ja) 物体識別システム
JP2014222410A (ja) 携帯表示装置及び表示プログラム並びに操作案内システム
JP7097207B2 (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法
JP2020144776A (ja) 作業支援システム、作業支援装置、及び作業支援方法
US11657723B2 (en) Management device
JP2022088678A (ja) 遠隔保守支援方法
JP6719315B2 (ja) 鉄道の支障範囲可視化システム
KR101954711B1 (ko) 라이다 자료와 정사영상을 이용한 건축물의 촬영영상 수정방법
CN112180982A (zh) 一种无人机航线管理系统及方法
JP2016178390A (ja) 施設名称重畳装置
US11748996B2 (en) Information processing system, program, and information processing method
US11967148B2 (en) Display device and display method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831870

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197023544

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018831870

Country of ref document: EP

Effective date: 20200213