WO2019167726A1 - 情報提示装置および情報提示方法 - Google Patents

情報提示装置および情報提示方法 Download PDF

Info

Publication number
WO2019167726A1
WO2019167726A1 PCT/JP2019/006122 JP2019006122W WO2019167726A1 WO 2019167726 A1 WO2019167726 A1 WO 2019167726A1 JP 2019006122 W JP2019006122 W JP 2019006122W WO 2019167726 A1 WO2019167726 A1 WO 2019167726A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
construction site
information
unit
image
Prior art date
Application number
PCT/JP2019/006122
Other languages
English (en)
French (fr)
Inventor
正暢 関
俊輔 宮本
馨 安田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US16/956,691 priority Critical patent/US11532162B2/en
Publication of WO2019167726A1 publication Critical patent/WO2019167726A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/207—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles with respect to certain areas, e.g. forbidden or allowed areas with possible alerting when inside or outside boundaries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to an information presentation apparatus and an information presentation method.
  • Patent Document 1 discloses a technique for detecting the outline of a construction machine and a worker from an image captured by a camera that captures a work area, setting a target area, and notifying that effect when the target areas contact each other. It is disclosed.
  • An object of the present invention is to provide an information presentation device and an information presentation method that allow a vehicle operator to easily recognize other vehicles in the vicinity.
  • the information presentation device includes a vehicle recognition unit that identifies positions of a plurality of vehicles based on images captured by a plurality of imaging devices installed at a construction site, and the identified A signal that displays a vehicle plotting unit that receives designation of a designated vehicle among a plurality of vehicles, and a proximity plot that represents the position of another vehicle whose distance from the designated vehicle is less than a threshold value, overlaid on the overhead image of the construction site And a display control unit for outputting.
  • a vehicle recognition unit that identifies positions of a plurality of vehicles based on images captured by a plurality of imaging devices installed at a construction site, and the identified A signal that displays a vehicle plotting unit that receives designation of a designated vehicle among a plurality of vehicles, and a proximity plot that represents the position of another vehicle whose distance from the designated vehicle is less than a threshold value, overlaid on the overhead image of the construction site
  • a display control unit for outputting.
  • the information presenting apparatus can make the vehicle operator easily recognize other vehicles in the vicinity.
  • FIG. 1 is a schematic diagram illustrating a configuration of a construction site management system according to the first embodiment.
  • the construction site management system 1 alerts the operator of the loading vehicle V2 by presenting the position of the nearby transport vehicle V1 to the vehicle-mounted terminal V203 (display device) of the loading vehicle V2 traveling on the construction site G. It is a system to do.
  • the loading vehicle V2 and the transport vehicle V1 are examples of vehicles.
  • the construction site management system 1 includes a plurality of imaging devices 110 and an information presentation device 120.
  • the plurality of imaging devices 110 are respectively installed above the construction site G and take an overhead view of the construction site G.
  • the plurality of imaging devices 110 are provided so that all points where the manned driving vehicle can travel in the construction site G are imaged by at least one imaging device 110 without exception.
  • the information presentation device 120 generates an overall overhead image in which the entire construction site G is captured based on images captured by the plurality of imaging devices 110. Moreover, the information presentation apparatus 120 displays the whole overhead view image which drew the transport vehicle V1 on the vehicle-mounted terminal V203 of the loading vehicle V2. The information presentation device 120 is provided in the building B of the construction site G, for example.
  • the stock yard Y is a space for temporarily storing the earth and sand generated by the construction work for reuse.
  • the structure of the construction site G is not restricted to what is shown in FIG. That is, the presence and number of the building B and the stockyard Y are not limited to those shown in FIG.
  • the loading vehicle V ⁇ b> 2 is a vehicle that operates at a site where earth and sand are loaded and performs embankment work or excavation work.
  • Examples of the loading vehicle V2 include a hydraulic excavator, a bulldozer, and a wheel loader.
  • FIG. 2 is a perspective view showing the configuration of the inside of the cab of the loading vehicle.
  • the loading vehicle V2 includes a cab V200. Inside driver's cab V200, a driver's seat V201 for an operator to sit, an operating device V202 for operating loading vehicle V2, and an in-vehicle terminal V203 for displaying information related to work are provided.
  • the operation device V202 generates operation signals for the operation of the work machine, the turning operation, and the traveling operation of the loading vehicle V2 according to the operation of the operator.
  • the in-vehicle terminal V203 is provided between the windshield of the cab V200 and the driver seat V201. Note that the position of the in-vehicle terminal V203 is not limited to the position shown in FIG.
  • FIG. 3 is a schematic block diagram illustrating the configuration of the information presentation apparatus according to the first embodiment.
  • the information presentation device 120 is a computer including a processor 1100, a main memory 1200, a storage 1300, and an interface 1400.
  • the storage 1300 stores a program.
  • the processor 1100 reads the program from the storage 1300, expands it in the main memory 1200, and executes processing according to the program.
  • Examples of the storage 1300 include HDD, SSD, magnetic disk, magneto-optical disk, CD-ROM, DVD-ROM and the like.
  • the storage 1300 may be an internal medium directly connected to the common communication line of the information presentation apparatus 120 or an external medium connected to the information presentation apparatus 120 via the interface 1400.
  • the storage 1300 is a tangible storage medium that is not temporary.
  • the processor 1100 executes an image acquisition unit 1101, an overhead image generation unit 1102, a vehicle recognition unit 1103, a vehicle tracking unit 1104, a caution information acquisition unit 1105, a vehicle designation unit 1106, a distance calculation unit 1107, and a display image generation unit by executing the program. 1108, a display determination unit 1109, and a display control unit 1110. Further, the processor 1100 secures storage areas of the image storage unit 1201 and the vehicle storage unit 1202 in the main memory 1200 by executing the program.
  • the image acquisition unit 1101 acquires images from each of the plurality of imaging devices 110 every predetermined time.
  • the bird's-eye view image generation unit 1102 deforms and combines a plurality of images acquired by the image acquisition unit 1101, thereby generating a whole bird's-eye view image showing the entire construction site G.
  • the bird's-eye view image generation unit 1102 stores in advance the deformation parameters of the image captured by the imaging device 110 for each imaging device 110.
  • the deformation parameter of the image can be specified based on the installation position of the imaging device 110 and the line-of-sight direction.
  • the method for generating the overhead image is not limited to this.
  • the overhead image generation unit 1102 according to another embodiment generates a three-dimensional image of the construction site G by performing triangulation on a plurality of images acquired by the image acquisition unit 1101, and generates the obtained three-dimensional image. A whole overhead view image may be generated based on this.
  • the vehicle recognizing unit 1103 extracts a part where the vehicle appears from the whole overhead view image generated by the overhead view image generation unit 1102.
  • the vehicle recognizing unit 1103 can extract a place where the vehicle is captured by pattern matching based on, for example, a feature amount of a known vehicle image.
  • the vehicle tracking unit 1104 specifies coordinates where the same vehicle as the vehicle recognized in the past image is located from the image acquired by the image acquisition unit 1101.
  • the vehicle tracking unit 1104 can track the vehicle, for example, by searching for an image similar to a vehicle recognized in the past from the image acquired by the image acquisition unit 1101.
  • the caution information acquisition unit 1105 acquires a point on the construction site (caution point) in the overhead image and the caution information at the caution point from the in-vehicle terminal V203, and stores them in the caution information storage unit 1203.
  • the caution information there is information indicating the presence of a muddy, frozen, fallen object, sinkhole or the like.
  • the attention point may be indicated as a point or a face.
  • the vehicle designation unit 1106 accepts designation of one vehicle from one or more vehicles recognized by the vehicle recognition unit 1103.
  • the vehicle that has been designated by the vehicle designation unit 1106 is also referred to as a designated vehicle.
  • the vehicle designation unit 1106 receives the information indicating the coordinates from the in-vehicle terminal V203 or the computer operated by the administrator, thereby designating the loading vehicle V2 that appears in the coordinates designated in the whole overhead view image or in the vicinity thereof. It is assumed that
  • the distance calculation unit 1107 calculates the distance between the designated vehicle and another vehicle and the distance between the designated vehicle and the caution point.
  • the distance calculation unit 1107 specifies the distance based on the coordinates of the vehicle on the overhead image specified by the vehicle recognition unit 1103 or the vehicle tracking unit and the coordinates of the caution point on the overhead image acquired by the caution information acquisition unit 1105. .
  • the vehicle recognition unit 1103 may calculate the coordinates and distance of the vehicle by a triangulation method using a plurality of images acquired by the image acquisition unit 1101.
  • the display image generation unit 1108 is connected to the in-vehicle terminal V203 of the loading vehicle V2 based on the whole overhead view image stored in the image storage unit 1201, the information stored in the vehicle storage unit 1202, and the information stored in the caution information storage unit 1203. A display image to be displayed is generated.
  • the display determination unit 1109 determines, based on the distance calculated by the distance calculation unit 1107, whether or not the nearby transport vehicle V1 or the nearby caution point is highlighted and displayed on the loading vehicle V2. The display determination unit 1109 determines that the transport vehicle V1 is highlighted and displayed when the distance between the transport vehicle V1 and the loading vehicle V2 is equal to or less than a predetermined threshold. In addition, the display determination unit 1109 determines that the caution point is highlighted and displayed when the distance between the caution point and the loading vehicle V2 is equal to or less than a predetermined threshold.
  • the display control unit 1110 transmits the display image generated by the display image generation unit 1108 to the loading vehicle V2.
  • the image storage unit 1201 stores the entire overhead view image in time series.
  • the vehicle storage unit 1202 stores, for each vehicle recognized by the vehicle recognition unit 1103, identification information representing the vehicle, a type, and a position.
  • the vehicle identification information is given every time the vehicle recognition unit 1103 recognizes a new vehicle, and is a value for identifying the vehicle in the tracking process by the vehicle tracking unit 1104.
  • the identification information is different from the actual identification information (machine number, IP address, etc.) for specifying the actual vehicle. Examples of types of vehicles include loading vehicles V2, transport vehicles V1, and other vehicles. When the vehicle is the loading vehicle V2, the vehicle storage unit 1202 further stores the actual identification information of the loading vehicle V2 in association with each other.
  • the attention information storage unit 1203 stores the coordinates of the attention point acquired by the attention information acquisition unit 1105 and the attention information at the attention point.
  • FIG. 4 to FIG. 5 are flowcharts illustrating a method for generating an overall overhead image by the information presentation apparatus according to the first embodiment.
  • the image acquisition unit 1101 of the information presentation device 120 acquires images from each of the plurality of imaging devices 110 (step S1).
  • the overhead image generation unit 1102 deforms each image acquired by the image acquisition unit 1101 using a deformation parameter corresponding to the installation position and the line-of-sight direction of the imaging device 110 (step S2).
  • the bird's-eye view image generation unit 1102 generates a whole bird's-eye view image by combining a plurality of deformed images, and stores the whole bird's-eye view image in the image storage unit 1201 (step S3).
  • the vehicle recognizing unit 1103 specifies the coordinates at which the loading vehicle V2 appears and the coordinates at which the transport vehicle V1 appears from the generated overall overhead view image (step S4).
  • the information presentation device 120 selects the vehicles recognized by the vehicle recognition unit 1101 one by one, and executes the following processing from step S6 to step S10 (step S5).
  • the vehicle tracking unit 1104 reads out the entire overhead view image generated last time from the image storage unit 1201 and determines whether or not a vehicle similar to the selected vehicle exists in the vicinity of the coordinates specified in step S4 (Ste S6).
  • the vehicle tracking unit 1104 specifies the vehicle identification information associated with the coordinate from the vehicle storage unit 1202. (Step S7).
  • the vehicle tracking unit 1104 rewrites the coordinates that the vehicle storage unit 1202 stores in association with the identification information to the coordinates specified in step S4 (step S8).
  • step S6 NO
  • the vehicle recognition unit 1103 gives new identification information to the vehicle (step S9).
  • the vehicle recognition unit 1103 associates the identification information with the coordinates specified in step S4 and records them in the vehicle storage unit 1202 (step S10).
  • the information presentation apparatus 120 can update the positions of all the vehicles stored in the image storage unit 1201.
  • the display image generation unit 1108 generates a display image with the normal plot P1 indicating the vehicle at the coordinates specified in step S4 of the overall overhead image generated in step S3 (step S11).
  • the display image generation unit 1108 may change the color or shape of the normal plot P1 depending on the type of vehicle or the like.
  • the information presentation apparatus 120 selects the loading vehicles V2 existing at the construction site G one by one, and executes the following processing from step S13 to step S20 (step S12).
  • the display control unit 1110 determines whether there is a vehicle stored in the vehicle storage unit 1202 that is associated with the actual identification information of the selected loading vehicle V2 (step S13). That is, the display control unit 1110 determines whether or not the selected loading vehicle V2 is a designated vehicle.
  • the display control unit 1110 displays the display image generated in step S11. It transmits to the selected loading vehicle V2 (step S14).
  • FIG. 6 is an example of an image displayed on the in-vehicle terminal that is not associated with the vehicle shown in the overall overhead view image.
  • the display image generation unit 1108 displays the selected loading vehicle.
  • the coordinates stored in the vehicle storage unit 1202 are specified in association with the real identification information of V2 (step S15).
  • the display image generation unit 1108 attaches the own vehicle plot P2 representing the current position to the coordinates specified in step S15 of the display image generated in step S11 (step S16).
  • the own vehicle plot P2 differs from the normal plot P1 attached in step S11 in at least one of color and shape.
  • the information presentation device 120 generates a display image including the entire overhead image, the normal plot P1 representing the vehicle, and the own vehicle plot P2 representing the current position.
  • FIG. 7 is an example of an image displayed on an in-vehicle terminal of a loading vehicle in which no transport vehicle exists in the vicinity. As a result, the operator of the loading vehicle V2 can easily recognize the position of the loading vehicle V2.
  • the distance calculation unit 1107 refers to the vehicle storage unit 1202 and calculates the distance between the coordinates specified in step S15 and the coordinates of the transport vehicle V1 (step S17).
  • the display determination unit 1109 determines whether the transport vehicle V1 exists within a predetermined distance from the coordinates of the selected loading vehicle V2 based on the calculated distance (step S18). When the transport vehicle V1 does not exist within a predetermined distance from the coordinates of the selected loading vehicle V2 (step S18: NO), the display determination unit 1109 should be emphasized in the in-vehicle terminal V203 of the selected loading vehicle V2. It is determined that there is no transport vehicle V1.
  • the display determination unit 1109 emphasizes in the in-vehicle terminal V203 of the selected loading vehicle V2. It is determined that there is a transport vehicle V1 to be used.
  • the display image generation unit 1108 displays the normal plot P1 attached to the coordinates of the transport vehicle V1 whose distance from the loading vehicle V2 is less than the predetermined distance among the display images generated in step S16.
  • the proximity plot P3 having a different form from the plot P2 is replaced (step S19). For example, the proximity plot P3 is different in color, shape, or outline from the normal plot P1 and the own vehicle plot P2.
  • FIG. 8 is an example of an image displayed on a vehicle-mounted terminal of a loading vehicle in which a transport vehicle is present in the vicinity.
  • the operator of the loading vehicle V2 can easily recognize that the transport vehicle V1 exists in the vicinity of the loading vehicle V2 that is on board.
  • the distance calculation unit 1107 refers to the caution information storage unit 1203, and calculates the distance between the coordinates specified in step S15 and the coordinates of the caution point (step S20).
  • the display determination unit 1109 determines whether or not there is a caution point within a predetermined distance from the coordinates of the selected loading vehicle V2 based on the calculated distance (step S21). When the attention point does not exist within a predetermined distance from the coordinates of the selected loading vehicle V2 (step S21: NO), the display determination unit 1109 displays the attention to be displayed on the in-vehicle terminal V203 of the selected loading vehicle V2. It is determined that there is no information.
  • the display determination unit 1109 displays caution information on the in-vehicle terminal V203 of the selected loading vehicle V2. It is determined that it is necessary to display.
  • the display image generation unit 1108 adds a figure P4 representing the shape of the caution point to the coordinates of the caution point whose distance from the loading vehicle V2 is less than the predetermined distance in the display image generated in step S16 (step S22). . Accordingly, it is possible to notify the presence of a caution point whose distance from the loading vehicle V2 is less than a predetermined distance in the display image. As a result, the information presentation device 120, as shown in FIG.
  • FIG. 9 is an example of an image displayed on an in-vehicle terminal of a loading vehicle in which a caution point exists in the vicinity.
  • the operator of the loading vehicle V2 can easily recognize that there is a point requiring attention in the vicinity of the loading vehicle V2.
  • the display control unit 1110 displays the display image generated in step S16 (FIG. 7), the display image that emphasizes the nearby transport vehicle V1 in step S19 (FIG. 8), and the display image that represents the position of the caution point in step S22. (FIG. 9) or a display image that emphasizes the nearby transport vehicle V1 and represents the position of the caution point is transmitted to the loading vehicle V2 (step S14).
  • FIG. 10 is a flowchart illustrating a loading vehicle designation method according to the first embodiment.
  • the in-vehicle terminal V203 When the operator of the loading vehicle V2 activates the loading vehicle V2, the in-vehicle terminal V203 is also activated.
  • the in-vehicle terminal V203 When the in-vehicle terminal V203 is activated, it receives and displays a display image from the information presentation device 120 (step S61). Since the loaded vehicle V2 that has been activated is not linked to the vehicle shown in the overall bird's-eye view image in the information presentation device 120, the display image displayed at this time has its own vehicle plot showing the current position as shown in FIG. P2 is not included.
  • the operator operates the in-vehicle terminal V203, searches for the loaded vehicle V2 on the display image, and selects the normal plot P1 representing the loaded vehicle V2 (step S62).
  • the in-vehicle terminal V203 specifies the coordinates of the selected normal plot P1 and transmits the coordinates to the information presentation device 120 (step S63).
  • the vehicle specifying unit 1106 specifies the real identification information of the loading vehicle V2 including the in-vehicle terminal V203 that is the transmission source of the information (Ste S64). Then, the vehicle designation unit 1106 stores the specified real identification information in the vehicle storage unit 1202 in association with the vehicle related to the received coordinates (step S65). That is, the vehicle designation unit 1106 receives designation of the loading vehicle V2 by receiving information representing the coordinates of the normal plot P1 from the in-vehicle terminal V203. As a result, since the loading vehicle V2 shown in the whole overhead view image and the real identification information are associated with each other, the vehicle plot indicating the current position as shown in FIGS. A display image including P2 is transmitted.
  • FIG. 11 is a flowchart illustrating a method for registering attention information according to the first embodiment.
  • the in-vehicle terminal V203 receives the display image from the information presentation device 120 and displays it (step S91).
  • the display image displayed at this time may not include the own vehicle plot P2 indicating the current position as shown in FIG. 6, or the current position may be displayed as shown in FIGS.
  • the vehicle plot P2 shown may be included.
  • the operator operates the in-vehicle terminal V203, and selects a point where an event that requires the operator's attention, such as mud, frozen, or a falling object, has occurred from the display image (step S92). At this time, the operator may select the attention point as a point by touching one point on the display image, or select the attention point as a plane by tracing the outline of the range where the attention point exists in the display image. May be.
  • the vehicle-mounted terminal V203 displays a warning information input field (step S93).
  • the operator inputs a character string indicating attention information in the input field (step S94).
  • the in-vehicle terminal V203 transmits the input coordinates of the caution point and the caution information to the information presentation device 120 (step S95).
  • the attention information acquisition unit 1105 of the information presentation device 120 receives the coordinates of the attention point and the attention information from the in-vehicle terminal V203, these are associated and stored in the attention information storage unit 1203 (step S96). Thereby, the operator can notify the information presentation apparatus 120 of information on a point requiring attention at the construction site. And the information presentation apparatus 120 can notify the operator of the loading vehicle V2 which exists in the vicinity of the caution point about the caution information notified by one operator.
  • the information presentation device 120 identifies the positions of the plurality of vehicles based on the images captured by the plurality of imaging devices 110 installed at the construction site, and The designation of the loading vehicle V2 is received from the inside, and the proximity plot P3 representing the position of the transporting vehicle V1 whose distance from the loading vehicle V2 is less than the threshold is displayed on the in-vehicle terminal V203 of the loading vehicle V2. Overlay the overhead image. Thereby, the information presentation apparatus 120 can make the operator of the loading vehicle V2 recognize the presence of the nearby transport vehicle V1 easily. In addition, the information presentation device 120 generates a bird's-eye view image based on images captured by the plurality of imaging devices 110. Thereby, it is possible to prevent a blind spot from occurring in the overhead image.
  • the information presentation apparatus 120 shows the normal plot P1 showing the position of the transport vehicle V1 whose distance with the loading vehicle V2 is more than a threshold in addition to the proximity plot P3 on the construction site. It superimposes on a bird's-eye view image, and displays it on the vehicle-mounted terminal V203 of the loading vehicle V2. At this time, the information presentation apparatus 120 emphasizes the nearby transport vehicle V1 from the other transport vehicles V1 by displaying the normal plot P1 and the proximity plot P3 in different modes. Thereby, the information presentation apparatus 120 can notify the operator of the loading vehicle V2 whether or not the transport vehicle V1 exists in the vicinity while recognizing the positions of the transport vehicles V1. On the other hand, in other embodiments, the information presentation device 120 may not display the normal plot P1 representing the transport vehicle V1 that is away from the loading vehicle V2.
  • the information presentation device 120 receives the designation of the loading vehicle V2 by inputting the coordinates of the overhead image. Thereby, the information presentation apparatus 120 can accept the designation of the loading vehicle V2 regardless of the presence or absence of a position specifying function such as GNSS (Global Navigation Satellite System). On the other hand, in other embodiments, the information presentation device 120 may accept the designation of the loading vehicle V2 by acquiring the position information specified by the GNSS or the like from the loading vehicle V2.
  • GNSS Global Navigation Satellite System
  • the information presentation device 120 uses the designated vehicle in the new image based on the comparison between the new image in the time series of the images captured by the plurality of imaging devices 110 and the previous image. Identify the location of the vehicle (track the designated vehicle). Thereby, the information presentation apparatus 120 specifies the position of the loading vehicle V2 without receiving the designation again even when the loading vehicle V2 moves after receiving the designation of the loading vehicle V2. Can do. In particular, the information presentation device 120 accepts designation by inputting coordinates of the overhead image, and then tracks the vehicle based on the time series of the image, so that the in-vehicle terminal V203 of the loading vehicle V2 that does not have the position specifying function The position of the loading vehicle V2 can be displayed.
  • the information presentation apparatus 120 may update the position of the designated loading vehicle V2 by always acquiring the position information specified by the GNSS or the like from the loading vehicle V2. .
  • the information presentation device 120 may accept the designation of the loading vehicle V2 from the operator every time the loading vehicle V2 moves.
  • the information presentation apparatus 120 overlaps the figure P4 showing the attention point whose distance with the loading vehicle V2 is less than a threshold value on the overhead image of a construction site, and the loading vehicle V2 It is displayed on the in-vehicle terminal V203. Thereby, the information presentation apparatus 120 can make the operator of the loading vehicle V2 easily recognize the presence of a point requiring attention in the vicinity. On the other hand, in other embodiments, the information presentation device 120 may not present the caution information to the loading vehicle V2.
  • the construction site management system 1 displays an overhead image with a plot on the in-vehicle terminal V203 included in the loading vehicle V2, but is not limited thereto.
  • the construction site management system 1 in the construction site management system 1 according to another embodiment, not only the in-vehicle terminal V203 included in the loading vehicle V2 but also an overhead image with a plot attached to a terminal possessed by the operator of the transport vehicle V1 is displayed. Also good. In this case, the operator of the transport vehicle V1 can recognize other transport vehicles V1, loading vehicles V2, and caution points that are present in the vicinity.
  • the information presentation apparatus 120 which concerns on embodiment mentioned above displays the position of the conveyance vehicle V1 on the vehicle-mounted terminal V203 with which the loading vehicle V2 is provided, it is not restricted to this.
  • the information presentation apparatus 120 may display the position of the other loading vehicle V2 on the in-vehicle terminal V203 included in the loading vehicle V2.
  • the information presentation device 120 may display the position of the loading vehicle V2 in the vicinity of the designated vehicle with emphasis.
  • the construction site management system 1 which concerns on embodiment mentioned above specifies the vehicle which the information presentation apparatus 120 should emphasize by a user selecting the plot displayed on the vehicle-mounted terminal V203, it is restricted to this. Absent.
  • the construction site management system 1 may specify a vehicle to be emphasized based on position information specified by the GNSS mounted on the loading vehicle V2, or the imaging device 110 captures an image. The vehicle to be emphasized may be specified by recognizing the unique identification mark attached to the loading vehicle V2 from the obtained image.
  • the information presentation device 120 provided in the construction site G generates the overhead image and recognizes the vehicle, but is not limited thereto.
  • each vehicle-mounted terminal V203 of each loading vehicle V2 may function as the information presentation device 120.
  • the in-vehicle terminal V203 can display the proximity plot P3 as follows, for example.
  • the in-vehicle terminal V203 of each loading vehicle V2 receives images captured by the plurality of imaging devices 110, generates an overhead image of the construction site G based on the received plurality of images, and specifies the position of the vehicle. be able to.
  • the in-vehicle terminal V203 specifies the positions of the plurality of vehicles based on the images captured by the plurality of imaging devices 110.
  • the in-vehicle terminal V203 specifies the designated vehicle (the loaded vehicle V2 including the in-vehicle terminal V203) based on the image of the imaging device 110 or the survey result of GNSS.
  • the vehicle-mounted terminal V203 displays on the screen the proximity plot P3 which shows the position of the other vehicle whose distance is close to the loading vehicle V2.
  • the information presentation device 120 is not necessarily implemented as a server, and may be implemented by, for example, a plurality of in-vehicle terminals V203 that perform mutual communication.
  • the information presentation apparatus can make a vehicle operator easily recognize other vehicles in the vicinity.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

情報提示装置における車両認識部は、施工現場に設置された複数の撮像装置が撮像した画像に基づいて、複数の車両それぞれの位置を特定する。車両指定部は、特定された複数の車両のうち、指定車両の指定を受け付ける。表示制御部は、指定車両との距離が閾値未満である他の車両の位置を表す近接プロットを施工現場の俯瞰画像に重ねて表示する信号を出力する。

Description

情報提示装置および情報提示方法
　本発明は、情報提示装置および情報提示方法に関する。
　本願は、２０１８年２月２８日に日本に出願された特願２０１８－０３５３８２号について優先権を主張し、その内容をここに援用する。
　施工現場には、積込車両や運搬車両などの複数の車両が存在する。車両のオペレータは、施工現場を注意深く観察し、安全に配慮しながら作業を行う必要がある。特許文献１には、作業エリアを撮像するカメラが撮像した画像から、建設機械および作業員の輪郭を検出してターゲットエリアを設定し、ターゲットエリアどうしが接触したときにその旨を報知する技術が開示されている。
特開２０１２－２０３６７７号公報
　施工現場には、建屋やフェンスが設けられるため、車両のオペレータの死角が少なからず存在する。死角には、他の車両が存在する可能性があるため、オペレータは、死角から他の車両が出現する可能性を考慮しながら作業をする必要がある。
　本発明の目的は、車両のオペレータに、近傍に存在する他の車両を容易に認識させることができる情報提示装置および情報提示方法を提供することにある。
　本発明の一態様によれば、情報提示装置は、施工現場に設置された複数の撮像装置が撮像した画像に基づいて、複数の車両それぞれの位置を特定する車両認識部と、特定された前記複数の車両のうち、指定車両の指定を受け付ける車両指定部と、前記指定車両との距離が閾値未満である他の車両の位置を表す近接プロットを前記施工現場の俯瞰画像に重ねて表示する信号を出力する表示制御部とを備える。
　上記態様によれば、情報提示装置は、車両のオペレータに、近傍に存在する他の車両を容易に認識させることができる。
第１の実施形態に係る施工現場管理システムの構成を示す概略図である。 積込車両の運転室内部の構成を示す斜視図である。 第１の実施形態に係る情報提示装置の構成を示す概略ブロック図である。 第１の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。 第１の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。 全体俯瞰画像に写る車両との紐づけがない車載端末に表示される画像の例である。 近傍に運搬車両が存在しない積込車両の車載端末に表示される画像の例である。 近傍に運搬車両が存在する積込車両の車載端末に表示される画像の例である。 近傍に注意地点が存在する積込車両の車載端末に表示される画像の例である。 第１の実施形態における積込車両の指定方法を示すフローチャートである。 第１の実施形態における注意情報の登録方法を示すフローチャートである。
〈第１の実施形態〉
《施工現場管理システム》
　図１は、第１の実施形態に係る施工現場管理システムの構成を示す概略図である。
　施工現場管理システム１は、施工現場Ｇを走行する積込車両Ｖ２の車載端末Ｖ２０３（表示装置）に、近傍の運搬車両Ｖ１の位置を提示することで、積込車両Ｖ２のオペレータに注意を喚起するためのシステムである。積込車両Ｖ２および運搬車両Ｖ１は、車両の一例である。施工現場管理システム１は、複数の撮像装置１１０と、情報提示装置１２０とを備える。
　複数の撮像装置１１０は、それぞれ施工現場Ｇの上方に設置され、施工現場Ｇを俯瞰撮影する。複数の撮像装置１１０は、施工現場Ｇのうち有人運転車両が走行可能なすべての地点が、もれなく少なくとも１つの撮像装置１１０によって撮像されるように設けられる。
　情報提示装置１２０は、複数の撮像装置１１０が撮像した画像に基づいて施工現場Ｇ全体が写る全体俯瞰画像を生成する。また情報提示装置１２０は、運搬車両Ｖ１を描画した全体俯瞰画像を積込車両Ｖ２の車載端末Ｖ２０３に表示させる。情報提示装置１２０は、例えば施工現場Ｇの建屋Ｂ内部に設けられる。
　図１に示す施工現場Ｇには、２つの建屋Ｂと２つのストックヤードＹが設けられる。ストックヤードＹとは、施工工事によって発生した土砂を再利用するために一時的に保管しておくためのスペースである。なお、他の実施形態においては施工現場Ｇの構成は図１に示すものに限られない。すなわち、建屋ＢおよびストックヤードＹの有無および個数は、図１に示すものに限られない。
《積込車両》
　積込車両Ｖ２は、土砂の積込現場において稼働し、盛土作業または掘削作業を行う車両である。積込車両Ｖ２の例としては、油圧ショベル、ブルドーザー、ホイールローダーなどが挙げられる。
　図２は、積込車両の運転室内部の構成を示す斜視図である。
　積込車両Ｖ２は、運転室Ｖ２００を備える。運転室Ｖ２００の内部には、オペレータが着座するための運転席Ｖ２０１、積込車両Ｖ２を操作するための操作装置Ｖ２０２、作業に関する情報を表示する車載端末Ｖ２０３が設けられる。
　操作装置Ｖ２０２は、オペレータの操作に応じて、積込車両Ｖ２の作業機の動作、旋回動作、および走行動作のための操作信号を生成する。車載端末Ｖ２０３は、運転室Ｖ２００のフロントガラスと運転席Ｖ２０１の間に設けられる。なお、車載端末Ｖ２０３の位置は図２に示す位置に限られない。
《情報提示装置》
　図３は、第１の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
　情報提示装置１２０は、プロセッサ１１００、メインメモリ１２００、ストレージ１３００、インタフェース１４００を備えるコンピュータである。ストレージ１３００は、プログラムを記憶する。プロセッサ１１００は、プログラムをストレージ１３００から読み出してメインメモリ１２００に展開し、プログラムに従った処理を実行する。
　ストレージ１３００の例としては、ＨＤＤ、ＳＳＤ、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等が挙げられる。ストレージ１３００は、情報提示装置１２０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース１４００を介して情報提示装置１２０に接続される外部メディアであってもよい。ストレージ１３００は、一時的でない有形の記憶媒体である。
　プロセッサ１１００は、プログラムの実行により、画像取得部１１０１、俯瞰画像生成部１１０２、車両認識部１１０３、車両追跡部１１０４、注意情報取得部１１０５、車両指定部１１０６、距離算出部１１０７、表示画像生成部１１０８、表示判定部１１０９、表示制御部１１１０を備える。
　またプロセッサ１１００は、プログラムの実行により、メインメモリ１２００に画像記憶部１２０１、車両記憶部１２０２の記憶領域を確保する。
　画像取得部１１０１は、所定の時間ごとに複数の撮像装置１１０それぞれから画像を取得する。
　俯瞰画像生成部１１０２は、画像取得部１１０１が取得した複数の画像を変形し、合成することで、施工現場Ｇの全体が写る全体俯瞰画像を生成する。俯瞰画像生成部１１０２は、予め撮像装置１１０ごとに、当該撮像装置１１０が撮像した画像の変形パラメータを記憶しておく。画像の変形パラメータは、撮像装置１１０の設置位置および視線方向に基づいて特定することができる。なお、俯瞰画像の生成方法はこれに限られない。例えば、他の実施形態に係る俯瞰画像生成部１１０２は、画像取得部１１０１が取得した複数の画像について三角測量を行うことで施工現場Ｇの三次元画像を生成し、得られた三次元画像に基づいて全体俯瞰画像を生成してもよい。
　車両認識部１１０３は、俯瞰画像生成部１１０２が生成した全体俯瞰画像から車両が写る個所を抽出する。車両認識部１１０３は、例えば既知の車両の画像の特徴量に基づくパターンマッチングにより車両が写る個所を抽出することができる。
　車両追跡部１１０４は、画像取得部１１０１が取得した画像から、過去の画像において認識された車両と同じ車両が位置する座標を特定する。車両追跡部１１０４は、画像取得部１１０１が取得した画像から、例えば、過去に認識された車両と類似の画像を探索することにより、車両の追跡を行うことができる。
　注意情報取得部１１０５は、車載端末Ｖ２０３から俯瞰画像における施工現場上の地点（注意地点）と、当該注意地点における注意情報とを取得し、注意情報記憶部１２０３に記憶させる。注意情報の例としては、ぬかるみ、凍結、落下物、陥没穴などの存在を示す情報が挙げられる。注意地点は、点として示されてもよいし、面として示されてもよい。
　車両指定部１１０６は、車両認識部１１０３が認識した１つまたは複数の車両の中から１の車両の指定を受け付ける。以下、車両指定部１１０６が指定を受け付けた車両を指定車両ともいう。例えば、車両指定部１１０６は、車載端末Ｖ２０３や管理者が操作するコンピュータから、座標を示す情報を受信することで、全体俯瞰画像において指定された座標またはその近傍に写る積込車両Ｖ２が指定されたものとみなす。
　距離算出部１１０７は、指定車両と他の車両との距離、および指定車両と注意地点との距離を、それぞれ算出する。距離算出部１１０７は、車両認識部１１０３または車両追跡部が特定した俯瞰画像上の車両の座標、および注意情報取得部１１０５が取得した俯瞰画像上の注意地点の座標に基づいて、距離を特定する。また、車両認識部１１０３は、画像取得部１１０１が取得した複数の画像による三角測量手法によって、車両の座標および距離を算出してもよい。
　表示画像生成部１１０８は、画像記憶部１２０１が記憶する全体俯瞰画像と車両記憶部１２０２が記憶する情報と注意情報記憶部１２０３が記憶する情報とに基づいて、積込車両Ｖ２の車載端末Ｖ２０３に表示させる表示画像を生成する。
　表示判定部１１０９は、距離算出部１１０７が算出した距離に基づいて、積込車両Ｖ２に、近傍の運搬車両Ｖ１または近傍の注意地点を強調して表示させるか否かを判定する。表示判定部１１０９は、運搬車両Ｖ１と積込車両Ｖ２との距離が所定の閾値以下である場合に、その運搬車両Ｖ１を強調して表示させると判定する。また、表示判定部１１０９は、注意地点と積込車両Ｖ２との距離が所定の閾値以下である場合に、その注意地点を強調して表示させると判定する。
　表示制御部１１１０は、表示画像生成部１１０８が生成した表示画像を、積込車両Ｖ２に送信する。
　画像記憶部１２０１は、全体俯瞰画像を時系列に記憶する。
　車両記憶部１２０２は、車両認識部１１０３が認識した車両ごとに、当該車両を表す識別情報、種類、および位置を記憶する。車両の識別情報は、車両認識部１１０３が新たな車両を認識するたびに付与され、車両追跡部１１０４による追跡処理において車両を同定するための値である。当該識別情報は、実車両を特定するための実識別情報（機番やＩＰアドレスなど）とは異なる値である。車両の種類の例としては、積込車両Ｖ２、運搬車両Ｖ１およびその他の車両が挙げられる。車両記憶部１２０２は、車両が積込車両Ｖ２である場合、さらに積込車両Ｖ２の実識別情報を関連付けて記憶する。
　注意情報記憶部１２０３は、注意情報取得部１１０５が取得した注意地点の座標および当該注意地点における注意情報を記憶する。
《表示情報の提示方法》
　次に、第１の実施形態に係る情報提示装置１２０の動作について説明する。
　図４－図５は、第１の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
　情報提示装置１２０の画像取得部１１０１は、複数の撮像装置１１０のそれぞれから画像を取得する（ステップＳ１）。俯瞰画像生成部１１０２は、撮像装置１１０の設置位置および視線方向に応じた変形パラメータを用いて、画像取得部１１０１が取得した各画像を変形する（ステップＳ２）。次に、俯瞰画像生成部１１０２は、変形した複数の画像を合成することで、全体俯瞰画像を生成し、画像記憶部１２０１に全体俯瞰画像を記憶させる（ステップＳ３）。車両認識部１１０３は、生成した全体俯瞰画像から、積込車両Ｖ２が写る座標、および運搬車両Ｖ１が写る座標を特定する（ステップＳ４）。
　情報提示装置１２０は車両認識部１１０３が認識した車両を１つずつ選択し、以下のステップＳ６からステップＳ１０の処理を実行する（ステップＳ５）。
　車両追跡部１１０４は、画像記憶部１２０１から、前回生成された全体俯瞰画像を読み出し、選択された車両と類似する車両がステップＳ４で特定された座標の近傍に存在するか否かを判定する（ステップＳ６）。選択された車両と類似する車両が、特定された座標の近傍に存在する場合（ステップＳ６：ＹＥＳ）、車両追跡部１１０４は、車両記憶部１２０２から当該座標に関連付けられた車両の識別情報を特定する（ステップＳ７）。車両追跡部１１０４は、車両記憶部１２０２が当該識別情報に関連付けて記憶する座標を、ステップＳ４で特定された座標に書き換える（ステップＳ８）。他方、選択された車両と類似する車両がステップＳ４で特定された座標の近傍に存在しない場合（ステップＳ６：ＮＯ）、車両認識部１１０３は、当該車両に新たな識別情報を付与する（ステップＳ９）。車両認識部１１０３は、当該識別情報とステップＳ４で特定した座標とを関連付けて車両記憶部１２０２に記録する（ステップＳ１０）。
　これにより、情報提示装置１２０は、画像記憶部１２０１が記憶するすべての車両の位置を更新することができる。
　表示画像生成部１１０８は、ステップＳ３で生成した全体俯瞰画像の、ステップＳ４で特定した座標に車両を示す通常プロットＰ１を付した表示画像を生成する（ステップＳ１１）。表示画像生成部１１０８は、車両の種別等によって通常プロットＰ１の色や形を異ならせてよい。
　次に、情報提示装置１２０は、施工現場Ｇに存在する積込車両Ｖ２を１つずつ選択し、以下のステップＳ１３からステップＳ２０の処理を実行する（ステップＳ１２）。
　表示制御部１１１０は、車両記憶部１２０２が記憶する車両のうち、選択された積込車両Ｖ２の実識別情報に関連付けられたものがあるか否かを判定する（ステップＳ１３）。すなわち、表示制御部１１１０は、選択された積込車両Ｖ２が指定車両であるか否かを判定する。車両記憶部１２０２に、選択された積込車両Ｖ２の実識別情報に関連付けられた車両が記憶されていない場合（ステップＳ１３：ＮＯ）、表示制御部１１１０は、ステップＳ１１で生成した表示画像を、選択された積込車両Ｖ２に送信する（ステップＳ１４）。
　つまり、施工現場Ｇに存在する積込車両Ｖ２のうち、全体俯瞰画像に写る車両との紐づけがなされていないもの（指定車両でない車両）には、図６に示すように、全体俯瞰画像と車両を表す通常プロットＰ１とを含む表示画像が送信される。図６は、全体俯瞰画像に写る車両との紐づけがない車載端末に表示される画像の例である。
　他方、車両記憶部１２０２に、選択された積込車両Ｖ２の実識別情報に関連付けられた車両が記憶されている場合（ステップＳ１３：ＹＥＳ）、表示画像生成部１１０８は、選択された積込車両Ｖ２の実識別情報に関連付けて車両記憶部１２０２が記憶する座標を特定する（ステップＳ１５）。次に、表示画像生成部１１０８は、ステップＳ１１で生成した表示画像の、ステップＳ１５で特定した座標に、現在位置を表す自車プロットＰ２を付す（ステップＳ１６）。自車プロットＰ２は、ステップＳ１１で付された通常プロットＰ１と色および形の少なくとも１つが異なる。
　これにより、情報提示装置１２０は、図７に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２とを含む表示画像を生成する。図７は、近傍に運搬車両が存在しない積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の位置を容易に認識することができる。
　次に、距離算出部１１０７は、車両記憶部１２０２を参照し、ステップＳ１５で特定された座標と、運搬車両Ｖ１の座標との距離を算出する（ステップＳ１７）。
　次に、表示判定部１１０９は、算出した距離に基づいて、選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在するか否かを判定する（ステップＳ１８）。選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在しない場合（ステップＳ１８：ＮＯ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、強調すべき運搬車両Ｖ１がないと判定する。
　他方、選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在する場合（ステップＳ１８：ＹＥＳ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、強調すべき運搬車両Ｖ１ががあると判定する。表示画像生成部１１０８は、ステップＳ１６で生成した表示画像のうち、積込車両Ｖ２との距離が所定距離未満である運搬車両Ｖ１の座標に付された通常プロットＰ１を、通常プロットＰ１および自車プロットＰ２と異なる態様の近接プロットＰ３に置換する（ステップＳ１９）。例えば、近接プロットＰ３は、通常プロットＰ１および自車プロットＰ２と色、形状、または輪郭線が異なる。これにより、表示画像において積込車両Ｖ２との距離が所定距離未満である運搬車両Ｖ１を強調することができる。
　これにより、情報提示装置１２０は、図８に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２と近傍の運搬車両Ｖ１を強調して表す近接プロットＰ３とを含む表示画像を生成する。図８は、近傍に運搬車両が存在する積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の近傍に運搬車両Ｖ１が存在することを容易に認識することができる。
　次に、距離算出部１１０７は、注意情報記憶部１２０３を参照し、ステップＳ１５で特定された座標と、注意地点の座標との距離を算出する（ステップＳ２０）。
　次に、表示判定部１１０９は、算出した距離に基づいて、選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在するか否かを判定する（ステップＳ２１）。選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在しない場合（ステップＳ２１：ＮＯ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、表示すべき注意情報がないと判定する。
　他方、選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在する場合（ステップＳ２１：ＹＥＳ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３に注意情報を表示する必要があると判定する。表示画像生成部１１０８は、ステップＳ１６で生成した表示画像のうち、積込車両Ｖ２との距離が所定距離未満である注意地点の座標に、注意地点の形状を表す図形Ｐ４を付す（ステップＳ２２）。これにより、表示画像において積込車両Ｖ２との距離が所定距離未満である注意地点の存在を通知することができる。
　これにより、情報提示装置１２０は、図９に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２と近傍の注意地点の範囲を示す図形Ｐ４と、図形Ｐ４が示す注意範囲における注意情報を表示するボックスＰ５とを含む表示画像を生成する。図９は、近傍に注意地点が存在する積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の近傍に注意を要する地点が存在することを容易に認識することができる。
　そして、表示制御部１１１０は、ステップＳ１６で生成した表示画像（図７）、ステップＳ１９で近傍の運搬車両Ｖ１を強調した表示画像（図８）、ステップＳ２２で注意地点の位置を表した表示画像（図９）、または近傍の運搬車両Ｖ１を強調し、かつ注意地点の位置を表した表示画像を、積込車両Ｖ２に送信する（ステップＳ１４）。
《積込車両の指定方法》
　次に、全体俯瞰画像から積込車両Ｖ２を指定する方法について説明する。
　図１０は、第１の実施形態における積込車両の指定方法を示すフローチャートである。
　積込車両Ｖ２のオペレータが積込車両Ｖ２を起動させると、車載端末Ｖ２０３も起動する。車載端末Ｖ２０３は、起動すると、情報提示装置１２０から表示画像を受信して表示する（ステップＳ６１）。起動した積込車両Ｖ２は情報提示装置１２０において全体俯瞰画像に写る車両と紐づけられていないため、このとき表示される表示画像には、図６に示すように、現在位置を示す自車プロットＰ２が含まれない。
　オペレータは、車載端末Ｖ２０３を操作し、表示画像の中から乗車している積込車両Ｖ２を探し、当該積込車両Ｖ２を表す通常プロットＰ１を選択する（ステップＳ６２）。車載端末Ｖ２０３は、選択された通常プロットＰ１の座標を特定し、情報提示装置１２０に送信する（ステップＳ６３）。
　情報提示装置１２０の車両指定部１１０６は、車載端末Ｖ２０３から通常プロットＰ１の座標を示す情報を受信すると、当該情報の送信元の車載端末Ｖ２０３を備える積込車両Ｖ２の実識別情報を特定する（ステップＳ６４）。そして、車両指定部１１０６は、特定した実識別情報を、受信した座標に係る車両に関連付けて車両記憶部１２０２に記憶させる（ステップＳ６５）。つまり、車両指定部１１０６は、車載端末Ｖ２０３から通常プロットＰ１の座標を表す情報を受信することにより、積込車両Ｖ２の指定を受け付ける。
　これにより、全体俯瞰画像に写る積込車両Ｖ２と実識別情報とが紐づけられたので、以降、当該積込車両Ｖ２には、図７－図９に示すような現在位置を示す自車プロットＰ２が含まれる表示画像が送信される。
《注意情報の登録方法》
　次に、積込車両Ｖ２のオペレータが注意地点に係る注意情報を情報提示装置１２０に登録する方法について説明する。
　図１１は、第１の実施形態における注意情報の登録方法を示すフローチャートである。
　車載端末Ｖ２０３は、情報提示装置１２０から表示画像を受信して表示する（ステップＳ９１）。このとき表示される表示画像には、図６に示すように、現在位置を示す自車プロットＰ２が含まれないものであってもよいし、図７－図９に示すように、現在位置を示す自車プロットＰ２が含まれるものであってもよい。
　オペレータは、車載端末Ｖ２０３を操作し、表示画像の中から、ぬかるみ、凍結、落下物等、オペレータの注意を要する事象が生じている地点を選択する（ステップＳ９２）。このとき、オペレータは、表示画像の１点をタッチすることで注意地点を点として選択してもよいし、表示画像のうち注意地点が存在する範囲の輪郭をなぞることで注意地点を面として選択してもよい。
　次に、車載端末Ｖ２０３は、注意情報の入力欄を表示する（ステップＳ９３）。オペレータは、入力欄に注意情報を示す文字列を入力する（ステップＳ９４）。そして、車載端末Ｖ２０３は、入力された注意地点の座標および注意情報を、情報提示装置１２０に送信する（ステップＳ９５）。
　情報提示装置１２０の注意情報取得部１１０５は、車載端末Ｖ２０３から注意地点の座標および注意情報を受信すると、これらを関連付けて注意情報記憶部１２０３に記憶させる（ステップＳ９６）。
　これにより、オペレータは、施工現場において注意が必要な地点の情報を情報提示装置１２０に通知することができる。そして、情報提示装置１２０は、一のオペレータによって通知された注意情報を、注意地点の近傍に存在する積込車両Ｖ２のオペレータに通知することができる。
《作用・効果》
　以上、第１の実施形態によれば、情報提示装置１２０は、施工現場に設置された複数の撮像装置１１０が撮像した画像に基づいて、複数の車両それぞれの位置を特定し、複数の車両の中から積込車両Ｖ２の指定を受け付け、当該積込車両Ｖ２の車載端末Ｖ２０３に、当該積込車両Ｖ２との距離が閾値未満である運搬車両Ｖ１の位置を表す近接プロットＰ３を、施工現場の俯瞰画像に重ねて表示させる。
　これにより、情報提示装置１２０は、積込車両Ｖ２のオペレータに、近傍の運搬車両Ｖ１の存在を容易に認識させることができる。
　また、情報提示装置１２０は、複数の撮像装置１１０が撮像した画像に基づいて俯瞰画像を生成する。これにより、俯瞰画像において死角が生じることを防ぐことができる。
　また、第１の実施形態によれば、情報提示装置１２０は、近接プロットＰ３に加え、積込車両Ｖ２との距離が閾値以上である運搬車両Ｖ１の位置を表す通常プロットＰ１を、施工現場の俯瞰画像に重ねて積込車両Ｖ２の車載端末Ｖ２０３に表示させる。このとき、情報提示装置１２０は、通常プロットＰ１と近接プロットＰ３とを異なる態様で表示させることで、近傍の運搬車両Ｖ１を他の運搬車両Ｖ１より強調する。これにより、情報提示装置１２０は、積込車両Ｖ２のオペレータに、複数の運搬車両Ｖ１の位置を認識させつつ、近傍に運搬車両Ｖ１が存在するか否かを通知することができる。他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２から離れた運搬車両Ｖ１を表す通常プロットＰ１を表示させなくてもよい。
　また、第１の実施形態によれば、情報提示装置１２０は、俯瞰画像の座標の入力によって積込車両Ｖ２の指定を受け付ける。これにより、情報提示装置１２０は、ＧＮＳＳ（Global Navigation Satellite System）などの位置特定機能の有無に関わらず、積込車両Ｖ２の指定を受け付けることができる。他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２からＧＮＳＳ等によって特定された位置情報を取得することで、積込車両Ｖ２の指定を受け付けてもよい。
　また、第１の実施形態によれば、情報提示装置１２０は、複数の撮像装置１１０が撮像した画像の時系列における新たな画像と前回の画像との比較に基づいて、新たな画像における指定車両の位置を特定する（指定車両を追跡する）。これにより、情報提示装置１２０は、積込車両Ｖ２の指定を受け付けた後に、積込車両Ｖ２が移動した場合にも、再度の指定を受け付けることなく、当該積込車両Ｖ２の位置を特定することができる。
特に、情報提示装置１２０は、俯瞰画像の座標の入力によって指定を受け付け、その後画像の時系列に基づいて車両を追跡することで、位置特定機能を有しない積込車両Ｖ２の車載端末Ｖ２０３に、当該積込車両Ｖ２の位置を表示させることができる。
　他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２からＧＮＳＳ等によって特定された位置情報を常に取得することで、指定された積込車両Ｖ２の位置を更新してもよい。また他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２が移動するたびに、オペレータから積込車両Ｖ２の指定を受け付けてもよい。
　また、第１の実施形態によれば、情報提示装置１２０は、積込車両Ｖ２との距離が閾値未満である注意地点を表す図形Ｐ４を、施工現場の俯瞰画像に重ねて積込車両Ｖ２の車載端末Ｖ２０３に表示させる。これにより、情報提示装置１２０は、積込車両Ｖ２のオペレータに、近傍に注意を要する地点の存在を容易に認識させることができる。他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２に注意情報を提示しなくてもよい。
〈他の実施形態〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
　例えば、上述した実施形態に係る施工現場管理システム１は、積込車両Ｖ２が備える車載端末Ｖ２０３に、プロットが付された俯瞰画像を表示させるが、これに限られない。例えば、他の実施形態に係る施工現場管理システム１においては、積込車両Ｖ２が備える車載端末Ｖ２０３のみならず、運搬車両Ｖ１のオペレータが所持する端末にプロットが付された俯瞰画像を表示させてもよい。この場合、運搬車両Ｖ１のオペレータは、近傍に存在する他の運搬車両Ｖ１、積込車両Ｖ２、および注意地点を認識することができる。
　また、上述した実施形態に係る情報提示装置１２０は、積込車両Ｖ２が備える車載端末Ｖ２０３に、運搬車両Ｖ１の位置を表示させるが、これに限られない。例えば、他の実施形態に係る情報提示装置１２０は、積込車両Ｖ２が備える車載端末Ｖ２０３に、他の積込車両Ｖ２の位置を表示させてもよい。この場合、情報提示装置１２０は、指定車両の近傍の積込車両Ｖ２の位置を強調して表示させてもよい。
　また、上述した実施形態に係る施工現場管理システム１は、車載端末Ｖ２０３に表示されたプロットを利用者が選択することで、情報提示装置１２０が強調すべき車両を特定するが、これに限られない。例えば、他の実施形態に係る施工現場管理システム１は、積込車両Ｖ２に搭載されるＧＮＳＳによって特定される位置情報に基づいて強調すべき車両を特定してもよいし、撮像装置１１０が撮像した画像から積込車両Ｖ２に付された固有の識別マークを認識することで、強調すべき車両を特定してもよい。
　なお、上述した実施形態に係る施工現場管理システム１は、施工現場Ｇに設けられた情報提示装置１２０によって、俯瞰画像の生成および車両の認識がなされるが、これに限られない。例えば、他の実施形態に係る施工現場管理システム１は、各積込車両Ｖ２の車載端末Ｖ２０３それぞれが情報提示装置１２０として機能してもよい。この場合、車載端末Ｖ２０３は、例えば以下のように近接プロットＰ３を表示することができる。各積込車両Ｖ２の車載端末Ｖ２０３は、複数の撮像装置１１０において撮像された画像を受信し、受信した複数の画像に基づいて施工現場Ｇの俯瞰画像を生成し、また車両の位置を特定することができる。つまり、本実施形態においては、車載端末Ｖ２０３は、複数の撮像装置１１０が撮像した画像に基づいて、複数の車両それぞれの位置を特定する。車載端末Ｖ２０３は、撮像装置１１０の画像またはＧＮＳＳの測量結果に基づいて指定車両（その車載端末Ｖ２０３を備える積込車両Ｖ２）を特定する。そして、車載端末Ｖ２０３は、積込車両Ｖ２と距離が近い他の車両の位置を示す近接プロットＰ３を画面に表示させる。つまり、他の実施形態においては、必ずしも情報提示装置１２０がサーバとして実装される必要はなく、例えば相互通信を行う複数の車載端末Ｖ２０３によって実装されてもよい。
　本発明に係る情報提示装置は、車両のオペレータに、近傍に存在する他の車両を容易に認識させることができる。
１…施工現場管理システム　１１０…撮像装置　１２０…情報提示装置　１１０１…画像取得部　１１０２…俯瞰画像生成部　１１０３…車両認識部　１１０４…車両追跡部　１１０５…注意情報取得部　１１０６…車両指定部　１１０７…距離算出部　１１０８…表示画像生成部　１１０９…表示判定部　１１１０…表示制御部　１１１１…積荷特定部　１１１２…ルート提示部　１１１３…ルート学習部　１２０１…画像記憶部　１２０２…車両記憶部　１２０３…注意情報記憶部　Ｖ１…運搬車両　Ｖ２…積込車両　Ｖ２０３…車載端末

Claims (6)

  1. 　施工現場に設置された複数の撮像装置が撮像した画像に基づいて、複数の車両それぞれの位置を特定する車両認識部と、
    　特定された前記複数の車両のうち、指定車両の指定を受け付ける車両指定部と、
    　前記指定車両との距離が閾値未満である他の車両の位置を表す近接プロットを前記施工現場の俯瞰画像に重ねて表示する信号を出力する表示制御部と
    　を備える情報提示装置。
  2. 　前記表示制御部は、前記近接プロットと、前記指定車両との距離が閾値以上である他の車両の位置を表し前記近接プロットと異なる態様の通常プロットとを前記俯瞰画像に重ねて表示する信号を出力する
    　請求項１に記載の情報提示装置。
  3. 　前記複数の撮像装置が撮像した画像の時系列において、前記指定車両の位置を特定する車両追跡部を備え、
    　前記表示制御部は、前記車両追跡部によって特定された位置に基づいて前記信号を出力する
    　請求項１または請求項２に記載の情報提示装置。
  4. 　前記車両指定部は、前記俯瞰画像の座標の入力によって前記指定車両の指定を受け付ける
    　請求項１から請求項３の何れか１項に記載の情報提示装置。
  5. 　前記施工現場における注意地点を記憶する注意情報記憶部を備え、
    　前記表示制御部は、前記指定車両との距離が閾値未満である注意地点を表す図形を前記施工現場の俯瞰画像に重ねて表示する信号を出力する
    　請求項１から請求項４の何れか１項に記載の情報提示装置。
  6. 　施工現場に設置された複数の撮像装置が撮像した画像に基づいて、複数の車両それぞれの位置を特定するステップと、
    　特定された前記複数の車両のうち、指定車両の指定を受け付けるステップと、
    　表示装置に、前記指定車両との距離が閾値未満である他の車両の位置を表す近接プロットを前記施工現場の俯瞰画像に重ねて表示するステップと
    　を有する情報提示方法。
PCT/JP2019/006122 2018-02-28 2019-02-19 情報提示装置および情報提示方法 WO2019167726A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/956,691 US11532162B2 (en) 2018-02-28 2019-02-19 Information presenting device and information presenting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-035382 2018-02-28
JP2018035382A JP7150447B2 (ja) 2018-02-28 2018-02-28 情報提示装置および情報提示方法

Publications (1)

Publication Number Publication Date
WO2019167726A1 true WO2019167726A1 (ja) 2019-09-06

Family

ID=67806191

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006122 WO2019167726A1 (ja) 2018-02-28 2019-02-19 情報提示装置および情報提示方法

Country Status (3)

Country Link
US (1) US11532162B2 (ja)
JP (1) JP7150447B2 (ja)
WO (1) WO2019167726A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033592A (ja) * 2020-08-17 2022-03-02 大成建設株式会社 建設機械接触防止システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210139297A (ko) * 2019-03-27 2021-11-22 스미토모 겐키 가부시키가이샤 건설기계, 지원시스템
JP7409074B2 (ja) 2019-12-25 2024-01-09 コベルコ建機株式会社 作業支援サーバ、撮像装置の選択方法
JP7338514B2 (ja) 2020-03-04 2023-09-05 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP7461567B2 (ja) 2021-03-25 2024-04-03 日立建機株式会社 情報提示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333590A (ja) * 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
JP2012203677A (ja) * 2011-03-25 2012-10-22 Penta Ocean Construction Co Ltd 安全管理システム
JP2014089491A (ja) * 2012-10-29 2014-05-15 Hitachi Consumer Electronics Co Ltd 映像処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424834B2 (ja) * 1997-02-20 2003-07-07 株式会社小松製作所 車両の監視装置
EP1447481B1 (en) * 2003-01-23 2007-03-21 Komatsu Ltd. Method of operating a mobile body communication device
EP1643040A3 (en) * 2003-01-24 2006-04-19 Komatsu Ltd. Work machine management device
JP5781978B2 (ja) * 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
US8830322B2 (en) * 2012-08-06 2014-09-09 Cloudparc, Inc. Controlling use of a single multi-vehicle parking space and a restricted location within the single multi-vehicle parking space using multiple cameras
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP2015002401A (ja) * 2013-06-14 2015-01-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US20150070498A1 (en) * 2013-09-06 2015-03-12 Caterpillar Inc. Image Display System
US10267643B2 (en) * 2013-09-16 2019-04-23 Verizon Connect Ireland Limited System and method for automated correction of geofences
US11244171B2 (en) * 2014-01-22 2022-02-08 Conduent Business Services Llc Video-based system for automated detection of double parking violations
JP6247616B2 (ja) * 2014-08-25 2017-12-13 日立建機株式会社 無線システム及び運行管理サーバ
CA2945922C (en) * 2015-11-30 2020-05-05 Komatsu Ltd. Work machine control system, work machine, work machine management system, and method for controlling work machine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333590A (ja) * 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
JP2012203677A (ja) * 2011-03-25 2012-10-22 Penta Ocean Construction Co Ltd 安全管理システム
JP2014089491A (ja) * 2012-10-29 2014-05-15 Hitachi Consumer Electronics Co Ltd 映像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033592A (ja) * 2020-08-17 2022-03-02 大成建設株式会社 建設機械接触防止システム

Also Published As

Publication number Publication date
US20200327336A1 (en) 2020-10-15
JP2019151968A (ja) 2019-09-12
US11532162B2 (en) 2022-12-20
JP7150447B2 (ja) 2022-10-11

Similar Documents

Publication Publication Date Title
WO2019167726A1 (ja) 情報提示装置および情報提示方法
EP3950235B1 (en) Self-propelled robot path planning method, self-propelled robot and storage medium
EP3742725B1 (en) Surroundings monitoring system for work machine
US11585490B2 (en) Management system
JP6247773B2 (ja) 運転支援システム、車両、運転支援端末装置、及び運転支援プログラム
CN105518556B (zh) 车辆行驶系统以及车辆行驶控制方法
US9990543B2 (en) Vehicle exterior moving object detection system
US20160176338A1 (en) Obstacle Detection System
AU2014213529B2 (en) Image display system
CN102740056B (zh) 图像显示系统
CN110741124B (zh) 用于工程机械的信息系统
US11873948B2 (en) Management system
WO2015106799A1 (en) Mine vehicle, mine control system and mapping method
JP2014137743A (ja) 情報提供システム
US20140293047A1 (en) System for generating overhead view of machine
US20160148421A1 (en) Integrated Bird's Eye View with Situational Awareness
US11595618B2 (en) Enhanced visibility system for work machines
CN114730410A (zh) 用于验证工作现场的系统
WO2019167605A1 (ja) 情報提示装置、情報提示方法および有人運転車両
JP6796518B2 (ja) 移動物体検知システム
US20120249342A1 (en) Machine display system
JP2019168996A (ja) 作業車両の周囲監視システム
WO2022201735A1 (ja) 情報提示装置
JP2019121249A (ja) 運搬車両
JP2007205983A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19760938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19760938

Country of ref document: EP

Kind code of ref document: A1