WO2014148203A1 - 作業機械用周辺監視装置 - Google Patents

作業機械用周辺監視装置 Download PDF

Info

Publication number
WO2014148203A1
WO2014148203A1 PCT/JP2014/054289 JP2014054289W WO2014148203A1 WO 2014148203 A1 WO2014148203 A1 WO 2014148203A1 JP 2014054289 W JP2014054289 W JP 2014054289W WO 2014148203 A1 WO2014148203 A1 WO 2014148203A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
output
coordinates
camera
monitoring
Prior art date
Application number
PCT/JP2014/054289
Other languages
English (en)
French (fr)
Inventor
芳永 清田
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Priority to CN201480007706.9A priority Critical patent/CN104982030A/zh
Priority to EP14769256.0A priority patent/EP2978213B1/en
Publication of WO2014148203A1 publication Critical patent/WO2014148203A1/ja
Priority to US14/848,454 priority patent/US9836938B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a work machine peripheral monitoring device having a function of determining the presence or absence of a person around a work machine.
  • the work machine peripheral monitoring device is installed in a human presence / absence judging means for judging the presence or absence of a person in each of a plurality of monitoring spaces around the work machine, and in a cab of the work machine.
  • a plurality of alarm control means for controlling a plurality of alarm output units for outputting an alarm to the operator, wherein the plurality of monitoring spaces are two of the plurality of monitoring spaces; 2 includes a monitoring space, and the plurality of alarm output units are two of the plurality of alarm output units, a first alarm output unit corresponding to the first monitoring space, and the second monitoring space
  • a second alarm output unit is included, and the alarm control unit causes the first alarm output unit to output an alarm when it is determined that a person is present in the first monitoring space, and the alarm control unit is configured to output a person to the second monitoring space.
  • the second alarm is issued when it is determined that From part to output an alarm.
  • a work machine peripheral monitoring device which enables the operator of the work machine to intuitively grasp the position of a person present around the work machine.
  • FIG. 6 is a diagram showing an example of a relationship between a space model and a processing target image plane. It is a figure for demonstrating matching with the coordinate on an input image plane, and the coordinate on a space model. It is a figure for demonstrating the matching between the coordinates by a coordinate matching means. It is a figure for demonstrating the effect
  • FIG. 13 is a contrast diagram showing the difference between the output image shown in FIG. 12 and the output image obtained by applying the image loss prevention process to the output image of FIG. 12.
  • FIG. 1 is a block diagram schematically showing a configuration example of an image generation apparatus 100 according to an embodiment of the present invention.
  • the image generation device 100 is an example of a work machine peripheral monitoring device for monitoring the periphery of a work machine, and includes a control unit 1, a camera 2, an input unit 3, a storage unit 4, a display unit 5, a human detection sensor 6, and The alarm output unit 7 is configured. Specifically, the image generating apparatus 100 generates an output image based on an input image captured by the camera 2 mounted on a work machine, and presents the output image to the operator. Further, the image generation device 100 switches the content of the output image to be presented based on the output of the human detection sensor 6.
  • FIG. 2 is a view showing a configuration example of a shovel 60 as a working machine on which the image generating apparatus 100 is mounted.
  • the shovel 60 is an upper portion of a crawler type lower traveling body 61 via a turning mechanism 62.
  • the swing body 63 is rotatably mounted around the swing axis PV.
  • the upper swing body 63 also has a cab (driver's cab) 64 on the front left side thereof and an excavating attachment E at the front center thereof, and the camera 2 (right side camera 2R, rear camera 2B on its right side and rear side) And a person detection sensor 6 (right person detection sensor 6R, rear person detection sensor 6B).
  • the display part 5 is installed in the position in which the operator in the cab 64 visually recognizes.
  • alarm output units 7 (right direction alarm output unit 7R, rear alarm output unit 7B) are installed on the right inner wall and the rear inner wall.
  • the control unit 1 is a computer provided with a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), a non-volatile random access memory (NVRAM), and the like.
  • the control unit 1 stores, for example, programs corresponding to the coordinate association unit 10, the image generation unit 11, the person existence / non-existence determination unit 12, and the alarm control unit 13 described later in the ROM or NVRAM.
  • a CPU executes processing corresponding to each means while using a RAM as a temporary storage area.
  • the camera 2 is a device for acquiring an input image that reflects the surroundings of the shovel 60.
  • the camera 2 is, for example, the right side camera 2R and the rear camera 2B attached to the right side surface and the rear surface of the upper swing body 63 so as to be able to capture an area which becomes a blind spot of the operator in the cab 64 (see FIG. 2)).
  • the camera 2 includes an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the camera 2 may be attached to a position other than the right side surface and the rear surface of the upper swing body 63 (for example, the front surface and the left side surface), and a wide angle lens or a fisheye lens is attached to capture a wide range. It may be
  • the camera 2 acquires an input image according to a control signal from the control unit 1, and outputs the acquired input image to the control unit 1.
  • the corrected input image corrected for apparent distortion and tilt caused by using these lenses is sent to the control unit 1.
  • the camera 2 may output an input image not corrected for the apparent distortion or tilt to the control unit 1 as it is. In that case, the control unit 1 corrects the apparent distortion or tilt.
  • the input unit 3 is a device for enabling an operator to input various information to the image generation device 100, and is, for example, a touch panel, a button switch, a pointing device, a keyboard, or the like.
  • the storage unit 4 is a device for storing various information, and is, for example, a hard disk, an optical disk, a semiconductor memory, or the like.
  • the display unit 5 is a device for displaying image information, and is, for example, a liquid crystal display or a projector installed in a cab 64 (see FIG. 2) of the shovel 60. Display an image.
  • the human detection sensor 6 is a device for detecting a person present around the shovel 60.
  • the human detection sensor 6 is attached to the right side surface and the rear surface of the upper swing body 63, for example, so as to be able to detect a person present in an area in the cab 64 which will be the blind spot of the operator (see FIG. 2). .
  • the human detection sensor 6 is a sensor that distinguishes and detects a human from an object other than a human, for example, a sensor that detects an energy change in the corresponding monitoring space, and includes a pyroelectric infrared sensor, a bolometer infrared sensor, It includes a moving body detection sensor using an output signal of an infrared camera or the like.
  • the human detection sensor 6 uses a pyroelectric infrared sensor, and detects a moving body (moving heat source) as a human.
  • the monitoring space of the right side person detection sensor 6R is included in the imaging space of the right side camera
  • the monitoring space of the rear person detection sensor 6B is included in the imaging space of the rear camera 2B.
  • the person detection sensor 6 may be attached to a position other than the right side surface and the rear surface (for example, the front surface and the left surface) of the upper swing body 63 as in the camera 2. It may be attached to any one of the left side surface, the right side surface, and the rear surface, and may be attached to all the surfaces.
  • the alarm output unit 7 is a device that outputs an alarm to the operator of the shovel 60.
  • the alarm output unit 7 is an alarm device that outputs at least one of sound and light, and includes a sound output device such as a buzzer and a speaker, and a light emitting device such as an LED and a flash light.
  • the alarm output unit 7 is a buzzer for outputting an alarm sound, and the right side alarm output unit 7R attached to the right inner wall of the cab 64 and the rear alarm output unit attached to the rear inner wall of the cab 64 7B (see FIG. 2).
  • the image generation apparatus 100 generates the processing target image based on the input image, and performs image conversion processing on the processing target image so that the positional relationship with the surrounding objects and the sense of distance can be intuitively grasped. After the output image to be generated is generated, the output image may be presented to the operator.
  • the “processing target image” is an image to be generated based on an input image and to be a target of image conversion processing (for example, scale conversion processing, affine conversion processing, distortion conversion processing, viewpoint conversion processing, and the like).
  • the “processing target image” is, for example, an input image by a camera that captures the ground surface from above, and an input image including an image in the horizontal direction (for example, a sky part) due to its wide angle of view.
  • An image suitable for image conversion processing, generated from More specifically, the input image is projected onto a predetermined spatial model so that the horizontal image is not displayed unnaturally (for example, the sky portion is not treated as being on the ground surface). It is generated by reprojecting the projection image projected on the space model to another two-dimensional plane.
  • the processing target image may be used as an output image as it is without performing image conversion processing.
  • the "space model” is a projection target of the input image.
  • the “space model” is configured by one or more planes or curved surfaces including at least a plane or curved surface other than the processing target image plane which is a plane on which the processing target image is located.
  • a plane or a curved surface other than the processing target image plane which is a plane on which the processing target image is located is, for example, a plane parallel to the processing target image plane or a plane or a curved surface forming an angle with the processing target image plane. .
  • the image generation apparatus 100 may generate an output image by performing an image conversion process on the projection image projected on the space model without generating the processing target image.
  • the projection image may be used as an output image as it is without performing image conversion processing.
  • FIG. 3 is a view showing an example of a space model MD on which an input image is projected, and the left view of FIG. 3 shows the relationship between the shovel 60 and the space model MD when the shovel 60 is viewed from the side. 3 shows the relationship between the shovel 60 and the space model MD when the shovel 60 is viewed from above.
  • the space model MD has a semi-cylindrical shape, and has a flat region R1 inside the bottom and a curved region R2 inside the side.
  • FIG. 4 is a diagram showing an example of the relationship between the space model MD and the processing target image plane, and the processing target image plane R3 is, for example, a plane including the plane region R1 of the space model MD.
  • FIG. 4 shows the space model MD not in a semi-cylindrical shape as shown in FIG. 3 but in a cylindrical shape for clarity, the space model MD has either a semi-cylindrical shape or a cylindrical shape. It may be The same applies to the following figures.
  • the processing target image plane R3 may be a circular area including the plane area R1 of the space model MD, or may be an annular area not including the plane area R1 of the space model MD.
  • control unit 1 Next, various units included in the control unit 1 will be described.
  • the coordinate associating means 10 is a means for associating the coordinates on the input image plane where the input image captured by the camera 2 is located, the coordinates on the space model MD, and the coordinates on the processing object image plane R3.
  • the coordinate associating unit 10 includes, for example, various parameters related to the camera 2 set in advance or input through the input unit 3, and an input image plane, a space model MD, and the like, which are determined in advance.
  • the coordinates on the input image plane, the coordinates on the space model MD, and the coordinates on the processing image plane R3 are associated based on the mutual positional relationship between the processing object image plane R3.
  • the various parameters relating to the camera 2 are, for example, the optical center of the camera 2, focal length, CCD size, optical axis direction vector, camera horizontal direction vector, projection method and the like. Then, the coordinate correlating means 10 stores the correspondence between them in the input image / space model correspondence map 40 of the storage unit 4 and the space model / processing target image correspondence map 41.
  • the image generation unit 11 is a unit for generating an output image.
  • the image generation unit 11 performs, for example, scale conversion, affine conversion, or distortion conversion on the processing target image to obtain the coordinates on the processing target image plane R3 and the output image on which the output image is located. Correspond to the coordinates.
  • the image generation unit 11 stores the correspondence in the processing target image / output image correspondence map 42 of the storage unit 4.
  • the image generation unit 11 associates the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image / space model correspondence map 40 and the space model / process target image correspondence map 41. Generate an output image.
  • the value of each pixel is, for example, a luminance value, a hue value, a saturation value or the like.
  • the image generation unit 11 outputs an image plane on which coordinates on the image plane R3 to be processed and an output image are located based on various parameters related to the virtual camera set in advance or input through the input unit 3. Correspond with the upper coordinates.
  • the various parameters relating to the virtual camera are, for example, the optical center of the virtual camera, the focal length, the CCD size, the optical axis direction vector, the camera horizontal direction vector, the projection method, and the like.
  • the image generation unit 11 stores the correspondence in the processing target image / output image correspondence map 42 of the storage unit 4.
  • the image generation unit 11 associates the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image / space model correspondence map 40 and the space model / process target image correspondence map 41. Generate an output image.
  • the image generation unit 11 may generate the output image by changing the scale of the processing target image without using the concept of the virtual camera.
  • the image generation unit 11 associates the coordinates on the space model MD with the coordinates on the output image plane according to the applied image conversion processing. Then, while referring to the input image / space model correspondence map 40, the image generation unit 11 associates the value of each pixel in the output image with the value of each pixel in the input image to generate an output image. In this case, the image generation unit 11 omits the correspondence between the coordinates on the processing target image plane R3 and the coordinates on the output image plane and the storage of the correspondence in the processing target image / output image correspondence map 42. .
  • the image generation unit 11 switches the content of the output image based on the determination result of the person presence / absence determination unit 12. Specifically, the image generation unit 11 switches the input image used to generate the output image based on the determination result of the person presence / absence determination unit 12, for example. The details of the switching of the input image used to generate the output image and the output image generated based on the switched input image will be described later.
  • the human presence / absence determination means 12 is a means for determining the presence / absence of a person in each of a plurality of monitoring spaces set around the work machine. In the present embodiment, the human presence / absence determination means 12 determines the presence / absence of a person around the shovel 60 based on the output of the human detection sensor 6.
  • the human presence / absence determination means 12 may determine the presence / absence of a person in each of a plurality of monitoring spaces set around the work machine based on the input image captured by the camera 2. Specifically, the human presence / absence judgment means 12 may judge presence / absence of a person around the work machine using an image processing technology such as optical flow, pattern matching and the like. The human presence / absence determination means 12 may determine the presence / absence of a person around the work machine based on the output of an image sensor other than the camera 2.
  • the human presence / absence determination means 12 determines the presence / absence of a person in each of the plurality of monitoring spaces set around the work machine based on the output of the human detection sensor 6 and the output of the image sensor such as the camera 2 It is also good.
  • the alarm control unit 13 is a unit that controls the alarm output unit 7.
  • the alarm control unit 13 controls the alarm output unit 7 based on the determination result of the person presence / absence determination unit 12. The control of the alarm output unit 7 by the alarm control means 13 will be described in detail later.
  • the coordinate correlating means 10 can associate the coordinates on the input image plane with the coordinates on the space model using, for example, the quaternion of Hamilton.
  • FIG. 5 is a diagram for explaining the correspondence between the coordinates on the input image plane and the coordinates on the space model.
  • the input image plane of the camera 2 is represented as a plane in the UVW orthogonal coordinate system whose origin is the optical center C of the camera 2.
  • a space model is represented as a solid plane in an XYZ orthogonal coordinate system.
  • the coordinate correlating means 10 moves the origin of the XYZ coordinate system parallel to the optical center C (the origin of the UVW coordinate system), then sets the X axis as the U axis, the Y axis as the V axis, and the Z axis Rotate the XYZ coordinate system so that each matches the -W axis.
  • This is to convert coordinates on the space model (coordinates on the XYZ coordinate system) into coordinates on the input image plane (coordinates on the UVW coordinate system).
  • the sign “ ⁇ ” of “ ⁇ W axis” means that the direction of the Z axis is opposite to the direction of the ⁇ W axis. This is because the UVW coordinate system has the + W direction in front of the camera, and the XYZ coordinate system has the -Z direction in the vertically downward direction.
  • each of the cameras 2 has a separate UVW coordinate system, so the coordinate correlating means 10 moves the XYZ coordinate system parallel to each of the plurality of UVW coordinate systems and Rotate.
  • the above-mentioned conversion is performed so that the Z axis coincides with the -W axis after parallel movement of the XYZ coordinate system so that the optical center C of the camera 2 becomes the origin of the XYZ coordinate system. It is realized by rotating to coincide with the axis. Therefore, the coordinate correlating means 10 can combine these two rotations into one rotation operation by describing this conversion by the quaternion of Hamilton.
  • the rotation for making one vector A coincide with another vector B corresponds to the processing of rotating by an angle formed by the vector A and the vector B around the normal of the surface where the vector A and the vector B extend. .
  • the angle ⁇ is ⁇ , from the inner product of the vector A and the vector B, the angle ⁇ is
  • the unit vector N of the normal to the surface where the vector A and the vector B extend is the outer product of the vector A and the vector B
  • the quaternion Q has a real component as t and pure imaginary components as a, b, and c, respectively.
  • the quaternion Q can express a three-dimensional vector (a, b, c) with pure imaginary components a, b, c while setting the real component t to 0 (zero), and t, a, b
  • the components c and c can represent rotational motion about an arbitrary vector.
  • the quaternion Q can be expressed as one rotation operation by integrating a plurality of consecutive rotation operations.
  • the quaternion Q is obtained by rotating an arbitrary point S (sx, sy, sz) by an angle ⁇ with an arbitrary unit vector C (l, m, n) as an axis.
  • the point D (ex, ey, ez) can be expressed as follows.
  • the coordinate correlating means 10 executes coordinates in the input image plane (UVW coordinate system) simply by executing this operation thereafter. Coordinate system) can be converted to coordinates.
  • the coordinate correlating means 10 After converting the coordinates on the space model (XYZ coordinate system) to the coordinates on the input image plane (UVW coordinate system), the coordinate correlating means 10 forms a line segment CP ′ and the optical axis G of the camera 2 The incident angle ⁇ is calculated.
  • the line segment CP ′ is a line connecting the optical center C (coordinates on the UVW coordinate system) of the camera 2 and coordinates P ′ that represent arbitrary coordinates P on the space model in the UVW coordinate system.
  • the coordinate associating unit 10 calculates the argument ⁇ in the plane H parallel to the input image plane R4 (for example, the CCD plane) of the camera 2 and including the coordinate P ′ and the length of the line segment EP ′.
  • the line segment EP ' is a line connecting the intersection point E between the plane H and the optical axis G and the coordinates P', and the argument ⁇ forms the U 'axis in the plane H and the line segment EP' Is the angle at which
  • the image height h is usually a function of the incident angle ⁇ and the focal length f.
  • the coordinate associating unit 10 decomposes the calculated image height h into U component and V component on the UV coordinate system by the argument angle ⁇ , and has a numerical value corresponding to the pixel size per pixel of the input image plane R4. Divide Accordingly, the coordinate associating unit 10 can associate the coordinates P (P ′) on the space model MD with the coordinates on the input image plane R4.
  • the coordinate associating unit 10 associates the coordinates on the space model MD with the coordinates on one or more input image plane R4 existing for each camera, and coordinates on the space model MD, a camera identifier , And coordinates on the input image plane R4 are stored in the input image / space model correspondence map 40 in association with each other.
  • the coordinate correlating means 10 calculates transformation of coordinates using quaternions, it has an advantage that gimbal lock is not generated unlike the case of calculating transformation of coordinates using Euler angles. .
  • the coordinate correlating means 10 is not limited to one that calculates transformation of coordinates using a quaternion, and may calculate the transformation of coordinates using Euler angles.
  • the coordinate associating unit 10 inputs the coordinates P (P ′) on the space model MD with respect to the camera having the smallest incident angle ⁇ . It may be made to correspond to the coordinates on the image plane R4, or may be made to correspond to the coordinates on the input image plane R4 selected by the operator.
  • FIG. 6 is a diagram for explaining the association between the coordinates by the coordinate association means 10.
  • the coordinate correlating means 10 causes each of the line segments connecting the coordinates on the input image plane R4 of the camera 2 and the coordinates on the space model MD corresponding to the coordinates to pass through the optical center C of the camera 2, Correspond both coordinates.
  • the coordinate associating unit 10 associates the coordinate K1 on the input image plane R4 of the camera 2 with the coordinate L1 on the plane region R1 of the space model MD, and the coordinate K2 on the input image plane R4 of the camera 2 Are associated with the coordinate L2 on the curved surface area R2 of the space model MD.
  • the line segment K1-L1 and the line segment K2-L2 both pass through the optical center C of the camera 2.
  • the coordinate correlating means 10 sets the respective projection methods. Accordingly, the coordinates K1 and K2 on the input image plane R4 of the camera 2 are associated with the coordinates L1 and L2 on the space model MD.
  • the line segment K1-L1 and the line segment K2-L2 do not pass through the optical center C of the camera 2.
  • F6B is a diagram showing the correspondence between the coordinates on the curved surface area R2 of the space model MD and the coordinates on the processing object image plane R3.
  • the coordinate correlating means 10 is a parallel line group PL located on the XZ plane, and introduces a parallel line group PL which forms an angle ⁇ with the processing target image plane R3. Then, the coordinate associating unit 10 causes both the coordinates on the curved surface region R2 of the space model MD and the coordinates on the processing target image plane R3 corresponding to the coordinates to be on one of the parallel line group PL. , Correspond both coordinates.
  • the coordinate associating unit 10 associates both coordinates on the assumption that the coordinate L2 on the curved surface area R2 of the space model MD and the coordinate M2 on the processing target image plane R3 lie on a common parallel line.
  • the coordinate associating unit 10 can associate the coordinates on the plane region R1 of the space model MD with the coordinates on the processing object image plane R3 using the parallel line group PL in the same manner as the coordinates on the curved region R2. is there.
  • the planar region R1 and the processing target image plane R3 are common to each other. Therefore, the coordinate L1 on the plane region R1 of the space model MD and the coordinate M1 on the processing target image plane R3 have the same coordinate value.
  • the coordinate associating unit 10 associates the coordinates on the space model MD with the coordinates on the processing object image plane R3, and associates the coordinates on the space model MD and the coordinates on the processing object image plane R3. Are stored in the space model / processing target image correspondence map 41.
  • the image generation unit 11 causes each of the line segments connecting the coordinates on the output image plane R5 of the virtual camera 2V and the coordinates on the processing target image plane R3 corresponding to the coordinates to pass through the optical center CV of the virtual camera 2V. And associate both coordinates.
  • the image generation unit 11 associates the coordinates N1 on the output image plane R5 of the virtual camera 2V with the coordinates M1 on the processing target image plane R3 (the plane region R1 of the space model MD).
  • the coordinate N2 on the output image plane R5 is associated with the coordinate M2 on the processing object image plane R3.
  • the line segment M1-N1 and the line segment M2-N2 both pass the optical center CV of the virtual camera 2V.
  • the image generation unit 11 selects one of the projection systems. Accordingly, the coordinates N1 and N2 on the output image plane R5 of the virtual camera 2V are associated with the coordinates M1 and M2 on the processing target image plane R3.
  • the line segment M1-N1 and the line segment M2-N2 never pass the optical center CV of the virtual camera 2V.
  • the image generation unit 11 associates the coordinates on the output image plane R5 with the coordinates on the processing object image plane R3, and coordinates on the output image plane R5 and the coordinates on the processing object image plane R3. It associates and stores in the processing target image / output image correspondence map 42. Then, the image generation unit 11 associates the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image / space model correspondence map 40 and the space model / process target image correspondence map 41. Generate an output image.
  • F6D is a diagram combining F6A to F6C, and shows the mutual positional relationship between the camera 2, the virtual camera 2V, the plane region R1 and the curved region R2 of the space model MD, and the processing target image plane R3.
  • FIG. 7 The left drawing of FIG. 7 is a view in the case where an angle ⁇ is formed between the parallel line group PL located on the XZ plane and the processing object image plane R3.
  • FIG. 7 right figure is a view in the case where an angle ⁇ 1 ( ⁇ 1> ⁇ ) is formed between the parallel line group PL located on the XZ plane and the processing target image plane R3.
  • each of the coordinates La to Ld on the curved surface region R2 of the space model MD in the left side of FIG. 7 and the right side of FIG. 7 corresponds to each of the coordinates Ma to Md on the processing target image plane R3.
  • the distance between the parallel line group PL and the processing target image plane R3 increases the distance between the coordinates Ma to Md on the processing target image plane R3. It decreases linearly as That is, the distance between the curved surface area R2 of the space model MD and each of the coordinates Ma to Md decreases uniformly regardless of the distance.
  • the coordinate group on the plane region R1 of the space model MD is not converted to the coordinate group on the processing object image plane R3 in the example of FIG. 7, so the interval between the coordinate groups does not change. .
  • the change in the distance between these coordinate groups is linearly expanded or only the image portion corresponding to the image projected on the curved region R2 of the space model MD. It means to be reduced.
  • the left side of FIG. 8 is a diagram in the case where all the auxiliary line groups AL located on the XZ plane extend from the starting point T1 on the Z axis toward the processing object image plane R3.
  • the right side of FIG. 8 is a diagram in the case where all the auxiliary line groups AL extend from the start point T2 (T2> T1) on the Z axis toward the processing object image plane R3.
  • each of the coordinates La to Ld on the curved surface region R2 of the space model MD in the left drawing of FIG. 8 and the right drawing of FIG. 8 corresponds to each of the coordinates Ma to Md on the processing target image plane R3.
  • the coordinates Mc and Md are not shown because they are outside the area of the processing target image plane R3. Further, the interval of each of the coordinates La to Ld in the left drawing of FIG. 8 is equal to the interval of each of the coordinates La to Ld in the right drawing of FIG.
  • the auxiliary line group AL is present on the XZ plane for the purpose of explanation, in reality, the auxiliary line group AL is present so as to radially extend from any one point on the Z axis toward the processing object image plane R3. Do. As in FIG. 7, the Z axis in this case is referred to as “reprojection axis”.
  • each distance between coordinates Ma to Md on the processing object image plane R3 is the distance (height) between the start point of the auxiliary line group AL and the origin O Decreases non-linearly as That is, the larger the distance between the curved surface area R2 of the space model MD and each of the coordinates Ma to Md, the larger the reduction width of each space.
  • the coordinate group on the plane region R1 of the space model MD is not converted to the coordinate group on the processing target image plane R3 in the example of FIG. 8, so the interval between the coordinate groups does not change. .
  • the change in the distance between these coordinate groups corresponds to the image projected on the curved region R2 of the space model MD in the image portion on the output image plane R5 (see FIG. 6), as in the parallel line group PL. It means that only the image part is expanded or reduced non-linearly.
  • the image generation device 100 does not affect the image portion (for example, a road surface image) of the output image corresponding to the image projected on the plane region R1 of the space model MD, and the space model MD is generated.
  • the image portion (for example, a horizontal image) of the output image corresponding to the image projected onto the curved surface region R2 of the image data of the image data may be expanded or reduced linearly or non-linearly.
  • the image generating apparatus 100 does not affect the road surface image in the vicinity of the shovel 60 (a virtual image when the shovel 60 is viewed from directly above), and an object located around the shovel 60 (horizontal direction from the shovel 60) It is possible to quickly and flexibly enlarge or reduce the object (in the image when the surroundings are viewed), and to improve the visibility of the blind area of the shovel 60.
  • FIG. 9 is a flowchart showing a flow of processing target image generation processing (steps S1 to S3) and output image generation processing (steps S4 to S6). Further, the arrangement of the camera 2 (input image plane R4), the space model (plane area R1 and curved area R2), and the processing target image plane R3 are determined in advance.
  • control unit 1 causes the coordinate associating unit 10 to associate the coordinates on the processing target image plane R3 with the coordinates on the space model MD (step S1).
  • the coordinate associating unit 10 acquires an angle formed between the parallel line group PL and the processing target image plane R3. Then, the coordinate associating unit 10 calculates a point at which one of the parallel line group PL extending from one coordinate on the processing target image plane R3 intersects the curved surface region R2 of the space model MD. Then, the coordinate associating unit 10 derives the coordinates on the curved surface area R2 corresponding to the calculated point as one coordinate on the curved surface area R2 corresponding to the one coordinate on the processing target image plane R3, and the correspondence relationship It is stored in the space model / processing target image correspondence map 41.
  • the angle formed between the parallel line group PL and the processing target image plane R3 may be a value stored in advance in the storage unit 4 or the like, and the operator dynamically uses the input unit 3 via the input unit 3. It may be a value to be input.
  • the coordinate associating unit 10 processes the one coordinate on the plane region R1 as the processing target image. It is derived as one coordinate corresponding to the one coordinate on the plane R 3, and the correspondence is stored in the spatial model-processing target image correspondence map 41.
  • control unit 1 causes the coordinate associating unit 10 to associate one coordinate on the space model MD derived by the above-described processing with the coordinate on the input image plane R4 (step S2).
  • the coordinate associating unit 10 is a line segment extending from one coordinate on the space model MD, and calculates a point at which the line segment passing through the optical center C intersects with the input image plane R4. Then, the coordinate associating unit 10 derives the coordinates on the input image plane R4 corresponding to the calculated point as one coordinate on the input image plane R4 corresponding to the one coordinate on the space model MD, and the correspondence relationship
  • the input image / space model correspondence map 40 is stored.
  • control unit 1 determines whether all the coordinates on the processing target image plane R3 are associated with the coordinates on the space model MD and the coordinates on the input image plane R4 (step S3). Then, when it is determined that all the coordinates have not been associated yet (NO in step S3), the control unit 1 repeats the processing in step S1 and step S2.
  • step S3 when it is determined that all the coordinates are associated (YES in step S3), the control unit 1 ends the processing target image generation processing and then starts the output image generation processing. Then, the control unit 1 causes the image generation unit 11 to associate the coordinates on the processing target image plane R3 with the coordinates on the output image plane R5 (step S4).
  • the image generation unit 11 generates an output image by performing scale conversion, affine conversion, or distortion conversion on the processing target image. Then, the image generation unit 11 processes the correspondence between the coordinates on the processing target image plane R3 and the coordinates on the output image plane R5, which is determined by the contents of the applied scale conversion, affine conversion, or distortion conversion. Store in the output image correspondence map 42.
  • the image generation unit 11 calculates the coordinates on the output image plane R5 from the coordinates on the processing target image plane R3 according to the adopted projection method,
  • the correspondence relationship may be stored in the processing target image / output image correspondence map 42.
  • the image generation unit 11 of the control unit 1 refers to the input image / space model correspondence map 40, the space model / processing target image correspondence map 41, and the processing target image / output image correspondence map 42. Then, the image generation means 11 corresponds the correspondence between the coordinates on the input image plane R4 and the coordinates on the space model MD, the correspondence between the coordinates on the space model MD and the coordinates on the processing object image plane R3, and the processing object The correspondence between the coordinates on the image plane R3 and the coordinates on the output image plane R5 is traced.
  • the image generation unit 11 acquires values (for example, luminance value, hue value, saturation value, etc.) of the coordinates on the input image plane R4 corresponding to the respective coordinates on the output image plane R5, The acquired value is adopted as the value of each coordinate on the corresponding output image plane R5 (step S5).
  • the image generation unit 11 When a plurality of coordinates on the plurality of input image planes R4 correspond to one coordinate on the output image plane R5, the image generation unit 11 generates each of the plurality of coordinates on the plurality of input image planes R4.
  • a value-based statistic may be derived and adopted as the value of its one coordinate on the output image plane R5.
  • the statistical value is, for example, an average value, a maximum value, a minimum value, an intermediate value, and the like.
  • control unit 1 determines whether or not the values of all the coordinates on the output image plane R5 are associated with the values of the coordinates on the input image plane R4 (step S6). Then, when it is determined that the values of all the coordinates are not associated yet (NO in step S6), the control unit 1 repeats the processes of step S4 and step S5.
  • control unit 1 when it is determined that the values of all the coordinates are associated (YES in step S6), the control unit 1 generates an output image and terminates this series of processing.
  • the processing target image generation process is omitted.
  • the "coordinates on the processing target image plane" in step S4 in the output image generation process can be read as "coordinates on the space model”.
  • the image generating apparatus 100 can generate the processing target image and the output image that can make the operator intuitively grasp the positional relationship between the object around the shovel 60 and the shovel 60.
  • the image generation apparatus 100 performs coordinate association so as to trace back to the input image plane R4 from the processing target image plane R3 through the space model MD. Thereby, the image generation device 100 can reliably make each coordinate on the processing target image plane R3 correspond to one or more coordinates on the input image plane R4. Therefore, the image generation apparatus 100 generates a processing target image of better quality more quickly than the case of executing coordinate matching in the order from the input image plane R4 to the processing target image plane R3 via the space model MD. Can.
  • each coordinate on the input image plane R4 corresponds to one or more coordinates on the processing target image plane R3. It can be made to correspond surely to coordinates.
  • a part of the coordinates on the processing target image plane R3 may not be associated with any coordinates on the input image plane R4, and in this case, a part of the coordinates on the processing target image plane R3 It is necessary to perform interpolation processing etc.
  • the image generation device 100 changes the angle formed between the parallel line group PL and the processing target image plane R3. Desired enlargement or reduction can be realized without rewriting the content of the input image / space model correspondence map 40 only by rewriting only the part related to the curved region R2 in the space model / processing target image correspondence map 41. .
  • the image generation apparatus 100 when changing the appearance of the output image, the image generation apparatus 100 only changes the values of various parameters related to scale conversion, affine conversion, or distortion conversion to rewrite the processing target image / output image correspondence map 42.
  • a desired output image (scale conversion image, affine conversion image or distortion conversion image) can be generated without rewriting the contents of the input image / space model correspondence map 40 and the space model / processing target image correspondence map 41.
  • the image generation apparatus 100 changes the values of various parameters of the virtual camera 2 V and rewrites the processing object image / output image correspondence map 42 to change the input image / space.
  • An output image (viewpoint conversion image) viewed from a desired viewpoint can be generated without rewriting the contents of the model correspondence map 40 and the space model / process target image correspondence map 41.
  • FIG. 10 is a display example when an output image generated using input images of two cameras 2 (right-side camera 2R and rear camera 2B) mounted on the shovel 60 is displayed on the display unit 5 .
  • the image generation apparatus 100 projects the input image of each of the two cameras 2 onto the plane region R1 and the curved region R2 of the space model MD, and reprojects the image on the processing target image plane R3 to generate the processing target image. Do. Then, the image generation apparatus 100 generates an output image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, and the like) on the generated processing target image. In this manner, the image generating apparatus 100 displays an image (image in the flat region R1) looking down from above the vicinity of the shovel 60 and an image (image in the processing target image plane R3) looking horizontally from the shovel 60 And an output image to be displayed simultaneously.
  • image conversion processing for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, and the like
  • the peripheral monitoring virtual viewpoint image When the image generation apparatus 100 does not generate the processing target image, the peripheral monitoring virtual viewpoint image performs an image conversion process (for example, a viewpoint conversion process) on the image projected on the space model MD. Generated by an image conversion process (for example, a viewpoint conversion process) on the image projected on the space model MD.
  • the virtual viewpoint image for periphery monitoring is trimmed in a circular shape so that an image when the shovel 60 performs a turning operation can be displayed without a sense of incongruity, and the center CTR of the circle is on the cylinder central axis of the space model MD and It is generated so as to be on the pivot axis PV of the shovel 60. Therefore, in accordance with the turning operation of the shovel 60, the periphery monitoring virtual viewpoint image is displayed so as to rotate about the center CTR.
  • the cylinder central axis of the space model MD may or may not coincide with the reprojection axis.
  • the radius of the space model MD is, for example, 5 meters.
  • the angle formed by the parallel line group PL with the processing target image plane R3, or the starting point height of the auxiliary line group AL is the maximum reach distance of the excavating attachment E from the turning center of the shovel 60 (for example, 12 meters) Is set so that when an object (for example, an operator) is present at a position far away from the display, the object is displayed on the display unit 5 sufficiently large (for example, 7 millimeters or more). obtain.
  • the virtual viewpoint image for periphery monitoring may be arranged such that the CG image of the shovel 60 is such that the front of the shovel 60 coincides with the upper side of the screen of the display unit 5 and the turning center thereof coincides with the center CTR. .
  • a frame image including various information such as an orientation may be arranged around it.
  • FIG. 11 is a top view of a shovel 60 on which the image generating apparatus 100 is mounted.
  • the shovel 60 has three cameras 2 (left side camera 2L, right side camera 2R, and rear camera 2B) and three human detection sensors 6 (left side human detection sensor 6L, right side) And a rear person detection sensor 6B).
  • Regions CL, CR, and CB indicated by alternate long and short dash lines in FIG. 11 indicate imaging spaces of the left side camera 2L, the right side camera 2R, and the rear camera 2B, respectively.
  • areas ZL, ZR, and ZB indicated by dotted lines in FIG. 11 indicate monitoring spaces of the left side detection sensor 6L, the right side detection sensor 6R, and the rear detection sensor 6B, respectively.
  • the shovel 60 includes the display unit 5 and three alarm output units 7 (a left direction alarm output unit 7L, a right direction alarm output unit 7R, and a rear alarm output unit 7B) in the cab 64.
  • the monitoring space of the human detection sensor 6 is narrower than the imaging space of the camera 2, the monitoring space of the human detection sensor 6 may be the same as the imaging space of the camera 2. It may be wide. In addition, although the monitoring space of the human detection sensor 6 is located near the shovel 60 in the imaging space of the camera 2, the monitoring space may be in an area farther from the shovel 60. Also, the monitoring space of the human detection sensor 6 has an overlapping portion in the portion where the imaging space of the camera 2 overlaps. For example, in the overlapping portion of the imaging space CR of the right side camera 2R and the imaging space CB of the rear camera 2B, the monitoring space ZR of the right side person detection sensor 6R overlaps with the monitoring space ZB of the rear person detection sensor 6B. However, the monitoring space of the human detection sensor 6 may be arranged so that duplication does not occur.
  • FIG. 12 shows an input image of each of the three cameras 2 mounted on the shovel 60 and an output image generated using the input images.
  • the image generation apparatus 100 projects the input image of each of the three cameras 2 onto the plane region R1 and the curved region R2 of the space model MD, and reprojects the image on the processing target image plane R3 to generate the processing target image. . Further, the image generation apparatus 100 generates an output image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, and the like) on the generated processing target image. As a result, the image generating apparatus 100 displays an image (image in the flat region R1) looking down near the shovel 60 from above and an image (image in the processing target image plane R3) looking horizontally from the shovel 60 A virtual viewpoint image for periphery monitoring to be simultaneously displayed is generated. The image displayed at the center of the periphery monitoring virtual viewpoint image is a CG image 60 CG of the shovel 60.
  • image conversion processing for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, and the like
  • the input image of the right side camera 2R and the input image of the rear camera 2B respectively capture a person in the overlapping portion of the imaging space of the right side camera 2R and the imaging space of the rear camera 2B (right side A region R10 surrounded by a two-dot chain line in the input image of the two-way camera 2R and a region R11 surrounded by a two-dot chain line in the input image of the rear camera 2B.
  • the output image will cause the person in the overlapping part to disappear (a point in the output image See the region R12 enclosed by a dashed line).
  • the area to which the coordinates on the input image plane of the rear camera 2B are associated is associated with the coordinates on the input image plane of the right side camera 2R.
  • the area is mixed, and the object in the overlapping part is prevented from disappearing.
  • FIG. 13 is a diagram for explaining stripe pattern processing which is an example of the image loss prevention processing for preventing the loss of an object in the overlapping portion of the imaging space of each of two cameras.
  • F13A is a diagram showing an output image portion corresponding to an overlapping portion of the imaging space of the right side camera 2R and the imaging space of the rear camera 2B, and corresponds to a rectangular area R13 shown by a dotted line in FIG.
  • the area PR1 filled with gray is an image area where the input image portion of the rear camera 2B is arranged, and the input image of the rear camera 2B is displayed at each coordinate on the output image plane corresponding to the area PR1. Coordinates on the plane are associated.
  • the area PR2 filled with white is an image area where the input image portion of the right side camera 2R is arranged, and each coordinate on the output image plane corresponding to the area PR2 is the input image plane of the right side camera 2R The upper coordinates are associated.
  • the area PR1 and the area PR2 are arranged to form a stripe pattern (stripe pattern process), and the boundary between the area PR1 and the area PR2 alternately arranged in a stripe is the turning of the shovel 60. It is defined by concentric circles on a horizontal plane centered on the center.
  • F13B is a top view showing the situation of the space area at the diagonally right back of the shovel 60, and shows the current situation of the space area imaged by both the rear camera 2B and the right side camera 2R. Further, F13B indicates that a rod-like three-dimensional object OB is present obliquely rearward to the right of the shovel 60.
  • F13C shows a part of an output image generated based on an input image obtained by actually imaging the space area indicated by F13B with the rear camera 2B and the right side camera 2R.
  • the image of the solid object OB in the input image of the rear camera 2B is extended in the extension direction of the line connecting the rear camera 2B and the solid object OB by viewpoint conversion for generating a road surface image
  • the image OB1 is a part of the image of the three-dimensional object OB displayed when the road surface image in the output image portion is generated using the input image of the rear camera 2B.
  • the image of the solid object OB in the input image of the right side camera 2R is expanded in the extension direction of the line connecting the right side camera 2R and the solid object OB by viewpoint conversion for generating a road surface image.
  • the image OB2 is a part of the image of the three-dimensional object OB displayed when the road surface image in the output image portion is generated using the input image of the right side camera 2R.
  • the image generation device 100 combines the area PR1 with which the coordinates on the input image plane of the rear camera 2B are associated and the area PR2 with which the coordinates on the input image plane of the right side camera 2R are associated. Mix As a result, the image generation apparatus 100 displays both the two images OB1 and OB2 of one solid object OB on the output image, and prevents the solid object OB from disappearing from the output image.
  • FIG. 14 is a contrast diagram showing the difference between the output image of FIG. 12 and the output image obtained by applying the image loss prevention process (stripe pattern process) to the output image of FIG.
  • the output image of FIG. 12 is shown, and the lower part of FIG. 14 shows an output image after the image loss prevention process (stripe pattern process) is applied. While a person disappears in a region R12 surrounded by an alternate long and short dash line in the upper diagram of FIG. 14, a human is displayed without disappearing in a region R14 enclosed by an alternate long and short dash line in the lower diagram of FIG.
  • the image generation apparatus 100 may prevent the disappearance of the object in the overlapping portion by applying mesh pattern processing, averaging processing, or the like instead of the stripe pattern processing. Specifically, the image generating apparatus 100 outputs an average value of the values (for example, luminance values) of corresponding pixels in the input images of the two cameras by averaging, and corresponds to the overlapping portion. Adopted as the pixel value of the image part. Alternatively, in the output image portion corresponding to the overlapping portion, the image generation apparatus 100 performs mesh pattern processing on a region to which values of pixels in the input image of one camera are associated and values of pixels in the input image of the other camera. Are arranged so as to form a mesh pattern (mesh pattern). Thereby, the image generation device 100 prevents the loss of the object in the overlapping portion.
  • mesh pattern processing for example, luminance values
  • FIG. 15 is a view showing input images of the three cameras 2 mounted on the shovel 60 and an output image generated using the input images, and corresponds to FIG.
  • FIG. 16 is a correspondence table showing the correspondence between the determination result of the person presence / absence determination means 12 and the input image used to generate the output image.
  • FIG. 17 is a display example of an output image generated based on the input image determined in the first input image determination process.
  • the image generation apparatus 100 projects the input image of each of the three cameras 2 onto the plane region R1 and the curved region R2 of the space model MD, and reprojects it on the processing object image plane R3. Generate an image to be processed. Further, the image generation apparatus 100 generates an output image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, and the like) on the generated processing target image. As a result, the image generation device 100 generates a periphery monitoring virtual viewpoint image that simultaneously displays an image of the vicinity of the shovel 60 as viewed from above and an image of the periphery of the shovel 60 viewed in the horizontal direction.
  • image conversion processing for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, and the like
  • the input images of the left side camera 2L, the rear side camera 2B, and the right side camera 2R show a state in which three workers are present.
  • the output image also shows that nine workers are present around the shovel 60.
  • pattern 1 when it is determined that a person is present only in the left-side monitoring space ZL, and it is determined that a person does not exist in the rear monitoring space ZB and the right-side monitoring space ZR, using an input image of the left-side camera 2L Indicates that an output image is to be generated.
  • This pattern 1 is employed, for example, when there are workers (three people in this example) only on the left side of the shovel 60.
  • the image generation means 11 outputs the input image of the left side camera 2L which captured three workers as it is as an output image, as shown by the output image D1 of FIG.
  • an output image using the input image as it is will be referred to as a "through image".
  • Pattern 2 is output using the input image of the rear camera 2B when it is determined that a person is present only in the rear monitoring space ZB and it is determined that a person is not present in the left side monitoring space ZL and the right side monitoring space ZR. Indicates that an image is to be generated.
  • This pattern 2 is adopted, for example, when there are workers (three people in this example) only at the rear of the shovel 60.
  • the image generation means 11 outputs the input image of the back camera 2B which caught three workers as an output image as it is, as shown by the output image D2 of FIG.
  • pattern 3 when it is determined that a person is present only in the right-side surveillance space ZR, and it is determined that a person does not exist in the left-side surveillance space ZL and the rear surveillance space ZB, using an input image of the right-side camera 2R Indicates that an output image is to be generated.
  • This pattern 3 is employed, for example, when there are workers (three people in this example) only on the right side of the shovel 60.
  • the image generation means 11 outputs the input image of the right side camera 2R which caught three workers as it is as an output image, as shown by the output image D3 of FIG.
  • the pattern 4 is an output image using all three input images when it is determined that a person is present in the left side surveillance space ZL and the rear surveillance space ZB and it is determined that a person is not present in the right side surveillance space ZR. Represents that is generated.
  • This pattern 4 is employed, for example, when there are workers (in this example, three in total, six in total) on the left side and the rear of the shovel 60.
  • the image generation means 11 outputs, as an output image, a virtual viewpoint image for periphery monitoring which captures six workers generated based on three input images as shown by an output image D4 in FIG.
  • pattern 5 when it is determined that a person is present in rear monitoring space ZB and right side monitoring space ZR, and it is determined that a person is not present in left direction monitoring space ZL, an output image is generated using all three input images. Represents that is generated.
  • This pattern 5 is employed, for example, when there are workers (in this example, three in total, six in total) behind and to the right of the shovel 60.
  • the image generation unit 11 outputs, as an output image, a peripheral viewpoint virtual viewpoint image capturing six workers generated based on three input images, as shown by an output image D5 in FIG.
  • pattern 6 when it is determined that a person is present in left side monitoring space ZL and right side monitoring space ZR, and it is determined that a person is not present in rear monitoring space ZB, an output image is generated using all three input images. Represents that is generated.
  • This pattern 6 is employed, for example, when there are workers (in this example, three in total, six in total) on the left and right sides of the shovel 60.
  • the image generation unit 11 outputs, as an output image, a peripheral viewpoint virtual viewpoint image capturing six workers generated based on three input images, as shown by an output image D6 in FIG.
  • pattern 7 when it is determined that a person is present in all of left side monitoring space ZL, rear monitoring space ZB, and right side monitoring space ZR, an output image is generated using all three input images. Represents This pattern 7 is adopted, for example, when there are workers (in this example, a total of nine people in this example) on the left side, the rear side, and the right side of the shovel 60. As shown by the output image of FIG. 15, the image generation means 11 outputs, as an output image, a peripheral viewpoint virtual viewpoint image capturing nine workers generated based on three input images.
  • an output image is generated using all three input images when it is determined that no human exists in all of left side monitoring space ZL, rear monitoring space ZB, and right side monitoring space ZR. Represents that.
  • This pattern 8 is employed, for example, when there is no worker on the left side, the rear side, and the right side of the shovel 60.
  • the image generation unit 11 outputs, as an output image, a peripheral viewpoint virtual viewpoint image that is generated based on three input images and that shows a state in which no worker is present, as shown by an output image D7 in FIG.
  • the image generation unit 11 when it is determined that a person is present in only one of the three monitoring spaces, the image generation unit 11 outputs the through image of the corresponding camera as an output image. This is to display a person present in the monitoring space as large as possible on the display unit 5.
  • the image generation unit 11 when it is determined that a person is present in two or more of the three monitoring spaces, the image generation unit 11 outputs a peripheral viewpoint virtual viewpoint image without outputting a through image. This is because all the people existing around the shovel 60 can not be displayed on the display unit 5 with only one through image, and the peripheral monitoring virtual viewpoint image exists around the shovel 60 if it is output. This is because all persons can be displayed on the display unit 5.
  • the image generation unit 11 when it is determined that no person is present in any of the three monitoring spaces, the image generation unit 11 outputs the peripheral viewpoint virtual viewpoint image without outputting the through image. This is because there is no person to be magnified, and it is possible to widely monitor other objects other than the person present around the shovel 60.
  • the image generation unit 11 may display a text message that indicates which input image has been used.
  • FIG. 18 is a top view of the shovel 60 showing another arrangement example of the human detection sensor 6, and corresponds to FIG.
  • FIG. 19 is a correspondence table showing the correspondence between the determination result of the human presence / absence determination means 12 and the input image used to generate the output image, and corresponds to FIG.
  • FIG. 20 is a display example of an output image generated based on the input image determined in the second input image determination process.
  • the shovel 60 has two cameras 2 (right side camera 2R and rear camera 2B) and three people detection sensors 6 (right side people detection sensor 6R, right back people detection sensor 6BR, And a rear person detection sensor 6B).
  • Regions CR and CB indicated by alternate long and short dash lines in FIG. 18 indicate imaging spaces of the right side camera 2R and the rear camera 2B, respectively.
  • regions ZR, ZBR, and ZB indicated by dotted lines in FIG. 18 indicate monitoring spaces of the right side person detection sensor 6R, the right rear person detection sensor 6BR, and the rear person detection sensor 6B, respectively.
  • a region X indicated by hatching in FIG. 18 indicates an overlapping portion of the imaging space CR and the imaging space CB (hereinafter referred to as “overlapping imaging space X”).
  • the arrangement example of FIG. 18 is an arrangement example of FIG. 11 in that the monitoring space ZR and the monitoring space ZB do not have an overlapping portion, and the right rear human detection sensor 6BR having a monitoring space ZBR including the overlapping imaging space X. It is different from.
  • the image generation device 100 can determine whether a human exists in the overlapping imaging space X. Then, the image generation apparatus 100 can switch the content of the output image more appropriately by using the determination result to determine the input image used to generate the output image.
  • the pattern A is output using input images of the rear camera 2B and the right side camera 2R when it is determined that there are no people in the rear monitoring space ZB, the right rear monitoring space ZBR, and the right side monitoring space ZR. Indicates that an image is to be generated.
  • This pattern A is adopted, for example, when there is no worker around the shovel 60.
  • the image generation unit 11 generates and outputs, based on the two input images, a periphery monitoring virtual viewpoint image that shows a state where no worker is present in the surroundings, as shown by the output image D7 in FIG.
  • the pattern B is output using an input image of the rear camera 2B when it is determined that a person is present only in the rear surveillance space ZB, and it is determined that a person does not exist in the right rear surveillance space ZBR and the right side surveillance space ZR. Indicates that an image is to be generated.
  • This pattern B is adopted, for example, when one worker P1 is present behind the shovel 60.
  • the image generation means 11 outputs the input image of the rear camera 2B which caught the worker P1 as it is as an output image, as shown by the output image D10 of FIG.
  • the pattern C it is determined that a person is present only in the right side surveillance space ZR, and it is determined that a person does not exist in the rear surveillance space ZB and the right rear surveillance space ZBR, using the input image of the right side camera 2R. Indicates that an output image is to be generated.
  • This pattern C is adopted, for example, when one worker P2 is present on the right side of the shovel 60.
  • the image generation means 11 outputs the input image of the right side camera 2R which captured the worker P2 as it is as an output image, as shown by the output image D11 of FIG.
  • the pattern D it is determined that a person is present only in the right rear monitoring space ZBR, and it is determined that a person is not present in the rear monitoring space ZB and the right side monitoring space ZR, the input of the rear camera 2B and the right side camera 2R The image is used to indicate that an output image is generated.
  • This pattern D is adopted, for example, when one worker P3 exists in the overlapping imaging space X on the right rear of the shovel 60.
  • the image generation unit 11 outputs the input image of the rear camera 2B capturing the worker P3 as it is as the first output image (left side in the drawing) and captures the same worker P3.
  • the input image of the right side camera 2R is output as it is as a second output image (right side in the drawing).
  • the pattern E is an input image of the rear camera 2B and the right side camera 2R when it is determined that a person is present in the rear monitoring space ZB and the right rear monitoring space ZBR and it is determined that no person is present in the right side monitoring space ZR. Is used to indicate that an output image is generated.
  • This pattern E is adopted, for example, when there is one worker P4 behind the shovel 60, and one worker P5 within the overlapping imaging space X right behind the shovel 60. .
  • the image generation unit 11 outputs the input image of the rear camera 2B that captures the worker P4 and the worker P5 as it is as the first output image (left side in the drawing).
  • the input image of the right side camera 2R which captured only P4 is output as it is as a second output image (right side in the drawing).
  • the pattern F is an input image of the rear camera 2B and the right side camera 2R when it is determined that a person is present in the rear surveillance space ZB and the right side surveillance space ZR and it is determined that no person exists in the right rear surveillance space ZBR. Is used to indicate that an output image is generated.
  • This pattern F is adopted, for example, when there is one worker P6 behind the shovel 60 and another worker P7 to the right of the shovel 60.
  • the image generation unit 11 outputs the input image of the rear camera 2B capturing the worker P6 as it is as the first output image (left side in the drawing) and captures the worker P7.
  • the input image of the right side camera 2R is output as it is as a second output image (right side in the drawing).
  • the pattern G is an input image of the rear camera 2B and the right side camera 2R when it is determined that a person is present in the right rear monitoring space ZBR and the right side monitoring space ZR and it is determined that no person is present in the rear monitoring space ZB. Is used to indicate that an output image is generated.
  • this pattern G for example, one worker P8 exists in the right and left overlapping imaging space X of the shovel 60, and another worker P9 exists on the right side of the shovel 60. Will be adopted. As shown by the output image D15 in FIG.
  • the image generation unit 11 outputs the input image of the rear camera 2B capturing the worker P8 as it is as the first output image (left side in the drawing), and the worker P8 and the worker The input image of the right side camera 2R which captured P9 is output as it is as a second output image (right side in the figure).
  • the pattern H is an output image using input images of the rear camera 2B and the right side camera 2R when it is determined that a person is present in all of the rear monitoring space ZB, the right rear monitoring space ZBR, and the right side monitoring space ZR. Represents that is generated.
  • this pattern H for example, one worker P10 exists in the right rear overlapping imaging space X of the shovel 60, another worker P11 exists behind the shovel 60, and the shovel 60 Is adopted when there is one more worker P12 on the right side of.
  • the image generation unit 11 outputs the input image of the rear camera 2B capturing the worker P10 and the worker P11 as it is as the first output image (left side in the drawing).
  • the input image of the right side camera 2R which captured P10 and the worker P12 is output as it is as a second output image (right side in the figure).
  • the image generation unit 11 outputs a through image of the corresponding camera as an output image, when a person appears in only the input image of one camera. This is to display a person present in the monitoring space as large as possible on the display unit 5.
  • the image generation unit 11 simultaneously and individually outputs through images of the two cameras. This is because all the people existing around the shovel 60 can not be displayed on the display unit 5 with only one through image, and the output of a through image is possible when the peripheral viewpoint monitoring virtual viewpoint image is output. It is for making it hard to visually recognize a worker compared with.
  • the image generation unit 11 when it is determined that no person is present in any of the three monitoring spaces, the image generation unit 11 outputs the peripheral viewpoint virtual viewpoint image without outputting the through image. This is because there is no person to be magnified, and it is possible to widely monitor other objects other than the person present around the shovel 60.
  • the image generation unit 11 may display a text message that indicates which input image has been used, as in the first input image determination process.
  • the image generation unit 11 may simultaneously display the periphery monitoring virtual viewpoint image and the through image.
  • the image generation unit 11 sets the virtual viewpoint image for periphery monitoring as the first output image as shown by the output image D20 of FIG. 21, and the through image of the rear camera 2B. May be displayed as a second output image.
  • the through image is displayed below the periphery monitoring virtual viewpoint image. This is for the operator of the shovel 60 to intuitively understand that the worker is behind the shovel 60.
  • the image generation unit 11 sets the virtual viewpoint image for periphery monitoring as the first output image as shown by the output image D21 in FIG.
  • the through image may be displayed as a second output image.
  • the through image is displayed on the left side of the periphery monitoring virtual viewpoint image.
  • the image generation unit 11 sets the virtual viewpoint image for periphery monitoring as the first output image, as shown by the output image D22 in FIG.
  • the through image may be displayed as a second output image. In this case, the through image is displayed on the right side of the periphery monitoring virtual viewpoint image.
  • the image generation unit 11 may simultaneously display the periphery monitoring virtual viewpoint image and the plurality of through images.
  • the image generation unit 11 sets the virtual viewpoint image for periphery monitoring as the first output image as shown by the output image D23 in FIG.
  • the through image may be displayed as a second output image
  • the through image of the right side camera 2R may be displayed as a third output image.
  • the through image of the rear camera 2B is displayed on the lower side of the periphery monitoring virtual viewpoint image
  • the through image of the right side camera 2R is displayed on the right of the periphery monitoring virtual viewpoint image.
  • the image generation means 11 may display the information showing the content of an output image, when displaying a several output image simultaneously.
  • the image generation unit 11 may display text such as “rear camera through image” on or around the through image of the rear camera 2B.
  • the image generation unit 11 may pop-up and display one or more through images on the periphery monitoring virtual viewpoint image.
  • the image generation apparatus 100 switches the content of the output image based on the determination result of the person presence / absence determination unit 12. Specifically, for example, the image generation apparatus 100 reduces the content of the individual input image and reduces and changes and displays the peripheral viewpoint virtual viewpoint image and the through image on which the content of the individual input image is displayed as it is. Switch. As described above, the image generating apparatus 100 displays the through image when the worker is detected around the shovel 60, so that the operator of the shovel 60 can display as compared to the case where only the peripheral viewpoint monitoring virtual viewpoint image is displayed. It is possible to prevent the worker from being overlooked more reliably. This is because the operator is displayed large and easily understood.
  • the image generation unit 11 when generating an output image based on an input image of one camera, the image generation unit 11 sets a through image of the camera as an output image.
  • the present invention is not limited to this configuration.
  • the image generation unit 11 may generate a rear monitoring virtual viewpoint image as an output image based on the input image of the rear camera 2B.
  • the image generation device 100 associates the monitoring space of one human detection sensor with the imaging space of one camera, but monitors the monitoring space of one human detection sensor in the imaging spaces of a plurality of cameras. It may be made to correspond, and the monitoring space of a plurality of person detection sensors may be made to correspond to the imaging space of one camera.
  • the image generation apparatus 100 overlaps a part of monitoring space of two adjacent human detection sensors, the monitoring space may not overlap.
  • the monitoring space of one human detection sensor may be completely included in the monitoring space of another human detection sensor.
  • the image generation apparatus 100 switches the content of the output image at the moment when the determination result of the person presence / absence determination means 12 changes.
  • the present invention is not limited to this configuration.
  • the image generation apparatus 100 may set a predetermined delay time before the content of the output image is switched after the determination result of the person existence determination unit 12 changes. This is to suppress frequent switching of the content of the output image.
  • FIG. 22 is a flow chart showing the flow of the alarm control process
  • FIG. 23 is an example of the transition of the output image displayed during the alarm control process.
  • the alarm control means 13 repeatedly executes this alarm control process at a predetermined cycle.
  • the image generation apparatus 100 is mounted in the shovel 60 shown in FIG.
  • the human presence / absence determination means 12 determines whether or not a person is present around the shovel 60 (step S11).
  • the image generation unit 11 generates and displays, for example, a peripheral viewpoint virtual viewpoint image as shown in the output image D31 of FIG.
  • the human presence / absence determination means 12 determines which monitoring space of the left side monitoring space ZL, the rear monitoring space ZB, and the right side monitoring space ZR It is determined whether there is a person in (step S12).
  • the human presence / absence determination means 12 outputs a left direction detection signal to the alarm control means 13 when it is determined that a person exists only in the left side monitoring space ZL (left side direction of step S12).
  • the alarm control means 13 receiving the left side detection signal outputs an alarm start signal to the left side alarm output unit 7L, and causes the left side alarm output unit 7L to output an alarm (step S13).
  • the image generation unit 11 displays, for example, a through image of the left side camera 2L as shown in the output image D32 of FIG. 23 as an output image.
  • the image generation unit 11 uses the virtual viewpoint image for surrounding monitoring as the first output image (image on the right side in the drawing) and the through image of the left side camera 2L It may be displayed as a two-output image (image on the left side in the figure).
  • the human presence / absence determination means 12 outputs a rear detection signal to the alarm control means 13 when it is determined that a person exists only in the rear monitoring space ZB (rear of step S12). Then, the alarm control unit 13 having received the rear detection signal outputs an alarm start signal to the rear alarm output unit 7B, and causes the rear alarm output unit 7B to output an alarm (step S14). Further, the image generation unit 11 displays, for example, a through image of the rear camera 2B as an output image. Alternatively, the image generation unit 11 may display the periphery monitoring virtual viewpoint image as a first output image and display the through image of the rear camera 2B as a second output image.
  • the human presence / absence determination means 12 outputs a right side detection signal to the alarm control means 13 when it is determined that a person is present only in the right side monitoring space ZR (right side of step S12). Then, the alarm control means 13 receiving the right side detection signal outputs an alarm start signal to the right side alarm output unit 7R, and causes the right side alarm output unit 7R to output an alarm (step S15). Further, the image generation unit 11 displays, for example, a through image of the right side camera 2R as an output image. Alternatively, the image generation unit 11 may display the periphery monitoring virtual viewpoint image as a first output image and display the through image of the right side camera 2R as a second output image.
  • the person existence / non-existence determination means 12 does not output a detection signal to the alarm control means 13, and performs the current alarm control process. finish.
  • the alarm control means 13 determines that a person exists in two or more monitoring spaces among the left side monitoring space ZL, the rear monitoring space ZB, and the right side monitoring space ZR by the human existence / non-existence determination means 12.
  • the second alarm output unit 7L outputs an alarm from two or more corresponding alarm output units of the left alarm output unit 7L, the rear alarm output unit 7B, and the right alarm output unit 7R.
  • the image generation unit 11 determines that a person is present in two or more monitoring spaces among the left side monitoring space ZL, the rear monitoring space ZB, and the right side monitoring space ZR by the human existence / nonexistence determining means 12. Displays the output image in the manner as described in the above embodiments.
  • the image generation unit 11 may display only the peripheral monitoring virtual viewpoint image as shown by the output image D34 in FIG.
  • the image generation unit 11 may simultaneously display two or more through images as shown by the output image D35 in FIG. Further, the image generation unit 11 may simultaneously display the peripheral monitoring virtual viewpoint image and two or more through images as shown by the output image D36 in FIG.
  • the contents of the alarm sound of each of the left side alarm output unit 7L, the rear alarm output unit 7B, and the right side alarm output unit 7R may be made different.
  • the image generating apparatus 100 outputs light from the alarm output unit 7, the light contents (colors, etc.) of the left side alarm output unit 7L, the rear alarm output unit 7B, and the right side alarm output unit 7R.
  • the light emission intervals etc. may be made different. This is to allow the operator of the shovel 60 to more intuitively recognize the rough position of the person present around the shovel 60 due to the difference in the content of the alarm.
  • the image generating apparatus 100 enables the operator of the shovel 60 to intuitively grasp the rough position of the worker present around the shovel 60. For example, even if the image generating apparatus 100 does not detect the exact position of the worker, it only determines whether the worker is present on the left side, the rear side, or the right side of the shovel 60, the determined direction. To the operator of the shovel 60 intuitively.
  • the alarm output unit 7 is configured of three independent buzzers, but the sound may be localized using a surround system including a plurality of speakers.
  • the image generation apparatus 100 adopts a cylindrical space model MD as a space model, but may adopt a space model having another columnar shape such as a polygonal column, etc.
  • a space model composed of two sides may be adopted, or a space model having only sides may be adopted.
  • the image generation apparatus 100 is mounted on a self-propelled shovel together with a camera and a human detection sensor while having movable members such as a bucket, an arm, a boom, and a turning mechanism. Then, the image generation device 100 configures an operation support system that supports the movement of the shovel and the operation of the movable members while presenting the surrounding image to the operator.
  • the image generating apparatus 100 may be mounted on a working machine having no turning mechanism such as a forklift, an asphalt finisher, etc. together with the camera and the human detection sensor.
  • the image generating apparatus 100 may be mounted together with the camera and the human detection sensor on a working machine having movable members but not self-propelled, such as industrial machines or fixed cranes.
  • the image generation apparatus 100 may comprise the operation assistance system which assists operation of those working machines.
  • the periphery monitoring device has been described as an example of the image generation device 100 including the camera 2 and the display unit 5, the periphery monitoring device may be configured as a device not including an image display function by the camera 2, the display unit 5 or the like.
  • the periphery monitoring device 100A as a device that executes alarm control processing includes the camera 2, the input unit 3, the storage unit 4, the display unit 5, the coordinate associating unit 10, and the image generating unit 11. May be omitted.
  • space model / processing object image correspondence map 42 ... processing object image / output image correspondence map 60 ... shovel 61 ... lower traveling body 62 ... turning mechanism 63 ⁇ The upper rotating body 64 ... cab 100 ... image generating apparatus 100A ... surroundings monitoring apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

　周辺監視装置（１００Ａ）は、ショベル（６０）の周囲にある複数の監視空間のそれぞれにおける人の存否を判定する人存否判定手段（１２）と、ショベル（６０）のキャブ（６４）内に設置され、操作者に対する警報を出力する複数の警報出力部（７）を制御する警報制御手段（１３）とを有する。警報制御手段（１３）は、右側方監視空間（ＺＲ）で人が存在すると判定された場合に右側方警報出力部（７Ｒ）から警報を出力させ、左側方監視空間（ＺＬ）で人が存在すると判定された場合に左側方警報出力部（７Ｌ）から警報を出力させ、後方監視空間（ＺＢ）で人が存在すると判定された場合に後方警報出力部（７Ｂ）から警報を出力させる。

Description

作業機械用周辺監視装置
　本発明は、作業機械の周囲における人の存否を判定する機能を備える作業機械用周辺監視装置に関する。
　ショベルに搭載される障害物検出器の監視範囲内で作業者が検出された場合に警報音を発する周辺監視装置が知られている（例えば、特許文献１参照。）。また、ショベルの周囲に設定した作業エリア内に進入した作業者が共同作業者であるか否かをその作業者のヘルメットに取り付けられたＬＥＤの発光パターンから判断して警報音を出力させるか否かを決定する警報システムが知られている（例えば、特許文献２参照。）。また、フォークリフトとその近傍（周り）で作業を行う作業者との間で通信を行い、この通信に基づいて警報音の出力を制御する安全装置が知られている（例えば、特許文献３参照。）。
特開２００８－１７９９４０号公報 特開２００９－１９３４９４号公報 特開２００７－３１０５８７号公報
　しかしながら、特許文献１～３の技術は何れも、所定範囲内に進入した作業者がショベル等の作業者から見て何れの方向に存在する場合であっても、同じブザー又はスピーカから警報音を出力する。そのため、ショベル等の操作者は、警報音を聞いたとしても、作業者が何れの方向に存在するのかを直感的に把握することができない。
　上述の点に鑑み、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握できるようにする作業機械用周辺監視装置を提供することが望まれる。
　本発明の実施例に係る作業機械用周辺監視装置は、作業機械の周囲にある複数の監視空間のそれぞれにおける人の存否を判定する人存否判定手段と、前記作業機械の運転室に設置され、操作者に対する警報を出力する複数の警報出力部を制御する警報制御手段と、を有し、前記複数の監視空間は、該複数の監視空間のうちの２つである、第１監視空間及び第２監視空間を含み、前記複数の警報出力部は、該複数の警報出力部のうちの２つである、前記第１監視空間に対応する第１警報出力部、及び、前記第２監視空間に対応する第２警報出力部を含み、前記警報制御手段は、前記第１監視空間に人が存在すると判定された場合に前記第１警報出力部から警報を出力させ、前記第２監視空間に人が存在すると判定された場合に前記第２警報出力部から警報を出力させる。
　上述の手段により、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握できるようにする作業機械用周辺監視装置が提供される。
本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。 画像生成装置が搭載されるショベルの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図である。 空間モデルと処理対象画像平面との間の関係の一例を示す図である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け手段による座標間の対応付けを説明するための図である。 平行線群の作用を説明するための図である。 補助線群の作用を説明するための図である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 出力画像の一例である。 画像生成装置が搭載されるショベルの上面図の一例である。 ショベルに搭載された３台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図の一例である。 ２つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理を説明するための図である。 図１２で示される出力画像と、図１２の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図である。 ショベルに搭載された３台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図の別の一例である。 人存否判定手段の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表の一例である。 出力画像の別の一例である。 画像生成装置が搭載されるショベルの上面図の別の一例である。 人存否判定手段の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表の別の一例である。 出力画像のさらに別の一例である。 出力画像のさらに別の一例である。 警報制御処理の流れを示すフローチャートである。 警報制御処理中に表示される出力画像の推移の一例を示す図である。 周辺監視装置の別の構成例を概略的に示すブロック図である。
　以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
　図１は、本発明の実施例に係る画像生成装置１００の構成例を概略的に示すブロック図である。
　画像生成装置１００は、作業機械の周辺を監視する作業機械用周辺監視装置の１例であり、制御部１、カメラ２、入力部３、記憶部４、表示部５、人検出センサ６、及び警報出力部７で構成される。具体的には、画像生成装置１００は、作業機械に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を操作者に提示する。また、画像生成装置１００は、人検出センサ６の出力に基づいて、提示すべき出力画像の内容を切り換える。
　図２は、画像生成装置１００が搭載される作業機械としてのショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。
　また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面及び後面にカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）及び人検出センサ６（右側方人検出センサ６Ｒ、後方人検出センサ６Ｂ）を備えている。なお、キャブ６４内の操作者が視認し易い位置には表示部５が設置されている。また、キャブ６４内には、右側内壁及び後側内壁に警報出力部７（右側方警報出力部７Ｒ、後方警報出力部７Ｂ）が設置されている。
　次に、画像生成装置１００の各構成要素について説明する。
　制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。本実施例では、制御部１は、例えば、後述する座標対応付け手段１０、画像生成手段１１、人存否判定手段１２、及び警報制御手段１３のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。
　カメラ２は、ショベル６０の周囲を映し出す入力画像を取得するための装置である。本実施例では、カメラ２は、例えば、キャブ６４にいる操作者の死角となる領域を撮像できるよう上部旋回体６３の右側面及び後面に取り付けられる右側方カメラ２Ｒ及び後方カメラ２Ｂである（図２参照。）。また、カメラ２は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。なお、カメラ２は、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
　また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力する。また、カメラ２は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正する。
　入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
　記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
　表示部５は、画像情報を表示するための装置であり、例えば、ショベル６０のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。
　人検出センサ６は、ショベル６０の周囲に存在する人を検出するための装置である。本実施例では、人検出センサ６は、例えば、キャブ６４にいる操作者の死角となる領域に存在する人を検出できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照。）。
　人検出センサ６は、人以外の物体から人を区別して検出するセンサであり、例えば、対応する監視空間内のエネルギ変化を検出するセンサであって、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等の出力信号を利用した動体検出センサを含む。本実施例では、人検出センサ６は、焦電型赤外線センサを用いたものであり、動体（移動する熱源）を人として検出する。また、右側方人検出センサ６Ｒの監視空間は、右側方カメラの撮像空間に含まれ、後方人検出センサ６Ｂの監視空間は、後方カメラ２Ｂの撮像空間に含まれる。
　なお、人検出センサ６は、カメラ２と同様、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられてもよく、上部旋回体６３の前面、左側面、右側面、及び後面のうちの何れか１つに取り付けられていてもよく、全ての面に取り付けられていてもよい。
　警報出力部７は、ショベル６０の操作者に対する警報を出力する装置である。例えば、警報出力部７は、音及び光の少なくとも一方を出力する警報装置であり、ブザー、スピーカ等の音声出力装置、ＬＥＤ、フラッシュライト等の発光装置を含む。本実施例では、警報出力部７は、警報音を出力するブザーであり、キャブ６４の右側内壁に取り付けられる右側方警報出力部７Ｒ、及び、キャブ６４の後側内壁に取り付けられる後方警報出力部７Ｂで構成される（図２参照。）。
　また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。
　「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。）の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって生成される。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
　「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。
　なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
　図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３左図は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３右図は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。
　図３で示されるように、空間モデルＭＤは、半円筒形状を有し、その底面内側の平面領域Ｒ１とその側面内側の曲面領域Ｒ２とを有する。
　また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、半円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
　次に、制御部１が有する各種手段について説明する。
　座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段である。本実施例では、座標対応付け手段１０は、例えば、予め設定された、或いは、入力部３を介して入力されるカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付ける。なお、カメラ２に関する各種パラメータは、例えば、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け手段１０は、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。
　なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。
　画像生成手段１１は、出力画像を生成するための手段である。本実施例では、画像生成手段１１は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成手段１１は、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。
　また、画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成手段１１は、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
　なお、画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
　また、画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。
　また、画像生成手段１１は、人存否判定手段１２の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成手段１１は、例えば、人存否判定手段１２の判定結果に基づいて出力画像の生成に用いる入力画像を切り換える。なお、出力画像の生成に用いる入力画像の切り換え、及び、切り換えた入力画像に基づいて生成される出力画像についてはその詳細を後述する。
　人存否判定手段１２は、作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定する手段である。本実施例では、人存否判定手段１２は、人検出センサ６の出力に基づいてショベル６０の周囲の人の存否を判定する。
　また、人存否判定手段１２は、カメラ２が撮像した入力画像に基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。具体的には、人存否判定手段１２は、オプティカルフロー、パターンマッチング等の画像処理技術を用いて作業機械の周囲の人の存否を判定してもよい。なお、人存否判定手段１２は、カメラ２とは別の画像センサの出力に基づいて作業機械の周囲の人の存否を判定してもよい。
　或いは、人存否判定手段１２は、人検出センサ６の出力とカメラ２等の画像センサの出力とに基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。
　警報制御手段１３は、警報出力部７を制御する手段である。本実施例では、警報制御手段１３は、人存否判定手段１２の判定結果に基づいて警報出力部７を制御する。なお、警報制御手段１３による警報出力部７の制御についてはその詳細を後述する。
　次に、座標対応付け手段１０及び画像生成手段１１による具体的な処理の一例について説明する。
　座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
　図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表される。空間モデルは、ＸＹＺ直交座標系における立体面として表される。
　最初に、座標対応付け手段１０は、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を－Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するためである。なお、「－Ｗ軸」の符号「－」は、Ｚ軸の方向と－Ｗ軸の方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を－Ｚ方向としていることに起因する。
　なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有するので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させる。
　上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が－Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。そのため、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
　ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、
Figure JPOXMLDOC01-appb-M000001
 で表される。
　また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から
Figure JPOXMLDOC01-appb-M000002
 で表されることとなる。
　なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、
Figure JPOXMLDOC01-appb-M000003
 を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、
Figure JPOXMLDOC01-appb-M000004
 で表され、四元数Ｑの共役四元数は、
Figure JPOXMLDOC01-appb-M000005
 で表される。
　四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
　更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Ｑは、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。
Figure JPOXMLDOC01-appb-M000006
 　ここで、本実施例において、Ｚ軸を－Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、
Figure JPOXMLDOC01-appb-M000007
 で表される。
　また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を－Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、
Figure JPOXMLDOC01-appb-M000008
 で表される。
　以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、
Figure JPOXMLDOC01-appb-M000009
 で表される。また、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。
　空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。なお、線分ＣＰ'は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分である。
　また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける偏角φ、及び線分ＥＰ'の長さを算出する。なお、線分ＥＰ'は、平面Ｈと光軸Ｇとの交点Ｅと、座標Ｐ'とを結ぶ線分であり、偏角φは、平面ＨにおけるＵ'軸と線分ＥＰ'とが形成する角度である。
　カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっている。そのため、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。
　その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。
　なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
 で表される。
　このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
　また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
　なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。
　次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。
　図６は、座標対応付け手段１０による座標間の対応付けを説明するための図である。Ｆ６Ａは、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図である。座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。
　Ｆ６Ａの例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１－Ｌ１及び線分Ｋ２－Ｌ２は共にカメラ２の光学中心Ｃを通過する。
　なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付ける。
　具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１－Ｌ１及び線分Ｋ２－Ｌ２がカメラ２の光学中心Ｃを通過することはない。
　Ｆ６Ｂは、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図である。座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入する。そして、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。
　Ｆ６Ｂの例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付ける。
　なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることも可能である。しかしながら、Ｆ６Ｂの例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっている。そのため、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有する。
　このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。
　Ｆ６Ｃは、処理対象画像平面Ｒ３上の座標と、一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図である。画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。
　Ｆ６Ｃの例では、画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１－Ｎ１及び線分Ｍ２－Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。
　なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付ける。
　具体的には、画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１－Ｎ１及び線分Ｍ２－Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。
　このようにして、画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶する。そして、画像生成手段１１は、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
　なお、Ｆ６Ｄは、Ｆ６Ａ～Ｆ６Ｃを組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。
　次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの作用について説明する。
　図７左図は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図である。一方、図７右図は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。また、図７左図及び図７右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ～Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄのそれぞれに対応する。また、図７左図における座標Ｌａ～Ｌｄのそれぞれの間隔は、図７右図における座標Ｌａ～Ｌｄのそれぞれの間隔と等しい。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、この場合のＺ軸を「再投影軸」と称する。
　図７左図及び図７右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄのそれぞれの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ～Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
　これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
　次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの代替例について説明する。
　図８左図は、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図である。一方、図８右図は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８左図及び図８右図における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ～Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄのそれぞれに対応する。なお、図８左図の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。また、図８左図における座標Ｌａ～Ｌｄのそれぞれの間隔は、図８右図における座標Ｌａ～Ｌｄのそれぞれの間隔と等しい。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在する。なお、図７と同様、この場合のＺ軸を「再投影軸」と称する。
　図８左図及び図８右図で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ～Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する。すなわち、空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ～Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
　これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
　このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置１００は、ショベル６０の近傍の路面画像（ショベル６０を真上から見たときの仮想画像）に影響を与えることなく、ショベル６０の周囲に位置する物体（ショベル６０から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル６０の死角領域の視認性を向上させることができる。
　次に、図９を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図９は、処理対象画像生成処理（ステップＳ１～ステップＳ３）及び出力画像生成処理（ステップＳ４～ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されている。
　最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。
　具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得する。そして、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。
　また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。
　その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。
　具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得する。そして、座標対応付け手段１０は、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出する。そして、座標対応付け手段１０は、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。
　その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定する（ステップＳ３）。そして、制御部１は、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返す。
　一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御部１は、画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。
　具体的には、画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成手段１１は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。
　或いは、画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
　或いは、画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得する。そして、画像生成手段１１は、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出する。そして、画像生成手段１１は、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出す。このようにして、画像生成手段１１は、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
　その後、制御部１の画像生成手段１１は、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照する。そして、画像生成手段１１は、入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿る。そして、画像生成手段１１は、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。
　その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定する（ステップＳ６）。そして、制御部１は、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返す。
　一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。
　なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。
　以上の構成により、画像生成装置１００は、ショベル６０の周囲の物体とショベル６０との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
　また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行する。これにより、画像生成装置１００は、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置１００は、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。
　また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
　また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。
　同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。
　図１０は、ショベル６０に搭載された二台のカメラ２（右側方カメラ２Ｒ及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。
　画像生成装置１００は、それら二台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。そして、画像生成装置１００は、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。このようにして、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する出力画像を生成する。以下では、このような出力画像を周辺監視用仮想視点画像と称する。
　なお、周辺監視用仮想視点画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成される。
　また、周辺監視用仮想視点画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成される。そのため、周辺監視用仮想視点画像は、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
　なお、空間モデルＭＤの半径は、例えば、５メートルである。また、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度、又は、補助線群ＡＬの始点高さは、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に物体（例えば、作業者である。）が存在する場合にその物体が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。
　更に、周辺監視用仮想視点画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置してもよい。ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、周辺監視用仮想視点画像は、方位等の各種情報を含む額縁画像をその周囲に配置してもよい。
　次に、図１１～図１４を参照しながら、画像生成装置１００が生成する周辺監視用仮想視点画像の詳細について説明する。
　図１１は、画像生成装置１００を搭載するショベル６０の上面図である。図１１に示す実施例では、ショベル６０は、３台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）と３台の人検出センサ６（左側方人検出センサ６Ｌ、右側方人検出センサ６Ｒ、及び後方人検出センサ６Ｂ）とを備える。なお、図１１の一点鎖線で示す領域ＣＬ、ＣＲ、ＣＢは、それぞれ、左側方カメラ２Ｌ、右側方カメラ２Ｒ、後方カメラ２Ｂの撮像空間を示す。また、図１１の点線で示す領域ＺＬ、ＺＲ、ＺＢは、それぞれ、左側方人検出センサ６Ｌ、右側方人検出センサ６Ｒ、後方人検出センサ６Ｂの監視空間を示す。また、ショベル６０は、キャブ６４内に、表示部５と、３台の警報出力部７（左側方警報出力部７Ｌ、右側方警報出力部７Ｒ、及び後方警報出力部７Ｂ）とを備える。
　なお、本実施例では、人検出センサ６の監視空間がカメラ２の撮像空間よりも狭いが、人検出センサ６の監視空間は、カメラ２の撮像空間と同じでもよく、カメラ２の撮像空間より広くてもよい。また、人検出センサ６の監視空間は、カメラ２の撮像空間内において、ショベル６０の近傍に位置するが、ショベル６０からより遠い領域にあってもよい。また、人検出センサ６の監視空間は、カメラ２の撮像空間が重複する部分において、重複部分を有する。例えば、右側方カメラ２Ｒの撮像空間ＣＲと後方カメラ２Ｂの撮像空間ＣＢとの重複部分において、右側方人検出センサ６Ｒの監視空間ＺＲは、後方人検出センサ６Ｂの監視空間ＺＢと重複する。しかしながら、人検出センサ６の監視空間は、重複が生じないように配置されてもよい。
　図１２は、ショベル６０に搭載された３台のカメラ２のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
　画像生成装置１００は、３台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。また、画像生成装置１００は、生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。その結果、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周囲を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示する周辺監視用仮想視点画像を生成する。なお、周辺監視用仮想視点画像の中央に表示される画像は、ショベル６０のＣＧ画像６０ＣＧである。
　図１２において、右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像はそれぞれ、右側方カメラ２Ｒの撮像空間と後方カメラ２Ｂの撮像空間との重複部分内に人物を捉えている（右側方カメラ２Ｒの入力画像における二点鎖線で囲まれる領域Ｒ１０、及び、後方カメラ２Ｂの入力画像における二点鎖線で囲まれる領域Ｒ１１参照。）。
　しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複部分内の人物を消失させてしまう（出力画像内の一点鎖線で囲まれる領域Ｒ１２参照。）。
　そこで、画像生成装置１００は、重複部分に対応する出力画像部分において、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域と、右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる領域とを混在させ、重複部分内の物体が消失するのを防止する。
　図１３は、２つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理の一例であるストライプパタン処理を説明するための図である。
　Ｆ１３Ａは、右側方カメラ２Ｒの撮像空間と後方カメラ２Ｂの撮像空間との重複部分に対応する出力画像部分を示す図であり、図１２の点線で示す矩形領域Ｒ１３に対応する。
　また、Ｆ１３Ａにおいて、灰色で塗り潰された領域ＰＲ１は、後方カメラ２Ｂの入力画像部分が配置される画像領域であり、領域ＰＲ１に対応する出力画像平面上の各座標には後方カメラ２Ｂの入力画像平面上の座標が対応付けられる。
　一方、白色で塗り潰された領域ＰＲ２は、右側方カメラ２Ｒの入力画像部分が配置される画像領域であり、領域ＰＲ２に対応する出力画像平面上の各座標には右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる。
　本実施例では、領域ＰＲ１と領域ＰＲ２とが縞模様（ストライプパタン処理）を形成するように配置され、領域ＰＲ１と領域ＰＲ２とが縞状に交互に並ぶ部分の境界線は、ショベル６０の旋回中心を中心とする水平面上の同心円によって定められる。
　Ｆ１３Ｂは、ショベル６０の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ２Ｂ及び右側方カメラ２Ｒの双方によって撮像される空間領域の現在の状況を示す。また、Ｆ１３Ｂは、ショベル６０の右斜め後方に棒状の立体物ＯＢが存在することを示す。
　Ｆ１３Ｃは、Ｆ１３Ｂが示す空間領域を後方カメラ２Ｂ及び右側方カメラ２Ｒで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。
　具体的には、画像ＯＢ１は、後方カメラ２Ｂの入力画像における立体物ＯＢの画像が、路面画像を生成するための視点変換によって、後方カメラ２Ｂと立体物ＯＢとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像ＯＢ１は、後方カメラ２Ｂの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物ＯＢの画像の一部である。
　また、画像ＯＢ２は、右側方カメラ２Ｒの入力画像における立体物ＯＢの画像が、路面画像を生成するための視点変換によって、右側方カメラ２Ｒと立体物ＯＢとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像ＯＢ２は、右側方カメラ２Ｒの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物ＯＢの画像の一部である。
　このように、画像生成装置１００は、重複部分において、後方カメラ２Ｂの入力画像平面上の座標が対応付けられる領域ＰＲ１と、右側方カメラ２Ｒの入力画像平面上の座標が対応付けられる領域ＰＲ２とを混在させる。その結果、画像生成装置１００は、１つの立体物ＯＢに関する２つの画像ＯＢ１及び画像ＯＢ２の双方を出力画像上に表示させ、立体物ＯＢが出力画像から消失するのを防止する。
　図１４は、図１２の出力画像と、図１２の出力画像に画像消失防止処理（ストライプパタン処理）を適用することで得られる出力画像との違いを表す対比図であり、図１４上図が図１２の出力画像を示し、図１４下図が画像消失防止処理（ストライプパタン処理）を適用した後の出力画像を示す。図１４上図における一点鎖線で囲まれる領域Ｒ１２では人物が消失しているのに対し、図１４下図における一点鎖線で囲まれる領域Ｒ１４では人物が消失せずに表示されている。
　なお、画像生成装置１００は、ストライプパタン処理の代わりに、メッシュパタン処理、平均化処理等を適用して重複部分内の物体の消失を防止してもよい。具体的には、画像生成装置１００は、平均化処理により、２つのカメラのそれぞれの入力画像における対応する画素の値（例えば、輝度値である。）の平均値を、重複部分に対応する出力画像部分の画素の値として採用する。或いは、画像生成装置１００は、メッシュパタン処理により、重複部分に対応する出力画像部分において、一方のカメラの入力画像における画素の値が対応付けられる領域と、他方のカメラの入力画像における画素の値が対応付けられる領域とを網模様（メッシュパタン）を形成するように配置させる。これにより、画像生成装置１００は、重複部分内の物体が消失するのを防止する。
　次に、図１５～図１７を参照して、画像生成手段１１が、人存否判定手段１２の判定結果に基づいて複数の入力画像から出力画像の生成に用いる入力画像を決定する処理（以下、「第１入力画像決定処理」とする。）について説明する。なお、図１５は、ショベル６０に搭載された３台のカメラ２のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図であり、図１２に対応する。また、図１６は、人存否判定手段１２の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表である。また、図１７は、第１入力画像決定処理で決定された入力画像に基づいて生成される出力画像の表示例である。
　図１５に示すように、画像生成装置１００は、３台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成する。また、画像生成装置１００は、生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成する。その結果、画像生成装置１００は、ショベル６０の近傍を上空から見下ろした画像と、ショベル６０から水平方向に周囲を見た画像とを同時に表示する周辺監視用仮想視点画像を生成する。
　また、図１５において、左側方カメラ２Ｌ、後方カメラ２Ｂ、及び右側方カメラ２Ｒのそれぞれの入力画像は、作業者が３人ずつ存在する状態を示す。また、出力画像は、ショベル６０の周囲に９人の作業者が存在する状態を示す。
　ここで、図１６の対応表を参照して、人存否判定手段１２の判定結果と、出力画像の生成に用いる入力画像との対応関係について説明する。なお、○印は、人存否判定手段１２により人が存在すると判定されたことを表し、×印は、人が存在しないと判定されたことを表す。
　パターン１は、左側方監視空間ＺＬのみで人が存在すると判定され、後方監視空間ＺＢ及び右側方監視空間ＺＲでは人が存在しないと判定された場合に、左側方カメラ２Ｌの入力画像を用いて出力画像が生成されることを表す。このパターン１は、例えば、ショベル６０の左側方のみに作業者（この例では３人）が存在する場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ１で示すように、３人の作業者を捉えた左側方カメラ２Ｌの入力画像をそのまま出力画像として出力する。なお、以下では、入力画像をそのまま用いた出力画像を「スルー画像」と称する。
　パターン２は、後方監視空間ＺＢのみで人が存在すると判定され、左側方監視空間ＺＬ及び右側方監視空間ＺＲでは人が存在しないと判定された場合に、後方カメラ２Ｂの入力画像を用いて出力画像が生成されることを表す。このパターン２は、例えば、ショベル６０の後方のみに作業者（この例では３人）が存在する場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ２で示すように、３人の作業者を捉えた後方カメラ２Ｂの入力画像をそのまま出力画像として出力する。
　パターン３は、右側方監視空間ＺＲのみで人が存在すると判定され、左側方監視空間ＺＬ及び後方監視空間ＺＢでは人が存在しないと判定された場合に、右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターン３は、例えば、ショベル６０の右側方のみに作業者（この例では３人）が存在する場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ３で示すように、３人の作業者を捉えた右側方カメラ２Ｒの入力画像をそのまま出力画像として出力する。
　パターン４は、左側方監視空間ＺＬ及び後方監視空間ＺＢで人が存在すると判定され、右側方監視空間ＺＲでは人が存在しないと判定された場合に、３つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン４は、例えば、ショベル６０の左側方及び後方に作業者（この例では３人ずつ合計６人）が存在する場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ４で示すように、３つの入力画像に基づいて生成する６人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
　パターン５は、後方監視空間ＺＢ及び右側方監視空間ＺＲで人が存在すると判定され、左側方監視空間ＺＬでは人が存在しないと判定された場合に、３つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン５は、例えば、ショベル６０の後方及び右側方に作業者（この例では３人ずつ合計６人）が存在する場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ５で示すように、３つの入力画像に基づいて生成する６人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
　パターン６は、左側方監視空間ＺＬ及び右側方監視空間ＺＲで人が存在すると判定され、後方監視空間ＺＢでは人が存在しないと判定された場合に、３つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン６は、例えば、ショベル６０の左側方及び右側方に作業者（この例では３人ずつ合計６人）が存在する場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ６で示すように、３つの入力画像に基づいて生成する６人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
　パターン７は、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲの全てで人が存在すると判定された場合に、３つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン７は、例えば、ショベル６０の左側方、後方、及び右側方に作業者（この例では３人ずつ合計９人）が存在する場合に採用される。画像生成手段１１は、図１５の出力画像で示すように、３つの入力画像に基づいて生成する９人の作業者を捉えた周辺監視用仮想視点画像を出力画像として出力する。
　パターン８は、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲの全てで人が存在しないと判定された場合に、３つ全ての入力画像を用いて出力画像が生成されることを表す。このパターン８は、例えば、ショベル６０の左側方、後方、及び右側方に作業者が存在しない場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ７で示すように、３つの入力画像に基づいて生成する、周囲に作業者が存在しない状態を映し出す周辺監視用仮想視点画像を出力画像として出力する。
　上述のように、画像生成手段１１は、３つの監視空間のうちの１つのみで人が存在すると判定された場合には、対応するカメラのスルー画像を出力画像として出力する。監視空間に存在する人を表示部５上にできるだけ大きく表示させるためである。一方で、画像生成手段１１は、３つの監視空間の２つ以上で人が存在すると判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。１つのスルー画像のみではショベル６０の周囲に存在する全ての人を表示部５上に表示させることができないためであり、また、周辺監視用仮想視点画像を出力すればショベル６０の周囲に存在する全ての人を表示部５上に表示させることができるためである。また、画像生成手段１１は、３つの監視空間の何れにも人が存在しないと判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。拡大表示すべき人が存在しないためであり、また、ショベル６０の周囲に存在する人以外の他の物体を広く監視できるようにするためである。
　また、画像生成手段１１は、スルー画像を表示する場合には、何れの入力画像が用いられたかが分かるようなテキストメッセージを表示してもよい。
　次に、図１８～図２０を参照して、人存否判定手段１２の判定結果に基づいて複数の入力画像から出力画像の生成に用いる入力画像を決定する処理の別の例（以下、「第２入力画像決定処理」とする。）について説明する。なお、図１８は、人検出センサ６の別の配置例を示す、ショベル６０の上面図であり、図１１に対応する。また、図１９は、人存否判定手段１２の判定結果と、出力画像の生成に用いる入力画像との対応関係を示す対応表であり、図１６に対応する。また、図２０は、第２入力画像決定処理で決定された入力画像に基づいて生成される出力画像の表示例である。
　図１８に示す実施例では、ショベル６０は、２台のカメラ２（右側方カメラ２Ｒ及び後方カメラ２Ｂ）と３台の人検出センサ６（右側方人検出センサ６Ｒ、右後方人検出センサ６ＢＲ、後方人検出センサ６Ｂ）とを備える。なお、図１８の一点鎖線で示す領域ＣＲ、ＣＢは、それぞれ、右側方カメラ２Ｒ、後方カメラ２Ｂの撮像空間を示す。また、図１８の点線で示す領域ＺＲ、ＺＢＲ、ＺＢは、それぞれ、右側方人検出センサ６Ｒ、右後方人検出センサ６ＢＲ、後方人検出センサ６Ｂの監視空間を示す。また、図１８の斜線ハッチングで示す領域Ｘは、撮像空間ＣＲと撮像空間ＣＢの重複部分（以下、「重複撮像空間Ｘ」とする。）を示す。
　図１８の配置例は、監視空間ＺＲ及び監視空間ＺＢが重複部分を有しない点、及び、重複撮像空間Ｘを含む監視空間ＺＢＲを有する右後方人検出センサ６ＢＲを備える点において図１１の配置例と相違する。
　人検出センサ６のこの配置により、画像生成装置１００は、重複撮像空間Ｘに人が存在するか否かを判定することができる。そして、画像生成装置１００は、出力画像の生成に用いる入力画像の決定にその判定結果を利用し、より適切に出力画像の内容を切り換えることができる。
　ここで、図１９の対応表を参照して、人存否判定手段１２の判定結果と、出力画像の生成に用いる入力画像との対応関係について説明する。
　パターンＡは、後方監視空間ＺＢ、右後方監視空間ＺＢＲ、及び右側方監視空間ＺＲの全てで人が存在しないと判定された場合に、後方カメラ２Ｂ及び右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターンＡは、例えば、ショベル６０の周囲に作業者が存在しない場合に採用される。画像生成手段１１は、図１７の出力画像Ｄ７で示すように、周囲に作業者が存在しない状態を映し出す周辺監視用仮想視点画像を２つの入力画像に基づいて生成し且つ出力する。
　パターンＢは、後方監視空間ＺＢのみで人が存在すると判定され、右後方監視空間ＺＢＲ及び右側方監視空間ＺＲでは人が存在しないと判定された場合に、後方カメラ２Ｂの入力画像を用いて出力画像が生成されることを表す。このパターンＢは、例えば、ショベル６０の後方に１人の作業者Ｐ１が存在する場合に採用される。画像生成手段１１は、図２０の出力画像Ｄ１０で示すように、作業者Ｐ１を捉えた後方カメラ２Ｂの入力画像をそのまま出力画像として出力する。
　パターンＣは、右側方監視空間ＺＲのみで人が存在すると判定され、後方監視空間ＺＢ及び右後方監視空間ＺＢＲでは人が存在しないと判定された場合に、右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターンＣは、例えば、ショベル６０の右側方に１人の作業者Ｐ２が存在する場合に採用される。画像生成手段１１は、図２０の出力画像Ｄ１１で示すように、作業者Ｐ２を捉えた右側方カメラ２Ｒの入力画像をそのまま出力画像として出力する。
　パターンＤは、右後方監視空間ＺＢＲのみで人が存在すると判定され、後方監視空間ＺＢ及び右側方監視空間ＺＲでは人が存在しないと判定された場合に、後方カメラ２Ｂ及び右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターンＤは、例えば、ショベル６０の右後方の重複撮像空間Ｘ内に１人の作業者Ｐ３が存在する場合に採用される。画像生成手段１１は、図２０の出力画像Ｄ１２で示すように、作業者Ｐ３を捉えた後方カメラ２Ｂの入力画像をそのまま第１出力画像（図中左側）として出力し、同じ作業者Ｐ３を捉えた右側方カメラ２Ｒの入力画像をそのまま第２出力画像（図中右側）として出力する。
　パターンＥは、後方監視空間ＺＢ及び右後方監視空間ＺＢＲで人が存在すると判定され、右側方監視空間ＺＲでは人が存在しないと判定された場合に、後方カメラ２Ｂ及び右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターンＥは、例えば、ショベル６０の後方に１人の作業者Ｐ４が存在し、且つ、ショベル６０の右後方の重複撮像空間Ｘ内に１人の作業者Ｐ５が存在する場合に採用される。画像生成手段１１は、図２０の出力画像Ｄ１３で示すように、作業者Ｐ４及び作業者Ｐ５を捉えた後方カメラ２Ｂの入力画像をそのまま第１出力画像（図中左側）として出力し、作業者Ｐ４のみを捉えた右側方カメラ２Ｒの入力画像をそのまま第２出力画像（図中右側）として出力する。
　パターンＦは、後方監視空間ＺＢ及び右側方監視空間ＺＲで人が存在すると判定され、右後方監視空間ＺＢＲでは人が存在しないと判定された場合に、後方カメラ２Ｂ及び右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターンＦは、例えば、ショベル６０の後方に１人の作業者Ｐ６が存在し、且つ、ショベル６０の右側方に別の１人の作業者Ｐ７が存在する場合に採用される。画像生成手段１１は、図２０の出力画像Ｄ１４で示すように、作業者Ｐ６を捉えた後方カメラ２Ｂの入力画像をそのまま第１出力画像（図中左側）として出力し、作業者Ｐ７を捉えた右側方カメラ２Ｒの入力画像をそのまま第２出力画像（図中右側）として出力する。
　パターンＧは、右後方監視空間ＺＢＲ及び右側方監視空間ＺＲで人が存在すると判定され、後方監視空間ＺＢでは人が存在しないと判定された場合に、後方カメラ２Ｂ及び右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターンＧは、例えば、ショベル６０の右後方の重複撮像空間Ｘ内に１人の作業者Ｐ８が存在し、且つ、ショベル６０の右側方に別の１人の作業者Ｐ９が存在する場合に採用される。画像生成手段１１は、図２０の出力画像Ｄ１５で示すように、作業者Ｐ８を捉えた後方カメラ２Ｂの入力画像をそのまま第１出力画像（図中左側）として出力し、作業者Ｐ８及び作業者Ｐ９を捉えた右側方カメラ２Ｒの入力画像をそのまま第２出力画像（図中右側）として出力する。
　パターンＨは、後方監視空間ＺＢ、右後方監視空間ＺＢＲ、及び右側方監視空間ＺＲの全てで人が存在すると判定された場合に、後方カメラ２Ｂ及び右側方カメラ２Ｒの入力画像を用いて出力画像が生成されることを表す。このパターンＨは、例えば、ショベル６０の右後方の重複撮像空間Ｘ内に１人の作業者Ｐ１０が存在し、ショベル６０の後方に別の１人の作業者Ｐ１１が存在し、且つ、ショベル６０の右側方にさらに別の１人の作業者Ｐ１２が存在する場合に採用される。画像生成手段１１は、図２０の出力画像Ｄ１６で示すように、作業者Ｐ１０及び作業者Ｐ１１を捉えた後方カメラ２Ｂの入力画像をそのまま第１出力画像（図中左側）として出力し、作業者Ｐ１０及び作業者Ｐ１２を捉えた右側方カメラ２Ｒの入力画像をそのまま第２出力画像（図中右側）として出力する。
　第２入力画像決定処理では、画像生成手段１１は、１つのカメラの入力画像のみに人が写っている場合には、対応するカメラのスルー画像を出力画像として出力する。監視空間に存在する人を表示部５上にできるだけ大きく表示させるためである。一方で、画像生成手段１１は、２つのカメラの入力画像の何れにも人が写っている場合には、２つのカメラのそれぞれのスルー画像を同時に且つ個別に出力する。１つのスルー画像のみではショベル６０の周囲に存在する全ての人を表示部５上に表示させることができないためであり、また、周辺監視用仮想視点画像を出力すればスルー画像を出力する場合に比べて作業者を視認し難くしてしまうためである。また、画像生成手段１１は、３つの監視空間の何れにも人が存在しないと判定された場合には、スルー画像を出力することなく周辺監視用仮想視点画像を出力する。拡大表示すべき人が存在しないためであり、また、ショベル６０の周囲に存在する人以外の他の物体を広く監視できるようにするためである。
　また、画像生成手段１１は、スルー画像を表示する場合には、第１入力画像決定処理のときと同様に、何れの入力画像が用いられたかが分かるようなテキストメッセージを表示してもよい。
　次に、図２１を参照して、第１入力画像決定処理又は第２入力画像決定処理で決定された入力画像に基づいて生成される出力画像の別の表示例について説明する。
　図２１に示すように、画像生成手段１１は、周辺監視用仮想視点画像とスルー画像とを同時に表示してもよい。例えば、画像生成手段１１は、ショベル６０の後方に作業者が存在する場合、図２１の出力画像Ｄ２０で示すように、周辺監視用仮想視点画像を第１出力画像とし、後方カメラ２Ｂのスルー画像を第２出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の下側に表示される。ショベル６０の後方に作業者がいることをショベル６０の操作者に直感的に把握させるためである。また、画像生成手段１１は、ショベル６０の左側方に作業者が存在する場合、図２１の出力画像Ｄ２１で示すように、周辺監視用仮想視点画像を第１出力画像とし、左側方カメラ２Ｌのスルー画像を第２出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の左側に表示される。同様に、画像生成手段１１は、ショベル６０の右側方に作業者が存在する場合、図２１の出力画像Ｄ２２で示すように、周辺監視用仮想視点画像を第１出力画像とし、右側方カメラ２Ｒのスルー画像を第２出力画像として表示してもよい。この場合、スルー画像は、周辺監視用仮想視点画像の右側に表示される。
　或いは、画像生成手段１１は、周辺監視用仮想視点画像と複数のスルー画像とを同時に表示してもよい。例えば、画像生成手段１１は、ショベル６０の後方及び右側方に作業者が存在する場合、図２１の出力画像Ｄ２３で示すように、周辺監視用仮想視点画像を第１出力画像とし、後方カメラ２Ｂのスルー画像を第２出力画像とし、右側方カメラ２Ｒのスルー画像を第３出力画像として表示してもよい。この場合、後方カメラ２Ｂのスルー画像は、周辺監視用仮想視点画像の下側に表示され、右側方カメラ２Ｒのスルー画像は、周辺監視用仮想視点画像の右側に表示される。
　なお、画像生成手段１１は、複数の出力画像を同時に表示する場合、出力画像の内容を表す情報を表示してもよい。例えば、画像生成手段１１は、後方カメラ２Ｂのスルー画像の上或いはその周辺に「後方カメラスルー画像」等のテキストを表示してもよい。
　また、画像生成手段１１は、複数の出力画像を同時に表示する場合、周辺監視用仮想視点画像の上に１又は複数のスルー画像をポップアップ表示させてもよい。
　以上の構成により、画像生成装置１００は、人存否判定手段１２の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成装置１００は、例えば、個別の入力画像の内容を縮小し且つ変更して表示する周辺監視用仮想視点画像と、個別の入力画像の内容をそのまま表示するスルー画像とを切り換える。このように、画像生成装置１００は、ショベル６０の周辺に作業者を検出した場合にスルー画像を表示することによって、周辺監視用仮想視点画像のみを表示するときに比べ、ショベル６０の操作者がその作業者を見落とすのをより確実に防止できる。作業者が大きく且つ分かり易く表示されるためである。
　また、上述の実施例では、画像生成手段１１は、１つのカメラの入力画像に基づいて出力画像を生成する場合、そのカメラのスルー画像を出力画像とする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成手段１１は、後方カメラ２Ｂの入力画像に基づいて後方監視用仮想視点画像を出力画像として生成してもよい。
　また、上述の実施例では、画像生成装置１００は、１つのカメラの撮像空間に１つの人検出センサの監視空間を対応させるが、複数のカメラの撮像空間に１つの人検出センサの監視空間を対応させてもよく、１つのカメラの撮像空間に複数の人検出センサの監視空間を対応させてもよい。
　また、上述の実施例では、画像生成装置１００は、隣接する２つの人検出センサの監視空間の一部を重複させるが、監視空間を重複させないようにしてもよい。また、画像生成装置１００は、１つの人検出センサの監視空間が別の人検出センサの監視空間に完全に含まれるようにしてもよい。
　また、上述の実施例では、画像生成装置１００は、人存否判定手段１２の判定結果が変わった瞬間に出力画像の内容を切り換える。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置１００は、人存否判定手段１２の判定結果が変わってから出力画像の内容を切り換えるまでに所定の遅延時間を設定してもよい。出力画像の内容が頻繁に切り換えられるのを抑制するためである。
　次に、図２２及び図２３を参照しながら、警報制御手段１３が人存否判定手段１２の判定結果に基づいて警報出力部７を制御する処理（以下、「警報制御処理」とする。）について説明する。なお、図２２は、警報制御処理の流れを示すフローチャートであり、図２３は、警報制御処理中に表示される出力画像の推移の一例である。また、警報制御手段１３は、所定周期で繰り返しこの警報制御処理を実行する。また、画像生成装置１００は、図１１に示すショベル６０に搭載される。
　最初に、人存否判定手段１２は、ショベル６０の周囲に人が存在するか否かを判定する（ステップＳ１１）。このとき、画像生成手段１１は、例えば、図２３の出力画像Ｄ３１に示すような周辺監視用仮想視点画像を生成して表示する。
　ショベル６０の周囲に人が存在すると判定した場合（ステップＳ１１のＹＥＳ）、人存否判定手段１２は、左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲのうちの何れの監視空間に人が存在するかを判定する（ステップＳ１２）。
　そして、人存否判定手段１２は、左側方監視空間ＺＬのみに人が存在すると判定した場合（ステップＳ１２の左側方）、警報制御手段１３に対して左側方検出信号を出力する。そして、左側方検出信号を受けた警報制御手段１３は、左側方警報出力部７Ｌに対して警報開始信号を出力し、左側方警報出力部７Ｌから警報を出力させる（ステップＳ１３）。また、画像生成手段１１は、例えば、図２３の出力画像Ｄ３２に示すような左側方カメラ２Ｌのスルー画像を出力画像として表示する。或いは、画像生成手段１１は、例えば、図２３の出力画像Ｄ３３に示すように、周辺監視用仮想視点画像を第１出力画像（図中右側の画像）とし、左側方カメラ２Ｌのスルー画像を第２出力画像（図中左側の画像）として表示してもよい。
　また、人存否判定手段１２は、後方監視空間ＺＢのみに人が存在すると判定した場合（ステップＳ１２の後方）、警報制御手段１３に対して後方検出信号を出力する。そして、後方検出信号を受けた警報制御手段１３は、後方警報出力部７Ｂに対して警報開始信号を出力し、後方警報出力部７Ｂから警報を出力させる（ステップＳ１４）。また、画像生成手段１１は、例えば、後方カメラ２Ｂのスルー画像を出力画像として表示する。或いは、画像生成手段１１は、周辺監視用仮想視点画像を第１出力画像とし、後方カメラ２Ｂのスルー画像を第２出力画像として表示してもよい。
　また、人存否判定手段１２は、右側方監視空間ＺＲのみに人が存在すると判定した場合（ステップＳ１２の右側方）、警報制御手段１３に対して右側方検出信号を出力する。そして、右側方検出信号を受けた警報制御手段１３は、右側方警報出力部７Ｒに対して警報開始信号を出力し、右側方警報出力部７Ｒから警報を出力させる（ステップＳ１５）。また、画像生成手段１１は、例えば、右側方カメラ２Ｒのスルー画像を出力画像として表示する。或いは、画像生成手段１１は、周辺監視用仮想視点画像を第１出力画像とし、右側方カメラ２Ｒのスルー画像を第２出力画像として表示してもよい。
　一方、ショベル６０の周囲に人が存在しないと判定した場合（ステップＳ１１のＮＯ）、人存否判定手段１２は、警報制御手段１３に対して検出信号を出力することなく、今回の警報制御処理を終了する。
　なお、警報制御手段１３は、人存否判定手段１２により左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲのうちの２つ以上の監視空間で人が存在すると判定された場合には、左側方警報出力部７Ｌ、後方警報出力部７Ｂ、及び右側方警報出力部７Ｒのうちの対応する２つ以上の警報出力部から警報を出力させる。また、画像生成手段１１は、人存否判定手段１２により左側方監視空間ＺＬ、後方監視空間ＺＢ、及び右側方監視空間ＺＲのうちの２つ以上の監視空間で人が存在すると判定された場合には、上述の実施例で説明されたような方法で出力画像を表示する。具体的には、画像生成手段１１は、図２３の出力画像Ｄ３４で示すように周辺監視用仮想視点画像のみを表示してもよい。また、画像生成手段１１は、図２３の出力画像Ｄ３５で示すように２つ以上のスルー画像を同時に表示してもよい。また、画像生成手段１１は、図２３の出力画像Ｄ３６で示すように周辺監視用仮想視点画像と２つ以上のスルー画像とを同時に表示してもよい。
　また、画像生成装置１００は、警報出力部７から警報音を出力する構成では、左側方警報出力部７Ｌ、後方警報出力部７Ｂ、及び右側方警報出力部７Ｒのそれぞれの警報音の内容（高低、出力間隔等）を異ならせるようにしてもよい。同様に、画像生成装置１００は、警報出力部７から光を出力する構成では、左側方警報出力部７Ｌ、後方警報出力部７Ｂ、及び右側方警報出力部７Ｒのそれぞれの光の内容（色、発光間隔等）を異ならせるようにしてもよい。警報の内容の違いによりショベル６０の周辺に存在する人の大まかな位置をショベル６０の操作者がより直感的に認識できるようにするためである。
　以上の構成により、画像生成装置１００は、ショベル６０の周囲に存在する作業者の大まかな位置をショベル６０の操作者が直感的に把握できるようにする。例えば、画像生成装置１００は、作業者の正確な位置を検出しなくとも、ショベル６０の左側方、後方、右側方の何れに作業者が存在するかを判定しさえすれば、その判定した方向をショベル６０の操作者に直感的に伝えることができる。
　なお、上述の実施例では、警報出力部７は、独立した３つのブザーで構成されるが、複数のスピーカを含むサラウンドシステムを用いて音を定位させてもよい。
　以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
　例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
　また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及び人検出センサと共に搭載される。そして、画像生成装置１００は、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置１００は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。或いは、画像生成装置１００は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。そして、画像生成装置１００は、それら作業機械の操作を支援する操作支援システムを構成してもよい。
　また、周辺監視装置は、カメラ２及び表示部５を含む画像生成装置１００を１例として説明されたが、カメラ２、表示部５等による画像表示機能を含まない装置として構成されてもよい。例えば、警報制御処理を実行する装置としての周辺監視装置１００Ａは、図２４に示すように、カメラ２、入力部３、記憶部４、表示部５、座標対応付け手段１０、及び画像生成手段１１を省略してもよい。
　また、本願は、２０１３年３月１９日に出願した日本国特許出願２０１３－０５７４０１号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
　１・・・制御部　２・・・カメラ　２Ｌ・・・左側方カメラ　２Ｒ・・右側方カメラ　２Ｂ・・後方カメラ　３・・・入力部　４・・・記憶部　５・・・表示部　６・・・人検出センサ　６Ｌ・・・左側方人検出センサ　６Ｒ・・・右側方人検出センサ　６Ｂ・・・後方人検出センサ　７・・・警報出力部　７Ｌ・・・左側方警報出力部　７Ｂ・・・後側方警報出力部　７Ｒ・・・右側方警報出力部　１０・・・座標対応付け手段　１１・・・画像生成手段　１２・・・人存否判定手段　１３・・・警報制御手段　４０・・・入力画像・空間モデル対応マップ　４１・・・空間モデル・処理対象画像対応マップ　４２・・・処理対象画像・出力画像対応マップ　６０・・・ショベル　６１・・・下部走行体　６２・・・旋回機構　６３・・・上部旋回体　６４・・・キャブ　１００・・・画像生成装置　１００Ａ・・・周辺監視装置

Claims (4)

  1. 　作業機械用周辺監視装置であって、
    　作業機械の周囲にある複数の監視空間のそれぞれにおける人の存否を判定する人存否判定手段と、
    　前記作業機械の運転室に設置され、操作者に対する警報を出力する複数の警報出力部を制御する警報制御手段と、を有し、
    　前記複数の監視空間は、該複数の監視空間のうちの２つである、第１監視空間及び第２監視空間を含み、
    　前記複数の警報出力部は、該複数の警報出力部のうちの２つである、前記第１監視空間に対応する第１警報出力部、及び、前記第２監視空間に対応する第２警報出力部を含み、
    　前記警報制御手段は、前記第１監視空間に人が存在すると判定された場合に前記第１警報出力部から警報を出力させ、前記第２監視空間に人が存在すると判定された場合に前記第２警報出力部から警報を出力させる、
    　作業機械用周辺監視装置。
  2. 　前記複数の監視空間は、前記作業機械の後方にある後方監視空間、及び、側方にある側方監視空間を含み、
    　前記複数の警報出力部は、前記運転室の後方に設置される後方警報出力部、及び、前記運転室の側方に設置される側方警報出力部を含み、
    　前記後方警報出力部は、前記後方監視空間に対応し、
    　前記側方警報出力部は、前記側方監視空間に対応する、
    　請求項１に記載の作業機械用周辺監視装置。
  3. 　前記警報出力部は、音及び光の少なくとも一方による警報を出力する、
    　請求項１に記載の作業機械用周辺監視装置。
  4. 　前記人存否判定手段は、前記作業機械に取り付けられる複数の動体検出センサ又は画像センサの出力に基づいて、前記複数の監視空間のそれぞれにおける人の存否を判定する、
    　請求項１に記載の作業機械用周辺監視装置。
PCT/JP2014/054289 2013-03-19 2014-02-24 作業機械用周辺監視装置 WO2014148203A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480007706.9A CN104982030A (zh) 2013-03-19 2014-02-24 作业机械用周边监视装置
EP14769256.0A EP2978213B1 (en) 2013-03-19 2014-02-24 Perimeter monitoring device for work machine
US14/848,454 US9836938B2 (en) 2013-03-19 2015-09-09 Shovel having audio output device installed in cab

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-057401 2013-03-19
JP2013057401A JP6545430B2 (ja) 2013-03-19 2013-03-19 ショベル

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/848,454 Continuation US9836938B2 (en) 2013-03-19 2015-09-09 Shovel having audio output device installed in cab

Publications (1)

Publication Number Publication Date
WO2014148203A1 true WO2014148203A1 (ja) 2014-09-25

Family

ID=51579895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/054289 WO2014148203A1 (ja) 2013-03-19 2014-02-24 作業機械用周辺監視装置

Country Status (5)

Country Link
US (1) US9836938B2 (ja)
EP (1) EP2978213B1 (ja)
JP (1) JP6545430B2 (ja)
CN (2) CN104982030A (ja)
WO (1) WO2014148203A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015029110A1 (ja) * 2013-08-26 2015-03-05 日立建機株式会社 作業機械の周囲監視装置
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
US10002499B2 (en) * 2014-11-27 2018-06-19 Abb Schweiz Ag Distribution of audible notifications in a control room
CN108026715B (zh) 2015-09-15 2021-06-18 住友建机株式会社 挖土机
JP6419677B2 (ja) * 2015-11-30 2018-11-07 住友重機械工業株式会社 作業機械用周辺監視システム
EP3385457A4 (en) 2015-11-30 2019-03-13 Sumitomo Heavy Industries, Ltd. PERIPHERAL MONITORING SYSTEM FOR A WORK MACHINE
CN114640827A (zh) * 2016-01-29 2022-06-17 住友建机株式会社 挖土机以及在挖土机的周围飞行的自主式飞行体
JP6689669B2 (ja) * 2016-05-13 2020-04-28 住友重機械工業株式会社 ショベル
EP3480374B1 (en) * 2016-07-04 2023-12-20 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JPWO2018084161A1 (ja) 2016-11-01 2019-09-26 住友建機株式会社 建設機械用安全管理システム、管理装置
KR102256384B1 (ko) * 2016-11-01 2021-05-25 스미토모 겐키 가부시키가이샤 작업기계용 주변감시시스템
EP3587675B1 (en) * 2017-02-22 2024-06-05 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator
EP3587673A4 (en) * 2017-02-24 2020-05-13 Sumitomo Heavy Industries, Ltd. SHOVEL, SHOVEL CONTROL METHOD AND MOBILE INFORMATION TERMINAL
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
CN112218988B (zh) * 2018-07-31 2023-06-09 住友建机株式会社 挖土机
CN108892042B (zh) * 2018-09-13 2024-05-03 郑州大学 一种钢水包耳轴吊装对位识别装置及方法
JP7020359B2 (ja) * 2018-09-28 2022-02-16 株式会社豊田自動織機 警告装置
JP2020063566A (ja) 2018-10-15 2020-04-23 日立建機株式会社 油圧ショベル
JP2020125672A (ja) * 2019-01-15 2020-08-20 株式会社カナモト 建設機械の安全装置
JP2020149261A (ja) * 2019-03-13 2020-09-17 コベルコ建機株式会社 作業機械用周辺監視装置
CN109993936A (zh) * 2019-03-19 2019-07-09 上海电力高压实业有限公司 变电站改造越界报警系统及方法
KR20210140737A (ko) 2019-03-30 2021-11-23 스미토모 겐키 가부시키가이샤 쇼벨 및 시공시스템
FR3095392B1 (fr) * 2019-04-24 2021-04-16 Option Automatismes Système anti-collision pour engin de chantier, et engin de chantier équipé d’un tel système anti-collision
JP7189074B2 (ja) * 2019-04-26 2022-12-13 日立建機株式会社 作業機械
CN110166751A (zh) * 2019-06-03 2019-08-23 三一汽车制造有限公司 臂架设备、臂架设备安全预警装置及方法
EP4023820A4 (en) * 2019-08-29 2022-11-09 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR AND EXCAVATOR DIAGNOSTIC SYSTEM
GB2588186A (en) * 2019-10-11 2021-04-21 Caterpillar Inc System for monitoring surrounding area of cold planer
CN114341439A (zh) 2020-03-25 2022-04-12 住友重机械工业株式会社 施工机械、施工机械的管理系统、机器学习装置及施工机械的作业现场的管理系统
JP2022026925A (ja) * 2020-07-31 2022-02-10 株式会社東芝 注意喚起システム、注意喚起方法及びプログラム
US11521397B2 (en) * 2020-09-08 2022-12-06 Caterpillar Inc. Object tracking for work machines
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1090406A (ja) * 1996-09-13 1998-04-10 Omron Corp 警報装置
JP2007310587A (ja) 2006-05-17 2007-11-29 Sumitomonacco Materials Handling Co Ltd 産業車両の安全装置
JP2008179940A (ja) 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2009193494A (ja) 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0517973A (ja) * 1991-07-16 1993-01-26 Yutani Heavy Ind Ltd 建設機械の安全装置
JP2777534B2 (ja) * 1993-10-01 1998-07-16 建設省関東地方建設局長 建設機械の監視装置
JP4776491B2 (ja) * 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
JP5227841B2 (ja) * 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
AT509253A1 (de) * 2009-08-05 2011-07-15 Moeller Gebaeudeautomation Gmbh Elektrische installationsanordnung
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
US9633563B2 (en) * 2010-04-19 2017-04-25 Caterpillar Inc. Integrated object detection and warning system
JP3161937U (ja) * 2010-06-04 2010-08-12 東京通信機株式会社 重機後方確認装置
JP5395266B2 (ja) * 2010-06-18 2014-01-22 日立建機株式会社 作業機械の周囲監視装置
US9206588B2 (en) 2011-05-26 2015-12-08 Sumitomo Heavy Industries, Ltd. Shovel provided with electric swiveling apparatus and method of controlling the same
US8948975B2 (en) * 2011-10-28 2015-02-03 Agco Corporation Agriculture combination machines for dispensing compositions
US9169973B2 (en) * 2012-12-18 2015-10-27 Agco Corporation Zonal operator presence detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1090406A (ja) * 1996-09-13 1998-04-10 Omron Corp 警報装置
JP2008179940A (ja) 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2007310587A (ja) 2006-05-17 2007-11-29 Sumitomonacco Materials Handling Co Ltd 産業車両の安全装置
JP2009193494A (ja) 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置

Also Published As

Publication number Publication date
CN104982030A (zh) 2015-10-14
EP2978213B1 (en) 2019-11-06
US9836938B2 (en) 2017-12-05
CN110318441A (zh) 2019-10-11
JP6545430B2 (ja) 2019-07-17
US20160005286A1 (en) 2016-01-07
EP2978213A1 (en) 2016-01-27
JP2014183500A (ja) 2014-09-29
EP2978213A4 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
JP6545430B2 (ja) ショベル
JP6029306B2 (ja) 作業機械用周辺監視装置
JP6456584B2 (ja) 作業機械用周辺監視装置
JP6052881B2 (ja) 作業機械用周辺監視装置
JP6740259B2 (ja) 作業機械
JP6541734B2 (ja) ショベル
JP5960007B2 (ja) 作業機械用周辺監視装置
JP2014224410A (ja) 作業機械用周辺監視装置
JP2019060228A (ja) 作業機械用周辺監視装置
JP6290497B2 (ja) ショベル
JP6169381B2 (ja) ショベル
JP6852026B2 (ja) ショベル
JP5805574B2 (ja) 作業機械用周辺監視装置
JP6420432B2 (ja) ショベル
JP6091821B2 (ja) ショベル
JP2013205956A (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP6602936B2 (ja) ショベル
JP6301536B2 (ja) ショベル
JP6257919B2 (ja) ショベル
JP6391656B2 (ja) 作業機械用周辺監視装置及び作業機械
JP6302622B2 (ja) 作業機械用周辺監視装置
JP7454461B2 (ja) ショベル
JP2019071677A (ja) ショベル
JP6295026B2 (ja) ショベル
WO2014148204A1 (ja) 作業機械用周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14769256

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014769256

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE