WO2018042747A1 - 画像処理装置、画像処理システム、画像処理プログラムおよびラベル - Google Patents

画像処理装置、画像処理システム、画像処理プログラムおよびラベル Download PDF

Info

Publication number
WO2018042747A1
WO2018042747A1 PCT/JP2017/015266 JP2017015266W WO2018042747A1 WO 2018042747 A1 WO2018042747 A1 WO 2018042747A1 JP 2017015266 W JP2017015266 W JP 2017015266W WO 2018042747 A1 WO2018042747 A1 WO 2018042747A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
image processing
label
unit
Prior art date
Application number
PCT/JP2017/015266
Other languages
English (en)
French (fr)
Inventor
有里 木下
充一 梅村
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Priority to CN201780053266.4A priority Critical patent/CN109690639A/zh
Priority to US16/322,252 priority patent/US20190197738A1/en
Publication of WO2018042747A1 publication Critical patent/WO2018042747A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/463—Colour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for

Definitions

  • the present disclosure relates to an image processing device, an image processing system, an image processing program, and a label.
  • This application claims priority based on Japanese Patent Application No. 2016-170638 filed on September 1, 2016, and incorporates all the description content described in the above Japanese application.
  • Patent Document 1 discloses a construction machine person detection system that detects a person around a vehicle construction machine.
  • the person located in the periphery of a shovel is detected using the captured image of the camera attached to the shovel as a vehicle system construction machine.
  • a HOG Hemograms of Oriented Gradients
  • a human candidate region is identified from the extracted HOG feature quantity.
  • the area of the helmet is extracted using the luminance gradient of the pixels included in the image.
  • Patent Document 2 discloses a forklift safety device for detecting a person around the forklift.
  • the forklift and the person are drawn in different shapes in a predetermined color, and the forklift and the person are imaged with a fixed camera installed in advance on the ceiling.
  • the safety device detects the forklift and the person by extracting the shape from the captured image, and issues a notification when the forklift and the person approach within a certain distance.
  • the image processing apparatus includes an image acquisition unit that acquires an image captured by an imaging unit mounted on a vehicle corresponding to an industrial vehicle or a vehicle construction machine, and the image acquired by the image acquisition unit.
  • a determination unit that executes a determination process as to whether or not a region of two or more colors having a predetermined positional relationship is included, and a notification unit that executes a notification process according to a determination process result of the determination unit Prepare.
  • the image processing system of the present disclosure includes a label in which regions of two or more predetermined colors attached to a detection target are arranged in a predetermined positional relationship, and an image processing device that detects the detection target.
  • the image processing apparatus includes: an image acquisition unit that acquires an image captured by an imaging unit mounted on an industrial vehicle or a vehicle corresponding to a vehicle system construction machine; and the image acquired by the image acquisition unit A determination unit that executes a determination process as to whether or not a region of two or more colors is included, and a notification unit that performs a notification according to a determination process result of the determination unit.
  • an image acquisition unit that acquires an image captured by an imaging unit mounted on a vehicle corresponding to an industrial vehicle or a vehicle system construction machine, and the image acquisition unit And a determination unit that executes a determination process for determining whether or not the image includes an area of two or more predetermined colors, and a notification unit that performs a notification process according to a determination process result of the determination unit.
  • the label of the present disclosure is a label to be determined by the above-described image processing apparatus as to whether or not a predetermined two or more color area is included, and the predetermined two or more color area is a predetermined one. They are arranged in a positional relationship.
  • the present disclosure can be realized not only as an image processing apparatus including such a characteristic processing unit, but also as an image processing method including steps executed by the characteristic processing unit included in the image processing apparatus. Can be realized. It goes without saying that the above-described image processing program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet. Yes.
  • the present disclosure can also be realized as a semiconductor integrated circuit that realizes part or all of the image processing apparatus.
  • FIG. 1 is a diagram illustrating an attachment example of an image processing system according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating a functional configuration of an image processing system according to Embodiment 1.
  • FIG. It is a schematic diagram of the forklift seen from the top. It is the figure which looked at the helmet which a person wears from the side. It is the figure which looked at the helmet which a person wears from the upper part. It is a figure which shows the expression in the Munsell color system of each color label. It is a figure which shows an example of the green area
  • FIG. 3 is a flowchart of processing executed by the image processing apparatus according to the first embodiment.
  • 9 is a detailed flowchart of threshold setting processing (S4 in FIG. 8). It is the figure which looked at the helmet which a person wears from the side. It is the figure which looked at the helmet which a person wears from the side. It is the figure which looked at the helmet which a person wears from the side. It is the figure which looked at the person from the front.
  • 6 is a block diagram showing a functional configuration of an image processing system according to Embodiment 2.
  • FIG. 10 is a flowchart of processing executed by the image processing apparatus according to the second embodiment.
  • FIG. 6 is a block diagram illustrating a functional configuration of an image processing system according to Embodiment 3.
  • FIG. 10 is a flowchart of processing executed by the image processing apparatus according to the third embodiment. It is a figure which shows an example of the data table which shows the relationship between the position which the threshold value setting part hold
  • FIG. 10 is a diagram illustrating an attachment example of an image processing system according to a fourth embodiment.
  • Forklifts are designed to carry luggage on overhangs, so the weight of the body is heavier than it looks. For this reason, even if the forklift is traveling at a low speed, there is a high possibility that it will lead to a serious accident by contacting with a person. Such a problem occurs not only in an industrial vehicle represented by a forklift but also in a vehicle construction machine such as a hydraulic excavator.
  • Patent Document 1 Since the system described in Patent Document 1 identifies a person candidate area using the HOG feature, when a person squats down or falls down, the person candidate area cannot be accurately identified. Further, when extracting the helmet, the image of the candidate area of the person is converted into an image as if the person was viewed from the front. For this reason, when a person squats down or falls down, the helmet area cannot be accurately extracted. As described above, the system described in Patent Document 1 has a problem that it is vulnerable to posture change.
  • Patent Document 2 The safety device described in Patent Document 2 is based on the premise that the camera is fixed to the ceiling. Therefore, when the forklift travels at a position where the camera is not installed, it is impossible to detect a person. There is.
  • an image processing apparatus an image processing system, and an image that are resistant to changes in the posture of a person and can detect a person existing around the vehicle at an arbitrary position where a vehicle corresponding to an industrial vehicle or a vehicle construction machine travels.
  • An object is to provide a processing program.
  • Another object of the present invention is to provide a label that can be detected with high accuracy by image processing.
  • an image processing apparatus and an image processing that are resistant to a change in a posture of a person and can detect a person existing around the vehicle at an arbitrary position where a vehicle corresponding to an industrial vehicle or a vehicle construction machine travels.
  • a system and an image processing program can be provided. It is also possible to provide a label that is detected with high accuracy by image processing.
  • the image processing apparatus acquires an image acquisition unit that acquires an image captured by an imaging unit mounted on a vehicle corresponding to an industrial vehicle or a vehicle system construction machine, and the image acquisition unit acquires A determination unit that performs a determination process as to whether or not the image includes a region of two or more colors having a predetermined positional relationship, and a notification unit that performs a notification process according to a determination process result of the determination unit With.
  • an image captured by an imaging unit mounted on an industrial vehicle or a vehicle corresponding to a vehicle system construction machine includes a region of two or more colors having a predetermined positional relationship.
  • notification according to the determination processing result can be performed.
  • the person can be detected by attaching a label in which regions of two or more colors are arranged on a person or a helmet worn by the person.
  • Such a process of extracting a color area can be executed if the color area is reflected in the imaging unit. For this reason, it is strong against a posture change of a person, and a person existing around the vehicle can be detected at an arbitrary position where the vehicle travels.
  • the imaging unit includes a rear monitoring camera installed at a position on the vehicle in which the rear of the vehicle is an imaging range, and the image acquisition unit is captured by the rear monitoring camera.
  • the determination unit may stop the determination process for the rear image of the vehicle.
  • the rear and side of the vehicle become blind spots of the vehicle driver.
  • the person who exists in the blind spot can be detected by executing the determination process on the rear image of the vehicle imaged by the rear monitoring camera.
  • the driver can be notified appropriately.
  • the imaging unit further includes a front monitoring camera installed at a position on the vehicle with an imaging range in front of the vehicle, and the image acquisition unit further captures with the front monitoring camera.
  • the determination unit may further execute the determination process on the front image of the vehicle.
  • the determination process is performed on the front image of the vehicle imaged by the front monitoring camera. Thereby, a person existing in front of the vehicle can be detected. Further, when a person is present ahead, it is possible to appropriately notify the driver. Thereby, the contact between the person existing around the vehicle and the vehicle can be prevented in advance.
  • the determination unit includes a color extraction unit that extracts an area of two or more predetermined colors based on a pixel value in a predetermined color space of each pixel constituting the image and a predetermined threshold value.
  • the image acquisition unit acquires an image obtained by the imaging unit capturing the reference labels for the predetermined two or more colors installed at a predetermined position of the vehicle, and the image processing device further includes the reference You may provide the threshold value setting part which sets the said predetermined threshold value based on the pixel value on the said color space of the image of a label.
  • the threshold value can be set based on the pixel value of the reference label arranged in the same environment as the label attached to the person to be detected or the helmet. For this reason, the threshold value can be set accurately, and thereby the region can be extracted accurately.
  • the threshold setting unit may set the predetermined threshold when a change in illuminance around the vehicle is detected.
  • the determination unit includes a color extraction unit that extracts the region of two or more predetermined colors based on a predetermined color space value of each pixel constituting the image and a predetermined threshold value.
  • the image processing apparatus may further include a threshold setting unit that sets the predetermined threshold based on the position of the vehicle.
  • the threshold value can be set based on the position of the vehicle. For example, by associating the position of the vehicle with a threshold value in advance, the threshold value can be changed between when the vehicle is traveling indoors and when the vehicle is traveling outdoors. Thereby, even if it is a case where the environment around a vehicle changes, an area
  • the determination unit may execute the determination process on an image of a mirror area obtained by capturing a mirror installed in the vehicle among the images acquired by the image acquisition unit.
  • An image processing system includes a label in which areas of two or more predetermined colors attached to a detection target are arranged in a predetermined positional relationship, and an image processing apparatus that detects the detection target.
  • the image processing apparatus includes an image acquisition unit that acquires an image captured by an imaging unit mounted on a vehicle corresponding to an industrial vehicle or a vehicle-based construction machine, and the image acquired by the image acquisition unit.
  • a determination unit that performs a determination process as to whether or not the region of two or more colors is included; and a notification unit that performs a notification according to a determination process result of the determination unit.
  • the image processing apparatus determines whether an image captured by an imaging unit mounted on an industrial vehicle or a vehicle corresponding to a vehicle system construction machine includes an area of two or more predetermined colors, and the determination processing result Notifications can be made according to Such a process of extracting a color area can be executed if the color area is reflected in the imaging unit. For this reason, it is strong against a posture change of a person, and a person existing around the vehicle can be detected at an arbitrary position where the vehicle travels.
  • An image processing program includes an image acquisition unit that acquires an image captured by an imaging unit mounted on a vehicle corresponding to an industrial vehicle or a vehicle construction machine, and the image acquisition unit. Function as a determination unit that executes a determination process for determining whether or not an area of two or more colors is included in the acquired image, and a notification unit that executes a notification process according to the determination process result of the determination unit.
  • the computer can function as the above-described image processing apparatus. For this reason, the same operation and effect as the above-described image processing apparatus can be obtained.
  • the label according to the present embodiment is a label to be determined by the above-described image processing apparatus as to whether or not a region of two or more predetermined colors is included, and the region of two or more predetermined colors is included They are arranged in a predetermined positional relationship.
  • predetermined two or more color areas are arranged in a predetermined positional relationship on the label. For this reason, by attaching this label to a detection target such as a person, the detection target can be detected with high accuracy by the above-described image processing apparatus.
  • a predetermined gap may be provided between the regions of each color.
  • Each color region may include a fluorescent tape, a fluorescent paint, or a light emitting element.
  • FIG. 1 is a diagram illustrating an attachment example of the image processing system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing system according to the first embodiment.
  • the image processing system 1 is a system for monitoring the periphery of the forklift 25, and includes a rear monitoring camera 20, an image processing device 10, a sound output device 30, a display device 40, a terminal device 50, and a shift sensor 112. With.
  • the configuration of the image processing system 1 illustrated in FIGS. 1 and 2 is an example, and for example, any of the sound output device 30, the display device 40, and the terminal device 50 may not be provided.
  • the vehicle to which the image processing device 10, the rear monitoring camera 20, the sound output device 30, the display device 40, and the shift sensor 112 are attached is not limited to the forklift 25, and is attached to an industrial vehicle other than the forklift 25. Alternatively, it may be attached to a vehicle construction machine such as a hydraulic excavator. By attaching the rear monitoring camera 20 to these, the surroundings of these vehicles can be monitored.
  • the rear monitoring camera 20 constitutes an imaging unit, and is attached to a position where the rear of the forklift 25 can be imaged (for example, the rear end position of the fork head guard of the forklift 25), for example, and captures an image behind the forklift 25.
  • the camera lens of the rear monitoring camera 20 is, for example, a super wide-angle lens having an angle of view of 120 ° or more.
  • FIG. 3 is a schematic diagram of the forklift 25 as viewed from above.
  • the left side is the front of the forklift 25 and the right side is the rear of the forklift 25.
  • a rear imaging area 21 by the rear monitoring camera 20 is set behind the forklift 25.
  • the rear imaging area 21 is set so as to include a range that can move in 2 seconds when the forklift 25 travels at a maximum speed of 10 km / h, for example. That is, the rear monitoring camera 20 is installed at a position where the rear imaging region 21 can be imaged. Thereby, the rear monitoring camera 20 can image the person 71 existing in the rear imaging area 21.
  • the reason why the rear imaging area 21 is set in this way is that it is considered that the driver can stop the forklift 25 within two seconds after the person 71 is found.
  • the rear monitoring camera 20 is assumed to be a monocular camera, a multi-lens camera such as a stereo camera may be used.
  • a blind spot area 22 that is out of the rear imaging area 21 of the forklift 25.
  • a mirror 60 is installed in the rear imaging area 21 of the forklift 25. That is, by arranging the mirror 60 so that the rear imaging area 61 when the rear monitoring camera 20 captures the image through the mirror 60 covers the blind spot area 22, the rear monitoring camera 20 is a person 72 existing in the blind spot area 22. Can be imaged.
  • another camera different from the rear monitoring camera 20 may be arranged instead of the mirror 60.
  • the image processing apparatus 10 is a computer installed on the forklift 25.
  • the image processing apparatus 10 is connected to the rear monitoring camera 20 and detects persons 71 and 72 from the images of the rear imaging areas 21 and 61 captured by the rear monitoring camera 20.
  • the persons 71 and 72 always have labels in which areas of two or more predetermined colors are arranged in a predetermined positional relationship.
  • FIG. 4A is a view of a helmet worn by a person as viewed from the side
  • FIG. 4B is a view of the helmet as viewed from above.
  • a label 90 ⁇ / b> A is attached to the helmet 80.
  • the label 90A includes a blue label 90B, a red label 90R, and a green label 90G arranged in parallel.
  • the label 90A can have a width of about 60 mm and a length of about 180 mm to 250 mm.
  • a gap region 90S is provided between the blue label 90B and the red label 90R and between the red label 90R and the green label 90G.
  • the gap region 90S is a black region, for example, and has a width of 2 to 3 mm.
  • a similar label 90 ⁇ / b> A is also attached to the upper part of the helmet 80.
  • the label 90 ⁇ / b> A is also affixed to the opposite side surface and the front and rear of the helmet 80. In this way, by attaching the label 90A to any location, any label 90A is captured by the rear monitoring camera 20 regardless of the posture (upright, squatting, etc.) of the person. be able to.
  • the label 90A includes a red label 90R, a green label 90G, and a blue label 90B, which are labels of the three primary colors of light.
  • FIG. 5 is a diagram showing the representation of each color label in the Munsell color system (JISZ8721).
  • H, V, and C indicate hue, lightness, and saturation in the Munsell color system, respectively. That is, the color of the red label 90R includes the Munsell color system hue (H) in the range of 10P to 7.5YR, the lightness (V) is 3 or more, and the saturation (C) is 2 or more. .
  • the color of the green label 90G has a Munsell color system hue (H) in the range of 2.5 GY to 2.5 BG, a lightness (V) of 3 or more, and a saturation (C) of 2 or more.
  • the color of the blue label 90B has a Munsell color system hue (H) in the range of 5BG to 5P, a lightness (V) of 1 or more, and a saturation (C) of 1 or more.
  • the label 90 ⁇ / b> A is not limited to a label composed of three primary colors of light, and may be composed of labels of other colors.
  • the blue label 90B, the red label 90R, and the green label 90G are made of fluorescent tape, or that these labels are coated with fluorescent paint. Thereby, even in an environment with low illuminance such as nighttime or cloudy weather, the label can be easily recognized. Further, the label can be recognized without using a special camera such as an infrared camera.
  • the image processing apparatus 10 detects a person by detecting the label 90A from the image captured by the rear monitoring camera 20.
  • the detailed configuration of the image processing apparatus 10 will be described later.
  • the sound output device 30 is, for example, installed near the driver's seat of the forklift 25 and includes a speaker.
  • the sound output device 30 is connected to the image processing device 10 and outputs a notification sound that notifies the driver that the image processing device 10 has detected the person 71 or the person 72.
  • the display device 40 is installed at a position where the driver of the forklift 25 can visually recognize, and includes a liquid crystal display or the like.
  • the display device 40 is connected to the image processing device 10 and displays an image notifying that the image processing device 10 has detected the person 71 or the person 72.
  • the terminal device 50 is a computer installed at a location separated from the forklift 25 such as a management room for managing the forklift 25, for example.
  • the terminal device 50 is connected to the image processing device 10 and outputs an image or sound notifying that the image processing device 10 has detected the person 71 or the person 72 or that the person 71 or the person 72 has been detected together with time information. Or log information.
  • the terminal device 50 and the image processing apparatus 10 may be connected by a mobile phone line conforming to a communication standard such as 4G or a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark). Good.
  • the terminal device 50 may be a smartphone carried by the person 71 or 72. Thereby, it is possible to notify the person 71 or 72 that the image processing apparatus 10 has detected itself, that is, that the forklift 25 exists nearby.
  • the functions of the image processing device 10, the rear monitoring camera 20, the sound output device 30, and the display device 40 may be provided in a smartphone, a computer with a camera, or the like.
  • the smartphone processes an image captured by the smartphone and detects the persons 71 and 72.
  • the smartphone notifies the detection result by sound or image.
  • another tablet device or the like may be installed at a position where the driver can visually recognize, and the tablet device may display an image transmitted from the smartphone.
  • the tablet device and the smartphone may be wirelessly connected in accordance with a wireless communication standard such as Wi-Fi (registered trademark), Bluetooth (registered trademark), or Zigbee (registered trademark).
  • the shift sensor 112 is a sensor that is mounted near the shift lever and detects the position of the shift lever.
  • the shift sensor 112 includes, for example, a displacement sensor or a switch.
  • the image processing apparatus 10 is a general computer including a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), a hard disk drive (HDD), a communication I / F (interface), a timer, and the like. Consists of.
  • the image processing apparatus 10 has an image acquisition unit 11, a determination unit 12, a color extraction unit 13, and a notification unit 14 as functional configurations realized by executing a computer program read from the HDD or ROM to the RAM. And a threshold setting unit 15 and a vehicle state determination unit 16.
  • the image acquisition unit 11 acquires an image captured by the rear monitoring camera 20 via the communication I / F. That is, an image obtained by the rear monitoring camera 20 in the rear imaging areas 21 and 61 illustrated in FIG. 1 is acquired.
  • the determination unit 12 performs a determination process as to whether or not the image acquired by the image acquisition unit 11 includes areas of two or more predetermined colors (here, a green area, a red area, and a blue area).
  • the determination unit 12 includes a color extraction unit 13.
  • the color extraction unit 13 extracts a green region, a red region, and a blue region based on a pixel value in a color space of each pixel constituting the image acquired by the image acquisition unit 11 and a predetermined threshold value.
  • an HSV color space is assumed as the color space.
  • hue (H), saturation (S), and brightness (V) are assumed as pixel values in the HSV color space.
  • the color extraction unit 13 converts the pixel values in the RGB color space into pixel values in the HSV color space, Perform region extraction processing.
  • the conversion from the pixel value in the RGB color space to the pixel value in the HSV color space is executed, for example, according to the following formulas 1 to 3.
  • R, G, and B represent the red component, green component, and blue component of the pixel before conversion, respectively.
  • MAX and MIN represent the maximum and minimum values of the red, green, and blue components of the pixel before conversion, respectively.
  • a range of 120 ⁇ 25 is set as a range of green hue (H)
  • a range of 70 to 100 is set as a range of green saturation (S)
  • the brightness of green It is assumed that a range of 70 to 100 is set as the range of V).
  • the hue (H) of a certain pixel is 120-25 and 120 + 25, the saturation (S) is 70 or more and 100 or less, and the lightness (V) is 70 or more and 100 or less.
  • the pixel is extracted as a green pixel.
  • the color extraction unit 13 extracts red pixels from the image using threshold values of red hue (H), saturation (S), and lightness (V), and obtains blue hue (H) and saturation. Blue pixels are extracted from the image using the threshold values of (S) and brightness (V).
  • the color extraction unit 13 performs a labeling process on the green pixel, the red pixel, and the blue pixel, respectively, and extracts a green region, a red region, and a blue region. Note that the color extraction unit 13 may remove the noise region by performing expansion / contraction processing or filtering processing based on the region size on each of the extracted green region, red region, and blue region.
  • the determination unit 12 adds the green region, the red region, and the blue color to the image acquired by the image acquisition unit 11. It is determined that the area is included. For example, if the determination unit 12 has a red region within a predetermined distance range from the centroid position of the green region and a blue region within a predetermined distance range from the centroid position of the red region on the image, It is determined that a green region, a red region, and a blue region are included. If the determination unit 12 determines that the image includes a green region, a red region, and a blue region, the determination unit 12 determines that a person appears in the image and a person exists around the forklift 25.
  • FIG. 6A and 6B are diagrams showing examples of the green region and the red region on the image. As shown in FIG. 6A, if a red region 82R is included in a predetermined distance range 84 indicated by a circle centered on the center of gravity 83 of the green region 82G, the center of gravity 83 of the green region 82G is displayed on the image. It is determined that the red region 82R exists within the predetermined distance range 84.
  • the center of gravity of the green region 82G is displayed on the image. It is determined that the red region 82R does not exist within a predetermined distance range 84 from 83.
  • the diameter of the circle in the predetermined distance range 84 may be, for example, the length of the longest side of the green region 82G.
  • the length of the longest side of the circumscribed rectangle of the green region 82G may be the diameter of the circle in the predetermined distance range 84.
  • the diameter may be a value other than these.
  • the notification unit 14 performs notification processing according to the determination processing result of the determination unit 12. For example, when the determination unit 12 determines that there is a person around the forklift 25, the notification unit 14 transmits a predetermined sound signal to the sound output device 30 via the communication I / F, The output device 30 is caused to output a notification sound. This notifies the driver that there is a person around the forklift 25.
  • the notification unit 14 transmits a predetermined image signal to the display device 40 via the communication I / F, thereby detecting that the person is detected on the display device 40. Display a notification image. This notifies the driver that there is a person around the forklift 25.
  • the notification unit 14 transmits information indicating that a person has been detected to the terminal device 50 via the communication I / F, thereby the terminal device 50. To output sound and images, and to record log information. At that time, the notification unit 14 may transmit information on the detection time.
  • the threshold setting unit 15 sets a threshold used when the color extracting unit 13 extracts each color region based on a pixel value in a color space of a later-described reference label image attached to the forklift 25.
  • FIG. 7 is a diagram illustrating an example of an image captured by the rear monitoring camera 20.
  • a reference label 100 is affixed to a predetermined position of the vehicle body of the forklift 25.
  • the reference label 100 is preferably a label made of the same material as the label 90A.
  • the reference label 100 includes a blue label 100B, a red label 100R, and a green label 100G.
  • the colors of the red label 100R, the green label 100G, and the blue label 100B are the same as the colors of the red label 90R, the green label 90G, and the blue label 90B, respectively.
  • the attaching position of the reference label 100 is not limited to the vehicle body of the forklift 25.
  • the reference label 100A may be attached to the environment position. Similar to the reference label 100, the reference label 100A includes a blue label 100B, a red label 100R, and a green label 100G.
  • the reference label 100A is less susceptible to sunlight and illumination light than the reference label 100 attached to the vehicle body. Therefore, by setting the threshold value using an image obtained by imaging the reference label 100A, the threshold value can be set more accurately than when the threshold value is set using an image obtained by imaging the reference label 100.
  • the threshold value setting unit 15 sets the threshold value so that the blue label 100B, the red label 100R, and the green label 100G in the image are reliably detected. That is, the threshold value setting unit 15 sets the threshold value so that the pixel value in the HSV color space of each color label is included in the threshold value of the color. Details of the threshold setting method will be described later.
  • the vehicle state determination unit 16 acquires the position detection result of the shift lever from the shift sensor 112 via the communication I / F, and based on the acquired position detection result, whether or not the shift range is the R range (reverse range). Determine whether. If the forklift 25 is traveling in the state where the shift range is the R range, the forklift 25 is performing rectilinear receding and / or turning receding operations. However, when the shift range is the R range and the brake is applied, the above operation is not performed, but the above operation is started when the brake is removed. Can be considered.
  • the vehicle state determination result by the vehicle state determination unit 16 is used to control the operation of the image processing apparatus 10.
  • FIG. 8 is a flowchart of processing executed by the image processing apparatus 10 according to the first embodiment.
  • the vehicle state determination unit 16 determines whether or not the shift range is the R range based on the position detection result of the shift lever by the shift sensor 112 (S1).
  • step S9 If the vehicle state determination unit 16 determines that the shift range is other than the R range (NO in S1), the process proceeds to step S9. For example, when the shift range is the D range (drive range) and the forklift 25 is moving forward, the process proceeds to step S9.
  • the image acquisition unit 11 acquires an image captured by the rear monitoring camera 20 (S2).
  • the threshold setting unit 15 determines whether it is a threshold update timing (S3).
  • the threshold value is periodically changed at a predetermined time interval.
  • the threshold value may be changed at 1 minute intervals. That is, the threshold setting unit 15 determines that it is the threshold update timing if a predetermined time has elapsed since the threshold was previously set or the image processing apparatus 10 started operating, If the time has not elapsed, it is determined that it is not the threshold update timing.
  • the threshold setting unit 15 sets the threshold (S4).
  • the threshold setting process (S4) will be described later.
  • the determination unit 12 extracts an image of the mirror area from the image acquired by the image acquisition unit 11, and enlarges the image at a predetermined magnification (for example, 2 times) (S5). For example, as shown in FIG. 7, the mirror 60 is reflected in the image, and the determination unit 12 enlarges the image of the area of the mirror 60 at a predetermined magnification.
  • a convex mirror is normally used as the mirror 60 because the small-area mirror 60 reflects a wide range of blind spots 22.
  • the mirror image of a convex mirror has the subject that it is small compared with the case where the same target object is imaged directly.
  • the determination process area extraction process
  • the process of enlarging the image of the area of the mirror 60 (S5) is not an essential process.
  • the color extraction unit 13 extracts a red region, a green region, and a blue region from the image (S6). At that time, the color extraction unit 13 performs region extraction processing on each of an image obtained by removing the mirror region from the image and an image obtained by enlarging the mirror region. Thereby, it is possible to prevent the person area reflected in the mirror 60 from being detected twice.
  • the determination unit 12 determines whether the red region, the green region, and the blue region extracted by the color extraction unit 13 have a predetermined positional relationship (S7). For example, it is assumed that the red label 90R, the green label 90G, and the blue label 90B as illustrated in FIG. 4A are extracted as the red region, the green region, and the blue region, respectively.
  • the determination unit 12 calculates the gravity center positions of the red label 90R, the green label 90G, and the blue label 90B, respectively.
  • the determination unit 12 determines that the distance between the center of gravity of the green label 90G and the center of gravity of the red label 90R is within a predetermined distance, and between the center of gravity of the red label 90R and the center of gravity of the blue label 90B. When the distance is within the predetermined distance, it is determined that the red label 90R, the green label 90G, and the blue label 90B have a predetermined positional relationship.
  • the determination unit 12 determines that a person is shown in the image, and the notification unit 14 detects a person around the forklift 25. This is notified to the sound output device 30, the display device 40, and the terminal device 50 (S8).
  • the notification process by the notification unit 14 may be performed, for example, when the distance between the rear monitoring camera 20 and the person is within a predetermined distance (for example, 3 m).
  • the distance between the rear monitoring camera 20 and the person is determined based on the size of the label 90 ⁇ / b> A on the image extracted by the color extraction unit 13.
  • the notification unit 14 holds a table indicating the relationship between the size of the label 90A and the distance, and the distance may be determined by referring to this table. In order to improve detection accuracy, the notification unit 14 performs notification processing only when a person within a predetermined distance from the rear monitoring camera 20 is continuously detected a predetermined number of times (for example, five times) or more. Also good.
  • step S7 If the three color areas do not have a predetermined positional relationship (NO in S7), the process proceeds to step S9.
  • the image processing apparatus 10 ends the processing.
  • the processing end timing is, for example, when the image processing apparatus 10 receives a signal indicating that the engine of the forklift 25 has stopped.
  • FIG. 9 is a detailed flowchart of the threshold setting process (S4 in FIG. 8).
  • the threshold setting unit 15 executes the processing of S41 to S44 described below for each of the red, green, and blue colors that are the target colors of the threshold setting processing (loop A).
  • the target color will be described as red, but the same processing is performed when the target color is green and blue.
  • the threshold setting unit 15 calculates the average of the hue (H), saturation (S), and lightness (V) of the region of the red label 100R from the image acquired by the image acquisition unit 11 (S41). That is, a red component (R), a green component (G), and a blue component (B) in the RGB color space of each pixel in the region of the red label 100R are converted into a hue (H), a saturation (S), and an HSV color space. The brightness (V) is converted, and the average of hue (H), saturation (S), and brightness (V) is calculated within the region of the red label 100R. Note that the conversion from the pixel value in the RGB color space to the pixel value in the HSV color space is executed according to the above-described Expressions 1 to 3.
  • the threshold value setting unit 15 sets an average hue range of ⁇ 25 as the hue (H) range of the red region (S42).
  • the threshold setting unit 15 sets (average of saturation (S) ⁇ 20) to 100 inclusive as the range of saturation (S) of the red region (S43).
  • the threshold value setting unit 15 sets (average lightness (V) ⁇ 20) to 100 inclusive as the lightness (V) range of the red region (S44).
  • hue (H), saturation (S), and lightness (V) thresholds that can extract the region of the red label 100R can be set.
  • the three colors of labels are arranged on the helmet 80 in a predetermined positional relationship. Further, the determination unit 12 extracts three color areas from the image captured by the rear monitoring camera 20 and determines whether the three color areas are arranged in a predetermined positional relationship. Thereby, the determination unit 12 determines whether or not there is a person around the forklift 25. The process of extracting the color area can be executed if the color area is reflected on the rear monitoring camera 20. For this reason, even when a person changes posture, the person can be detected stably. Moreover, unlike the technique described in Patent Document 2, the person detection area is not limited. For this reason, a person existing around the forklift 25 can be detected at an arbitrary position where the forklift 25 travels.
  • the image processing apparatus 10 performs processing for detecting a person (image acquisition processing) when the shift range is the R range, that is, when the forklift 25 is performing rectilinear receding and / or turning receding operations. Determination processing, notification processing, etc.). For this reason, the image processing apparatus 10 can appropriately notify the driver when a person is present behind the forklift 25 or the vehicle, which is a blind spot of the driver.
  • the image processing apparatus 10 executes processing for detecting a person when the shift range is the R range. For this reason, when a person exists in the driver's blind spot immediately before the forklift 25 transmits, it is possible to appropriately notify the driver.
  • the image processing apparatus 10 is configured not to execute processing for detecting a person when the forklift 25 is moving forward.
  • the forklift 25 When the forklift 25 is moving forward, it is not necessary to monitor the rear of the forklift 25. That is, even if there is a person behind the forklift 25, it is not necessary to notify the driver. Therefore, according to this configuration, it is possible to prevent unnecessary notification to the driver that a person has been detected.
  • the threshold setting unit 15 sets the threshold based on the pixel value of the reference label 100 arranged in the same environment as the label 90A attached to the helmet worn by the person. For this reason, the threshold value can be set accurately, whereby the color extraction unit 13 can accurately extract the label 90A.
  • the color extraction unit 13 performs the color region extraction process and the determination unit 12 performs the determination process. That is, even when a person appears through the mirror 60 attached to the forklift 25 in order to check the blind spot, the process is executed after the image of the person is enlarged. For this reason, the person who exists in a blind spot area
  • region can be detected correctly.
  • the mirror image of the mirror 60 is enlarged and then the determination process (region extraction process) is performed.
  • the enlargement of the image is not essential. That is, the determination process (area extraction process) may be executed without enlarging the image of the area of the mirror 60.
  • the label 90A areas of two or more predetermined colors (red label 90R, green label 90G, blue label 90B) are arranged in a predetermined positional relationship. Therefore, the person can be detected by the image processing apparatus 10 by attaching the label 90A to the person.
  • the label 90A is provided with a gap region 90S between adjacent color labels.
  • the image processing apparatus 10 can detect a person with high accuracy.
  • FIG. 10 is a side view of a helmet worn by a person.
  • a label 90 ⁇ / b> C composed of a red label 90 ⁇ / b> R and a green label 90 ⁇ / b> G is attached to the helmet 80.
  • the width of the helmet 80 is 283 mm and the height is 148 mm
  • the width of the label 90C can be about 40 mm and the length can be about 180 mm or more and 250 mm or less.
  • a gap region 90S is provided between the red label 90R and the green label 90G.
  • a label similar to the label 90C is also attached to the opposite side surface, front and rear, and upper side of the helmet 80.
  • FIG. 11 is a side view of a helmet worn by a person.
  • a label 90 ⁇ / b> D may be attached to the helmet 80.
  • the label 90D is disposed at the center adjacent to the red label 90R, the green label 90G adjacent to the upper right and lower left of the red label 90R, and the upper left and lower right of the red label 90R.
  • a blue label 90B As can be seen from FIG. 11, the size of the red label 90R is larger than the sizes of the blue label 90B and the green label 90G.
  • a gap region 90S is provided between the labels.
  • a label similar to the label 90D is also attached to the opposite side surface, front and rear, and upper side of the helmet 80.
  • each color label affixed to the helmet may be composed of a light emitting element such as an LED (Light Emitting Diode) or an organic EL (electroluminescence).
  • FIG. 12 is a side view of a helmet worn by a person. As shown in FIG. 12, a label 91 is attached to the helmet 80.
  • the label 91 includes a blue label 91B composed of blue LEDs, a red label 91R composed of red LEDs, and a green label 91G composed of green LEDs.
  • Each LED is driven by a secondary battery such as a lithium ion battery attached to the helmet 80.
  • a label similar to the label 91 is also attached to the opposite side surface, front and rear, and upper side of the helmet 80. By configuring the label 91 using LEDs, the label 91 can be easily recognized even in an environment with low illuminance such as nighttime or cloudy weather.
  • FIG. 13 is a view of a person as seen from the front.
  • the person wears an armband with a label 90F attached to both arms.
  • the label 90F includes a blue label 90B, a red label 90R, and a green label 90G, and a gap region 90S is provided between the labels.
  • the threshold setting unit 15 periodically changes the threshold at predetermined time intervals. However, in the second embodiment, the threshold setting unit 15 detects a change in illuminance around the forklift 25. If the threshold is changed, the threshold is changed.
  • FIG. 14 is a block diagram illustrating a functional configuration of the image processing system according to the second embodiment.
  • the image processing system 1A further includes an illuminance sensor 115 in the configuration of the image processing system 1 according to the first embodiment shown in FIG.
  • the illuminance sensor 115 is a sensor that detects the illuminance around the forklift 25.
  • the illuminance sensor 115 includes a light receiving element, for example.
  • the illuminance sensor 115 is provided in the vicinity of the rear monitoring camera 20, for example. Note that the illuminance around the forklift 25 may be determined from the image of the rear monitoring camera 20 without using the illuminance sensor 115.
  • FIG. 15 is a flowchart of processing executed by the image processing apparatus 10 according to the second embodiment.
  • Steps S1, S2, and S4 to S9 are the same as steps S1, S2, and S4 to S9 shown in FIG.
  • the process of step S13 is executed instead of the process of step S3 shown in FIG.
  • the threshold setting unit 15 holds the illuminance detected by the illuminance sensor 115, and the illuminance around the forklift 25 changes based on the illuminance difference between the current illuminance and the illuminance held when the previous threshold was set. It is determined whether or not (S13). That is, the threshold setting unit 15 determines that the illuminance has changed if the illuminance difference is equal to or greater than the predetermined illuminance threshold (detects an illuminance change), and the illuminance changes if the illuminance difference is less than the predetermined illuminance threshold. (I do not detect changes in illuminance).
  • the threshold setting unit 15 executes a threshold setting process (S4) when a change in illuminance is detected.
  • the threshold setting unit 15 may always detect the change in illuminance and execute the threshold setting process (S4) in the first determination process (S13) immediately after the start of the image processing apparatus 10.
  • a threshold can be set when a change in illuminance is detected. Thereby, even when the environment around the forklift 25 changes, the color region can be accurately extracted. Thereby, the person who exists around the forklift 25 can be detected accurately.
  • the threshold setting unit 15 periodically changes the threshold at a predetermined time interval.
  • the illuminance sensor 115 sets the threshold based on the position of the forklift 25. .
  • FIG. 16 is a block diagram illustrating a functional configuration of the image processing system according to the third embodiment.
  • the image processing system 1B further includes a position sensor 114 in the configuration of the image processing system 1 according to Embodiment 1 shown in FIG.
  • the position sensor 114 is a sensor that detects the position of the forklift 25.
  • the position sensor 114 includes, for example, a GPS (Global Positioning System) sensor.
  • the position sensor 114 can be installed at any position of the forklift 25, but is preferably attached at a position where radio waves from GPS satellites can be easily received.
  • FIG. 17 is a flowchart of processing executed by the image processing apparatus 10 according to the third embodiment.
  • steps S1, S2, and S5 to S9 are the same as the processes of steps S1, S2, and S5 to S9 shown in FIG.
  • steps S23 and S24 are executed instead of steps S3 and S4 shown in FIG.
  • the threshold value setting unit 15 acquires position information from the position sensor 114 (S23).
  • the position information is information indicating the latitude and longitude of the forklift 25, for example.
  • the threshold setting unit 15 determines a threshold for extracting each color region based on the acquired position information (S24).
  • FIG. 18 is a diagram illustrating an example of a data table indicating the relationship between the position held by the threshold setting unit 15 and the threshold value of the green region. This data table shows threshold values of hue (H), saturation (S), and lightness (V) for extracting a green region when the forklift 25 is present in the position shown in the data table.
  • the threshold setting unit 15 has position information (latitude, longitude) acquired from the position sensor 114 such that (34 ° 40′39 ′′, 135 ° 26′8 ′′) ⁇ (34 ° 40′36 ′′, 135 ° 26). '13 "), a range of 120 ⁇ 25 is set as the hue (H) range of the green region, and a range of 70 to 100 is set as the saturation (S) range of the green region. Then, the brightness (V) range of the green region is set to 70 or more and 100 or less.
  • the threshold setting unit 15 similarly holds a data table indicating the relationship between the position and the threshold for the red region and the blue region, and based on the position information acquired from the position sensor 114, the red region and the blue region. Set the blue region threshold.
  • the threshold value can be set based on the position of the forklift 25. Thereby, for example, the threshold value can be changed between when the forklift 25 is traveling indoors and when traveling outdoors. Thus, even when the environment around the forklift 25 changes, the color area can be accurately extracted. Thereby, the person who exists around the forklift 25 can be detected accurately.
  • FIG. 19 is a diagram illustrating an attachment example of the image processing system according to the fourth embodiment.
  • FIG. 20 is a block diagram illustrating a functional configuration of the image processing system according to the fourth embodiment.
  • the image processing system 1C further includes a front monitoring camera 26 in the configuration of the image processing system 1 according to the first embodiment illustrated in FIG.
  • the front monitoring camera 26 constitutes an imaging unit together with the rear monitoring camera 20, and is attached to a position where the front of the forklift 25 can be imaged (for example, a bar-like jig provided on the forklift 25). The image of is taken.
  • the camera lens of the front monitoring camera 26 is, for example, a super wide angle lens having an angle of view of 150 ° or more.
  • FIG. 21 is a schematic diagram of the forklift 25 as viewed from above.
  • the left side is the front of the forklift 25, and the right side is the rear of the forklift 25.
  • a front imaging area 27 by the front monitoring camera 26 and a rear imaging area 21 by the rear monitoring camera 20 are respectively set in front and rear of the forklift 25.
  • the rear imaging area 21 is as described in the first embodiment.
  • the front imaging area 27 is set so as to include a range that can move in 2 seconds when the forklift 25 travels at a maximum speed of 10 km / h, for example. That is, the front monitoring camera 26 is installed at a position where the front imaging region 27 can be imaged.
  • the front monitoring camera 26 can image a person existing in the front imaging area 27.
  • the reason why the front imaging area 27 is set in this manner is that it is considered that the driver can stop the forklift 25 within two seconds after the person is found.
  • the front monitoring camera 26 is assumed to be a single-application camera, a multi-view camera such as a stereo camera may be used.
  • the image acquisition unit 11 included in the image processing apparatus 10 acquires an image captured by the front monitoring camera 26 or an image captured by the rear monitoring camera 20 via the communication I / F.
  • the vehicle state determination unit 16 executes the following process in addition to the determination process described in the first embodiment. That is, the vehicle state determination unit 16 acquires the position detection result of the shift lever from the shift sensor 112 via the communication I / F, and determines whether the shift range is the D range based on the acquired position detection result. judge. If the forklift 25 is running in the state where the shift range is the D range, the forklift 25 is performing a linear advance or a turning advance or both. However, when the shift range is the D range and the brake is applied, the above operation is not performed, but the above operation is started when the brake is removed. Can be considered.
  • FIG. 22 is a flowchart of processing executed by the image processing apparatus 10 according to the fourth embodiment.
  • the vehicle state determination unit 16 determines whether or not the shift range is the R range based on the position detection result of the shift lever by the shift sensor 112 (S1a).
  • the image acquisition unit 11 acquires an image captured by the rear monitoring camera 20 (S2a). Thereafter, the processes of steps S3 to S9 are performed on the image captured by the rear monitoring camera 20. The processing in steps S3 to S9 is as described in the first embodiment.
  • the vehicle state determination unit 16 When the vehicle state determination unit 16 determines that the shift range is other than the R range (NO in S1a), the vehicle state determination unit 16 shifts based on the shift lever position detection result by the shift sensor 112. It is determined whether or not the range is the D range (S1b). Note that the shift range during forward movement such as the L range or the 2 range may also be included in the D range. That is, when the shift range is a shift range during forward operation such as the L range, the vehicle state determination unit 16 may determine that the shift range is the D range.
  • the image acquisition unit 11 acquires an image captured by the front monitoring camera 26 (S2b). Thereafter, the processes of steps S3 to S9 are executed on the image captured by the front monitoring camera 26.
  • the processing in steps S3 to S9 is as described in the first embodiment except that the target image is an image captured by the front monitoring camera 26.
  • step S9 If the vehicle state determination unit 16 determines that the shift range is neither the R range nor the D range (NO in S1b), the process proceeds to step S9. For example, when the shift range is the P range and the forklift 25 is stopped, the process proceeds to step S9.
  • a label is attached to a person and the image processing apparatus 10 detects the person.
  • a label may be attached to a person other than the person. For example, by attaching a label in the vicinity of a place where entry of the forklift 25 is prohibited, it may be detected that the image processing apparatus 10 has approached the place. As a result, the driver or the like can be notified that the forklift 25 has approached the place where entry is prohibited.
  • the color extraction unit 13 of the image processing apparatus 10 described above extracts a color region by performing threshold processing on hue (H), saturation (S), and lightness (V) in the HSV color space.
  • hue (H), saturation (S) and lightness (V) in the HSV color space are not limited to hue (H), saturation (S) and lightness (V) in the HSV color space.
  • the color of each coordinate on the image is represented by hue (H), lightness (V), and saturation (C) in the Munsell color system, and hue (H), lightness (V), and saturation (C) are threshold values.
  • the color region may be extracted by processing. Alternatively, the color region may be extracted by performing threshold processing on the red component (R), green component (G), and blue component (B) at each coordinate on the image.
  • the label attached to the person etc. mentioned above may be comprised as follows. That is, a label to be determined by the above-described image processing apparatus 10 as to whether or not a region of two or more predetermined colors is included, Areas of two or more predetermined colors are arranged in a predetermined positional relationship, The region of two or more predetermined colors includes a first color label, a second color label, and a third color label,
  • the colors of the first color label include the Munsell color system hue (H) in the range of 10P to 7.5YR, lightness (V) of 3 or more, and saturation (C) of 2 or more
  • the colors of the second color label include the Munsell color system hue (H) in the range of 2.5 GY to 2.5 BG, lightness (V) of 3 or more, and saturation (C) of 2 or more.
  • the color of the third color label has a Munsell color system hue (H) in the range of 5BG to 5P, a lightness (V) of 1 or more, and a saturation (C)
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • the computer program for causing the computer to function as the image processing apparatus 10 may be recorded on a computer-readable non-transitory recording medium, such as a hard disk drive, CD-ROM, or semiconductor memory. Such a computer program may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • each step included in the computer program may be executed by a plurality of computers. Furthermore, the above embodiment and the above modification examples may be combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Civil Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、画像取得部が取得した画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、判定部の判定処理結果に応じた通知処理を実行する通知部とを備える。

Description

画像処理装置、画像処理システム、画像処理プログラムおよびラベル
　本開示は、画像処理装置、画像処理システム、画像処理プログラムおよびラベルに関する。
　本出願は、２０１６年９月１日出願の日本出願第２０１６－１７０６３８号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
　従来、倉庫、工場または空港などの施設での荷役作業にフォークリフトが用いられる。特許文献１には、車両系建設機械の周囲に存在する人物を検知する建設機械用人物検知システムが開示されている。特許文献１では車両系建設機械としてのショベルに取り付けられたカメラの撮像画像を用いてショベルの周辺に位置する人物を検知している。具体的には、特許文献１では、撮像画像からＨＯＧ（Histograms of Oriented Gradients）特徴量を抽出し、抽出したＨＯＧ特徴量から人物の候補領域を識別している。また、人物の候補領域の画像を、人物を真正面から見たような画像に変換した上で、当該画像に含まれる画素の輝度勾配等を用いてヘルメットの領域を抽出している。
　また、特許文献２には、フォークリフトの周辺の人物検知するためのフォークリフトの安全装置が開示されている。フォークリフトおよび人物に予め定められた色で互いに異なる形状を描き、天井に予め設置された固定カメラでフォークリフトおよび人物を撮像する。安全装置は、撮像した画像から上記形状を抽出することにより、フォークリフトおよび人物を検出し、フォークリフトと人物が一定距離以内に接近すると発報する。
国際公開第２０１５／１８６５７０号 特開平９－１６９５００号公報
　（１）本開示の画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部とを備える。
　（８）本開示の画像処理システムは、検出対象物に取り付けられる所定の２色以上の領域が所定の位置関係で配置されているラベルと、前記検出対象物を検出する画像処理装置とを備え、前記画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、前記所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知を行う通知部とを有する。
　（９）本開示の画像処理プログラムは、コンピュータを、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部として機能させるための画像処理プログラムである。
　（１０）本開示のラベルは、上述の画像処理装置により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、前記所定の２色以上の領域が所定の位置関係で配置されている。
　なお、本開示は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部が実行する処理をステップとする画像処理方法として実現することができる。また、上述の画像処理プログラムを、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、画像処理装置の一部又は全部を実現する半導体集積回路として実現することもできる。
実施の形態１に係る画像処理システムの取付例を示す図である。 実施の形態１に係る画像処理システムの機能的な構成を示すブロック図である。 上方から見たフォークリフトの模式図である。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを上方から見た図である。 各色ラベルのマンセル表色系における表現を示す図である。 画像上の緑色領域と赤色領域との一例を示す図である。 画像上の緑色領域と赤色領域との一例を示す図である。 後方監視カメラが撮像した画像の一例を示す図である。 実施の形態１に係る画像処理装置が実行する処理のフローチャートである。 閾値設定処理（図８のＳ４）の詳細なフローチャートである。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを側方から見た図である。 人物を正面から見た図である。 実施の形態２に係る画像処理システムの機能的な構成を示すブロック図である。 実施の形態２に係る画像処理装置が実行する処理のフローチャートである。 実施の形態３に係る画像処理システムの機能的な構成を示すブロック図である。 実施の形態３に係る画像処理装置が実行する処理のフローチャートである。 閾値設定部が保持している位置と緑色領域の閾値との関係を示すデータテーブルの一例を示す図である。 実施の形態４に係る画像処理システムの取付例を示す図である。 実施の形態４に係る画像処理システムの機能的な構成を示すブロック図である。 上方から見たフォークリフトの模式図である。 実施の形態４に係る画像処理装置が実行する処理のフローチャートである。
［本開示が解決しようとする課題］
　フォークリフトはオーバーハングに荷物を載せる構造上、車体重量は見た目以上に重たい。このため、フォークリフトが低速走行していたとしても、人物と接触することにより重大な事故につながる可能性が高い。このような問題は、フォークリフトに代表される産業車両のみならず、油圧ショベルなどの車両系建設機械においても生じる。
　特許文献１に記載のシステムは、ＨＯＧ特徴量を用いて人物の候補領域を識別しているため、人物がしゃがみこんだり、倒れ込んだりした場合に、正確に人物の候補領域を識別することができない。また、ヘルメットを抽出する際に、人物の候補領域の画像を、人物を真正面から見たような画像に変換している。このため、人物がしゃがみこんだり、倒れ込んだりした場合には、正確にヘルメットの領域を抽出することができない。このように、特許文献１に記載のシステムは姿勢変化に弱いという課題がある。
　特許文献２に記載の安全装置は、天井にカメラを固定することが前提となっているため、カメラが設置されていない位置をフォークリフトが走行した場合には、人物を検出することができないという課題がある。
　そこで、人物の姿勢変化に強く、産業車両または車両系建設機械に該当する車両が走行する任意の位置において、車両の周囲に存在する人物を検出することのできる画像処理装置、画像処理システムおよび画像処理プログラムを提供することを目的とする。また、画像処理により高精度に検出されるラベルを提供することも目的とする。
［本開示の効果］
　本開示によると、人物の姿勢変化に強く、産業車両または車両系建設機械に該当する車両が走行する任意の位置において、車両の周囲に存在する人物を検出することのできる画像処理装置、画像処理システムおよび画像処理プログラムを提供することができる。
　また、画像処理により高精度に検出されるラベルを提供することもできる。
　［本願発明の実施形態の概要］
　最初に本実施形態の概要を列記して説明する。
　（１）本実施形態に係る画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部とを備える。
　この構成によると、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かを判定し、判定処理結果に応じた通知を行うことができる。このため、人物や人物が被るヘルメットなどに所定の２色以上の領域が配置されたラベルを付しておくことにより、当該人物を検出することができる。このような色領域を抽出する処理は、色領域が撮像部に映っていれば実行可能である。このため、人物の姿勢変化に強く、車両が走行する任意の位置において、車両の周囲に存在する人物を検出することができる。
　（２）また、前記撮像部は、前記車両の後方を撮像範囲とする前記車両上の位置に設置された後方監視カメラを含み、前記画像取得部は、前記後方監視カメラで撮像された前記車両の後方画像を取得し、前記判定部は、前記車両が前進している場合には、前記車両の後方画像に対する前記判定処理を停止してもよい。
　この構成によると、車両の後方や側方は車両のドライバーの死角となる。このため、後方監視カメラで撮像された車両の後方画像に対して判定処理を実行することにより、死角に存在する人物を検出することができる。また、死角に人物が存在する場合に、ドライバーに適切に通知を行うことができる。また、車両が発進する場合にも人物と接触する可能性が高い。このため、車両が停止している場合に判定処理および通知処理を実行することで、車両の発進直前において、ドライバーの死角に人物が存在する場合に、ドライバーに適切に通知を行うことができる。これにより、車両の周囲に存在する人物と車両との接触を未然に防止することができる。なお、車両が前進している場合には、ドライバーは慎重を期して運転を行っており、特に車両の後方を監視する必要はない。この構成によると、車両が前進している場合には、判定処理を停止している。このため、人物が検出されたことをドライバーに不必要に通知することを防止することができる。
　（３）また、前記撮像部は、さらに、前記車両の前方を撮像範囲とする前記車両上の位置に設置された前方監視カメラを含み、前記画像取得部は、さらに、前記前方監視カメラで撮像された前記車両の前方画像を取得し、前記判定部は、前記車両が前進している場合には、さらに、前記車両の前方画像に対する前記判定処理を実行してもよい。
　この構成によると、車両が前進している場合には、前方監視カメラで撮像された車両の前方画像に対して判定処理が実行される。これにより、車両の前方に存在する人物を検出することができる。また、前方に人物が存在する場合に、ドライバーに適切に通知を行うことができる。これにより、車両の周囲に存在する人物と車両との接触を未然に防止することができる。
　（４）また、前記判定部は、前記画像を構成する各画素の所定の色空間上の画素値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、前記画像取得部は、前記車両の所定位置に設置された前記所定の２色以上の参照用ラベルを前記撮像部が撮像した画像を取得し、前記画像処理装置は、さらに、前記参照用ラベルの画像の前記色空間上の画素値に基づいて、前記所定の閾値を設定する閾値設定部を備えてもよい。
　この構成によると、検出対象の人物やヘルメットに取り付けられるラベルと同様の環境下に配置された参照用ラベルの画素値に基づいて、閾値を設定することができる。このため、閾値を正確に設定することができ、これにより、領域を正確に抽出することができる。
　（５）また、前記閾値設定部は、前記車両の周囲の照度変化を検出した場合に、前記所定の閾値を設定してもよい。
　このように照度変化が検出された場合に閾値を設定することで、車両の周囲の環境が変化した場合であっても、正確に領域を抽出することができる。
　（６）また、前記判定部は、前記画像を構成する各画素の所定の色空間上の値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、前記画像処理装置は、さらに、前記車両の位置に基づいて、前記所定の閾値を設定する閾値設定部を備えてもよい。
　この構成によると、車両の位置に基づいて閾値を設定することができる。例えば、車両の位置と閾値とを予め対応付けておくことで、車両が屋内を走行している場合と屋外を走行している場合とで閾値を変更することができる。これにより、車両の周囲の環境が変化した場合であっても、正確に領域を抽出することができる。
　（７）また、前記判定部は、前記画像取得部が取得した前記画像のうち、前記車両に設置されたミラーを撮像したミラー領域の像に対して、前記判定処理を実行してもよい。
　この構成によると、死角部分を確認するために車両に取り付けられたミラー越しに人物が映った場合であっても、当該人物の像に対して判定処理が実行される。このため、死角領域に存在する人物を正確に検出することができる。
　（８）本実施形態に係る画像処理システムは、検出対象物に取り付けられる所定の２色以上の領域が所定の位置関係で配置されているラベルと、前記検出対象物を検出する画像処理装置とを備え、前記画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、前記所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知を行う通知部とを有する。
　この構成によると、人物などの検出対象物に所定の２色以上の領域が配置されたラベルが取り付けられる。また、画像処理装置は、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像に所定の２色以上の領域が含まれるか否かを判定し、判定処理結果に応じた通知を行うことができる。このような色領域を抽出する処理は、色領域が撮像部に映っていれば実行可能である。このため、人物の姿勢変化に強く、車両が走行する任意の位置において、車両の周囲に存在する人物を検出することができる。
　（９）本実施形態に係る画像処理プログラムは、コンピュータを、産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、前記画像取得部が取得した前記画像に、所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、前記判定部の判定処理結果に応じた通知処理を実行する通知部として機能させるための画像処理プログラムである。
　この画像処理プログラムによると、上述した画像処理装置としてコンピュータを機能させることができる。このため、上述した画像処理装置と同様の作用および効果を奏することができる。
　（１０）本実施形態に係るラベルは、上述の画像処理装置により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、前記所定の２色以上の領域が所定の位置関係で配置されている。
　この構成によると、ラベルには、所定の２色以上の領域が所定の位置関係で配置されている。このため、このラベルを人物などの検出対象物に取り付けることにより、上述の画像処理装置により、高精度に当該検出対象物を検出することができる。
　（１１）また、各色の領域間に所定の間隙が設けられていてもよい。
　この構成によると、車両の走行時の振動などにより撮像部で撮像された画像に乱れが生じている場合であっても、ある領域の色が隣接する領域の色と混じり合って撮像されるのを防止することができる。このため、上述の画像処理装置により、検出対象物を精度良く検出することができる。
　（１２）また、各色の領域は、蛍光テープ、蛍光塗料または発光素子を含んで構成されていてもよい。
　これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。
　［本願発明の実施形態の詳細］
　以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本開示発明の最上位概念を示す独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　（実施の形態１）
　以下、実施の形態１に係る画像処理システムについて説明する。
　＜画像処理システムの構成＞
　図１は、実施の形態１に係る画像処理システムの取付例を示す図である。図２は、実施の形態１に係る画像処理システムの機能的な構成を示すブロック図である。
　画像処理システム１は、フォークリフト２５の周囲を監視するためのシステムであり、後方監視カメラ２０と、画像処理装置１０と、音出力装置３０と、表示装置４０と、端末装置５０と、シフトセンサ１１２とを備える。なお、図１および図２に示す画像処理システム１の構成は一例であり、例えば、音出力装置３０、表示装置４０および端末装置５０のいずれかが備えられていなくてもよい。
　また、画像処理装置１０、後方監視カメラ２０、音出力装置３０、表示装置４０およびシフトセンサ１１２が取り付けられる車両は、フォークリフト２５に限定されるものではなく、フォークリフト２５以外の産業車両に取り付けられていてもよいし、油圧ショベルなどの車両系建設機械に取り付けられていてもよい。後方監視カメラ２０がこれらに取り付けられることにより、これらの車両の周囲を監視することができる。
　後方監視カメラ２０は、撮像部を構成し、例えば、フォークリフト２５の後方を撮像可能な位置（例えば、フォークリフト２５のフォークヘッドガード後端位置など）に取り付けられ、フォークリフト２５の後方の画像を撮像する。後方監視カメラ２０のカメラレンズは、例えば、画角１２０°以上の超広角レンズである。
　図３は、上方から見たフォークリフト２５の模式図である。図３において、左側がフォークリフト２５の前方であり、右側がフォークリフト２５の後方である。図３に示すように、フォークリフト２５の後方には、後方監視カメラ２０による後方撮像領域２１が設定される。この後方撮像領域２１は、例えば、フォークリフト２５が最高時速１０ｋｍ／ｈで走行した場合に、２秒間で移動可能な範囲を含むように設定される。つまり、後方監視カメラ２０は、後方撮像領域２１を撮像可能な位置に設置される。これにより、後方監視カメラ２０は、後方撮像領域２１内に存在する人物７１を撮像することができる。後方撮像領域２１をこのように設定したのは、人物７１を発見してから２秒間あれば、ドライバーはフォークリフト２５を停止させることができると考えられるからである。なお、後方監視カメラ２０は単眼カメラを想定しているが、ステレオカメラなどの多眼カメラを用いてもよい。
　フォークリフト２５の後方には、フォークリフト２５の後方撮像領域２１から外れる死角領域２２が生じる場合がある。この死角領域２２をカバーするために、フォークリフト２５の後方撮像領域２１内にミラー６０が設置されている。つまり、後方監視カメラ２０がミラー６０越しに撮像した場合の後方撮像領域６１が死角領域２２をカバーするようにミラー６０を配置することにより、後方監視カメラ２０が、死角領域２２に存在する人物７２を撮像することができる。なお、死角領域２２を撮像するために、ミラー６０の代わりに、後方監視カメラ２０とは異なる他のカメラを配置してもよい。
　画像処理装置１０は、フォークリフト２５に設置されたコンピュータである。画像処理装置１０は、後方監視カメラ２０に接続され、後方監視カメラ２０が撮像した後方撮像領域２１および６１の画像から、人物７１および７２を検出する。なお、本実施の形態では、人物７１および７２には、必ず所定の２色以上の領域が所定の位置関係で配置されているラベルを付けているものとする。
　図４Ａは、人物が被るヘルメットを側方から見た図であり、図４Ｂは、そのヘルメットを上方から見た図である。図４Ａおよび図４Ｂに示すように、ヘルメット８０には、ラベル９０Ａが貼り付けられている。ラベル９０Ａは、平行に配置された青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成される。図４Ａに示すように、ヘルメット８０の幅が２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ａの幅は約６０ｍｍ、長さは約１８０ｍｍ以上２５０ｍｍ以下とすることができる。なお、青ラベル９０Ｂおよび赤ラベル９０Ｒとの間、および赤ラベル９０Ｒと緑ラベル９０Ｇとの間には、それぞれ間隙領域９０Ｓが設けられている。間隙領域９０Ｓは、例えば黒色の領域であり、２～３ｍｍの幅を有する。図４Ｂに示すように、同様のラベル９０Ａがヘルメット８０の上方にも貼り付けられている。また、ラベル９０Ａは、ヘルメット８０の反対側の側面および前後にも貼り付けられている。このように、あらゆる箇所にラベル９０Ａを貼り付けることで、人物がどのような姿勢（直立、しゃがみ込み等）を行っても、いずれかのラベル９０Ａが後方監視カメラ２０に撮像されるようにすることができる。
　ラベル９０Ａは、光の３原色のラベルである赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂから構成されている。図５は、各色ラベルのマンセル表色系（ＪＩＳＺ８７２１）における表現を示す図である。同図において、Ｈ、Ｖ、Ｃは、それぞれマンセル表色系における色相、明度、彩度を示す。つまり、赤ラベル９０Ｒの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ～７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。緑ラベル９０Ｇの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ～２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。青ラベル９０Ｂの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ～５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。ただし、ラベル９０Ａは、光の３原色のラベルから構成されるものには限定されず、それ以外の色のラベルから構成されていてもよい。
　また、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇは、蛍光テープにより構成されていたり、これらのラベルに蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。
　画像処理装置１０は、後方監視カメラ２０が撮像した画像からラベル９０Ａを検出することにより、人物の検出を行う。なお、画像処理装置１０の詳細な構成については後述する。
　音出力装置３０は、例えば、フォークリフト２５のドライバーの座席付近に設置され、スピーカーを含んで構成される。音出力装置３０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことをドライバーに通知する通知音を出力する。
　表示装置４０は、例えば、フォークリフト２５のドライバーが視認可能な位置に設置され、液晶ディスプレイなどを含んで構成される。表示装置４０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像を表示する。
　端末装置５０は、例えば、フォークリフト２５を管理する管理室などフォークリフト２５と離れた場所に設置されるコンピュータである。端末装置５０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像または音を出力したり、人物７１または人物７２を検出したことを時刻情報とともにログ情報として記録したりする。なお、端末装置５０と画像処理装置１０との間は、４Ｇなどの通信規格に従った携帯電話回線や、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）により接続されていてもよい。
　なお、端末装置５０は、人物７１または７２が携帯するスマートフォンなどであってもよい。これにより、画像処理装置１０により自身が検出されたこと、つまり、近くにフォークリフト２５が存在することを、人物７１または７２に通知することができる。
　なお、画像処理装置１０、後方監視カメラ２０、音出力装置３０および表示装置４０の機能が、スマートフォンやカメラ付のコンピュータなどに備えられていてもよい。例えば、図１に示した後方監視カメラ２０の位置に、スマートフォンを取り付けることにより、スマートフォンが撮像した画像を、スマートフォンが処理して、人物７１および７２を検出する。また、スマートフォンが検出結果を音または画像により通知する。ただし、スマートフォンが後方監視カメラ２０の位置に取り付けられている場合には、ドライバーは画像を見ることができない。このため、別のタブレット装置などをドライバーが視認可能な位置に設置し、タブレット装置がスマートフォンから送信された画像を表示するようにしてもよい。タブレット装置とスマートフォンとの間は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信規格に従い無線接続されていてもよい。
　図１および図２を参照して、シフトセンサ１１２は、シフトレバーの近くに取り付けられ、シフトレバーの位置を検出するセンサである。シフトセンサ１１２は、例えば、変位センサまたはスイッチを含んで構成される。
　＜画像処理装置１０の構成＞
　図２を参照して、画像処理装置１０の機能的な構成についてより詳細に説明する。
　画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信Ｉ／Ｆ（インタフェース）、タイマーなどを備える一般的なコンピュータにより構成される。画像処理装置１０は、ＨＤＤまたはＲＯＭからＲＡＭに読み出したコンピュータプログラムを実行することにより実現される機能的な構成として、画像取得部１１と、判定部１２と、色抽出部１３と、通知部１４と、閾値設定部１５と、車両状態判定部１６とを備える。
　画像取得部１１は、通信Ｉ／Ｆを介して、後方監視カメラ２０が撮像した画像を取得する。つまり、図１に示した後方撮像領域２１および６１を後方監視カメラ２０が撮像した画像を取得する。
　判定部１２は、画像取得部１１が取得した画像に、所定の２色以上の領域（ここでは、緑色領域、赤色領域および青色領域）が含まれるか否かの判定処理を実行する。
　具体的には、判定部１２は、色抽出部１３を含む。色抽出部１３は、画像取得部１１が取得した画像を構成する各画素の色空間上の画素値と所定の閾値とに基づいて、緑色領域、赤色領域および青色領域を抽出する。ここでは、色空間としてＨＳＶ色空間を想定する。また、ＨＳＶ色空間上の画素値として、色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を想定する。
　なお、画像取得部１１が取得した画像がＲＧＢ色空間の画素値から構成される場合には、色抽出部１３は、ＲＧＢ色空間の画素値をＨＳＶ色空間の画素値に変換した上で、領域抽出処理を行う。ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は例えば、以下の式１～式３に従い実行される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。また、MAXおよびMINは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分の最大値および最小値を表す。
　色抽出部１３には、例えば、緑色の色相（Ｈ）の範囲として、１２０±２５の範囲が設定され、緑色の彩度（Ｓ）の範囲として７０以上１００以下が設定され、緑色の明度（Ｖ）の範囲として７０以上１００以下が設定されているものとする。色抽出部１３は、ある画素の色相（Ｈ）が１２０－２５以上かつ１２０＋２５以下で、彩度（Ｓ）が７０以上かつ１００以下で、明度（Ｖ）が７０以上かつ１００以下である場合に、当該画素を緑色画素として抽出する。同様に、色抽出部１３は、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から赤色画素を抽出し、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から青色画素を抽出する。
　色抽出部１３は、緑色画素、赤色画素および青色画素に対してそれぞれラベリング処理を施して緑色領域、赤色領域および青色領域を抽出する。なお、色抽出部１３は、抽出した緑色領域、赤色領域および青色領域の各々に対して膨張収縮処理や領域サイズによるフィルタリング処理を施すことによりノイズ領域を除去してもよい。
　判定部１２は、色抽出部１３が抽出した赤色領域、緑色領域および青色領域が所定の位置関係を有している場合には、画像取得部１１が取得した画像に緑色領域、赤色領域および青色領域が含まれると判定する。例えば、判定部１２は、画像上で緑色領域の重心位置から所定距離範囲内に赤色領域が存在し、かつ赤色領域の重心位置から所定距離範囲内に青色領域が存在する場合には、画像に緑色領域、赤色領域および青色領域が含まれると判定する。判定部１２は、画像に緑色領域、赤色領域および青色領域が含まれると判定した場合には、画像に人物が映っており、フォークリフト２５の周囲に人物が存在すると判定する。
　図６Ａおよび図６Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。図６Ａに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていれば、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在すると判定される。
　一方、図６Ｂに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていなければ、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在しないと判定される。
　ここで、所定距離範囲８４の円の直径は、例えば、緑色領域８２Ｇの最も長い辺の長さとしてもよい。緑色領域８２Ｇが矩形以外の領域の場合には、緑色領域８２Ｇの外接矩形の最も長い辺の長さを、所定距離範囲８４の円の直径としてもよい。ただし、当該直径は、これら以外の値でも良い。
　通知部１４は、判定部１２の判定処理結果に応じた通知処理を実行する。例えば、判定部１２がフォークリフト２５の周囲に人物が存在すると判定した場合には、通知部１４は、通信Ｉ／Ｆを介して音出力装置３０に対して所定の音信号を送信すること、音出力装置３０に通知音を出力させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。
　また、判定部１２が同様の判定をした場合に、通知部１４は、通信Ｉ／Ｆを介して表示装置４０に所定の画像信号を送信することで、表示装置４０に人物を検出したことを知らせる画像を表示させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。
　また、判定部１２が同様の判定をした場合に、通知部１４は、通信Ｉ／Ｆを介して端末装置５０に対して、人物を検出したことを示す情報を送信することで、端末装置５０に音や画像の出力処理をさせたり、ログ情報の記録処理をさせたりする。通知部１４は、その際に、検出時刻の情報を送信してもよい。
　閾値設定部１５は、フォークリフト２５に貼り付けられた後述する参照用ラベルの画像の色空間上の画素値に基づいて、色抽出部１３が各色領域を抽出する際に用いる閾値を設定する。
　ここで、フォークリフト２５に貼り付けられた参照用ラベルについて説明する。図７は、後方監視カメラ２０が撮像した画像の一例を示す図である。フォークリフト２５の車体の予め定められた位置に参照用ラベル１００が貼り付けられている。参照用ラベル１００は、ラベル９０Ａと同じ素材のラベルであることが望ましい。参照用ラベル１００は、青ラベル１００Ｂと、赤ラベル１００Ｒと、緑ラベル１００Ｇとを含む。赤ラベル１００Ｒ、緑ラベル１００Ｇおよび青ラベル１００Ｂの色彩は、それぞれ、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂの色彩と同じである。
　なお、参照用ラベル１００の貼り付け位置は、フォークリフト２５の車体に限定されるものではなく、例えば、図７に示すように、ミラー６０を支持する棒状部材など、人物が存在する環境と同様の環境の位置に参照用ラベル１００Ａが貼り付けられていてもよい。参照用ラベル１００Ａは、参照用ラベル１００と同様に、青ラベル１００Ｂと、赤ラベル１００Ｒと、緑ラベル１００Ｇとを含む。このように、参照用ラベル１００Ａを地面とほぼ垂直な面に設けることで、参照用ラベル１００Ａは、車体に貼り付けられた参照用ラベル１００に比べ、太陽光や照明光の影響を受けにくい。よって、参照用ラベル１００Ａを撮像した画像を用いて閾値を設定することにより、参照用ラベル１００を撮像した画像を用いて閾値を設定する場合に比べ、より正確に閾値を設定することができる。
　閾値設定部１５は、画像中の青ラベル１００Ｂ、赤ラベル１００Ｒおよび緑ラベル１００Ｇが確実に検出されるように、閾値を設定する。つまり、閾値設定部１５は、各色ラベルのＨＳＶ色空間上の画素値が、当該色の閾値内に含まれように、閾値を設定する。なお、閾値の設定方法の詳細については後述する。
　車両状態判定部１６は、通信Ｉ／Ｆを介してシフトセンサ１１２からシフトレバーの位置検出結果を取得し、取得した位置検出結果に基づいて、シフトレンジがＲレンジ（リバースレンジ）であるか否かを判定する。シフトレンジがＲレンジの状態で、フォークリフト２５が走行していれば、フォークリフト２５は直線後退もしくは旋回後退またはその両方の動作を行っていることになる。ただし、シフトレンジがＲレンジで、かつブレーキが掛けられている場合には、上記した動作は行っていないものの、ブレーキが外されることにより、上記動作が開始されるため、上記動作の準備状態と考えることができる。
　車両状態判定部１６による車両状態の判定結果は、画像処理装置１０の動作を制御するために用いられる。
　＜画像処理装置１０の処理の流れ＞
　次に、画像処理装置１０が実行する処理の流れについて説明する。
　図８は、実施の形態１に係る画像処理装置１０が実行する処理のフローチャートである。
　車両状態判定部１６は、シフトセンサ１１２によるシフトレバーの位置検出結果に基づいて、シフトレンジがＲレンジであるか否かを判定する（Ｓ１）。
　シフトレンジがＲレンジ以外であると、車両状態判定部１６が判定した場合には、（Ｓ１でＮＯ）、ステップＳ９に進む。例えば、シフトレンジがＤレンジ（ドライブレンジ）であり、フォークリフト２５が前進している場合には、ステップＳ９に進む。
　シフトレンジがＲレンジであると、車両状態判定部１６が判定した場合には（Ｓ１でＹＥＳ）、画像取得部１１は、後方監視カメラ２０が撮像した画像を取得する（Ｓ２）。
　閾値設定部１５は、閾値更新タイミングか否かを判断する（Ｓ３）。実施の形態１では、閾値は所定の時間間隔で周期的に変更するものとする。例えば、１分間隔で閾値を変更するようにしてもよい。つまり、閾値設定部１５は、閾値を前回設定してから、または画像処理装置１０が動作を開始してから、所定の時間が経過していれば、閾値更新タイミングであると判断し、所定の時間が経過していなければ、閾値更新タイミングではないと判断する。
　閾値更新タイミングであれば（Ｓ３でＹＥＳ）、閾値設定部１５は、閾値を設定する（Ｓ４）。閾値設定処理（Ｓ４）については後述する。
　判定部１２は、画像取得部１１が取得した画像中からミラー領域の像を抽出し、当該像を所定倍率（例えば、２倍）で拡大する（Ｓ５）。例えば、図７に示したように画像中にはミラー６０が映っており、判定部１２は、ミラー６０の領域の像を所定倍率で拡大する。小面積のミラー６０で広範囲の死角領域２２を映すため、通常、凸面鏡がミラー６０として用いられる。凸面鏡の鏡像は、同一の対象物を直接撮像する場合に比べて小さいという課題がある。このため、ミラー６０の領域の像を拡大することにより、同一の対象物を直接撮像した場合と同様の精度で、判定処理（領域抽出処理）を実行することができる。ただし、ミラー６０の領域の像を拡大する処理（Ｓ５）は必須の処理ではない。
　色抽出部１３は、画像から、赤色領域、緑色領域および青色領域を抽出する（Ｓ６）。その際、色抽出部１３は、画像からミラー領域を除いた像と、ミラー領域を拡大した像のそれぞれについて領域抽出処理を行う。これにより、ミラー６０に映った人物の領域が二重に検出されるのを防止することができる。
　判定部１２は、色抽出部１３が抽出した赤色領域、緑色領域および青色領域が所定の位置関係を有しているか否かを判断する（Ｓ７）。例えば、赤色領域、緑色領域および青色領域として、図４Ａに示したような赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂが、それぞれ抽出されたとする。判定部１２は、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂの重心位置をそれぞれ算出する。判定部１２は、緑ラベル９０Ｇの重心位置と赤ラベル９０Ｒとの重心位置との間の距離が所定距離以内であり、かつ、赤ラベル９０Ｒの重心位置と青ラベル９０Ｂの重心位置との間の距離が所定距離以内である場合に、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂが所定の位置関係を有すると判定する。
　３色の領域が所定の位置関係を有していれば（Ｓ７でＹＥＳ）、判定部１２は、画像に人物が映っていると判断し、通知部１４が、フォークリフト２５の周囲に人物を検出したことを、音出力装置３０、表示装置４０および端末装置５０に通知する（Ｓ８）。なお、通知部１４による通知処理は、例えば、後方監視カメラ２０と人物との距離が所定距離（例えば、３ｍ）以内になった場合に行うようにしてもよい。ここで、後方監視カメラ２０と人物との距離は、色抽出部１３が抽出した画像上でのラベル９０Ａのサイズに基づいて決定される。つまり、通知部１４は、ラベル９０Ａのサイズと距離との関係を示したテーブルを保持しており、このテーブルを参照することにより、距離を決定してもよい。また、検出の精度を向上させるため、通知部１４は、後方監視カメラ２０から所定距離以内の人物が所定回数（例えば、５回）以上連続して検出された場合にのみ、通知処理を行ってもよい。
　３色の領域が所定の位置関係を有していなければ（Ｓ７でＮＯ）、ステップＳ９に進む。
　通知処理（Ｓ８）の後、処理の終了タイミングとなっていれば（Ｓ９でＹＥＳ）、画像処理装置１０は、処理を終了する。処理の終了タイミングとは、例えば、フォークリフト２５のエンジンが停止したことを示す信号を画像処理装置１０が受信した場合などである。
　処理の終了タイミングでなければ（Ｓ９でＮＯ）、ステップＳ１に戻り、ステップＳ１～Ｓ８の処理が繰り返し実行される。
　図９は、閾値設定処理（図８のＳ４）の詳細なフローチャートである。
　閾値設定部１５は、閾値設定処理の対象色である赤色、緑色および青色の各色について、以下に説明するＳ４１～Ｓ４４の処理を実行する（ループＡ）。
　以下では、対象色を赤色として説明するが、対象色が緑色および青色の場合にも同様の処理が行われる。
　閾値設定部１５は、画像取得部１１が取得した画像から、赤ラベル１００Ｒの領域の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の平均を算出する（Ｓ４１）。つまり、赤ラベル１００Ｒの領域内の各画素のＲＧＢ色空間における赤色成分（Ｒ）、緑色成分（Ｇ）および青色成分（Ｂ）を、ＨＳＶ色空間における色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）に変換し、赤ラベル１００Ｒの領域内で色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の平均を算出する。なお、ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は、上述した式１～式３に従い実行される。
　閾値設定部１５は、赤色領域の色相（Ｈ）の範囲として、色相（Ｈ）の平均±２５の範囲を設定する（Ｓ４２）。
　閾値設定部１５は、赤色領域の彩度（Ｓ）の範囲として、（彩度（Ｓ）の平均－２０）以上１００以下を設定する（Ｓ４３）。
　閾値設定部１５は、赤色領域の明度（Ｖ）の範囲として、（明度（Ｖ）の平均－２０）以上１００以下を設定する（Ｓ４４）。
　これにより、赤ラベル１００Ｒの領域を抽出可能な色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を設定することができる。
　＜実施の形態１の効果＞
　以上説明したように、実施の形態１によると、ヘルメット８０に、３色のラベルが所定の位置関係で配置されている。また、判定部１２は、後方監視カメラ２０が撮像した画像中から３色の領域を抽出し、３色の領域が所定の位置関係で配置されているか否かを判定している。これにより、判定部１２は、フォークリフト２５の周囲の人物の存否を判定している。色領域を抽出する処理は、色領域が後方監視カメラ２０に映っていれば実行可能である。このため、人物が姿勢変化をした場合でも、安定して人物を検出することができる。また、特許文献２に記載の技術のように、人物の検出領域が制限されることもない。このため、フォークリフト２５が走行する任意の位置において、フォークリフト２５の周囲に存在する人物を検出することができる。
　また、画像処理装置１０は、シフトレンジがＲレンジである場合、つまり、フォークリフト２５が直線後退もしくは旋回後退またはその両方の動作をしている場合に、人物を検出するための処理（画像取得処理、判定処理および通知処理等）を実行している。このため、画像処理装置１０は、ドライバーの死角となるフォークリフト２５の後方や車両に人物が存在する場合に、ドライバーに対して適切に通知を行うことができる。
　また、画像処理装置１０は、ブレーキが掛けられていたとしても、シフトレンジがＲレンジである場合には、人物を検出するための処理を実行している。このため、フォークリフト２５が発信する直前において、ドライバーの死角に人物が存在する場合に、ドライバーに対して適切に通知を行うことができる。
　また、画像処理装置１０は、フォークリフト２５が前進している場合には、人物を検出するための処理を実行しないようにしている。フォークリフト２５が前進している場合には、フォークリフト２５の後方を監視する必要はない。つまり、フォークリフト２５の後方に人物が存在したとしてもドライバーに通知する必要はない。よって、この構成によると、人物が検出されたことをドライバーに不必要に通知することを防止することができる。
　また、閾値設定部１５は、人物が被るヘルメットに取り付けられるラベル９０Ａと同様の環境下に配置された参照用ラベル１００の画素値に基づいて、閾値を設定している。このため、閾値を正確に設定することができ、これにより、色抽出部１３は、ラベル９０Ａを正確に抽出することができる。
　また、判定部１２が画像中のミラー６０の領域の像を所定倍率で拡大した上で、色抽出部１３による各色の領域抽出処理と、判定部１２による判定処理が行われる。つまり、死角部分を確認するためにフォークリフト２５に取り付けられたミラー６０越しに人物が映った場合であっても、当該人物の像が拡大された後に処理が実行される。このため、死角領域に存在する人物を正確に検出することができる。なお、実施の形態１では、ミラー６０の鏡像を拡大した上で、判定処理（領域抽出処理）を行ったが、当該像の拡大は必須ではない。つまり、ミラー６０の領域の像を拡大することなく、判定処理（領域抽出処理）を実行してもよい。
　また、ラベル９０Ａには、所定の２色以上の領域（赤ラベル９０Ｒ、緑ラベル９０Ｇ、青ラベル９０Ｂ）が所定の位置関係で配置されている。このため、ラベル９０Ａを人物が取り付けることにより、画像処理装置１０により、人物を検出することができる。
　また、ラベル９０Ａには、隣接する色ラベル間に間隙領域９０Ｓを設けている。これにより、フォークリフト２５の走行時の振動などにより後方監視カメラ２０で撮像された画像に乱れが生じている場合であっても、ある色ラベルの色が隣接する色ラベルの色と混じり合って撮像されるのを防止することができる。これにより、画像処理装置１０により、人物を精度良く検出することができる。
　（変形例）
　ヘルメットに貼り付けられるラベルは、図４Ａおよび図４Ｂに示されたものに限定されるものではない。例えば、ラベルは、２色のラベルから構成されていてもよい。図１０は、人物が被るヘルメットを側方から見た図である。図１０に示すように、ヘルメット８０には、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成されるラベル９０Ｃが貼り付けられている。図１０にヘルメット８０の幅が、２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ｃの幅は約４０ｍｍ、長さは約１８０ｍｍ以上２５０ｍｍ以下とすることができる。なお、赤ラベル９０Ｒと緑ラベル９０Ｇとの間には間隙領域９０Ｓが設けられている。ラベル９０Ｃと同様のラベルがヘルメット８０の反対側の側面、前後および上方にも貼り付けられる。
　また、ヘルメットに貼り付けられる各色ラベルの形状が色ごとに異なっており、配置もより複雑であってもよい。図１１は、人物が被るヘルメットを側方から見た図である。図１１に示すように、ヘルメット８０には、ラベル９０Ｄが貼り付けられていてもよい。ラベル９０Ｄは、中央に配置された赤ラベル９０Ｒと、赤ラベル９０Ｒの右上および左下に隣接する位置に配置された緑ラベル９０Ｇと、赤ラベル９０Ｒの左上および右下に隣接する位置に配置された青ラベル９０Ｂとを含む。図１１から分かるように、赤ラベル９０Ｒのサイズは、青ラベル９０Ｂおよび緑ラベル９０Ｇのサイズよりも大きい。また、各ラベル間には間隙領域９０Ｓが設けられている。また、ラベル９０Ｄと同様のラベルがヘルメット８０の反対側の側面、前後および上方にも貼り付けられる。
　また、ヘルメットに貼り付けられる各色ラベルは、ＬＥＤ（Light Emitting Diode）や有機ＥＬ（electroluminescence）などの発光素子により構成されていてもよい。図１２は、人物が被るヘルメットを側方から見た図である。図１２に示すように、ヘルメット８０には、ラベル９１が取り付けられている。ラベル９１は、青色ＬＥＤで構成される青ラベル９１Ｂと、赤色ＬＥＤで構成される赤ラベル９１Ｒと、緑色ＬＥＤで構成される緑ラベル９１Ｇとを含む。各ＬＥＤは、ヘルメット８０に取り付けられたリチウムイオン電池などの二次電池により駆動される。また、ラベル９１と同様のラベルがヘルメット８０の反対側の側面、前後および上方にも取り付けられている。ＬＥＤを用いてラベル９１を構成することで、夜間や曇天などの照度が低い環境下であっても、ラベル９１を認識しやすくすることができる。
　また、ラベルはヘルメット８０に取り付けられるのではなく、人物が身に着ける衣類や腕章などに取り付けられていてもよい。図１３は、人物を正面から見た図である。人物は、ラベル９０Ｆが取り付けられた腕章を両腕にはめている。ラベル９０Ｆは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成され、各ラベル間には間隙領域９０Ｓが設けられている。
　（実施の形態２）
　実施の形態１では、閾値設定部１５は所定の時間間隔で周期的に閾値を変更することとしたが、実施の形態２では、閾値設定部１５は、フォークリフト２５の周囲の照度変化が検出された場合に閾値を変更する。
　以下では、実施の形態１と共通する部分についての説明は繰り返さず、実施の形態１と異なる部分について中心に説明する。
　図１４は、実施の形態２に係る画像処理システムの機能的な構成を示すブロック図である。
　画像処理システム１Ａは、図２に示した実施の形態１に係る画像処理システム１の構成において、さらに、照度センサ１１５を備える。照度センサ１１５は、フォークリフト２５の周囲の照度を検出するセンサである。照度センサ１１５は、例えば、受光素子を含んで構成される。照度センサ１１５は、例えば、後方監視カメラ２０の近傍に設けられる。なお、照度センサ１１５を用いずとも、後方監視カメラ２０の画像からフォークリフト２５の周囲の照度を判断するようにしてもよい。
　図１５は、実施の形態２に係る画像処理装置１０が実行する処理のフローチャートである。
　ステップＳ１、Ｓ２、Ｓ４～Ｓ９の処理は、図８に示したステップＳ１、Ｓ２、Ｓ４～Ｓ９の処理と同様である。実施の形態２では、図８に示したステップＳ３の処理の代わりに、ステップＳ１３の処理を実行する。
　つまり、閾値設定部１５は、照度センサ１１５が検出した照度を保持し、現在の照度と、前回閾値を設定した際に保持した照度との照度差に基づいて、フォークリフト２５の周囲の照度が変化したか否かを判断する（Ｓ１３）。つまり、閾値設定部１５は、照度差が所定の照度閾値以上となっていれば照度が変化したと判断し（照度変化を検出し）、照度差が所定の照度閾値未満であれば照度が変化していないと判断する（照度変化を検出しない）。
　閾値設定部１５は、照度変化を検出した場合には、閾値設定処理（Ｓ４）を実行する。
　なお、閾値設定部１５は、画像処理装置１０の起動直後の初回の判断処理（Ｓ１３）では、必ず照度変化を検出するようにし、閾値設定処理（Ｓ４）を実行するようにしてもよい。
　以上説明したように、実施の形態２によると、照度変化が検出された場合に閾値を設定することができる。これにより、フォークリフト２５の周囲の環境が変化した場合であっても、正確に色領域を抽出することができる。これにより、フォークリフト２５の周囲に存在する人物を正確に検出することができる。
　（実施の形態３）
　実施の形態１では、閾値設定部１５は所定の時間間隔で周期的に閾値を変更することとしたが、実施の形態３では、照度センサ１１５は、フォークリフト２５の位置に基づいて閾値を設定する。
　以下では、実施の形態１と共通する部分についての説明は繰り返さず、実施の形態１と異なる部分について中心に説明する。
　図１６は、実施の形態３に係る画像処理システムの機能的な構成を示すブロック図である。
　画像処理システム１Ｂは、図２に示した実施の形態１に係る画像処理システム１の構成において、さらに、位置センサ１１４を備える。位置センサ１１４は、フォークリフト２５の位置を検出するセンサである。位置センサ１１４は、例えば、ＧＰＳ（Global Positioning System）センサを含んで構成される。位置センサ１１４は、フォークリフト２５の任意の位置に設置可能であるが、ＧＰＳ衛星からの電波を受信しやすい位置に取り付けるのが好ましい。
　図１７は、実施の形態３に係る画像処理装置１０が実行する処理のフローチャートである。
　ステップＳ１、Ｓ２、Ｓ５～Ｓ９の処理は、図８に示したステップＳ１、Ｓ２、Ｓ５～Ｓ９の処理と同様である。実施の形態３では、図８に示したステップＳ３およびＳ４の代わりに、ステップＳ２３およびＳ２４の処理を実行する。
　つまり、閾値設定部１５は、位置センサ１１４から位置情報を取得する（Ｓ２３）。位置情報は、例えば、フォークリフト２５の緯度および経度を示す情報である。
　閾値設定部１５は、取得した位置情報に基づいて、各色の領域を抽出する際の閾値を決定する（Ｓ２４）。図１８は、閾値設定部１５が保持している位置と緑色領域の閾値との関係を示すデータテーブルの一例を示す図である。このデータテーブルは、データテーブルに示される位置内にフォークリフト２５が存在する場合の、緑色領域を抽出するための色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を示している。
　例えば、閾値設定部１５は、位置センサ１１４から取得した位置情報（緯度、経度）が、（３４°４０′３９″，１３５°２６′８″）－（３４°４０′３６″，１３５°２６′１３″）の範囲内に入っていれば、緑色領域の色相（Ｈ）の範囲として、１２０±２５の範囲を設定し、緑色領域の彩度（Ｓ）の範囲として７０以上１００以下を設定し、緑色領域の明度（Ｖ）の範囲として７０以上１００以下を設定する。
　なお、閾値設定部１５は、赤色領域および青色領域についても、同様に、位置と閾値との関係を示すデータテーブルを保持しており、位置センサ１１４から取得した位置情報に基づいて、赤色領域および青色領域の閾値を設定する。
　以上説明したように、実施の形態３によると、フォークリフト２５の位置に基づいて閾値を設定することができる。これにより、例えば、フォークリフト２５が屋内を走行している場合と屋外を走行している場合とで閾値を変更することができる。このように、フォークリフト２５の周囲の環境が変化した場合であっても、正確に色領域を抽出することができる。これにより、フォークリフト２５の周囲に存在する人物を正確に検出することができる。
　（実施の形態４）
　実施の形態１～３では、フォークリフト２５の後方の人物を検出する例について説明した。実施の形態４では、フォークリフト２５の後方の人物のみならず、前方の人物を検出する例についても説明する。
　以下では、実施の形態１～３と共通する部分についての説明は繰り返さず、実施の形態１～３と異なる部分について中心に説明する。
　図１９は、実施の形態４に係る画像処理システムの取付例を示す図である。図２０は、実施の形態４に係る画像処理システムの機能的な構成を示すブロック図である。
　画像処理システム１Ｃは、図２に示した実施の形態１に係る画像処理システム１の構成において、さらに、前方監視カメラ２６を備える。
　前方監視カメラ２６は、後方監視カメラ２０とともに撮像部を構成し、例えば、フォークリフト２５の前方を撮像可能な位置（例えば、フォークリフト２５に設けられた棒状治具など）に取り付けられ、フォークリフト２５の前方の画像を撮像する。前方監視カメラ２６のカメラレンズは、例えば、画角１５０°以上の超広角レンズである。
　図２１は、上方から見たフォークリフト２５の模式図である。図２１において、左側がフォークリフト２５の前方であり、右側がフォークリフト２５の後方である。図２１に示すように、フォークリフト２５の前方および後方には、前方監視カメラ２６による前方撮像領域２７と、後方監視カメラ２０による後方撮像領域２１とがそれぞれ設定される。後方撮像領域２１については、実施の形態１で説明した通りである。前方撮像領域２７は、例えば、フォークリフト２５が最高時速１０ｋｍ／ｈで走行した場合に、２秒間で移動可能な範囲を含むように設定される。つまり、前方監視カメラ２６は、前方撮像領域２７を撮像可能な位置に設置される。これにより、前方監視カメラ２６は、前方撮像領域２７内に存在する人物を撮像することができる。前方撮像領域２７をこのように設定したのは、人物を発見してから２秒間あれば、ドライバーはフォークリフト２５を停止させることができると考えられるからである。なお、前方監視カメラ２６は単願カメラを想定しているが、ステレオカメラなどの多眼カメラを用いてもよい。
　画像処理装置１０が備える画像取得部１１は、通信Ｉ／Ｆを介して、前方監視カメラ２６が撮像した画像、または後方監視カメラ２０が撮像した画像を取得する。
　車両状態判定部１６は、実施の形態１で説明した判定処理に加え、以下の処理を実行する。つまり、車両状態判定部１６は、通信Ｉ／Ｆを介してシフトセンサ１１２からシフトレバーの位置検出結果を取得し、取得した位置検出結果に基づいて、シフトレンジがＤレンジであるか否かを判定する。シフトレンジがＤレンジの状態で、フォークリフト２５が走行していれば、フォークリフト２５は直線前進もしくは旋回前進またはその両方の動作を行っていることになる。ただし、シフトレンジがＤレンジで、かつブレーキが掛けられている場合には、上記した動作は行っていないものの、ブレーキが外されることにより、上記動作が開始されるため、上記動作の準備状態と考えることができる。
　次に、画像処理装置１０が実行する処理の流れについて説明する。
　図２２は、実施の形態４に係る画像処理装置１０が実行する処理のフローチャートである。車両状態判定部１６は、シフトセンサ１１２によるシフトレバーの位置検出結果に基づいて、シフトレンジがＲレンジであるか否かを判定する（Ｓ１ａ）。
　シフトレンジがＲレンジであると、車両状態判定部１６が判定した場合には（Ｓ１ａでＹＥＳ）、画像取得部１１は、後方監視カメラ２０が撮像した画像を取得する（Ｓ２ａ）。その後、後方監視カメラ２０が撮像した画像に対して、ステップＳ３～Ｓ９の処理を実行する。ステップＳ３～Ｓ９の処理は実施の形態１で説明した通りである。
　シフトレンジがＲレンジ以外であると、車両状態判定部１６が判定した場合には、（Ｓ１ａでＮＯ）、車両状態判定部１６は、シフトセンサ１１２によるシフトレバーの位置検出結果に基づいて、シフトレンジがＤレンジであるか否かを判定する（Ｓ１ｂ）。なお、Ｌレンジまたは２レンジなどの前進動作時のシフトレンジも、Ｄレンジに含まれるものとしてもよい。つまり、シフトレンジがＬレンジなどの前進動作時のシフトレンジの場合には、車両状態判定部１６は、シフトレンジがＤレンジであると判定してもよい。
　シフトレンジがＤレンジであると、車両状態判定部１６が判定した場合には（Ｓ１ａでＹＥＳ）、画像取得部１１は、前方監視カメラ２６が撮像した画像を取得する（Ｓ２ｂ）。その後、前方監視カメラ２６が撮像した画像に対して、ステップＳ３～Ｓ９の処理を実行する。ステップＳ３～Ｓ９の処理は、対象とする画像が、前方監視カメラ２６が撮像した画像である点を除き、実施の形態１で説明した通りである。これにより、前方監視カメラ２６の前方撮像領域２７内に歩行者が存在する場合には、当該歩行者を検出し、ドライバーに歩行者の検出結果を通知することができる。
　シフトレンジがＲレンジおよびＤレンジのいずれでもないと、車両状態判定部１６が判定した場合には、（Ｓ１ｂでＮＯ）、ステップＳ９に進む。例えば、シフトレンジがＰレンジであり、フォークリフト２５が停止している場合には、ステップＳ９に進む。
　以上説明したように、実施の形態４によると、フォークリフト２５が前進している場合には、前方監視カメラ２６で撮像されたフォークリフト２５の前方画像に対して、人物を検出するための処理（画像取得処理、判定処理および通知処理等）が実行される。これにより、フォークリフト２５の前方に存在する人物を検出することができる。また、前方に人物が存在する場合に、ドライバーに適切に通知を行うことができる。これにより、フォークリフト２５の周囲に存在する人物とフォークリフト２５との接触を未然に防止することができる。
　＜付記＞
　以上、本開示の実施の形態に係る画像処理システム１について説明したが、本開示は、この実施の形態に限定されるものではない。
　例えば、上述の実施の形態では、人物にラベルが取り付けられ、画像処理装置１０が人物を検出することしたが、人物以外にラベルを取り付けてもよい。例えば、フォークリフト２５の立ち入りが禁止されている場所の近傍にラベルを貼り付けることにより、画像処理装置１０が当該場所に近づいたことを検出するようにしてもよい。これにより、フォークリフト２５が立入禁止場所に近づいたことをドライバー等に知らせることができる。
　また、上述の画像処理装置１０の色抽出部１３は、ＨＳＶ色空間上の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を閾値処理することにより色領域を抽出したが、閾値処理の対象はＨＳＶ色空間上の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）に限定されるものではない。例えば、画像上の各座標の色彩をマンセル表色系における色相（Ｈ）、明度（Ｖ）、彩度（Ｃ）で表し、色相（Ｈ）、明度（Ｖ）、彩度（Ｃ）を閾値処理することにより色領域を抽出してもよい。また、画像上の各座標の赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）を閾値処理することにより色領域を抽出してもよい。
　また、上述した人物等に取り付けられるラベルは、以下のように構成されてもよい。
　つまり、上述の画像処理装置１０により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、
　所定の２色以上の領域が所定の位置関係で配置されており、
　所定の２色以上の領域は、第１色ラベル、第２色ラベルおよび第３色ラベルを含み、
　第１色ラベルの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ～７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上であり、
　第２色ラベルの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ～２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上であり、
　第３色ラベルの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ～５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。
　また、上述の画像処理装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　また、コンピュータを画像処理装置１０として機能させるためのコンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、ハードディスクドライブ、ＣＤ－ＲＯＭ、半導体メモリなどに記録したものとしてもよい。このようなコンピュータプログラムは、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、上記コンピュータプログラムに含まれる各ステップは、複数のコンピュータにより実行されてもよい。さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１、１Ａ、１Ｂ、１Ｃ　画像処理システム
　１０　画像処理装置
　１１　画像取得部
　１２　判定部
　１３　色抽出部
　１４　通知部
　１５　閾値設定部
　１６　車両状態判定部
　２０　後方監視カメラ
　２１　後方撮像領域
　２２　死角領域
　２５　フォークリフト
　２６　前方監視カメラ
　２７　前方撮像領域
　３０　音出力装置
　４０　表示装置
　５０　端末装置
　６０　ミラー
　６１　後方撮像領域
　７１、７２　人物
　８０　ヘルメット
　８２Ｒ　赤色領域
　８２Ｇ　緑色領域
　８３　重心位置
　８４　所定距離範囲
　９０Ａ、９０Ｃ、９０Ｄ、９０Ｆ、９１　ラベル
　９０Ｂ、９１Ｂ、１００Ｂ　青ラベル
　９０Ｇ、９１Ｇ、１００Ｇ　緑ラベル
　９０Ｒ、９１Ｒ、１００Ｒ　赤ラベル
　９０Ｓ　間隙領域
　１００、１００Ａ　参照用ラベル
　１１２　シフトセンサ
　１１４　位置センサ
　１１５　照度センサ
 

Claims (12)

  1. 　産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、
    　前記画像取得部が取得した前記画像に、所定の位置関係を有する所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、
    　前記判定部の判定処理結果に応じた通知処理を実行する通知部と
    　を備える画像処理装置。
  2. 　前記撮像部は、前記車両の後方を撮像範囲とする前記車両上の位置に設置された後方監視カメラを含み、
    　前記画像取得部は、前記後方監視カメラで撮像された前記車両の後方画像を取得し、
    　前記判定部は、前記車両が前進している場合には、前記車両の後方画像に対する前記判定処理を停止する
    　請求項１に記載の画像処理装置。
  3. 　前記撮像部は、さらに、前記車両の前方を撮像範囲とする前記車両上の位置に設置された前方監視カメラを含み、
    　前記画像取得部は、さらに、前記前方監視カメラで撮像された前記車両の前方画像を取得し、
    　前記判定部は、前記車両が前進している場合には、さらに、前記車両の前方画像に対する前記判定処理を実行する
    　請求項２に記載の画像処理装置。
  4. 　前記判定部は、前記画像を構成する各画素の所定の色空間上の画素値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、
    　前記画像取得部は、前記車両の所定位置に設置された前記所定の２色以上の参照用ラベルを前記撮像部が撮像した画像を取得し、
    　前記画像処理装置は、さらに、前記参照用ラベルの画像の前記色空間上の画素値に基づいて、前記所定の閾値を設定する閾値設定部を備える
    　請求項１～請求項３のいずれか１項に記載の画像処理装置。
  5. 　前記閾値設定部は、前記車両の周囲の照度変化を検出した場合に、前記所定の閾値を設定する
    　請求項４に記載の画像処理装置。
  6. 　前記判定部は、前記画像を構成する各画素の所定の色空間上の値と所定の閾値とに基づいて、前記所定の２色以上の領域を抽出する色抽出部を含み、
    　前記画像処理装置は、さらに、前記車両の位置に基づいて、前記所定の閾値を設定する閾値設定部を備える
    　請求項１～請求項３のいずれか１項に記載の画像処理装置。
  7. 　前記判定部は、前記画像取得部が取得した前記画像のうち、前記車両に設置されたミラーを撮像したミラー領域の像に対して、前記判定処理を実行する
    　請求項１～請求項６のいずれか１項に記載の画像処理装置。
  8. 　検出対象物に取り付けられる所定の２色以上の領域が所定の位置関係で配置されているラベルと、
    　前記検出対象物を検出する画像処理装置とを備え、
    　前記画像処理装置は、
    　産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、
    　前記画像取得部が取得した前記画像に、前記所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、
    　前記判定部の判定処理結果に応じた通知を行う通知部とを有する
    　画像処理システム。
  9. 　コンピュータを、
    　産業車両または車両系建設機械に該当する車両に搭載された撮像部で撮像された画像を取得する画像取得部と、
    　前記画像取得部が取得した前記画像に、所定の２色以上の領域が含まれるか否かの判定処理を実行する判定部と、
    　前記判定部の判定処理結果に応じた通知処理を実行する通知部
    　として機能させるための画像処理プログラム。
  10. 　請求項１～請求項７のいずれか１項に記載の画像処理装置により所定の２色以上の領域が含まれるか否かの判定対象とされるラベルであって、
    　前記所定の２色以上の領域が所定の位置関係で配置されている
    　ラベル。
  11. 　各色の領域間に所定の間隙が設けられている
    　請求項１０に記載のラベル。
  12. 　各色の領域は、蛍光テープ、蛍光塗料または発光素子を含んで構成される
    　請求項１０または請求項１１に記載のラベル。
     
PCT/JP2017/015266 2016-09-01 2017-04-14 画像処理装置、画像処理システム、画像処理プログラムおよびラベル WO2018042747A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780053266.4A CN109690639A (zh) 2016-09-01 2017-04-14 图像处理装置、图像处理系统、图像处理程序和标签
US16/322,252 US20190197738A1 (en) 2016-09-01 2017-04-14 Image processing device, image processing system, recording medium and label

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016170638A JP2018036937A (ja) 2016-09-01 2016-09-01 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP2016-170638 2016-09-01

Publications (1)

Publication Number Publication Date
WO2018042747A1 true WO2018042747A1 (ja) 2018-03-08

Family

ID=61300472

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/015266 WO2018042747A1 (ja) 2016-09-01 2017-04-14 画像処理装置、画像処理システム、画像処理プログラムおよびラベル

Country Status (4)

Country Link
US (1) US20190197738A1 (ja)
JP (1) JP2018036937A (ja)
CN (1) CN109690639A (ja)
WO (1) WO2018042747A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158597A1 (ja) * 2019-01-31 2020-08-06 住友電気工業株式会社 画像処理装置、画像処理方法、画像処理システム、運搬車輌、及びコンピュータプログラム
EP3872787A1 (en) * 2020-02-26 2021-09-01 Mitsubishi Logisnext Co., Ltd. Processing device, processing method, notification system, and program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146066A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
KR20210037607A (ko) * 2018-07-31 2021-04-06 스미토모 겐키 가부시키가이샤 쇼벨
JP7020359B2 (ja) * 2018-09-28 2022-02-16 株式会社豊田自動織機 警告装置
JP7258613B2 (ja) * 2019-03-18 2023-04-17 住友重機械工業株式会社 作業機械
EP3950566B1 (en) * 2019-04-02 2024-03-20 Beijing Geekplus Technology Co., Ltd. High-position robot, method for calibrating return of storage container, and storage medium
CN111738142B (zh) * 2020-06-19 2023-09-22 福建省海峡智汇科技有限公司 一种用于判断空气开关状态的方法和系统
JP7149990B2 (ja) * 2020-07-13 2022-10-07 三菱ロジスネクスト株式会社 人検知装置、産業車両、及び人検知方法
US12091303B2 (en) * 2020-09-14 2024-09-17 Lance A. Stacy Motorized vehicles having sensors and methods of operating the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6490840A (en) * 1987-09-30 1989-04-07 Tokyo Keiki Kk Obstacle detector for working vehicle
JPH0232229A (ja) * 1988-07-21 1990-02-02 Kubota Ltd 穀粒選別装置用穀粒分布検出装置
JP2003105807A (ja) * 2001-09-27 2003-04-09 Komatsu Ltd 作業車両の侵入禁止領域での停止制御方法及びその制御装置
JP2005153051A (ja) * 2003-11-25 2005-06-16 Matsushita Electric Works Ltd 加工機械の安全装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178701B2 (ja) * 1995-12-21 2001-06-25 日本輸送機株式会社 フォークリフトの安全装置
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
EP1828862A2 (en) * 2004-12-14 2007-09-05 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US20070065004A1 (en) * 2005-08-01 2007-03-22 Topcon Corporation Three-dimensional measurement system and method of the same, and color-coded mark
US8655076B2 (en) * 2007-01-23 2014-02-18 Nec Corporation Marker generating and marker detecting system, method and program
US9177210B2 (en) * 2007-10-30 2015-11-03 Hki Systems And Service Llc Processing container images and identifiers using optical character recognition and geolocation
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
US9036026B2 (en) * 2009-06-12 2015-05-19 Magna Electronics Scalable integrated electronic control unit for vehicle
US9113047B2 (en) * 2010-10-22 2015-08-18 Hitachi Construction Machinery Co., Ltd. Peripheral monitoring device for working machine
JP2012216029A (ja) * 2011-03-31 2012-11-08 Namco Bandai Games Inc プログラム、情報記憶媒体、端末、サーバ、及びマーカー表示体
JP5639024B2 (ja) * 2011-09-27 2014-12-10 富士重工業株式会社 画像処理装置
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
WO2014002534A1 (ja) * 2012-06-26 2014-01-03 本田技研工業株式会社 対象物認識装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
WO2014103433A1 (ja) * 2012-12-25 2014-07-03 本田技研工業株式会社 車両周辺監視装置
WO2014110502A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
WO2014156166A1 (ja) * 2013-03-29 2014-10-02 パナソニック株式会社 駐車支援システムおよび駐車支援方法
US9170581B2 (en) * 2013-09-30 2015-10-27 Crown Equipment Limited Industrial vehicles with overhead light based localization
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
JP6457278B2 (ja) * 2015-01-23 2019-01-23 トヨタ自動車株式会社 物体検出装置及び物体検出方法
EP3086196B1 (en) * 2015-04-21 2017-04-05 Hexagon Technology Center GmbH Method and control system for surveying and mapping a terrain while operating a bulldozer
JPWO2018105181A1 (ja) * 2016-12-07 2019-10-24 住友電気工業株式会社 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム
CN110799446A (zh) * 2017-06-21 2020-02-14 住友电气工业株式会社 操作系统、车载装置、工业车辆、叉车、计算机程序、数据结构以及操作方法
KR20200124263A (ko) * 2018-02-23 2020-11-02 크라운 이큅먼트 코포레이션 광학 타겟 기반 실내 차량 내비게이션을 위한 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6490840A (en) * 1987-09-30 1989-04-07 Tokyo Keiki Kk Obstacle detector for working vehicle
JPH0232229A (ja) * 1988-07-21 1990-02-02 Kubota Ltd 穀粒選別装置用穀粒分布検出装置
JP2003105807A (ja) * 2001-09-27 2003-04-09 Komatsu Ltd 作業車両の侵入禁止領域での停止制御方法及びその制御装置
JP2005153051A (ja) * 2003-11-25 2005-06-16 Matsushita Electric Works Ltd 加工機械の安全装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158597A1 (ja) * 2019-01-31 2020-08-06 住友電気工業株式会社 画像処理装置、画像処理方法、画像処理システム、運搬車輌、及びコンピュータプログラム
EP3872787A1 (en) * 2020-02-26 2021-09-01 Mitsubishi Logisnext Co., Ltd. Processing device, processing method, notification system, and program
US11802032B2 (en) 2020-02-26 2023-10-31 Mitsubishi Logisnext Co., LTD. Processing device, processing method, notification system, and recording medium

Also Published As

Publication number Publication date
US20190197738A1 (en) 2019-06-27
CN109690639A (zh) 2019-04-26
JP2018036937A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
WO2018042747A1 (ja) 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
KR102552285B1 (ko) 휴대 전자 장치 및 그 동작 방법
US11263769B2 (en) Image processing device, image processing method, and image processing system
US11030464B2 (en) Privacy processing based on person region depth
EP3005228B1 (en) Information processing device, approaching object notification method, and program
US20160150070A1 (en) Method and device for assisting in safe driving of a vehicle
CN107408288B (zh) 警告装置、警告方法以及警告程序
US20190196494A1 (en) Autonomous driving system and autonomous driving method
KR101481051B1 (ko) 개인용 블랙박스 장치 및 그의 동작 방법
KR101552095B1 (ko) 레이더，감시 카메라를 사용한 해안감시 시스템
JP2007310706A (ja) 車両周辺監視装置
US20190102636A1 (en) Vehicular vision system using smart eye glasses
CN111369760A (zh) 一种基于无人机的夜间行人安全预警装置及方法
US9286689B2 (en) Method and device for detecting the gait of a pedestrian for a portable terminal
US20210052156A1 (en) Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium
US20190371005A1 (en) Recording medium, color label, detection device, image processing device, image processing method and image processing system
KR101224534B1 (ko) 모션인식 기능을 가지는 이미지프로세싱에 의한 자동화재인식 시스템
CN109969919B (zh) 异物进入梯级的警示方法、警示装置及自动扶梯或人行道
CN103488554A (zh) 提高行进中使用移动设备安全的方法和系统
JP6299630B2 (ja) 警告装置、警告方法及び警告プログラム
EP3993404A1 (en) System, information processing device, information processing method, and program
CN207133979U (zh) 一种基于车联网的交通事件智能举证装置
CN112307913B (zh) 一种基于无人机视觉的防护设备穿戴检测方法及装置
CN110758237A (zh) 电子装置及行车安全提醒方法
JP7354461B2 (ja) 監視システム及び監視方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17845758

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17845758

Country of ref document: EP

Kind code of ref document: A1