WO2019008936A1 - 画像処理装置、コンピュータプログラム、および画像処理システム - Google Patents

画像処理装置、コンピュータプログラム、および画像処理システム Download PDF

Info

Publication number
WO2019008936A1
WO2019008936A1 PCT/JP2018/020061 JP2018020061W WO2019008936A1 WO 2019008936 A1 WO2019008936 A1 WO 2019008936A1 JP 2018020061 W JP2018020061 W JP 2018020061W WO 2019008936 A1 WO2019008936 A1 WO 2019008936A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
area
color
image
image processing
Prior art date
Application number
PCT/JP2018/020061
Other languages
English (en)
French (fr)
Inventor
充一 梅村
有里 木下
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Priority to US16/618,872 priority Critical patent/US20200134873A1/en
Priority to CN201880043118.9A priority patent/CN110832496A/zh
Priority to JP2019528399A priority patent/JPWO2019008936A1/ja
Publication of WO2019008936A1 publication Critical patent/WO2019008936A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Definitions

  • the present invention relates to an image processing apparatus, a computer program, and an image processing system.
  • This application claims the priority based on Japanese Patent Application No. 2017-130194 filed on Jul. 3, 2017, and incorporates all the contents described in the aforementioned Japanese application.
  • Patent Document 1 discloses a two-dimensional code including a plurality of color areas called marks as an example of a label. Predetermined information is encoded according to the color of the mark and the position of the mark included in the two-dimensional code. That is, the two-dimensional code represents predetermined information. Therefore, a plurality of marks can be detected from an image obtained by capturing a two-dimensional code with a camera, and information can be decoded based on the color of the detected mark and the position of the mark.
  • the image processing device includes an image acquisition unit that acquires a color image captured by a camera, a brightness determination unit that determines the brightness of an imaging range of the camera, and the brightness determination unit.
  • a detection target color determination unit that determines detection target colors of two or more colors among the three or more colors attached to a label including regions of three or more colors based on a determination result;
  • a label detection unit configured to detect the label by extracting the area of the detection target color determined by the detection target color determination unit from the acquired image.
  • the computer program of the present disclosure includes a computer, an image acquisition unit that acquires a color image captured by a camera, a brightness determination unit that determines the brightness of an imaging range of the camera, and the brightness determination Detection target color determination unit that determines two or more detection target colors from among the three or more colors attached to the label including the three or more color regions based on the determination result of the set; and the image acquisition By extracting the area of the detection target color determined by the detection target color determination unit from the image acquired by the unit, the label detection unit functions as a label detection unit that detects the label.
  • the image processing system of the present disclosure includes a label including an area of three or more colors attached to a detection target, a camera that captures a color image, and the above-described image processing device.
  • the present disclosure can not only be realized as an image processing apparatus including such a characteristic processing unit, but also includes an image processing method including, as steps, processing executed by the characteristic processing unit included in the image processing apparatus.
  • an image processing method including, as steps, processing executed by the characteristic processing unit included in the image processing apparatus.
  • the above-mentioned computer program can be distributed via a computer readable non-temporary recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • the present disclosure can also be implemented as a semiconductor integrated circuit that implements part or all of an image processing apparatus.
  • FIG. 2 is a view showing an attachment example of the image processing system according to the first embodiment.
  • FIG. 1 is a block diagram showing a configuration of an image processing system according to a first embodiment. It is the figure which looked at the helmet which a person wears from the side. It is the figure which looked at the helmet which a person wears from the upper direction. It is a figure which shows the expression in the Munsell color system (JISZ8721) of each color label. It is a figure which shows the spectral reflectance of each color label. It is a figure which shows spectral distribution of sunlight. It is a figure which shows typically the label image
  • JISZ8721 Munsell color system
  • FIG. 2 schematically illustrates a label taken in a dark environment under incandescent bulb light. It is a figure which shows an example of light-and-dark reference
  • 5 is a flowchart illustrating a procedure of processing performed by the image processing apparatus according to the first embodiment. It is a figure which shows an example of the label stuck on the helmet. 15 is a flowchart illustrating a procedure of processing performed by the image processing apparatus according to the second embodiment. 15 is a flowchart illustrating a procedure of processing performed by an image processing apparatus according to a modification of the second embodiment.
  • FIG. 7 is a block diagram showing a configuration of an image processing system according to a second embodiment. It is a figure which shows an example of light-and-dark reference
  • FIG. 13 is a block diagram showing the configuration of an image processing system according to a third embodiment. It is a figure which shows an example of light-and-dark reference
  • the color of the mark is susceptible to illumination, and even the same color mark may be captured by the camera as a mark of a different color if the illumination is different. Specifically, when the red mark is photographed under sunlight as in the daytime outdoors, the red mark may appear to be yellow. In addition, when the blue mark is photographed under indoor incandescent bulb light, the blue mark may appear black. If the mark is photographed as an area of a color different from the original color, false detection of a two-dimensional code or false recognition of information occurs.
  • an object of the present invention to provide an image processing apparatus, a computer program, and an image processing system capable of detecting a label including a plurality of color areas without being affected by illumination.
  • a label including multiple color areas can be detected without being affected by illumination.
  • An image processing apparatus includes an image acquisition unit that acquires a color image captured by a camera, a brightness determination unit that determines the brightness of an imaging range of the camera, and A detection target color determination unit that determines two or more detection target colors from among the three or more colors attached to a label including a region including three or more colors based on the determination result of the brightness determination unit; And a label detection unit that detects the label by extracting the area of the detection target color determined by the detection target color determination unit from the image acquired by the image acquisition unit.
  • the detection target colors of two or more colors are determined based on the brightness of the imaging range of the camera.
  • the color to be detected can be determined except for a color whose appearance changes depending on the brightness. Therefore, by extracting the area of the color to be detected, the label can be detected without being affected by the illumination.
  • the brightness determination unit relates to the image acquired by the image acquisition unit, imaging parameter information on brightness adjustment acquired from the camera, and a position included in an imaging range of the camera The brightness is determined based on at least one of illumination information acquired from an illumination sensor that measures illumination.
  • this configuration it is possible to easily determine the brightness of the imaging range of the camera.
  • the detection target color determination unit determines, among the three or more colors, an intermediate wavelength color that is a color other than at least the longest wavelength and the shortest wavelength as the detection target color. You may
  • the long wavelength color is taken as a different color from the original color
  • the short wavelength color is taken as a different color from the original color Be done.
  • the intermediate wavelength color except at least these colors is not susceptible to illumination. Therefore, according to this configuration, the label can be detected without being affected by the illumination.
  • the label detection unit may extract the area of the detection target color sequentially from the area of the intermediate wavelength color.
  • region extraction can be performed preferentially from the region of intermediate wavelength color that is least susceptible to illumination. Therefore, when the area of the intermediate wavelength color can not be extracted, it is not necessary to extract the area of the other detection target color, and the processing time can be shortened.
  • the label may also include a red area, a blue area and a green area.
  • the three primary colors of light, red, blue and green, are colors whose wavelengths are appropriately separated. Therefore, even if one of the color areas is affected by the illumination and photographed as a color area different from the original color, the other two colors are not affected by the illumination, and the original color Photographed as a color area. Therefore, by using the other two colors as the detection target color, the label can be detected without being affected by the illumination.
  • the above-described image processing apparatus may further include an output unit that outputs information according to the detection result by the label detection unit.
  • a computer program includes a computer, an image acquisition unit that acquires a color image captured by a camera, and a brightness determination unit that determines the brightness of an imaging range of the camera. And detection target color determination for determining two or more detection target colors among the three or more colors attached to a label including a region including three or more colors based on the determination result of the brightness determination unit The detection target color area determined by the detection target color determination unit is extracted from the image acquired by the image acquisition unit and the image acquisition unit to function as a label detection unit that detects the label.
  • the computer can be realized as the above-described image processing apparatus. Therefore, the same operation and effect as the above-described image processing apparatus can be exhibited.
  • An image processing system includes a label attached to a detection target, a label including an area of three or more colors, a camera for capturing a color image, and the above-described image processing apparatus. Prepare.
  • This configuration includes the above-described image processing apparatus. Therefore, the same operation and effect as the above-described image processing apparatus can be exhibited.
  • FIG. 1 is a view showing an attachment example of the image processing system according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the image processing system according to the first embodiment.
  • the following describes an image processing system in which a camera and an image processing apparatus are installed on a forklift, but the location where the camera and the image processing apparatus are installed is not limited to the forklift.
  • these may be attached to a car, and when using a camera for surveillance of a predetermined area, the camera may be installed at a place where the area can be imaged.
  • the image processing system 1 is a system for monitoring the periphery of the forklift 25, and includes a camera 20, an illuminance sensor 26, an image processing device 10, a sound output device 30, a display device 40, and a terminal device 50. Prepare.
  • the configuration of the image processing system 1 shown in FIGS. 1 and 2 is an example, and for example, one of the sound output device 30, the display device 40, and the terminal device 50 may not be provided.
  • the camera 20 is attached to, for example, a position (for example, a fork head guard rear end position of the forklift 25) capable of capturing an image of the rear of the forklift 25 and captures a color image of the rear of the forklift 25.
  • the camera lens of the camera 20 is, for example, a super wide-angle lens having a field angle of 120 ° or more.
  • a mirror 60 is installed in the imaging area 21 of the forklift 25 to cover the dead area 22. That is, by arranging the mirror 60 so that the imaging area 61 when the camera 20 captures an image through the mirror 60 covers the blind area 22, the camera 20 can image the person 72 existing in the blind area 22. it can. Note that, instead of the mirror 60, another camera different from the camera 20 may be disposed in order to capture the dead area 22.
  • the illuminance sensor 26 is a sensor that converts light incident on the light receiving element into a current and measures the illuminance.
  • the illuminance sensor 26 is disposed, for example, on the ceiling of the forklift 25 or the like, and measures the illuminance of a position included in the imaging range of the camera 20.
  • the illuminance sensor 26 is provided in the vicinity of the camera 20 or in the imaging region 21. Further, it is desirable that the illuminance sensor 26 be attached in a direction parallel to the optical axis direction so that the illuminance in the optical axis direction of the camera 20 can be measured.
  • the illuminance sensor 26 may not necessarily be installed on the forklift 25.
  • the illuminance sensor 26 ⁇ / b> A may be installed in advance within the travelable range of the forklift 25. That is, the illuminance sensor 26A may be installed on the traveling path of the forklift 25 or in the vicinity of the traveling path.
  • the illuminance sensor 26 ⁇ / b> A is a sensor that measures the ambient illuminance in the same manner as the illuminance sensor 26.
  • the measurement range of the illuminance by the illuminance sensor 26 or 26A is included in the imaging range of the camera 20, the measurement range and the imaging range may be somewhat deviated as long as it is about several meters. It is difficult to think that the illuminance changes rapidly due to some positional deviation, and it is thought that this degree of deviation does not affect the result of the image processing.
  • the image processing device 10 is a computer installed in the forklift 25.
  • the image processing apparatus 10 is connected to the camera 20, and detects persons 71 and 72 from the images of the imaging areas 21 and 61 captured by the camera 20. In the present embodiment, it is assumed that the persons 71 and 72 always have labels in which areas of predetermined three or more colors are arranged in a predetermined positional relationship.
  • FIG. 3A is a side view of a helmet worn by a person
  • FIG. 3B is a top view of the helmet.
  • a label 90A is attached to the helmet 80.
  • the label 90A is composed of a blue label 90B, a red label 90R and a green label 90G arranged in parallel.
  • the width of the label 90A can be about 60 mm and the length can be about 180 mm to 250 mm.
  • a gap region 90S is provided between the blue label 90B and the red label 90R and between the red label 90R and the green label 90G.
  • the gap area 90S is, for example, a black area and has a width of 2 to 3 mm.
  • a similar label 90A is also affixed to the top of the helmet 80, as shown in FIG. 3B.
  • the label 90A is also attached to the opposite side of the helmet 80 and to the front and back. In this manner, by attaching the label 90A to any portion, it is possible for the camera 20 to capture an image of one of the labels 90A regardless of the posture of the person (upright, squatting, etc.) it can.
  • the label 90A includes a red label 90R, a green label 90G, and a blue label 90B, which are three primary color labels of light.
  • FIG. 4 is a diagram showing the expression of each color label in the Munsell color system (JIS Z8721).
  • H, V, and C respectively indicate the hue, lightness, and saturation in the Munsell color system. That is, the color of the red label 90R is in the range of 10 P to 7.5 YR with the hue (H) of the Munsell color system, the lightness (V) is 3 or more, and the saturation (C) is 2 or more .
  • the color of the green label 90G is such that the hue (H) of the Munsell color system is included in the range of 2.5GY to 2.5BG, the lightness (V) is 3 or more, and the saturation (C) is 2 or more .
  • the color of the blue label 90B is in the range of 5BG to 5P with the hue (H) of the Munsell color system, the lightness (V) is 1 or more, and the saturation (C) is 1 or more.
  • the label 90 ⁇ / b> A is not limited to one composed of labels of three primary colors of light, and may be composed of labels of other colors.
  • FIG. 5 is a diagram showing the spectral reflectance of each color label.
  • the horizontal axis represents wavelength (nm), and the vertical axis represents spectral reflectance (%).
  • the red color indicated by the red label 90R has a peak of spectral reflectance near a wavelength of 700 nm.
  • the green color shown by the green label 90G has a peak of spectral reflectance near a wavelength of 546.1 nm.
  • the blue color shown by the blue label 90B has a peak of spectral reflectance near a wavelength of 435.8 nm.
  • the peak of the spectral reflectance of each color is not limited to the above-mentioned value.
  • red may have a peak of spectral reflectance at a wavelength of 700 ⁇ 30 nm.
  • the green color may have a spectral reflectance peak at a wavelength of 546.1 ⁇ 30 nm.
  • Blue may have a spectral reflectance peak at a wavelength of 435.8 ⁇ 30 nm.
  • the blue label 90B, the red label 90R, and the green label 90G be made of a fluorescent tape, or that a fluorescent paint be applied to these labels.
  • the label can be easily recognized even in an environment with low illuminance such as nighttime or cloudy weather.
  • the label can be recognized without using a special camera such as an infrared camera.
  • image processing apparatus 10 detects a person by detecting label 90 ⁇ / b> A from an image captured by camera 20.
  • the detailed configuration of the image processing apparatus 10 will be described later.
  • the sound output device 30 is installed, for example, near the driver's seat of the forklift 25 and configured to include a speaker.
  • the sound output device 30 is connected to the image processing device 10, and outputs a notification sound such as a message voice or an alarm sound for notifying the driver that the image processing device 10 has detected the person 71 or the person 72.
  • the display device 40 is installed, for example, at a position where the driver of the forklift 25 can visually recognize, and includes a liquid crystal display and the like.
  • the display device 40 is connected to the image processing apparatus 10, and displays an image notifying that the image processing apparatus 10 has detected the person 71 or the person 72.
  • the terminal device 50 is, for example, a computer installed at a location distant from the forklift 25 such as a management room that manages the forklift 25.
  • the terminal device 50 is connected to the image processing apparatus 10 and outputs an image or a sound notifying that the image processing apparatus 10 has detected the person 71 or the person 72, or that the person 71 or the person 72 is detected together with time information. Record as log information.
  • the terminal device 50 and the image processing apparatus 10 may be connected by a mobile telephone line conforming to a communication standard such as 4G or a wireless local area network (LAN) such as Wi-Fi (registered trademark). Good.
  • LAN wireless local area network
  • the terminal device 50 may be a smartphone or the like carried by the person 71 or 72. As a result, it is possible to notify the person 71 or 72 that the image processing apparatus 10 has detected itself, that is, the forklift 25 is present nearby.
  • the functions of the image processing device 10, the camera 20, the sound output device 30, and the display device 40 may be provided in a smartphone, a computer with a camera, or the like.
  • the smartphone processes an image captured by the smartphone and detects the persons 71 and 72.
  • the smartphone notifies the detection result by sound or image.
  • another tablet device or the like may be installed at a position where the driver can visually recognize, and the tablet device may display the image transmitted from the smartphone.
  • the tablet device and the smartphone may be wirelessly connected in accordance with a wireless communication standard such as, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), or Zigbee (registered trademark).
  • FIG. 6 is a diagram showing the spectral distribution of sunlight.
  • the horizontal axis indicates the wavelength, and the vertical axis indicates the radiant energy.
  • the components of red, green and blue light contained in sunlight are compared, the components of red light are smaller than the components of green and blue light. Therefore, when the camera 20 captures an image of a red area outdoors using the sun as a light source, the light of the red component received by the camera 20 becomes relatively weak. Therefore, a red area may appear as a yellow area on the image.
  • FIG. 7 is a view schematically showing a label taken in a bright environment under sunlight.
  • the label 90A shown in FIG. 7 is the same as the label 90A shown in FIG. 3A.
  • the light intensity of the red component is weak. Therefore, on the image, the red label 90R appears as a yellow label.
  • FIG. 8 is a diagram showing a spectral distribution of light of an incandescent lamp.
  • the horizontal axis indicates the wavelength, and the vertical axis indicates the specific energy.
  • the specific energy indicates the relative intensity when the maximum value of the emission intensity in the measured wavelength range is 100%.
  • the blue component is less than the red and green components. For this reason, when the camera 20 photographs a blue area indoors using an incandescent lamp as a light source, the light of the blue component received by the camera 20 becomes relatively weak. Therefore, a blue area may appear as a black area on the image.
  • FIG. 9 is a view schematically showing a label taken in a dark environment under incandescent bulb light.
  • the label 90A shown in FIG. 9 is the same as the label 90A shown in FIG. 3A.
  • the light intensity of the blue component is weak due to the influence of the incandescent bulb light. Therefore, the blue label 90B appears as a black label on the image.
  • the illumination used in a dark environment is not limited to the incandescent bulb, and may be a bulb of another color, a fluorescent lamp, an LED (Light Emitting Diode) illumination, or the like.
  • the appearance of the color of each color label may change due to the influence of illumination.
  • an image processing apparatus 10 capable of detecting the label 90A without being affected by illumination will be described below.
  • the image processing apparatus 10 is a general computer including a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), a hard disk drive (HDD), a communication I / F (interface), a timer, and the like. It consists of The image processing apparatus 10 has a functional configuration realized by executing a computer program read from the HDD or ROM to the RAM, the image acquisition unit 11, the brightness determination unit 12, the detection target color determination unit 13, and the like. , And a label detection unit 14 and an output unit 15.
  • the image processing apparatus 10 further includes a storage device 16.
  • the image acquisition unit 11 acquires a color image captured by the camera 20 via the communication I / F. That is, an image obtained by the camera 20 capturing the imaging areas 21 and 61 shown in FIG. 1 is acquired.
  • the brightness determination unit 12 determines the brightness of the imaging range of the camera 20. That is, the brightness determination unit 12 refers to the light and dark reference DB (database) stored in the storage device 16 described later based on the illuminance information of the imaging range of the camera 20 measured by the illuminance sensor 26. It is determined whether the imaging range of is a bright environment, a dark environment, or a medium brightness environment.
  • the illuminance information may be directly received from the illuminance sensor 26A by wireless communication, or the terminal device 50 may be used.
  • the illuminance information may be received from the illuminance sensor 26A via At that time, the brightness determination unit 12 specifies the illuminance sensor 26A included in the imaging range of the camera 20 from the position of the forklift 25 and the camera parameters (optical axis direction, zoom magnification, etc.) of the camera 20, and the specified illuminance Illuminance information is acquired from the sensor 26A.
  • the camera may compare the position of the illuminance sensor 26A indicated by the acquired position information with the position of the forklift 25.
  • the illuminance sensor 26A included in the twenty imaging ranges may be specified.
  • FIG. 10 is a diagram showing an example of the light and dark reference DB 17.
  • the light / dark reference DB 17 indicates a reference for determining whether the environment having the illuminance is a bright environment, a dark environment, or a medium brightness environment based on the illuminance (IL).
  • the environment where the illuminance is IL ⁇ 500 lx is a dark environment.
  • An environment where the illuminance is 500 ⁇ IL ⁇ 10000 is a medium brightness environment.
  • An environment in which the illuminance is IL ⁇ 10000 is a bright environment.
  • the brightness determination unit 12 determines that the imaging range of the camera 20 is a dark environment. Further, if the illuminance IL measured by the illuminance sensor 26 is 500 ⁇ IL ⁇ 10000, the brightness determination unit 12 determines that the imaging range of the camera 20 is an environment of medium brightness. Furthermore, the brightness determination unit 12 determines that the imaging range of the camera 20 is a bright environment if the illuminance IL measured by the illuminance sensor 26 is IL ⁇ 10000.
  • the detection target color determination unit 13 determines two or more detection target colors from the three colors attached to the label 90A based on the determination result of the brightness determination unit 12. That is, the detection target color determination unit 13 determines a color other than a color whose appearance changes depending on the illumination environment as the detection target color.
  • the detection target color determination unit 13 determines two green and blue colors as detection target colors excluding red.
  • the detection target color determination unit 13 determines two colors, red and green, excluding blue, as detection target colors.
  • the dark environment referred to here indicates the environment under incandescent bulb light.
  • the detection target color determination unit 13 determines the color excluding the color whose appearance changes in accordance with the type of the artificial light source as the detection target color.
  • the detection target color determination unit 13 determines three colors of red, green, and blue as detection target colors.
  • the label detection unit 14 detects the label 90A by extracting the area of the detection target color determined by the detection target color determination unit 13 from the image acquired by the image acquisition unit 11.
  • the label detection unit 14 extracts the area of the detection target color based on the pixel value on the color space of each pixel constituting the image acquired by the image acquisition unit 11 and the predetermined threshold.
  • the HSV color space is assumed as the color space.
  • hue (H), saturation (S) and lightness (V) are assumed as pixel values in the HSV color space.
  • the label detection unit 14 converts pixel values in the RGB color space into pixel values in the HSV color space, and Perform region extraction processing.
  • the conversion from pixel values in the RGB color space to pixel values in the HSV color space is performed, for example, according to Equations 1 to 3 below.
  • R, G, and B respectively represent the red component, the green component, and the blue component of the pixel before conversion.
  • MAX and MIN respectively indicate the maximum value and the minimum value of the red component, the green component, and the blue component of the pixel before conversion.
  • the label detection unit 14 for example, 95 or more and 145 or less are set as a range of green hue (H), and 70 or more and 100 or less is set as a range of green saturation (S). It is assumed that 70 or more and 100 or less are set as the range of.
  • the label detection unit 14 determines that the hue (H) of a pixel is 95 or more and 145 or less, the saturation (S) is 70 or more and 100 or less, and the lightness (V) is 70 If the number is equal to or more than 100, the pixel is extracted as a green pixel.
  • the label detection unit 14 has a range of red hue (H), saturation (S) and lightness (V), and a range of blue hue (H), saturation (S) and lightness (V). And shall be set.
  • red is the color to be detected
  • the label detection unit 14 extracts red pixels from the image using the range of the hue (H), saturation (S) and lightness (V) of red.
  • blue is the color to be detected
  • the label detection unit 14 extracts blue pixels from the image using the range of blue hue (H), saturation (S) and lightness (V).
  • the label detection unit 14 applies labeling processing to each of the green pixel, the red pixel, and the blue pixel, which are pixels to be detected, and sets pixels having the same label (sign) by the labeling process as one area. , Green area, red area or blue area.
  • the label detection unit 14 may remove the noise area by performing expansion / contraction processing or filtering processing based on the area size on each of the extracted green area, red area or blue area.
  • the label detection unit 14 determines that the image acquired by the image acquisition unit 11 includes the area of the detection target color. For example, when the detection target colors are red, green and blue, the label detection unit 14 has a red area within a predetermined distance range from the barycentric position of the green area on the image and a predetermined range from the barycentric position of the red area When a blue area exists in the distance range, it is determined that the image includes a green area, a red area and a blue area. When the label detection unit 14 determines that the area of the color to be detected is included in the image, it is assumed that the label 90A is detected in the image. Thus, the label detection unit 14 can determine that a person is present around the forklift 25.
  • the label detection unit 14 may change the range of the hue (H), the saturation (S), and the lightness (V) of each color according to the determination result of the brightness determination unit 12. By changing the range in accordance with the brightness of the imaging range of the camera 20, the label detection unit 14 can perform region extraction more accurately.
  • FIG. 11A and 11B are diagrams showing an example of a green area and a red area on an image. As shown in FIG. 11A, if the red area 82R is included in a predetermined distance range 84 indicated by a circle centered on the barycentric position 83 of the green area 82G, then from the barycentric position 83 of the green area 82G on the image. It is determined that the red region 82R exists in the predetermined distance range 84.
  • the red area 82R is not included in the predetermined distance range 84 indicated by a circle centered on the barycentric position 83 of the green area 82G, the barycenter position of the green area 82G on the image. It is determined that the red region 82R does not exist in the predetermined distance range 84 from 83.
  • the diameter of the circle of the predetermined distance range 84 may be, for example, the length of the longest side of the green region 82G.
  • the length of the longest side of the circumscribed rectangle of the green area 82G may be the diameter of the circle of the predetermined distance range 84.
  • the said diameter may be a value other than these.
  • the label detection unit 14 determines whether the extracted detection target color regions have a predetermined positional relationship by the same processing. Determine if
  • the output unit 15 outputs information according to the detection result of the label detection unit 14. For example, when the label detection unit 14 detects the label 90A, the output unit 15 transmits a predetermined sound signal to the sound output device 30 via the communication I / F, and notifies the sound output device 30. Make the sound output. Thereby, the driver is notified that there is a person around the forklift 25.
  • the output unit 15 detects a person on the display device 40 by transmitting a predetermined image signal to the display device 40 via the communication I / F. Display an image to inform. Thereby, the driver is notified that there is a person around the forklift 25.
  • the output unit 15 transmits information indicating that a person is detected to the terminal device 50 via the communication I / F, thereby the terminal device 50 is made to output processing of sound and an image, and recording processing of log information is performed. At this time, the output unit 15 may transmit information on the detection time.
  • the storage device 16 is a storage device for storing various information including the light and dark reference DB 17, and is configured of a magnetic disk, a semiconductor memory, and the like.
  • FIG. 12 is a flowchart showing the procedure of processing performed by the image processing apparatus 10 according to the first embodiment.
  • the image acquisition unit 11 acquires an image captured by the camera 20 (S1).
  • the label detection unit 14 extracts a green area from the image acquired by the image acquisition unit 11 (S2).
  • the green since the green area can be extracted without being influenced by the illumination environment, the green is regarded as an essential detection target color. Therefore, the extraction process of the green area is performed without performing the process of determining the detection target color (steps S6, S9, and S12 described later) by the detection target color determination unit 13.
  • the brightness determination unit 12 refers to the light-dark reference DB 17 based on the illuminance of the imaging range of the camera 20 measured by the illuminance sensor 26. A brightness determination process is performed to determine whether the imaging range is a bright environment, a dark environment, or a medium brightness environment (S4).
  • the detection target color determination unit 13 sets green and blue as detection target colors. It decides (S6).
  • the label detection unit 14 extracts a blue area which is an unextracted detection target color area (S7).
  • the label detection unit 14 determines whether a blue area having a predetermined positional relationship with the green area is extracted from the image (S8).
  • the label detection unit 14 detects the green area and the blue area as the label 90A, and the output unit 15 detects the detection result of the label 90A. It outputs (S15).
  • the output unit 15 causes the sound output device 30 to output a notification sound by transmitting a predetermined sound signal to the sound output device 30.
  • the detection target color determination unit 13 sets red and green as detection target colors. It decides (S9).
  • the label detection unit 14 extracts a red area which is an unextracted detection target color area (S10).
  • the label detection unit 14 determines whether a red area having a predetermined positional relationship with the green area is extracted from the image (S11).
  • the label detection unit 14 detects the red area and the green area as the label 90A, and the output unit 15 detects the detection result of the label 90A. It outputs (S15).
  • step S4 when it is determined that the imaging range of the camera 20 is an environment of medium brightness (medium in S5), the detection target color determination unit 13 detects red. Green and blue are determined as detection target colors (S12).
  • the label detection unit 14 extracts a red area and a blue area which are unextracted detection target color areas (S13).
  • the label detection unit 14 determines whether a red area and a blue area having a predetermined positional relationship with the green area are extracted from the image (S14).
  • the label detection unit 14 detects the red area, the green area, and the blue area as the label 90A, and the output unit 15 The detection result of the label 90A is output (S15).
  • step S14 if at least one of the red region and the blue region has a predetermined positional relationship with the green region, it may be determined that the label 90A is included in the image.
  • the label detection result output process may be performed also when the label 90A is not detected. That is, the output unit 15 may cause the sound output device 30 to output a notification sound indicating that the label 90A has not been detected, or causes the display device 40 to display an image indicating that the label 90A has not been detected. May be In addition, the output unit 15 may transmit, to the terminal device 50, information indicating that the label 90A has not been detected.
  • the image processing apparatus 10 repeatedly executes the process shown in FIG. 12 at a predetermined cycle (for example, at intervals of 100 msec). Thereby, the label 90A can be detected in real time.
  • a predetermined cycle for example, at intervals of 100 msec.
  • the detection target color determination unit 13 determines the brightness of the imaging range of the camera 20 out of the colors of the label 90A including the regions of three or more colors. , Determine two or more detection target colors.
  • the color to be detected can be determined except for a color whose appearance changes depending on the brightness. Therefore, the label detection unit 14 can detect the label without being affected by the illumination by extracting the area of the detection target color.
  • the brightness determination unit 12 can determine the brightness of the imaging range of the camera 20 based on the illuminance of the imaging range of the camera 20 measured by the illuminance sensor 26. Therefore, the brightness of the imaging range of the camera 20 can be easily determined.
  • the detection target color determination unit 13 detects, among red, green, and blue, a green having an intermediate wavelength, which is a color other than the longest red and the shortest blue, regardless of the illumination environment. Determined as the target color.
  • the label detection unit 14 can detect the label 90 ⁇ / b> A without being affected by the illumination because the green is a color that is less susceptible to the illumination.
  • the label detection unit 14 performs area extraction processing preferentially from the green area of the intermediate wavelength color which is the essential detection target color (S2 in FIG. 12). As a result, when the green area can not be extracted, the label detection unit 14 does not have to extract the red area or the blue area that is the other detection target color, and the processing time can be shortened.
  • the label 90A is configured of a red label 90R, a green label 90G and a blue label 90B.
  • the three primary colors of light, red, blue and green, are colors whose wavelengths are appropriately separated. Therefore, even if one of the color areas (red or blue) is affected by the illumination and is photographed as a color area different from the original color, the other two colors including the intermediate wavelength color green are It is photographed as a color area of the original color without being affected by the illumination. Therefore, by using the other two colors as the detection target color, the label can be detected without being affected by the illumination.
  • the output unit 15 causes the sound output device 30 to output a sound such as a sound indicating that the label 90A is detected, an alarm sound, or the detection result of the label 90A. Can be displayed on the display device 40.
  • the output unit 15 can also transmit information indicating the detection result of the label 90A to the terminal device 50. Thereby, the user can be notified of the detection result of the label 90A.
  • the label is composed of the blue label 90B, the red label 90R and the green label 90G, but the color of the label is not limited to these.
  • the second embodiment an example using a label composed of four color labels will be described.
  • FIG. 13 is a view showing an example of a label attached to a helmet.
  • a label 90 ⁇ / b> C is attached to the helmet 80.
  • the label 90C is composed of a blue label 90B, a red label 90R, a green label 90G and a white label 90W arranged in parallel.
  • gap regions 90S are provided between the blue label 90B and the red label 90R, between the red label 90R and the green label 90G, and between the green label 90G and the white label 90W, respectively.
  • White is achromatic with a saturation of 0 and includes various wavelengths. For this reason, the white label 90W is a label that can be detected without being affected by the brightness.
  • the label detection unit 14 extracts a white pixel in an image, the comparison between the saturation (S) and the lightness (V) of each pixel and each range is performed. Does not compare the hue (H) with the range.
  • the label detection unit 14 extracts, as white pixels, pixels having chroma (S) and lightness (V) exceeding the chroma range and the lightness range of white from the image, and extracts the extracted white pixels.
  • a white area is extracted by performing a labeling process.
  • the configuration of the image processing apparatus according to the second embodiment is the same as that shown in FIG. However, the processes of the detection target color determination unit 13 and the label detection unit 14 are partially different. Hereinafter, processing different from that of the first embodiment will be described with reference to the flowchart shown in FIG.
  • FIG. 14 is a flowchart showing the procedure of processing performed by the image processing apparatus 10 according to the second embodiment.
  • the image processing apparatus 10 executes the processes of steps S1 to S4.
  • the processes of steps S1 to S4 are the same as those shown in FIG.
  • the detection target color determination unit 13 detects green, blue and white as detection targets It determines as a color (S6A).
  • the label detection unit 14 extracts a blue area and a white area which are unextracted detection target color areas (S7A).
  • the label detection unit 14 determines whether a blue area and a white area having a predetermined positional relationship with the green area are extracted from the image (S8A).
  • the label detection unit 14 detects the green area, the blue area, and the white area as the label 90C, and the output unit 15 The detection result of the label 90C is output (S15).
  • the detection target color determination unit 13 detects red, green and white as detection targets It determines as a color (S9A).
  • the label detection unit 14 extracts a red area and a white area which are unextracted detection target color areas (S10A).
  • the label detection unit 14 determines whether a red area and a white area having a predetermined positional relationship with the green area are extracted from the image (S11A).
  • the label detection unit 14 detects the red area, the green area, and the white area as the label 90C, and the output unit 15 The detection result of the label 90C is output (S15).
  • step S4 when it is determined that the imaging range of the camera 20 is an environment of medium brightness (medium in S5), the detection target color determination unit 13 detects red. Green, blue and white are determined as detection target colors (S12A).
  • the label detection unit 14 extracts a red region, a blue region and a white region which are unextracted detection target color regions (S13A).
  • the label detection unit 14 determines whether a red area, a blue area, and a white area having a predetermined positional relationship with the green area are extracted from the image (S14A).
  • the label detection unit 14 detects the red area, the green area, the blue area and the white area as the label 90C.
  • the output unit 15 outputs the detection result of the label 90C (S15).
  • the image processing apparatus 10 repeatedly executes the process shown in FIG. 14 at a predetermined cycle (for example, at intervals of 100 msec). Thereby, the label 90C can be detected in real time.
  • a predetermined cycle for example, at intervals of 100 msec.
  • label detection can be performed using color labels of more colors than in the first embodiment. For this reason, the label can be detected without being affected by the illumination.
  • the color of the color label contained in a label is not limited to what was mentioned above, For example, you may use a black label instead of the white label 90W.
  • the label is composed of four color labels.
  • the procedure of processing performed by the image processing apparatus 10 is different from that of the second embodiment.
  • FIG. 15 is a flowchart showing the procedure of processing performed by the image processing apparatus 10 according to the modification of the second embodiment.
  • the image processing apparatus 10 executes the processes of steps S1 to S3.
  • the processes of steps S1 to S3 are the same as those shown in FIG.
  • the label detection unit 14 extracts a white area from the image acquired by the image acquisition unit 11 (S21).
  • the white is regarded as an essential detection target color. Therefore, the extraction processing of the white area is performed without performing the detection target color determination processing (steps S6A, S9A, and S12A described later) by the detection target color determination unit 13.
  • step S4 When the white area is extracted (YES in S22), the brightness determination process (step S4) is executed.
  • the brightness determination process (step S4) is the same as that shown in FIG.
  • the detection target color determination unit 13 detects green, blue and white as detection targets It determines as a color (S6A).
  • the label detection unit 14 extracts a blue area which is an unextracted detection target color area (S7).
  • the label detection unit 14 determines whether a blue area having a predetermined positional relationship with the green area and the white area is extracted from the image (S8B).
  • the label detection unit 14 detects a green area, a blue area and a white area as the label 90C, and the output unit 15 detects the label 90C.
  • the detection result is output (S15).
  • the detection target color determination unit 13 detects red, green and white as detection targets It determines as a color (S9A).
  • the label detection unit 14 extracts a red area which is an unextracted detection target color area (S10).
  • the label detection unit 14 determines whether a red area having a predetermined positional relationship with the green area and the white area is extracted from the image (S11B).
  • the label detection unit 14 detects the red area, the green area, and the white area as the label 90C, and the output unit 15 detects the label 90C.
  • the detection result is output (S15).
  • step S4 when it is determined that the imaging range of the camera 20 is an environment of medium brightness (medium in S5), the detection target color determination unit 13 detects red. Green, blue and white are determined as detection target colors (S12A).
  • the label detection unit 14 extracts a red area and a blue area which are unextracted detection target color areas (S13A).
  • the label detection unit 14 determines whether a green area and a red area and a blue area having a predetermined positional relationship with the white area are extracted from the image (S14B).
  • the label detection unit 14 detects the red area, the green area, the blue area, and the white area as the label 90C, and the output unit 15 outputs the detection result of the label 90C (S15).
  • the image processing apparatus 10 repeatedly executes the process shown in FIG. 15 at a predetermined cycle (for example, at intervals of 100 msec). Thereby, the label 90C can be detected in real time.
  • a predetermined cycle for example, at intervals of 100 msec.
  • the brightness of the imaging range of the camera 20 is determined based on the measurement result of the illuminance sensor.
  • the brightness determination is performed without using an illuminance sensor.
  • FIG. 16 is a block diagram showing the configuration of the image processing system according to the second embodiment.
  • An image processing system 1A shown in FIG. 16 includes an image processing apparatus 10A instead of the image processing apparatus 10 in the configuration of the image processing system 1 shown in FIG.
  • the image processing apparatus 10A is configured by a computer.
  • the image processing apparatus 10A includes a brightness determination unit 12A instead of the brightness determination unit 12 as a functional configuration.
  • the brightness determination unit 12A is connected to the image acquisition unit 11, and determines the brightness of the imaging range of the camera 20 based on the image acquired by the image acquisition unit 11. That is, the brightness determination unit 12A calculates the average of the luminances of the pixels included in the image acquired by the image acquisition unit 11, and refers to the light-dark reference DB 17 stored in the storage device 16 based on the calculated luminance average. And determine the brightness.
  • FIG. 17 is a diagram showing an example of the light and dark reference DB 17.
  • the light / dark reference DB 17 indicates a reference for determining whether the environment having the brightness average is a bright environment, a dark environment, or an environment of medium brightness based on the brightness average (M).
  • M brightness average
  • the environment where the luminance average is M ⁇ 50 is a dark environment.
  • An environment with a brightness average of 50 ⁇ M ⁇ 130 is a medium brightness environment.
  • An environment with a luminance average of MM130 is a bright environment. Note that the luminance has 256 gradations as an example.
  • the brightness determination unit 12 determines that the imaging range of the camera 20 is a dark environment if the calculated luminance average M is M ⁇ 50. Also, if the luminance average M is 50 ⁇ M ⁇ 130, the brightness determination unit 12 determines that the imaging range of the camera 20 is an environment of medium brightness. Furthermore, when the luminance average M is M ⁇ 130, the brightness determination unit 12 determines that the imaging range of the camera 20 is a bright environment.
  • the procedure of the process performed by the image processing apparatus 10 is the same as that of the first or second embodiment.
  • the brightness can be determined without using the illuminance sensor 26. Therefore, the brightness can be determined at low cost.
  • the forklift 25 When the forklift 25 is located indoors and the camera 20 shoots a bright outdoor environment, if the brightness determination is performed using the illuminance sensor 26, it is determined as a dark environment and shooting is performed. Results may differ from the target environment. However, when the brightness is determined using the luminance average of the image, it is determined that the environment is bright as the environment in which the camera 20 is to be imaged. For this reason, labels can be detected more correctly.
  • Embodiment 4 the brightness of the imaging range of the camera 20 is determined based on the measurement result of the illuminance sensor.
  • the brightness determination is performed without using an illuminance sensor.
  • FIG. 18 is a block diagram showing the configuration of an image processing system according to the third embodiment.
  • An image processing system 1B shown in FIG. 18 includes an image processing apparatus 10B instead of the image processing apparatus 10 in the configuration of the image processing system 1 shown in FIG.
  • the image processing apparatus 10 ⁇ / b> B is configured by a computer in the same manner as the image processing apparatus 10.
  • the image processing apparatus 10B includes a brightness determination unit 12B instead of the brightness determination unit 12 as a functional configuration.
  • the brightness determination unit 12B is connected to the camera 20, and determines the brightness of the imaging range of the camera 20 based on the imaging parameter information on the adjustment of the brightness acquired from the camera 20.
  • the brightness determination unit 12B acquires information of the exposure time (shutter speed) as imaging parameter information from the camera 20. Do.
  • the brightness determination unit 12B determines the brightness with reference to the light-dark reference DB 17 stored in the storage device 16 based on the acquired exposure time.
  • FIG. 19 is a diagram showing an example of the light and dark reference DB 17.
  • the light / dark reference DB 17 indicates, based on the exposure time (ET), a reference for determining whether the environment imaged by the camera 20 at the exposure time is a bright environment, a dark environment, or an environment of moderate brightness. It is done.
  • the environment in which the exposure time is ET> 1/30 second is a dark environment.
  • An environment in which the exposure time is 1/100 second ⁇ ET ⁇ 1/30 second is a medium brightness environment.
  • the environment in which the exposure time is ET ⁇ 1/100 second is a bright environment.
  • the brightness determination unit 12 determines that the imaging range of the camera 20 is a dark environment. In addition, if the exposure time (ET) is 1/100 seconds ⁇ ET ⁇ 1/30 seconds, the brightness determination unit 12 determines that the imaging range of the camera 20 is an environment of medium brightness. Furthermore, if the exposure time (ET) satisfies ET ⁇ 1/100 second, the brightness determination unit 12 determines that the imaging range of the camera 20 is a bright environment.
  • the procedure of the process performed by the image processing apparatus 10 is the same as that of the first or second embodiment.
  • the brightness determination unit 12B acquires an aperture value (F value) as imaging parameter information from the camera 20.
  • the brightness determination unit 12B determines the brightness of the imaging range of the camera 20 with reference to the light-dark reference DB 17 indicating the correspondence between the aperture value and the brightness based on the acquired aperture value.
  • the aperture value is increased to reduce light passing through the lens, and in a dark environment, the aperture value is decreased to increase light passing through the lens.
  • the brightness can be determined without using the illuminance sensor 26. Therefore, the brightness can be determined at low cost.
  • the brightness of the imaging range of the camera 20 is determined based on one item among the illuminance, the luminance average, the exposure time, and the like. However, the brightness may be determined based on two or more items.
  • the brightness determination unit 12 refers to the light-dark reference DB 17 based on the illuminance of the imaging range of the camera 20 measured by the illuminance sensor 26 and the exposure time of the camera 20, and the brightness of the imaging range of the camera 20 May be determined.
  • FIG. 20 is a diagram showing an example of the light and dark reference DB 17.
  • the light and dark reference DB 17 has the illuminance based on the illuminance (IL) and the exposure time (ET), and the environment imaged by the camera 20 at the exposure time is bright or dark or moderate brightness.
  • the criteria for determining whether the environment is For example, according to the light and dark reference DB 17 shown in FIG. 20, the environment in which the illuminance is IL ⁇ 500 lx and the exposure time is ET> 1/30 second is a dark environment. An environment in which the illuminance is IL ⁇ 10000 and the exposure time is ET ⁇ 1/100 second is a bright environment. Otherwise, it is a medium brightness environment.
  • the brightness determination unit 12 determines the brightness of the imaging range of the camera 20 with reference to the light and dark reference DB 17 based on (IL) measured by the illuminance sensor 26 and the exposure time (ET) acquired from the camera 20. .
  • the brightness of the imaging range of the camera 20 can be determined based on a plurality of items. Therefore, the brightness can be determined more accurately.
  • the labels may be attached to clothing, armbands, etc. worn by a person.
  • FIG. 21 is a front view of a person.
  • the person wears an armband with a label 90F attached to both arms.
  • the label 90F comprises a blue label 90B, a red label 90R and a green label 90G, and a gap area 90S is provided between the labels.
  • the target to which the label is attached is not limited to a person.
  • a label may be attached to the object to be detected.
  • FIG. 22 is an external view of a cardboard box.
  • a label 90D is attached to the cardboard box.
  • the label 90D comprises a blue label 90B, a red label 90R and a green label 90G, and a gap area 90S is provided between the labels.
  • a label may be attached to the entrance prohibition place.
  • FIG. 23 is a view schematically showing a road on which the forklift 25 travels.
  • the entry prohibited road 101 On the road 100 on which the forklift 25 travels, for example, the entry prohibited road 101, the entry prohibited road 102 and the entry prohibited area 103 in which the entry of the forklift 25 is prohibited are provided.
  • a label 90J and a label 90K are attached in the vicinity of the entrance of the no entry road 101 and the no entry road 102.
  • a label 90L is attached around the entry prohibited area 103.
  • Each of the labels 90J, 90K and 90L is composed of a blue label 90B, a red label 90R and a green label 90G.
  • the image processing apparatus 10 can detect that the forklift 25 has approached the entry prohibited place (the entry prohibited road 101, the entry prohibited road 102 or the entry prohibited area 103).
  • the image processing device 10 outputs a notification sound from the sound output device 30 or the display device 40 in order to notify the driver of the forklift 25 and the user around the forklift 25 that the forklift 25 has approached the entry prohibited place.
  • the terminal device 50 transmits information indicating that it has approached a no-entry area.
  • the system LSI is a super-multifunctional LSI manufactured by integrating a plurality of components on one chip, and more specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • the present invention can also be realized as a computer program that implements the method described above by a computer.
  • a computer program can also be distributed by being recorded in a computer readable non-transitory recording medium, such as an HDD, a CD-ROM, a semiconductor memory, etc., a telecommunication line, a wireless or wired communication line, It can also be transmitted via a network represented by the Internet, data broadcasting, and the like.
  • the image processing apparatus 10 may be realized by a plurality of computers.
  • some or all of the functions of the image processing apparatus 10 may be provided by cloud computing. That is, some or all of the functions of the image processing apparatus 10 may be realized by the cloud server.
  • the function of the label detection unit 14 is realized by the cloud server, and the image processing apparatus 10 transmits the image and information of the detection target color to the cloud server, and the detection result of the label from the cloud server May be acquired.
  • the above embodiment and the above modification may be combined respectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置は、カメラで撮像されたカラーの画像を取得する画像取得部と、カメラの撮像範囲の明るさを判定する明るさ判定部と、明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、画像取得部が取得した画像から、検出対象色決定部が決定した検出対象色の領域を抽出することにより、ラベルを検出するラベル検出部とを備える。

Description

画像処理装置、コンピュータプログラム、および画像処理システム
　本発明は、画像処理装置、コンピュータプログラム、および画像処理システムに関する。
　本出願は、２０１７年７月３日出願の日本出願第２０１７－１３０１９４号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
　従来、複数の色領域を含むラベルが物体を認識するために用いられている。例えば、特許文献１には、ラベルの一例として、マークと呼ばれる色領域を複数含む二次元コードが開示されている。二次元コードに含まれるマークの色およびマークの位置により、所定の情報がエンコードされる。つまり、二次元コードは、所定の情報を表す。このため、カメラで二次元コードを撮影した画像から、複数のマークを検出し、検出したマークの色およびマークの位置に基づいて、情報をデコードすることができる。
特開２０１１－０７６３９５号公報
　（１）本開示の画像処理装置は、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。
　（７）本開示のコンピュータプログラムは、コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。
　（８）本開示の画像処理システムは、検出対象物に取り付けられる、３色以上の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。
　なお、本開示は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部が実行する処理をステップとして含む画像処理方法として実現することができる。また、上述のコンピュータプログラムを、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、画像処理装置の一部又は全部を実現する半導体集積回路として実現することもできる。
実施の形態１に係る画像処理システムの取付例を示す図である。 実施の形態１に係る画像処理システムの構成を示すブロック図である。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを上方から見た図である。 各色ラベルのマンセル表色系（ＪＩＳＺ８７２１）における表現を示す図である。 各色ラベルの分光反射率を示す図である。 太陽光の分光分布を示す図である。 太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。 白熱電球の光の分光分布を示す図である。 白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。 明暗基準ＤＢの一例を示す図である。 画像上の緑色領域と赤色領域との一例を示す図である。 画像上の緑色領域と赤色領域との一例を示す図である。 実施の形態１に係る画像処理装置が実行する処理の手順を示すフローチャートである。 ヘルメットに貼り付けられたラベルの一例を示す図である。 実施の形態２に係る画像処理装置が実行する処理の手順を示すフローチャートである。 実施の形態２の変形例に係る画像処理装置が実行する処理の手順を示すフローチャートである。 実施の形態２に係る画像処理システムの構成を示すブロック図である。 明暗基準ＤＢの一例を示す図である。 実施の形態３に係る画像処理システムの構成を示すブロック図である。 明暗基準ＤＢの一例を示す図である。 明暗基準ＤＢの一例を示す図である。 人物を正面から見た図である。 段ボール箱の外観図である。 フォークリフトが走行する道路を模式的に示す図である。
[本開示が解決しようとする課題]
　しかし、マークの色は、照明の影響を受けやすく、同じ色のマークであっても、照明が異なると、異なる色のマークとしてカメラに撮影される場合がある。具体的には、日中の屋外のように太陽光下で赤色マークを撮影した場合には、赤色マークが黄色く映る場合がある。また、屋内の白熱電球光下で青色マークを撮影した場合には、青色マークが黒く映る場合がある。マークが本来の色とは異なる色の領域として撮影された場合には、二次元コードの誤検出や、情報の誤認識を起こしてしまう。
　そこで、照明の影響を受けずに、複数の色領域を含むラベルを検出することのできる画像処理装置、コンピュータプログラム、および画像処理システムを提供することを目的とする。
[本開示の効果]
　本開示によると、照明の影響を受けずに、複数の色領域を含むラベルを検出することができる。
［本願発明の実施形態の概要］
　最初に本開示の実施形態の概要を列記して説明する。
　（１）本開示の一実施形態に係る画像処理装置は、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。
　この構成によると、３色以上の領域を含むラベルの色の中から、カメラの撮像範囲の明るさに基づいて、２色以上の検出対象色が決定される。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。
　（２）好ましくは、前記明るさ判定部は、前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定する。
　この構成によると、カメラの撮像範囲の明るさを容易に判定することができる。特に、画像または撮像パラメータに基づいて明るさを判定する場合には、明るさ判定のための特別な装置を設ける必要がないため、低コストで明るさを判定することができる。
　（３）また、前記検出対象色決定部は、前記３色以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定してもよい。
　カメラの撮像範囲が明るい場合には、波長の長い色が本来の色とは異なる色として撮影され、カメラの撮像範囲が暗い場合には、波長の短い色が本来の色とは異なる色として撮影される。このため、少なくともこれらの色を除く中間波長色は、照明の影響を受けにくい。よって、この構成によると、照明の影響を受けずに、ラベルを検出することができる。
　（４）また、前記ラベル検出部は、前記中間波長色の領域から順に前記検出対象色の領域を抽出してもよい。
　この構成によると、最も照明の影響を受けにくい中間波長色の領域から優先して、領域抽出を行うことができる。よって、中間波長色の領域が抽出できなかった場合には、他の検出対象色の領域を抽出する必要がなく、処理時間を短縮することができる。
　（５）また、前記ラベルは、赤色領域、青色領域および緑色領域を含んでもよい。
　光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。
　（６）また、上述の画像処理装置は、さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備えてもよい。
　この構成によると、例えば、ラベルを検出した際に、ラベルを検出したことを示す音声、アラーム音等の音をスピーカーから出力させたり、ラベルの検出結果を示す画像をディスプレイ装置に表示させたりできる。これにより、ユーザに、ラベルの検出結果を通知することができる。
　（７）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。
　この構成によると、コンピュータを、上述の画像処理装置として実現することができる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。
　（８）本開示の他の実施形態に係る画像処理システムは、検出対象物に取り付けられる、３色以上の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。
　この構成には、上述の画像処理装置が含まれる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。
［本願発明の実施形態の詳細］
　以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。
（実施の形態１）
　以下、実施の形態１に係る画像処理システムについて説明する。
［画像処理システムの構成］
　図１は、実施の形態１に係る画像処理システムの取付例を示す図である。図２は、実施の形態１に係る画像処理システムの構成を示すブロック図である。
　以下では、フォークリフトにカメラおよび画像処理装置を設置した画像処理システムについて説明するが、カメラおよび画像処理装置の設置される場所はフォークリフトに限定されるものではない。例えば、自動車にこれらが取り付けられていてもよいし、カメラを所定エリアの監視用途に用いる場合には、当該エリアを撮像可能な場所にカメラを設置してもよい。
　画像処理システム１は、フォークリフト２５の周囲を監視するためのシステムであり、カメラ２０と、照度センサ２６と、画像処理装置１０と、音出力装置３０と、表示装置４０と、端末装置５０とを備える。なお、図１および図２に示す画像処理システム１の構成は一例であり、例えば、音出力装置３０、表示装置４０および端末装置５０のいずれかが備えられていなくてもよい。
　カメラ２０は、例えば、フォークリフト２５の後方を撮像可能な位置（例えば、フォークリフト２５のフォークヘッドガード後端位置など）に取り付けられ、フォークリフト２５の後方のカラー画像を撮像する。カメラ２０のカメラレンズは、例えば、画角１２０°以上の超広角レンズである。
　フォークリフト２５の後方には、フォークリフト２５の撮像領域２１から外れる死角領域２２が生じる場合がある。この死角領域２２をカバーするために、フォークリフト２５の撮像領域２１内にミラー６０が設置されている。つまり、カメラ２０がミラー６０越しに撮像した場合の撮像領域６１が死角領域２２をカバーするようにミラー６０を配置することにより、カメラ２０が、死角領域２２に存在する人物７２を撮像することができる。なお、死角領域２２を撮像するために、ミラー６０の代わりに、カメラ２０とは異なる他のカメラを配置してもよい。
　照度センサ２６は、受光素子に入射した光を電流に変換して照度を測定するセンサである。照度センサ２６は、例えば、フォークリフト２５の天井部分等に配置され、カメラ２０の撮像範囲に含まれる位置の照度を測定する。なお、照度センサ２６は、カメラ２０の近傍または撮像領域２１内に設けられるのが望ましい。また、照度センサ２６は、カメラ２０の光軸方向の照度を測定可能なように、該光軸方向と平行な向きに取り付けられるのが望ましい。
　なお、照度センサ２６は、必ずしもフォークリフト２５に設置されていなくてもよい。例えば、照度センサ２６Ａが、フォークリフト２５の走行可能範囲内に予め設置されていてもよい。つまり、照度センサ２６Ａが、フォークリフト２５の走行経路上や走行経路の近傍に設置されていてもよい。ここで、照度センサ２６Ａは、照度センサ２６と同様に周囲の照度を測定するセンサである。
　また、照度センサ２６または２６Ａによる照度の測定範囲は、カメラ２０の撮影範囲に含まれていることが望ましいが、数ｍ程度であれば、測定範囲および撮影範囲が多少ずれていても良い。多少の位置ずれにより照度が急激に変化することは考えにくいため、この程度のずれであれば、画像処理の結果に影響を及ぼさないと考えられるからである。
　画像処理装置１０は、フォークリフト２５に設置されたコンピュータである。画像処理装置１０は、カメラ２０に接続され、カメラ２０が撮像した撮像領域２１および６１の画像から、人物７１および７２を検出する。なお、本実施の形態では、人物７１および７２には、必ず所定の３色以上の領域が所定の位置関係で配置されているラベルを付けているものとする。
　図３Ａは、人物が被るヘルメットを側方から見た図であり、図３Ｂは、そのヘルメットを上方から見た図である。
　図３Ａおよび図３Ｂに示すように、ヘルメット８０には、ラベル９０Ａが貼り付けられている。ラベル９０Ａは、平行に配置された青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成される。図３Ａに示すように、ヘルメット８０の幅が２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ａの幅は約６０ｍｍ、長さは約１８０ｍｍ以上２５０ｍｍ以下とすることができる。
　なお、青ラベル９０Ｂおよび赤ラベル９０Ｒとの間、および赤ラベル９０Ｒと緑ラベル９０Ｇとの間には、それぞれ間隙領域９０Ｓが設けられている。間隙領域９０Ｓは、例えば黒色の領域であり、２～３ｍｍの幅を有する。間隙領域９０Ｓを設けることにより、フォークリフト２５の走行時の振動などによりカメラ２０で撮像された画像に乱れが生じている場合であっても、ある色ラベルの色が隣接する色ラベルの色と混じり合って撮像されるのを防止することができる。
　図３Ｂに示すように、同様のラベル９０Ａがヘルメット８０の上方にも貼り付けられている。また、ラベル９０Ａは、ヘルメット８０の反対側の側面および前後にも貼り付けられている。このように、あらゆる箇所にラベル９０Ａを貼り付けることで、人物がどのような姿勢（直立、しゃがみ込み等）を行っても、いずれかのラベル９０Ａがカメラ２０に撮像されるようにすることができる。
　ラベル９０Ａは、光の３原色のラベルである赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂから構成されている。
　図４は、各色ラベルのマンセル表色系（ＪＩＳＺ８７２１）における表現を示す図である。
　図４において、Ｈ、Ｖ、Ｃは、それぞれマンセル表色系における色相、明度、彩度を示す。つまり、赤ラベル９０Ｒの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ～７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。緑ラベル９０Ｇの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ～２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。青ラベル９０Ｂの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ～５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。ただし、ラベル９０Ａは、光の３原色のラベルから構成されるものには限定されず、それ以外の色のラベルから構成されていてもよい。
　図５は、各色ラベルの分光反射率を示す図である。横軸は波長（ｎｍ）を示し、縦軸は分光反射率（％）を示す。
　図５に示すように、赤ラベル９０Ｒが示す赤色は、波長７００ｎｍ付近に分光反射率のピークを有する。緑ラベル９０Ｇが示す緑色は、波長５４６．１ｎｍ付近に分光反射率のピークを有する。青ラベル９０Ｂが示す青色は、波長４３５．８ｎｍ付近に分光反射率のピークを有する。なお、各色の分光反射率のピークは上記した値に限定されるものではない。例えば、赤色は、波長７００±３０ｎｍに分光反射率のピークを有していればよい。緑色は、波長５４６．１±３０ｎｍに分光反射率のピークを有していればよい。青色は、波長４３５．８±３０ｎｍに分光反射率のピークを有していればよい。
　また、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇは、蛍光テープにより構成されていたり、これらのラベルに蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。
　図１を参照して、画像処理装置１０は、カメラ２０が撮像した画像からラベル９０Ａを検出することにより、人物の検出を行う。なお、画像処理装置１０の詳細な構成については後述する。
　音出力装置３０は、例えば、フォークリフト２５のドライバーの座席付近に設置され、スピーカーを含んで構成される。音出力装置３０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことをドライバーに通知するメッセージ音声やアラーム音などの通知音を出力する。
　表示装置４０は、例えば、フォークリフト２５のドライバーが視認可能な位置に設置され、液晶ディスプレイなどを含んで構成される。表示装置４０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像を表示する。
　端末装置５０は、例えば、フォークリフト２５を管理する管理室などフォークリフト２５と離れた場所に設置されるコンピュータである。端末装置５０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像または音を出力したり、人物７１または人物７２を検出したことを時刻情報とともにログ情報として記録したりする。なお、端末装置５０と画像処理装置１０との間は、４Ｇなどの通信規格に従った携帯電話回線や、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）により接続されていてもよい。
　なお、端末装置５０は、人物７１または７２が携帯するスマートフォンなどであってもよい。これにより、画像処理装置１０により自身が検出されたこと、つまり、近くにフォークリフト２５が存在することを、人物７１または７２に通知することができる。
　なお、画像処理装置１０、カメラ２０、音出力装置３０および表示装置４０の機能が、スマートフォンやカメラ付のコンピュータなどに備えられていてもよい。例えば、図１に示したカメラ２０の位置に、スマートフォンを取り付けることにより、スマートフォンが撮像した画像を、スマートフォンが処理して、人物７１および７２を検出する。また、スマートフォンが検出結果を音または画像により通知する。ただし、スマートフォンがカメラ２０の位置に取り付けられている場合には、ドライバーは画像を見ることができない。このため、別のタブレット装置などをドライバーが視認可能な位置に設置し、タブレット装置がスマートフォンから送信された画像を表示するようにしてもよい。タブレット装置とスマートフォンとの間は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信規格に従い無線接続されていてもよい。
［照明環境によるラベルの色の見え方の変化について］
　次に、照明環境によって、ラベル９０Ａの色の見え方が変化する現象について説明する。
　図６は、太陽光の分光分布を示す図である。横軸が波長を示し、縦軸が放射エネルギーを示す。
　太陽光に含まれる赤色、緑色および青色の光の成分を比較すると、赤色の光の成分が、緑色および青色の光の成分よりも少ない。このため、太陽を光源とする屋外でカメラ２０が赤色領域を撮影した場合には、カメラ２０が受光する赤色成分の光が相対的に弱くなる。よって、画像上では赤色領域が黄色領域として映る場合がある。
　図７は、太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。図７に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、太陽光の影響により、赤色成分の光の強度が弱い。このため、画像上では赤ラベル９０Ｒが、黄色いラベルとして映ってしまう。
　図８は、白熱電球の光の分光分布を示す図である。横軸が波長を示し、縦軸が比エネルギーを示す。比エネルギーは、測定した波長範囲での発光強度の最大値を１００％とした場合の相対的な強度を示す。
　白熱電球光に含まれる赤色、緑色および青色の光の成分を比較すると、青色の成分が赤色および緑色の成分よりも少ない。このため、白熱電球を光源とする屋内でカメラ２０が青色領域を撮影した場合には、カメラ２０が受光する青色成分の光が相対的に弱くなる。よって、画像上では青色領域が黒色領域として映る場合がある。
　図９は、白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。図９に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、白熱電球光の影響により、青色成分の光の強度が弱い。このため、画像上では青ラベル９０Ｂが、黒色のラベルとして映ってしまう。
　なお、暗い環境で用いられる照明は、白熱電球に限定されるものではなく、その他の色の電球であってもよいし、蛍光灯やＬＥＤ（Light Emitting Diode）照明等であってもよい。
　このように、照明の影響により各色ラベルの色の見え方が変化する場合がある。本実施の形態では、照明の影響を受けずに、ラベル９０Ａを検出することのできる画像処理装置１０について、以下説明する。
［画像処理装置１０の構成］
　図２を参照して、画像処理装置１０の機能的な構成についてより詳細に説明する。
　画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信Ｉ／Ｆ（インタフェース）、タイマーなどを備える一般的なコンピュータにより構成される。画像処理装置１０は、ＨＤＤまたはＲＯＭからＲＡＭに読み出したコンピュータプログラムを実行することにより実現される機能的な構成として、画像取得部１１と、明るさ判定部１２と、検出対象色決定部１３と、ラベル検出部１４と、出力部１５とを備える。また、画像処理装置１０は、記憶装置１６を備える。
　画像取得部１１は、通信Ｉ／Ｆを介して、カメラ２０が撮像したカラーの画像を取得する。つまり、図１に示した撮像領域２１および６１をカメラ２０が撮像した画像を取得する。
　明るさ判定部１２は、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度情報に基づいて、後述する記憶装置１６に記憶されている明暗基準ＤＢ（データベース）を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する。
　なお、明るさ判定部１２が、フォークリフト２５以外に設置された照度センサ２６Ａから照度情報を取得する場合には、無線通信により照度センサ２６Ａから照度情報を直接受信してもよいし、端末装置５０を経由して照度センサ２６Ａから照度情報を受信してもよい。その際、明るさ判定部１２は、フォークリフト２５の位置とカメラ２０のカメラパラメータ（光軸方向、ズーム倍率等）とから、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定し、特定した照度センサ２６Ａから照度情報を取得する。なお、明るさ判定部１２は、照度センサ２６Ａから照度情報とともに位置情報を取得可能であれば、取得した位置情報が示す照度センサ２６Ａの位置と、フォークリフト２５の位置とを比較することにより、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定してもよい。
　図１０は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、照度（ＩＬ）に基づいて、当該照度を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘの環境は、暗い環境である。照度が５００≦ＩＬ＜１００００の環境は、中程度の明るさの環境である。照度がＩＬ≧１００００の環境は、明るい環境である。
　つまり、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ＜５００ｌｘであれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬが５００≦ＩＬ＜１００００であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ≧１００００であれば、カメラ２０の撮像範囲は明るい環境であると判定する。
　検出対象色決定部１３は、明るさ判定部１２の判定結果に基づいて、ラベル９０Ａに付された３色の中から２色以上の検出対象色を決定する。つまり、検出対象色決定部１３は、照明環境によって、見え方が変化する色を除く色を検出対象色として決定する。
　具体的には、明るい環境では、赤色領域が黄色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が明るい環境と判定した場合には、赤色を除く、緑色および青色の２色を検出対象色として決定する。
　また、暗い環境では、青色領域が黒色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が暗い環境と判定した場合には、青色を除く、赤色および緑色の２色を検出対象色として決定する。
　ただし、ここで言う暗い環境は白熱電球光下の環境を示している。このため、蛍光灯やＬＥＤ照明などの他の人工光源下では、見え方が変化する色が青色とは限らない。このため、人工光源が白熱電球以外の場合には、検出対象色決定部１３は、人工光源の種類に応じて、見え方が変化する色を除いた色を、検出対象色として決定する。
　中程度の明るさの環境で、赤色領域、緑色領域および青色領域をカメラ２０で撮影した場合には、カメラ２０が受光する光の強度は各領域間で大差がないと考えられる。このため、検出対象色決定部１３は、明るさ判定部１２が中程度の明るさの環境と判定した場合には、赤色、緑色および青色の３色を検出対象色として決定する。
　ラベル検出部１４は、画像取得部１１が取得した画像から、検出対象色決定部１３が決定した検出対象色の領域を抽出することにより、ラベル９０Ａを検出する。
　具体的には、ラベル検出部１４は、画像取得部１１が取得した画像を構成する各画素の色空間上の画素値と所定の閾値とに基づいて、検出対象色の領域を抽出する。ここでは、色空間としてＨＳＶ色空間を想定する。また、ＨＳＶ色空間上の画素値として、色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を想定する。
　なお、画像取得部１１が取得した画像がＲＧＢ色空間の画素値から構成される場合には、ラベル検出部１４は、ＲＧＢ色空間の画素値をＨＳＶ色空間の画素値に変換した上で、領域抽出処理を行う。ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は例えば、以下の式１～式３に従い実行される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。また、MAXおよびMINは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分の最大値および最小値を表す。
　ラベル検出部１４には、例えば、緑色の色相（Ｈ）の範囲として、９５以上１４５以下が設定され、緑色の彩度（Ｓ）の範囲として７０以上１００以下が設定され、緑色の明度（Ｖ）の範囲として７０以上１００以下が設定されているものとする。緑色が検出対象色の場合には、ラベル検出部１４は、ある画素の色相（Ｈ）が９５以上かつ１４５以下で、彩度（Ｓ）が７０以上かつ１００以下で、明度（Ｖ）が７０以上かつ１００以下である場合に、当該画素を緑色画素として抽出する。
　ラベル検出部１４には、同様に、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲と、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲とが設定されているものとする。赤色が検出対象色の場合には、ラベル検出部１４は、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲を用いて、画像中から赤色画素を抽出する。青色が検出対象色の場合には、ラベル検出部１４は、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲を用いて、画像中から青色画素を抽出する。
　ラベル検出部１４は、検出対象色の画素である緑色画素、赤色画素または青色画素に対してそれぞれラベリング処理を施し、ラベリング処理により同一のラベル（符号）が付された画素同士を１つの領域として、緑色領域、赤色領域または青色領域を抽出する。なお、ラベル検出部１４は、抽出した緑色領域、赤色領域または青色領域の各々に対して膨張収縮処理や領域サイズによるフィルタリング処理を施すことによりノイズ領域を除去してもよい。
　ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有している場合には、画像取得部１１が取得した画像に検出対象色の領域が含まれると判定する。例えば、検出対象色が赤色、緑色および青色の場合には、ラベル検出部１４は、画像上で緑色領域の重心位置から所定距離範囲内に赤色領域が存在し、かつ赤色領域の重心位置から所定距離範囲内に青色領域が存在する場合に、画像に緑色領域、赤色領域および青色領域が含まれると判定する。ラベル検出部１４は、画像に検出対象色の領域が含まれると判定した場合には、画像中でラベル９０Ａを検出したこととする。これにより、ラベル検出部１４は、フォークリフト２５の周囲に人物が存在すると判定することができる。
　なお、ラベル検出部１４は、明るさ判定部１２の判定結果に応じて、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲を変更してもよい。カメラ２０の撮像範囲の明るさに応じて範囲を変更することで、ラベル検出部１４は、より正確に領域抽出を行うことができる。
　図１１Ａおよび図１１Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。図１１Ａに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていれば、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在すると判定される。
　一方、図１１Ｂに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていなければ、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在しないと判定される。
　ここで、所定距離範囲８４の円の直径は、例えば、緑色領域８２Ｇの最も長い辺の長さとしてもよい。緑色領域８２Ｇが矩形以外の領域の場合には、緑色領域８２Ｇの外接矩形の最も長い辺の長さを、所定距離範囲８４の円の直径としてもよい。ただし、当該直径は、これら以外の値でもよい。
　なお、検出対象色の組み合わせが、赤色、緑色および青色以外の場合であっても、同様の処理により、ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有するか否かを判定する。
　出力部１５は、ラベル検出部１４の検出結果に応じた情報を出力する。例えば、ラベル検出部１４がラベル９０Ａを検出した場合には、出力部１５は、通信Ｉ／Ｆを介して音出力装置３０に対して所定の音信号を送信すること、音出力装置３０に通知音を出力させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。
　また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して表示装置４０に所定の画像信号を送信することで、表示装置４０に人物を検出したことを知らせる画像を表示させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。
　また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して端末装置５０に対して、人物を検出したことを示す情報を送信することで、端末装置５０に音や画像の出力処理をさせたり、ログ情報の記録処理をさせたりする。出力部１５は、その際に、検出時刻の情報を送信してもよい。
　記憶装置１６は、明暗基準ＤＢ１７を含む各種情報を記憶するための記憶装置であり、磁気ディスクや半導体メモリなどにより構成される。
［画像処理装置１０の処理の流れ］
　次に、画像処理装置１０が実行する処理の流れについて説明する。
　図１２は、実施の形態１に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。
　図１２を参照して、画像取得部１１は、カメラ２０が撮像した画像を取得する（Ｓ１）。
　ラベル検出部１４は、画像取得部１１が取得した画像から、緑色領域を抽出する（Ｓ２）。なお、緑色領域は、照明環境に影響されずに抽出可能であるため、緑色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６、Ｓ９およびＳ１２）を行うことなく、緑色領域の抽出処理が実行される。
　緑色領域が抽出されなかった場合には（Ｓ３でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する明るさ判定処理を実行する（Ｓ４）。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色および青色を検出対象色として決定する（Ｓ６）。
　ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。
　ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８）。
　所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する青色領域が抽出された場合には（Ｓ８でＹＥＳ）、ラベル検出部１４は、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。例えば、出力部１５は、音出力装置３０に対して所定の音信号を送信することにより、音出力装置３０に通知音を出力させる。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色および緑色を検出対象色として決定する（Ｓ９）。
　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。
　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１）。
　所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１でＹＥＳ）、ラベル検出部１４は、赤色領域および緑色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色および青色を検出対象色として決定する（Ｓ１２）。
　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３）。
　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４）。
　所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４でＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。
　なお、ステップＳ１４において、赤色領域および青色領域のうちの少なくとも一方の領域が緑色領域と所定の位置関係を有していれば、画像中にラベル９０Ａが含まれると判定してもよい。
　また、ラベル検出結果出力処理（ステップＳ１５）は、ラベル９０Ａが検出されなかった場合にも行うことにしてもよい。つまり、出力部１５は、ラベル９０Ａが検出されなかったことを示す通知音を音出力装置３０に出力させてもよいし、ラベル９０Ａが検出されなかったことを示す画像を表示装置４０に表示させてもよい。また、出力部１５は、ラベル９０Ａが検出されなかったことを示す情報を端末装置５０に送信してもよい。
　画像処理装置１０は、図１２に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ａを検出することができる。
［実施の形態１の効果］
　以上説明したように、本発明の実施の形態１によると、検出対象色決定部１３は、３色以上の領域を含むラベル９０Ａの色の中から、カメラ２０の撮像範囲の明るさに基づいて、２色以上の検出対象色を決定する。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、ラベル検出部１４が検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。
　また、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、カメラ２０の撮像範囲の明るさを容易に判定することができる。
　また、検出対象色決定部１３は、赤色、緑色および青色のうち、最も波長の長い赤色と最も波長の短い青色以外の色である中間波長色の緑色を、照明環境によらずに必須の検出対象色と決定する。緑色は照明の影響を受けにくい色であることより、ラベル検出部１４は、照明の影響を受けずに、ラベル９０Ａを検出することができる。
　また、ラベル検出部１４は、必須の検出対象色である中間波長色の緑色の領域から優先して、領域抽出処理を行っている（図１２のＳ２）。これにより、緑色領域が抽出できなかった場合には、ラベル検出部１４は、他の検出対象色である赤色領域または青色領域を抽出する必要がなく、処理時間を短縮することができる。
　また、ラベル９０Ａは、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂから構成される。光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色（赤色または青色）の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、中間波長色ある緑色を含む他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。
　また、出力部１５は、ラベル検出部１４がラベル９０Ａを検出した際に、ラベル９０Ａを検出したことを示す音声、アラーム音等の音を音出力装置３０から出力させたり、ラベル９０Ａの検出結果を示す画像を表示装置４０に表示させたりできる。また、出力部１５は、ラベル９０Ａの検出結果を示す情報を端末装置５０に送信することもできる。これにより、ユーザに、ラベル９０Ａの検出結果を通知することができる。
（実施の形態２）
　実施の形態１では、ラベルは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成されるものとしたが、ラベルの色はこれらに限定されるものではない。実施の形態２では、４色の色ラベルから構成されるラベルを用いた例を説明する。
　図１３は、ヘルメットに貼り付けられたラベルの一例を示す図である。図１３に示すように、ヘルメット８０には、ラベル９０Ｃが貼り付けられている。ラベル９０Ｃは、平行に配置された青ラベル９０Ｂ、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび白ラベル９０Ｗから構成される。また、青ラベル９０Ｂおよび赤ラベル９０Ｒとの間、赤ラベル９０Ｒと緑ラベル９０Ｇとの間、および緑ラベル９０Ｇと白ラベル９０Ｗとの間には、それぞれ間隙領域９０Ｓが設けられている。
　白色は、彩度が０の無彩色であり、様々な波長を含む。このため、白ラベル９０Ｗは、明るさに影響されずに検出可能なラベルである。
　なお、白色は無彩色であることより、ラベル検出部１４が画像中の白色画素を抽出する際には、各画素の彩度（Ｓ）および明度（Ｖ）と、それぞれの範囲との比較を行い、色相（Ｈ）と範囲との比較は行わない。これにより、ラベル検出部１４は、画像中から、白色の彩度範囲および明度範囲をそれぞれ超える彩度（Ｓ）および明度（Ｖ）を有する画素を、白色画素として抽出し、抽出した白色画素をラベリング処理することにより、白色領域を抽出する。
　実施の形態２に係る画像処理装置の構成は、図２に示したものと同様である。ただし、検出対象色決定部１３およびラベル検出部１４の処理が一部異なる。以下、図１４に示すフローチャートを参照しながら、実施の形態１と異なる処理について説明する。
　図１４は、実施の形態２に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。
　画像処理装置１０は、ステップＳ１～Ｓ４の処理を実行する。ステップＳ１～Ｓ４の処理は、図１２に示したものと同様である。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。
　ラベル検出部１４は、未抽出の検出対象色領域である青色領域および白色領域を抽出する（Ｓ７Ａ）。
　ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ８Ａ）。
　所定の位置関係を有する青色領域および白色領域が抽出されなかった場合には（Ｓ８ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する青色領域および白色領域が抽出された場合には（Ｓ８ＡでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。
　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および白色領域を抽出する（Ｓ１０Ａ）。
　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１１Ａ）。
　所定の位置関係を有する赤色領域および白色領域が抽出されなかった場合には（Ｓ１１ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する赤色領域および白色領域が抽出された場合には（Ｓ１１ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。
　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域、青色領域および白色領域を抽出する（Ｓ１３Ａ）。
　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域、青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１４Ａ）。
　所定の位置関係を有する赤色領域、青色領域および白色領域が抽出されなかった場合には（Ｓ１４ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する赤色領域、青色領域および白色領域が抽出された場合には（Ｓ１４ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
　画像処理装置１０は、図１４に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。
　本発明の実施の形態２によると、実施の形態１に比べて、より多くの色の色ラベルを用いて、ラベル検出を行うことができる。このため、より照明の影響を受けずに、ラベルを検出することができる。なお、ラベルに含まれる色ラベルの色は、上記したものには限定されず、例えば、白ラベル９０Ｗの代わりに、黒ラベルを用いてもよい。
（実施の形態２の変形例）
　本変形例では、実施の形態２と同様に、ラベルは４色の色ラベルから構成されるものとする。ただし、画像処理装置１０が実行する処理の手順が実施の形態２とは異なる。
　図１５は、実施の形態２の変形例に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。
　画像処理装置１０は、ステップＳ１～Ｓ３の処理を実行する。ステップＳ１～Ｓ３の処理は、図１２に示したものと同様である。
　緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、ラベル検出部１４は、画像取得部１１が取得した画像から、白色領域を抽出する（Ｓ２１）。なお、白色領域は、照明環境に影響されずに抽出可能であるため、白色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６Ａ、Ｓ９ＡおよびＳ１２Ａ）を行うことなく、白色領域の抽出処理が実行される。
　白色領域が抽出されなかった場合には（Ｓ２２でＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　白色領域が抽出された場合には（Ｓ２２でＹＥＳ）、明るさ判定処理（ステップＳ４）を実行する。明るさ判定処理（ステップＳ４）は、図１２に示したものと同様である。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。
　ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。
　ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８Ｂ）。
　所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する青色領域が抽出された場合には（Ｓ８ＢでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。
　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。
　ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１Ｂ）。
　所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。
　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３Ａ）。
　ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４Ｂ）。
　所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
　所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
　画像処理装置１０は、図１５に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。
（実施の形態３）
　実施の形態１および２では、照度センサの測定結果に基づいて、カメラ２０の撮像範囲の明るさを判定した。実施の形態３では、照度センサを用いずに明るさ判定を行う例について説明する。
　図１６は、実施の形態２に係る画像処理システムの構成を示すブロック図である。図１６に示す画像処理システム１Ａは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ａを備える。
　画像処理装置１０Ａは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ａは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ａを備える。
　明るさ判定部１２Ａは、画像取得部１１に接続され、画像取得部１１が取得した画像に基づいて、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２Ａは、画像取得部１１が取得した画像に含まれる画素の輝度の平均を算出し、算出した輝度平均に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。
　図１７は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、輝度平均（Ｍ）に基づいて、当該輝度平均を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１７に示す明暗基準ＤＢ１７によると、輝度平均がＭ＜５０の環境は、暗い環境である。輝度平均が５０≦Ｍ＜１３０の環境は、中程度の明るさの環境である。輝度平均がＭ≧１３０の環境は、明るい環境である。なお、一例として輝度は２５６階調を有するものとする。
　つまり、明るさ判定部１２は、算出した輝度平均ＭがＭ＜５０であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、輝度平均Ｍが５０≦Ｍ＜１３０であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、輝度平均ＭがＭ≧１３０であれば、カメラ２０の撮像範囲は明るい環境であると判定する。画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。
　本発明の実施の形態３によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。
　また、フォークリフト２５が屋内に位置し、カメラ２０が屋外の明るい環境を撮影しているような場合には、照度センサ２６を用いて明るさ判定を行うと、暗い環境と判定されてしまい、撮影対象の環境と異なる結果となる場合がある。しかし、画像の輝度平均を用いて明るさを判定した場合には、カメラ２０が撮像対象とする環境と同様に明るい環境と判定される。このため、ラベルをより正しく検出することができる。
（実施の形態４）
　実施の形態１および２では、照度センサの測定結果に基づいて、カメラ２０の撮像範囲の明るさを判定した。実施の形態３では、照度センサを用いずに明るさ判定を行う例について説明する。
　図１８は、実施の形態３に係る画像処理システムの構成を示すブロック図である。図１８に示す画像処理システム１Ｂは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ｂを備える。
　画像処理装置１０Ｂは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ｂは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ｂを備える。
　明るさ判定部１２Ｂは、カメラ２０に接続され、カメラ２０から取得される明るさの調整に関する撮像パラメータ情報に基づいて、カメラ２０の撮像範囲の明るさを判定する。カメラ２０が撮像範囲の明るさに応じて露光時間を自動調整する機能を備えている場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として露光時間（シャッター速度）の情報を取得する。明るさ判定部１２Ｂは、取得した露光時間に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。
　図１９は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、露光時間（ＥＴ）に基づいて、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１９に示す明暗基準ＤＢ１７によると、露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。露光時間が１／１００秒＜ＥＴ≦１／３０秒となる環境は、中程度の明るさの環境である。露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。
　つまり、明るさ判定部１２は、カメラ２０から取得した露光時間（ＥＴ）がＥＴ＞１／３０秒であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、露光時間（ＥＴ）が１／１００秒＜ＥＴ≦１／３０秒であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、露光時間（ＥＴ）がＥＴ≦１／１００秒であれば、カメラ２０の撮像範囲は明るい環境であると判定する。画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。
　なお、撮像パラメータ情報として、その他の情報を用いることもできる。例えば、カメラ２０が自動絞り機構を備える場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として絞り値（Ｆ値）を取得する。明るさ判定部１２Ｂは、取得した絞り値に基づいて、絞り値と明るさとの対応関係を示した明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。なお、明るい環境ではレンズを通過する光を少なくするために絞り値が大きくなり、暗い環境ではレンズを通過する光を多くするために絞り値が小さくなる。
　本発明の実施の形態３によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。
（変形例１）
　上述の実施の形態１～３では、照度、輝度平均および露光時間などのうち、１つの項目に基づいて、カメラ２０の撮像範囲の明るさを判定していた。しかし、２つ以上の項目に基づいて、明るさを判定するようにしてもよい。
　例えば、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度と、カメラ２０の露光時間とに基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定してもよい。
　図２０は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、照度（ＩＬ）および露光時間（ＥＴ）に基づいて、当該照度を有し、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図２０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘかつ露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。照度がＩＬ≧１００００かつ露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。それ以外の場合には、中程度の明るさの環境である。
　明るさ判定部１２は、照度センサ２６が測定した（ＩＬ）とカメラ２０から取得した露光時間（ＥＴ）に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。
　本変形例によると、複数の項目に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、より正確に明るさを判定することができる。
（変形例２）
　上述の実施の形態１～３では、ラベルをヘルメット８０に取り付ける例を説明したが、ラベルの取り付け位置はヘルメット８０に限定されるものではない。
　例えば、ラベルは、人物が身に着ける衣類や腕章などに取り付けられていてもよい。
　図２１は、人物を正面から見た図である。人物は、ラベル９０Ｆが取り付けられた腕章を両腕にはめている。ラベル９０Ｆは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成され、各ラベル間には間隙領域９０Ｓが設けられている。
　また、ラベルの取り付けられる対象は人物に限定されるものではない。例えば、対象物を検出するための画像処理装置１０を用いる場合には、検出対象物にラベルが取り付けられていてもよい。
　図２２は、段ボール箱の外観図である。検出対象物が段ボール箱である場合には、段ボール箱にラベル９０Ｄが取り付けられる。ラベル９０Ｄは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成され、各ラベル間には間隙領域９０Ｓが設けられている。
　また、車両の進入禁止場所を検出するために画像処理装置１０を用いる場合には、進入禁止場所にラベルが取り付けられていてもよい。
　図２３は、フォークリフト２５が走行する道路を模式的に示す図である。フォークリフト２５が走行する道路１００には、例えば、フォークリフト２５の進入が禁止された進入禁止道路１０１、進入禁止道路１０２および進入禁止エリア１０３が設けられている。進入禁止道路１０１および進入禁止道路１０２の入口付近には、ラベル９０Ｊおよびラベル９０Ｋが貼り付けられている。また、進入禁止エリア１０３の周囲にはラベル９０Ｌが貼り付けられている。なお、ラベル９０Ｊ、９０Ｋおよび９０Ｌのそれぞれは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成される。このような構成により、画像処理装置１０は、フォークリフト２５が進入禁止場所（進入禁止道路１０１、進入禁止道路１０２または進入禁止エリア１０３）に接近したことを検知することができる。画像処理装置１０は、フォークリフト２５が進入禁止場所に接近したことをフォークリフト２５のドライバーやフォークリフト２５の周囲にいるユーザに通知するために、音出力装置３０から通知音を出力したり、表示装置４０にメッセージを表示させたり、端末装置５０に進入禁止場所に接近したことを示す情報を送信する。
　このように、進入禁止場所にラベルを取り付けることにより、フォークリフト２５のドライバーに対して、進入禁止場所に近づかないように注意喚起を行うことができる。
　このように、検出したい対象にラベルを取り付けることにより、対象を正確に検出することができる。
（付記）
　上記の画像処理装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　また、本発明は、上記に示す方法をコンピュータにより実現するコンピュータプログラムとして実現することもできる。このようなコンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させることもできるし、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送させることもできる。また、画像処理装置１０は、複数のコンピュータにより実現されてもよい。
　また、画像処理装置１０の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、画像処理装置１０の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、画像処理装置１０において、ラベル検出部１４の機能がクラウドサーバにより実現され、画像処理装置１０は、クラウドサーバに対して画像および検出対象色の情報を送信し、クラウドサーバからラベルの検出結果を取得する構成であってもよい。さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１、１Ａ、１Ｂ　画像処理システム
　１０、１０Ａ、１０Ｂ　画像処理装置
　１１　画像取得部
　１２、１２Ａ、１２Ｂ　明るさ判定部
　１３　検出対象色決定部
　１４　ラベル検出部
　１５　出力部
　１６　記憶装置
　１７　明暗基準ＤＢ
　２０　カメラ
　２１　撮像領域
　２２　死角領域
　２５　フォークリフト
　２６、２６Ａ　照度センサ
　３０　音出力装置
　４０　表示装置
　５０　端末装置
　６０　ミラー
　６１　撮像領域
　７１、７２　人物
　８０　ヘルメット
　８２Ｇ　緑色領域
　８２Ｒ　赤色領域
　８３　重心位置
　８４　所定距離範囲
　９０Ａ、９０Ｃ、９０Ｄ、９０Ｆ、９０Ｊ、９０Ｋ、９０Ｌ　ラベル
　９０Ｂ　青ラベル
　９０Ｇ　緑ラベル
　９０Ｒ　赤ラベル
　９０Ｓ　間隙領域
　９０Ｗ　白ラベル
　１００　道路
　１０１、１０２　進入禁止道路
　１０３　進入禁止エリア

Claims (8)

  1. 　カメラで撮像されたカラーの画像を取得する画像取得部と、
    　前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
    　前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、
    　前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
    　を備える画像処理装置。
  2. 　前記明るさ判定部は、
    　前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定する請求項１に記載の画像処理装置。
  3. 　前記検出対象色決定部は、
    　前記３色以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定する請求項１または請求項２に記載の画像処理装置。
  4. 　前記ラベル検出部は、
    　前記中間波長色の領域から順に前記検出対象色の領域を抽出する請求項３に記載の画像処理装置。
  5. 　前記ラベルは、赤色領域、青色領域および緑色領域を含む請求項１～請求項４のいずれか１項に記載の画像処理装置。
  6. 　さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備える請求項１～請求項５のいずれか１項に記載の画像処理装置。
  7. 　コンピュータを、
    　カメラで撮像されたカラーの画像を取得する画像取得部と、
    　前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
    　前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、
    　前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
    　して機能させるためのコンピュータプログラム。
  8. 　検出対象物に取り付けられる、３色以上の領域を含むラベルと、
    　カラーの画像を撮影するカメラと、
    　請求項１～請求項６のいずれか１項に記載の画像処理装置と
    　を備える画像処理システム。
PCT/JP2018/020061 2017-07-03 2018-05-24 画像処理装置、コンピュータプログラム、および画像処理システム WO2019008936A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/618,872 US20200134873A1 (en) 2017-07-03 2018-05-24 Image processing device, computer program, and image processing system
CN201880043118.9A CN110832496A (zh) 2017-07-03 2018-05-24 图像处理装置、计算机程序和图像处理系统
JP2019528399A JPWO2019008936A1 (ja) 2017-07-03 2018-05-24 画像処理装置、コンピュータプログラム、および画像処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-130194 2017-07-03
JP2017130194 2017-07-03

Publications (1)

Publication Number Publication Date
WO2019008936A1 true WO2019008936A1 (ja) 2019-01-10

Family

ID=64950972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020061 WO2019008936A1 (ja) 2017-07-03 2018-05-24 画像処理装置、コンピュータプログラム、および画像処理システム

Country Status (4)

Country Link
US (1) US20200134873A1 (ja)
JP (1) JPWO2019008936A1 (ja)
CN (1) CN110832496A (ja)
WO (1) WO2019008936A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373391B2 (en) 2020-03-16 2022-06-28 Novatek Microelectronics Corp. Image processing device, image processing system and image processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056371A (ja) * 2000-08-07 2002-02-20 Central Res Inst Of Electric Power Ind 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2544703C3 (de) * 1975-10-07 1978-04-06 Dr.-Ing. Rudolf Hell Gmbh, 2300 Kiel Verfahren und Schaltungsanordnung zum Erkennen von Farben einer farbigen Fläche
JP2002243549A (ja) * 2001-02-15 2002-08-28 利雄 ▲高▼畑 色彩計測器及び色彩シュミレーション方法
JP2014014609A (ja) * 2012-07-11 2014-01-30 Uro Electronics Co Ltd 複数芳香の何れかを選択的に用いる芳香器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056371A (ja) * 2000-08-07 2002-02-20 Central Res Inst Of Electric Power Ind 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373391B2 (en) 2020-03-16 2022-06-28 Novatek Microelectronics Corp. Image processing device, image processing system and image processing method

Also Published As

Publication number Publication date
US20200134873A1 (en) 2020-04-30
JPWO2019008936A1 (ja) 2020-04-30
CN110832496A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
US11132536B2 (en) Living body detection device, living body detection method, and recording medium
US9196056B2 (en) Electro-optical system and method for analyzing images of a scene to identify the presence of a target color
US10674587B2 (en) Control system for a surveillance system, surveillance system and method of controlling a surveillance system
WO2017157034A1 (zh) 一种二维码的识别方法及装置、存储介质
JP6553624B2 (ja) 計測機器、及びシステム
WO2018042747A1 (ja) 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
CN109271814A (zh) 基于计算机视觉的防拍照显示系统及防拍照方法
JP2016111475A (ja) 画像処理装置、画像処理方法、及び撮像システム
WO2019008936A1 (ja) 画像処理装置、コンピュータプログラム、および画像処理システム
JP2017207883A (ja) 監視システム、カラーカメラ装置及び光学部品
US20170126966A1 (en) Photography method using gaze detection
JP2004219277A (ja) 人体検知方法およびシステム、プログラム、記録媒体
WO2020121626A1 (ja) 画像処理装置、コンピュータプログラム、および画像処理システム
JP2009147607A (ja) 人物追尾装置
KR101937582B1 (ko) 인도 보안 안전 시스템
US20190371005A1 (en) Recording medium, color label, detection device, image processing device, image processing method and image processing system
JP6961506B2 (ja) 画像処理装置
JP7071861B2 (ja) マーカ検出システム
JP6999478B2 (ja) マーカ及びマーカ検出システム
CN112347942A (zh) 一种火焰识别的方法及装置
Chan et al. MI3: Multi-intensity infrared illumination video database
JP6906084B2 (ja) カラーカメラ装置及び光学部品
CN111345030A (zh) 一种基于智能终端的拍照方法及拍照系统
KR20190064327A (ko) 가시광 통신 신호 기반의 식별자 검출 시스템 및 방법
US20140362212A1 (en) Illuminating surveillance camera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18828021

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019528399

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18828021

Country of ref document: EP

Kind code of ref document: A1