WO2018105181A1 - 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
WO2018105181A1
WO2018105181A1 PCT/JP2017/031584 JP2017031584W WO2018105181A1 WO 2018105181 A1 WO2018105181 A1 WO 2018105181A1 JP 2017031584 W JP2017031584 W JP 2017031584W WO 2018105181 A1 WO2018105181 A1 WO 2018105181A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
frequency
image
low
unit
Prior art date
Application number
PCT/JP2017/031584
Other languages
English (en)
French (fr)
Inventor
充一 梅村
有里 木下
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Priority to JP2018554824A priority Critical patent/JPWO2018105181A1/ja
Priority to US16/461,883 priority patent/US20190371005A1/en
Priority to CN201780074454.5A priority patent/CN110023996A/zh
Publication of WO2018105181A1 publication Critical patent/WO2018105181A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/0406Accessories for helmets
    • A42B3/0433Detecting, signalling or lighting devices
    • A42B3/0453Signalling devices, e.g. auxiliary brake or indicator lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0308Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Definitions

  • the present invention relates to an image processing program, a color label, a detection device, an image processing device, an image processing method, and an image processing system.
  • Patent Document 1 discloses a forklift safety device for detecting a person around the forklift. That is, different shapes are drawn on the forklift and the person in a predetermined color, and the forklift and the person are imaged with a fixed camera installed in advance on the ceiling.
  • the safety device detects the forklift and the person by extracting the shape and color from the captured image, and issues a notification when the forklift and the person approach within a certain distance.
  • Patent Document 2 discloses a construction machine human detection system that detects a person existing around a vehicle construction machine.
  • a person located around the shovel is detected using a captured image of a camera attached to the shovel as a vehicle construction machine.
  • An image processing program is based on an image acquisition unit that acquires an image obtained by imaging a detection target area of an object, and the image acquired by the image acquisition unit. For each color, the occurrence frequency calculation unit that calculates the occurrence frequency of the color in the image, and the occurrence frequency for each color calculated by the occurrence frequency calculation unit is lower than other colors. It is made to function as a low frequency color determining unit that determines a low frequency color that is a color.
  • a color label according to another embodiment of the present disclosure emits light of a low-frequency color determined by executing the above-described image processing program on a computer.
  • a detection device includes a threshold acquisition unit that acquires a threshold for identifying a low-frequency color determined by executing the above-described image processing program on a computer, and a target The low-frequency color is included in the image acquired by the image acquisition unit based on the threshold acquired by the image acquisition unit that acquires an image of the object detection target area and the threshold acquisition unit. And a detection unit for detecting.
  • An image processing apparatus includes an image acquisition unit that acquires an image obtained by imaging a detection target area of an object, and each color based on the image acquired by the image acquisition unit.
  • an occurrence frequency calculation unit that calculates the occurrence frequency of the color in the image, and a color with a lower occurrence frequency than other colors based on the occurrence frequency for each color calculated by the occurrence frequency calculation unit.
  • a low-frequency color determining unit that determines a certain low-frequency color.
  • An image processing method includes a step of acquiring an image obtained by imaging a detection target area of an object, and the color of the color based on the acquired image.
  • the method includes a step of calculating the occurrence frequency in the image and a step of determining a low-frequency color that is a color with a lower occurrence frequency than other colors based on the calculated occurrence frequency for each color.
  • An image processing system includes the above-described image processing device, the above-described color label, and the above-described detection device.
  • FIG. 1 is a diagram illustrating an overall configuration of an image processing system according to a first embodiment of the present disclosure. It is a figure which shows the example of attachment of the image processing system. It is a block diagram which shows the functional structure of the analyzer which concerns on Embodiment 1 of this indication. It is a block diagram which shows the functional structure of the detection apparatus which concerns on Embodiment 1 of this indication. It is a block diagram which shows the structure of the color label 5 which concerns on Embodiment 1 of this indication. It is the figure which looked at the helmet which a person wears from the side. It is the figure which looked at the thing which is a detection target object from the side upper part.
  • 6 is a flowchart illustrating an example of a processing procedure of the analysis apparatus according to the first embodiment of the present disclosure. It is a flowchart which shows the detailed process sequence of a low frequency color candidate determination process (S8). It is a figure which shows an example of a RGB signal histogram. It is a figure which shows an example of an R signal histogram. It is a figure which shows an example of an RG signal histogram. It is a figure for demonstrating the determination process of a low frequency color. 12 is a flowchart illustrating another example of the processing procedure of the analysis apparatus according to the first embodiment of the present disclosure. 6 is a flowchart illustrating an example of a processing procedure of the detection device according to the first embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating another example of the processing procedure of the detection device according to the embodiment of the present disclosure. It is a block diagram which shows the functional structure of the analyzer which concerns on Embodiment 2 of this indication. It is a block diagram which shows the functional structure of the detection apparatus which concerns on Embodiment 2 of this indication. It is a figure which shows the example of the threshold value memorize
  • storage part. 14 is a flowchart illustrating an example of a processing procedure of the analysis apparatus according to the second embodiment of the present disclosure.
  • 14 is a flowchart illustrating an example of a processing procedure of the detection device according to the second embodiment of the present disclosure.
  • 14 is a flowchart illustrating another example of the processing procedure of the detection device according to the second embodiment of the present disclosure. It is a block diagram which shows the functional structure of the analyzer which concerns on Embodiment 3 of this indication. It is a block diagram which shows the functional structure of the detection apparatus which concerns on Embodiment 3 of this indication. It is a figure which shows the example of the threshold value memorize
  • 14 is a flowchart illustrating an example of a processing procedure of the analysis apparatus according to the third embodiment of the present disclosure.
  • 14 is a flowchart illustrating an example of a processing procedure of the detection device according to the third embodiment of the present disclosure.
  • 14 is a flowchart illustrating another example of the processing procedure of the detection device according to the third embodiment of the present disclosure.
  • It is a block diagram which shows the functional structure of the analyzer which concerns on Embodiment 4 of this indication. It is the figure which looked at the helmet which a person wears from the side. It is the figure which looked at the helmet which a person wears from the upper part. It is a figure which shows the example of the threshold value memorize
  • 14 is a flowchart illustrating an example of a processing procedure of the analysis apparatus according to the fourth embodiment of the present disclosure.
  • Patent Document 1 does not show how to determine the color of the shape drawn on the forklift and the person. For this reason, when an object having a color similar to the color of the shape exists in the imaging range of the camera, there is a problem that a person cannot be detected accurately.
  • an object is to provide an image processing program, an image processing apparatus, and an image processing method capable of determining a color to be attached to an object in order to accurately detect the object by image processing.
  • An image processing program is based on an image acquisition unit that acquires an image obtained by imaging a detection target area of an object, and the image acquired by the image acquisition unit. For each color, the occurrence frequency calculation unit that calculates the occurrence frequency of the color in the image, and the occurrence frequency for each color calculated by the occurrence frequency calculation unit is lower than other colors. It is made to function as a low frequency color determining unit that determines a low frequency color that is a color.
  • a low-frequency color that is a relatively low-occurrence color from an image obtained by imaging the detection target area of the target object. Therefore, it is possible to determine a color to be attached to the object in order to accurately detect the object by image processing. That is, by attaching the low frequency color to the object, it is possible to accurately detect the low frequency color region without being influenced by the color of the other region from the image obtained by imaging the detection target area. Thereby, an object can be detected accurately.
  • a low frequency color is determined from an image of the inside of a factory and a low frequency color label is attached to a helmet worn by a person. The color of the label is guaranteed to occur less frequently in the image. For this reason, the label affixed to the helmet by image processing can be detected accurately, and thereby a person can be detected accurately.
  • the low-frequency color determination unit may determine the low-frequency color in consideration of the occurrence frequency of each color included in a plurality of colors located near each other in a predetermined color space.
  • the color with a low occurrence frequency when a color around a color with a low occurrence frequency is low in the color space, the color with a low occurrence frequency can be preferentially determined as a low-frequency color.
  • the color of an object that is a low frequency color in the image changes slightly due to changes in environmental conditions such as sunshine, weather, or lighting, the occurrence frequency of the changed color is also low. can do. For this reason, an object can be accurately detected from an image by image processing without being affected by changes in environmental conditions.
  • the computer further includes an area dividing unit that executes an area dividing process based on a color of each pixel with respect to the image acquired by the image acquiring unit, and an area divided by the area dividing unit.
  • the generation frequency calculation unit is configured to calculate the size and the representative color based on the size and the representative color of the region calculated by the region feature calculation unit. For each set, the occurrence frequency in the image of the region having the set is calculated, and the low-frequency color determination unit is based on the occurrence frequency of the region for each set calculated by the occurrence frequency calculation unit, A set of sizes and representative colors that are less frequently generated than other sets may be determined.
  • the image is divided into regions composed of similar color pixels by the region division processing. Further, based on the size of the region and the occurrence frequency of the representative color set, the size and the representative color set having a relatively low occurrence frequency can be determined. For this reason, it is possible to determine the color to be attached to the object and the size of the color in order to accurately detect the object by image processing. For example, the target can be accurately detected by attaching a label of the determined size and representative color to the object, and detecting the label of the size and the representative color from the image by image processing.
  • the low-frequency color determination unit may determine a plurality of low-frequency colors by preferentially selecting a low-frequency color group having a larger distance between colors based on the occurrence frequency. Good.
  • a plurality of low frequency colors are determined so that the distance between the colors becomes large. For example, when two low-frequency colors are selected from among three low-frequency colors, a low-frequency color set having the largest distance between colors is selected from the three low-frequency color sets. If a low frequency color set with a small distance is selected, depending on the environmental conditions such as sunlight, weather, or lighting, the low frequency color may be recognized as the same color by image processing and cannot be distinguished. By selecting a set of frequency colors, it is possible to identify low frequency colors without being influenced by environmental conditions.
  • the computer further includes a display control unit that displays a plurality of low-frequency colors determined by the low-frequency color determination unit on a screen, and a plurality of low-frequency colors displayed on the screen.
  • the display control unit further functions as a selection color acquisition unit that acquires a selection color that is a color selected by a user, and the display control unit further includes the plurality of the plurality of colors according to a distance from the selection color acquired by the selection color acquisition unit May be displayed on the screen.
  • the low frequency color determination unit when a plurality of low frequency colors are determined by the low frequency color determination unit, other low frequency colors are displayed on the screen according to the distance from the selected color selected by the user. For example, by displaying other low-frequency colors in descending order of the distance from the selected color, it is possible to make it easier for the user to select a low-frequency color with high discrimination performance from the selected color.
  • the computer is further caused to function as a time acquisition unit that acquires the acquisition time of the image by the image acquisition unit, and the occurrence frequency calculation unit includes the acquisition time acquired by the time acquisition unit
  • the occurrence frequency for each color is calculated according to a time zone, and the low frequency color determination unit may determine a low frequency color according to the time zone based on the occurrence frequency calculated by the occurrence frequency calculation unit. Good.
  • the low frequency color can be determined for each time zone. For this reason, for example, even when the object is detected from an image captured outdoors where the lighting environment changes according to the time zone, the color of the label attached to the object is changed according to the time zone. Thus, the object can be detected with high accuracy in any time zone.
  • the computer is further caused to function as a position acquisition unit that acquires the acquisition position of the image by the image acquisition unit, and the occurrence frequency calculation unit belongs to the acquisition position acquired by the position acquisition unit
  • the occurrence frequency for each color may be calculated according to the area, and the low-frequency color determination unit may determine a low-frequency color according to the area based on the occurrence frequency calculated by the occurrence frequency calculation unit.
  • the low frequency color can be determined for each area. For this reason, for example, when detecting an object from an image captured by a camera mounted on a vehicle, or when detecting an object from images captured by cameras respectively arranged in a plurality of areas.
  • the object can be detected with high accuracy by changing the color of the label attached to the object according to the position of the camera.
  • the computer further includes a designated color acquisition unit that acquires the designated color, and a specified color acquired by the specified color acquisition unit based on the occurrence frequency for each color calculated by the occurrence frequency calculation unit. You may make it function as an output part which outputs the information based on occurrence frequency.
  • the user designates a label that develops the low frequency color determined by the low frequency color determination unit in the image. Thereby, the user can know whether or not the color of the label is actually infrequent, and can confirm whether or not the label is emitting light of an appropriate color.
  • the computer may further function as a threshold determination unit that determines a threshold for identifying the low frequency color based on the low frequency color determined by the low frequency color determination unit.
  • a color label according to another embodiment of the present disclosure emits light of a low-frequency color determined by executing the above-described image processing program on a computer.
  • the color label develops a color that occurs less frequently in the image.
  • the existence probability of pixels of the same or similar color as the color label color is low in the image.
  • the color label can be accurately detected by distinguishing it from other regions by image processing. Thereby, the color label detected correctly by image processing can be provided.
  • a detection device includes a threshold acquisition unit that acquires a threshold for identifying a low-frequency color determined by executing the above-described image processing program on a computer, and a target The low-frequency color is included in the image acquired by the image acquisition unit based on the threshold acquired by the image acquisition unit that acquires an image of the object detection target area and the threshold acquisition unit. And a detection unit for detecting.
  • the low frequency color is a color that is hardly included in the background or the like in the image. For this reason, the object can be accurately detected without being affected by the color of the background or the like by giving the object an infrequent color.
  • An image processing apparatus includes an image acquisition unit that acquires an image obtained by imaging a detection target area of an object, and each color based on the image acquired by the image acquisition unit.
  • an occurrence frequency calculation unit that calculates the occurrence frequency of the color in the image, and a color with a lower occurrence frequency than other colors based on the occurrence frequency for each color calculated by the occurrence frequency calculation unit.
  • a low-frequency color determining unit that determines a certain low-frequency color.
  • This configuration includes, as a component, a processing unit that allows a computer to function by the above-described image processing program. For this reason, the same operation and effect as the above-mentioned image processing program can be produced.
  • An image processing method includes a step of acquiring an image obtained by imaging a detection target area of an object, and the color of the color based on the acquired image.
  • the method includes a step of calculating the occurrence frequency in the image and a step of determining a low-frequency color that is a color with a lower occurrence frequency than other colors based on the calculated occurrence frequency for each color.
  • This configuration includes steps corresponding to a processing unit that is operated by a computer by the above-described image processing program. For this reason, the same operation and effect as the above-mentioned image processing program can be produced.
  • An image processing system includes the above-described image processing device, the above-described color label, and the above-described detection device.
  • This configuration includes the above-described image processing device, the above-described color label, and the above-described detection device.
  • the image processing apparatus it is possible to determine a low-frequency color, which is a color with a relatively low frequency of occurrence, from an image obtained by imaging the detection target area of the target object. Further, the color label develops the low frequency color. That is, the color label develops a color with a low occurrence frequency in the image, and the existence probability of the pixel having the same or similar color as the color label color is low in the image.
  • the detection device can accurately detect the color label from the image obtained by imaging the detection target area without being influenced by the color of the other region. By attaching a color label to the object, the detection device can accurately detect the object.
  • a low frequency color is determined from an image of the inside of a factory, and a color label that generates the low frequency color is attached to a helmet worn by a person.
  • the color label color is guaranteed to occur less frequently in the image. For this reason, it is possible to accurately detect a helmet by image processing, and thereby it is possible to accurately detect a person.
  • the present invention can also be realized as a semiconductor integrated circuit that realizes part or all of the image processing apparatus or the detection apparatus according to the present disclosure.
  • FIG. 1 is a diagram illustrating an overall configuration of an image processing system according to the first embodiment of the present disclosure.
  • Embodiment 1 demonstrates the example which detects the person 61 as a target object which exists in a detection target area.
  • the object is not limited to the person 61, and may be another moving body such as a vehicle, or may be a pillar or a fixed object previously set in the detection target area.
  • the image processing system 1 is a system for detecting an object existing in a predetermined detection target area, and includes a camera 2, an analysis device 3, a detection device 4, and a color label 5.
  • the camera 2 captures a predetermined detection target area and outputs the captured image as a video signal.
  • the analysis device 3 constitutes an image processing device, acquires an image (video signal) of a detection target area from the camera 2, and determines a low-frequency color that is a relatively low-occurrence color in the acquired image.
  • the analysis device 3 and the camera 2 may be connected by wire, or connected by a mobile phone line according to a communication standard such as 4G or a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark). May be.
  • a communication standard such as 4G or a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark). May be.
  • an image captured by the camera 2 may be written on a recording medium or the like, and the analysis device 3 may read an image of the detection target area from the recording medium.
  • the low-frequency color determination processing by the analysis device 3 is executed as pre-processing prior to detection processing of the person 61 by the detection device 4 described later.
  • the color label 5 develops a low frequency color determined by the analysis device 3.
  • the color label 5 is attached to the person 61 as an object.
  • the color label 5 is attached to a helmet worn by the person 61.
  • the detection device 4 acquires an image of the detection target area from the camera 2 and detects the person 61 as the target by detecting the color label 5 that develops the low frequency color in the acquired image.
  • the detection device 4 and the camera 2 may be connected by wire, or may be connected by a mobile phone line according to a communication standard such as 4G or a wireless LAN such as Wi-Fi (registered trademark). .
  • FIG. 2 is a diagram illustrating an example of attachment of the image processing system 1.
  • the image processing system 1 is a system for monitoring the surroundings of the forklift 60, and the camera 2 is installed at a position where the rear of the forklift 60 can be monitored (for example, the rear end position of the fork head guard of the forklift 60). Is done. Thereby, the rear of the forklift 60 is set as a detection target area of the person 61.
  • the camera 2 and the analysis device 3 are connected by, for example, a wireless LAN, and the camera 2 and the detection device 4 are connected by wire.
  • the detection device 4 detects the person 61 by detecting the color label 5 from the image captured by the camera 2.
  • FIG. 3 is a block diagram illustrating a functional configuration of the analysis device 3 according to the first embodiment of the present disclosure.
  • the analysis device 3 includes a communication unit 31, an image acquisition unit 32, a storage unit 33, an occurrence frequency calculation unit 34, a low frequency color determination unit 35, a display control unit 36, and an input reception unit 37.
  • the communication unit 31 is a processing unit for communicating with the camera 2 or the detection device 4 and includes, for example, a communication interface for wired connection or wireless connection with the camera 2 or the detection device 4.
  • the image acquisition unit 32 acquires an image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 31.
  • the image acquisition unit 32 accumulates the acquired image in the storage unit 33.
  • the storage unit 33 is a storage device that stores the images acquired by the image acquisition unit 32, and includes, for example, a RAM (Random Access Memory), a flash memory, or an HDD (Hard Disk Drive).
  • a RAM Random Access Memory
  • flash memory a flash memory
  • HDD Hard Disk Drive
  • the occurrence frequency calculation unit 34 calculates the occurrence frequency in the color image for each color based on the image acquired by the image acquisition unit 32. For example, when the color is represented by luminance values of R (red), G (green), and B (blue) in the RGB color space, the occurrence frequency is calculated for each set of luminance values of (R, G, B). To do. However, the color may be represented by hue (H), saturation (S), and brightness (V) in the HSV color space.
  • the occurrence frequency calculation unit 34 reads the plurality of images from the storage unit 33 when calculating the occurrence frequency based on the plurality of images acquired by the image acquisition unit 32.
  • the low-frequency color determination unit 35 determines a low-frequency color that is a color with a lower occurrence frequency than other colors, based on the occurrence frequency for each color calculated by the occurrence frequency calculation unit 34. For example, the low-frequency color determination unit 35 may determine a color having a ratio of the occurrence frequency to the total occurrence frequency that is the sum of the occurrence frequencies of all colors as a low-frequency color. In addition, the low frequency color determination unit 35 may determine a predetermined number of colors as the low frequency color in the ascending order of occurrence frequency.
  • the display control unit 36 constitutes an output unit, and the low frequency color determined by the low frequency color determination unit 35 is displayed on the display screen of the analysis device 3 or a terminal device connected to the analysis device 3 via a network or the like. Control to display on the display screen of another device.
  • the input receiving unit 37 is a processing unit that receives a user input via an input device such as a keyboard, a mouse, or a touch panel, and includes a selection color acquisition unit 37a and a designated color acquisition unit 37b.
  • the selection color acquisition unit 37a receives a user's selection input from a plurality of low frequency colors displayed on the display screen by the display control unit 36, and acquires a selection color that is a low frequency color selected by the user.
  • the designated color acquisition unit 37b acquires a designated color that is designated by the user operating the input device. For example, when the user specifies a position on the image displayed on the display screen, the specified color acquisition unit 37b acquires a color corresponding to the position as the specified color. In addition, when the user specifies a position on the color palette displayed on the display screen, the specified color acquisition unit 37b acquires a color corresponding to the position as the specified color.
  • the occurrence frequency calculation unit 34 calculates the occurrence frequency corresponding to the specified color, and displays the occurrence frequency calculated by the display control unit 36 on the display screen.
  • FIG. 4 is a block diagram illustrating a functional configuration of the detection device 4 according to the first embodiment of the present disclosure.
  • the detection device 4 includes a communication unit 41, a low frequency color acquisition unit 42, a threshold determination unit 43, a threshold storage unit 44, an image acquisition unit 45, a detection unit 46, and a notification unit 47.
  • the communication unit 41 is a processing unit for communicating with the camera 2 or the analysis device 3 and includes, for example, a communication interface for wired connection or wireless connection with the camera 2 or the analysis device 3.
  • the low frequency color acquisition unit 42 acquires the low frequency color determined by the analysis device 3 from the analysis device 3 via the communication unit 41. For example, when colors are represented by luminance values of R, G, and B in the RGB color space, the low frequency color acquisition unit 42 acquires a set of luminance values (R, G, B) that are low frequency colors.
  • the threshold value determination unit 43 functions as a threshold value acquisition unit and detects a color label 5 that develops the low frequency color determined by the analysis device 3 based on the low frequency color acquired by the low frequency color acquisition unit 42. To decide. For example, when the luminance value of the low frequency color is (R1, G1, B1), the threshold value determination unit 43 determines the lower limit threshold value as (R1-10, G1-10, B1-10) as the threshold value. The upper threshold value is determined as (R1 + 10, G1 + 10, B1 + 10). The threshold determination unit 43 writes the determined threshold in the threshold storage unit 44. When the low frequency color acquisition unit 42 acquires a plurality of low frequency colors, the threshold value determination unit 43 determines a threshold value for each low frequency color and writes the threshold value in the threshold value storage unit 44.
  • the threshold value storage unit 44 is a storage device for storing the threshold value determined by the threshold value determination unit 43, and includes, for example, a RAM, a flash memory, or an HDD.
  • the image acquisition unit 45 acquires an image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 41.
  • the detection unit 46 detects that the low frequency color acquired by the low frequency color acquisition unit 42 is included in the image acquired by the image acquisition unit 45, that is, the color label 5 is included. That is, the detection unit 46 reads out the threshold value from the threshold value storage unit 44, and determines whether or not the image includes a low-frequency color based on the read threshold value and the color of each pixel of the acquired image. . For example, if the luminance value (R, G, B) of each pixel of the acquired image is within the range of the read upper limit threshold and lower limit threshold, the detection unit 46 includes a low-frequency color in the image. Is detected. Thereby, the detection unit 46 detects the color label 5.
  • the notification unit 47 transmits a sound signal to the sound output device, transmits message information to the display device, or sends a detection result to the terminal device. Or send. Thereby, the sound output device can output the notification sound, and the display device can display the message information.
  • the notification unit 47 indicates that the person 61 is present behind the driver of the forklift 60. Notification can be made by sound or image through the device.
  • the notification unit 47 can notify the driver that the person 61 is behind by sound, an image, vibration, or the like. .
  • the analysis device 3 may include the configuration of the threshold value determination unit 43.
  • the threshold value determination unit 43 provided in the analysis device 3 detects the color label 5 that develops the low frequency color based on the low frequency color determined by the low frequency color determination unit 35 of the analysis device 3.
  • the threshold value is determined.
  • the threshold value determination unit 43 transmits the determined threshold value to the detection device 4 via the communication unit 31.
  • the detection device 4 includes a threshold value acquisition unit instead of the low-frequency color acquisition unit 42 and the threshold value determination unit 43, and the threshold value acquisition unit determines the threshold value determined by the analysis device 3 from the analysis device 3 via the communication unit 41. Received and stored in the threshold storage unit 44.
  • FIG. 5 is a block diagram illustrating a configuration of the color label 5 according to the first embodiment of the present disclosure.
  • the color label 5 includes an interface unit 51, a control unit 52, and a light emitting element 53.
  • the interface unit 51 is an interface that receives a color set in the light emitting element 53.
  • the interface unit 51 may be an operation unit such as a switch for the user to set the luminance value (R, G, B), or connected to an external device, and the luminance value (R, G) from the external device.
  • B) may be a communication interface.
  • the control unit 52 controls the light emission color of the light emitting element 53 so that the light emitting element 53 emits light with the color received by the interface unit 51.
  • the control unit 52 may be configured by a general-purpose processor or the like, or may be configured by an integrated circuit such as ASIC (Application Specific Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array), or an electronic circuit.
  • ASIC Application Specific Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the light-emitting element 53 is a light-emitting element that emits light in the color set by the control unit 52, and includes, for example, a light-emitting element such as an LED (Light Emitting Diode) or an organic EL (electroluminescence).
  • a light-emitting element such as an LED (Light Emitting Diode) or an organic EL (electroluminescence).
  • the configuration of the color label 5 is not limited to that shown in FIG. 5, and the color label 5 may be made of cloth, tape, paint, or the like, and may develop a specific color. .
  • the color label 5 is preferably made of a fluorescent tape, or the color label 5 is preferably coated with a fluorescent paint. Thereby, even in an environment with low illuminance such as nighttime or cloudy weather, the color label 5 can be easily recognized. Further, the label can be recognized without using a special camera such as an infrared camera.
  • FIG. 6 is a side view of the helmet worn by the person 61.
  • the color label 5 is affixed near the upper center of the helmet 80 (near the top of the person 61).
  • the color label 5 includes a first color label 5A and a second color label 5B that are arranged adjacent to each other.
  • the arrangement positions of the first color label 5A and the second color label 5B are not limited to the adjacent arrangement, and a predetermined interval may be provided between the first color label 5A and the second color label 5B. .
  • the color label 5 can be viewed from all directions. Further, when the color label 5 is configured to include the light emitting element 53, the visibility from a distance is improved.
  • FIG. 7 is a view of an object to be detected as viewed from above the side surface.
  • a color label 5 is attached to a corner portion of a box which is an example of an object.
  • the color label 5 is composed of a first color label 5A and a second color label 5B arranged adjacent to each other in the same manner as shown in FIG.
  • the arrangement positions of the first color label 5A and the second color label 5B are not limited to the adjacent arrangement, and a predetermined interval may be provided between the first color label 5A and the second color label 5B.
  • the color label 5 can be viewed from all directions.
  • the installation location of the color label 5 is not limited to one corner, but the color label 5 is installed in a plurality of corners, so that visibility can be further improved. Further, when the color label 5 is configured to include the light emitting element 53, the visibility from a distance is improved.
  • FIG. 8 is a flowchart illustrating an example of a processing procedure of the analysis apparatus 3 according to the first embodiment of the present disclosure.
  • the image acquisition unit 32 acquires an image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 31 (S2).
  • the image acquisition unit 32 stores the acquired image in the storage unit 33 by writing the acquired image in the storage unit 33 (S4).
  • the image acquisition unit 32 determines whether the image acquisition is completed (S6). If the image acquisition has not ended (NO in S6), the processes in steps S2 and S4 are repeatedly executed until the image acquisition ends.
  • the forklift 60 when the camera 2 is installed on the forklift 60, the forklift 60 travels within a travelable range (for example, in a factory) and images are acquired at all locations. If so, it is determined that image acquisition has been completed.
  • a travelable range for example, in a factory
  • the end of image acquisition may be determined by the driver of the forklift 60 and the analysis apparatus 3 may be notified of the end of image acquisition.
  • the camera 2 captures images at a predetermined cycle, and the image acquisition unit 32 determines that the image acquisition is completed when 24 hours of images can be acquired. May be.
  • the occurrence frequency calculation unit 34 and the low frequency color determination unit 35 select low frequency color candidates based on the image stored in the storage unit 33. Determine (S8). Since the color label 5 includes two color labels, the first color label 5A and the second color label 5B, here, it is assumed that two or more low-frequency color candidates are determined.
  • FIG. 9 is a flowchart showing a detailed processing procedure of the low-frequency color candidate determination process (S8).
  • the occurrence frequency calculation unit 34 creates an RGB signal histogram from the image stored in the storage unit 33 (S32).
  • the occurrence frequency calculation unit 34 causes the storage unit 33 to store the created RGB signal histogram.
  • FIG. 10 is a diagram illustrating an example of an RGB signal histogram, where the horizontal axis indicates luminance values (R, G, B), and the vertical axis indicates the frequency of each luminance value.
  • the luminance value R (R signal), the luminance value G (G signal), and the luminance value B (B signal) are integer values ranging from 0 to 255, respectively. That is, the occurrence frequency calculation unit 34 creates an RGB signal histogram by summing up luminance values for each pixel in the image.
  • the occurrence frequency calculation unit 34 creates an R signal histogram from the RGB signal histogram, and the low frequency color determination unit 35 determines a low frequency color from the R signal histogram (S34).
  • FIG. 11 is a diagram illustrating an example of the R signal histogram, in which the horizontal axis indicates the R signal and the vertical axis indicates the frequency of each R signal.
  • the R signal is quantized, for example, every 8 steps (8 luminance values). For example, one frequency is set for the classes in which the R signal is 0-7. However, the number of quantization steps is not limited to eight, and other numbers may be used.
  • the low frequency color determination unit 35 determines the class of the R signal whose frequency is equal to or less than a predetermined threshold from the R signal histogram.
  • the predetermined threshold may be 0, for example, or may be a value that is 1/100 of the total frequency of all classes. However, the threshold value is an example, and other values may be used. For example, it is assumed that two classes of 240 to 247 and 248 to 255 R signals have been determined by the threshold processing of the low frequency color determination unit 35.
  • the low frequency color determination unit 35 determines one low frequency color for each class whose frequency is equal to or less than the threshold value. However, when the classes are continuous, the continuous class is regarded as one class and one low frequency color is determined.
  • the low frequency color determination unit 35 determines one low frequency color from these two classes. For example, the low frequency color determination unit 35 determines the median value of two classes (here, 248 of the R signal) as the value of the R signal of the low frequency color.
  • the low frequency color is determined from the R signal histogram, and the G signal and the B signal are not considered. For this reason, the values of the low frequency color G signal and B signal can be set to arbitrary values. For example, the values of the G signal and the B signal may be determined randomly, or may be determined as a median value or a predetermined value that each signal can take.
  • the low frequency color determination unit 35 determines whether two or more low frequency colors have been determined (S36). If two or more low frequency colors are determined (YES in S36), the low frequency color candidate determination process (S8) is terminated.
  • the occurrence frequency calculation unit 34 creates a G signal histogram from the RGB signal histogram, and the low-frequency color determination unit 35 The low frequency color is determined from the G signal histogram (S38).
  • the process of step S38 is the same except that the G signal is used instead of the R signal in the process of step S34. Therefore, detailed description thereof will not be repeated.
  • the infrequent color determination unit 35 determines whether or not a total of two or more infrequent colors have been determined through the processing up to step S38 (S40). When the low frequency color of the total of two or more colors is determined (YES in S40), the low frequency color candidate determination process (S8) is terminated.
  • the occurrence frequency calculation unit 34 creates a B signal histogram from the RGB signal histogram, and the low frequency color determination unit 35 Determines the low frequency color from the B signal histogram (S42).
  • the process of step S42 is the same except that the B signal is used instead of the R signal in the process of step S34. Therefore, detailed description thereof will not be repeated.
  • the infrequent color determination unit 35 determines whether or not a total of two or more infrequent colors have been determined through the processing up to step S42 (S44). When the low frequency color of the total of two or more colors is determined (YES in S44), the low frequency color candidate determination process (S8) is terminated.
  • the occurrence frequency calculation unit 34 creates an RG signal histogram from the RGB signal histogram and determines the low frequency color.
  • the unit 35 determines the low frequency color from the RG signal histogram (S46).
  • FIG. 12 is a diagram showing an example of an RG signal histogram, in which the first axis indicates the R signal, the second axis orthogonal to the first axis indicates the G signal, the first axis and A third axis orthogonal to both of the second axes indicates the frequency of the set of R and G signals.
  • the number of quantization steps is not limited to eight, and other numbers may be used.
  • the low frequency color determination unit 35 determines a set (class) of R and G signals whose frequency is equal to or less than a predetermined threshold from the RG signal histogram.
  • the predetermined threshold may be 0, for example, or may be a value that is 1/10 of the total frequency of all classes. However, the threshold value is an example, and other values may be used.
  • the low frequency color determination unit 35 determines one low frequency color for each class whose frequency is equal to or less than the threshold value.
  • the continuous class is regarded as one class and one low-frequency color is determined.
  • the low frequency color determination unit 35 determines the median value of the R signal and G signal of each class as the value of the R signal and G signal of the low frequency color.
  • the low frequency color is determined from the RG signal histogram, and the B signal is not considered.
  • the value of the low-frequency color B signal can be set to an arbitrary value.
  • the value of the B signal may be determined randomly, or may be determined as a median value or a predetermined value that can be taken by the B signal.
  • the infrequent color determination unit 35 determines whether or not a total of two or more infrequent colors have been determined through the processing up to step S46 (S48). When the low frequency color of the total two or more colors is determined (YES in S48), the low frequency color candidate determination process (S8) is ended.
  • the occurrence frequency calculation unit 34 creates an RB signal histogram from the RGB signal histogram and determines the low frequency color.
  • the unit 35 determines the low frequency color from the RB signal histogram (S50).
  • the process of step S50 is the same except that the B signal is used instead of the G signal in the process of step S46. Therefore, detailed description thereof will not be repeated.
  • the infrequent color determining unit 35 determines whether or not a total of two or more infrequent colors have been determined by the processing up to step S50 (S52). If low-frequency colors of two or more cumulative colors have been determined (YES in S52), the low-frequency color candidate determination process (S8) is terminated.
  • the occurrence frequency calculation unit 34 creates a GB signal histogram from the RGB signal histogram and determines the low frequency color.
  • the unit 35 determines the low frequency color from the GB signal histogram (S54).
  • the process of step S54 is the same except that the B signal is used instead of the R signal in the process of step S46. Therefore, detailed description thereof will not be repeated.
  • the infrequent color determining unit 35 determines whether or not a total of two or more infrequent colors have been determined by the processing up to step S54 (S56). When the low frequency color of two or more cumulative colors is determined (YES in S56), the low frequency color candidate determination process (S8) is terminated.
  • the occurrence frequency calculation unit 34 uses, for example, 8 signals of each color from the RGB signal histogram created in Step S32. Quantization is performed for each step (8 luminance values), and a quantized RGB signal histogram is created. However, the number of quantization steps is not limited to eight, and other numbers may be used.
  • the first axis indicates the R signal
  • the second axis orthogonal to the first axis indicates the G signal
  • the low frequency color determination unit 35 determines a low frequency color from the quantized RGB signal histogram (S58).
  • the low-frequency color determination unit 35 determines a set (class) of R, G, and B signals whose frequency is equal to or less than a predetermined threshold from the RGB signal histogram.
  • the predetermined threshold value may be 0, or may be a value that is 1/20 of the total frequency of all classes.
  • the low frequency color determination unit 35 determines one low frequency color for each class whose frequency is equal to or less than the threshold value.
  • the classes are continuous in the RGB space (the space spanned by the first axis, the second axis, and the third axis)
  • the consecutive classes are regarded as one class and one low frequency. Determine the color.
  • the low frequency color determination unit 35 determines the median value of the R signal, G signal, and B signal of each class as the value of the R signal, G signal, and B signal of the low frequency color.
  • the low-frequency color candidate is determined by the processing of S32 to S58 described above.
  • the color label 5 is composed of three or more color labels and it is necessary to determine candidates for three or more colors, the same processing can be used.
  • the low-frequency color determination unit 35 determines whether or not three or more low-frequency color candidates have been determined by the low-frequency candidate determination process (S8) described above (S10).
  • the processes after step S12 are executed to narrow the low frequency color candidates to two colors.
  • the display control unit 36 determines the display order of low-frequency color candidates of three or more colors determined by the low-frequency color determination unit 35 (S12). That is, in the RGB space, the display order of the low-frequency color candidates is displayed so that the low-frequency color candidates are displayed higher as the low-frequency color adjacent to the low-frequency color candidates continues. To decide. For example, the display control unit 36 changes the display order of the low-frequency color candidates determined from the single color signal histogram (R signal histogram, G signal histogram, or B signal histogram) to the multi-color signal histogram (RG signal histogram). , RB signal histogram, GB signal histogram, RG signal histogram), and the lower order color candidate display order determined from the display order. This is because the low frequency color candidate determined from the histogram of the single color signal can have any two color signal values other than the single color as an arbitrary value. This is because more adjacent colors with low occurrence frequency are continuous.
  • the display control unit 36 changes the display order of the low frequency color candidates determined from the histograms of the two color signals (RG signal histogram, RB signal histogram, GB signal histogram) to three colors. It is determined to be higher than the display order of the low frequency color candidates determined from the signal histogram (RGB signal histogram).
  • the display control unit 36 When there are a plurality of low frequency color candidates determined from the histogram of the single color signal, the display control unit 36, as shown in FIG. The display order is determined so that a low-frequency color having a large number of consecutive classes is displayed higher. The same applies to the display order of the low-frequency color candidates determined from the histogram of the multi-color signal.
  • the display control unit 36 displays the low frequency color candidates on the display screen in order from the determined display order (S14).
  • FIG. 13 is a diagram for explaining the low-frequency color determination process.
  • FIG. 13A shows a screen display example of step S14. On the display screen, a combination of the color number of the low frequency color candidate and the color information is displayed. The color information is indicated by luminance values (R, G, B), and an actual color is displayed as an icon next to the luminance value. In FIG. 13A, four low-frequency color candidates are displayed.
  • the selection color acquisition unit 37a waits until the user operates the input device to select a candidate from the low frequency color candidates, that is, until the first selection color (candidate selected by the user) is acquired (S16). .
  • the number 2 color is selected as the first selection color ((B) of FIG. 13).
  • the display control unit 36 selects a plurality of low frequency colors according to the distance between the first selection color and the remaining low frequency color candidates.
  • the display order of candidates is determined again (S18). That is, the display order of the low-frequency candidate colors is determined so that the low-frequency candidate colors having a larger distance from the first selection color are displayed at the top.
  • the color distance may be a Euclidean distance between luminance values (R, G, B), or an angle formed by hues calculated from the luminance values (R, G, B) (or the angle).
  • the color distance is not limited to these, and other distances may be used as long as the similarity can be determined between colors.
  • the display control unit 36 displays the low frequency color candidates on the display screen according to the re-determined display order (S20). For example, as shown in FIG. 13C, the color information of the number 2 color that is the first selected color is displayed at the top, and then the color in the descending order of display determined again in step S18. , Color information is displayed.
  • the selection color acquisition unit 37a acquires the second selection color (candidate selected by the user) until the user operates the input device to select a candidate from the low frequency color candidates other than the first selection color. (S22). Here, it is assumed that the color of number 3 is selected as the second selection color ((C) of FIG. 13).
  • the display control unit 36 displays the first selection color and the second selection color on the display screen (S24). For example, as shown in FIG. 13E, the display control unit 36 displays the color information of the numbers 2 and 3 on the display screen.
  • the low frequency color determination unit 35 transmits the color information of the first selection color and the second selection color to the detection device 4 via the communication unit 31 (S26).
  • the display control unit 36 sets the determined low frequency color candidate as a low frequency color, and The color information of the low frequency color is displayed on the display screen (S24). Moreover, the low frequency color determination part 35 transmits the color information of a low frequency color to the detection apparatus 4 via the communication part 31 (S26). However, if a low frequency color candidate is not found, the processing in steps S24 and S26 may be omitted.
  • steps S18 to S22 are further performed after the second selected color is acquired. By executing the same processing as, low-frequency colors after the third selected color can be determined.
  • FIG. 14 is a flowchart illustrating another example of the processing procedure of the analysis apparatus 3 according to the first embodiment of the present disclosure.
  • the process shown in FIG. 14 is used for, for example, calibration after the color label 5 is developed with the low frequency color determined in the above process. That is, from the image of the color label 5 photographed by the camera 2, it is confirmed whether or not the frequency of the color label 5 is certainly low, and is used for calibration for adjusting the color of the color label 5. It is done.
  • the image acquisition unit 32 acquires an image from the camera 2 via the communication unit 31 (S102). For example, the image acquisition unit 32 acquires images obtained by capturing the first color label 5A that develops the first selection color and the second color label 5B that develops the second selection color.
  • the display control unit 36 displays the image acquired by the image acquisition unit 32 on the display screen (S104).
  • the designated color acquisition unit 37b stands by until the user obtains the designated color designated by operating the input device (S106). For example, when the user operates the input device to specify the position of the first color label 5A on the image, the specified color acquisition unit 37b acquires the color corresponding to the position as the specified color.
  • the occurrence frequency calculation unit 34 calculates the occurrence frequency of the specified color (S108).
  • the occurrence frequency calculation unit 34 has the RGB signal histogram created by the occurrence frequency calculation unit 34 in the RGB signal histogram creation process (step S32 in FIG. 9) and stored in the storage unit 33.
  • the occurrence frequency is calculated by acquiring the occurrence frequency of the designated color.
  • the display control unit 36 displays the calculated occurrence frequency of the designated color on the display screen (S110). Note that the display control unit 36 may display the level of occurrence frequency by classifying the occurrence frequency into large, medium, and small levels.
  • the user can confirm the occurrence frequency of the color indicated by the color label 5 shown in the image, for example. Thereby, the user can adjust the color of the color label 5 when the occurrence frequency is high.
  • FIG. 15 is a flowchart illustrating an example of a processing procedure of the detection device 4 according to the first embodiment of the present disclosure.
  • the process shown in FIG. 15 is a pre-process that is executed prior to the person 61 detection process shown in FIG.
  • the low frequency color acquisition unit 42 acquires the color information of the low frequency color determined by the analysis device 3 from the analysis device 3 via the communication unit 41 (S72). For example, the low-frequency color acquisition unit 42 acquires the color information of the first selection color (number 2) and the second selection color (number 3) shown in FIG.
  • the threshold determination unit 43 determines a threshold based on the acquired color information (S74). For example, the threshold determination unit 43 determines the upper threshold by adding 10 to the values of the R signal, G signal, and B signal of each color information, and determines the lower threshold by subtracting 10 from each.
  • the upper limit threshold is limited to the upper limit value 255 of the luminance value
  • the lower limit threshold is limited to the lower limit value 0 of the luminance value.
  • the threshold value determination unit 43 determines the upper threshold value as (255, 202, 10) and the lower threshold value as (245, 182, 0) from the color information (255, 192, 0) of the first selected color. To do. Further, the threshold value determination unit 43 determines the upper threshold value as (130, 60, 255) and the lower threshold value as (110, 40, 245) from the color information (120, 50, 255) of the second selected color. To do.
  • the threshold determination unit 43 stores the determined threshold, that is, the set of the upper threshold and the lower threshold in the threshold storage unit 44 (S76).
  • FIG. 16 is a diagram illustrating an example of threshold values stored in the threshold value determination unit 43.
  • the threshold storage unit 44 stores, for example, the above-described first selection color threshold and second selection color threshold.
  • FIG. 17 is a flowchart illustrating another example of the processing procedure of the detection device 4 according to the embodiment of the present disclosure.
  • the process shown in FIG. 17 is a process for detecting a person 61 as an object.
  • the image acquisition unit 45 acquires the image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 41 (S82).
  • the detection unit 46 reads the threshold value from the threshold value storage unit 44 (S84). That is, the detection unit 46 reads a set of the upper limit threshold value and the lower limit threshold value for each of the first selection color and the second selection color as shown in FIG.
  • the detection unit 46 extracts the first selected color region and the second selected color region from the image (S86). That is, the detection unit 46 extracts a region by comparing the luminance value of each pixel of the image with the upper limit threshold and the lower limit threshold. Specifically, the detection unit 46 extracts pixels of the first selected color from the image. That is, the detection unit 46 extracts pixels whose luminance values are equal to or higher than the lower limit threshold value of the first selection color and are equal to or lower than the upper limit threshold value of the first selection color as pixels of the first selection color. The detection unit 46 extracts a cluster of adjacent pixels of the first selection color as a first selection color region. The detection unit 46 also extracts the second selected color region by the same process. Thereby, the detection unit 46 extracts a region including the first color label 5A and the second color label 5B attached to the helmet 80.
  • the detecting unit 46 determines whether or not the first selected color area and the second selected color area have a predetermined positional relationship (S88). For example, if the distance between the center of gravity of the first selected color region and the center of gravity of the second selected color region is within a predetermined distance, the detection unit 46 determines that the predetermined positional relationship is satisfied. Since the positional relationship between the first color label 5A and the second color label 5B attached to the helmet 80 is known in advance, the predetermined distance used for the determination can also be calculated in advance.
  • the notification unit 47 transmits a sound signal indicating that the person 61 has been detected to the sound output device, The message information is transmitted to the display device or the terminal device (S90). Thereby, the presence of the person 61 is notified to the driver of the forklift 60.
  • the detection device 4 ends the process.
  • the process end timing is, for example, when the detection device 4 receives a signal indicating that the engine of the forklift 60 has stopped.
  • step S92 If it is not the process end timing (NO in S92), the process returns to step S82, and the processes in steps S82 to S90 are repeatedly executed until the process end timing is reached.
  • a low-frequency color is determined from an image of the inside of a factory, and a color label 5 that generates the low-frequency color is attached to the helmet 80 worn by the person 61. It is guaranteed that the color label 5 has a low frequency of occurrence in the image. For this reason, it is possible to accurately detect the color label 5 attached to the helmet 80 by image processing, and thereby the person 61 can be accurately detected.
  • the low frequency color determination unit 35 can determine the low frequency color in consideration of the frequency of occurrence of each color included in a plurality of colors located near each other in a predetermined color space. For example, when a color around a color having a low occurrence frequency in the color space also has a low occurrence frequency, the color with the low occurrence frequency can be preferentially determined as the low frequency color. As a result, even if the color of an object that is a low frequency color in the image changes slightly due to changes in environmental conditions such as sunshine, weather, or lighting, the occurrence frequency of the changed color is also low. can do. For this reason, an object can be accurately detected from an image by image processing without being affected by changes in environmental conditions.
  • the low frequency color determination unit 35 determines whether a plurality of low frequency colors are determined by the low frequency color determination unit 35.
  • other low frequency colors are displayed on the screen according to the distance from the selected color selected by the user. For example, as shown in FIG. 13C, by displaying other low-frequency colors in descending order of the distance from the selected color, the user selects a low-frequency color with high discrimination performance from the selected color. It can be made easy.
  • information based on the occurrence frequency for the specified color acquired by the specified color acquisition unit 37b is displayed on the display screen. For this reason, the user can know the occurrence frequency or the level of occurrence frequency in the image of the designated color. For example, the user designates a color label 5 that develops a low frequency color in the image. Thereby, the user can know whether or not the color of the color label 5 is actually infrequent, and can confirm whether or not the color label 5 develops an appropriate color.
  • the user can also know the frequency of occurrence when each color is designated. Thereby, the user can determine the color of the color label 5. For example, the user can determine the designated color with the lowest occurrence frequency as the color of the color label 5.
  • the color label 5 develops a color with a low occurrence frequency in the image. In other words, the existence probability of pixels having the same or similar color as the color label 5 is low in the image. For this reason, the color label 5 can be accurately detected by distinguishing it from other regions by image processing. Thereby, the color label 5 detected accurately by image processing can be provided.
  • the detection device 4 can detect that a low frequency color is included in the image.
  • the low frequency color is a color that is hardly included in the background or the like in the image. For this reason, the object can be accurately detected without being affected by the color of the background or the like by giving the object an infrequent color.
  • the analysis apparatus 3 displays a plurality of low frequency color candidates on the display screen, and allows the user to select a low frequency color from the candidates.
  • the low-frequency color determination unit 35 determines low-frequency color candidates as in the first embodiment.
  • the low frequency color determination unit 35 determines a low frequency color set by preferentially selecting a candidate set having a large color distance. For example, when two low-frequency colors are determined, the low-frequency color determination unit 35 determines a low-frequency color by selecting a candidate set having the longest color distance. When determining three or more low-frequency colors, the low-frequency color determination unit 35 selects a low-frequency color candidate having the next largest distance from any one of the determined low-frequency colors. By repeating in sequence, the desired number of low frequency colors is determined.
  • a plurality of low-frequency colors are determined so that the distance between colors becomes large. If a low frequency color set with a small distance is selected, depending on the environmental conditions such as sunlight, weather, or lighting, the low frequency color may be recognized as the same color by image processing and cannot be distinguished. By selecting a set of frequency colors, it is possible to identify low frequency colors without being influenced by environmental conditions.
  • the low frequency color and the threshold value are determined without depending on the time zone when the image is taken. However, when detecting an object outdoors or the like, since it is affected by sunlight, the color of the low frequency changes depending on the time zone, and it may be better to change the threshold accordingly.
  • a low frequency color and a threshold value are determined for each time zone when an image is taken will be described. In the following description, points different from the first embodiment will be mainly described, and description of common points will not be repeated.
  • the configuration of the image processing system according to the second embodiment is the same as that shown in FIG.
  • FIG. 18 is a block diagram illustrating a functional configuration of the analysis device 3 according to the second embodiment of the present disclosure.
  • the analysis apparatus 3 further includes a time acquisition unit 38 in the configuration of the analysis apparatus 3 according to Embodiment 1 shown in FIG.
  • the time acquisition unit 38 acquires the image acquisition time by the image acquisition unit 32.
  • the time acquisition unit 38 stores the acquired acquisition time in the storage unit 33 in association with the image acquired by the image acquisition unit 32 and stored in the storage unit 33.
  • the time acquisition unit 38 includes a timer, for example. However, the time acquisition unit 38 may be configured to acquire the time from an external timer or the like. In addition, when the information acquired by the image acquisition unit 32 includes information on the imaging time, the time acquisition unit 38 may acquire the time from the image.
  • the occurrence frequency calculation unit 34 calculates the occurrence frequency for each color according to the time zone including the image acquisition time by the image acquisition unit 32. That is, the occurrence frequency calculation unit 34 reads out an image captured during the time period such as daytime or nighttime from the storage unit 33 and calculates the occurrence frequency for each color based on the read image. .
  • the method for calculating the occurrence frequency is the same as in the first embodiment.
  • the low frequency color determination unit 35 determines a low frequency color based on the occurrence frequency for each time period.
  • the low frequency color determination unit 35 transmits the set of the color information of the determined low frequency color and the time zone to the detection device 4 via the communication unit 31.
  • the low-frequency color determination method is the same as in the first embodiment.
  • the color label 5 is attached to, for example, a helmet 80 worn by the person 61 and develops a low frequency color determined by the analysis device 3. However, since the low frequency color is determined for each time zone, the color of the color label 5 is also changed according to the time zone.
  • FIG. 19 is a block diagram illustrating a functional configuration of the detection device 4 according to the second embodiment of the present disclosure.
  • the detection apparatus 4 further includes a time acquisition unit 48 in the configuration of the detection apparatus 4 according to Embodiment 1 shown in FIG.
  • the time acquisition unit 48 acquires the image acquisition time by the image acquisition unit 45.
  • the time acquisition unit 48 includes, for example, a timer. However, the time acquisition unit 48 may be configured to acquire time from an external timer or the like. Note that if the image acquired by the image acquisition unit 45 includes information on the imaging time, the time acquisition unit 48 may acquire the time from the image.
  • the low frequency color acquisition unit 42 acquires a set of color information and time zone of the low frequency color determined by the analysis device 3 from the analysis device 3 via the communication unit 41.
  • the threshold value determination unit 43 is a color label that develops the low frequency color determined by the analysis device 3 for each time zone based on the combination of the color information of the low frequency color acquired by the low frequency color acquisition unit 42 and the time zone.
  • the threshold for detecting 5 is determined.
  • the threshold value determination method is the same as in the first embodiment.
  • FIG. 20 is a diagram illustrating an example of threshold values stored in the threshold value storage unit 44.
  • the threshold storage unit 44 stores a threshold for each time zone. For example, two threshold values are stored corresponding to the time zone (6: 00-18: 00). The upper threshold of the first threshold is (255, 202, 10), and the lower threshold is (245, 182, 0). The upper threshold of the second threshold is (130, 60, 255), and the lower threshold is (110, 40, 245). Similarly, two threshold values are stored for the time zone (18:00 to 6:00), but these threshold values are different from the threshold values for the time zone (6:00 to 18:00). .
  • the detection unit 46 acquires the acquisition time of the image by the image acquisition unit 45 from the time acquisition unit 48, and reads the threshold corresponding to the time zone including the acquisition time from the threshold storage unit 44.
  • the detection unit 46 uses the read threshold value and the image acquired by the image acquisition unit 45 to detect that the low-frequency color is included in the image as in the first embodiment, thereby Detect objects.
  • FIG. 21 is a flowchart illustrating an example of a processing procedure of the analysis apparatus 3 according to the second embodiment of the present disclosure.
  • the image acquisition unit 32 acquires an image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 31 (S2).
  • the image acquisition unit 32 stores the acquired image in the storage unit 33. Further, the time acquisition unit 38 acquires the acquisition position of the image, and stores the acquisition time in the storage unit 33 in association with the image stored in the storage unit 33 (S4A).
  • the image acquisition unit 32 determines whether the image acquisition is completed (S6). If the image acquisition is not completed (NO in S6), the processes in steps S2 and S4A are repeatedly executed until the image acquisition is completed.
  • the analysis device 3 executes the processing of steps S8 to S26A for the images of the respective time zones (loop A). For example, when there are two time zones, a time zone (6:00 to 18:00) and a time zone (18:00 to 6:00), the analysis apparatus 3 uses the time zone (6:00 to 18). After the processing of steps S8 to S26A is performed on the image captured at 0:00), the processing of steps S8 to S26A is performed on the image captured in the time zone (18:00 to 6:00). The processing in steps S8 to S24 is the same as that shown in FIG.
  • step S ⁇ b> 26 ⁇ / b> A the low frequency color determination unit 35 transmits a set of the color information of the first selection color and the second selection color and the time zone to the detection device 4 via the communication unit 31.
  • FIG. 22 is a flowchart illustrating an example of a processing procedure of the detection device 4 according to the second embodiment of the present disclosure. Note that the process shown in FIG. 22 is a pre-process that is executed prior to the person 61 detection process shown in FIG.
  • the low frequency color acquisition unit 42 acquires the color information of the low frequency color determined by the analysis device 3 and the time zone from the analysis device 3 via the communication unit 41 (S72A).
  • the detection device 4 executes the processes of steps S74 and S76 for each acquired time zone (loop B).
  • the processes in steps S74 and S76 are the same as those shown in FIG. For example, when there are two time zones, a time zone (6:00 to 18:00) and a time zone (18:00 to 6:00), the detection device 4 is connected to the time zone (6:00 to 18). : 0), the processes of steps S74 and S76 are executed, and then the processes of steps S74 and S76 are executed for the time period (18:00 to 6:00).
  • the threshold value as shown in FIG. 20 is stored in the threshold value storage unit 44.
  • FIG. 23 is a flowchart illustrating another example of the processing procedure of the detection device 4 according to the second embodiment of the present disclosure.
  • the process shown in FIG. 23 is a process for detecting a person 61 as an object.
  • the image acquisition unit 45 acquires an image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 41 (S82).
  • the time acquisition unit 48 acquires the acquisition time of the image by the camera 2 (S84A).
  • the detection unit 46 reads a threshold corresponding to the time zone including the acquisition time from the threshold storage unit 44 (S84B).
  • a threshold corresponding to the time zone including the acquisition time from the threshold storage unit 44 (S84B).
  • the detection unit 46 reads out two threshold values corresponding to a time period (18:00 to 6:00) including 20:00.
  • the detection unit 46 reads a set of the upper threshold (255, 180, 90) and the lower threshold (245, 160, 70) as the first threshold, and the upper threshold (120, 40) as the second threshold. , 30) and the lower threshold (100, 20, 10).
  • Steps S86 to S92 are the same as those shown in FIG.
  • the low frequency color can be determined for each time zone.
  • a threshold value can be determined for every time slot
  • the low frequency color and the threshold value are determined without depending on the position where the image is taken. However, when the background image changes depending on the position as in the image captured by the camera 2 mounted on the forklift 60, the low frequency color also changes depending on the position. For this reason, it may be better to change the threshold value for detecting the object.
  • the third embodiment an example in which a low frequency color and a threshold value are determined for each position where an image is taken will be described. In the following description, points different from the first embodiment will be mainly described, and description of common points will not be repeated.
  • the configuration of the image processing system according to the third embodiment is the same as that shown in FIG.
  • FIG. 24 is a block diagram illustrating a functional configuration of the analysis device 3 according to the third embodiment of the present disclosure.
  • the analysis apparatus 3 further includes a position acquisition unit 39 in the configuration of the analysis apparatus 3 according to Embodiment 1 shown in FIG.
  • the position acquisition unit 39 acquires the acquisition position of the image by the image acquisition unit 32.
  • the position acquisition unit 39 stores the acquired acquisition position in the storage unit 33 in association with the image acquired by the image acquisition unit 32 and stored in the storage unit 33.
  • the position acquisition unit 39 may acquire, for example, a position measured by a GPS receiver or the like installed on the camera 2 or the forklift 60 as an image acquisition position, or enter / exit the room of the person 61 that is the object. Based on the management information or the like, the installation position of the camera 2 used for imaging the person 61 may be acquired as an image acquisition position.
  • the unit 39 may measure the position.
  • the position acquisition unit 39 can measure the position of the receiver based on the principle of triangulation by using a plurality of received signal strengths respectively received by the receiver from a plurality of access points. Note that when the image acquired by the image acquisition unit 32 includes information on the imaging position, the position acquisition unit 39 may acquire the imaging position from the image as the image acquisition position.
  • the position acquisition unit 39 uses one or more positions of the position measured by the GPS receiver, the installation position of the camera 2, the position of the receiver based on the received signal strength of the radio wave, and the imaging position included in the image.
  • the image acquisition position can be acquired.
  • the occurrence frequency calculation unit 34 calculates the occurrence frequency for each color according to the area to which the image acquisition position by the image acquisition unit 32 belongs. That is, the occurrence frequency calculation unit 34 reads out an image captured in the area for each area such as the factory A and the factory B from the storage unit 33, and based on the read image, the image of the color for each color. The frequency of occurrence is calculated.
  • the method for calculating the occurrence frequency is the same as in the first embodiment.
  • the association between the area and the position is performed in advance.
  • the position is indicated by latitude and longitude
  • the area is indicated by latitude range and longitude range.
  • the low frequency color determination unit 35 determines a low frequency color based on the occurrence frequency for each area.
  • the low frequency color determination unit 35 transmits a set of the color information of the determined low frequency color and an area identifier for identifying the area to the detection device 4 via the communication unit 31.
  • the low-frequency color determination method is the same as in the first embodiment.
  • the color label 5 is attached to, for example, a helmet 80 worn by the person 61 and develops a low frequency color determined by the analysis device 3. However, since the low frequency color is determined for each area, the color of the color label 5 is also changed according to the area.
  • the area information may be acquired based on the entrance / exit management information of the person 61 into the room, or may be acquired from position information measured from a GPS receiver or the like. For example, the GPS receiver may be attached to the helmet 80 or the person 61 may have it.
  • FIG. 25 is a block diagram illustrating a functional configuration of the detection device 4 according to the third embodiment of the present disclosure.
  • the detection device 4 further includes a position acquisition unit 49 in the configuration of the detection device 4 according to Embodiment 1 shown in FIG.
  • the position acquisition unit 49 acquires the acquisition position of the image by the image acquisition unit 45.
  • the position acquisition unit 49 may acquire, for example, a position measured by a GPS receiver or the like installed on the camera 2 or the forklift 60 as an image acquisition position, or enter / exit the room of the person 61 that is the object. Based on the management information or the like, the installation position of the camera 2 used for imaging the person 61 may be acquired as an image acquisition position.
  • the position acquisition unit 49 measures the position based on the received signal strength of the signal received from the wireless communication access point such as Wi-Fi (registered trademark) by the receiver installed in the camera 2 or the forklift 60. Also good.
  • Wi-Fi registered trademark
  • the position acquisition unit 49 can measure the position of the receiver based on the principle of triangulation by using a plurality of received signal strengths respectively received by the receiver from a plurality of access points.
  • the position acquisition unit 49 may acquire the imaging position as the image acquisition position from the image. That is, the position acquisition unit 49 uses one or more positions of the position measured by the GPS receiver, the installation position of the camera 2, the position of the receiver based on the received signal strength of the radio wave, and the imaging position included in the image.
  • the image acquisition position can be acquired.
  • the low frequency color acquisition unit 42 acquires a set of the color information of the low frequency color determined by the analysis device 3 and the area identifier from the analysis device 3 via the communication unit 41.
  • the threshold value determination unit 43 is a color label 5 that develops the low frequency color determined by the analysis device 3 for each area based on the combination of the color information of the low frequency color acquired by the low frequency color acquisition unit 42 and the area identifier. The threshold value for detecting this is determined.
  • the threshold value determination method is the same as in the first embodiment.
  • FIG. 26 is a diagram illustrating an example of threshold values stored in the threshold value storage unit 44.
  • the threshold storage unit 44 stores a threshold for each area. For example, two threshold values are stored corresponding to area A. The upper threshold of the first threshold is (255, 202, 10), and the lower threshold is (245, 182, 0). The upper threshold of the second threshold is (130, 60, 255), and the lower threshold is (110, 40, 245). Similarly, two threshold values are stored for the area B, but these threshold values are different from the threshold values for the area A.
  • the detection unit 46 acquires the image acquisition position by the image acquisition unit 45 from the position acquisition unit 49, and reads the threshold corresponding to the area to which the acquisition position belongs from the threshold storage unit 44.
  • the detection unit 46 uses the read threshold value and the image acquired by the image acquisition unit 45 to detect that the low-frequency color is included in the image as in the first embodiment, thereby Detect objects.
  • FIG. 27 is a flowchart illustrating an example of a processing procedure of the analysis apparatus 3 according to the third embodiment of the present disclosure.
  • the image acquisition unit 32 acquires an image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 31 (S2).
  • the image acquisition unit 32 stores the acquired image in the storage unit 33. Further, the position acquisition unit 39 acquires the acquisition position of the image, and stores the acquisition position in the storage unit 33 in association with the image stored in the storage unit 33 (S4B).
  • the image acquisition unit 32 determines whether the image acquisition is completed (S6). If the image acquisition is not completed (NO in S6), the processes in steps S2 and S4B are repeatedly executed until the image acquisition is completed.
  • the analysis apparatus 3 executes the processes of steps S8 to S26B for the image of each area (loop C). For example, when there are two areas, area A and area B, the analysis apparatus 3 executes the processing of steps S8 to S26B for the image captured in area A, and then the image captured in area B. Steps S8 to S26B are executed.
  • the processing in steps S8 to S24 is the same as that shown in FIG.
  • step S ⁇ b> 26 ⁇ / b> B the low frequency color determination unit 35 transmits a set of the color information of the first selection color and the second selection color and the area identifier to the detection device 4 via the communication unit 31.
  • FIG. 28 is a flowchart illustrating an example of a processing procedure of the detection device 4 according to the third embodiment of the present disclosure. Note that the process shown in FIG. 28 is a pre-process that is executed prior to the person 61 detection process shown in FIG.
  • the low frequency color acquisition unit 42 acquires a set of the color information of the low frequency color determined by the analysis device 3 and the area identifier from the analysis device 3 via the communication unit 41 (S72B).
  • the detection device 4 executes the processes of steps S74 and S76 for each area indicated by the acquired area identifier (loop D).
  • the processes in steps S74 and S76 are the same as those shown in FIG.
  • the detection device 4 executes the processes of steps S74 and S76 for area A and then executes the processes of steps S74 and S76 for area B.
  • the threshold value as shown in FIG. 26 is stored in the threshold value storage unit 44.
  • FIG. 29 is a flowchart illustrating another example of the processing procedure of the detection device 4 according to the third embodiment of the present disclosure.
  • the process shown in FIG. 29 is a process for detecting the person 61 as an object.
  • the image acquisition unit 45 acquires an image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 41 (S82).
  • the time acquisition unit 48 acquires the acquisition position of the image by the camera 2 (S84C).
  • the detection unit 46 reads a threshold value corresponding to the area to which the acquisition position belongs from the threshold value storage unit 44 based on the acquisition position (S84D). Referring to FIG. 26, for example, when the acquisition position belongs to area B, detection unit 46 reads two threshold values corresponding to area B. In other words, the detection unit 46 reads a set of the upper threshold (255, 180, 90) and the lower threshold (245, 160, 70) as the first threshold, and the upper threshold (120, 40) as the second threshold. , 30) and the lower threshold (100, 20, 10).
  • Steps S86 to S92 are the same as those shown in FIG.
  • a low frequency color can be determined for each area.
  • a threshold value can be determined for each area. For this reason, for example, when detecting an object from an image captured by a camera mounted on a vehicle, or when detecting an object from images captured by cameras respectively arranged in a plurality of areas.
  • the color of the color label 5 attached to the object can be changed according to the position of the camera. Thereby, an object can be detected with high accuracy.
  • the low frequency color is determined, but the region size of the low frequency color in the image is not considered.
  • the fourth embodiment an example in which a low frequency color is determined in consideration of the size of a region in an image will be described.
  • the configuration of the image processing system according to the fourth embodiment is the same as that shown in FIG.
  • FIG. 30 is a block diagram illustrating a functional configuration of the analysis device 3 according to the fourth embodiment of the present disclosure.
  • the analysis device 3 is further provided with a region dividing unit 71 and a region feature calculation unit 72 in the configuration of the analysis device 3 according to the first embodiment shown in FIG.
  • the region dividing unit 71 performs region dividing processing based on the color of each pixel on the image acquired by the image acquiring unit 45. That is, the area dividing unit 71 performs an area dividing process of extracting neighboring pixels having similar colors in the image as one area. Since the area dividing process is a known process, the detailed description thereof will not be repeated here.
  • the area feature calculation unit 72 calculates the size and representative color of each area divided by the area dividing unit 71.
  • the region feature calculation unit 72 calculates the representative color by calculating the average value or median value of the luminance value R, the luminance value G, and the luminance value G of each pixel included in the region.
  • the representative color calculation method is not limited to this.
  • the luminance value R, the luminance value G, the mode value of the luminance value G, the maximum value, or the minimum value may be calculated as the representative color. Good.
  • the occurrence frequency calculation unit 34 calculates the occurrence frequency of an area having the set for each set of size and representative color based on the size and representative color of the area calculated by the area feature calculation unit 72. For example, when the size is (S) and the representative color is represented by luminance values of R (red), G (green), and B (blue) in the RGB color space, a set of (S, R, G, B) The frequency of occurrence is calculated for each.
  • the low frequency color determination unit 35 uses a size (low frequency size) and a representative color (low frequency) that are less frequently generated than other sets. Color) set.
  • the low frequency color determination unit 35 transmits the determined low frequency size and low frequency color set to the detection device 4 via the communication unit 31.
  • the color label 5 is attached to, for example, a helmet 80 worn by the person 61 and develops a low frequency color determined by the analysis device 3. Further, the color label 5 has an actual size such that when the color label 5 is captured by the camera 2, the size of the color label 5 in the image becomes the low frequency size determined by the analysis device 3. For this reason, when the color label 5 consists of two color labels of the first color label 5A and the second color label 5B, the color of each color label may be different and the size may be different.
  • FIG. 31 is a diagram of a helmet worn by the person 61 as viewed from the side
  • FIG. 32 is a diagram of the helmet as viewed from above.
  • the color label 5 is attached to the helmet 80.
  • the color label 5 includes a first color label 5A and a second color label 5B arranged in parallel.
  • the color label 5 can have a width of about 40 mm and a length of about 180 to 250 mm.
  • a gap region 5S is provided between the first color label 5A and the second color label 5B.
  • the gap region 5S is a black region, for example, and has a width of 2 to 3 mm.
  • the same color label 5 is also attached to the upper part of the helmet 80.
  • the color label 5 is also attached to the opposite side surface and the front and rear of the helmet 80. In this way, by sticking the color label 5 to every part of the helmet 80, any color label 5 is picked up by the camera 2 regardless of the posture (upright, squatting, etc.) of the person 61. You can make it.
  • Such a color label 5 may be made of cloth, tape, paint, or the like, and may develop a specific color.
  • the color label 5 is preferably made of a fluorescent tape, or the color label 5 is preferably coated with a fluorescent paint.
  • the color label 5 can be easily recognized.
  • the label can be recognized without using a special camera such as an infrared camera.
  • the color label 5 may be configured to include the light emitting element 53 as shown in FIG.
  • the functional configuration of the detection device 4 is the same as that shown in FIG. However, the processes executed by the low-frequency color acquisition unit 42, the threshold determination unit 43, and the detection unit 46 are different, and the thresholds stored in the threshold storage unit 44 are different.
  • the low frequency color acquisition unit 42 acquires a set of low frequency size and low frequency color from the analysis device 3 via the communication unit 41.
  • the threshold determination unit 43 develops the low frequency color determined by the analysis device 3 based on the combination of the low frequency size and the low frequency color acquired by the low frequency color acquisition unit 42, and has the same size as the low frequency size.
  • a threshold value for detecting the color label 5 is determined. For example, when the combination of the low frequency size and the low frequency color is (S1, R1, G1, B1), the threshold value determination unit 43 sets the lower threshold value to (S1-100, R1-10, G1-) as the threshold value. 10, B1-10), and the upper threshold is determined as (S1 + 100, R1 + 10, G1 + 10, B1 + 10).
  • the threshold determination unit 43 writes the determined threshold in the threshold storage unit 44.
  • the threshold value determination unit 43 determines a threshold value for each set and writes it in the threshold value storage unit 44.
  • FIG. 33 is a diagram illustrating an example of threshold values stored in the threshold value storage unit 44.
  • two threshold values are stored in the threshold value storage unit 44.
  • the upper threshold of the first threshold is (350, 255, 202, 10), and the lower threshold is (150, 245, 182, 0).
  • the upper threshold of the second threshold is (400, 130, 60, 255), and the lower threshold is (200, 110, 40, 245).
  • the detection unit 46 includes that the image acquired by the image acquisition unit 45 includes a low-frequency size and low-frequency color region acquired by the low-frequency color acquisition unit 42, that is, the color label 5 is included. Detect that That is, the detection unit 46 divides the image acquired by the image acquisition unit 45 into regions as in the region division unit 71. Further, the detection unit 46 reads the threshold value from the threshold value storage unit 44. The detection unit 46 determines whether or not a low-frequency size and low-frequency color area is included in the image based on the divided areas and the threshold value. For example, the detection unit 46 includes a low-frequency size and low-frequency color area in the image if the size and representative color of the divided area are within the read upper limit threshold and lower limit threshold. It is detected that Thereby, the detection unit 46 detects the color label 5.
  • FIG. 34 is a flowchart illustrating an example of a processing procedure of the analysis apparatus 3 according to the fourth embodiment of the present disclosure.
  • the analysis device 3 executes the processes of steps S2 to S6.
  • the processing in steps S2 to S6 is the same as that shown in FIG.
  • the area dividing unit 71 reads an image from the storage unit 33, and executes an area dividing process on the read image (S7A).
  • the region feature calculation unit 72 calculates the size and representative color of each region divided by the region dividing unit 71 (S7B).
  • the occurrence frequency calculation unit 34 and the low frequency color determination unit 35 determine a low frequency size and low frequency color set candidate based on the size and representative color of each region calculated by the region feature calculation unit 72 (S8B).
  • FIG. 35 is a flowchart showing a detailed processing procedure of the process (S8B) for determining the low frequency size and low frequency color set candidate.
  • the occurrence frequency calculation unit 34 creates an SRGB signal histogram based on the size and representative color of each region calculated by the region feature calculation unit 72 (S32B).
  • the occurrence frequency calculation unit 34 causes the storage unit 33 to store the created SRGB signal histogram.
  • FIG. 36 is a diagram illustrating an example of an SRGB signal histogram, where the horizontal axis indicates a set of size (S) and representative colors (R, G, B), and the vertical axis indicates the frequency of each set. Is shown.
  • the luminance value R (R signal), the luminance value G (G signal), and the luminance value B (B signal) are integer values ranging from 0 to 255, respectively.
  • the size (S signal) is an integer value in the range of 1 to 1000 as an example. That is, the occurrence frequency calculation unit 34 creates an SRGB signal histogram by totaling the size and representative color set of each region calculated by the region feature calculation unit 72.
  • the occurrence frequency calculation unit 34 creates an SR signal histogram from the SRGB signal histogram, and the low frequency color determination unit 35 calculates the low frequency size and low frequency from the SR signal histogram. Color set candidates are determined (S34A).
  • FIG. 37 is a diagram showing an example of the SR signal histogram, in which the first axis shows the S signal (size), the second axis orthogonal to the first axis shows the R signal, A third axis orthogonal to both the first axis and the second axis indicates the frequency of the set of S and R signals.
  • the S signal is quantized every 10 steps
  • the R signal is quantized every 8 steps.
  • the number of quantization steps is not limited to these, and other numbers may be used.
  • the low frequency color determination unit 35 determines one low frequency size and low frequency color pair for each class whose frequency is equal to or less than the threshold value. For example, the median value of the class S signal is set to the low frequency size, and the median value of the class R signal is set to the value of the R signal of the low frequency color.
  • the low frequency color is determined from the SR signal histogram, and the G signal and the B signal are not considered. For this reason, the values of the low frequency color G signal and B signal can be set to arbitrary values. For example, the values of the G signal and the B signal may be determined randomly, or may be determined as a median value or a predetermined value that each signal can take.
  • the low frequency color determination unit 35 determines whether two or more sets of low frequency size and low frequency color groups have been determined (S36B). When two or more sets of low frequency sizes and low frequency colors are determined (YES in S36B), the low frequency color candidate determination process (S8B) is terminated.
  • the occurrence frequency calculation unit 34 determines the SG signal histogram, the SB signal histogram, the SRG signal histogram, and the SR signal. B signal histogram, SGB signal histogram, SRGB signal histogram are sequentially created, and the low frequency color determination unit 35 determines a total of two or more sets of low frequency size and low frequency color group candidates. Unless otherwise, a low frequency size and low frequency color set candidate is determined based on each histogram (S38B to S58B).
  • the analysis apparatus 3 executes the processes of steps S10B to S26B after the group candidate determination process (S8B) described above. This is the same as the processing in steps S10 to S26 in FIG. However, it is different in that two low-frequency colors are not determined from the low-frequency color candidates but two sets are determined from the low-frequency size and low-frequency color set candidates. The determined low frequency size and low frequency color set is transmitted to the detection device 4.
  • FIG. 38 is a flowchart illustrating an example of a processing procedure of the detection device 4 according to the fourth embodiment of the present disclosure. Note that the process shown in FIG. 38 is a pre-process that is executed prior to the person 61 detection process shown in FIG.
  • the low frequency color acquisition unit 42 acquires the low frequency size and low frequency color set determined by the analysis device 3 from the analysis device 3 via the communication unit 41 (S72C).
  • the threshold determination unit 43 develops the low frequency color determined by the analysis device 3 based on the combination of the low frequency size and the low frequency color acquired by the low frequency color acquisition unit 42, and has the same size as the low frequency size. A threshold for detecting the color label 5 is determined (S74C). The threshold determination unit 43 writes the determined threshold in the threshold storage unit 44 (S76C).
  • FIG. 39 is a flowchart illustrating another example of the processing procedure of the detection device 4 according to the fourth embodiment of the present disclosure.
  • the process shown in FIG. 39 is a process for detecting a person 61 as an object.
  • the image acquisition unit 45 acquires the image of the detection target area captured by the camera 2 from the camera 2 via the communication unit 41 (S82).
  • the detection unit 46 reads the threshold value from the threshold value storage unit 44 (S84E). That is, the threshold value as shown in FIG. 33 is read out.
  • the detection unit 46 divides the image acquired by the image acquisition unit 45 into regions.
  • the detection unit 46 extracts a low-frequency size and low-frequency color region from the image based on the region-divided region and the threshold value. That is, the detection unit 46 extracts a region whose size and color are not less than the lower limit threshold and not more than the upper limit threshold (S86C).
  • the detection unit 46 determines whether or not the two color areas are extracted and the two color areas have a predetermined positional relationship (S88C).
  • the predetermined positional relationship is the same as that described in S88 of FIG.
  • steps S90 and S92 are executed. These processes are the same as those shown in FIG.
  • the image is divided into regions composed of similar color pixels by the region division processing.
  • the low frequency size and low frequency color set can be determined based on the region size and the occurrence frequency of the representative color set. For this reason, it is possible to determine the color to be attached to the object and the size of the color in order to accurately detect the object by image processing. For example, if the size of the color label 5 is set to a low frequency size and a low frequency color is developed, the color label 5 can be detected from the image by image processing. Thereby, an object can be detected.
  • the color label 5 may be attached to a plurality of persons 61.
  • the low frequency color that is the color of the color label 5 may be changed for each person 61.
  • the detection device 4 can distinguish and detect the person 61.
  • each of the analysis device 3 and the detection device 4 is specifically configured as a computer system including a microprocessor, a ROM (Read Only Memory), a RAM, an HDD, a display unit, a keyboard, a mouse, and the like. May be.
  • a computer program is stored in the RAM or HDD.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • present disclosure may be the method described above.
  • present disclosure may be a computer program that realizes these methods by a computer, or may be a digital signal including the computer program.
  • the present disclosure may be a recording of the computer program or the digital signal on a computer-readable non-transitory recording medium such as an HDD, a CD-ROM, or a semiconductor memory.
  • a computer-readable non-transitory recording medium such as an HDD, a CD-ROM, or a semiconductor memory.
  • the present disclosure may transmit the computer program or the digital signal via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • each of the above devices may be provided by cloud computing. That is, some or all of the functions of each device may be realized by the cloud server.
  • the functions of the occurrence frequency calculation unit 34 and the low frequency color determination unit 35 are realized by the cloud server, and the analysis device 3 transmits an image to the cloud server, and the cloud server reduces the image to the image.
  • the structure which acquires a frequency color may be sufficient.
  • the above embodiment and the above modification examples may be combined.

Abstract

画像処理プログラムは、コンピュータを、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、画像取得部が取得した画像に基づいて、色ごとに、当該色の画像中での発生頻度を算出する発生頻度算出部と、発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部として機能させる。

Description

画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム
 本発明は、画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システムに関する。
 本出願は、2016年12月7日出願の日本出願第2016-237508号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
 従来、カメラが撮像した画像から対象物を検知するための技術が開発されている。
 例えば、特許文献1には、フォークリフトの周辺の人物を検知するためのフォークリフトの安全装置が開示されている。つまり、フォークリフトおよび人物に、予め定められた色で互いに異なる形状を描き、天井に予め設置された固定カメラでフォークリフトおよび人物を撮像する。安全装置は、撮像した画像から上記形状および色を抽出することにより、フォークリフトおよび人物を検知し、フォークリフトと人物が一定距離以内に接近すると発報する。
 また、特許文献2には、車両系建設機械の周囲に存在する人物を検知する建設機械用人物検知システムが開示されている。特許文献2では、車両系建設機械としてのショベルに取り付けられたカメラの撮像画像を用いて、ショベルの周辺に位置する人物を検知している。
特開平9-169500号公報 国際公開第2015/186570号
 (1)本開示の一実施態様に係る画像処理プログラムは、コンピュータを、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部として機能させる。
 (10)本開示の他の実施態様に係る色ラベルは、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色の光を発色する。
 (11)本開示の他の実施態様に係る検知装置は、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色を識別するための閾値を取得する閾値取得部と、対象物の検知対象エリアの画像を取得する画像取得部と、前記閾値取得部が取得した前記閾値に基づいて、前記画像取得部が取得した前記画像中に、前記低頻度色が含まれていることを検知する検知部とを備える。
 (12)本開示の他の実施態様に係る画像処理装置は、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部とを備える。
 (13)本開示の他の実施態様に係る画像処理方法は、対象物の検知対象エリアを撮像した画像を取得するステップと、取得された前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出するステップと、算出された色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定するステップとを含む。
 (14)本開示の他の実施態様に係る画像処理システムは、上述の画像処理装置と、上述の色ラベルと、上述の検知装置とを備える。
本開示の実施の形態1に係る画像処理システムの全体構成を示す図である。 画像処理システム1の取付例を示す図である。 本開示の実施の形態1に係る解析装置の機能的な構成を示すブロック図である。 本開示の実施の形態1に係る検知装置の機能的な構成を示すブロック図である。 本開示の実施の形態1に係る色ラベル5の構成を示すブロック図である。 人物が被るヘルメットを側方から見た図である。 検知対象物である物を側面上方から見た図である。 本開示の実施の形態1に係る解析装置の処理手順の一例を示すフローチャートである。 低頻度色候補決定処理(S8)の詳細な処理手順を示すフローチャートである。 R-G-B信号ヒストグラムの一例を示す図である。 R信号ヒストグラムの一例を示す図である。 R-G信号ヒストグラムの一例を示す図である。 低頻度色の決定処理を説明するための図である。 本開示の実施の形態1に係る解析装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態1に係る検知装置の処理手順の一例を示すフローチャートである。 閾値決定部に記憶される閾値の例を示す図である。 本開示の実施の形態に係る検知装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態2に係る解析装置の機能的な構成を示すブロック図である。 本開示の実施の形態2に係る検知装置の機能的な構成を示すブロック図である。 閾値記憶部に記憶される閾値の例を示す図である。 本開示の実施の形態2に係る解析装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態2に係る検知装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態2に係る検知装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態3に係る解析装置の機能的な構成を示すブロック図である。 本開示の実施の形態3に係る検知装置の機能的な構成を示すブロック図である。 閾値記憶部に記憶される閾値の例を示す図である。 本開示の実施の形態3に係る解析装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態3に係る検知装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態3に係る検知装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態4に係る解析装置の機能的な構成を示すブロック図である。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを上方から見た図である。 閾値記憶部に記憶される閾値の例を示す図である。 本開示の実施の形態4に係る解析装置の処理手順の一例を示すフローチャートである。 低頻度サイズおよび低頻度色の組候補を決定する処理(S8B)の詳細な処理手順を示すフローチャートである。 S-R-G-B信号ヒストグラムの一例を示す図である。 S-R信号ヒストグラムの一例を示す図である。 本開示の実施の形態4に係る検知装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態4に係る検知装置の処理手順の他の一例を示すフローチャートである。
[本開示が解決しようとする課題]
 しかしながら、特許文献1では、フォークリフトおよび人物に描く形状の色の決め方については示されていない。このため、カメラの撮像範囲内に当該形状の色と類似する色の物体等が存在する場合には、人物を正確に検知することができないという課題がある。
 また、特許文献2では、人物を検知するために、人物が被るヘルメットを検知している。このため、カメラの撮像範囲内にヘルメットの色と類似する色の物体等が存在する場合には、ヘルメットを正確に検知することができないという課題がある。
 そこで、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することのできる画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。
 また、画像処理により正確に検知される色ラベルを提供することも目的とする。
 また、対象物を正確に検知することができる検知装置および画像処理システムを提供することも目的とする。
[本開示の効果]
 本開示によると、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することができる。
 また、画像処理により正確に検知される色ラベルを提供することもできる。
 さらに、対象物を正確に検知することができる。
 [本願発明の実施形態の概要]
 最初に本開示の実施形態の概要を列記して説明する。
 (1)本開示の一実施形態に係る画像処理プログラムは、コンピュータを、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部として機能させる。
 この構成によると、対象物の検知対象エリアを撮像した画像から、相対的に発生頻度の低い色である低頻度色を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することができる。つまり、低頻度色を対象物に付すことによって、検知対象エリアを撮像した画像から、低頻度色の領域を他の領域の色の影響を受けることなく、正確に検知することができる。これにより、対象物を正確に検知することができる。例えば、工場内を撮像した画像から低頻度色を決定し、低頻度色のラベルを人物が被るヘルメットに貼る。ラベルの色は、画像中において発生頻度が低いことが保証されている。このため、画像処理によりヘルメットに貼られたラベルを正確に検知可能であり、これにより人物を正確に検知することができる。
 (2)前記低頻度色決定部は、所定の色空間において互いに近傍に位置する複数色に含まれる各色の発生頻度を考慮して、前記低頻度色を決定してもよい。
 この構成によると、色空間において発生頻度が低い色の周辺の色も発生頻度が低い場合に、当該発生頻度が低い色を優先的に低頻度色と決定することができる。これにより、日照、気象もしくは照明等の環境条件が変化することによって、画像中で低頻度色である対象物の色が多少変化した場合であっても、変化後の色についても発生頻度を低くすることができる。このため、環境条件の変化の影響を受けることなく、画像処理により、画像から対象物を正確に検知することができる。
 (3)また、前記コンピュータを、さらに、前記画像取得部が取得した前記画像に対して、各画素の色に基づく領域分割処理を実行する領域分割部と、前記領域分割部が分割した領域ごとに、当該領域のサイズおよび代表色を算出する領域特徴算出部として機能させ、前記発生頻度算出部は、前記領域特徴算出部が算出した前記領域のサイズおよび代表色に基づいて、サイズおよび代表色の組ごとに、当該組を有する領域の前記画像中での発生頻度を算出し、前記低頻度色決定部は、前記発生頻度算出部が算出した前記組ごとの領域の発生頻度に基づいて、他の組と比較して発生頻度が低いサイズおよび代表色の組を決定してもよい。
 この構成によると、領域分割処理により画像が類似する色の画素から構成される領域に分割される。また、領域のサイズおよび代表色の組の発生頻度に基づいて、相対的に発生頻度が低いサイズおよび代表色の組を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色と当該色のサイズを決定することができる。例えば、決定されたサイズおよび代表色のラベルを対象物に付け、画像処理により画像から当該サイズおよび当該代表色のラベルを検知することにより、対象物を正確に検知することができる。
 (4)また、前記低頻度色決定部は、前記発生頻度に基づいて、色間の距離が大きい低頻度色の組ほど優先的に選択することにより、複数の低頻度色を決定してもよい。
 色間の距離が離れているほど、色の識別性能が高くなる。この構成によると、色間の距離が大きくなるように複数の低頻度色が決定される。例えば、3つの低頻度色の中から2つの低頻度色を選ぶ場合には、3つの低頻度色の組のうち、最も色間の距離が大きくなる低頻度色の組が選択される。距離の小さい低頻度色の組を選択すると、日照、気象もしくは照明等の環境条件によっては、画像処理により低頻度色同士が同一色と認識され識別不可能な場合があるが、距離の大きい低頻度色の組を選択することにより、環境条件に左右されずに低頻度色を識別することができる。
 (5)また、前記コンピュータを、さらに、前記低頻度色決定部が決定した複数の低頻度色を画面に表示させる表示制御部と、前記画面に表示された前記複数の低頻度色の中からユーザが選択した色である選択色を取得する選択色取得部として機能させ、前記表示制御部は、さらに、前記選択色取得部が取得した前記選択色との間の距離に応じて、前記複数の低頻度色を前記画面に表示させてもよい。
 この構成によると、低頻度色決定部によって低頻度色が複数決定された場合に、ユーザがその中から選択した選択色との距離に応じて他の低頻度色が画面上に表示される。例えば、選択色との距離が大きいものから順に他の低頻度色を表示することによって、選択色との識別性能が高い低頻度色をユーザに選択させやすくすることができる。
 (6)また、前記コンピュータを、さらに、前記画像取得部による前記画像の取得時刻を取得する時刻取得部として機能させ、前記発生頻度算出部は、前記時刻取得部が取得した前記取得時刻を含む時間帯に応じて、色ごとの発生頻度を算出し、前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、時間帯に応じた低頻度色を決定してもよい。
 この構成によると、時間帯ごとに低頻度色を決定することができる。このため、例えば、時間帯に応じて照明環境が変化する屋外などで撮像された画像から対象物を検知する場合であっても、対象物に付すラベルの色を時間帯に応じて変化させることにより、いずれの時間帯においても対象物を高精度に検知することができる。
 (7)また、前記コンピュータを、さらに、前記画像取得部による前記画像の取得位置を取得する位置取得部として機能させ、前記発生頻度算出部は、前記位置取得部が取得した前記取得位置が属するエリアに応じて、色ごとの発生頻度を算出し、前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、エリアに応じた低頻度色を決定してもよい。
 この構成によると、エリアごとに低頻度色を決定することができる。このため、例えば、車両に搭載されたカメラで撮像された画像から対象物を検知する場合や、複数のエリアにそれぞれ配置されたカメラで撮像された画像から対象物を検知する場合などであっても、対象物に付すラベルの色をカメラの位置に応じて変化させることにより、対象物を高精度に検知することができる。
 (8)また、前記コンピュータを、さらに、指定色を取得する指定色取得部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、前記指定色取得部が取得した指定色の発生頻度に基づく情報を出力する出力部として機能させてもよい。
 この構成によると、指定色の画像中での発生頻度または発生頻度のレベルなどを知ることができる。例えば、ユーザが、画像中で、低頻度色決定部が決定した低頻度色を発色するラベルを指定する。これにより、ユーザは、ラベルの色が実際に低頻度か否かを知ることができ、ラベルが適切な色の光を発色しているか否かを確認することができる。
 (9)また、前記コンピュータを、さらに、前記低頻度色決定部が決定した前記低頻度色に基づいて、当該低頻度色を識別するための閾値を決定する閾値決定部として機能させてもよい。
 この構成によると、他の検知装置などが低頻度色を識別するための閾値を決定することができる。
 (10)本開示の他の実施形態に係る色ラベルは、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色の光を発色する。
 この構成によると、色ラベルは、画像中での発生頻度が低い色を発色する。つまり、画像中で、色ラベルの色と同一または類似する色の画素の存在確率は低い。このため、画像処理により、色ラベルを他の領域と区別して正確に検知することができる。これにより、画像処理により正確に検知される色ラベルを提供することができる。
 (11)本開示の他の実施形態に係る検知装置は、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色を識別するための閾値を取得する閾値取得部と、対象物の検知対象エリアの画像を取得する画像取得部と、前記閾値取得部が取得した前記閾値に基づいて、前記画像取得部が取得した前記画像中に、前記低頻度色が含まれていることを検知する検知部とを備える。
 この構成によると、画像中に低頻度色が含まれていることを検知することができる。低頻度色は画像中の背景等にはほとんど含まれない色である。このため、対象物に低頻度色を付すことで、背景等の色の影響を受けずに対象物を正確に検知することができる。
 (12)本開示の他の実施形態に係る画像処理装置は、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部とを備える。
 この構成は、上述の画像処理プログラムによってコンピュータが機能させる処理部を構成要素として含む。このため、上述の画像処理プログラムと同一の作用および効果を奏することができる。
 (13)本開示の他の実施形態に係る画像処理方法は、対象物の検知対象エリアを撮像した画像を取得するステップと、取得された前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出するステップと、算出された色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定するステップとを含む。
 この構成は、上述の画像処理プログラムによってコンピュータが機能させる処理部に対応するステップを含む。このため、上述の画像処理プログラムと同一の作用および効果を奏することができる。
 (14)本開示の他の実施形態に係る画像処理システムは、上述の画像処理装置と、上述の色ラベルと、上述の検知装置とを備える。
 この構成は、上述の画像処理装置と、上述の色ラベルと、上述の検知装置とを備える。画像処理装置によると、対象物の検知対象エリアを撮像した画像から、相対的に発生頻度の低い色である低頻度色を決定することができる。また、色ラベルは、当該低頻度色を発色する。つまり、色ラベルは、画像中での発生頻度が低い色を発色し、画像中で、色ラベルの色と同一または類似する色の画素の存在確率は低い。このため、検知装置は、検知対象エリアを撮像した画像から、色ラベルを、他の領域の色の影響を受けることなく、正確に検知することができる。対象物に色ラベルを付すことにより、検知装置は、対象物を正確に検知することができる。例えば、工場内を撮像した画像から低頻度色を決定し、低頻度色を発色する色ラベルを人物が被るヘルメットに付す。色ラベルの色は、画像中において発生頻度が低いことが保証されている。このため、画像処理によりヘルメットを正確に検知可能であり、これにより人物を正確に検知することができる。
 なお、本開示に係る画像処理装置または検知装置の一部又は全部を実現する半導体集積回路として実現することもできる。
 [本願発明の実施形態の詳細]
 以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
 (実施の形態1)
 [画像処理システムの全体構成]
 図1は、本開示の実施の形態1に係る画像処理システムの全体構成を示す図である。実施の形態1では、検知対象エリア内に存在する対象物として人物61を検知する例について説明する。ただし、対象物は人物61に限定されるものではなく、車両などの他の移動体であってもよいし、検知対象エリア内に予め設置された柱や固定物であってもよい。
 画像処理システム1は、所定の検知対象エリア内の存在する対象物を検知するためのシステムであって、カメラ2と、解析装置3と、検知装置4と、色ラベル5とを備える。
 カメラ2は、予め定められた検知対象エリアを撮像し、撮像した画像を映像信号として出力する。
 解析装置3は、画像処理装置を構成し、カメラ2から、検知対象エリアの画像(映像信号)を取得し、取得した画像中で相対的に発生頻度の低い色である低頻度色を決定する。解析装置3とカメラ2とは、有線により接続されていてもよいし、4Gなどの通信規格に従った携帯電話回線や、Wi-Fi(登録商標)などの無線LAN(Local Area Network)により接続されていてもよい。また、カメラ2が撮影した画像を記録媒体などに書き込み、解析装置3が記録媒体から検知対象エリアの画像を読み込んでもよい。
 なお、解析装置3による低頻度色の決定処理は、後述する検知装置4による人物61の検知処理に先立って、前処理として実行される。
 色ラベル5は、解析装置3が決定した低頻度色を発色する。色ラベル5は、対象物である人物61に付される。例えば、色ラベル5は、人物61が被るヘルメットに貼り付けられる。
 検知装置4は、カメラ2から、検知対象エリアの画像を取得し、取得した画像中で、上記低頻度色を発色する色ラベル5を検知することにより、対象物である人物61を検知する。検知装置4とカメラ2とは、有線により接続されていてもよいし、4Gなどの通信規格に従った携帯電話回線や、Wi-Fi(登録商標)などの無線LANにより接続されていてもよい。
 図2は、画像処理システム1の取付例を示す図である。
 例えば、画像処理システム1は、フォークリフト60の周囲を監視するためのシステムであり、カメラ2は、フォークリフト60の後方を監視可能な位置(例えば、フォークリフト60のフォークヘッドガード後端位置など)に設置される。これにより、フォークリフト60の後方が、人物61の検知対象エリアとされる。
 カメラ2と解析装置3とは、例えば、無線LANにより接続され、カメラ2と検知装置4とは有線により接続されている。
 検知装置4は、カメラ2が撮像した画像から色ラベル5を検知することにより、人物61の検知を行う。
 [解析装置3の構成]
 図3は、本開示の実施の形態1に係る解析装置3の機能的な構成を示すブロック図である。
 解析装置3は、通信部31と、画像取得部32と、記憶部33と、発生頻度算出部34と、低頻度色決定部35と、表示制御部36と、入力受付部37とを備える。
 通信部31は、カメラ2または検知装置4と通信を行うための処理部であり、例えば、カメラ2または検知装置4と有線接続または無線接続するための通信インタフェースを含んで構成される。
 画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する。画像取得部32は、取得した画像を記憶部33に蓄積する。
 記憶部33は、画像取得部32が取得した画像を蓄積する記憶装置であり、例えば、RAM(Random Access Memory)、フラッシュメモリまたはHDD(Hard Disk Drive)などから構成される。
 発生頻度算出部34は、画像取得部32が取得した画像に基づいて、色ごとに、当該色の画像中での発生頻度を算出する。例えば、色を、RGB色空間におけるR(赤)、G(緑)、B(青)の輝度値で表す場合には、(R,G,B)の輝度値の組ごとに発生頻度を算出する。ただし、色を、HSV色空間における色相(H)、彩度(S)および明度(V)で表してもよい。
 なお、発生頻度算出部34は、画像取得部32が取得した複数枚の画像に基づいて発生頻度を算出する場合には、当該複数枚の画像を記憶部33から読み出す。
 低頻度色決定部35は、発生頻度算出部34が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する。例えば、低頻度色決定部35は、全ての色の発生頻度を合計した総発生頻度に対する発生頻度の割合が所定閾値以下の色を、低頻度色として決定してもよい。また、低頻度色決定部35は、発生頻度の昇順にあらかじめ定められた所定数の色を低頻度色と決定してもよい。
 表示制御部36は、出力部を構成し、低頻度色決定部35が決定した低頻度色を、解析装置3の表示画面、または解析装置3とネットワーク等を介して接続された端末装置などの他の装置の表示画面に表示する制御を行う。
 入力受付部37は、キーボードやマウス、タッチパネルなどの入力装置を介してユーザの入力を受け付ける処理部であり、選択色取得部37aと、指定色取得部37bとを含む。
 選択色取得部37aは、表示制御部36によって表示画面に表示された複数の低頻度色の中から、ユーザの選択入力を受け付け、ユーザが選択した低頻度色である選択色を取得する。
 指定色取得部37bは、ユーザが入力装置を操作して指定した色である指定色を取得する。例えば、指定色取得部37bは、表示画面上に表示された画像上の位置をユーザが指定した場合には、当該位置に対応する色を指定色として取得する。また、指定色取得部37bは、表示画面上に表示されたカラーパレット上の位置をユーザが指定した場合には、当該位置に対応する色を指定色として取得する。
 指定色取得部37bが指定色を取得した場合には、発生頻度算出部34が当該指定色に対応する発生頻度を算出し、表示制御部36が算出した発生頻度を表示画面に表示する。
 [検知装置4の構成]
 図4は、本開示の実施の形態1に係る検知装置4の機能的な構成を示すブロック図である。
 検知装置4は、通信部41と、低頻度色取得部42と、閾値決定部43と、閾値記憶部44と、画像取得部45と、検知部46と、通知部47とを備える。
 通信部41は、カメラ2または解析装置3と通信を行うための処理部であり、例えば、カメラ2または解析装置3と有線接続または無線接続するための通信インタフェースを含んで構成される。
 低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色を取得する。例えば、色をRGB色空間におけるR、G、Bの輝度値で表す場合には、低頻度色取得部42は、低頻度色である輝度値(R,G,B)の組を取得する。
 閾値決定部43は、閾値取得部として機能し、低頻度色取得部42が取得した低頻度色に基づいて、解析装置3が決定した低頻度色を発色する色ラベル5を検知する際の閾値を決定する。例えば、低頻度色の輝度値が(R1,G1,B1)である場合には、閾値決定部43は、閾値として、下限閾値を(R1-10,G1-10,B1-10)に決定し、上限閾値を(R1+10,G1+10、B1+10)に決定する。閾値決定部43は、決定した閾値を閾値記憶部44に書き込む。なお、低頻度色取得部42が複数の低頻度色を取得している場合には、閾値決定部43は、低頻度色ごとに閾値を決定し、閾値記憶部44に書き込む。
 閾値記憶部44は、閾値決定部43が決定した閾値を記憶するための記憶装置であり、例えば、RAM、フラッシュメモリまたはHDDなどから構成される。
 画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する。
 検知部46は、画像取得部45が取得した画像中に、低頻度色取得部42が取得した低頻度色が含まれていること、すなわち色ラベル5が含まれていることを検知する。つまり、検知部46は、閾値記憶部44から閾値を読み出し、読み出した閾値と、取得した画像の各画素の色とに基づいて、画像中に低頻度色が含まれているか否かを判断する。例えば、検知部46は、取得した画像の各画素の輝度値(R,G,B)が、読み出した上限閾値および下限閾値の範囲内に収まっていれば、画像中に低頻度色が含まれていることを検知する。これにより、検知部46は、色ラベル5を検知する。
 通知部47は、検知部46が低頻度色、つまり色ラベル5を検知した場合に、音出力装置に音信号を送信したり、表示装置にメッセージ情報を送信したり、端末装置に検知結果を送信したりする。これにより、音出力装置は通知音を出力したり、表示装置はメッセージ情報を表示したりすることができる。例えば、音出力装置および表示装置がフォークリフト60の運転席に設置されている場合には、通知部47は、フォークリフト60の運転手に、後方に人物61が存在することを、音出力装置および表示装置を介して音または画像で通知することができる。また、運転手がスマートフォンなどの端末装置を所持している場合には、通知部47は、運転手に、後方に人物61が存在することを、音、画像または振動等で通知することができる。
 なお、上述した検知装置4の構成において、閾値決定部43の構成が解析装置3に備えられていてもよい。この場合、解析装置3に備えられた閾値決定部43が、解析装置3の低頻度色決定部35が決定した低頻度色に基づいて、当該低頻度色を発色する色ラベル5を検知する際の閾値を決定する。閾値決定部43は、決定した閾値を通信部31を介して、検知装置4に送信する。検知装置4は、低頻度色取得部42および閾値決定部43の代わりに、閾値取得部を備え、閾値取得部が、通信部41を介して解析装置3から、解析装置3が決定した閾値を受信し、閾値記憶部44に記憶する。
 [色ラベル5の構成]
 図5は、本開示の実施の形態1に係る色ラベル5の構成を示すブロック図である。
 色ラベル5は、インタフェース部51と、制御部52と、発光素子53とを備える。
 インタフェース部51は、発光素子53に設定する色を受け付けるインタフェースである。例えば、インタフェース部51は、ユーザが輝度値(R,G,B)を設定するためのスイッチなどの操作部であってもよいし、外部機器と接続され、外部機器から輝度値(R,G,B)を受け付ける通信インタフェースであってもよい。
 制御部52は、インタフェース部51が受け付けた色で発光素子53が発光するように、発光素子53の発光色を制御する。制御部52は、汎用プロセッサなどにより構成されていてもよいし、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの集積回路や、電子回路により構成されていてもよい。
 発光素子53は、制御部52により設定された色で発光する発光素子であり、例えば、LED(Light Emitting Diode)や有機EL(electroluminescence)などの発光素子により構成される。
 なお、色ラベル5の構成は、図5に示したものに限定されるものではなく、色ラベル5は、布、テープまたは塗料などにより構成され、特定の色を発色するものであってもよい。この場合、色ラベル5は、蛍光テープにより構成されていたり、色ラベル5に蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、色ラベル5を認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。
 図6および図7を用いて、色ラベル5の取付例について説明する。
 図6は、人物61が被るヘルメットを側方から見た図である。図6に示すように、ヘルメット80の上部中央付近(人物61の頭頂部付近)に、色ラベル5が貼り付けられている。色ラベル5は、隣接して配置された第1色ラベル5Aおよび第2色ラベル5Bから構成される。ただし、第1色ラベル5Aおよび第2色ラベル5Bの配置位置は隣接配置に限定されるものではなく、第1色ラベル5Aおよび第2色ラベル5Bの間に所定の間隔を設けていてもよい。このように、人物61の頭頂部付近に色ラベル5を設置することにより、色ラベル5を全方位から視認することが可能となる。また、色ラベル5が発光素子53を含んで構成されている場合には、遠方からの視認性も良くなる。
 図7は、検知対象物である物を側面上方から見た図である。図7に示すように、例えば、物の一例である箱のコーナー部分に色ラベル5が貼りつけられる。色ラベル5は、図6に示したものと同様に、隣接して配置された第1色ラベル5Aおよび第2色ラベル5Bから構成される。ただし、第1色ラベル5Aおよび第2色ラベル5Bの配置位置は隣接配置に限定されるものではなく、第1色ラベル5Aおよび第2色ラベル5Bの間に所定の間隔を設けていてもよい。このように、箱のコーナー部分に色ラベル5を設置することにより、色ラベル5を全方位から視認することが可能となる。なお、色ラベル5の設置個所は1か所のコーナーに限定されるものではなく、複数個所のコーナーに色ラベル5を設置することにおり、より視認性を高めることができる。また、色ラベル5が発光素子53を含んで構成されている場合には、遠方からの視認性も良くなる。
 [解析装置3の処理手順]
 図8は、本開示の実施の形態1に係る解析装置3の処理手順の一例を示すフローチャートである。
 画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S2)。
 画像取得部32は、取得した画像を記憶部33に書き込むことで、記憶部33に記憶させる(S4)。
 画像取得部32は、画像取得が終了したか否かを判断する(S6)。画像取得が終了していなければ(S6でNO)、画像取得が終了するまでステップS2およびS4の処理を繰り返し実行する。
 例えば、図2に示したようにカメラ2がフォークリフト60に設置されている場合には、フォークリフト60が走行可能範囲内(例えば、工場内)を隈なく走行し、全ての箇所において画像が取得されていれば画像取得が終了したと判断される。
 画像取得の終了はフォークリフト60の運転手が判断し、解析装置3に対して画像取得の終了を通知するようにしてもよい。また、カメラ2が屋外に固定されている場合には、カメラ2が所定周期で画像を撮像し、画像取得部32は、24時間分の画像を取得できた時点で画像取得が終了したと判断してもよい。
 画像取得が終了したと判断された場合には(S6でYES)、発生頻度算出部34および低頻度色決定部35は、記憶部33に記憶された画像に基づいて、低頻度色の候補を決定する(S8)。色ラベル5には、第1色ラベル5Aと第2色ラベル5Bの2つの色ラベルが含まれるため、ここでは、2色以上の低頻度色の候補を決定するものとする。
 図9は、低頻度色候補決定処理(S8)の詳細な処理手順を示すフローチャートである。
 図9を参照して、発生頻度算出部34は、記憶部33に記憶された画像から、R-G-B信号ヒストグラムを作成する(S32)。発生頻度算出部34は、作成したR-G-B信号ヒストグラムを記憶部33に記憶させる。
 図10は、R-G-B信号ヒストグラムの一例を示す図であり、横軸が、輝度値(R,G,B)を示し、縦軸が各輝度値の頻度を示している。輝度値R(R信号)、輝度値G(G信号)および輝度値B(B信号)は、それぞれ0から255の範囲の整数値である。つまり、発生頻度算出部34は、画像中の各画素について、輝度値を集計することにより、R-G-B信号ヒストグラムを作成する。
 次に、発生頻度算出部34は、R-G-B信号ヒストグラムからR信号ヒストグラムを作成し、低頻度色決定部35は、R信号ヒストグラムから低頻度色を決定する(S34)。
 詳細に説明すると、図11は、R信号ヒストグラムの一例を示す図であり、横軸がR信号を示し、縦軸が各R信号の頻度を示している。なお、R信号は、例えば8ステップ(8輝度値)ごとに量子化されている。例えば、R信号が0~7の階級に1つの頻度が設定される。ただし、量子化のステップ数は8に限定されるものではなく、他の数でも良い。
 低頻度色決定部35は、R信号ヒストグラムから、頻度が所定の閾値以下のR信号の階級を決定する。所定の閾値は、例えば、0としてもよいし、全階級の頻度の合計の1/100の値としてもよい。ただし、閾値は一例であり、これ以外の値であってもよい。例えば、低頻度色決定部35の閾値処理により、R信号が240~247と248~255の2つの階級を決定されたものとする。
 次に、低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度色を決定する。ただし、階級同士が連続している場合には、連続している階級を1つの階級とみなして1つの低頻度色を決定する。ここでは、R信号が240~247および248~255の2つの階級が連続しているため、低頻度色決定部35は、これら2つの階級から1つの低頻度色を決定する。例えば、低頻度色決定部35は、2つの階級の中央値(ここでは、R信号の248)を低頻度色のR信号の値として決定する。なお、ここでは、R信号ヒストグラムから低頻度色を決定しており、G信号およびB信号を考慮していない。このため、低頻度色のG信号およびB信号の値は任意の値とすることができる。例えば、G信号およびB信号の値はランダムに決定してもよいし、各信号の取り得る値の中央値や予め定められた値に決定してもよい。
 低頻度色決定部35は、2色以上の低頻度色を決定したか否かを判断する(S36)。2色以上の低頻度色を決定した場合には(S36でYES)、低頻度色候補決定処理(S8)を終了する。
 2色以上の低頻度色を決定していない場合には(S36でNO)、発生頻度算出部34は、R-G-B信号ヒストグラムからG信号ヒストグラムを作成し、低頻度色決定部35は、G信号ヒストグラムから低頻度色を決定する(S38)。ステップS38の処理は、ステップS34の処理においてR信号の代わりにG信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
 低頻度色決定部35は、ステップS38までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S40)。累計2色以上の低頻度色を決定した場合には(S40でYES)、低頻度色候補決定処理(S8)を終了する。
 累計2色以上の低頻度色を決定していない場合には(S40でNO)、発生頻度算出部34は、R-G-B信号ヒストグラムからB信号ヒストグラムを作成し、低頻度色決定部35は、B信号ヒストグラムから低頻度色を決定する(S42)。ステップS42の処理は、ステップS34の処理においてR信号の代わりにB信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
 低頻度色決定部35は、ステップS42までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S44)。累計2色以上の低頻度色を決定した場合には(S44でYES)、低頻度色候補決定処理(S8)を終了する。
 累計2色以上の低頻度色を決定していない場合には(S44でNO)、発生頻度算出部34は、R-G-B信号ヒストグラムからR-G信号ヒストグラムを作成し、低頻度色決定部35は、R-G信号ヒストグラムから低頻度色を決定する(S46)。
 詳細に説明すると、図12は、R-G信号ヒストグラムの一例を示す図であり、第1軸がR信号を示し、第1軸に直交する第2軸がG信号を示し、第1軸および第2軸の双方と直交する第3軸がR信号およびG信号の組の頻度を示している。ただし、R信号およびG信号は、例えば8ステップ(8輝度値)ごとに量子化されている。例えば、(R,G)=(0~7,0~7)の階級に1つの頻度が設定される。ただし、量子化のステップ数は8に限定されるものではなく、他の数でも良い。
 低頻度色決定部35は、R-G信号ヒストグラムから、頻度が所定の閾値以下のR信号およびG信号の組(階級)を決定する。所定の閾値は、例えば、0としてもよいし、全階級の頻度の合計の1/10の値としてもよい。ただし、閾値は一例であり、これ以外の値であってもよい。
 低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度色を決定する。ただし、階級同士がRG平面(第1軸および第2軸の張る平面)上で連続している場合には、連続している階級を1つの階級とみなして1つの低頻度色を決定する。例えば、低頻度色決定部35は、各階級のR信号およびG信号の中央値を、低頻度色のR信号およびG信号の値として決定する。なお、ここでは、R-G信号ヒストグラムから低頻度色を決定しており、B信号を考慮していない。このため、低頻度色のB信号の値は任意の値とすることができる。例えば、B信号の値はランダムに決定してもよいし、B信号の取り得る値の中央値や予め定められた値に決定してもよい。
 低頻度色決定部35は、ステップS46までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S48)。累計2色以上の低頻度色を決定した場合には(S48でYES)、低頻度色候補決定処理(S8)を終了する。
 累計2色以上の低頻度色を決定していない場合には(S48でNO)、発生頻度算出部34は、R-G-B信号ヒストグラムからR-B信号ヒストグラムを作成し、低頻度色決定部35は、R-B信号ヒストグラムから低頻度色を決定する(S50)。ステップS50の処理は、ステップS46の処理においてG信号の代わりにB信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
 低頻度色決定部35は、ステップS50までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S52)。累計2色以上の低頻度色を決定した場合には(S52でYES)、低頻度色候補決定処理(S8)を終了する。
 累計2色以上の低頻度色を決定していない場合には(S52でNO)、発生頻度算出部34は、R-G-B信号ヒストグラムからG-B信号ヒストグラムを作成し、低頻度色決定部35は、G-B信号ヒストグラムから低頻度色を決定する(S54)。ステップS54の処理は、ステップS46の処理においてR信号の代わりにB信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
 低頻度色決定部35は、ステップS54までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S56)。累計2色以上の低頻度色を決定した場合には(S56でYES)、低頻度色候補決定処理(S8)を終了する。
 累計2色以上の低頻度色を決定していない場合には(S56でNO)、発生頻度算出部34は、ステップS32で作成したR-G-B信号ヒストグラムから、例えば、各色の信号を8ステップ(8輝度値)ごとに量子化して、量子化されたR-G-B信号ヒストグラムを作成する。ただし、量子化のステップ数は8に限定されるものではなく、他の数でも良い。量子化されたR-G-B信号ヒストグラムは、第1軸がR信号を示し、第1軸に直交する第2軸がG信号を示し、第1軸および第2軸の双方と直交する第3軸がB信号を示し、第1軸、第2軸および第3軸のそれぞれと直交する第4軸がR信号、G信号およびB信号の組の頻度を示す。低頻度色決定部35は、量子化されたR-G-B信号ヒストグラムから低頻度色を決定する(S58)。
 詳細に説明すると、量子化されたR-G-B信号ヒストグラムにおいては、例えば、(R,G,B)=(0~7,0~7,0~7)の階級に1つの頻度が設定される。低頻度色決定部35は、R-G-B信号ヒストグラムから、頻度が所定の閾値以下のR信号、G信号およびB信号の組(階級)を決定する。所定の閾値は、例えば、0としてもよいし、全階級の頻度の合計の1/20の値としてもよい。
 次に、低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度色を決定する。ただし、階級同士がRGB空間(第1軸、第2軸および第3軸の張る空間)中で連続している場合には、連続している階級を1つの階級とみなして、1つの低頻度色を決定する。例えば、低頻度色決定部35は、各階級のR信号、G信号およびB信号の中央値を、低頻度色のR信号、G信号およびB信号の値として決定する。
 以上説明したS32~S58の処理により、低頻度色の候補が決定される。なお、色ラベル5が3色以上の色ラベルから構成されており、3色以上の候補を決定する必要がある場合も、同様の処理により実現することができる。
 再度図8を参照して、低頻度色決定部35は、以上説明した低頻度候補決定処理(S8)により、3色以上の低頻度色の候補を決定したか否かを判断する(S10)。3色以上の低頻度色候補を決定している場合には(S10でYES)、低頻度色候補を2色に絞り込むためにステップS12以降の処理が実行される。
 つまり、表示制御部36は、低頻度色決定部35が決定した3色以上の低頻度色候補の表示順序を決定する(S12)。つまり、表示制御部36は、RGB空間において、低頻度色候補に隣接して発生頻度が低い色が連続するほど、当該低頻度色候補が上位に表示されるように低頻度色候補の表示順序を決定する。例えば、表示制御部36は、単一色信号のヒストグラム(R信号ヒストグラム、G信号ヒストグラムまたはB信号ヒストグラム)から決定された低頻度色候補の表示順序を、複数色信号のヒストグラム(R-G信号ヒストグラム、R-B信号ヒストグラム、G-B信号ヒストグラム、R-G-B信号ヒストグラム)から決定された低頻度色候補の表示順序よりも上位に決定する。これは、単一色信号のヒストグラムから決定された低頻度色候補は、当該単一色以外の他の2色の色信号の値を任意とすることができるため、RGB空間において、低頻度色候補と隣接して発生頻度が低い色がより多く連続するからである。
 同様の理由により、表示制御部36は、2色信号のヒストグラム(R-G信号ヒストグラム、R-B信号ヒストグラム、G-B信号ヒストグラム)から決定された低頻度色候補の表示順序を、3色信号のヒストグラム(R-G-B信号ヒストグラム)から決定された低頻度色候補の表示順序よりも上位に決定する。
 なお、単一色信号のヒストグラムから決定された低頻度色候補が複数存在する場合には、表示制御部36は、図11に示したように、連続する階級から決定された低頻度色ほど、また連続する階級の数が大きい低頻度色ほど上位に表示されるように表示順序を決定する。複数色信号のヒストグラムから決定された低頻度色候補の表示順序についても同様である。
 表示制御部36は、決定した表示順序が上位のものから順に低頻度色候補を表示画面に表示する(S14)。
 図13は、低頻度色の決定処理を説明するための図である。図13の(A)は、ステップS14の画面表示例を示す。表示画面には、低頻度色候補の色番号と、色情報との組が表示される。色情報は輝度値(R,G,B)で示され、輝度値の隣に実際の色がアイコン表示されている。図13の(A)では、4色の低頻度色候補が表示されている。
 選択色取得部37aは、ユーザが入力装置を操作して低頻度色候補の中から候補を選択するまで、つまり、第1選択色(ユーザが選択した候補)を取得するまで待機する(S16)。ここでは、第1選択色として番号2の色が選択されたものとする(図13の(B))。
 選択色取得部37aが第1選択色を取得すると(S16でYES)、表示制御部36は、第1選択色と残りの低頻度色候補との間の距離に応じて、複数の低頻度色候補の表示順序を再決定する(S18)。つまり、第1選択色との距離が大きい低頻度候補色ほど上位に表示されるように、低頻度候補色の表示順序を決定する。ここで、色の距離は、輝度値(R,G,B)間のユークリッド距離であってもよいし、輝度値(R,G,B)から算出される色相同士がなす角(またはその角のコサインの逆数)であってもよい。ただし、色の距離はこれらに限定されるものではなく、色間の類似性を判断できる尺度であれば、それ以外の距離を用いてもよい。
 表示制御部36は、再決定した表示順序に従い、低頻度色候補を表示画面に表示する(S20)。例えば、図13の(C)に示すように、第1選択色である番号2の色の色情報が最上位に表示され、次に、ステップS18で再決定された表示順序の高い色から順に、色情報が表示される。
 選択色取得部37aは、ユーザが入力装置を操作して第1選択色以外の低頻度色候補の中から候補を選択するまで、つまり、第2選択色(ユーザが選択した候補)を取得するまで待機する(S22)。ここでは、第2選択色として番号3の色が選択されたものとする(図13の(C))。
 選択色取得部37aが第2選択色を取得すると(S22でYES)、表示制御部36は、第1選択色および第2選択色を表示画面に表示する(S24)。例えば、図13の(E)に示すように、表示制御部36は、番号2および番号3の色の色情報を表示画面に表示する。
 また、低頻度色決定部35は、第1選択色および第2選択色の色情報を、通信部31を介して検知装置4に送信する(S26)。
 なお、低頻度色候補決定処理において決定された低頻度色候補が2色以下の場合には(S10でNO)、表示制御部36が、決定された低頻度色候補を低頻度色として、当該低頻度色の色情報を表示画面に表示する(S24)。また、低頻度色決定部35が、低頻度色の色情報を、通信部31を介して検知装置4に送信する(S26)。ただし、低頻度色候補が見つからなかった場合には、ステップS24およびS26の処理を省略するようにしてもよい。
 以上説明した処理により、最大2色の低頻度色が決定される。なお、色ラベル5が3色以上の色ラベルから構成されており、3色以上の低頻度色を決定する必要がある場合には、第2選択色が取得された後に、さらにステップS18~S22と同様の処理を実行することにより、第3選択色以降の低頻度色を決定することができる。
 図14は、本開示の実施の形態1に係る解析装置3の処理手順の他の一例を示すフローチャートである。図14に示す処理は、例えば、上述の処理で決定された低頻度色で色ラベル5を発色させた後のキャリブレーションなどに用いられる。つまり、カメラ2で撮影した色ラベル5の画像から、色ラベル5の色の発生頻度が確かに低頻度であるか否かを確認し、色ラベル5の色を調整するキャリブレーションのために用いられる。
 図14を参照して、画像取得部32は、通信部31を介してカメラ2から画像を取得する(S102)。例えば、画像取得部32は、第1選択色を発色する第1色ラベル5Aおよび第2選択色を発色する第2色ラベル5Bを撮像した画像を取得する。
 表示制御部36は、画像取得部32が取得した画像を表示画面に表示する(S104)。
 指定色取得部37bは、ユーザが入力装置を操作して指定した指定色を取得するまで待機する(S106)。例えば、指定色取得部37bは、ユーザが入力装置を操作して、画像上の第1色ラベル5Aの位置を指定した場合には、当該位置に対応する色を指定色として取得する。
 指定色取得部37bが指定色を取得すると(S106でYES)、発生頻度算出部34は、当該指定色の発生頻度を算出する(S108)。つまり、発生頻度算出部34は、発生頻度算出部34がR-G-B信号ヒストグラム作成処理(図9のステップS32)で作成し、記憶部33に記憶されているR-G-B信号ヒストグラムから、指定色の発生頻度を取得することにより、発生頻度を算出する。
 表示制御部36は、算出した指定色の発生頻度を表示画面に表示する(S110)。なお、表示制御部36は、発生頻度を大、中、小などにレベル分けし、発生頻度のレベルを表示してもよい。
 このような処理により、ユーザは、例えば、画像に映った色ラベル5が示す色の発生頻度を確認することができる。これにより、ユーザは、発生頻度が高い場合には、色ラベル5の色を調整したりすることができる。
 [検知装置4の処理手順]
 図15は、本開示の実施の形態1に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図15に示す処理は、図17に示す人物61の検知処理に先立って実行される前処理である。
 低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報を取得する(S72)。例えば、低頻度色取得部42は、図13の(E)に示した第1選択色(番号2の色)および第2選択色(番号3の色)の色情報を取得する。
 閾値決定部43は、取得した色情報に基づいて、閾値を決定する(S74)。例えば、閾値決定部43は、各色情報のR信号、G信号およびB信号の値にそれぞれ10を加算することにより上限閾値を決定し、それぞれ10を減算することにより下限閾値を決定する。ただし、上限閾値は輝度値の上限値255に制限され、下限閾値は輝度値の下限値0に制限される。例えば、閾値決定部43は、第1選択色の色情報(255,192,0)から、上限閾値を(255,202,10)に決定し、下限閾値を(245,182,0)に決定する。また、閾値決定部43は、第2選択色の色情報(120,50,255)から、上限閾値を(130,60,255)に決定し、下限閾値を(110,40,245)に決定する。
 閾値決定部43は、決定した閾値、つまり上限閾値および下限閾値の組を、閾値記憶部44に記憶させる(S76)。
 図16は、閾値決定部43に記憶される閾値の例を示す図である。閾値記憶部44には、例えば、上述した第1選択色の閾値と第2選択色の閾値とが記憶されている。
 図17は、本開示の実施の形態に係る検知装置4の処理手順の他の一例を示すフローチャートである。図17に示す処理は、対象物である人物61の検知処理である。
 画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
 検知部46は、閾値記憶部44から閾値を読み出す(S84)。つまり、検知部46は、図16に示したような第1選択色および第2選択色のそれぞれについての上限閾値および下限閾値の組を読み出す。
 検知部46は、画像から第1選択色領域と第2選択色領域とを抽出する(S86)。つまり、検知部46は、画像の各画素の輝度値を、上限閾値および下限閾値と比較することにより、領域を抽出する。具体的には、検知部46は、画像から第1選択色の画素を抽出する。つまり、検知部46は、輝度値が第1選択色の下限閾値以上で、かつ第1選択色の上限閾値以下である画素を第1選択色の画素として抽出する。検知部46は、隣接する第1選択色の画素同士の固まりを第1選択色領域として抽出する。検知部46は、第2選択色領域についても、同様の処理により抽出する。これにより、検知部46は、ヘルメット80に貼り付けられた第1色ラベル5Aおよび第2色ラベル5Bを含む領域を抽出する。
 検知部46は、第1選択色領域および第2選択色領域が所定の位置関係を有しているか否かを判定する(S88)。例えば、検知部46は、第1選択色領域の重心と第2選択色領域の重心との間の距離が所定距離以内であれば、上記所定の位置関係を有していると判定する。ヘルメット80に貼り付けられた第1色ラベル5Aおよび第2色ラベル5Bの位置関係は事前に分かっているため、判定に用いられる所定距離も事前に算出可能である。
 検知部46が、所定の位置関係を有していると判定した場合には(S88でYES)、通知部47は、人物61を検知したことを示す音信号を音出力装置に送信したり、メッセージ情報を表示装置または端末装置に送信したりする(S90)。これにより、フォークリフト60の運転手に人物61の存在を通知する。
 通知処理(S90)の後、処理の終了タイミングに到達していれば(S92でYES)、検知装置4は、処理を終了する。処理の終了タイミングとは、例えば、フォークリフト60のエンジンが停止したことを示す信号を検知装置4が受信した場合などである。
 処理の終了タイミングでなければ(S92でNO)、ステップS82に戻り、処理の終了タイミングに到達するまでステップS82~S90の処理が繰り返し実行される。
 [実施の形態1の効果]
 以上説明したように実施の形態1によると、対象物の検知対象エリアを撮像した画像から、相対的に発生頻度の低い色である低頻度色を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することができる。つまり、低頻度色を対象物に付すことによって、検知対象エリアを撮像した画像から、低頻度色の領域を他の領域の色の影響を受けることなく、正確に検知することができる。これにより、対象物を正確に検知することができる。例えば、工場内を撮像した画像から低頻度色を決定し、低頻度色を発色する色ラベル5を人物61が被るヘルメット80に貼る。色ラベル5の色は、画像中において発生頻度が低いことが保証されている。このため、画像処理によりヘルメット80に貼られた色ラベル5を正確に検知可能であり、これにより人物61を正確に検知することができる。
 また、低頻度色決定部35は、所定の色空間において互いに近傍に位置する複数色に含まれる各色の発生頻度を考慮して、低頻度色を決定することができる。例えば、色空間において発生頻度が低い色の周辺の色も発生頻度が低い場合に、当該発生頻度が低い色を優先的に低頻度色と決定することができる。これにより、日照、気象もしくは照明等の環境条件が変化することによって、画像中で低頻度色である対象物の色が多少変化した場合であっても、変化後の色についても発生頻度を低くすることができる。このため、環境条件の変化の影響を受けることなく、画像処理により、画像から対象物を正確に検知することができる。
 また、低頻度色決定部35によって低頻度色が複数決定された場合に、ユーザがその中から選択した選択色との距離に応じて他の低頻度色が画面上に表示される。例えば、図13の(C)に示したように、選択色との距離が大きいものから順に他の低頻度色を表示することによって、選択色との識別性能が高い低頻度色をユーザに選択させやすくすることができる。
 また、指定色取得部37bが取得した指定色に対する発生頻度に基づく情報が表示画面に表示される。このため、ユーザは、指定色の画像中での発生頻度または発生頻度のレベルなどを知ることができる。例えば、ユーザが、画像中で、低頻度色を発色する色ラベル5を指定する。これにより、ユーザは、色ラベル5の色が実際に低頻度か否かを知ることができ、色ラベル5が適切な色を発色しているか否かを確認することができる。
 なお、色ラベル5が発色できる色数が限定されている場合において、ユーザは、各色を指定色とした時の発生頻度を知ることもできる。これにより、ユーザは、色ラベル5の色を決定することができる。例えば、ユーザは、最も発生頻度が低い指定色を色ラベル5の色と決定することができる。
 また、色ラベル5は、画像中での発生頻度が低い色を発色する。つまり、画像中で、色ラベル5の色と同一または類似する色の画素の存在確率は低い。このため、画像処理により、色ラベル5を他の領域と区別して正確に検知することができる。これにより、画像処理により正確に検知される色ラベル5を提供することができる。
 また、検知装置4は、画像中に低頻度色が含まれていることを検知することができる。低頻度色は画像中の背景等にはほとんど含まれない色である。このため、対象物に低頻度色を付すことで、背景等の色の影響を受けずに対象物を正確に検知することができる。
 (実施の形態1の変形例)
 実施の形態1の解析装置3は、複数の低頻度色の候補を表示画面に表示し、その中からユーザに低頻度色を選択させていた。
 本変形例では、ユーザに候補を選択させることなく、低頻度色を決定する例について説明する。
 つまり、図3を参照して、低頻度色決定部35は、実施の形態1と同様に低頻度色の候補を決定する。
 低頻度色決定部35は、色の距離が大きい候補の組を優先的に選択することにより、低頻度色の組を決定する。例えば、低頻度色を2色決定する場合には、低頻度色決定部35は、最も色の距離が大きい候補の組を選択することで、低頻度色を決定する。低頻度色を3色以上決定する場合には、低頻度色決定部35は、決定した低頻度色のうちのいずれかの色との距離が次に大きい低頻度色の候補を選択することを順次繰り返すことで、所望数の低頻度色を決定する。
 色間の距離が離れているほど、色の識別性能が高くなる。本変形例によると、色間の距離が大きくなるように複数の低頻度色が決定される。距離の小さい低頻度色の組を選択すると、日照、気象もしくは照明等の環境条件によっては、画像処理により低頻度色同士が同一色と認識され識別不可能な場合があるが、距離の大きい低頻度色の組を選択することにより、環境条件に左右されずに低頻度色を識別することができる。
 (実施の形態2)
 実施の形態1では、低頻度色および閾値を画像の撮影された時間帯に依存せずに決定していた。しかし、屋外などで対象物の検知を行う場合には、日照等の影響を受けるため、時間帯によって低頻度色が変化し、これに伴い閾値を変更した方が良い場合がある。実施の形態2では、画像の撮影された時間帯ごとに低頻度色および閾値を決定する例について説明する。以下の説明では、実施の形態1と異なる点を中心に説明を行い、共通する点については説明を繰り返さない。
 実施の形態2に係る画像処理システムの構成は、図1に示したものと同様である。
 [解析装置3の構成]
 図18は、本開示の実施の形態2に係る解析装置3の機能的な構成を示すブロック図である。
 解析装置3は、図3に示した実施の形態1に係る解析装置3の構成において、さらに、時刻取得部38を備える。
 時刻取得部38は、画像取得部32による画像の取得時刻を取得する。時刻取得部38は取得した取得時刻を、画像取得部32が取得して記憶部33に記憶させた画像と対応付けて、記憶部33に記憶させる。時刻取得部38は、例えば、タイマーを含んで構成される。ただし、時刻取得部38は、外部のタイマー等から時刻を取得する構成であってもよい。なお、画像取得部32が取得する画像に撮像時刻の情報が含まれている場合には、時刻取得部38は、当該画像から時刻を取得してもよい。
 発生頻度算出部34は、画像取得部32による画像の取得時刻を含む時間帯に応じて、色ごとの発生頻度を算出する。つまり、発生頻度算出部34は、日中、夜間などの時間帯ごとに、当該時間帯に撮像された画像を記憶部33から読み出し、読み出した画像に基づいて、色ごとの発生頻度を算出する。発生頻度の算出方法は、実施の形態1と同様である。
 低頻度色決定部35は、時間帯ごとに、発生頻度に基づいて低頻度色を決定する。低頻度色決定部35は、決定した低頻度色の色情報と時間帯との組を、通信部31を介して検知装置4に送信する。低頻度色の決定方法は、実施の形態1と同様である。
 色ラベル5は、例えば、人物61が被るヘルメット80に取り付けられ、解析装置3が決定した低頻度色を発色する。ただし、低頻度色は時間帯ごとに決定されるため、色ラベル5の色も時間帯に応じて変化させる。
 [検知装置4の構成]
 図19は、本開示の実施の形態2に係る検知装置4の機能的な構成を示すブロック図である。
 検知装置4は、図4に示した実施の形態1に係る検知装置4の構成において、さらに、時刻取得部48を備える。
 時刻取得部48は、画像取得部45による画像の取得時刻を取得する。時刻取得部48は、例えば、タイマーを含んで構成される。ただし、時刻取得部48は、外部のタイマー等から時刻を取得する構成であってもよい。なお、画像取得部45が取得する画像に撮像時刻の情報が含まれている場合には、時刻取得部48は、当該画像から時刻を取得してもよい。
 低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報と時間帯との組を取得する。
 閾値決定部43は、低頻度色取得部42が取得した低頻度色の色情報と時間帯との組に基づいて、時間帯ごとに、解析装置3が決定した低頻度色を発色する色ラベル5を検知する際の閾値を決定する。閾値の決定方法は、実施の形態1と同様である。
 図20は、閾値記憶部44に記憶される閾値の例を示す図である。閾値記憶部44には、時間帯ごとに閾値が記憶されている。例えば、時間帯(6:00~18:00)に対応して2つの閾値が記憶されている。1つ目の閾値の上限閾値は(255,202,10)であり、下限閾値は(245,182,0)である。2つ目の閾値の上限閾値は(130,60,255)であり、下限閾値は(110,40,245)である。時間帯(18:00~6:00)についても同様に2つの閾値が記憶されているが、これらの閾値の値は、時間帯(6:00~18:00)の閾値の値とは異なる。
 再度図19を参照して、検知部46は、時刻取得部48から、画像取得部45による画像の取得時刻を取得し、取得時刻を含む時間帯に対応する閾値を閾値記憶部44から読み込む。検知部46は、読み込んだ閾値と、画像取得部45が取得した画像とを用いて、実施の形態1と同様に、画像中に低頻度色が含まれていることを検知することにより、対象物を検知する。
 [解析装置3の処理手順]
 図21は、本開示の実施の形態2に係る解析装置3の処理手順の一例を示すフローチャートである。
 画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S2)。
 画像取得部32は、取得した画像を記憶部33に記憶させる。また、時刻取得部38は、画像の取得位置を取得し、当該取得時刻を記憶部33に記憶された画像に対応付けて、記憶部33に記憶する(S4A)。
 画像取得部32は、画像取得が終了したか否かを判断する(S6)。画像取得が終了していなければ(S6でNO)、画像取得が終了するまでステップS2およびS4Aの処理を繰り返し実行する。
 次に、解析装置3は、各時間帯の画像について、ステップS8~S26Aの処理を実行する(ループA)。例えば、時間帯(6:00~18:00)および時間帯(18:00~6:00)の2つの時間帯が存在する場合には、解析装置3は、時間帯(6:00~18:00)に撮像された画像についてステップS8~S26Aの処理を実行した後、時間帯(18:00~6:00)に撮像された画像についてステップS8~S26Aの処理を実行する。
 ステップS8~S24の処理は、図8に示したものと同様である。
 ステップS26Aにおいて、低頻度色決定部35は、第1選択色および第2選択色の色情報と時間帯との組を、通信部31を介して検知装置4に送信する。
 [検知装置4の処理手順]
 図22は、本開示の実施の形態2に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図22に示す処理は、図23に示す人物61の検知処理に先立って実行される前処理である。
 低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報と時間帯との組を取得する(S72A)。
 次に、検知装置4は、取得された時間帯ごとに、ステップS74およびS76の処理を実行する(ループB)。ステップS74およびS76の処理は、図15に示したものと同様である。例えば、時間帯(6:00~18:00)および時間帯(18:00~6:00)の2つの時間帯が存在する場合には、検知装置4は、時間帯(6:00~18:00)についてステップS74およびS76の処理を実行した後、時間帯(18:00~6:00)についてステップS74およびS76の処理を実行する。これにより、図20に示したような閾値が閾値記憶部44に記憶される。
 図23は、本開示の実施の形態2に係る検知装置4の処理手順の他の一例を示すフローチャートである。図23に示す処理は、対象物である人物61の検知処理である。
 画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
 時刻取得部48は、カメラ2による画像の取得時刻を取得する(S84A)。
 検知部46は、取得時刻に基づいて、取得時刻を含む時間帯に応じた閾値を、閾値記憶部44から読み出す(S84B)。図20を参照して、例えば、取得時刻が20:00の場合には、検知部46は、20:00を含む時間帯(18:00~6:00)に対応した2つの閾値を読み出す。つまり、検知部46は、1つ目の閾値として、上限閾値(255,180,90)および下限閾値(245,160,70)の組を読み出し、2つ目の閾値として上限閾値(120,40,30)および下限閾値(100,20,10)の組を読み出す。
 次に、検知装置4は、ステップS86~S92の処理を実行する。ステップS86~S92は、図17に示したものと同様である。
 以上説明したように、実施の形態2によると、時間帯ごとに低頻度色を決定することができる。これにより、時間帯ごとに閾値を決定することができる。このため、例えば、時間帯に応じて照明環境が変化する屋外などで撮像された画像から対象物を検知する場合であっても、対象物に付す色ラベル5の色を時間帯に応じて変化させることができる。これにより、いずれの時間帯においても対象物を高精度に検知することができる。
 (実施の形態3)
 実施の形態1では、低頻度色および閾値を画像の撮影された位置に依存せずに決定していた。しかし、フォークリフト60に搭載されたカメラ2で撮像された画像のように、位置によって背景画像が変化する場合には、位置によって低頻度色も変化する。このため、これに伴い対象物を検知するための閾値を変更した方が良い場合がある。実施の形態3では、画像の撮影された位置ごとに低頻度色および閾値を決定する例について説明する。以下の説明では、実施の形態1と異なる点を中心に説明を行い、共通する点については説明を繰り返さない。
 実施の形態3に係る画像処理システムの構成は、図1に示したものと同様である。
 [解析装置3の構成]
 図24は、本開示の実施の形態3に係る解析装置3の機能的な構成を示すブロック図である。
 解析装置3は、図3に示した実施の形態1に係る解析装置3の構成において、さらに、位置取得部39を備える。
 位置取得部39は、画像取得部32による画像の取得位置を取得する。位置取得部39は、取得した取得位置を、画像取得部32が取得して記憶部33に記憶させた画像と対応付けて、記憶部33に記憶させる。位置取得部39は、例えば、カメラ2やフォークリフト60に設置されたGPS受信機などが測位した位置を画像の取得位置として取得してもよいし、対象物である人物61の部屋への入退室管理情報などに基づいて、当該人物61の撮像に用いられたカメラ2の設置位置を画像の取得位置として取得してもよい。また、カメラ2やフォークリフト60に設置された受信機がWi-Fi(登録商標)などの無線通信のアクセスポイントから受信する信号の受信信号強度(RSSI : Received Signal Strength Indicator)に基づいて、位置取得部39が位置を計測してもよい。位置取得部39は、受信機が複数のアクセスポイントからそれぞれ受信した複数の受信信号強度を用いることで、三角測量の原理により、受信機の位置を計測することができる。なお、画像取得部32が取得する画像に撮像位置の情報が含まれている場合には、位置取得部39は、当該画像から、撮像位置を、画像の取得位置として取得してもよい。つまり、位置取得部39は、GPS受信機などが測位した位置、カメラ2の設置位置、電波の受信信号強度に基づく受信機の位置、および画像に含まれる撮像位置の1つ以上の位置を用いて、画像の取得位置を取得することができる。
 発生頻度算出部34は、画像取得部32による画像の取得位置が属するエリアに応じて、色ごとの発生頻度を算出する。つまり、発生頻度算出部34は、A工場、B工場などのエリアごとに、当該エリア内で撮像された画像を記憶部33から読み出し、読み出した画像に基づいて、色ごとに、当該色の画像中での発生頻度を算出する。発生頻度の算出方法は、実施の形態1と同様である。
 なお、エリアと位置との対応付けは事前に行われているものとする。例えば、位置は緯度および経度で示され、エリアは緯度範囲および経度範囲で示される。
 低頻度色決定部35は、エリアごとに、発生頻度に基づいて低頻度色を決定する。低頻度色決定部35は、決定した低頻度色の色情報とエリアを識別するエリア識別子との組を、通信部31を介して検知装置4に送信する。低頻度色の決定方法は、実施の形態1と同様である。
 色ラベル5は、例えば、人物61が被るヘルメット80に取り付けられ、解析装置3が決定した低頻度色を発色する。ただし、低頻度色はエリアごとに決定されるため、色ラベル5の色もエリアに応じて変化させる。エリア情報は、人物61の部屋への入退室管理情報などに基づいて取得してもよいし、GPS受信機などから測位した位置情報から取得してもよい。GPS受信機は、例えば、ヘルメット80に取り付けられていてもよいし、人物61が所持していてもよい。
 [検知装置4の構成]
 図25は、本開示の実施の形態3に係る検知装置4の機能的な構成を示すブロック図である。
 検知装置4は、図4に示した実施の形態1に係る検知装置4の構成において、さらに、位置取得部49を備える。
 位置取得部49は、画像取得部45による画像の取得位置を取得する。位置取得部49は、例えば、カメラ2やフォークリフト60に設置されたGPS受信機などが測位した位置を画像の取得位置として取得してもよいし、対象物である人物61の部屋への入退室管理情報などに基づいて、当該人物61の撮像に用いられたカメラ2の設置位置を画像の取得位置として取得してもよい。また、カメラ2やフォークリフト60に設置された受信機がWi-Fi(登録商標)などの無線通信のアクセスポイントから受信する信号の受信信号強度に基づいて、位置取得部49が位置を計測してもよい。位置取得部49は、受信機が複数のアクセスポイントからそれぞれ受信した複数の受信信号強度を用いることで、三角測量の原理により、受信機の位置を計測することができる。なお、画像取得部45が取得する画像に撮像位置の情報が含まれている場合には、位置取得部49は、当該画像から、撮像位置を画像の取得位置として取得してもよい。つまり、位置取得部49は、GPS受信機などが測位した位置、カメラ2の設置位置、電波の受信信号強度に基づく受信機の位置、および画像に含まれる撮像位置の1つ以上の位置を用いて、画像の取得位置を取得することができる。
 低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報とエリア識別子との組を取得する。
 閾値決定部43は、低頻度色取得部42が取得した低頻度色の色情報とエリア識別子との組に基づいて、エリアごとに、解析装置3が決定した低頻度色を発色する色ラベル5を検知する際の閾値を決定する。閾値の決定方法は、実施の形態1と同様である。
 図26は、閾値記憶部44に記憶される閾値の例を示す図である。閾値記憶部44には、エリアごとに閾値が記憶されている。例えば、エリアAに対応して2つの閾値が記憶されている。1つ目の閾値の上限閾値は(255,202,10)であり、下限閾値は(245,182,0)である。2つ目の閾値の上限閾値は(130,60,255)であり、下限閾値は(110,40,245)である。エリアBについても同様に2つの閾値が記憶されているが、これらの閾値の値は、エリアAの閾値の値とは異なる。
 再度図25を参照して、検知部46は、位置取得部49から、画像取得部45による画像の取得位置を取得し、取得位置が属するエリアに対応する閾値を閾値記憶部44から読み込む。検知部46は、読み込んだ閾値と、画像取得部45が取得した画像とを用いて、実施の形態1と同様に、画像中に低頻度色が含まれていることを検知することにより、対象物を検知する。
 [解析装置3の処理手順]
 図27は、本開示の実施の形態3に係る解析装置3の処理手順の一例を示すフローチャートである。
 画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S2)。
 画像取得部32は、取得した画像を記憶部33に記憶させる。また、位置取得部39は、画像の取得位置を取得し、当該取得位置を記憶部33に記憶された画像に対応付けて、記憶部33に記憶する(S4B)。
 画像取得部32は、画像取得が終了したか否かを判断する(S6)。画像取得が終了していなければ(S6でNO)、画像取得が終了するまでステップS2およびS4Bの処理を繰り返し実行する。
 次に、解析装置3は、各エリアの画像について、ステップS8~S26Bの処理を実行する(ループC)。例えば、エリアAおよびエリアBの2つのエリアが存在する場合には、解析装置3は、エリアAで撮像された画像についてステップS8~S26Bの処理を実行した後、エリアBで撮像された画像についてステップS8~S26Bの処理を実行する。
 ステップS8~S24の処理は、図8に示したものと同様である。
 ステップS26Bにおいて、低頻度色決定部35は、第1選択色および第2選択色の色情報とエリア識別子との組を、通信部31を介して検知装置4に送信する。
 [検知装置4の処理手順]
 図28は、本開示の実施の形態3に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図28に示す処理は、図29に示す人物61の検知処理に先立って実行される前処理である。
 低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報とエリア識別子との組を取得する(S72B)。
 次に、検知装置4は、取得されたエリア識別子が示すエリアごとに、ステップS74およびS76の処理を実行する(ループD)。ステップS74およびS76の処理は、図15に示したものと同様である。例えば、エリアAおよびエリアBの2つのエリアが存在する場合には、検知装置4は、エリアAについてステップS74およびS76の処理を実行した後、エリアBについてステップS74およびS76の処理を実行する。これにより、図26に示したような閾値が閾値記憶部44に記憶される。
 図29は、本開示の実施の形態3に係る検知装置4の処理手順の他の一例を示すフローチャートである。図29に示す処理は、対象物である人物61の検知処理である。
 画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
 時刻取得部48は、カメラ2による画像の取得位置を取得する(S84C)。
 検知部46は、取得位置に基づいて、取得位置が属するエリアに応じた閾値を、閾値記憶部44から読み出す(S84D)。図26を参照して、例えば、取得位置がエリアBに属する場合には、検知部46は、エリアBに対応した2つの閾値を読み出す。つまり、検知部46は、1つ目の閾値として、上限閾値(255,180,90)および下限閾値(245,160,70)の組を読み出し、2つ目の閾値として上限閾値(120,40,30)および下限閾値(100,20,10)の組を読み出す。
 次に、検知装置4は、ステップS86~S92の処理を実行する。ステップS86~S92は、図17に示したものと同様である。
 以上説明したように、実施の形態3によると、エリアごとに低頻度色を決定することができる。これにより、エリアごとに閾値を決定することができる。このため、例えば、車両に搭載されたカメラで撮像された画像から対象物を検知する場合や、複数のエリアにそれぞれ配置されたカメラで撮像された画像から対象物を検知する場合などであっても、対象物に付す色ラベル5の色をカメラの位置に応じて変化させることができる。これにより、対象物を高精度に検知することができる。
 (実施の形態4)
 実施の形態1では、低頻度色を決定したが、画像中における低頻度色の領域サイズは考慮していなかった。実施の形態4では、画像中の領域のサイズを考慮して低頻度色を決定する例について説明する。
 実施の形態4に係る画像処理システムの構成は、図1に示したものと同様である。
 [解析装置3の構成]
 図30は、本開示の実施の形態4に係る解析装置3の機能的な構成を示すブロック図である。
 解析装置3は、図3に示した実施の形態1に係る解析装置3の構成において、さらに、領域分割部71と、領域特徴算出部72とを備える。
 領域分割部71は、画像取得部45が取得した画像に対して、各画素の色に基づく領域分割処理を実行する。つまり、領域分割部71は、画像中で類似する色を有する近傍の画素を1つの領域として抽出する領域分割処理を実行する。領域分割処理は、公知の処理であるため、その詳細な説明はここでは繰り返さない。
 領域特徴算出部72は、領域分割部71が分割した領域ごとに、当該領域のサイズおよび代表色を算出する。例えば、領域特徴算出部72は、当該領域に含まれる各画素の輝度値R、輝度値Gおよび輝度値Gの平均値または中央値を算出することにより、代表色を算出する。ただし、代表色の算出方法は、これに限定されるものではなく、例えば、輝度値R、輝度値Gおよび輝度値Gの最頻値、最大値または最小値などを代表色として算出してもよい。
 発生頻度算出部34は、領域特徴算出部72が算出した領域のサイズおよび代表色に基づいて、サイズおよび代表色の組ごとに、当該組を有する領域の発生頻度を算出する。例えば、サイズを(S)とし、代表色をRGB色空間におけるR(赤)、G(緑)、B(青)の輝度値で表す場合には、(S,R,G,B)の組ごとに発生頻度を算出する。
 低頻度色決定部35は、発生頻度算出部34が算出した組ごとの領域の発生頻度に基づいて、他の組と比較して発生頻度が低いサイズ(低頻度サイズ)および代表色(低頻度色)の組を決定する。低頻度色決定部35は、決定した低頻度サイズおよび低頻度色の組を、通信部31を介して検知装置4に送信する。
 [色ラベル5の構成]
 色ラベル5は、例えば、人物61が被るヘルメット80に取り付けられ、解析装置3が決定した低頻度色を発色する。また、色ラベル5は、色ラベル5をカメラ2で撮像した場合に、画像中での色ラベル5のサイズが、解析装置3が決定した低頻度サイズとなるような実サイズを有する。このため、色ラベル5が第1色ラベル5Aおよび第2色ラベル5Bの2つの色ラベルからなる場合には、各色ラベルの色が異なり、サイズも異なる場合がある。
 図31および図32を用いて、色ラベル5の取付例について説明する。
 図31は、人物61が被るヘルメットを側方から見た図であり、図32は、そのヘルメットを上方から見た図である。図31および図32に示すように、ヘルメット80には、色ラベル5が貼り付けられている。色ラベル5は、平行に配置された第1色ラベル5Aおよび第2色ラベル5Bから構成される。図31に示すように、ヘルメット80の幅が283mm、高さが148mmとした場合、色ラベル5の幅は約40mm、長さは約180~250mmとすることができる。なお、第1色ラベル5Aおよび第2色ラベル5Bとの間には、間隙領域5Sが設けられている。間隙領域5Sは、例えば黒色の領域であり、2~3mmの幅を有する。図32に示すように、同様の色ラベル5がヘルメット80の上方にも貼り付けられている。また、色ラベル5は、ヘルメット80の反対側の側面および前後にも貼り付けられている。このように、ヘルメット80のあらゆる箇所に色ラベル5を貼り付けることで、人物61がどのような姿勢(直立、しゃがみ込み等)を行っても、いずれかの色ラベル5がカメラ2に撮像されるようにすることができる。
 このような色ラベル5は、布、テープまたは塗料などにより構成され、特定の色を発色するものであってもよい。この場合、色ラベル5は、蛍光テープにより構成されていたり、色ラベル5に蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、色ラベル5を認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。また、色ラベル5は、図5に示したような発光素子53を備える構成であってもよい。
 [検知装置4の構成]
 検知装置4の機能的な構成は、図4に示したものと同様である。ただし、低頻度色取得部42、閾値決定部43および検知部46の実行する処理が異なり、閾値記憶部44に記憶される閾値が異なる。
 つまり、低頻度色取得部42は、通信部41を介して解析装置3から、低頻度サイズおよび低頻度色の組を取得する。
 閾値決定部43は、低頻度色取得部42が取得した低頻度サイズおよび低頻度色の組に基づいて、解析装置3が決定した低頻度色を発色し、低頻度サイズと同様のサイズを有する色ラベル5を検知する際の閾値を決定する。例えば、低頻度サイズと低頻度色の組が(S1,R1,G1,B1)である場合には、閾値決定部43は、閾値として、下限閾値を(S1-100,R1-10,G1-10,B1-10)に決定し、上限閾値を(S1+100,R1+10,G1+10、B1+10)に決定する。閾値決定部43は、決定した閾値を閾値記憶部44に書き込む。なお、低頻度色取得部42が低頻度サイズおよび低頻度色の組を複数取得している場合には、閾値決定部43は、組ごとに閾値を決定し、閾値記憶部44に書き込む。
 図33は、閾値記憶部44に記憶される閾値の例を示す図である。閾値記憶部44には、例えば、2つの閾値が記憶されている。1つ目の閾値の上限閾値は(350,255,202,10)であり、下限閾値は(150,245,182,0)である。2つ目の閾値の上限閾値は(400,130,60,255)であり、下限閾値は(200,110,40,245)である。
 検知部46は、画像取得部45が取得した画像中に、低頻度色取得部42が取得した低頻度サイズでかつ低頻度色の領域が含まれていること、すなわち色ラベル5が含まれていることを検知する。つまり、検知部46は、画像取得部45が取得した画像を、領域分割部71と同様に領域分割する。また、検知部46は、閾値記憶部44から閾値を読み出す。検知部46は、領域分割された領域と、閾値とに基づいて、画像中に低頻度サイズでかつ低頻度色の領域が含まれているか否かを判断する。例えば、検知部46は、領域分割された領域のサイズと代表色が、読み出した上限閾値および下限閾値の範囲内に収まっていれば、画像中に低頻度サイズでかつ低頻度色の領域が含まれていることを検知する。これにより、検知部46は、色ラベル5を検知する。
 [解析装置3の処理手順]
 図34は、本開示の実施の形態4に係る解析装置3の処理手順の一例を示すフローチャートである。
 解析装置3は、ステップS2~S6の処理を実行する。ステップS2~S6の処理は図8に示したものと同様である。
 画像取得が終了したと判断された場合には(S6でYES)、領域分割部71は、記憶部33から画像を読み出し、読み出した画像について、領域分割処理を実行する(S7A)。
 領域特徴算出部72は、領域分割部71が分割した領域ごとに、当該領域のサイズおよび代表色を算出する(S7B)。
 発生頻度算出部34および低頻度色決定部35は、領域特徴算出部72が算出した各領域のサイズおよび代表色に基づいて、低頻度サイズおよび低頻度色の組候補を決定する(S8B)。
 図35は、低頻度サイズおよび低頻度色の組候補を決定する処理(S8B)の詳細な処理手順を示すフローチャートである。
 発生頻度算出部34は、領域特徴算出部72が算出した各領域のサイズおよび代表色に基づいて、S-R-G-B信号ヒストグラムを作成する(S32B)。発生頻度算出部34は、作成したS-R-G-B信号ヒストグラムを記憶部33に記憶させる。
 図36は、S-R-G-B信号ヒストグラムの一例を示す図であり、横軸がサイズ(S)および代表色(R,G,B)の組を示し、縦軸が各組の頻度を示している。輝度値R(R信号)、輝度値G(G信号)および輝度値B(B信号)は、それぞれ0から255の範囲の整数値である。また、サイズ(S信号)は一例として、1~1000の範囲の整数値である。つまり、発生頻度算出部34は、領域特徴算出部72が算出した各領域のサイズおよび代表色の組を集計することにより、S-R-G-B信号ヒストグラムを作成する。
 次に、発生頻度算出部34は、S-R-G-B信号ヒストグラムから、S-R信号ヒストグラムを作成し、低頻度色決定部35は、S-R信号ヒストグラムから低頻度サイズおよび低頻度色の組候補を決定する(S34A)。
 詳細に説明すると、図37は、S-R信号ヒストグラムの一例を示す図であり、第1軸がS信号(サイズ)を示し、第1軸に直交する第2軸がR信号を示し、第1軸および第2軸の双方に直交する第3軸がS信号およびR信号の組の頻度を示している。ただし、S信号は10ステップごとに量子化され、R信号は8ステップごとに量子化されているものとする。例えば、(S,G)=(1~10,0~7)の階級に1つの頻度が設定される。ただし、量子化のステップ数はこれらに限定されるものではなく、他の数でも良い。
 低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度サイズと低頻度色の組を決定する。例えば、階級のS信号の中央値を低頻度サイズとし、階級のR信号の中央値を低頻度色のR信号の値とする。なお、ここでは、S-R信号ヒストグラムから低頻度色を決定しており、G信号およびB信号を考慮していない。このため、低頻度色のG信号およびB信号の値は任意の値とすることができる。例えば、G信号およびB信号の値はランダムに決定してもよいし、各信号の取り得る値の中央値や予め定められた値に決定してもよい。
 低頻度色決定部35は、低頻度サイズおよび低頻度色の組候補を2組以上決定したか否かを判断する(S36B)。低頻度サイズおよび低頻度色の組候補を2組以上決定した場合には(S36BでYES)、低頻度色候補決定処理(S8B)を終了する。
 組候補を2組以上決定していない場合には(S36BでNO)、発生頻度算出部34は、S-G信号ヒストグラム、S-B信号ヒストグラム、S-R-G信号ヒストグラム、S-R-B信号ヒストグラム、S-G-B信号ヒストグラム、S-R-G-B信号ヒストグラムを順次作成し、低頻度色決定部35は、低頻度サイズおよび低頻度色の組候補が累計2組以上決定されない限り、各ヒストグラムに基づいて低頻度サイズおよび低頻度色の組候補を決定する(S38B~S58B)。
 再度図34を参照して、解析装置3は、以上説明した組候補決定処理(S8B)の後、ステップS10B~S26Bの処理を実行する。これは、図8のステップS10~S26の処理と同様である。ただし、低頻度色の候補の中から2つの低頻度色を決定するのではなく、低頻度サイズおよび低頻度色の組候補の中から2つの組を決定する点で異なる。決定された低頻度サイズおよび低頻度色の組は、検知装置4に送信される。
 [検知装置4の処理手順]
 図38は、本開示の実施の形態4に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図38に示す処理は、図39に示す人物61の検知処理に先立って実行される前処理である。
 低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度サイズおよび低頻度色の組を取得する(S72C)。
 閾値決定部43は、低頻度色取得部42が取得した低頻度サイズおよび低頻度色の組に基づいて、解析装置3が決定した低頻度色を発色し、低頻度サイズと同様のサイズを有する色ラベル5を検知する際の閾値を決定する(S74C)。
 閾値決定部43は、決定した閾値を閾値記憶部44に書き込む(S76C)。
 図39は、本開示の実施の形態4に係る検知装置4の処理手順の他の一例を示すフローチャートである。図39に示す処理は、対象物である人物61の検知処理である。
 画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
 検知部46は、閾値記憶部44から閾値を読み出す(S84E)。つまり、図33に示したような閾値を読み出す。
 検知部46は、画像取得部45が取得した画像を領域分割する。検知部46は、領域分割された領域と、閾値とに基づいて、画像から、低頻度サイズでかつ低頻度色の領域を抽出する。つまり、検知部46は、サイズおよび色が下限閾値以上でかつ上限閾値以下の領域を抽出する(S86C)。
 検知部46は、2色の領域が抽出され、かつ2色の領域が所定の位置関係を有しているか否かを判定する(S88C)。所定の位置関係は、図17のS88で説明したものと同様である。
 その後、ステップS90およびS92の処理が実行される。これらの処理は、図17に示したものと同様である。
 以上説明したように、実施の形態4によると、領域分割処理により画像が類似する色の画素から構成される領域に分割される。また、領域のサイズおよび代表色の組の発生頻度に基づいて、低頻度サイズおよび低頻度色の組を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色と当該色のサイズを決定することができる。例えば、色ラベル5のサイズを低頻度サイズとし、低頻度色を発色させると、画像処理により画像から色ラベル5を検知することができる。これにより、対象物を検知することができる。
 [付記]
 以上、本開示の実施の形態に係る画像処理システム1について説明したが、本開示は、この実施の形態に限定されるものではない。
 たとえば、上述の実施の形態では、一人の人物61に色ラベル5を付す例を説明したが、複数の人物61に色ラベル5を付してもよい。この場合、人物61ごとに色ラベル5の色である低頻度色を変更してもよい。これにより、検知装置4は、人物61を区別して検知することができる。
 また、上記の解析装置3および検知装置4の各装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM、HDD、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。RAMまたはHDDには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。
 さらに、上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSIから構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
 また、本開示は、上記に示す方法であるとしてもよい。また、本開示は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。
 さらに、本開示は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、HDD、CD-ROM、半導体メモリなどに記録したものとしてもよい。
 また、本開示は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
 また、上記各装置の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、解析装置3において、発生頻度算出部34および低頻度色決定部35の機能がクラウドサーバにより実現され、解析装置3は、クラウドサーバに対して画像を送信し、クラウドサーバから当該画像に対する低頻度色を取得する構成であってもよい。
 さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 画像処理システム
2 カメラ
3 解析装置
4 検知装置
5 色ラベル
5A 第1色ラベル
5B 第2色ラベル
5S 間隙領域
31 通信部
32 画像取得部
33 記憶部
34 発生頻度算出部
35 低頻度色決定部
36 表示制御部
37 入力受付部
37a 選択色取得部
37b 指定色取得部
38 時刻取得部
39 位置取得部
41 通信部
42 低頻度色取得部
43 閾値決定部
44 閾値記憶部
45 画像取得部
46 検知部
47 通知部
48 時刻取得部
49 位置取得部
51 インタフェース部
52 制御部
53  発光素子
60 フォークリフト
61 人物
71 領域分割部
72 領域特徴算出部
80 ヘルメット
 

Claims (14)

  1.  コンピュータを、
     対象物の検知対象エリアを撮像した画像を取得する画像取得部と、
     前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、
     前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部と
     して機能させるための画像処理プログラム。
  2.  前記低頻度色決定部は、所定の色空間において互いに近傍に位置する複数色に含まれる各色の発生頻度を考慮して、前記低頻度色を決定する
     請求項1に記載の画像処理プログラム。
  3.  前記コンピュータを、さらに、
     前記画像取得部が取得した前記画像に対して、各画素の色に基づく領域分割処理を実行する領域分割部と、
     前記領域分割部が分割した領域ごとに、当該領域のサイズおよび代表色を算出する領域特徴算出部として機能させ、
     前記発生頻度算出部は、前記領域特徴算出部が算出した前記領域のサイズおよび代表色に基づいて、サイズおよび代表色の組ごとに、当該組を有する領域の前記画像中での発生頻度を算出し、
     前記低頻度色決定部は、前記発生頻度算出部が算出した前記組ごとの領域の発生頻度に基づいて、他の組と比較して発生頻度が低いサイズおよび代表色の組を決定する
     請求項1または請求項2に記載の画像処理プログラム。
  4.  前記低頻度色決定部は、前記発生頻度に基づいて、色間の距離が大きい低頻度色の組ほど優先的に選択することにより、複数の低頻度色を決定する
     請求項1~請求項3のいずれか1項に記載の画像処理プログラム。
  5.  前記コンピュータを、さらに、
     前記低頻度色決定部が決定した複数の低頻度色を画面に表示させる表示制御部と、
     前記画面に表示された前記複数の低頻度色の中からユーザが選択した色である選択色を取得する選択色取得部として機能させ、
     前記表示制御部は、さらに、前記選択色取得部が取得した前記選択色との間の距離に応じて、前記複数の低頻度色を前記画面に表示させる
     請求項1~請求項4のいずれか1項に記載の画像処理プログラム。
  6.  前記コンピュータを、さらに、
     前記画像取得部による前記画像の取得時刻を取得する時刻取得部として機能させ、
     前記発生頻度算出部は、前記時刻取得部が取得した前記取得時刻を含む時間帯に応じて、色ごとの発生頻度を算出し、
     前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、時間帯に応じた低頻度色を決定する
     請求項1~請求項5のいずれか1項に記載の画像処理プログラム。
  7.  前記コンピュータを、さらに、
     前記画像取得部による前記画像の取得位置を取得する位置取得部として機能させ、
     前記発生頻度算出部は、前記位置取得部が取得した前記取得位置が属するエリアに応じて、色ごとの発生頻度を算出し、
     前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、エリアに応じた低頻度色を決定する
     請求項1~請求項6のいずれか1項に記載の画像処理プログラム。
  8.  前記コンピュータを、さらに、
     指定色を取得する指定色取得部と、
     前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、前記指定色取得部が取得した指定色の発生頻度に基づく情報を出力する出力部として機能させる
     請求項1~請求項7のいずれか1項に記載の画像処理プログラム。
  9.  前記コンピュータを、さらに、
     前記低頻度色決定部が決定した前記低頻度色に基づいて、当該低頻度色を識別するための閾値を決定する閾値決定部として機能させる
     請求項1~請求項8のいずれか1項に記載の画像処理プログラム。
  10.  請求項1~請求項9のいずれか1項に記載の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色の光を発色する
     色ラベル。
  11.  請求項1~請求項9のいずれか1項に記載の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色を識別するための閾値を取得する閾値取得部と、
     対象物の検知対象エリアの画像を取得する画像取得部と、
     前記閾値取得部が取得した前記閾値に基づいて、前記画像取得部が取得した前記画像中に、前記低頻度色が含まれていることを検知する検知部と
     を備える検知装置。
  12.  対象物の検知対象エリアを撮像した画像を取得する画像取得部と、
     前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、
     前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部と
     を備える画像処理装置。
  13.  対象物の検知対象エリアを撮像した画像を取得するステップと、
     取得された前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出するステップと、
     算出された色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定するステップと
     を含む画像処理方法。
  14.  請求項11に記載の画像処理装置と、
     請求項9に記載の色ラベルと、
     請求項10に記載の検知装置と
     を備える画像処理システム。
     
PCT/JP2017/031584 2016-12-07 2017-09-01 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム WO2018105181A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018554824A JPWO2018105181A1 (ja) 2016-12-07 2017-09-01 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム
US16/461,883 US20190371005A1 (en) 2016-12-07 2017-09-01 Recording medium, color label, detection device, image processing device, image processing method and image processing system
CN201780074454.5A CN110023996A (zh) 2016-12-07 2017-09-01 图像处理程序、颜色标签、检测装置、图像处理装置、图像处理方法以及图像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016237508 2016-12-07
JP2016-237508 2016-12-07

Publications (1)

Publication Number Publication Date
WO2018105181A1 true WO2018105181A1 (ja) 2018-06-14

Family

ID=62491852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031584 WO2018105181A1 (ja) 2016-12-07 2017-09-01 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム

Country Status (4)

Country Link
US (1) US20190371005A1 (ja)
JP (1) JPWO2018105181A1 (ja)
CN (1) CN110023996A (ja)
WO (1) WO2018105181A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01204569A (ja) * 1988-02-10 1989-08-17 Ricoh Co Ltd 色符号化方法
JPH07139913A (ja) * 1993-11-15 1995-06-02 Oyo Keisoku Kenkyusho:Kk 画像計測装置
JP2006332908A (ja) * 2005-05-24 2006-12-07 Matsushita Electric Ind Co Ltd カラー画像表示装置、カラー画像表示方法、プログラム、および記録媒体
WO2008090908A1 (ja) * 2007-01-23 2008-07-31 Nec Corporation マーカ生成及びマーカ検出のシステム、方法とプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
JP6279825B2 (ja) * 2011-05-18 2018-02-14 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01204569A (ja) * 1988-02-10 1989-08-17 Ricoh Co Ltd 色符号化方法
JPH07139913A (ja) * 1993-11-15 1995-06-02 Oyo Keisoku Kenkyusho:Kk 画像計測装置
JP2006332908A (ja) * 2005-05-24 2006-12-07 Matsushita Electric Ind Co Ltd カラー画像表示装置、カラー画像表示方法、プログラム、および記録媒体
WO2008090908A1 (ja) * 2007-01-23 2008-07-31 Nec Corporation マーカ生成及びマーカ検出のシステム、方法とプログラム

Also Published As

Publication number Publication date
US20190371005A1 (en) 2019-12-05
CN110023996A (zh) 2019-07-16
JPWO2018105181A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
US9973947B2 (en) Wireless communication device and wireless communication system that performs wireless communication with a counterpart device using a directional antenna
KR100922784B1 (ko) 영상 기반 화재 감지 방법 및 이를 적용한 방범 및 방재 시스템
US8538075B2 (en) Classifying pixels for target tracking, apparatus and method
JP6553624B2 (ja) 計測機器、及びシステム
KR101204259B1 (ko) 화재 검출 방법
WO2018042747A1 (ja) 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
US20180108144A1 (en) Image processing device, image processing method, and image processing system
CN109936712B (zh) 基于光标签的定位方法及系统
CN110521286B (zh) 图像分析技术
WO2018105181A1 (ja) 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム
Xiong et al. Early smoke detection of forest fires based on SVM image segmentation
KR20130076378A (ko) 차량용 색상검출기
US9286689B2 (en) Method and device for detecting the gait of a pedestrian for a portable terminal
JP2017091140A (ja) コード送受信システム、コード受信装置、コード送信装置、コード受信方法、コード送信方法、及びプログラム
US20180006724A1 (en) Multi-transmitter vlc positioning system for rolling-shutter receivers
KR101213255B1 (ko) 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법
US20150085078A1 (en) Method and System for Use in Detecting Three-Dimensional Position Information of Input Device
US20090225213A1 (en) Luminescent display device
KR101061012B1 (ko) 광각영상을 이용한 이동물체추적 방법
US20220311935A1 (en) Monitoring camera and image processing method
JP6155106B2 (ja) 画像センサ
KR102261439B1 (ko) 이벤트 발생 감지 방법
Rautiainen et al. Detecting perceptual color changes from sequential images for scene surveillance
CN115705662A (zh) 一种对象的颜色识别方法、装置、电子设备及存储介质
KR200459766Y1 (ko) 광각영상을 이용한 이동물체추적 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17878518

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018554824

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17878518

Country of ref document: EP

Kind code of ref document: A1