WO2020116170A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2020116170A1
WO2020116170A1 PCT/JP2019/045468 JP2019045468W WO2020116170A1 WO 2020116170 A1 WO2020116170 A1 WO 2020116170A1 JP 2019045468 W JP2019045468 W JP 2019045468W WO 2020116170 A1 WO2020116170 A1 WO 2020116170A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
determined
partial range
image
captured image
Prior art date
Application number
PCT/JP2019/045468
Other languages
English (en)
French (fr)
Inventor
恵子 井上
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020559898A priority Critical patent/JP7215495B2/ja
Priority to US17/298,237 priority patent/US11961269B2/en
Publication of WO2020116170A1 publication Critical patent/WO2020116170A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present invention relates to image analysis.
  • a system has been developed that recognizes an object by using a captured image generated by a camera. Recognition of an object using a captured image is performed by extracting features of an image region representing an object from the captured image and analyzing the features.
  • the feature of the object is, for example, a color, an edge (contour), or a surface texture.
  • Patent Document 1 and Non-Patent Document 1 are mentioned as prior art documents that refer to appropriate setting of the imaging environment.
  • Patent Document 1 in order to identify a plurality of characteristics of a product passing through the inspection station and sort defective products, a plurality of lighting devices and a detection device are selectively driven in a predetermined order and obtained in time series.
  • a mechanism for performing identification processing on a multi-modal image in which a plurality of image signals are fused is disclosed.
  • Non-Patent Document 1 in order to recognize the food in the cooking support system, the display is used as a background (cooktop), and while the hue and lightness of the background around the foreground (food) are changed within a certain range, the outline of the food is Disclosed is a method for searching for a background color that looks best and a background color that allows the color of foodstuff to be extracted most accurately.
  • Patent Document 1 and Non-Patent Document 1 do not refer to a method for enabling the features of each of a plurality of objects included in one captured image to be accurately extracted.
  • the present invention has been made in view of the above problems, and one of its objects is to provide a technique for appropriately setting an imaging environment so that the features of each of a plurality of objects can be accurately extracted from one captured image. It is to be.
  • An information processing apparatus includes: 1) a detection unit that detects an object from a captured image generated by the imaging apparatus; and 2) an output that affects the imaging environment based on a range occupied by an image region representing the object in the captured image.
  • a first determining unit that determines a partial range corresponding to an object in the output range of the output device that performs the above; and 3) set the output setting of the output device for the partial range based on the feature amount of the image region representing the detected object. It has a 2nd determination part which determines, and 4) the control part which applies the output setting with respect to the partial range determined about the object with respect to an output device.
  • the control method of the present invention is executed by a computer.
  • the control method is based on 1) a detection step of detecting an object from a captured image generated by an image capturing apparatus, and 2) an output that gives an output that affects the image capturing environment based on a range occupied by an image region representing the object in the captured image.
  • the program of the present invention causes a computer to execute each step of the control method of the present invention.
  • FIG. 9 is a diagram conceptually illustrating an operation of the information processing device of the second embodiment. It is a figure which illustrates the result of the change of the background setting by an information processing apparatus. 9 is a flowchart illustrating a flow of processing executed by the information processing apparatus according to the second embodiment.
  • each block diagram unless otherwise specified, each block represents a functional unit configuration rather than a hardware unit configuration.
  • FIG. 1 is a diagram conceptually illustrating an operation of the information processing device 2000 of the present embodiment. Note that FIG. 1 is an example for facilitating understanding of the information processing apparatus 2000, and the functions of the information processing apparatus 2000 are not limited to those shown in FIG. 1.
  • the image pickup device 10 picks up an image and, as a result, generates a picked-up image 20.
  • the information processing device 2000 detects one or more objects 30 included in the captured image 20 by performing image analysis on the captured image 20.
  • the object 30 is an arbitrary object whose position changes.
  • the object 30 may be an object having a mechanism for changing its position (vehicle or the like), or an object having no mechanism for changing its position (a product moving on a belt conveyor). May be.
  • the characteristics of the object 30 that can be grasped using the captured image 20 change depending on the imaging environment of the object 30.
  • the imaging environment include lighting and a background.
  • the image capturing device 10 captures an image of an object 30 that is black and has irregularities.
  • the intensity of the illumination is weak
  • the contrast of the image region showing the object 30 in the captured image 20 becomes small. Therefore, even if the captured image 20 is image-analyzed, it is difficult to grasp the unevenness of the object 30.
  • the intensity of the illumination is moderately increased, the contrast of the image area representing the object 30 in the captured image 20 increases. Therefore, the image analysis of the captured image 20 makes it possible to accurately grasp the unevenness of the object 30.
  • the imaging environment such as illumination.
  • the appropriate imaging environment is considered to be different for each object 30.
  • the white object 30 is also irradiated with strong light necessary for understanding the characteristics of the black object 30, the image area representing the white object 30 in the captured image 20 will be overexposed.
  • the information processing device 2000 individually determines the setting of the output device that affects the imaging environment of the object 30 (changes the imaging environment) for the range that affects each object 30. Therefore, the information processing apparatus 2000 performs the following operation, for example.
  • the information processing device 2000 detects the object 30 from the captured image 20.
  • the information processing apparatus 2000 corresponds to the object 30 in the output range of the output device (imaging of the object 30 based on the range occupied by the image area (hereinafter, object area) representing the object 30 in the captured image 20. Determine the subranges that affect the environment). Further, the information processing device 2000 determines the output setting of the output device for the partial range based on the feature amount of the object region.
  • the information processing device 2000 applies the output setting determined for the partial range to the output device.
  • the information processing apparatus 2000 applies the output setting determined for each partial range determined for each of the plurality of objects 30 to the output device.
  • an illumination device that emits light (illumination device 50 in FIG. 1) is used as an output device.
  • Other output devices will be described in other embodiments.
  • the information processing device 2000 controls the light output by the lighting device 50 by controlling the output of the lighting device 50.
  • the light output by the illumination device 50 is emitted so as to pass through part or all of the imaging range of the imaging device 10. Note that the light output by the lighting device 50 is not limited to visible light, as described below.
  • the information processing device 2000 individually determines the setting of the light output from the lighting device 50 with respect to the range irradiated to each object 30. Therefore, the information processing apparatus 2000 performs the following operation, for example. Based on the range occupied by the object region representing the object 30 in the captured image 20, the information processing device 2000 applies light to the object 30 in the range (hereinafter, irradiation range) to which the light output from the lighting device 50 is irradiated. Determines the sub-range that is the range to be illuminated. In addition, the information processing device 2000 determines the setting of light irradiated to the partial range (hereinafter, illumination setting) based on the feature amount of the object region. Then, the information processing device 2000 applies the illumination setting determined for the determined partial range to the illumination device 50. By doing so, of the light emitted from the illumination device 50, the light emitted to the determined partial area becomes light according to the determined illumination setting.
  • irradiation range the range
  • the information processing device 2000 determines the setting of light ir
  • FIG. 1 shows a state of product inspection as an operation example of the information processing apparatus 2000. Specifically, after the plurality of objects are conveyed by the belt conveyor 40, the plurality of objects fall so as to pass through the inspection area (imaging range of the imaging device 10). In the example of FIG. 1, objects 30-1 and 30-2 have passed through the inspection area. Therefore, these objects 30 are included in the captured image 20. The information processing device 2000 determines the partial range and the lighting setting for each of these two objects 30, and applies the settings to the lighting device 50.
  • FIG. 2 is a diagram illustrating an example of a result of changing the lighting setting by the information processing device 2000.
  • the settings of the light emitted to the object 30-1 and the object 30-2 are changed.
  • the output range and output setting of the output device corresponding to the object 30 are determined. Then, the output setting determined for each partial range is applied to the output device.
  • the imaging environment of the imaging device 10 can be individually adjusted for each of the plurality of objects 30 included in the imaging range. For example, as described above, when the lighting device 50 is used as the output device, the lighting environment can be individually adjusted for each of the plurality of objects 30. Therefore, even when the captured image 20 includes a plurality of objects 30, the characteristics of each object 30 can be accurately extracted from the captured image 20. As a result, the accuracy and stability of the feature extraction process can be improved.
  • An example of utilizing the information processing device 2000 is the above-mentioned product inspection.
  • the information processing apparatus 2000 of the present embodiment when a product is inspected by imaging a product and performing image analysis in a factory that handles a wide variety of products, a plurality of products are imaged at one time. Even if it does so, highly accurate product inspection can be realized. That is, high-accuracy and high-speed product inspection can be realized.
  • Another example of utilization is the automatic separation of waste at a waste treatment plant. Specifically, when various types of dust are image-recognized and automatically sorted, even if a plurality of dusts are imaged at one time, the dusts can be sorted with high accuracy. Therefore, highly accurate and high-speed automatic sorting can be realized.
  • factory automation can be realized by a real-time IoT system with new added value. Further, the information processing device 2000 can be widely used in various fields such as robot vision, vehicle mounting, security, and entertainment, as well as the above-mentioned factory automation.
  • FIG. 3 is a block diagram illustrating a functional configuration of the information processing device 2000.
  • the information processing device 2000 includes a detection unit 2020, a first determination unit 2040, a second determination unit 2060, and a control unit 2080.
  • the detection unit 2020 detects the object 30 from the captured image 20.
  • the first determination unit 2040 determines a partial range corresponding to the object 30 in the output range of the output device that performs the output that affects the captured image 20 based on the range occupied by the image region representing the object 30 in the captured image 20. To do.
  • the second determination unit 2060 determines the output setting of the output device for the partial range based on the characteristic amount of the image area representing the object 30.
  • the control unit 2080 applies the output setting of the partial range determined for the object 30 to the output device.
  • the first determination unit 2040 determines an output range corresponding to each of the plurality of objects 30.
  • the second determination unit 2060 also determines the output setting corresponding to each of the plurality of objects 30. Then, the control unit 2080 sets the output device for each of the plurality of objects 30.
  • the first determination unit 2040 irradiates the object 30 in the light irradiation range of the lighting device 50 based on the range occupied by the image region representing the object 30 in the captured image 20.
  • the irradiation range of light is determined as the partial range of the object 30.
  • the second determining unit 2060 determines the setting of the light with which the partial range determined for the object 30 is irradiated, as the output setting for the partial range.
  • the control unit 2080 applies the illumination setting of the partial range determined for the object 30 to the illumination device 50.
  • Each functional configuration unit of the information processing apparatus 2000 may be implemented by hardware that implements each functional configuration unit (eg, hard-wired electronic circuit or the like), or a combination of hardware and software (eg: Combination of an electronic circuit and a program for controlling the electronic circuit).
  • each functional configuration unit eg, hard-wired electronic circuit or the like
  • a combination of hardware and software eg: Combination of an electronic circuit and a program for controlling the electronic circuit.
  • FIG. 4 is a diagram illustrating a computer 1000 for realizing the information processing device 2000.
  • the computer 1000 is an arbitrary computer.
  • the computer 1000 is a stationary computer such as a personal computer (PC) or a server machine.
  • the computer 1000 is a portable computer such as a smartphone or a tablet terminal.
  • the computer 1000 may be the imaging device 10.
  • the imaging device 10 uses the captured image 20 generated by itself to control the output of the output device that affects the imaging environment of itself.
  • the imaging device 10 having the function of the information processing device 2000 in this way is realized by a camera called an intelligent camera, a network camera, an IP (Internet Protocol) camera, or the like.
  • the computer 1000 may be a dedicated computer designed to realize the information processing device 2000 or a general-purpose computer.
  • the computer 1000 has a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input/output interface 1100, and a network interface 1120.
  • the bus 1020 is a data transmission path for the processor 1040, the memory 1060, the storage device 1080, the input/output interface 1100, and the network interface 1120 to exchange data with each other.
  • the method of connecting the processors 1040 and the like to each other is not limited to bus connection.
  • the processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field-Programmable Gate Array).
  • the memory 1060 is a main storage device realized by using a RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized by using a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the input/output interface 1100 is an interface for connecting the computer 1000 and input/output devices.
  • the input/output interface 1100 is connected with an input device such as a keyboard and an output device such as a display device.
  • the imaging device 10 is connected to the input/output interface 1100.
  • the network interface 1120 is an interface for connecting the computer 1000 to a communication network.
  • This communication network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method for connecting the network interface 1120 to the communication network may be wireless connection or wired connection.
  • the storage device 1080 stores a program module that realizes each functional component of the information processing apparatus 2000.
  • the processor 1040 realizes the function corresponding to each program module by reading each of these program modules into the memory 1060 and executing them.
  • the imaging device 10 is an arbitrary device that performs imaging and generates a captured image as a result.
  • the imaging device 10 may be a still camera that generates a still image or a video camera that generates a moving image.
  • the imaging device 10 is not limited to a visible light camera, and any device that generates data that can be handled as image data based on the detection result of the sensor can be used.
  • it may be a monochrome camera that captures light of a single wavelength, a camera that captures infrared light or electromagnetic waves (including terahertz waves and millimeter waves) in other wavelength ranges.
  • the frame rate and shutter speed of the imaging device 10 are preferably set appropriately based on the size and moving speed of the object 30 to be imaged.
  • a suitable setting example of the image pickup apparatus 10 when picking up an image of a free-falling object 30 from a height of about 30 cm is a frame rate of 1000 fps and a shutter speed of 1/4000.
  • the illumination device 50 is a device that emits light, and has a function of changing the setting of the emitted light for each part of the irradiation range.
  • the lighting device 50 is configured by a combination of a plurality of directional light sources that are sequentially driven according to a control input from the information processing device 2000.
  • the response speed of the lighting device 50 to the control input is higher than the cycle at which the control input is input (that is, the cycle at which the information processing device 2000 changes the setting of the lighting device 50). It is preferably configured to be fast.
  • the lighting device 50 is configured by arranging a plurality of directional point light sources whose postures can be individually changed in a two-dimensional array.
  • the light sources do not necessarily have to be arranged in an array.
  • the posture of each light source may be fixed.
  • a mechanism for example, a mirror
  • the posture of each mirror is controlled to control the light emitted from each light source. Change the direction of.
  • the lighting device 50 may be configured using a projector.
  • the light output from the projector can be changed by changing the image output to the projector. For example, when a projector outputs a grayscale image, pixels closer to white will output brighter light, and pixels closer to black will output darker light.
  • the light output from the lighting device 50 is not limited to visible light.
  • the type of light output from the lighting device 50 corresponds to the type of light sensed by the imaging device 10. For example, when a camera that detects visible light is used as the imaging device 10, a device that outputs visible light is used as the illumination device 50. In addition, for example, when a camera that detects near infrared rays is used as the imaging device 10, a device that outputs near infrared rays is used as the lighting device 50.
  • the object 30 is an arbitrary object whose position changes. However, the position of the object 30 does not have to be constantly changing, and for example, moving and stopping may be repeated.
  • the object 30 may or may not include a mechanism for changing its position. In the former case, for example, the object 30 is a vehicle such as a car or a motorcycle, or a flying body such as a drone.
  • the object 30 is an object that moves by changing its own potential energy into kinetic energy, such as free fall or going down a slope.
  • the object 30 may be moved by another object.
  • another object that moves the object 30 is a belt conveyor or a device that injects a gas such as air.
  • the object 30 moves on a belt conveyor.
  • the object 30 moves with the force received from the jetted gas.
  • FIG. 5 is a flowchart illustrating the flow of processing executed by the information processing device 2000 according to the first embodiment.
  • the detection unit 2020 acquires the captured image 20 (S102).
  • the detection unit 2020 detects the object 30 from the captured image 20 (S104).
  • Steps S106 to S114 are a loop process A executed for each of the one or more objects 30 detected from the captured image 20.
  • the information processing device 2000 determines whether or not the loop process A has been executed for all the objects 30. When the loop process A has already been executed for all the objects 30, the process of FIG. 5 ends. On the other hand, when there is an object 30 that is not the target of the loop processing A, the processing of FIG. 5 proceeds to S108. At this time, the information processing device 2000 selects one from the objects 30 that are not yet the target of the loop processing A.
  • the object 30 selected here is referred to as an object i.
  • the first determination unit 2040 determines the partial range corresponding to the object i based on the range occupied by the image region representing the object i in the captured image 20 (S108).
  • the second determination unit 2060 calculates the feature amount of the image area representing the object i (S110).
  • the second determination unit 2060 determines the illumination setting of the partial range corresponding to the object i based on the calculated feature amount (S112).
  • control unit 2080 applies the illumination setting for the partial range determined for each object i to the illumination device 50 (S116).
  • the information processing device 2000 executes a series of processes shown in FIG. 5 for each of the captured images 20 generated by the imaging device 10. However, the processing illustrated in FIG. 5 may be executed only for some of the captured images 20 instead of all of the captured images 20 generated by the imaging device 10. For example, the information processing device 2000 executes the process shown in FIG. 5 at predetermined time intervals. At this time, the detection unit 2020 acquires the latest captured image 20 generated by the imaging device 10. By doing so, the process shown in FIG. 5 is executed for a predetermined proportion of the captured images 20 generated by the imaging device 10.
  • the above-described predetermined time interval may be set in the information processing device 2000 in advance, or may be stored in a storage device accessible from the information processing device 2000.
  • the detection unit 2020 acquires the captured image 20 (S102). There are various methods by which the detection unit 2020 acquires the captured image 20. For example, the detection unit 2020 acquires the captured image 20 by receiving the captured image 20 transmitted from the imaging device 10. In addition, for example, the detection unit 2020 accesses the imaging device 10 and acquires the captured image 20 stored in the imaging device 10.
  • the imaging device 10 may store the captured image 20 in a storage device provided outside the imaging device 10.
  • the detection unit 2020 accesses this storage device and acquires the captured image 20.
  • the detection unit 2020 acquires the captured image 20 generated inside the information processing device 2000.
  • the captured image 20 is stored in, for example, a storage device (eg, storage device 1080) inside the information processing apparatus 2000.
  • the timing at which the detection unit 2020 acquires the captured image 20 is arbitrary. For example, the detection unit 2020 acquires the newly generated captured image 20 every time the imaging device 10 generates a new captured image 20. In addition, for example, the detection unit 2020 may periodically acquire the unacquired captured image 20. At this time, the detection unit 2020 may acquire only the latest captured image 20 or may acquire a plurality of (for example, all) captured images 20.
  • the detection unit 2020 detects the object 30 from the captured image 20 (S104).
  • the existing object detection process background difference or the like
  • the process of detecting the new object 30 that has not been detected in any of the captured images 20 may be performed only for a partial image area in the captured image 20.
  • the imaging device 10 captures an image of an object carried by a belt conveyor
  • the image area on the captured image 20 in which a new object appears is limited. Therefore, an image region in which such a new object appears is determined in advance, and the detection unit 2020 is caused to perform a process of detecting the new object 30 targeting the image region.
  • Existing processes such as tracking can be used for the process of detecting the already-existing object 30 from the captured image 20.
  • the detection unit 2020 detects a new object 30 from a certain captured image 20
  • the detection unit 2020 calculates a representative point (for example, the position of the center of gravity) or size of the object 30 in the captured image 20, and based on the calculated representative point or size.
  • an image area hereinafter referred to as a search area
  • the detection unit 2020 obtains the next captured image 20
  • the detection unit 2020 performs the object detection process on the search area in the captured image 20 to detect the already-existing object 30.
  • the search area may be set by further considering the moving direction and moving speed of the object 30. For example, when the object 30 is moved on the belt conveyor, the direction in which the belt conveyor moves the object and its moving speed are known. Further, even if the moving speed or the moving direction is not known, the moving speed or the moving direction can be calculated based on the change in the position of the object 30 detected from the plurality of captured images.
  • the size of the search area may be fixed and set in advance, or may be determined based on the size of the object 30 detected from the captured image 20.
  • the size of the search area is set to be a constant multiple of the size of the object 30 detected from the captured image 20.
  • the size of the search area is set to be approximately the same as the size of the object 30 detected from the captured image 20. Can be set as small as. Therefore, the robustness with respect to the proximity of the objects 30 can be improved.
  • shooting at a high frame rate in which the object position hardly changes between frames has the advantage of being robust against unexpected movement of the object.
  • the first determining unit 2040 determines the partial range corresponding to the object 30 based on the range occupied by the object region of the certain object 30 in the captured image 20 (S108).
  • the partial range corresponding to the object 30 represents a range in which the object 30 is irradiated with light in the range in which the lighting device 50 is irradiated with light.
  • the “range in which the object 30 is irradiated with light” is, for example, a search range (a region on the captured image 20) set to search for the object 30 from the next captured image 20. It can be obtained by converting into a region on the coordinate system of the lighting device 50.
  • the conversion from the area on the captured image 20 to the area on the coordinate system of the lighting device 50 can be predetermined based on the setting positions of the imaging device 10 and the lighting device 50.
  • this conversion can be defined by the following conversion formula.
  • (u,v) represents a position on the captured image 20
  • (x,y,z) represents a position corresponding to (u,v) in the coordinate system of the imaging device 10
  • (x',y ',z') represents the position corresponding to (u,v) in the coordinate system of the illumination device 50.
  • A represents a 4 ⁇ 4 conversion matrix from the coordinate system of the image pickup device 10 to the coordinate system of the lighting device 50.
  • B represents a 4 ⁇ 3 conversion matrix from the position on the captured image 20 to the position of the coordinate register of the image capturing apparatus 10.
  • a and B are derived in advance based on the setting positions of the image pickup device 10 and the lighting device 50.
  • the range in which the object 30 detected from the captured image 20 is irradiated with light does not necessarily have to be set based on the search range in which the object 30 is searched from the next captured image 20.
  • the range in which light is emitted to the object 30 detected from the captured image 20 is obtained by converting the object region representing the object 30 in the captured image 20 into a region on the coordinate system of the lighting device 50. May be
  • the object to which the light reflected by the setting is emitted is emitted.
  • the captured image 20 including 30 is the captured image 20 x ahead.
  • the first determination unit 2040 predicts the search range of the object 30 in the captured image 20 x ahead, and determines the region on the coordinate system of the lighting device 50 corresponding to the search range as the part corresponding to the object 30. Determine as a range. For example, this search range can be predicted by assuming that the object 30 continues to move in the current moving direction and moving speed.
  • the second determination unit 2060 calculates the feature amount of the object area (S110).
  • Various features can be used as the feature amount used for determining the lighting setting. For example, an index value related to the contrast of the object area, an index value related to the variation of the pixel values, or an index value indicating the degree of information loss (whiteout, blackout, etc.) can be used.
  • index value representing the contrast of the object region for example, Michelson contrast, Weber contrast, or contrast ratio can be used.
  • Imax and Imin are the maximum value and the minimum value of the brightness included in the object region, respectively.
  • the index value related to the variation of the pixel value can be represented by the variance of the brightness value or the entropy. Each of these is represented by the following mathematical formulas.
  • Ik is the brightness value of the pixel k included in the object region.
  • Iavg is the average of the brightness values of all the pixels included in the object area.
  • N is the total number of pixels included in the object region.
  • Nj is the total number of pixels with gradation j.
  • the index value indicating the degree of information loss is represented by, for example, the number of pixels with overexposure or the number of pixels with underexposure.
  • a pixel in which whiteout occurs is the upper limit value of the sensor sensitivity of the image pickup device 10 (for example, 255 when the brightness is represented by a value of 0 or more and 255 or less) among pixels included in the object region. Is the total number of pixels.
  • the pixel in which the blackout occurs is the lower limit value of the sensor sensitivity of the image pickup device 10 (for example, 0 when the luminance is represented by a value of 0 or more and 255 or less) among the pixels included in the object region. Is the total number of pixels.
  • the second determination unit 2060 determines the illumination setting of the partial range corresponding to the object 30, based on the feature amount of the object region representing the object 30. (S112).
  • the specific method of determining the illumination setting based on the feature amount of the object differs depending on the feature amount to be used. Hereinafter, a method of determining the illumination setting will be described for each feature amount to be used.
  • index value related to contrast or an index value related to variations in pixel values is used as the feature amount of the object region.
  • the second determination unit 2060 set the intensity of the light with which the partial range corresponding to the object region is irradiated so as to make the index value larger.
  • Index values for which it is preferable to set the light intensity so as to increase the index value are collectively referred to as a first index value.
  • the object area of the object i at the time point t is expressed as D(i,t), and the first index value calculated for D(i,t) is expressed as C(i,t).
  • the second determination unit 2060 determines the intensity T(i,t) of the light emitted to the partial range corresponding to the object area D(i,t) from the time before the first index value for the object i.
  • the second determination unit 2060 determines that the partial range of light corresponding to the object area D(i,t) is The intensity is changed by the change amount having the same sign as the previous change amount ⁇ T(i,t-1).
  • the second determination unit 2060 irradiates the partial range corresponding to the object region D(i,t) when the change amount ⁇ C(i,t) of the first index value is less than or equal to the predetermined threshold Th1.
  • the light intensity is changed by the previous change amount ⁇ T(i,t-1) and the change amount with the opposite sign.
  • the second determination unit 2060 calculates the intensity T(i,t) of the light emitted to the partial range corresponding to the object area D(i,t) by the following equations (7) and (8). To decide.
  • both ⁇ and ⁇ are preset as arbitrary positive real numbers. However, it is preferable that both ⁇ and ⁇ have a value of 1 or less.
  • the second determination unit 2060 irradiates the partial range corresponding to the object region so as to reduce the index value (that is, the loss of information decreases). It is preferable to set the intensity of the emitted light.
  • an index value for which it is preferable to set the light intensity so as to reduce the index value such as an index value related to the degree of information loss, is referred to as a second index value.
  • the index value representing the number of whiteouts in the object area D(i,t) is denoted by m1(i,t), and the index value representing the number of blackout areas in the object area D(i,t) is m2( Notated as i,t).
  • the number of blown-out highlights m1(i,t) is the number of pixels whose luminance value is the upper limit value of the sensor sensitivity of the imaging device 10 among the pixels included in the object area D(i,t). It is obtained by doing.
  • the second determining unit 2060 determines whether m1(i,t) is equal to or less than the threshold Th2. If m1(i,t) ⁇ Th2, the second determination unit 2060 does not change the intensity of the light with which the partial area corresponding to the object area D(i,t) is irradiated.
  • the second determination unit 2060 determines the change amount ⁇ T(i,t) of the intensity of the light with which the partial area corresponding to the object area D(i,t) is irradiated. , Set to a predetermined negative value - ⁇ T0 ( ⁇ T0>0).
  • the number m2(i,t) of black shadows is the lower limit value of the sensor sensitivity of the imaging device 10 (for example, the luminance is 0 or more and 255 or less) among the pixels included in the object area D(i,t). It can be obtained by counting the number of pixels that are 0) when expressed by the value of.
  • the second determination unit 2060 determines whether or not m2(i,t) is equal to or less than the threshold Th2. If m1(i,t) ⁇ Th2, the second determination unit 2060 does not change the intensity of the light with which the partial area corresponding to the object area D(i,t) is irradiated.
  • the second determining unit 2060 determines that the amount of change ⁇ T(i,t) in the intensity of light emitted to the partial range corresponding to the object area D(i,t). Is set to a predetermined positive value + ⁇ T0. That is, the second determining unit 2060 determines ⁇ T(i,t) by the above-described equation (7) and the following equation (10).
  • the threshold for m1(i,t) and the threshold for m2(i,t) may be different from each other.
  • the absolute value of the change amount to be added to the light intensity when m1(i,t) is equal to or greater than the threshold value and the absolute value of the change amount to be added to the light intensity when m2(i,t) is equal to or greater than the threshold value. May have different values.
  • both m1 and m2 may be used. In this case, it is assumed that both m1(i,t) and m2(i,t) are above the threshold. In this case, the second determination unit 2060 sets the intensity of light to be emitted to the partial range corresponding to the object area D(i,t) so that the amounts of whiteout and blackout are even. Specifically, if m1(i,t)>m2(i,t), the second determining unit 2060 reduces the light intensity (for example, by adding - ⁇ T0), and m1(i,t).
  • the second determination unit 2060 may use the first index value and the second index value together. For example, if the second index value is greater than or equal to the threshold value, the second determination unit 2060 uses the second index value to change the amount of change in the intensity of the light emitted to the partial range corresponding to the object area D(i,t). ⁇ T(i,t) is determined (Equations (9) and (10)), and if the second index value is less than the threshold value, ⁇ T(i,t) is determined based on the first index value (Equation (8)).
  • the second determining unit 2060 determines whether m1(i,t) is greater than or equal to the threshold Th2. If m1(i,t) ⁇ Th2, the second determining unit 2060 sets ⁇ T(i,t) to ⁇ T0. On the other hand, if m1(i,t) ⁇ Th2, the second determining unit 2060 determines ⁇ T(i,t) based on the comparison between ⁇ C(i,t) and the threshold Th1. That is, the second determination unit 2060 determines the amount ⁇ T(i,t) based on the following equation (11).
  • an arbitrary value may be set for the intensity of light emitted to the range where the object 30 is not detected.
  • the light intensity set in this case is set to the maximum value of the light intensity that can be emitted from the illumination device 50. By doing so, when a new object appears in the range, the object can be easily detected from the captured image 20.
  • an arbitrary intensity such as the maximum value of the intensity of light that can be emitted from the lighting device 50 is set as the intensity of the light that is emitted to the partial range determined for the object 30. You can set it.
  • the control unit 2080 applies the illumination setting of the partial range determined for each object 30 to the illumination device 50 (S116). Specifically, for each of the plurality of objects 30 detected from the captured image 20, the control unit 2080 irradiates the partial range determined for the object 30 with light according to the illumination setting determined for the object 30. To be done. The specific control method depends on the configuration of the lighting device 50.
  • the control unit 2080 identifies one or more point light sources corresponding to the partial range determined for the object 30, and sets the illumination setting determined for the object 30 in the setting of the light emitted from the point light source. Apply. For example, the control unit 2080 sets the intensity of light emitted from the point light source in the specified range to the intensity of light determined by the second determining unit 2060.
  • the existing technique can be used as a technique for setting the intensity of the light of the point light source to a desired intensity. The above-mentioned setting is executed for each of the objects 30 detected from the captured image 20.
  • the control unit 2080 generates an image to be output to the projector (hereinafter, illumination image) based on the partial range and illumination setting determined for each object 30.
  • the illumination image is, for example, a grayscale image.
  • the control unit 2080 specifies the image area corresponding to the partial range determined for the object 30 from the illumination image output to the projector last time, and determines the pixel color of the specified image area by It is determined based on the illumination setting determined for the object 30. For example, when the illumination image is a grace case image, the closer the color of the pixel is to white, the stronger the light emitted from the projector based on the pixel. Therefore, for example, the control unit 2080 uses the light intensity determined by the second determination unit 2060 as the pixel value in the illumination image.
  • the above-mentioned setting is executed for each of the objects 30 detected from the captured image 20.
  • FIG. 6 is a diagram conceptually illustrating the operation of the information processing apparatus according to the second embodiment.
  • the information processing apparatus 2000 handles a device that outputs the background of the object 30 (hereinafter, the background output device 60) as an output device.
  • the background output device 60 is a display device that can display an arbitrary image. Since the object 30 is located between the imaging device 10 and this display device, the image displayed on this display device becomes the background of the object 30 in the captured image 20.
  • the background output device 60 may be a projector or the like that irradiates the projection surface (wall, screen, or the like) behind the object 30 as viewed from the imaging device 10 with light.
  • the background of the object 30 has a similar color, it is difficult to extract the feature of the object 30 from the captured image 20.
  • the object 30 is a black object having irregularities, and the background color is dark gray, which is close to black. In this case, the color difference between the object 30 and the background in the captured image 20 is small, and it is difficult to grasp the unevenness of the object 30.
  • the background of the object 30 is white, the color difference between the object 30 and the background in the captured image 20 is large, and it can be said that the unevenness of the object 30 can be accurately grasped. Therefore, it is preferable that the background color is a color having a large difference from the color of the object 30.
  • the information processing apparatus 2000 determines, based on the range occupied by the image area (that is, the object area) that represents the object 30 in the captured image 20, the object 30 and its surroundings in the background range output by the background output device 60.
  • the range is determined as the partial range in which the background is set.
  • the information processing device 2000 determines the setting of the background (hereinafter, background setting) output by the background output device 60 for the partial range.
  • the background setting of the partial range is determined based on the feature amount calculated for the image area representing the object 30. Then, the information processing device 2000 applies the background setting of the determined partial range to the background output device 60.
  • FIG. 6 as an operation example of the information processing apparatus 2000, the same product inspection state as in FIG. 1 is shown.
  • the information processing apparatus 2000 determines the background partial range and the background setting for each of the object 30-1 and the object 30-2, and applies the settings to the background output apparatus 60.
  • FIG. 7 is a diagram exemplifying a result of changing the background setting by the information processing apparatus 2000.
  • the background settings around the objects 30-1 and 30-2 are changed.
  • the background range (partial range) and background setting corresponding to the object 30 are determined. Then, the background setting determined for each partial range is applied to the background output device 60. By doing so, the background of the object 30 in the imaging device 10 can be individually adjusted for each of the plurality of objects 30 included in the imaging range. Therefore, even when the captured image 20 includes a plurality of objects 30, the characteristics of each object 30 can be accurately extracted from the captured image 20. As a result, the accuracy and stability of the feature extraction process can be improved.
  • the functional configuration of the information processing apparatus 2000 according to the second embodiment is represented by, for example, FIG. 3 similarly to the information processing apparatus 2000 according to the first embodiment.
  • the partial range determined by the first determining unit 2040 of the second embodiment for the object 30 is a range that is the background of the object 30 and its surroundings in the background range output by the background output device 60.
  • the second determination unit 2060 of the second embodiment determines the background setting output to the determined partial range.
  • the control unit 2080 of the second embodiment applies the background setting of the determined partial range to the background output device 60.
  • the hardware configuration of the information processing apparatus 2000 according to the second embodiment is represented by, for example, FIG. 4 similarly to the hardware configuration of the information processing apparatus 2000 according to the first embodiment.
  • the storage device 1080 constituting the information processing apparatus 2000 of the second embodiment stores each program module that realizes the function of the information processing apparatus 2000 of the second embodiment.
  • FIG. 8 is a flowchart exemplifying the flow of processing executed by the information processing device 2000 of the second embodiment.
  • the process flow shown by the flowchart of FIG. 8 is the same as the process flow shown by the flowchart of FIG.
  • the first determination unit 2040 determines the partial range corresponding to the object 30 based on the range occupied by the object region of the certain object 30 in the captured image 20 (S208).
  • the partial range corresponding to the object 30 represents a range in which the background around the object 30 is output, out of the range in which the background is output by the background output device 60.
  • the partial range for the background output device 60 can be defined similarly to the partial range for the lighting device 50.
  • the search range (the region on the captured image 20) set to search for the object 30 from the next captured image 20 is set on the coordinate system of the background output device 60. Obtained by converting to a region.
  • the conversion from the region on the captured image 20 to the region on the coordinate system of the background output device 60 can be predetermined based on the setting positions of the image capturing device 10 and the background output device 60.
  • this conversion can be defined by the following conversion formula.
  • (u,v) and (x,y,z) represent positions on the captured image 20
  • (x,y,z) is a position corresponding to (u,v) in the coordinate system of the imaging device 10.
  • (x',y',z') represents the position corresponding to (u,v) in the coordinate system of the background output device 60.
  • C represents a 4 ⁇ 4 transformation matrix from the coordinate system of the image pickup device 10 to the coordinate system of the background output device 60.
  • B represents a 4x3 conversion matrix from the position on the captured image 20 to the position of the coordinate register of the imaging device 10, as in the equation (1).
  • B and C are derived in advance based on the setting positions of the image pickup device
  • the partial range of the illumination device 50 it is sufficient for the partial range of the illumination device 50 to include only the corresponding object 30, whereas the partial range of the background output device 60 preferably includes not only the corresponding object 30 but also the periphery thereof. Therefore, when the above-described search range is set to be substantially the same as the size of the object area representing the object 30, the partial range of the background output device 60 is preferably wider than the search range. Therefore, for example, the first determination unit 2040 calculates an image area in which the size of the search range is enlarged by a predetermined multiple larger than 1, and converts the image area into an area on the background output device 60, It may be a partial range.
  • the second determination unit 2060 calculates the feature amount of the object area that is the image area representing the object 30 (S210). For example, the feature amount regarding the color of the object region is calculated. For example, the second determination unit 2060 calculates a representative point on the color space (for example, HSV space) that represents the feature of the object region as the feature amount of the object region.
  • the representative point is a point (Hobj, Sobj, Vobj) determined by the representative value Hobj of the hue of the partial region, the representative value Sobj of the saturation, and the representative value Vobj of the lightness.
  • the representative value of hue or the like is a statistic such as an average or mode value of hue or the like for each pixel.
  • the second determination unit 2060 may calculate a plurality of feature amounts of the object area. For example, the second determination unit 2060 calculates a plurality of representative points in the color space that represent the characteristics of the object area, and sets these representative points as the characteristic amount of the object area. Specifically, when the color distribution of the pixels included in the object area is scattered in a plurality of areas in the color space, the second determination unit 2060 calculates a representative point for each of the plurality of areas, and calculates the representative point. The set of the plurality of representative points is set as the feature amount of the object area.
  • a clustering method such as the k-means method can be used as a method of dividing the scattered points in space into a plurality of areas.
  • the second determination unit 2060 determines the background setting of the partial range determined for the object 30 using the feature amount calculated for the object region representing the object 30 (S212). For example, the second determination unit 2060 specifies a point (for example, the most distant point) that is sufficiently distant from the representative point on the color space calculated as the feature amount of the object region, and displays the point. The determined color is determined as the background color of the partial range corresponding to the object area.
  • the second determination unit 2060 calculates the hue representative value Hobj. Then, for example, the second determination unit 2060 sets the hue Hb of the background color to Hobj+180° or Hobj ⁇ 180°.
  • the saturation and brightness of the background color can be set to arbitrary values.
  • the second determination unit 2060 sets the background color to the color represented by (Hobj ⁇ 180°, Smax, Vmax) in HSV expression.
  • Smax represents the maximum value of saturation
  • Vmax represents the maximum value of brightness.
  • the value to be added or subtracted from Hobj does not necessarily have to be 180°, and these hues can be separated on the hue circle (on the color space) to the extent that the object area and background can be easily separated.
  • Any value can be used.
  • Hobj and Hb may have different values. For example, suppose that binarization is performed so that the value changes in the range of Hobj ⁇ 90° and other values. In this case, Hb may be calculated by adding or subtracting a value larger than 90° and smaller than 270° to Hobj.
  • the second determining unit 2060 determines the background color based on the plurality of representative points. For example, the second determination unit 2060 identifies a point on the color space where the total sum of distances from the respective representative points is maximum, and sets the color represented by the point as the background color.
  • the background color output by the background output device 60 and the captured image 20 obtained by capturing the background color by the image capturing device 10 depending on the light receiving characteristic of the image capturing device 10 and the color forming characteristic of the background output device 60.
  • the second determination unit 2060 may adjust the background color output by the background output device 60 so that the color appearing on the captured image 20 becomes the background color determined by the method described above. That is, the second determining unit 2060 sets the color obtained by further performing a predetermined conversion to the background color determined by the above-described method as the background color set in the background output device 60.
  • a_back represents the background color set in the background output device 60
  • a_img represents the background color that appears on the captured image 20.
  • R and t respectively represent the rotation component and translation component of the affine transformation in the color space.
  • the second determination unit 2060 substitutes the color represented by (Hobj ⁇ 180°, Smax, Vmax) described above into a_img of Equation (7), and sets the obtained a_back in the background output device 60. Color.
  • the above conversion formula is set in advance. For example, various colors are output from the background output device 60, the imaging device 10 captures an image, and each combination of the color that appears in the captured image 20 and the color that is output from the background output device 60 is used to obtain the formula (13). ) Can be defined.
  • the control unit 2080 applies the background setting of the partial range determined for each object 30 to the background output device 60 (S216). Specifically, for each of the plurality of objects 30 detected from the captured image 20, the control unit 2080 outputs the background according to the background setting determined for the object 30 to the partial range determined for the object 30. To be done. The specific control method depends on the configuration of the background output device 60.
  • the background output device 60 is composed of a display device and a projector.
  • the control unit 2080 generates an image (hereinafter, background image) to be output to the background output device 60 based on the partial range and the background setting determined for each object 30. More specifically, the control unit 2080 identifies the image area corresponding to the partial range determined for the object 30 from the previous background image, and determines the pixel color of the identified image area for the background determined for the object 30. Set to color. This setting is executed for each of the objects 30 detected from the captured image 20.
  • a detection unit that detects an object from a captured image generated by the imaging device;
  • a first determination unit that determines a partial range corresponding to the object in an output range of an output device that performs an output that affects the imaging environment, based on a range occupied by an image region that represents the object in the captured image;
  • a second determining unit that determines an output setting of the output device for the partial range based on a feature amount of an image region representing the detected object;
  • An information processing apparatus comprising: a control unit that applies the output setting for the partial range determined for the object to the output device.
  • the first determination unit determines the output range corresponding to each of the plurality of objects detected from the captured image
  • the second determination unit determines the output setting corresponding to each of the plurality of objects
  • the control unit sets the output device for each of the plurality of objects.
  • the output device is a lighting device
  • the partial range determined for the object is, of the irradiation range of the light of the lighting device, the irradiation range of the light irradiated to the object
  • the output setting determined for the object is the setting of the light that illuminates the sub-range determined for the object:1. Or 2.
  • the second determination unit is As the feature amount of the image area representing the object, an index value representing the contrast of the image area or the variation in the pixel value of the image area is calculated, Using the calculated index value, the intensity of the light irradiated to the partial range determined for the object is determined to be the intensity that makes the index value of the image region representing the object larger.
  • the second determination unit is Calculating a difference between the index value calculated for the object included in the captured image and the index value calculated for the object included in the captured image generated before the captured image, If the calculated difference is greater than a threshold value, to the intensity of light emitted to the partial range determined for the object, add the previous change value and the change value of the opposite sign, If the calculated difference is less than or equal to a threshold value, a change value having the same sign as the previous change value is added to the intensity of light emitted to the partial range determined for the object.
  • the second determination unit When the brightness of the predetermined number of pixels is equal to or higher than the first threshold value, the intensity of the light emitted to the partial range determined for the object is changed to a smaller value, 2. If the brightness of a predetermined number or more of pixels is less than or equal to a second threshold, change the intensity of light emitted to the partial range determined for the object to a larger value.
  • the output device is a device for outputting a background,
  • the partial range determined for the object, of the range of the background output by the output device is a range of the background of the object and its surroundings,
  • the output setting determined for the object is a background color setting output to the partial range determined for the object. Or 2.
  • the information processing device described in 1. 8 The second determination unit is As a feature amount of the image area representing the object, a representative point on the color space regarding the color of the image area is calculated, Specifying a point that satisfies a predetermined relationship with the representative point on the color space, 6. The background color of the subrange determined for the object is determined based on the color corresponding to the identified point.
  • the second determination unit is As a feature amount of the image area representing the object, a representative value of the hue of the image area is calculated, The color that is separated by a predetermined angle on the calculated representative value and the hue circle is specified, 7. The background color of the sub-range determined for the object is determined based on the specified color.
  • the first determination unit uses the information indicating the correspondence between the position on the image capturing device and the output position of the output device to determine the range on the captured image indicated by the image region representing the object. Convert to output range Through 9.
  • the information processing device described in any one of the above.
  • a control method executed by a computer A detection step of detecting an object from a captured image generated by the imaging device, A first determining step of determining a partial range corresponding to the object in an output range of an output device that performs an output that affects an imaging environment, based on a range occupied by an image region representing the object in the captured image; A second determining step of determining an output setting of the output device for the partial range based on a feature amount of an image region representing the detected object; A control step of applying, to the output device, the output setting for the partial range determined for the object. 12.
  • the output range corresponding to each of the plurality of objects detected from the captured image is determined
  • the second determining step determining the output setting corresponding to each of the plurality of objects, 10.
  • the output device is set for each of the plurality of objects. Control method described in. 13.
  • the output device is a lighting device
  • the partial range determined for the object is, of the irradiation range of the light of the lighting device, the irradiation range of the light irradiated to the object, 10.
  • the output setting determined for the object is the setting of the light that illuminates the sub-range determined for the object. Or 12. Control method described in. 14.
  • an index value representing the contrast of the image area or the variation in the pixel value of the image area is calculated, 10. Using the calculated index value, determine the intensity of the light radiated to the partial range determined for the object to an intensity that makes the index value of the image region representing the object larger. Control method described in. 15.
  • the second determining step Calculating a difference between the index value calculated for the object included in the captured image and the index value calculated for the object included in the captured image generated before the captured image, If the calculated difference is greater than a threshold value, the intensity of light irradiated to the partial range determined for the object, the change value of the previous change value and the opposite sign of the change value, If the calculated difference is less than or equal to a threshold value, a change value having the same sign as the previous change value is added to the intensity of light emitted to the partial range determined for the object. Control method described in. 16.
  • the intensity of light emitted to the partial range determined for the object is changed to a smaller value
  • the intensity of light emitted to the partial range determined for the object is changed to a larger value.
  • a representative point on the color space regarding the color of the image area is calculated, Specifying a point that satisfies a predetermined relationship with the representative point on the color space, 15.
  • the background color of the sub-range determined for the object is determined based on the color corresponding to the identified point.
  • Control method described in. 19. As a feature amount of the image area representing the object, a representative value of the hue of the image area is calculated, The color that is separated by a predetermined angle on the calculated representative value and the hue circle is specified, 18. determining the background color of the subrange determined for the object based on the identified color; Control method described in. 20.
  • the information on the correspondence between the position on the imaging device and the output position of the output device is used to determine the range on the captured image indicated by the image region representing the object, on the output device. Convert to output range, 11. Through 19.
  • imaging device 20 captured image 30 object 40 belt conveyor 50 lighting device 60 background output device 1000 computer 1020 bus 1040 processor 1060 memory 1080 storage device 1100 input/output interface 1120 network interface 2000 information processing device 2020 detection unit 2040 first determination unit 2060 2 determination unit 2080 control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

情報処理装置（２０００）は、撮像装置（１０）によって生成される撮像画像（２０）から物体（３０）を検出する。情報処理装置（２０００）は、撮像画像（２０）において物体（３０）を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体（３０）に対応する部分範囲を決定する。情報処理装置（２０００）は、検出された物体（３０）を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する。情報処理装置（２０００）は、出力装置に対し、物体（３０）について決定した部分範囲に対する出力設定を適用する。

Description

情報処理装置、制御方法、及びプログラム
　本発明は、画像解析に関する。
　カメラによって生成される撮像画像を用いて対象物を認識するシステムが開発されている。撮像画像を用いた対象物の認識は、撮像画像から物体を表す画像領域の特徴を抽出し、その特徴を解析することで行われる。物体の特徴とは、例えば、色、エッジ（輪郭）、又は表面テクスチャなどである。
　撮像画像から物体の特徴を精度良く抽出できるようにするためには、撮像画像に物体の特徴が十分に表れている必要がある。撮像画像に物体の特徴が十分に表れるようにする方法の一つとして、照明や背景などの撮像環境を適切に設定するという方法がある。例えば、表面に凹凸を持つ白色の物体に対して強い照明を当ててしまうと、撮像画像上で物体の表面が白飛びし、その表面の凹凸が撮像画像上に表れなくなってしまう。そのため、その物体の特徴を撮像画像から抽出することが難しくなってしまう。
　撮像環境の適切な設定について言及する先行技術文献として、特許文献１と非特許文献１が挙げられる。特許文献１では、検査ステーション内を通過する製品の複数の特徴を識別して不良品を仕分けるために、複数の照明装置及び検出装置を所定順序で選択的に駆動し、時系列的に得られた複数の画像信号を融合したマルチモーダル画像に対して識別処理を行う仕組みが開示されている。非特許文献１では、調理支援システムにおける食材認識のために、ディスプレイを背景（調理台）として用いて、前景（食材）周辺の背景の色相及び明度を一定範囲で変更しながら、食材の輪郭が最もよく見える背景色、及び食材の色が最も正確に抽出できる背景色を探索する方法を開示している。
特開２０１７－５１８１６４号公報
川西康友、山肩洋子、角所考、及び美濃導彦、「D-12-75 適応的背景変更による食材の領域と色の抽出」、電子情報通信学会総合大会講演論文集 ２００６年、情報・システム（２）、２０７、２００６年
　１つの撮像画像に複数の物体が含まれることがある。この場合、撮像画像から各物体の特徴を精度良く抽出できるようにすることが望ましい。しかしながら、いずれか１つの物体の特徴に合わせて撮像環境を設定してしまうと、それ以外の物体の特徴が撮像画像上に十分に表れなくなるおそれがある。特許文献１や非特許文献１は、このように１つの撮像画像に含まれる複数の物体それぞれについての特徴を精度良く抽出できるようにする方法については言及していない。
　本発明は、上記課題に鑑みてなされたものであり、その目的の一つは、１つの撮像画像から複数の物体それぞれの特徴を精度良く抽出できるように撮像環境を適切に設定する技術を提供することである。
　本発明の情報処理装置は、１）撮像装置によって生成される撮像画像から物体を検出する検出部と、２）撮像画像において物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体に対応する部分範囲を決定する第１決定部と、３）検出された物体を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する第２決定部と、４）出力装置に対し、物体について決定した部分範囲に対する出力設定を適用する制御部と、を有する。
　本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）撮像装置によって生成される撮像画像から物体を検出する検出ステップと、２）撮像画像において物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体に対応する部分範囲を決定する第１決定ステップと、３）検出された物体を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する第２決定ステップと、４）出力装置に対し、物体について決定した部分範囲に対する出力設定を適用する制御ステップと、を有する。
　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
　本発明によれば、１つの撮像画像から複数の物体それぞれの特徴を精度良く抽出できるように撮像環境を適切に設定する技術が提供される。
本実施形態の情報処理装置の動作を概念的に例示する図である。 情報処理装置による照明設定の変更の結果を例示する図である。 情報処理装置の機能構成を例示するブロック図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 実施形態２の情報処理装置の動作を概念的に例示する図である。 情報処理装置による背景設定の変更の結果を例示する図である。 実施形態２の情報処理装置によって実行される処理の流れを例示するフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
［実施形態１］
＜概要＞
　図１は、本実施形態の情報処理装置２０００の動作を概念的に例示する図である。なお、図１は、情報処理装置２０００に対する理解を容易にするための例示であり、情報処理装置２０００の機能は図１に表されているものに限定されない。
　撮像装置１０は、撮像を行い、その結果として、撮像画像２０を生成する。情報処理装置２０００は、撮像画像２０を画像解析することで、撮像画像２０に含まれる１つ以上の物体３０を検出する。物体３０は、その位置が変化する任意の物体である。なお、物体３０は、その位置を変化させる機構を持つ物体（車両など）であってもよいし、その位置を変化させる機構を持たない物体（ベルトコンベアに乗せられて移動する製品など）であってもよい。
　ここで、撮像画像２０を用いて把握することができる物体３０の特徴は、物体３０の撮像環境によって変化する。撮像環境としては、例えば、照明や背景などがある。例えば、黒色でなおかつ凹凸を持つ物体３０を、撮像装置１０で撮像するとする。この場合、照明の強度が弱いと、撮像画像２０において、物体３０を表す画像領域のコントラストが小さくなる。そのため、撮像画像２０を画像解析しても、物体３０が持つ凹凸を把握することが難しい。これに対し、照明の強度を適度に強くすると、撮像画像２０において、物体３０を表す画像領域のコントラストが大きくなる。そのため、撮像画像２０を画像解析することにより、物体３０が持つ凹凸を正確に把握することができる。このように、撮像画像２０から物体３０の特徴を精度良く抽出するためには、照明などといった撮像環境を適切に設定する必要がある。
　また、複数の物体３０が存在する場合、適切な撮像環境は、物体３０ごとに異なると考えられる。例えば、黒色の物体３０の特徴を把握するために必要な強い光を白色の物体３０にも照射してしまうと、撮像画像２０において、その白色の物体３０を表す画像領域が白飛びしてしまい、白色の物体３０の特徴を撮像画像２０から把握することが難しくなってしまう。そのため、撮像装置１０の撮像範囲に複数の物体３０が含まれる場合、そのうちの１つの物体３０に合わせて撮像装置１０の撮像範囲全体の撮像環境を決めてしまうと、その他の物体３０の特徴を撮像画像２０から抽出することが難しくなってしまう。
　そこで情報処理装置２０００は、物体３０の撮像環境に影響を与える（撮像環境を変化させる）出力装置の設定を、各物体３０に影響を与える範囲について個別に決定する。そのために情報処理装置２０００は、例えば次のような動作を行う。情報処理装置２０００は、撮像画像２０から物体３０を検出する。情報処理装置２０００は、撮像画像２０においてその物体３０を表す画像領域（以下、物体領域）が占める範囲に基づいて、出力装置の出力範囲のうち、その物体３０に対応する（その物体３０の撮像環境に影響を与える）部分範囲を決定する。また、情報処理装置２０００は、上記物体領域の特徴量に基づいて、上記部分範囲に対する出力装置の出力設定を決定する。そして情報処理装置２０００は、出力装置に対し、上記部分範囲について決定した出力設定を適用する。ここで、撮像画像２０から複数の物体３０が検出される場合、情報処理装置２０００は、出力装置に対し、複数の物体３０それぞれについて決定される部分範囲ごとに決定した出力設定を適用する。
　以下、説明を分かりやすくするため、本実施形態では、出力装置として、光を照射する照明装置（図１の照明装置５０）を扱う。その他の出力装置については、他の実施形態で説明する。
　出力装置が照明装置５０である場合、情報処理装置２０００は、照明装置５０の出力を制御することにより、照明装置５０によって出力される光を制御する。照明装置５０によって出力される光は、撮像装置１０の撮像範囲の一部又は全部を通過するように照射される。なお、後述するように、照明装置５０によって出力される光は可視光に限定されない。
　情報処理装置２０００は、照明装置５０から出力される光の設定を、各物体３０に対して照射される範囲について個別に決定する。そのために情報処理装置２０００は、例えば次のような動作を行う。情報処理装置２０００は、撮像画像２０において物体３０を表す物体領域が占める範囲に基づいて、照明装置５０から出力される光が照射される範囲（以下、照射範囲）のうち、その物体３０に光が照射される範囲である部分範囲を決定する。また、情報処理装置２０００は、上記物体領域の特徴量に基づいて、上記部分範囲に照射される光の設定（以下、照明設定）を決定する。そして情報処理装置２０００は、照明装置５０に対し、上記決定した部分範囲について決定した照明設定を適用する。こうすることで、照明装置５０から照射される光のうち、決定した部分範囲に照射される光が、決定した照明設定に従った光となる。
　図１では、情報処理装置２０００の動作例として、製品検査の様子を示している。具体的には、複数の物体が、ベルトコンベア４０によって運搬された後、検査エリア（撮像装置１０の撮像範囲）を通過するように落下する。図１の例では、物体３０－１と３０－２が検査エリアを通過している。そのため、これらの物体３０が撮像画像２０に含まれている。情報処理装置２０００は、これら２つの物体３０それぞれについて、部分範囲及び照明設定を決定し、照明装置５０にその設定を適用する。
　図２は、情報処理装置２０００による照明設定の変更の結果を例示する図である。図２において、物体３０－１と物体３０－２に対して照射される光の設定がそれぞれ変更されている。
＜作用効果＞
　本実施形態の情報処理装置２０００によれば、撮像画像２０から検出される物体３０それぞれについて、その物体３０に対応する出力装置の出力範囲及び出力設定が決定される。そして、出力装置に対し、各部分範囲について決定された出力設定が適用される。こうすることで、撮像装置１０の撮像環境を、撮像範囲に含まれている複数の物体３０それぞれについて個別に調整することができる。例えば前述したように、出力装置として照明装置５０を利用する場合、照明環境を、複数の物体３０それぞれについて個別に調整することができる。よって、撮像画像２０に複数の物体３０が含まれる場合であっても、撮像画像２０から各物体３０の特徴を精度良く抽出できるようになる。その結果、特徴抽出処理の精度や安定性を向上させることができる。
　情報処理装置２０００の活用例としては、例えば、前述した製品検査がある。本実施形態の情報処理装置２０００によれば、多品種の製品を扱う工場等において、製品を撮像して画像解析を行うことで製品の検査を行う場合に、一度に複数の製品が撮像されるようにしても、精度の高い製品検査を実現できる。すなわち、精度が高くなおかつ高速な製品検査を実現できる。
　その他の活用例としては、ごみ処理場におけるごみの自動分別が考えられる。具体的には、様々な種類のごみを画像認識して自動分別する場合に、一度に複数のごみが撮像されるようにしても、高い精度でごみの分別を行える。そのため、精度が高くなおかつ高速な自動分別を実現できる。
　このように、情報処理装置２０００によれば、新たな付加価値を持つリアルタイム IoT システムによるファクトリーオートメーションを実現できる。また情報処理装置２０００は、上述のようなファクトリーオートメーションに限らず、ロボットビジョン、車載、セキュリティ、エンターテイメントなどの各種の分野において幅広く活用できる。
　以下、本実施形態についてさらに詳細を述べる。
＜機能構成の例＞
　図３は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は、検出部２０２０、第１決定部２０４０、第２決定部２０６０、及び制御部２０８０を有する。検出部２０２０は、撮像画像２０から物体３０を検出する。第１決定部２０４０は、撮像画像２０において物体３０を表す画像領域が占める範囲に基づき、撮像画像２０に影響を与える出力を行う出力装置の出力範囲のうち、物体３０に対応する部分範囲を決定する。第２決定部２０６０は、物体３０を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する。制御部２０８０は、出力装置に対し、物体３０について決定した部分範囲の出力設定を適用する。
　ここで、撮像画像２０から複数の物体３０が検出された場合、第１決定部２０４０は、それら複数の物体３０それぞれに対応する出力範囲を決定する。また、第２決定部２０６０は、それら複数の物体３０それぞれに対応する出力設定を決定する。そして、制御部２０８０は、出力装置に対し、複数の物体３０それぞれについての設定を行う。
　出力装置として照明装置５０を扱う場合、第１決定部２０４０は、撮像画像２０において物体３０を表す画像領域が占める範囲に基づき、照明装置５０の光の照射範囲のうち、物体３０に照射される光の照射範囲を、その物体３０についての部分範囲として決定する。また、第２決定部２０６０は、物体３０について決定された部分範囲に照射される光の設定を、その部分範囲に対する出力設定として決定する。そして、制御部２０８０は、照明装置５０に対し、物体３０について決定した部分範囲の照明設定を適用する。
＜情報処理装置２０００のハードウエア構成の例＞
　情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図４は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどの据え置き型の計算機である。その他にも例えば、計算機１０００は、スマートフォンやタブレット端末などの可搬型の計算機である。その他にも例えば、計算機１０００は、撮像装置１０であってもよい。この場合、撮像装置１０は、自身で生成した撮像画像２０を用いて、自身の撮像環境に影響を与える出力装置の出力を制御する。このように情報処理装置２０００の機能を持たせる撮像装置１０は、例えば、インテリジェントカメラ、ネットワークカメラ、IP（Internet Protocol）カメラなどと呼ばれるカメラで実現される。なお、計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。その他にも例えば、入出力インタフェース１１００には、撮像装置１０が接続される。
　ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
＜撮像装置１０について＞
　撮像装置１０は、撮像を行い、その結果として撮像画像を生成する任意の装置である。撮像装置１０は、静止画像を生成するスチルカメラであってもよいし、動画像を生成するビデオカメラであってもよい。また、撮像装置１０には、可視光カメラに限らず、センサの検知結果に基づいて、画像データとして扱えるデータを生成する任意の装置を利用できる。例えば、単一波長の光を撮像するモノクロカメラ、赤外光やその他の波長域の電磁波（テラヘルツ波やミリ波を含む）を撮像するカメラなどであってもよい。
　撮像装置１０のフレームレートやシャッタースピードは、撮像対象の物体３０の大きさや移動速度などに基づいて、適切に設定することが好適である。例えば、30cm 程度の高さから自由落下する物体３０を撮像する場合における撮像装置１０の好適な設定例は、フレームレートが 1000fps、かつシャッタースピードが 1/4000 である。
＜照明装置５０について＞
　照明装置５０は、光を照射する装置であり、照射する光の設定をその照射範囲の一部ごとに変更できる機能を有する。例えば照明装置５０は、情報処理装置２０００からの制御入力に従って逐次的に駆動する複数の指向性光源の組み合わせによって構成される。ここで、制御系の発散を防ぐため、制御入力に対する照明装置５０の応答速度は、制御入力が入力される周期（すなわち、情報処理装置２０００が照明装置５０の設定の変更を行う周期）よりも速くなるように構成されることが好適である。
　例えば照明装置５０は、姿勢を個別に変更可能な複数の指向性点光源を２次元的にアレイ状に並べることで構成される。ただし、各光源は必ずしもアレイ状に配置される必要はない。また、各光源の姿勢は固定されていてもよい。この場合、各光源に対応づけて、光源から照射された光の方向を変更するための機構（例えばミラー）を設けておき、各ミラーの姿勢を制御することにより、各光源から照射される光の方向を変更する。
　その他にも例えば、照明装置５０はプロジェクタを用いて構成されてもよい。この場合、プロジェクタに出力させる画像を変更することにより、プロジェクタから出力される光を変更することができる。例えば、プロジェクタにグレースケールの画像を出力させると、白色に近い画素ほど明るい光が出力され、黒色に近い画素ほど暗い光が出力される。
　なお、照明装置５０から出力される光は、可視光に限定されない。照明装置５０から出力する光の種類は、撮像装置１０によって感知される光の種類に対応させる。例えば撮像装置１０として可視光を感知するカメラを用いる場合、照明装置５０として、可視光を出力する装置を用いる。その他にも例えば、撮像装置１０として近赤外線を感知するカメラを用いる場合、照明装置５０として、近赤外線を出力する装置を用いる。
＜物体３０について＞
　物体３０は、その位置が変化する任意の物体である。ただし、物体３０の位置は常に変化している必要はなく、例えば移動と停止が繰り返されてもよい。物体３０は、その位置を変化させる機構を備えていてもよいし、備えていなくてもよい。前者の場合、例えば物体３０は、車やバイクなどの車両、又はドローンなどの飛翔体などである。
　後者の場合、例えば物体３０は、自由落下したり、坂を下ったりするなど、自身が持つ位置エネルギーを運動エネルギーに変えて運動する物体である。その他にも例えば、物体３０は、他の物体によって動かされてもよい。例えば物体３０を動かす他の物体は、ベルトコンベアや、空気などの気体を噴射する装置である。前者の場合、物体３０は、ベルトコンベアに乗って移動する。後者の場合、物体３０は、噴射された気体から受けた力で移動する。
＜処理の流れ＞
　図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、撮像画像２０を取得する（Ｓ１０２）。検出部２０２０は、撮像画像２０から物体３０を検出する（Ｓ１０４）。
　Ｓ１０６からＳ１１４は、撮像画像２０から検出される１つ以上の物体３０それぞれについて実行されるループ処理Ａである。Ｓ１０６において、情報処理装置２０００は、全ての物体３０についてループ処理Ａを実行したか否かを判定する。既に全ての物体３０についてループ処理Ａを実行した場合、図５の処理は終了する。一方、まだループ処理Ａの対象としていない物体３０が存在する場合、図５の処理はＳ１０８に進む。この際、情報処理装置２０００は、まだループ処理Ａの対象としていない物体３０の中から１つを選択する。ここで選択される物体３０を、物体ｉと表記する。
　第１決定部２０４０は、撮像画像２０において物体ｉを表す画像領域が占める範囲に基づいて、物体ｉに対応する部分範囲を決定する（Ｓ１０８）。第２決定部２０６０は、物体ｉを表す画像領域の特徴量を算出する（Ｓ１１０）。第２決定部２０６０は、算出した特徴量に基づいて、物体ｉに対応する部分範囲の照明設定を決定する（Ｓ１１２）。
　Ｓ１１４はループ処理Ａの終端であるため、図５の処理はＳ１０６に進む。
　ループ処理Ａが終了した後、制御部２０８０は、照明装置５０に対し、各物体ｉについて決定された部分範囲についての照明設定を適用する（Ｓ１１６）。
　情報処理装置２０００は、撮像装置１０によって生成される撮像画像２０それぞれについて、図５に示す一連の処理を実行する。ただし、図５に示す処理は、撮像装置１０によって生成される全ての撮像画像２０ではなく、一部の撮像画像２０についてのみ実行されてもよい。例えば情報処理装置２０００は、所定の時間間隔で図５に示す処理を実行する。この際、検出部２０２０は、撮像装置１０によって生成された最新の撮像画像２０を取得するようにする。こうすることで、撮像装置１０によって生成される撮像画像２０のうち、所定の割合の撮像画像２０について、図５に示す処理が実行される。上述した所定の時間間隔は、情報処理装置２０００に予め設定しておいてもよいし、情報処理装置２０００からアクセス可能な記憶装置に記憶させておいてもよい。
＜撮像画像２０の取得：Ｓ１０２＞
　検出部２０２０は、撮像画像２０を取得する（Ｓ１０２）。検出部２０２０が撮像画像２０を取得する方法は様々である。例えば検出部２０２０は、撮像装置１０から送信される撮像画像２０を受信することで、撮像画像２０を取得する。その他にも例えば、検出部２０２０は、撮像装置１０にアクセスし、撮像装置１０に記憶されている撮像画像２０を取得する。
　なお、撮像装置１０は、撮像装置１０の外部に設けられている記憶装置に撮像画像２０を記憶させてもよい。この場合、検出部２０２０は、この記憶装置にアクセスして撮像画像２０を取得する。
　情報処理装置２０００の機能が撮像装置１０によって実現される場合、検出部２０２０は、情報処理装置２０００の内部で生成された撮像画像２０を取得する。この場合、撮像画像２０は、例えば情報処理装置２０００の内部にある記憶装置（例えばストレージデバイス１０８０）に記憶されている。
　検出部２０２０が撮像画像２０を取得するタイミングは任意である。例えば検出部２０２０は、撮像装置１０によって新たな撮像画像２０が生成される度に、その新たに生成された撮像画像２０を取得する。その他にも例えば、検出部２０２０は、定期的に未取得の撮像画像２０を取得してもよい。この際、検出部２０２０は、最新の撮像画像２０のみを取得してもよいし、複数の（例えば全ての）撮像画像２０を取得してもよい。
＜物体３０の検出：Ｓ１０４＞
　検出部２０２０は、撮像画像２０から物体３０を検出する（Ｓ１０４）。ここで、撮像画像から物体を検出する処理には、既存の物体検出処理（背景差分など）を利用することができる。
　なお、いずれの撮像画像２０からも検出されていない新規の物体３０を検出する処理は、撮像画像２０内の一部の画像領域のみを対象として行われるようにしてもよい。例えば、ベルトコンベアで運ばれる物体を撮像装置１０で撮像する場合、新規の物体が出現する撮像画像２０上の画像領域は限られている。そこで、そのような新規の物体が出現する画像領域を予め定めておき、検出部２０２０に、その画像領域を対象として、新規の物体３０を検出する処理を行わせる。
　既出の物体３０を撮像画像２０から検出する処理には、トラッキングなどといった既存の技術を利用できる。例えば検出部２０２０は、或る撮像画像２０から新規の物体３０を検出したら、その撮像画像２０におけるその物体３０の代表点（例えば重心位置）やサイズを算出し、算出した代表点やサイズに基づいて、その次の撮像画像２０からその物体３０を探索する画像領域（以下、探索領域）を設定する。そして検出部２０２０は、次の撮像画像２０を得たら、その撮像画像２０内の探索領域について物体検出処理を実行することにより、既出の物体３０の検出を行う。
　なお、探索領域の設定は、物体３０の移動方向や移動速度をさらに考慮して行われてもよい。例えばベルトコンベアに乗せられて物体３０が移動している場合、ベルトコンベアが物体を移動させる方向やその移動速度は既知である。また、移動速度や移動方向が既知でなくても、複数の撮像画像から検出される物体３０の位置の変化に基づいて、その移動速度や移動方向を算出することができる。
　探索領域のサイズは、予め固定で設定されていてもよいし、撮像画像２０から検出された物体３０のサイズに基づいて決定されてもよい。例えば後者の場合、探索領域のサイズを、撮像画像２０から検出された物体３０のサイズの定数倍にする。特に 1000fps のような十分に高いフレームレートで撮像が行われる場合、フレーム間で物体位置はほとんど変化しないため、探索領域のサイズを、撮像画像２０から検出された物体３０のサイズとほぼ同じ程度にまで小さく設定することができる。そのため、物体３０同士の近接に対する頑健さを向上させることができる。また、フレーム間で物体位置がほとんど変化しないという高フレームレートでの撮影には、物体の予想外の動きに対して頑健であるというメリットもある。
＜部分範囲の決定：Ｓ１０８＞
　第１決定部２０４０は、撮像画像２０において或る物体３０の物体領域が占める範囲に基づいて、その物体３０に対応する部分範囲を決定する（Ｓ１０８）。出力装置として照明装置５０を扱う場合、物体３０に対応する部分範囲は、照明装置５０によって光が照射される範囲のうち、その物体３０に対して光が照射される範囲を表す。ここで、「その物体３０に対して光が照射される範囲」は、例えば、次の撮像画像２０からその物体３０を探索するために設定される探索範囲（撮像画像２０上の領域）を、照明装置５０の座標系上の領域に変換することで得られる。
　撮像画像２０上の領域から照明装置５０の座標系上の領域への変換は、撮像装置１０と照明装置５０のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。
Figure JPOXMLDOC01-appb-M000001
 　ここで、(u,v) は撮像画像２０上の位置を表し、(x,y,z) は撮像装置１０の座標系において (u,v) に対応する位置を表し、(x',y',z') は照明装置５０の座標系において (u,v) に対応する位置を表す。A は、撮像装置１０の座標系から照明装置５０の座標系への 4x4 の変換行列を表す。B は、撮像画像２０上の位置から撮像装置１０の座標計上の位置への 4x3 の変換行列を表す。A と B は、撮像装置１０と照明装置５０のセッティング位置等に基づいて予め導出しておく。
　ここで、撮像画像２０から検出された物体３０に対して光が照射される範囲は、必ずしも、その次の撮像画像２０から物体３０を探索する探索範囲に基づいて設定されなくてもよい。例えば、撮像画像２０から検出された物体３０に対して光が照射される範囲は、その撮像画像２０においてその物体３０を表す物体領域を照明装置５０の座標系上の領域に変換することで求められてもよい。
　その他にも例えば、情報処理装置２０００による設定が反映された光が照明装置５０から照射されるまでに要する時間と撮像装置１０のフレームレートに基づき、その設定が反映された光が照射された物体３０が含まれる撮像画像２０が、x 枚先の撮像画像２０であることが分かるとする。この場合、第１決定部２０４０は、x 枚先の撮像画像２０における物体３０の探索範囲を予測し、その探索範囲に対応する照明装置５０の座標系上の領域を、物体３０に対応する部分範囲として決定する。例えばこの探索範囲は、物体３０が現在の移動方向及び移動速度で移動し続けると仮定することで予測することができる。
＜特徴量の算出：Ｓ１１０＞
　第２決定部２０６０は、物体領域の特徴量を算出する（Ｓ１１０）。照明設定を決定するために利用される特徴量には、様々なものを用いることができる。例えば、物体領域のコントラストに関する指標値、画素値のばらつきに関する指標値、又は情報の欠損具合（白飛びや黒飛びなど）を表す指標値などを用いることができる。
　物体領域のコントラストを表す指標値としては、例えば、Michelson コントラスト、Weber コントラスト、又はコントラスト比などを用いることができる。これらはそれぞれ、以下の式で定義される。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Imax と Imin はそれぞれ、物体領域に含まれる輝度の最大値と最小値である。
　画素値のばらつきに関する指標値は、輝度値の分散やエントロピーで表すことができる。これらはそれぞれ、以下の数式で表される。
Figure JPOXMLDOC01-appb-M000003
 　ここで、Ik は、物体領域に含まれる画素 k の輝度値である。Iavg は、物体領域に含まれる全ての画素の輝度値の平均である。N は、物体領域に含まれる画素の総数である。Nj は、階調が j の画素の総数である。
　情報の欠損具合を表す指標値は、例えば、白飛びが生じている画素の個数、又は黒潰れが生じている画素の個数で表される。白飛びが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の上限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 255）となっている画素の総数である。黒潰れが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の下限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 0）となっている画素の総数である。
＜照明設定の決定：Ｓ１１２＞
　第２決定部２０６０は、物体３０を表す物体領域の特徴量に基づいて、その物体３０に対応する部分範囲の照明設定を決定する。（Ｓ１１２）。物体の特徴量に基いて照明設定を決定する具体的な方法は、利用する特徴量に応じて異なる。以下、利用する特徴量ごとに、照明設定の決定方法を説明する。
＜＜コントラストに関する指標値又は画素値のばらつきに関する指標値＞＞
　物体領域の特徴量として、コントラストに関する指標値又は画素値のばらつきに関する指標値を用いるとする。この場合、第２決定部２０６０は、指標値をより大きくするように、物体領域に対応する部分範囲に照射される光の強度を設定することが好適である。以下、これらの指標値のように。その指標値を大きくするように光の強度を設定することが好適である指標値を総称して、第１指標値と呼ぶ。また、時点 t の物体 i の物体領域を D(i, t) と表記し、D(i,t) について算出された第１指標値を C(i,t) と表記する。
　例えば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度 T(i,t) を、物体ｉについての第１指標値の前時刻からの変化量ΔC(i,t)（=C(i,t)-C(i,t-1)）、及び物体ｉに対応する部分範囲に照射される光の強度に前回加えた変更の大きさΔT(i,t-1)（=T(i,t-1)-T(i,t-2)）に基づいて決定する。
　例えば第２決定部２０６０は、第１指標値の変化量ΔC(i,t) が所定の閾値 Th1 より大きい場合には、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を、前回の変更量ΔT(i,t-1) と同符号の変更量で変更する。一方、第２決定部２０６０は、第１指標値の変化量ΔC(i,t) が所定の閾値 Th1 以下である場合には、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を、前回の変更量ΔT(i,t-1) と逆符号の変更量で変更する。具体的には、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度 T(i,t) を、以下の式（７）及び（８）で決定する。

Figure JPOXMLDOC01-appb-M000004
 　ここで、αとβはいずれも、任意の正の実数として予め定めておく。ただし、αとβはいずれも、１以下の値とすることが好適である。
＜＜情報の欠損具合に関する指標値＞＞
　情報の欠損具合に関する指標値を特徴量として利用する場合、第２決定部２０６０は、指標値を小さくする（すなわち、情報の欠損が少なくなる）ように、物体領域に対応する部分範囲に照射される光の強度を設定することが好適である。以下、情報の欠損具合に関する指標値のように、その指標値を小さくするように光の強度を設定することが好適である指標値を、第２指標値と呼ぶ。また、物体領域 D(i,t) における白飛びの個数を表す指標値を m1(i,t) と表記し、物体領域 D(i,t) における黒潰れの個数を表す指標値を m2(i,t) と表記する。
　白飛びの個数 m1(i,t) は、物体領域 D(i,t) 内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の上限値となっている画素の数をカウントすることで得られる。m1(i,t) を利用する場合、第２決定部２０６０は、m1(i,t) が閾値 Th2 以下であるか否かを判定する。m1(i,t)≦Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を変更しない。一方、m1(i,t)>Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度の変更量ΔT(i,t) を、所定の負の値 -ΔT0（ΔT0>0）に設定する。
Figure JPOXMLDOC01-appb-M000005
　黒潰れの個数 m2(i,t) は、物体領域 D(i,t) 内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の下限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 0）となっている画素の数をカウントすることで得られる。m2(i,t) を利用する場合、第２決定部２０６０は、m2(i,t) が閾値 Th2 以下であるか否かを判定する。m1(i,t)≦Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を変更しない。一方、m2(i,t)>Th2 であれば、第２決定部２０６０は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度の変更量ΔT(i,t)を、所定の正の値 +ΔT0 に設定する。すなわち、第２決定部２０６０は、ΔT(i,t) を前述した式（７）及び以下の式（１０）で決定する。
Figure JPOXMLDOC01-appb-M000006
　ここで、m1(i,t) に関する閾値と m2(i,t) に関する閾値は、互いに異なる値であってもよい。また、m1(i,t) が閾値以上である場合に光の強度に加える変更量の絶対値と、m2(i,t) が閾値以上である場合に光の強度に加える変更量の絶対値も、互いに異なる値であってもよい。
　なお、m1 と m2 の双方を利用してもよい。この場合において、m1(i,t) と m2(i,t) の双方が閾値以上であったとする。この場合、第２決定部２０６０は、白飛びと黒潰れの量を均等にするように、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を設定する。具体的には、第２決定部２０６０は、m1(i,t)>m2(i,t) であれば光の強度を小さくし（例えば、-ΔT0 の変更を加える）、m1(i,t)<m2(i,t) であれば光の強度を大きくし（例えば、+ΔT0の変更を加える）、m1(i,t)=m2(i,t) であれば光の強度を変更しない。このようにすることで、白飛びと黒つぶれをバランスさせる。
＜＜第１指標値と第２指標値の併用＞＞
　第２決定部２０６０は、第１指標値と第２指標値を併用してもよい。例えば第２決定部２０６０は、第２指標値が閾値以上であれば、第２指標値に基づいて、物体領域 D(i,t) に対応する部分範囲に照射される光の強度の変更量ΔT(i,t) を決定し（式（９）や式（１０））、第２指標値が閾値未満であれば、第１指標値に基づいてΔT(i,t)を決定する（式（８））。
　具体例として、第２指標値として白飛びの数 m1(i,t) を利用するとする。この場合、まず第２決定部２０６０は、m1(i,t) が閾値 Th2 以上であるか否かを判定する。m1(i,t)≧Th2 であれば、第２決定部２０６０は、ΔT(i,t) に -ΔT0 を設定する。一方、m1(i,t)＜Th2 であれば、第２決定部２０６０は、ΔC(i,t) と閾値 Th1 との比較に基づいてΔT(i,t) を決定する。すなわち、第２決定部２０６０は、以下の式（１１）に基づいて量ΔT(i,t) を決定する。
Figure JPOXMLDOC01-appb-M000007
　なお、物体３０が検出されていない範囲に照射される光の強度には、任意の値を設定してよい。例えば、この場合に設定する光の強度は、照明装置５０から照射可能な光の強度の最大値に設定する。こうすることで、その範囲に新たな物体が現れた場合に、その物体を撮像画像２０から検出しやすくなる。また、同様に、物体３０が初めて検出された時にその物体３０について決定された部分範囲に照射する光の強度にも、照明装置５０から照射可能な光の強度の最大値などといった任意の強度を設定してよい。
＜設定の適用：Ｓ１１６＞
　制御部２０８０は、各物体３０について決定された部分範囲の照明設定を、照明装置５０に適用する（Ｓ１１６）。具体的には、制御部２０８０は、撮像画像２０から検出された複数の物体３０それぞれについて、その物体３０について決定された部分範囲に対し、その物体３０について決定した照明設定に従った光が照射されるようにする。その具体的な制御方法は、照明装置５０の構成による。
　例えば照明装置５０が、複数の点光源が並べられた構成を持つとする。この場合、制御部２０８０は、物体３０について決定された部分範囲に対応する１つ以上の点光源を特定し、その点光源から照射される光の設定に、その物体３０について決定された照明設定を適用する。例えば制御部２０８０は、特定した範囲の点光源から照射される光の強度を、第２決定部２０６０によって決定された光の強度に設定する。なお、点光源の光の強度を所望の強度に設定する技術には、既存の技術を利用することができる。上述の設定は、撮像画像２０から検出された物体３０それぞれについて実行される。
　その他にも例えば、照明装置５０がプロジェクタで実現されるとする。この場合、制御部２０８０は、プロジェクタに対して出力する画像（以下、照明画像）を、各物体３０について決定された部分範囲及び照明設定に基づいて生成する。照明画像は、例えば、グレースケールの画像である。より具体的には、制御部２０８０は、前回プロジェクタに対して出力した照明画像から、物体３０について決定された部分範囲に対応する画像領域を特定し、特定した画像領域の画素の色を、その物体３０について決定した照明設定に基づいて決定する。例えば照明画像がグレースケース画像である場合、画素の色を白に近づけるほど、その画素に基づいてプロジェクタから照射される光が強くなる。そこで例えば、制御部２０８０は、第２決定部２０６０によって決定された光の強度を、照明画像における画素の値として用いる。上述の設定は、撮像画像２０から検出された物体３０それぞれについて実行される。
［実施形態２］
　図６は、実施形態２の情報処理装置の動作を概念的に例示する図である。実施形態２の情報処理装置２０００は、出力装置として、物体３０の背景を出力する装置（以下、背景出力装置６０）を扱う。例えば背景出力装置６０は、任意の画像を表示できるディスプテイ装置である。物体３０が撮像装置１０とこのディスプレイ装置との間に位置することで、このディスプレイ装置に表示される画像が、撮像画像２０において物体３０の背景となる。その他にも例えば、背景出力装置６０は、撮像装置１０から見て物体３０の背後にある投影面（壁やスクリーンなど）に対して光を照射するプロジェクタなどであってもよい。
　ここで、物体３０と背景が類似した色であると、撮像画像２０から物体３０の特徴を抽出することが難しい。例えば、物体３０が凹凸を持つ黒色の物体であり、背景の色が黒に近い濃いグレーであるとする。この場合、撮像画像２０において物体３０と背景との色の差が小さく、物体３０が持つ凹凸を把握することが難しい。一方、この物体３０の背景を白色にすれば、撮像画像２０において物体３０と背景との色の差が大きく、物体３０が持つ凹凸を精度良く把握できると言える。そのため、背景の色は、物体３０の色との差が大きい色にすることが好適である。
　そこで情報処理装置２０００は、撮像画像２０において物体３０を表す画像領域（すなわち、物体領域）が占める範囲に基づいて、背景出力装置６０が出力する背景の範囲のうち、その物体３０及びその周辺の範囲を、背景の設定を行う部分範囲として決定する。さらに情報処理装置２０００は、その部分範囲について、背景出力装置６０が出力する背景の設定（以下、背景設定）を決定する。部分範囲の背景設定は、物体３０を表す画像領域について算出された特徴量に基づいて決定される。そして情報処理装置２０００は、背景出力装置６０に対し、決定した部分範囲の背景設定を適用する。
　図６では、情報処理装置２０００の動作例として、図１と同様の製品検査の様子を示している。情報処理装置２０００は、物体３０－１と物体３０－２それぞれについて、背景となる部分範囲及び背景設定を決定し、背景出力装置６０にその設定を適用する。
　図７は、情報処理装置２０００による背景設定の変更の結果を例示する図である。図７では、物体３０－１と物体３０－２の周辺の背景の設定が変更されている。
＜作用効果＞
　本実施形態の情報処理装置２０００によれば、撮像画像２０から検出される物体３０それぞれについて、その物体３０に対応する背景の範囲（部分範囲）及び背景設定が決定される。そして、背景出力装置６０に対し、各部分範囲について決定された背景設定が適用される。こうすることで、撮像装置１０における物体３０の背景を、撮像範囲に含まれている複数の物体３０それぞれについて個別に調整することができる。よって、撮像画像２０に複数の物体３０が含まれる場合であっても、撮像画像２０から各物体３０の特徴を精度良く抽出できるようになる。その結果、特徴抽出処理の精度や安定性を向上させることができる。
　以下、本実施形態の情報処理装置２０００についてさらに詳細に説明する。
＜機能構成について＞
　実施形態２の情報処理装置２０００の機能構成は、実施形態１の情報処理装置２０００と同様に、例えば図３で表される。ただし、実施形態２の第１決定部２０４０が物体３０について決定する部分範囲は、背景出力装置６０によって出力される背景の範囲のうち、その物体３０及びその周辺の背景となる範囲である。また、実施形態２の第２決定部２０６０は、上記決定された部分範囲に出力される背景設定を決定する。そして、実施形態２の制御部２０８０は、背景出力装置６０に対し、決定された部分範囲の背景設定を適用する。
＜ハードウエア構成の例＞
　実施形態２の情報処理装置２０００のハードウエア構成は、実施形態１の情報処理装置２０００のハードウエア構成と同様に、例えば図４で表される。ただし、実施形態２の情報処理装置２０００を構成するストレージデバイス１０８０には、実施形態２の情報処理装置２０００の機能を実現する各プログラムモジュールが記憶されている。
＜処理の流れ＞
　図８は、実施形態２の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。図８のフローチャートが示す処理の流れは、図５のフローチャートが示す処理の流れと同様である。
＜部分範囲の決定：Ｓ２０８＞
　第１決定部２０４０は、撮像画像２０において或る物体３０の物体領域が占める範囲に基づいて、その物体３０に対応する部分範囲を決定する（Ｓ２０８）。出力装置として背景出力装置６０を扱う場合、物体３０に対応する部分範囲は、背景出力装置６０によって背景が出力される範囲のうち、その物体３０の周辺の背景が出力される範囲を表す。
　背景出力装置６０についての部分範囲は、照明装置５０についての部分範囲と同様に定めることができる。例えば、背景出力装置６０についての部分範囲は、次の撮像画像２０からその物体３０を探索するために設定される探索範囲（撮像画像２０上の領域）を、背景出力装置６０の座標系上の領域に変換することで得られる。
　撮像画像２０上の領域から背景出力装置６０の座標系上の領域への変換は、撮像装置１０と背景出力装置６０のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。
Figure JPOXMLDOC01-appb-M000008
 　ここで、(u,v) と (x,y,z) は撮像画像２０上の位置を表し、(x,y,z) は撮像装置１０の座標系において (u,v) に対応する位置を表す。これらについては、式（１）と同様である。(x',y',z') は背景出力装置６０の座標系において (u,v) に対応する位置を表す。C は、撮像装置１０の座標系から背景出力装置６０の座標系への 4x4 の変換行列を表す。B は、式（１）と同様に、撮像画像２０上の位置から撮像装置１０の座標計上の位置への 4x3 の変換行列を表す。B と C は、撮像装置１０と背景出力装置６０のセッティング位置等に基づいて予め導出しておく。
　なお、照明装置５０の部分範囲は、対応する物体３０のみを含めば十分であるのに対し、背景出力装置６０の部分範囲は、対応する物体３０だけでなくその周辺も含むことが好ましい。そのため、前述した探索範囲が物体３０を表す物体領域のサイズとほぼ同一に設定されている場合、背景出力装置６０の部分範囲は、探索範囲よりも広くすることが好適である。そこで例えば、第１決定部２０４０は、探索範囲のサイズを１より大きい所定倍に拡大した画像領域を算出し、その画像領域を背景出力装置６０上の領域に変換することで得られる範囲を、部分範囲としてもよい。
＜特徴量の算出：Ｓ２１０＞
　第２決定部２０６０は、物体３０を表す画像領域である物体領域の特徴量を算出する（Ｓ２１０）。例えば、物体領域の色に関する特徴量が算出される。例えば第２決定部２０６０は、物体領域の特徴を表す色空間（例えば、HSV 空間）上の代表点を、物体領域の特徴量として算出する。例えばこの代表点は、部分領域の色相の代表値 Hobj、彩度の代表値 Sobj、及び明度の代表値 Vobj で定まる点 (Hobj, Sobj, Vobj) である。ここで、色相等の代表値とは、各画素について色相等の平均や最頻値などといった統計量である。
　なお、第２決定部２０６０は、物体領域の特徴量を複数算出してもよい。例えば第２決定部２０６０は、物体領域の特徴を表す色空間上の代表点を複数算出し、これらの集合をその物体領域の特徴量とする。具体的には、物体領域に含まれる画素の色の分布が色空間上で複数の領域にばらけている場合、第２決定部２０６０は、それら複数の領域それぞれについて代表点を算出し、算出した複数の代表点の集合を、物体領域の特徴量とする。ここで、空間上にばらけている点を複数の領域に分ける方法には、例えば、k-means 法などのクラスタリング手法を利用できる。
＜背景設定の決定：Ｓ２１２＞
　第２決定部２０６０は、物体３０を表す物体領域について算出した特徴量を用いて、その物体３０について決定された部分範囲の背景設定を決定する（Ｓ２１２）。例えば第２決定部２０６０は、物体領域の特徴量として算出された色空間上の代表点について、その代表点から十分に離れた点（例えば、最も離れた点）を特定し、その点で表される色を、その物体領域に対応する部分範囲の背景色として決定する。
　なお、色空間上の全ての要素ではなく、一部の要素のみに着目して、背景色を決定してもよい。例として、色相に着目するとする。この場合、第２決定部２０６０は、色相の代表値 Hobj を算出する。そして例えば、第２決定部２０６０は、背景色の色相 Hb を、Hobj+180°又はHobj-180°に設定する。背景色の彩度と明度は、任意の値とすることができる。例えば第２決定部２０６０は、背景色を、HSV 表現で (Hobj±180°, Smax, Vmax) と表される色に設定する。ここで、Smax は彩度の最大値を表し、Vmax は明度の最大値を表す。
　なお、Hobj に対して加算又は減算する値は、必ずしも 180°である必要はなく、物体領域と背景とを容易に分離できる程度にこれらの色相を色相環上（色空間上）で離すことができる値であればよい。例えば、撮像画像２０を色相に基づいて２値化した場合に、Hobj と Hb が互いに異なる値になるようにすればよい。例えば、Hobj±90°の範囲とそれ以外とで値が変わるように２値化するとする。この場合、Hobj に対して 90°よりも大きく 270°より小さい値を加算又は減算することで Hb を算出すればよい。ただし、物体領域と背景とが色相環上で大きく離間している方が物体領域と背景とを分離しやすいと考えられるため、Hobj に加算又は減算する値は、180°又はそれに近い値であることが好適である。
　ここで、物体領域の特徴量として複数の代表点を算出する場合、第２決定部２０６０は、これら複数の代表点に基づいて背景色を決定する。例えば第２決定部２０６０は、各代表点からの距離の総和が最大となる色空間上の点を特定し、その点で表される色を背景色とする。
＜＜撮像装置１０と背景出力装置６０の特性を考慮した背景色の調整＞＞
　ここで、撮像装置１０の受光特性や背景出力装置６０の発色特性により、背景出力装置６０によって出力される背景色と、その背景色を撮像装置１０で撮像することで得られた撮像画像２０におけるその背景色との間に、差が生じうる。そこで、第２決定部２０６０は、撮像画像２０上に現れる色が、前述した方法で決定した背景色となるように、背景出力装置６０に出力させる背景色を調整してもよい。すなわち、第２決定部２０６０は、前述した方法で決定した背景色に、さらに所定の変換を施すことで得られる色を、背景出力装置６０に設定する背景色とする。
　上記変換は、例えば以下に示す色空間上のアフィン変換で実現される。
Figure JPOXMLDOC01-appb-M000009
 　ここで、a_back は背景出力装置６０に設定する背景色を表し、a_img は撮像画像２０上に現れる背景色を表す。R と t はそれぞれ、色空間上におけるアフィン変換の回転成分と並進成分を表す。
　例えば第２決定部２０６０は、前述した (Hobj±180°, Smax, Vmax) で表される色を式（７）の a_img に代入し、得られた a_back を、背景出力装置６０に設定する背景色とする。
　上記変換式は予め定めておく。例えば、背景出力装置６０から様々な色を出力して撮像装置１０で撮像し、撮像画像２０に現れた色と背景出力装置６０から出力された色の各組み合わせを利用することで、式（１３）の変換式を定めることができる。
＜設定の適用：Ｓ２１６＞
　制御部２０８０は、各物体３０について決定された部分範囲の背景設定を、背景出力装置６０に適用する（Ｓ２１６）。具体的には、制御部２０８０は、撮像画像２０から検出された複数の物体３０それぞれについて、その物体３０について決定された部分範囲に対し、その物体３０について決定した背景設定に従った背景が出力されるようにする。その具体的な制御方法は、背景出力装置６０の構成による。
　例えば背景出力装置６０がディスプレイ装置やプロジェクタで構成されているとする。この場合、制御部２０８０は、背景出力装置６０に対して出力する画像（以下、背景画像）を、各物体３０について決定された部分範囲及び背景設定に基づいて生成する。より具体的には、制御部２０８０は、前回背景画像から、物体３０について決定された部分範囲に対応する画像領域を特定し、特定した画像領域の画素の色を、その物体３０について決定した背景色に設定する。この設定は、撮像画像２０から検出された物体３０それぞれについて実行される。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　撮像装置によって生成される撮像画像から物体を検出する検出部と、
　前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定部と、
　前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定部と、
　前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御部と、を有する情報処理装置。
２．　前記第１決定部は、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
　前記第２決定部は、複数の前記物体それぞれに対応する前記出力設定を決定し、
　前記制御部は、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、１．に記載の情報処理装置。
３．　前記出力装置は照明装置であり、
　前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、１．又は２．に記載の情報処理装置。
４．　前記第２決定部は、
　　前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
　　前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、１．に記載の情報処理装置。
５．　前記第２決定部は、
　　或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
　　前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
　　前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、４．に記載の情報処理装置。
６．　前記第２決定部は、前記物体を表す画像領域において、
　　所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
　　所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、３．乃至５．いずれか一つに記載の情報処理装置。
７．　前記出力装置は背景を出力する装置であり、
　前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、１．又は２．に記載の情報処理装置。
８．　前記第２決定部は、
　　前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
　　前記色空間上において前記代表点と所定の関係を満たす点を特定し、
　　その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、７．に記載の情報処理装置。
９．　前記第２決定部は、
　　前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
　　前記算出した代表値と色相環上で所定角度離れている色を特定し、
　　その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、８．に記載の情報処理装置。
１０．　前記第１決定部は、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、１．乃至９．いずれか一つに記載の情報処理装置。
１１．　コンピュータによって実行される制御方法であって、
　撮像装置によって生成される撮像画像から物体を検出する検出ステップと、
　前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定ステップと、
　前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定ステップと、
　前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御ステップと、を有する制御方法。
１２．　前記第１決定ステップにおいて、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
　前記第２決定ステップにおいて、複数の前記物体それぞれに対応する前記出力設定を決定し、
　前記制御ステップにおいて、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、１１．に記載の制御方法。
１３．　前記出力装置は照明装置であり、
　前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、１１．又は１２．に記載の制御方法。
１４．　前記第２決定ステップにおいて、
　　前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
　　前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、１１．に記載の制御方法。
１５．　前記第２決定ステップにおいて、
　　或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
　　前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
　　前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、１４．に記載の制御方法。
１６．　前記第２決定ステップにおいて、前記物体を表す画像領域において、
　　所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
　　所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、１３．乃至１５．いずれか一つに記載の制御方法。
１７．　前記出力装置は背景を出力する装置であり、
　前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、１１．又は１２．に記載の制御方法。
１８．　前記第２決定ステップにおいて、
　　前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
　　前記色空間上において前記代表点と所定の関係を満たす点を特定し、
　　その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、１７．に記載の制御方法。
１９．　前記第２決定ステップにおいて、
　　前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
　　前記算出した代表値と色相環上で所定角度離れている色を特定し、
　　その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、１８．に記載の制御方法。
２０．　前記第１決定ステップにおいて、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、１１．乃至１９．いずれか一つに記載の制御方法。
２１．　１１．乃至２０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
　この出願は、２０１８年１２月５日に出願された日本出願特願２０１８－２２８３４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０　撮像装置
２０　撮像画像
３０　物体
４０　ベルトコンベア
５０　照明装置
６０　背景出力装置
１０００　計算機
１０２０　バス
１０４０　プロセッサ
１０６０　メモリ
１０８０　ストレージデバイス
１１００　入出力インタフェース
１１２０　ネットワークインタフェース
２０００　情報処理装置
２０２０　検出部
２０４０　第１決定部
２０６０　第２決定部
２０８０　制御部

Claims (21)

  1. 　撮像装置によって生成される撮像画像から物体を検出する検出部と、
    　前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定部と、
    　前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定部と、
    　前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御部と、を有する情報処理装置。
  2. 　前記第１決定部は、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
    　前記第２決定部は、複数の前記物体それぞれに対応する前記出力設定を決定し、
    　前記制御部は、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、請求項１に記載の情報処理装置。
  3. 　前記出力装置は照明装置であり、
    　前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
    　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、請求項１又は２に記載の情報処理装置。
  4. 　前記第２決定部は、
    　　前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
    　　前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、請求項１に記載の情報処理装置。
  5. 　前記第２決定部は、
    　　或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
    　　前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
    　　前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、請求項４に記載の情報処理装置。
  6. 　前記第２決定部は、前記物体を表す画像領域において、
    　　所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
    　　所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、請求項３乃至５いずれか一項に記載の情報処理装置。
  7. 　前記出力装置は背景を出力する装置であり、
    　前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
    　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、請求項１又は２に記載の情報処理装置。
  8. 　前記第２決定部は、
    　　前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
    　　前記色空間上において前記代表点と所定の関係を満たす点を特定し、
    　　その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、請求項７に記載の情報処理装置。
  9. 　前記第２決定部は、
    　　前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
    　　前記算出した代表値と色相環上で所定角度離れている色を特定し、
    　　その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、請求項８に記載の情報処理装置。
  10. 　前記第１決定部は、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、請求項１乃至９いずれか一項に記載の情報処理装置。
  11. 　コンピュータによって実行される制御方法であって、
    　撮像装置によって生成される撮像画像から物体を検出する検出ステップと、
    　前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第１決定ステップと、
    　前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第２決定ステップと、
    　前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御ステップと、を有する制御方法。
  12. 　前記第１決定ステップにおいて、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
    　前記第２決定ステップにおいて、複数の前記物体それぞれに対応する前記出力設定を決定し、
    　前記制御ステップにおいて、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、請求項１１に記載の制御方法。
  13. 　前記出力装置は照明装置であり、
    　前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
    　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、請求項１１又は１２に記載の制御方法。
  14. 　前記第２決定ステップにおいて、
    　　前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
    　　前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、請求項１１に記載の制御方法。
  15. 　前記第２決定ステップにおいて、
    　　或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
    　　前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
    　　前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、請求項１４に記載の制御方法。
  16. 　前記第２決定ステップにおいて、前記物体を表す画像領域において、
    　　所定個以上の画素の輝度が第１閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
    　　所定個以上の画素の輝度が第２閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、請求項１３乃至１５いずれか一項に記載の制御方法。
  17. 　前記出力装置は背景を出力する装置であり、
    　前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
    　前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、請求項１１又は１２に記載の制御方法。
  18. 　前記第２決定ステップにおいて、
    　　前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
    　　前記色空間上において前記代表点と所定の関係を満たす点を特定し、
    　　その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、請求項１７に記載の制御方法。
  19. 　前記第２決定ステップにおいて、
    　　前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
    　　前記算出した代表値と色相環上で所定角度離れている色を特定し、
    　　その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、請求項１８に記載の制御方法。
  20. 　前記第１決定ステップにおいて、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、請求項１１乃至１９いずれか一項に記載の制御方法。
  21. 　請求項１１乃至２０いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2019/045468 2018-12-05 2019-11-20 情報処理装置、制御方法、及びプログラム WO2020116170A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020559898A JP7215495B2 (ja) 2018-12-05 2019-11-20 情報処理装置、制御方法、及びプログラム
US17/298,237 US11961269B2 (en) 2018-12-05 2019-11-20 Apparatus, method and non-transitory computer-readable medium storing program for controlling imaging environment of target object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-228349 2018-12-05
JP2018228349 2018-12-05

Publications (1)

Publication Number Publication Date
WO2020116170A1 true WO2020116170A1 (ja) 2020-06-11

Family

ID=70975477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045468 WO2020116170A1 (ja) 2018-12-05 2019-11-20 情報処理装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11961269B2 (ja)
JP (1) JP7215495B2 (ja)
WO (1) WO2020116170A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257518A (ja) * 1997-03-07 1998-09-25 Fuji Photo Film Co Ltd 自動撮影装置および自動撮影方法
JP2000188745A (ja) * 1998-12-22 2000-07-04 Minolta Co Ltd 画像抽出装置
JP2012247527A (ja) * 2011-05-26 2012-12-13 Sanyo Electric Co Ltd 撮像装置
JP2015186171A (ja) * 2014-03-26 2015-10-22 株式会社ニコン 撮像装置、撮像装置の制御方法、及び制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7253832B2 (en) * 2001-08-13 2007-08-07 Olympus Corporation Shape extraction system and 3-D (three dimension) information acquisition system using the same
KR101213980B1 (ko) * 2006-02-01 2012-12-20 삼성전자주식회사 신호처리 방법과 신호처리 장치
US20100194291A1 (en) * 2007-09-26 2010-08-05 Toshiba Lighting & Technology Corporation Illumination apparatus
JP5804441B2 (ja) * 2011-05-18 2015-11-04 株式会社ニコン 顕微鏡システム
US9345099B2 (en) * 2012-07-27 2016-05-17 Koninklijke Philips N.V. Color emphasis and preservation of objects using reflection spectra
JP2014112513A (ja) * 2012-11-09 2014-06-19 Toshiba Corp 制御装置及び照明装置
US9266148B2 (en) 2014-06-27 2016-02-23 Key Technology, Inc. Method and apparatus for sorting
JP2016050972A (ja) * 2014-08-29 2016-04-11 ソニー株式会社 制御装置、制御方法、及びプログラム
EP3038346A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing Apparatus and method for optimizing a light source for image capturing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257518A (ja) * 1997-03-07 1998-09-25 Fuji Photo Film Co Ltd 自動撮影装置および自動撮影方法
JP2000188745A (ja) * 1998-12-22 2000-07-04 Minolta Co Ltd 画像抽出装置
JP2012247527A (ja) * 2011-05-26 2012-12-13 Sanyo Electric Co Ltd 撮像装置
JP2015186171A (ja) * 2014-03-26 2015-10-22 株式会社ニコン 撮像装置、撮像装置の制御方法、及び制御プログラム

Also Published As

Publication number Publication date
JPWO2020116170A1 (ja) 2021-11-04
US20220092866A1 (en) 2022-03-24
US11961269B2 (en) 2024-04-16
JP7215495B2 (ja) 2023-01-31

Similar Documents

Publication Publication Date Title
US20240118218A1 (en) Stroboscopic stepped illumination defect detection system
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
JP6305171B2 (ja) シーン内の物体を検出する方法
US10168216B2 (en) Image inspection device
JP6553624B2 (ja) 計測機器、及びシステム
CN107635099B (zh) 一种人体感应双光网络摄像机及安防监控系统
WO2014128688A1 (en) Method, system and software module for foreground extraction
CN110798592B (zh) 基于视频图像的物体移动侦测方法、装置、设备及存储介质
US10853935B2 (en) Image processing system, computer readable recording medium, and image processing method
US8526717B2 (en) Rich color transition curve tracking method
WO2020149001A1 (ja) 情報処理装置、制御方法、及びプログラム
Židek et al. Image thresholding and contour detection with dynamic background selection for inspection tasks in machine vision
Babiarz et al. Vision system for group of mobile robots
Fitriyah et al. An analysis of rgb, hue and grayscale under various illuminations
WO2020116170A1 (ja) 情報処理装置、制御方法、及びプログラム
US10748019B2 (en) Image processing method and electronic apparatus for foreground image extraction
Cho et al. Increased performace of FPGA-based color classification system
Tsuji Specular reflection removal on high-speed camera for robot vision
EP3499408A1 (en) Image processing system, image processing program, and image processing method
TW201623055A (zh) 行人偵測系統
JP6565513B2 (ja) 色補正装置、色補正方法及び色補正用コンピュータプログラム
CN117237939B (zh) 一种基于图像数据的煲仔炉食品成熟度检测方法及装置
KR100229565B1 (ko) 그림자 영역 추출 장치 및 그 방법
KR102299250B1 (ko) 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법
JP2003248829A (ja) 周期性を有する動きの検出方法および装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894133

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559898

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19894133

Country of ref document: EP

Kind code of ref document: A1