WO2024034255A1 - 情報処理システム、情報処理方法およびプログラム - Google Patents
情報処理システム、情報処理方法およびプログラム Download PDFInfo
- Publication number
- WO2024034255A1 WO2024034255A1 PCT/JP2023/022057 JP2023022057W WO2024034255A1 WO 2024034255 A1 WO2024034255 A1 WO 2024034255A1 JP 2023022057 W JP2023022057 W JP 2023022057W WO 2024034255 A1 WO2024034255 A1 WO 2024034255A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- correction
- color
- image
- information
- person
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012937 correction Methods 0.000 claims abstract description 226
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims description 91
- 238000012545 processing Methods 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
Definitions
- the present disclosure relates to a technique for acquiring image feature amounts of a person from a captured image.
- Patent Document 1 Japanese Unexamined Patent Publication No. 2013-210844 discloses a technique for comparing a histogram of brightness values in an object image of a captured image
- Patent Document 2 Japanese Patent Application Laid-open No. 2017-4512 discloses a technique for comparing a histogram of brightness values in an object image of a captured image. The similarity between both images is determined based on the color histogram of the image. In such image processing, it is required to perform color correction on images in order to improve the accuracy of identifying human images.
- Patent Document 3 Japanese Unexamined Patent Application Publication No. 2012-105090 uses images of white road markings taken by a plurality of imaging devices attached to a car to generate a corrected image in which white balance correction is performed. .
- a technique that identifies a person using a commercial facility from the image feature amount of the person obtained by processing an image captured by a camera installed in the commercial facility.
- the lighting within the facility and the types of products displayed change depending on the season.
- the illumination conditions of the imaging field of the camera also change. Therefore, even if the images are captured in the same imaging field of view, there has been a problem in that the accuracy with which the image feature amount of a person is obtained from the captured images varies due to variations in illumination conditions.
- An object of the present disclosure is to provide an information processing system, an information processing method, and a program that can maintain the accuracy of acquiring image feature amounts of a person from a captured image regardless of imaging conditions.
- the information processing system includes an object setting unit that receives settings for an object placed in the imaging field of view, a color component of a partial image corresponding to the object in a captured image captured in the imaging field, and a color component that is predefined for the object.
- a correction information acquisition unit that acquires correction information for color correction based on the color components obtained; a color correction unit that performs color correction processing on the captured image using the correction information; and a feature amount acquisition unit that acquires an image feature amount of a person's attribute from the captured image.
- the color correction unit compares the distribution of color components indicated by the partial image of the object with the above predetermined distribution of color components, and performs color correction processing based on the comparison result.
- the correction information acquisition unit calculates, as correction information, a correction value for correcting the distribution of color components in the partial image of the object to approximate the distribution of color components described above. It includes a calculating section to do the following.
- the above information processing system further includes a correction information storage unit that stores correction information, and the color correction unit is configured to perform correction information calculated by the calculation unit or correction information stored in the correction information storage unit with respect to the captured image. Color correction processing is performed using one of them.
- the partial image of the object includes predetermined color components for color correction processing.
- the feature amount acquisition unit acquires a feature amount related to a predetermined color, and the partial image of the object includes a component of the predetermined color.
- the object includes objects placed in each of a plurality of areas in the imaging field of view
- the correction information acquisition unit calculates the color components of the partial image of the object placed in each area.
- the calculation unit includes a calculation unit that calculates a correction value for correcting the distribution to approximate the distribution of the predetermined color components, and corrects the representative value of the correction value calculated for the partial image of the object in each region.
- the representative value includes a weighted average value obtained by averaging the correction values calculated for the partial images of the object in each region with a weight based on the distance of the object between the regions.
- the objects placed in the imaging field of view include notices.
- the imaging field of view includes the space of the commercial facility, and the objects placed in the imaging field of view include the clothes of the clerks of the commercial facility.
- the predetermined color components for an object include color components of an image obtained by imaging the object under predetermined imaging conditions.
- the above information processing system further includes an image acquisition unit that acquires captured images captured by each of the plurality of imaging devices, and the correction information acquisition unit captures images with an imaging field of view corresponding to the imaging device for each imaging device.
- a second correction information acquisition unit that acquires correction information for color correction based on a color component of a partial image corresponding to the object in the captured image and a color component predetermined for the object;
- the color correction unit includes, for each imaging device, a second color correction unit that performs color correction processing on the captured image of the imaging device using the correction information of the imaging device acquired by the second correction information acquisition unit.
- the feature acquisition unit includes, for each imaging device, a second feature acquisition unit that acquires an image feature amount of a person's attributes from an image taken by the imaging device and on which color correction processing has been performed. including.
- the information processing method includes the steps of receiving settings for an object placed in the imaging field of view, and determining a color component of a partial image corresponding to the object in a captured image captured in the imaging field of view, and a predetermined color component. a step of acquiring correction information for color correction based on the image; a step of performing color correction processing on the captured image using the correction information; and obtaining the amount.
- an information processing system an information processing method, and a program that can maintain the accuracy of acquiring image feature amounts of a person from a captured image regardless of imaging conditions.
- FIG. 1 is a diagram showing a schematic configuration of an information processing system according to an embodiment.
- FIG. 2 is a diagram showing a hardware configuration of a terminal 200 according to the present embodiment.
- FIG. 3 is a diagram showing a hardware configuration of an information processing device 300 according to the present embodiment.
- 1 is a diagram showing an example of the configuration of an information processing system 1 according to the present embodiment.
- FIG. 2 is a diagram illustrating a configuration example of a module for implementing color correction processing according to the present embodiment.
- FIG. 5 is a diagram showing an example of captured image data 50 and a specified object according to the present embodiment.
- FIG. 2 is a diagram showing the configuration of a module for identifying a person and a module for counting the number of identified persons.
- FIG. 3 is a diagram showing an example of a bulletin board according to the present embodiment.
- FIG. 3 is a diagram showing an example of a bulletin board according to the present embodiment.
- FIG. 3 is a diagram showing an example of a bulletin board according to the present embodiment.
- FIG. 3 is a diagram showing an example of a bulletin board according to the present embodiment.
- FIG. 3 is a diagram showing an example of a bulletin board according to the present embodiment.
- FIG. 5 is a diagram showing another example of object designation information 52 according to the present embodiment. 3 is a flowchart of processing according to the present embodiment.
- FIG. 1 is a diagram showing a schematic configuration of an information processing system according to this embodiment.
- an information processing system 1 includes different devices that exchange information including images via a network 100. More specifically, the system includes an information processing device 300 connected to a network, a relay 210 such as a router, and a terminal 220 such as a computer. The system further includes a terminal 200, such as an edge device, that communicates with the repeater 210, and one or more cameras 10 that communicate with the terminal 200.
- the network 100 is configured by appropriately selecting one from, for example, a cable, an optical fiber, a wired LAN (Local Area Network), a wireless LAN, the Internet, and the like.
- LAN Local Area Network
- the camera 10 is installed, for example, on the ceiling or wall of a commercial facility, and has an imaging field of view capable of capturing a bird's-eye view of the space within the commercial facility.
- the camera 10 corresponds to an imaging unit configured to image an object such as a person 5 or a thing in the store from above and obtain captured images of temporally different frames.
- the camera 10 has an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
- the camera 10 converts the amount of light incident on the image sensor into a color image (electrical signal) having pixels corresponding to R (red), G (green), and B (blue) and outputs the color image.
- the terminal 200 and the terminal 220 include, for example, a general-purpose PC (Personal Computer), a smartphone, or a tablet.
- the terminal 200 transfers captured images from each camera 10 to the information processing device 300 via the repeater 210 as time-series frame images.
- the information processing device 300 processes the image data transferred from the terminal 200, identifies the imaged person, stores information based on the identification of the person, and transfers the information to the terminal 220 via the network 100.
- Terminal 220 outputs the received information via a user interface.
- the information provided from the information processing device 300 to the terminal 220 may include flow lines of people visiting the commercial facility, information on stores and visitors (people), and the like.
- the information processing device 300 has a web browser that provides this information as web data to the terminal 220 and outputs the web data of the terminal 220.
- the camera 10 is installed in a commercial facility, but the location where the camera 10 is installed is not limited.
- FIG. 2 is a diagram showing the hardware configuration of the terminal 200 according to the present embodiment.
- FIG. 3 is a diagram showing the hardware configuration of information processing device 300 according to this embodiment.
- terminal 200 includes a processor 11, a main memory 12 composed of a volatile storage medium including ROM (Read Only Memory), RAM (Random Access Memory), and a camera to which camera 10 is connected.
- An interface 13 a communication interface 15 that connects the repeater 210, an input interface 16 that connects an input device 16A such as a keyboard or mouse that can be operated by a user, a display interface 17 that connects a display 17A, and an example of a recording medium.
- the optical drive 19 includes an optical drive 19 to which an optical disk 19A is removably attached, and a storage device 20 configured from a non-volatile recording medium such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
- Input interface 16 accepts user operations on terminal 200 via input device 16A.
- the display interface 17 also includes a driver circuit that drives the display 17A.
- the storage device 20 stores a program 22 that implements various processes when read and executed by the processor 11.
- the camera interface 13 is composed of a communication circuit including a NIC (network interface card), and exchanges data with the camera 10 by, for example, Wi-Fi (registered trademark) communication.
- Communication interface 15 communicates with repeater 210 according to USB, for example.
- Terminal 200 may further include a microphone, a speaker, and the like.
- the processor 11 implements various processes according to the present embodiment by loading the program 22 stored in the storage device 20 into the main memory 12 and executing it.
- Main memory 12 provides work memory necessary for execution of programs by processor 11.
- information processing device 300 includes a processor 301, a main memory 302 made up of a volatile storage medium including ROM and RAM, and a communication interface 303 made up of a communication circuit including NIC.
- a storage device 304 composed of a non-volatile recording medium such as an HDD or an SSD, an input interface 305 that connects an input device 305A such as a keyboard and a mouse that can be operated by the user, and a display interface 306 that connects a display 306A. It includes an optical drive 307 to which an optical disk 307A, which is an example of a recording medium, is removably attached. These components are communicatively connected to each other via an internal bus 319.
- the input interface 305 accepts user operations on the information processing apparatus 300 via the input device 305A.
- Display interface 306 also includes a driver circuit that drives display 306A based on image data to display an image.
- the storage device 304 stores software and data that are read and executed by the processor 301.
- Such software includes a system program 310 and an application program 320.
- the data also includes a count DB (Data Base) 45, object designation information 52, setting correction parameters 57, and previous correction parameters 56. Details of these data will be described later.
- the processor 301 implements various processes according to the present embodiment by expanding the application program 320 stored in the storage device 304 into the main memory 302 and executing it.
- Main memory 302 provides work memory necessary for processor 301 to execute programs.
- the communication interface 303 exchanges data and signals between the terminal 200 and the terminal 220 via the network 100.
- the optical drive 307 reads data such as various programs (for example, application program 320) and DB stored therein from an optical disk 307A, which is an external storage medium, and installs the read data into the storage device 304.
- the processor 11 in FIG. 2 and the processor 301 in FIG. 3 are configured, for example, by at least one integrated circuit.
- the integrated circuit includes, for example, at least one CPU, at least one ASIC (application specific integrated circuit), at least one FPGA (field-programmable gate array), or a combination thereof.
- the external storage medium is not limited to the optical disks 19A, 307A, and may be a storage medium such as a USB (Universal Serial Bus) memory, an SD card, or a CF (CompactFlash).
- the terminal 200 in FIG. 2 or the information processing device 300 in FIG. 3 shows an example of a configuration in which a necessary program is installed in the device via an optical drive; You may also download it.
- program 22 and the application program 320 may be provided not as individual programs but as a part of any program. In this case, the processing according to this embodiment is realized in cooperation with an arbitrary program. Furthermore, some or all of the functions provided by the program 22 and the application program 320 may be realized by dedicated hardware.
- FIG. 4 is a diagram showing an example of the configuration of the information processing system 1 according to the present embodiment.
- the information processing system 1 is configured to include one or more modules.
- a module may be implemented using any form of hardware, software, or a combination thereof.
- a module may be configured to implement one or more processors, controllers, hardware circuits such as ASICs, FPGAs, software including programs 22 or application programs 320, or other mechanisms.
- the information processing system 1 shown in FIG. 4 includes a correction information setting unit 49 for presetting setting correction parameters 57 in the system as information for color correction of an image, and image data 50 captured and output by the camera 10.
- An image input unit 40 that receives an image, a module that performs color correction processing on the image data 50 received by the image input unit 40, a module that identifies a person from the feature amount of the person based on the image data 50, and an identified person. and a module for counting.
- the correction information setting unit 49 uses image data captured by the camera 10 under imaging conditions including predetermined illumination conditions that make it possible to appropriately calculate the feature amount of a person and appropriately identify the person. 50, a correction parameter for color correction is calculated using a predetermined arithmetic expression, and is set as a set correction parameter 57.
- each part module constituting the information processing system 1 in FIG. 4 is implemented in the information processing device 300, the implementation form is not limited to this.
- the information processing system 1 may be installed in the terminal 200, or may be a distributed type in which a part is installed in the terminal 200 and the other part is installed in the information processing device 300.
- FIG. 5 is a diagram showing a configuration example of a module for implementing color correction processing according to the present embodiment.
- FIG. 6 is a diagram showing an example of captured image data 50 and a designated object according to the present embodiment.
- the module for performing color correction processing includes an object setting section 46, an object detection section 47, a color analysis section 48, and a color correction section 41.
- the camera 10 images a subject including a poster 51 attached to a wall, which is an example of a notice, and outputs image data 50.
- An example of the poster 51 is shown in FIG. 6(A).
- the image of the poster 51 constitutes an object designated by the object designation information 52.
- the object setting unit 46 sets object specification information 52 and profile 52B that specify objects used to perform color correction processing based on user input 461.
- the concept of users includes the administrator, designer, user, etc. of the system shown in FIG.
- the object designation information 52 includes, for example, information that designates, in the captured image, the image of the poster 51 in FIG. 6A that is included in the imaging field of view of the camera 10.
- the object designation information 52 includes the image data of the poster 51 itself, or information about the position (area) of a partial image of the poster 51 in the image data of the imaged field of view.
- the profile 52B is information detected from an image of the poster 51 obtained when the camera 10 captures an image under appropriate predetermined lighting conditions and exposure conditions. Such predetermined imaging conditions indicate conditions under which a process for calculating a feature amount of a person image and a process for identifying a person, which will be described later, can be realized with a predetermined accuracy.
- the profile 52B shows a color histogram representing the distribution of color components in an image.
- the color histogram represented by the profile 52B is a horizontal histogram representing the frequency at which pixels of a certain gradation value (0 to 255) are detected for each color of RGB (Red, Green, Blue) by analyzing the image of the poster 51.
- the axis shows the gradation value, and the vertical axis shows the frequency.
- Such a color histogram shows the distribution of color components in an image for each brightness level of each RGB color, and also shows a tonal range that can be the target of color correction, which will be described later.
- FIG. 6B shows an example of the profile 52B.
- the image input unit 40 constitutes an image acquisition unit that acquires images captured by each of one or a plurality of cameras 10, which are an example of an imaging device.
- the image input section 40 receives image data 50 output from the camera 10 and outputs the received image data 50 to the object detection section 47 and the color correction section 41.
- the object detection unit 47 scans the image indicated by the image data 50 received from the image input unit 40 based on the object designation information 52, and detects the partial image 52A of the poster 51 from the image data 50 based on the scanning result. In this way, the object detection unit 47 extracts the partial image 52A from the image data 50 captured and output by the camera 10 and outputs it to the color analysis unit 48.
- the color analysis unit 48 generates a color histogram 53B ((C) in FIG. 6) for each RGB color by analyzing the partial image 52A.
- the color analysis unit 48 calculates RGB gain values that approximate the generated color histogram 53B to the color histogram of the profile 52B ((B) in FIG. 6) by a predetermined calculation. .
- the color analysis unit 48 sets the thus calculated gain values (GainR, GainG, GainB) 55A of each color of RGB as the correction parameter 55.
- Correction parameters 55 may be stored in storage device 304.
- the correction parameters 55 stored in the storage device 304 in this manner can be used as previous correction parameters 56, which will be described later.
- the method for obtaining the gain value (correction parameter 55) is not limited to this calculation method.
- color histogram 53B An example of the color histogram 53B is shown in FIG. 6C. In this way, the color histogram 53B indicates the tone range of the partial image 52A of the poster 51.
- the color analysis unit 48 compares the calculated RGB gain value 55A of the correction parameter 55 with the RGB gain value indicated by the setting correction parameter 57. If the color analysis unit 48 determines that the difference between the two exceeds the threshold based on the result of this comparison, it outputs a first correction instruction to the color correction unit 41 and determines that the difference does not exceed the threshold. Then, a second correction instruction is output.
- the color correction unit 41 uses correction parameters 55 calculated based on the image data 50 for the image data 50 output from the image input unit 40. White balance processing is performed, and the processed image data 50 is output.
- the color correction section 41 performs white balance processing using the previous correction parameters 56 on the image data 50 output from the image input section 40.
- the image data 50 after processing is output.
- This "previous correction parameter" is, for example, calculated based on the image data corresponding to a frame earlier than the frame corresponding to the image data 50 outputted from the image input unit 40 and stored in the storage device. 304.
- the white balance process is a process of adjusting the white balance of the image data 50 captured by the camera 10. For example, as shown in the following (Equation 1), for each pixel of the image data 50, the gain values (GainR, GainG, GainB, which are the RGB adjustment coefficients of the correction parameter 55) are added to the tone values (Ri, Gi, Bi). ), the gradation values (Ro, Go, Bo) after white balance are calculated for each pixel.
- the color correction processing in this embodiment is for RGB pixel values, but three types are used: the luminance signal (Y), the difference between the luminance signal and the blue component (U), and the difference between the luminance signal and the red component (V).
- the color correction process may be performed on pixel values of the YUV color space represented by the combination.
- FIG. 7 is a diagram showing the configuration of a module for identifying a person and a module for counting the number of identified persons.
- the module includes a person feature calculation section 42, a person identification section 43, and a person count section 44.
- the person feature calculation unit 42 Based on the image data 50 output from the color correction unit 41, the person feature calculation unit 42 extracts a partial image of the person in the image indicated by the image data 50, and outputs person information 58 indicating the extraction result.
- the person identification section 43 identifies the same person information included in the plurality of images indicated by the plurality of frames of image data 50 based on the plurality of frames of image data 50 from the color correction section 41 and the person information 58 from the person characteristic calculation section 42. 58, that is, the same person is detected, and identification information 59 indicating the detection result is output.
- the person counting section 44 counts the number of identified people based on the person information 58 from the person characteristic calculation section 42 and the identification information 59 from the person identification section 43, and outputs the number of people information 60 as the count result.
- the human feature calculation unit 42 constitutes a control point information acquisition unit and a feature amount information acquisition unit.
- Each of these units may be configured with a GPU (Graphics Processing Unit), for example.
- a GPU is an arithmetic unit (processor) specialized for real-time image processing.
- a neural network capable of machine learning such as a convolutional neural network (CNN) can be constructed on the GPU, and this neural network can be used as a control point information acquisition unit. It can function as an information acquisition unit and a feature amount information acquisition unit.
- CNN convolutional neural network
- the control point information acquisition unit acquires information regarding the control points of the person (control point information) from the image indicated by the image data 50 captured and acquired by the camera 10.
- the image data 50 includes an image of a person.
- the control points refer to points that define the skeleton of a person in an image. Therefore, the control points include joint points between bones of the person, the center point of the skull, points at the tips of the bones of fingers and toes, and the like.
- the positions of a person's eyes, nose, and ears in an image can also be control points because they define the person's skeleton (size and shape of the skull).
- Such control point information includes position information indicating the position (two-dimensional position) of the control point in the image.
- the feature information acquisition unit inputs the image data 50, extracts a person rectangle 912 indicating a rectangular area surrounding the person from the image data 50 based on the position information included in the control point information, and extracts a person rectangle 912 indicating a rectangular area surrounding the person.
- the person's attributes include at least one of the person's age, gender, clothing, worn items, and portable items. Note that the age group may be categorized as children/adults/elderly.
- the feature amount when a person's attribute is gender, the feature amount includes male/female.
- the feature amount when a person's attribute is clothing, the feature amount may include color, short sleeve/long sleeve, shirt, sweatshirt, pants, skirt, etc.
- the characteristic amounts When a person's attributes are wearables, the characteristic amounts may include color, necklace, bracelet, glasses, hat, etc.
- the characteristic amount When a person's attribute is a portable item, the characteristic amount may include color, bag (hand type, carry type), umbrella, pet, etc.
- the color of upper and lower clothes and gender are exemplified as the attributes of a person, but feature quantities different from these may be used.
- the variation in the positions of control points forming the person rectangle 912 of a certain person over a plurality of frames is calculated.
- men and women walk differently, with men swinging their arms more widely when walking, and the amount of variation in control points between frames tends to be larger than women.
- the attribute (gender) of the person is identified from the tendency of the change in the position of the control point.
- the person feature calculation unit 42 For each person image detected from the image data 50, the person feature calculation unit 42 outputs person information 58 indicating the person rectangle and attributes identified for the person image. In this way, the person information 58 constitutes a person image feature quantity obtained from the captured image.
- the person identification unit 43 determines (identifies) whether or not the person information 58 acquired from each person image detected in the multiple frames of image data 50 is information of the same person, and identifies identification information indicating the determination result. 59. More specifically, the person identification unit 43 is configured to input the person information 58 output from the person characteristic calculation unit 42, register it in the storage unit 4 with an identifier of a person ID, and store it (storage). be done. The person identification section 43 compares the person information 58 with the person information 58 stored in the storage section 4 every time the person information 58 is output from the person characteristic calculation section 42 .
- the person identification unit 43 When the matching result indicates a degree of similarity exceeding the threshold value, that is, when identification is detected, the person identification unit 43 outputs identification information 59 having the person ID attached to the matched person information 58. At this time, the person information 58 output from the person feature calculation section 42 is not accumulated (stored) in the storage section 4. On the other hand, when the matching result indicates a degree of similarity below the threshold value, that is, when identification is not possible, the person identification section 43 attaches an identifier of the person ID to the person information 58 output from the person feature calculation section 42. The identification information 59 having the ID of the person concerned is output.
- the human characteristic calculation unit 42 is configured to process image data 50 input frame by frame. Thereby, the person identification unit 43 can identify each person among the image data 50 of a plurality of different frames. As a result, the storage unit stores the person information 58 and the person ID for each of the one or more identified persons.
- such identification of a person is carried out based on the person's attributes, which include the color of clothing (upper clothes, lower clothes, etc.), the color of accessories (bracelet, hat, etc.), and personal belongings. Contains features such as the color of objects (backgrounds, umbrellas, etc.). Since such a color feature amount is detected from the image data 50 that has been subjected to the color correction described above, the accuracy of the detected color feature amount can be maintained without depending on the imaging conditions of the image data 50. Can be done. As a result, the accuracy of person identification based on attributes including the feature amount can also be maintained independent of imaging conditions.
- the person counting unit 44 synchronously inputs the person information 58 from the person characteristic calculation unit 42 and the identification information 59 based on the person information 58.
- the person counting unit 44 associates the person information 58 inputted in synchronization with the identification information 59 with the person ID indicated by the identification information 59, and stores it in the count DB 45.
- the person counting unit 44 counts, for each person ID, the person information 58 associated with the person ID stored in the count DB 45, and outputs the number of people information 60 indicating the count value for each person ID. do.
- a counting method for example, if a person moves back and forth within the imaging field of view and an image of the person is detected in multiple frames (for example, K frames) of image data, the The person's ID will be counted K times.
- FIG. 8 is a diagram showing a configuration example of the count DB 45 according to the present embodiment.
- the count DB 45 stores data groups for each person ID.
- a data group 910 whose person ID is "N1" and a data group 920 whose person ID is “N2" are shown, but data groups of other person IDs may also be stored. Since each data group has a similar configuration, data group 910 will be explained.
- the data group 910 includes one or more pieces of person information 58 (person rectangle 912 and attributes 913), a time 911 when the person information 58 was stored in the count DB 45, and a time 911 when the person information 58 was stored in the count DB 45 in association with each person information 58.
- the data group 910 includes a count value 915 that is the number of times the person with the corresponding person ID 914 (person information 58) has been detected during a predetermined period. Further, the person counting unit 44 may count the number of different people detected in a predetermined time period based on information stored in the count DB 45.
- a profile 52B obtained under predetermined imaging conditions and a profile 52B obtained under actual imaging conditions are described.
- the color analysis unit 48 uses the color histogram 53B, calculates a correction parameter 55, and from the image data 50 after white balance processing using the correction parameter 55, detection of person information 58 and person identification based on the person information 58 are performed. be done.
- the imaging conditions change from predetermined imaging conditions due to changes in lighting or the arrangement of objects such as products in commercial facilities, the accuracy of detecting the person information 58 and identifying the person can be maintained. You can get the benefits of being able to do it.
- imaging conditions conditions such as color and intensity of illumination light
- short cycles such as Christmas illuminations, for example.
- FIGS. 9 to 13 are diagrams showing examples of bulletin boards according to this embodiment.
- the entire poster 51 is designated as the partial image 52A in order to calculate the correction parameter 55 based on the object designation information 52, but the designation method is not limited to this.
- the information may specify a partial image 53A having a color distribution of a profile 52B in the entire image of the poster 51.
- predetermined correction parameters may be used.
- the poster 51 in FIG. 10 is composed of only black characters on a white background.
- the partial image 53A includes color components necessary for color calibration in white balance processing. More preferably, all color components used in recognition of attributes, which are human feature quantities, are included. In this way, if the necessary color components cannot be obtained from the partial image 52A of one poster 51, the necessary color components may be obtained from a plurality of bulletin boards within the imaging field of view.
- the object designation information 52 may designate a white partial image 54A constituting a margin of the image of the poster 51 in FIG. 11 in which only black characters are written on a white background.
- the object designation information 52 may be used to configure the blue sky in the partial image 53A of the poster 51 in FIG.
- the image 51B of the area to be displayed may be specified.
- the object designation information 52 may be configured to designate a plurality of posters 51 (posts).
- the correction parameter 55 may be calculated for each of a plurality of regions included in the imaging field of the camera 10. For example, when such multiple areas are divided into two areas, a left area and a right area of the imaging visual field, the object designation information 52 specifies, for the left area, the poster 51L shown in FIG. 13 posted in the left area, For the right area, the poster 51R shown in FIG. 13 posted in the right area is specified.
- the white balance processing using the correction parameter 55 based on the partial image 52A of the poster 51L is performed on the left image of the image data 50, and the partial image of the poster 51R is applied to the right image of the image data 50.
- White balance processing is performed using correction parameters 55 based on 52A.
- the correction parameters calculated from the partial image 52A of each area are weighted according to the distance between the poster 51L in the left area and the poster 51R in the right area, and the values of the weighted correction parameters are averaged. .
- a weighted average value may be used as the correction parameter 55.
- the representative value of the correction parameter calculated from the partial image of each area can be applied to the color correction process of the image data 50, but the representative value is not limited to the weighted average value, but can be a simple average value, mode value, median value, etc. It may also be a value.
- the correction parameter 55 calculated from the partial image 52A of the bulletin board in the area can be used for each partial area as the correction parameter used for white balance processing. This means that even if the imaging conditions such as illumination may vary between partial areas even within the same imaging field of view, the calculation accuracy of the person feature calculation unit 42 and the person identification This provides the advantage that the accuracy of person identification in the section 43 can be maintained.
- FIG. 14 is a diagram showing another example of object designation information 52 according to this embodiment.
- the object designation information 52 described above specifies a bulletin board (poster) within the imaging field of view
- the object to be specified is not limited to a bulletin board.
- a correction parameter 55 is calculated from a partial image 52A of a shirt area 51C, such as a clothing area such as a uniform of a clerk who operates a payment machine such as a register, within the imaging field of the camera 10. It is also possible to do so.
- the information processing system 1 can process these image data.
- the processing may be performed in parallel or in a time-sharing manner.
- the object designation information 52 and the setting correction parameters 57 may be set for each camera 10 when each camera 10 has a different imaging field of view.
- FIG. 15 is a flowchart of processing according to this embodiment.
- camera 10 outputs image data 50 that is captured and acquired (step S10).
- the processor 301 inputs image data 50 from the camera 10 as an image input unit 40, and uses an object detection unit 47 to extract a partial image corresponding to an object for color correction from an image of the image data 50 based on object specification information 52. 52A is detected (step S12).
- the processor 301 processes the partial image 52A and calculates the correction parameter 55 based on the processing result (step S14).
- the processor 301 compares the calculated correction parameter 55 with the set correction parameter 57, and based on the comparison result, performs color correction processing based on the first correction instruction and color correction processing based on the second correction instruction. It is determined which of the following is to be performed (step S15).
- the processor 301 uses the calculated correction parameters 55 to correct the image data 50.
- White balance processing is performed (step S16).
- the processor 301 uses the previous correction parameter 56 to white balance the image data 50. Processing is performed (step S17).
- the processor 301 detects feature amounts constituting attributes of the person from the image data 50, and outputs person information 58 (step S18).
- the image data 50 processed by the human feature calculation unit 42 includes image data for which white balance processing has been performed using the correction parameters 55 or image data for which white balance processing has been performed using the previous correction parameters 56.
- the processor 301 performs a person identification process based on the person information 58 output from the person feature calculation unit 42, and outputs identification information 59 indicating the processing result (step S20).
- the processor 301 as the person counting unit 44, counts the number of identified people based on the identification information 59 output from the person identification unit 43 (step S22), outputs the number of people information 60 indicating the count result, and outputs the number of people information 60 indicating the count result.
- the information 58 is stored in the count DB 45 (step S24).
- the processor 301 detects the object as the object.
- color correction processing may be performed on the captured image data 50 using the most recently stored correction parameter 55 (in the previous processing).
- the program according to the configuration of FIG. 4 is stored in the main memory 302 or the storage device 304, but it may be stored in another storage medium instead of these storage media.
- Such another storage medium includes a CD-ROM (Compact Disc-Read Only Memory), a DVD-ROM (Digital Versatile Disk-Read Only Memory), and a DVD-ROM (Digital Versatile Disk-Read Only Memory) that is included in the information processing device 300 or is detachably installed in the information processing device 300.
- USB memory USB memory
- memory card FD (Flexible Disk), magnetic tape, tray tape, MO (Magnetic Optical Disc), MD (Mini Disc), IC (Integrated Circuit) card (excluding memory card), optical card, It may be realized by a nonvolatile storage medium such as a mask ROM, an EPROM, and an EEPROM (Electronically Erasable Programmable Read-Only Memory). Further, the information processing device 300 may obtain the program by downloading it via the network 100 and the communication interface 303, for example.
- the program may be provided not as a standalone program but as a part of any program.
- the processing according to each embodiment is realized in cooperation with an arbitrary program. Even if the program does not include some of these modules, it does not depart from the spirit of the program according to each embodiment.
- a so-called cloud service-like system may be configured in which at least one server executes part of the processing of the program.
- the information processing system 1 is configured to detect the attributes of a person using the image data 50 output from the one camera 10, and to identify and count the person.
- the present invention can also be applied to the case where image data 50 output from the camera 10 is used.
- the image input unit 40 receives image data 50 captured by each of the plurality of cameras 10.
- the color analysis unit 48 calculates, for each camera 10, the color components of a partial image corresponding to the object in the image of the image data 50 captured and output in the imaging field of view corresponding to the camera 10, and the color component of the partial image corresponding to the object.
- the image forming apparatus includes a second correction information acquisition section that acquires correction parameters for color correction based on the profile 52B indicating color components.
- the color correction unit 41 performs a second color correction process such as white balance on the image data 50 from the camera 10 using the correction parameters acquired by the second correction information acquisition unit.
- the person feature calculation unit 42 calculates, for each camera 10, a second feature that is an image indicated by the image data 50 from the camera 10 and obtains an image feature amount of a person's attribute from the image that has undergone color correction processing. Contains a quantity acquisition part.
- the person feature calculation unit 42 outputs, for each camera 10, person information 58 including image feature amounts acquired from the image data 50 of the frame of the camera 10.
- the person identification unit 43 receives person information 58 acquired from the image data 50 of the frame of each camera 10 from the person characteristic calculation unit 42 for each camera 10. For each camera 10, the person identification unit 43 compares one person's information 58 corresponding to the camera 10 with the person's information 58 corresponding to the other cameras 10. Based on the matching result, when the person information 58 of the first person matches the person information 58 corresponding to the other camera 10, it is determined that the person of the person information of the first person has been identified, and identification information 59 indicating the determination result is output. be done.
- the person counting section 44 counts the number of identified persons (number of people) using the identification information 59 from the person identification section 43. Thereby, for each person, when the person is imaged by both cameras 10, that is, when the person is identified, the person is counted as one person.
- the number of cameras 10 is two, but even if there are three or more cameras, the same configuration can be used to obtain the image feature amount of a person, identify the person, and count the person.
- correction parameters for color correction are acquired for the image data 50 output from each camera 10 based on the profile 52B common among the plurality of cameras 10. Therefore, even if there are variations in imaging conditions among the plurality of cameras 10, the accuracy of the color feature amount constituting the attribute of a person detected from the image data 50 after color correction of each camera 10 is It is possible to maintain the same level without variation between 10 and 10. As a result, even when identifying a person among a plurality of pieces of image data 50 captured by a plurality of cameras 10, the accuracy of identification can be maintained independent of the imaging conditions of each camera 10, and the number of people can be counted. The accuracy can also be maintained.
- the information processing system 1 includes a module (referred to as a first module) for detecting attributes of people using image data 50 outputted from one camera 10 and identifying and counting people, and a module (referred to as a first module) for detecting attributes of people using image data 50 output from one camera 10 and a module for identifying and counting people.
- a module for identifying and counting people using outputted image data 50 (referred to as a second module) may be provided, or both modules may be provided.
- the information processing system 1 can switch the module to be activated. For example, when the user operates the input device 305A to input an instruction to the information processing device 300 to start one of the modules, the processor 301 activates one of the first and second modules in response to the instruction. Start the module. Note that the method of switching the module to be activated is not limited to the method using user operation.
- the location where the camera 10 is provided is not limited.
- the camera 10 can be installed in various facilities including public facilities or private facilities, and the camera 10 can be installed indoors or outdoors.
- the person counting unit 44 is configured to realize counting of a certain person by counting the number of frames in which the person is detected, but the counting method is not limited to this.
- the person counting unit 44 may count the total number of people detected within each frame.
- the above-described human characteristic calculation unit 42 is not limited to application to a configuration for identifying a person.
- the person feature calculation unit 42 may have a configuration in which the person count unit 44 counts the person information 58 output from the person feature calculation unit 42, or a configuration in which the person count unit 44 counts people by attribute (for example, color of clothing, gender, etc.). For example, it can be applied to a configuration in which people are counted based on the color of their clothes.
- the person counting unit 44 can perform such counting regardless of whether the color correction process in the color correction unit 41 is successful or not. Furthermore, the person counting unit 44 cooperates with the person identification unit 43 to apply a configuration to the person counting unit 44 that counts the same person repeatedly, or a configuration that counts after removing such duplicate counts. be able to.
- the profile 52B described above constitutes a profile indicating predetermined color components for deriving correction parameters from the captured image data 50.
- the route by which the color component profile serving as a reference for deriving such correction parameters is acquired is not limited to the route from image data obtained by imaging.
- image data obtained by imaging.
- a poster it may be acquired from color components included in the poster data.
- reference color components are not limited to posters, and may be obtained from color components of various objects such as walls, floors, and ceilings within the imaging field of view.
- (Configuration 1) an object setting unit that accepts settings for objects placed in the imaging field of view; a correction information acquisition unit that acquires correction information for color correction based on a color component of a partial image corresponding to the object in the captured image captured in the imaging field of view and a color component predetermined for the object; , a color correction unit that performs color correction processing on the captured image using the correction information;
- An information processing system comprising: a feature amount acquisition unit that acquires an image feature amount of a person's attribute from the captured image on which the color correction process has been performed.
- the color correction section includes: The information processing system according to configuration 1, wherein the distribution of color components indicated by the partial image of the object is compared with the distribution of the predetermined color components, and the color correction process is performed based on the comparison result.
- the correction information acquisition unit includes: According to configuration 1 or 2, the method includes a calculation unit that calculates, as the correction information, a correction value for correcting the distribution of color components in the partial image of the object to approximate the distribution of color components indicated by the profile. Information processing system.
- the color correction section includes: Information processing according to configuration 3, wherein color correction processing is performed on the captured image using either the correction information calculated by the calculation unit or the correction information stored in the correction information storage unit. system.
- the feature amount acquisition unit acquires a feature amount related to a predetermined color,
- the information processing system according to any one of configurations 1 to 5, wherein the partial image of the object includes a component of the predetermined color.
- the object includes objects placed in each of a plurality of areas of the imaging field of view
- the correction information acquisition unit includes: A calculation unit that calculates a correction value for correcting, for a partial image of an object arranged in each of the plurality of regions, the distribution of color components in the partial image to approximate the distribution of color components determined in advance.
- a calculation unit that calculates a correction value for correcting, for a partial image of an object arranged in each of the plurality of regions, the distribution of color components in the partial image to approximate the distribution of color components determined in advance.
- the representative value is 8.
- the imaging field of view includes a space of a commercial facility, 10.
- the information processing system according to any one of configurations 1 to 9, wherein the object placed in the imaging field of view includes clothing of a clerk at the commercial facility.
- the predetermined color components for the object are: The information processing system according to any one of configurations 1 to 10, including color components of an image obtained by imaging the object under predetermined imaging conditions.
- the correction information acquisition unit includes: For each of the plurality of imaging devices, a color is determined based on the color component of a partial image corresponding to the object in the captured image captured in the imaging field of view corresponding to the imaging device, and the predetermined color component for the object.
- the color correction section includes:
- Each of the imaging devices includes a second color correction unit that performs color correction processing on the captured image of the imaging device using correction information of the imaging device acquired by the second correction information acquisition unit,
- the feature amount acquisition unit is For each of the imaging devices, configurations 1 to 3 include a second feature amount acquisition unit that obtains an image feature amount of a person's attribute from an image taken by the imaging device and on which the color correction process has been performed. 11.
- the information processing system according to any one of 11.
- (Configuration 13) a step of accepting settings for objects placed in the imaging field of view; acquiring correction information for color correction based on a color component of a partial image corresponding to the object in the captured image captured in the imaging field of view and a color component predetermined for the object; performing color correction processing on the captured image using the correction information;
- An information processing method comprising: acquiring an image feature amount of a person's attribute from the captured image on which the color correction process has been performed.
- 1 information processing system 4 storage unit, 5 person, 10 camera, 11,301 processor, 12,302 main memory, 13 camera interface, 15,303 communication interface, 16,305 input interface, 16A, 305A input device, 17, 306 Display interface, 17A, 306A Display, 19,307 Optical drive, 19A, 307A Optical disk, 20,304 Storage device, 22 Program, 25,319 Internal bus, 40 Image input section, 41 Color correction section, 42 Human feature calculation Section, 43 Person identification section, 44 Person counting section, 46 Object setting section, 47 Object detection section, 48 Color analysis section, 49 Correction information setting section, 50 Image data, 51, 51L, 51R Poster, 51C Shirt area, 52 Object Specification information, 52A, 53A, 54A partial image, 52B profile, 53B color histogram, 55 correction parameter, 57 setting correction parameter, 58 person information, 59 identification information, 60 number of people information, 100 network, 200, 220 terminal, 210 repeater , 300 information processing device, 310 system program, 320 application program, 461 user input, 9
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
撮像条件によらずに、撮像画像から人物の属性の画像特徴量を取得する精度を維持する。情報処理システムは、撮像視野に配置されるオブジェクトの設定を受付けるオブジェクト設定部(46)と、撮像視野で撮像された撮像画像におけるオブジェクトに対応の部分画像の色成分と、予め定められた色成分とに基づき、色補正のための補正情報を取得する取得部と、撮像画像について、補正情報を用いて色補正処理を実施する色補正部(41)を備え、色補正処理が実施された撮像画像から人物の属性の画像特徴量を取得する。
Description
本開示は、撮像画像から人物の画像特徴量を取得する技術に関する。
カメラによって撮像された画像から人物の画像を特定する技術が知られている。例えば、特許文献1(特開2013-210844号公報)は、撮像画像の物体像における輝度値のヒストグラムを照合する技術を開示し、特許文献2(特開2017-4512号公報)はオブジェクトの画像の色ヒストグラムに基づいて両画像の類似度を求めている。このような画像処理では、人物画像の特定精度を高めるために、画像に色補正を施すことが求められる。例えば、特許文献3(特開2012-105090号公報)は、自動車に取り付けられている複数の撮像装置の撮像した白色系道路標示の画像を用いて、ホワイトバランス補正を施した補正画像を生成する。
例えば、商業施設に設置されたカメラによって撮像された画像を処理することによって取得される人物の画像特徴量から、商業施設を利用する人物を同定する技術が知られている。商業施設では季節毎に施設内の照明やディスプレイされる商品の種類(色、サイズ、デザインなど)が変更される。このような変更に伴って、カメラの撮像視野の照明条件も変化する。そのため、同じ撮像視野で撮像された画像であっても、照明条件の変動に伴い撮像画像から人物の画像特徴量を取得する精度がばらつくとの課題があった。
本開示の目的は、撮像条件によらずに、撮像画像から人物の画像特徴量を取得する精度を維持可能な情報処理システム、情報処理方法およびプログラムを提供することである。
この開示に係る情報処理システムは、撮像視野に配置されるオブジェクトの設定を受付けるオブジェクト設定部と、撮像視野で撮像された撮像画像におけるオブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得する補正情報取得部と、撮像画像について、補正情報を用いて色補正処理を実施する色補正部と、色補正処理が実施された撮像画像から人物の属性の画像特徴量を取得する特徴量取得部と、を備える。
上記の情報処理システムでは、色補正部は、オブジェクトの部分画像が示す色成分の分布を、上記の予め定められた色成分の分布と比較し、比較結果に基づき、色補正処理を実施する。
上記の情報処理システムでは、補正情報取得部は、オブジェクトの部分画像における色成分の分布を、上記の予め定められた色成分の分布に近似させるよう補正するための補正値を、補正情報として算出する算出部を含む。
上記の情報処理システムは、補正情報を格納する補正情報格納部を、さらに備え、色補正部は、撮像画像について、算出部により算出される補正情報または補正情報格納部に格納されている補正情報のうちの一方を用いて色補正処理を実施する。
上記の情報処理システムでは、オブジェクトの部分画像は、色補正処理のための予め定められた色の成分を含む。
上記の情報処理システムでは、特徴量取得部は、予め定められた色に関する特徴量を取得し、オブジェクトの部分画像は、予め定められた色の成分を含む。
上記の情報処理システムでは、オブジェクトは、撮像視野の複数の領域それぞれに配置されたオブジェクトを含み、補正情報取得部は、各領域に配置されたオブジェクトの部分画像について、当該部分画像における色成分の分布を、上記の予め定められた色成分の分布に近似させるよう補正するための補正値を算出する算出部を含み、各領域のオブジェクトの部分画像について算出された補正値の代表値を、補正情報に設定する。
上記の情報処理システムにおいて、代表値は、各領域のオブジェクトの部分画像について算出された補正値を、領域間のオブジェクトの距離に基づく重みをつけて平均化した加重平均値を含む。
上記の情報処理システムにおいて、撮像視野に配置されるオブジェクトは、掲示物を含む。
上記の情報処理システムにおいて、撮像視野は商業施設の空間を含み、撮像視野に配置されるオブジェクトは、商業施設の店員の服装を含む。
上記の情報処理システムにおいて、オブジェクトについて予め定められた色成分は、予め定められた撮像条件で当該オブジェクトを撮像して取得された画像の色成分を含む。
上記の情報処理システムは、複数の撮像装置それぞれによって撮像された撮像画像を取得する画像取得部を、さらに含み、補正情報取得部は、各撮像装置について、当該撮像装置に対応の撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得する第2補正情報取得部を、含み、色補正部は、各撮像装置について、当該撮像装置の撮像画像に対し、第2補正情報取得部により取得された当該撮像装置の補正情報を用いて色補正処理を実施する第2色補正部を含み、特徴量取得部は、各撮像装置について、当該撮像装置の撮像画像であって、色補正処理が実施された当該撮像画像から人物の属性の画像特徴量を取得する第2特徴量取得部を含む。
この開示に係る情報処理方法は、撮像視野に配置されるオブジェクトの設定を受付けるステップと、撮像視野で撮像された撮像画像におけるオブジェクトに対応の部分画像の色成分と、予め定められた色成分とに基づき、色補正のための補正情報を取得するステップと、撮像画像について、補正情報を用いて色補正処理を実施するステップと、色補正処理が実施された撮像画像から人物の属性の画像特徴量を取得するステップと、を備える。
この開示の他の局面では、上記に述べた情報処理方法をコンピューターに実行させるためのプログラムが提供される。
本開示によれば、撮像条件によらずに、撮像画像から人物の画像特徴量を取得する精度を維持可能な情報処理システム、情報処理方法およびプログラムを提供できる。
以下、図面を参照しつつ、本発明に従う実施の形態および変形例について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される実施の形態および変形例は、適宜選択的に組み合わされてもよい。
<システムの構成>
図1は、本実施の形態に係る情報処理システムの概略構成を示す図である。図1を参照して、情報処理システム1は、ネットワーク100を介して画像を含む情報を遣り取りする異なるデバイスを含む。より具体的には、システムは、ネットワークに接続される情報処理装置300と、ルーターなどの中継器210と、コンピューターなどの端末220とを含む。システムは、さらに、中継器210と通信するエッジデバイスなどの端末200と、端末200と通信する1または複数のカメラ10とを含む。ネットワーク100は、例えばケーブル、光ファイバー、有線LAN(Local Area Network)、無線LAN、インターネットなどから適宜選択されて構成される。カメラ10は、例えば商業施設の天井または壁に設置され、商業施設内の空間を俯瞰的に撮像可能な撮像視野を有する。カメラ10は、店舗内の人物5または物等のオブジェクトを上方から撮像して時間的に異なる各フレームの撮像画像を取得するよう構成される撮像部に相当する。カメラ10は、CCD(Charge Coupled Devices)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有する。カメラ10は、撮像素子に入射した光量を、R(赤)、G(緑)、B(青)に対応する画素を有したカラー画像(電気信号)に変換し出力する。
図1は、本実施の形態に係る情報処理システムの概略構成を示す図である。図1を参照して、情報処理システム1は、ネットワーク100を介して画像を含む情報を遣り取りする異なるデバイスを含む。より具体的には、システムは、ネットワークに接続される情報処理装置300と、ルーターなどの中継器210と、コンピューターなどの端末220とを含む。システムは、さらに、中継器210と通信するエッジデバイスなどの端末200と、端末200と通信する1または複数のカメラ10とを含む。ネットワーク100は、例えばケーブル、光ファイバー、有線LAN(Local Area Network)、無線LAN、インターネットなどから適宜選択されて構成される。カメラ10は、例えば商業施設の天井または壁に設置され、商業施設内の空間を俯瞰的に撮像可能な撮像視野を有する。カメラ10は、店舗内の人物5または物等のオブジェクトを上方から撮像して時間的に異なる各フレームの撮像画像を取得するよう構成される撮像部に相当する。カメラ10は、CCD(Charge Coupled Devices)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有する。カメラ10は、撮像素子に入射した光量を、R(赤)、G(緑)、B(青)に対応する画素を有したカラー画像(電気信号)に変換し出力する。
端末200と端末220は、たとえば、汎用のPC(Personal Computer)、スマートフォン、またはタブレットなどを含む。端末200は、各カメラ10からの撮像画像を時系列のフレーム画像として中継器210を介して情報処理装置300に転送する。情報処理装置300は、端末200から転送された画像データを処理して、撮像された人物を同定し、人物の同定に基づく情報を格納するとともに、ネットワーク100を介して端末220へ転送する。端末220は受信した情報を、ユーザーインターフェイスを介して出力する。情報処理装置300から端末220に提供される情報は、商業施設を訪れた人物の動線、店舗と来店者(人物)の情報などを含み得る。情報処理装置300は、これら情報をWebデータとして端末220に提供し、端末220の当該Webデータを出力するWebブラウザーを有する。
図1のシステムでは、カメラ10は商業施設内に設けられたが、カメラ10が設けられ場所は限定されない。
図2は、本実施の形態に係る端末200のハードウェア構成を示す図である。図3は、本実施の形態に係る情報処理装置300のハードウェア構成を示す図である。
図2を参照して、端末200は、プロセッサー11と、ROM(Read Only Memory)やRAM(Random Access Memory)などを含む揮発性記憶媒体から構成される主メモリー12と、カメラ10を接続するカメラインターフェイス13と、中継器210を接続する通信インターフェイス15と、ユーザーが操作可能なキーボードやマウス等の入力装置16Aを接続する入力インターフェイス16と、ディスプレイ17Aを接続する表示インターフェイス17と、記録媒体の一例である光学ディスク19Aが着脱自在に装着される光学ドライブ19と、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記録媒体から構成される記憶装置20とを含む。これらのコンポーネントは、内部バス25を介して互いに通信可能に接続されている。入力インターフェイス16は、入力装置16Aを介して端末200に対するユーザー操作を受付ける。また、表示インターフェイス17はディスプレイ17Aを駆動するドライバー回路を含む。記憶装置20は、プロセッサー11により読出されて実行されると、各種の処理を実現するプログラム22が格納される。カメラインターフェイス13はNIC(ネットワークインターフェースカード)を含む通信回路から構成されて、例えばWi-Fi(登録商標)通信によりカメラ10とデータを遣り取りする。通信インターフェイス15は例えばUSBに従って中継器210と通信する。端末200は、さらに、マイク(マイクロフォン)、スピーカーなどを有してもよい。
プロセッサー11は、記憶装置20に格納されているプログラム22を主メモリー12に展開して実行することで、本実施の形態に従う各種処理を実現する。主メモリー12は、プロセッサー11によるプログラムの実行に必要なワークメモリを提供する。
図3を参照して、情報処理装置300は、プロセッサー301と、ROMやRAMなどを含む揮発性記憶媒体から構成される主メモリー302と、NICを含む通信回路から構成される通信インターフェイス303と、HDDやSSD等の不揮発性の記録媒体から構成される記憶装置304と、ユーザーが操作可能なキーボードやマウス等の入力装置305Aを接続する入力インターフェイス305と、ディスプレイ306Aを接続する表示インターフェイス306と、記録媒体の一例である光学ディスク307Aが着脱自在に装着される光学ドライブ307を含む。これらのコンポーネントは、内部バス319を介して互いに通信可能に接続されている。入力インターフェイス305は、入力装置305Aを介して情報処理装置300に対するユーザー操作を受付ける。また、表示インターフェイス306は、画像を表示するように画像データに基づきディスプレイ306Aを駆動するドライバー回路を含む。
記憶装置304は、プロセッサー301により読出されて実行されるソフトウェアとデータが格納される。このようなソフトウェアは、システムプログラム310と、アプリケーションプログラム320とを含む。また、データは、カウントDB(Data Base)45と、オブジェクト指定情報52と、設定補正パラメーター57と、前回補正パラメーター56とを含む。これらデータの詳細は後述する。
プロセッサー301は、記憶装置304に格納されているアプリケーションプログラム320を主メモリー302に展開して実行することで、本実施の形態に従う各種処理を実現する。主メモリー302は、プロセッサー301によるプログラムの実行に必要なワークメモリを提供する。
通信インターフェイス303は、ネットワーク100を介して端末200と端末220との間でデータや信号を遣り取りする。光学ドライブ307は、外部の記憶媒体である光学ディスク307Aなどから、その中に格納されている各種プログラム(たとえば、アプリケーションプログラム320)やDBなどのデータを読み出して、記憶装置304にインストールする。
図2のプロセッサー11と図3のプロセッサー301は、たとえば、少なくとも1つの集積回路によって構成される。集積回路は、たとえば、少なくとも1つのCPU、少なくとも1つのASIC(application specific integrated circuit)、少なくとも1つのFPGA(field-programmable gate array)、またはそれらの組み合わせなどによって構成される。また、外部の記憶媒体は光学ディスク19A、307Aに限定されず、例えばUSB(Universal Serial Bus)メモリー、SDカード、CF(CompactFlash)などの記憶媒体であってもよい。
図2の端末200または図3の情報処理装置300は、光学ドライブを介して必要なプログラムを装置にインストールする構成例を示すが、これに限られることなく、ネットワーク100上の他の装置などからダウンロードするようにしてもよい。
なお、プログラム22、アプリケーションプログラム320は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。また、プログラム22、アプリケーションプログラム320によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。
<ソフトウェア構成>
図4は、本実施の形態に係る情報処理システム1の構成の一例を示す図である。本実施の形態では、情報処理システム1は1または複数のモジュールを含んで構成される。モジュールは、任意の形態のハードウェア、ソフトウェア、またはそれらの組み合わせを利用して実装され得る。たとえば、1つまたは複数のプロセッサー、コントローラ、ASIC、FPGA等のハードウェア回路、プログラム22またはアプリケーションプログラム320を含むソフトウェア、またはその他のメカニズムを実装して、モジュールが構成され得る。
図4は、本実施の形態に係る情報処理システム1の構成の一例を示す図である。本実施の形態では、情報処理システム1は1または複数のモジュールを含んで構成される。モジュールは、任意の形態のハードウェア、ソフトウェア、またはそれらの組み合わせを利用して実装され得る。たとえば、1つまたは複数のプロセッサー、コントローラ、ASIC、FPGA等のハードウェア回路、プログラム22またはアプリケーションプログラム320を含むソフトウェア、またはその他のメカニズムを実装して、モジュールが構成され得る。
図4に示す情報処理システム1は、画像を色補正するための情報として設定補正パラメーター57をシステムに予め設定するための補正情報設定部49と、カメラ10が撮像して出力する画像データ50を受付ける画像入力部40と、画像入力部40が受付けた画像データ50について色補正処理を実施するためのモジュールと、画像データ50に基づく人物の特徴量から人物を同定するモジュールと、同定された人物をカウントするモジュールとを備える。補正情報設定部49は、人物の特徴量を適切に算出し、また、人物を適切に同定することを可能にする予め定められた照明条件を含む撮像条件下で、カメラ10が撮像した画像データ50から、予め定められた演算式で色補正の補正パラメーターを算出し、設定補正パラメーター57として設定する。
図4の情報処理システム1を構成する各部モジュールは、情報処理装置300に実装されるとしているが、実装形態は、これに限定されない。例えば、情報処理システム1は端末200に実装されてもよく、または、一部は端末200に実装され他の部分は情報処理装置300に実装される分散型であってもよい。
以下、図4に示す各モジュールの詳細を、例えば、1台のカメラ10によって撮像された画像データを情報処理装置300で処理する場合を、図面を参照しつつ説明する。
図5は、本実施の形態に係る色補正処理を実施するためのモジュールの構成例を示す図である。図6は、本実施の形態に係る撮像された画像データ50と指定されたオブジェクトの一例を示す図である。図5を参照して、色補正処理を実施するためのモジュールは、オブジェクト設定部46と、オブジェクト検出部47と、色分析部48と、色補正部41とを含む。例えば、カメラ10は掲示物の一例である壁面に貼り付けされたポスター51を含む被写体を撮像し、画像データ50を出力する。図6の(A)にポスター51の一例が示される。ポスター51の画像は、オブジェクト指定情報52によって指定されるオブジェクトを構成する。
オブジェクト設定部46は、例えばシステムを設定するときに、ユーザー入力461に基づき、色補正処理を実施するために用いられるオブジェクトを指定するオブジェクト指定情報52とプロファイル52Bとを設定する。本実施の形態では、ユーザーは、図1のシステムの管理者、設計者、利用者などを含む概念である。
オブジェクト指定情報52は、例えば、カメラ10の撮像視野に含まれる図6の(A)のポスター51の画像を撮像画像において指定する情報を含む。オブジェクト指定情報52は、ポスター51の画像データそのもの、または、撮像視野を撮像した画像データに占めるポスター51の部分画像の位置(領域)の情報等を含む。プロファイル52Bは、カメラ10が予め定められた適切な照明条件および露光状態の撮像条件で撮像した場合に得られるポスター51の画像から検出される情報である。このような予め定められた撮像条件は、後述する人物画像の特徴量の算出処理および人物の同定処理を予め定められた精度で実現可能な条件を示す。本実施の形態では、プロファイル52Bは画像における色成分の分布を表す色ヒストグラムを示す。プロファイル52Bが表す色ヒストグラムは、ポスター51の画像を分析することにより、RGB(Red、Green、Blue)の各色について、ある階調値(0~255)の画素が検出される頻度を表す、横軸に階調値をとり、縦軸に度数をとる。このような色ヒストグラムにより、RGBの各カラーの明るさのレベル別に色成分の画像における分布状況が示されるとともに、後述する色補正の対象となり得る色調範囲が示される。図6の(B)はプロファイル52Bの一例を示す。
画像入力部40は、撮像装置の1例である1または複数のカメラ10の各々によって撮像された撮像画像を取得する画像取得部を構成する。ここでは説明を簡単にするために、1のカメラ10から出力される画像データ50を処理する構成を説明する。画像入力部40は、カメラ10から出力される画像データ50を受付け、受付けた画像データ50をオブジェクト検出部47と、色補正部41とに出力する。オブジェクト検出部47は、画像入力部40から受付けた画像データ50が示す画像を、オブジェクト指定情報52に基づき走査し、走査結果に基づき、当該画像データ50からポスター51の部分画像52Aを検出する。このように、オブジェクト検出部47は、カメラ10が撮像して出力する画像データ50から、部分画像52Aを抽出し色分析部48に出力する。
色分析部48は、部分画像52Aを解析することにより、RGBの各色についての色ヒストグラム53B(図6の(C))を生成する。色分析部48は、生成された色ヒストグラム53Bを、プロファイル52B(図6の(B))の色ヒストグラムを用いて、当該色ヒストグラムに近似させるようなRGBのゲイン値を、所定演算により算出する。色分析部48は、このように算出されたRGBの各カラーのゲイン値(GainR、GainG、GainB)55Aを、補正パラメーター55として設定する。補正パラメーター55は、記憶装置304に格納され得る。記憶装置304に、このように格納された補正パラメーター55は、後述する前回補正パラメーター56として利用され得る。
なお、ゲイン値(補正パラメーター55)を取得する方法は、このような算出方法に限定されない。
色ヒストグラム53Bの一例が図6の(C)に示される。このように、色ヒストグラム53Bにより、ポスター51の部分画像52Aが有する色調範囲が示される。
色分析部48は、算出された補正パラメーター55のRGBのゲイン値55Aを、設定補正パラメーター57が示すRGBのゲイン値と比較する。色分析部48は、この比較の結果に基づき、両者の差がしきい値を超えると判断すると、第1補正指示を色補正部41に出力し、当該差がしきい値を超えないと判断すると、第2補正指示を出力する。
色補正部41は、色分析部48から第1補正指示が出力されるときは、画像入力部40から出力される画像データ50について、当該画像データ50に基づき算出された補正パラメーター55を用いてホワイトバランス処理を実施し、処理後の画像データ50を出力する。対照的に、色分析部48から第2補正指示が出力されるときは、色補正部41は、画像入力部40から出力される画像データ50について、前回補正パラメーター56を用いてホワイトバランス処理を実施し、処理後の画像データ50を出力する。この「前回補正パラメーター」は、限定されないが、例えば、画像入力部40から出力される画像データ50に対応するフレームよりも前の(先行する)フレームに対応した画像データに基づき算出されて記憶装置304に格納された補正パラメーターを含む。
本実施の形態では、ホワイトバランス処理は、カメラ10によって撮像された画像データ50のホワイトバランスを調整する処理である。例えば、以下の(式1)に示すように、画像データ50の各画素について、その諧調値(Ri、Gi、Bi)に補正パラメーター55のRGBの調整係数であるゲイン値(GainR、GainG、GainB)を乗じることで、各画素についてホワイトバランス後の諧調値(Ro、Go、Bo)を算出する。
Ro=GainR×Ri、Go=GainG×Gi、Bo=GainB×Bi(式1)
本実施の形態の色補正処理はRGBの画素値に対するものであるが、輝度信号(Y)と、輝度信号と青色成分の差(U)、輝度信号と赤色成分の差(V)の3つの組合わせで表される色空間YUVの画素値に対して行う色補正処理であってもよい。
本実施の形態の色補正処理はRGBの画素値に対するものであるが、輝度信号(Y)と、輝度信号と青色成分の差(U)、輝度信号と赤色成分の差(V)の3つの組合わせで表される色空間YUVの画素値に対して行う色補正処理であってもよい。
画像データ50に基づく人物の画像特徴量から人物を同定するモジュールを、図面を参照して説明する。図7は、人物を同定するモジュールと同定された人物をカウントするモジュールの構成を示す図である。図7を参照して、当該モジュールは、人物特徴算出部42と、人物同定部43と、人カウント部44とを含む。
人物特徴算出部42は、色補正部41から出力される画像データ50に基づき、画像データ50が示す画像における人物の部分画像を抽出し、抽出結果を示す人物情報58を出力する。人物同定部43は、色補正部41からの複数フレームの画像データ50と人物特徴算出部42からの人物情報58に基づき、複数フレームの画像データ50が示す複数の画像に含まれる同一の人物情報58、すなわち同一人物を検出し、検出結果を示す同定情報59を出力する。人カウント部44は、人物特徴算出部42からの人物情報58と人物同定部43からの同定情報59に基づき、同定された人数をカウントし、カウント結果である人数情報60を出力する。
人物特徴算出部42は、制御点情報取得部および特徴量情報取得部を構成する。これら各部は、例えばGPU(Graphics Processing Unit)で構成され得る。GPUは、リアルタイムな画像処理に特化した演算装置(プロセッサー)である。このように、制御点情報取得部等をGPUで構成することにより、GPUにおいて畳み込み型ニューラルネットワーク(CNN;Convolutional Neural Network)などの機械学習が可能なニューラルネットワークを構築し、このニューラルネットワークを制御点情報取得部および特徴量情報取得部として機能させることができる。
制御点情報取得部は、カメラ10で撮像して取得された画像データ50が示す画像から、人物の制御点に関する情報(制御点情報)を取得する。画像データ50には人物の画像が含まれている。ここで、制御点とは、画像中で人物の骨格を規定する点を指す。したがって、制御点には、人物の骨と骨の関節点、頭蓋骨の中心点、手足の指の骨の先端の点などが含まれる。また、画像中で人物の目、鼻、耳の各位置も、人物の骨格(頭蓋骨の大きさや形状)を規定することから、制御点になり得る。このような制御点情報には、画像中での制御点の位置(2次元位置)を示す位置情報が含まれる。
特徴量情報取得部は、画像データ50を入力し、制御点情報に含まれる位置情報に基づき、画像データ50の画像から、人物を囲む矩形状の領域を示す人矩形912を抽出するとともに、人物の属性に関する特徴量を含む特徴量情報を取得する。ここで、人物の属性としては、人物の年齢、性別、被服、装着物、携帯物の少なくともいずれかを含む。なお、年齢層は、子供/大人/老人などの区分であってもよい。
また、人物の属性を性別としたとき、その特徴量としては、男性/女性を含む。人物の属性を被服としたとき、その特徴量は、色、半袖/長袖、シャツ、トレーナー、ズボン、スカート、などを含み得る。人物の属性を装着物としたとき、その特徴量としては、色、ネックレス、ブレスレット、眼鏡、帽子、などを含み得る。人物の属性を携帯物としたとき、その特徴量としては、色、バッグ(ハンドタイプ、キャリータイプ)、傘、ペット、などを含み得る。本実施の形態では、人物の属性として、上下の服の色および性別を例示するが、これらとは異なる特徴量であってもよい。例えば、機械学習を利用して、人物の属性として性別(男性/女性)が出力される場合、ある人物の人矩形912を構成する制御点の位置の複数フレームにわたる変動を算出する。例えば、男性と女性とでは歩き方が異なり、男性の場合、歩行時に腕の振りが大きく、フレーム間での制御点の変動量は、女性に比較して大きい傾向がある。このような制御点の位置の変動の傾向から、人物の属性(性別)が識別される。
人物特徴算出部42は、画像データ50から検出した人物画像毎に、当該人物画像について識別した人矩形と属性を示す人物情報58を出力する。このように人物情報58は、撮像画像から取得される人物画像特徴量を構成する。
人物同定部43は、複数フレームの画像データ50において検出された各人物画像から取得された人物情報58どうしが同一人物の情報であるか否かを判定(同定)し、判定結果を示す同定情報59を出力するよう構成される。より具体的には、人物同定部43は、人物特徴算出部42から出力される人物情報58を入力して、人IDの識別子を付して記憶部4に登録し蓄積(記憶)するよう構成される。人物同定部43は、人物特徴算出部42から人物情報58が出力される毎に、当該人物情報58を記憶部4に蓄積された人物情報58と照合する。照合結果がしきい値を超える類似度を示すときは、すなわち同定を検出したときは、人物同定部43は、照合された人物情報58に付された人IDを有する同定情報59を出力する。このとき、人物特徴算出部42から出力される人物情報58は記憶部4に蓄積(記憶)されない。一方、人物同定部43は、照合結果がしきい値を以下の類似度を示すときは、すなわち同定できないときは、人物特徴算出部42から出力される人物情報58を人IDの識別子を付して記憶部4に蓄積(記憶)するとともに、当該人IDを有する同定情報59を出力する。
本実施の形態では、人物特徴算出部42は、フレーム単位で入力する画像データ50を処理するよう構成されている。これにより、人物同定部43は、各人物について、異なる複数のフレームの画像データ50の間で当該人物を同定することができる。これにより、記憶部には、同定された1人以上の各人物について、当該人物の人物情報58と人IDとが格納される。
このような人物の同定は、制御点の位置情報、服装および服装の色などの特徴量を用いて実現されるので、人物の顔画像を全く用いることなく人物同定を行うことができる。これにより、顔の撮像によって撮像視野に居る(例えば、商業施設内に居る)人物に心理的負担を与えることを回避することができる。
また、このような人物の同定は人物の属性に基づき実施されるが、当該人物の属性は、被服(上服、下服など)の色、装着物(ブレスレット、帽子など)の色、携帯物(バック、傘など)の色などの特徴量を含む。このような色の特徴量は、上記の色補正がなされた画像データ50から検出されるので、検出された色の特徴量の精度を当該画像データ50の撮像条件に依存することなく維持することができる。その結果、当該特徴量を含む属性に基づいた人物同定の精度も、撮像条件に依存せずに維持することができる。
人カウント部44は、人物特徴算出部42からの人物情報58と、当該人物情報58に基づいた同定情報59とを同期して入力する。人カウント部44は、人物同定部43から、同定情報59を入力したとき、当該同定情報59と同期して入力した人物情報58を、当該同定情報59が示す人IDと関連付けて、カウントDB45に格納する。人カウント部44は、カウントDB45に格納されている人物情報58について、人ID毎に、当該人IDが関連付けされた人物情報58をカウントし、人ID毎のカウント値を示す人数情報60を出力する。このようなカウント方式を採用することで、例えば、ある人物が撮像視野内を行き来して、当該ある人物の画像が複数フレーム(例えば、K枚フレーム)の画像データにおいて検出された場合は、当該人物の人IDがK回カウントされることになる。
図8は、本実施の形態に係るカウントDB45の構成例を示す図である。図8を参照して、カウントDB45には、人ID毎にデータ群が格納される。図8では、人IDが“N1”であるデータ群910と、人IDが“N2”であるデータ群920とが示されるが、他の人IDのデータ群が格納されてもよい。各データ群は同様の構成を有するので、データ群910について説明する。データ群910は、1または複数の人物情報58(人矩形912と属性913)と、各人物情報58に関連付けて、当該人物情報58がカウントDB45に格納された時刻911と、当該人物情報58の識別子である人ID914とを含む。さらに、データ群910は、予め定められた期間において、対応の人ID914の人物(人物情報58)が検出された回数であるカウント値915を含む。また、人カウント部44は、カウントDB45に格納された情報に基づき、予め定められた時間帯において検出された異なる人物の数をカウントしてもよい。
本実施の形態では、撮像視野の定位置の掲示物であるポスター51の画像(部分画像52A)について、予め定められた撮像条件下で得られたプロファイル52Bと実際の撮像条件下で得られた色ヒストグラム53Bを用いて、色分析部48が補正パラメーター55を算出し、補正パラメーター55を用いたホワイトバランス処理後の画像データ50から、人物情報58の検出および人物情報58に基づく人物同定が実施される。これにより、照明または商業施設等の商品等のオブジェクトの配置変化によって、撮像条件が予め定められた撮像条件から変化しているとしても、人物情報58の検出および人物同定の精度を維持することができるとのメリットが得られる。また、このようなホワイトバランス処理の色補正は、フレーム毎の画像データ50について実施されるので、例えばクリスマスのイルミネーションのような短い周期で撮像条件(照明光の色、強度などの条件)が変化するとしても、上記に述べたメリットを得ることができる。
図9~図13は、本実施の形態に係る掲示物の一例を示す図である。本実施の形態では、オブジェクト指定情報52に基づき、補正パラメーター55を算出するためにポスター51全体が部分画像52Aとして指定されたが、このような指定方法に限定されない。例えば、図9に示されるように、ポスター51の全体画像うちのプロファイル52Bの色分布を有する部分画像53Aを指定する情報であってもよい。
ポスター51の画像からプロファイル52Bが示す色分布が取得されない場合は、予め定められた補正パラメーターが利用され得る。例えば、図10のポスター51は白地に黒色の文字のみから構成される。このようなポスター51の画像からはプロファイル52Bが示すような色分布を取得することはできないが、このようなケースでは、上記に述べた前回保持された補正パラメーターを利用することができる。
また、掲示物であるポスター51の画像において、例えば、部分画像53Aは、ホワイトバランス処理におけるカラーキャリブレーションに必要な色成分が含まれている。より好ましくは、人物特徴量である属性の認識で利用される色成分が全て含まれる。このように必要な色成分が1つのポスター51の部分画像52Aから取得できない場合は、撮像視野内の複数の掲示物から必要な色成分が取得されるようにしてもよい。例えば、オブジェクト指定情報52によって、白地に黒色の文字のみが記載された図11のポスター51の画像のうち余白を構成する白色の部分画像54Aが指定されるとしてもよい。また、人物の属性を構成する特徴量としての服の色の判定に、限定されないが例えば青色が用いられる場合は、オブジェクト指定情報52によって、図12のポスター51の部分画像53Aのうち青空を構成する領域の画像51Bが指定されるようにしてもよい。
また、オブジェクト指定情報52は、複数のポスター51(掲示物)を指定するように構成されてもよい。例えば、カメラ10の撮像視野が有する複数の領域それぞれについて、補正パラメーター55を算出するとしてもよい。例えば、このような複数の領域を、撮像視野の左領域と右領域に2分した場合、オブジェクト指定情報52は、左領域については、左領域に掲示された図13のポスター51Lを指定し、右領域については右領域に掲示された図13のポスター51Rを指定する。これにより、画像データ50の画像の左側画像について、ポスター51Lの部分画像52Aに基づく補正パラメーター55を用いたホワイトバランス処理が実施されて、画像データ50の画像の右側画像について、ポスター51Rの部分画像52Aに基づく補正パラメーター55を用いたホワイトバランス処理が実施される。
また、左領域のポスター51Lと右領域のポスター51Rとの間の距離に応じて、各領域の部分画像52Aから算出された補正パラメーターに重みを付け、重みが付いた補正パラメーターの値を平均する。このような、加重平均後の値を、補正パラメーター55として利用してもよい。このように各領域の部分画像から算出された補正パラメーターの代表値を画像データ50の色補正処理に適用できるが、代表値は加重平均値に限定されず、単なる平均値、最頻値、中央値などであってもよい。
図13に示されたように、ホワイトバランス処理に用いる補正パラメーターとして、部分領域毎に、当該領域の掲示物の部分画像52Aから算出された補正パラメーター55を用いることができる。このことは、同じ撮像視野内の領域であっても、照明などの撮像条件が部分領域間でバラつく可能性があるとしても、各部分領域において、人物特徴算出部42の算出精度および人物同定部43における人物同定の精度を維持可能にするとのメリットをもたらす。
図14は、本実施の形態に係るオブジェクト指定情報52の他の例を示す図である。上記に述べたオブジェクト指定情報52は、撮像視野内の掲示物(ポスター)を指定していたが、指定対象のオブジェクトは、掲示物に限定されない。例えば、図14に示すように、カメラ10の撮像視野内におけるレジスターなどの精算機を操作する店員の制服などの服装の領域、例えば、シャツ領域51Cの部分画像52Aから、補正パラメーター55が算出されるとしてもよい。
上記の実施例は、1台のカメラ10が撮像して出力する画像データ50を例示したが、複数台のカメラ10からの画像データ50を処理する場合、情報処理システム1は、これら画像データを並列に処理してもよく、または、時分割に処理してもよい。オブジェクト指定情報52および設定補正パラメーター57は、各カメラ10が異なる撮像視野を有する場合、カメラ10毎に設定されてもよい。
図15は、本実施の形態に係る処理のフローチャートである。図15を参照して、カメラ10は撮像して取得する画像データ50を出力する(ステップS10)。
プロセッサー301は、画像入力部40としてカメラ10から画像データ50を入力し、また、オブジェクト検出部47として、オブジェクト指定情報52に基づき、画像データ50の画像から色補正用のオブジェクトに相当する部分画像52Aを検出する(ステップS12)。
プロセッサー301は、色分析部48として、部分画像52Aを処理し、処理結果に基づき補正パラメーター55を算出する(ステップS14)。プロセッサー301は、色分析部48として、算出された補正パラメーター55を設定補正パラメーター57と比較し、比較の結果に基づき、第1補正指示に基づく色補正処理および第2補正指示に基づく色補正処理のいずれを実施するかを判断する(ステップS15)。第1補正指示の色補正処理を実施すると判断されると(ステップS15で“第1補正指示”)、プロセッサー301は、色補正部41として、算出された補正パラメーター55を用いて画像データ50についてホワイトバランス処理を実施する(ステップS16)。第2補正指示の色補正処理を実施すると判断されると(ステップS15で“第2補正指示”)、プロセッサー301は、色補正部41として、前回補正パラメーター56を用いて画像データ50についてホワイトバランス処理を実施する(ステップS17)。
プロセッサー301は、人物特徴算出部42として、画像データ50から、人物の属性を構成する特徴量を検出し、人物情報58を出力する(ステップS18)。人物特徴算出部42が処理する画像データ50は、補正パラメーター55を用いてホワイトバランス処理が実施済みの画像データ、または、前回補正パラメーター56を用いてホワイトバランスが実施済みの画像データを含む。
プロセッサー301は、人物同定部43として、人物特徴算出部42から出力される人物情報58に基づき、人物の同定処理を実施し、処理結果を示す同定情報59を出力する(ステップS20)。プロセッサー301は、人カウント部44として、人物同定部43から出力される同定情報59に基づき同定された人物の数をカウントし(ステップS22)、カウント結果を示す人数情報60を出力するとともに、人物情報58をカウントDB45に格納する(ステップS24)。
図15の処理は繰り返し実施されることで、カメラ10が撮像して順次出力するフレーム単位の画像データ50を、順次に処理することができる。
なお、図15の処理では、プロセッサー301は、オブジェクト検出部47として、オブジェクト指定情報52に基づき、画像データ50の画像から色補正用のオブジェクトに相当する部分画像52Aを検出できないときは、すなわちオブジェクトの部分画像52Aに色の分布が含まれないときは、撮像された画像データ50について、最も最近に(前回の処理で)格納された補正パラメーター55を用いて色補正処理を実施するとしてもよい。
本実施形態において、図4の構成に係るプログラムは、主メモリー302または記憶装置304に格納されるが、これら記憶媒体に代えて、別の記憶媒体に格納されてもよい。このような別の記憶媒体は、情報処理装置300が備える、または情報処理装置300に着脱自在に装着されるCD-ROM(Compact Disc-Read Only Memory)、DVD-ROM(Digital Versatile Disk-Read Only Memory)、USBメモリー、メモリーカード、FD(Flexible Disk)、磁気テープ、トレイテープ、MO(Magnetic Optical Disc)、MD(Mini Disc)、IC(Integrated Circuit)カード(メモリーカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)等の、不揮発性の記憶媒体により実現されてもよい。また、情報処理装置300は、例えばネットワーク100および通信インターフェイス303を介したダウンロードによって、プログラムを取得してもよい。
また、当該プログラムは、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、各実施形態に従う処理は、任意のプログラムと協働して実現される。このような一部のモジュールを含まないプログラムであっても、各実施形態に従うプログラムの趣旨を逸脱するものではない。さらに、少なくとも1つのサーバーが当該プログラムの処理の一部を実行する所謂クラウドサービスのような形態システムが構成されてもよい。
(変形例)
上記の実施の形態では、情報処理システム1は、1のカメラ10から出力される画像データ50を用いて人物の属性を検出し、人物を同定およびカウントするよう構成されたが、当該構成は複数のカメラ10から出力される画像データ50を用いる場合にも適用することができる。
上記の実施の形態では、情報処理システム1は、1のカメラ10から出力される画像データ50を用いて人物の属性を検出し、人物を同定およびカウントするよう構成されたが、当該構成は複数のカメラ10から出力される画像データ50を用いる場合にも適用することができる。
具体的に、画像入力部40は、複数のカメラ10それぞれによって撮像された画像データ50を受付ける。ここでは、説明を簡単にするために2つのカメラ10からの画像データ50を受付ける場合を説明する。色分析部48は、各カメラ10について、当該カメラ10に対応の撮像視野で撮像されて出力される画像データ50の画像におけるオブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分を示すプロファイル52Bとに基づき、色補正のための補正パラメーターを取得する第2補正情報取得部を含む。色補正部41は、各カメラ10について、当該カメラ10からの画像データ50について、上記の第2補正情報取得部によって取得された補正パラメーターを用いてホワイトバランスなどの色補正処理を実施する第2色補正部を含む。人物特徴算出部42は、各カメラ10について、当該カメラ10からの画像データ50が示す画像であって、色補正処理が実施された当該画像から人物の属性の画像特徴量を取得する第2特徴量取得部を含む。
人物特徴算出部42は各カメラ10について、当該カメラ10のフレームの画像データ50から取得される画像特徴量を含む人物情報58を出力する。人物同定部43は、人物特徴算出部42から、各カメラ10について、当該カメラ10のフレームの画像データ50から取得された人物情報58を受付ける。人物同定部43は、各カメラ10について、当該カメラ10に対応の1の人物情報58を他のカメラ10に対応の人物情報58と照合する。照合結果に基づき、当該1の人物情報58が他のカメラ10に対応の人物情報58と一致したとき、当該1の人物情報の人物が同定されたと判定され、判定結果を示す同定情報59が出力される。人カウント部44は、人物同定部43からの同定情報59を用いて、同定された人物の数(人数)をカウントする。これにより、人物毎に、当該人物が両方のカメラ10によって撮像されたとき、すなわち同定されたとき当該人物は1人とカウントされる。ここでは、カメラ10は2台としたが、3台以上であっても同様な構成により、人物の画像特徴量の取得、人物の同定および人カウントを実施することができる。
このように構成される情報処理システム1では、各カメラ10から出力される画像データ50について、複数のカメラ10の間で共通するプロファイル52Bに基づき、色補正のための補正パラメーターが取得される。したがって、複数のカメラ10の間で撮像条件のばらつきがあるとしても、各カメラ10の色補正後の画像データ50から検出される人物の属性を構成する色の特徴量の精度を、複数のカメラ10の間でばらつくことなく同程度に維持することができる。その結果、複数のカメラ10によって撮像された複数の画像データ50の間で人物を同定する場合であっても、同定の精度を各カメラ10の撮像条件に依存せずに維持できるとともに、人カウントの精度も維持できる。
情報処理システム1は、1のカメラ10から出力される画像データ50を用いて人物の属性を検出し、人物を同定およびカウントするためのモジュール(第1モジュールと呼ぶ)と、複数のカメラ10から出力される画像データ50を用いて人物を同定およびカウントするモジュール(第2モジュールと呼ぶ)との一方を備えてもよく、または、両モジュールを備えてもよい。両モジュールを備える場合、情報処理システム1は起動すべきモジュールを切替えることができる。例えば、ユーザーは、入力装置305Aを操作して、いずれか一方のモジュールを起動させる指示を情報処理装置300に入力すると、プロセッサー301は当該指示に応じて、第1および第2モジュールのうちの一方のモジュールを起動する。なお、起動すべきモジュールの切替方法は、ユーザー操作による方法に限定されない。
(他の変形例)
上記の実施の形態では、カメラ10が設けられる場所は限定されない。例えば、カメラ10は、公の施設または私的な施設などを含む各種の施設に設けることができ、また、カメラ10は屋内または野外に設けることができる。
上記の実施の形態では、カメラ10が設けられる場所は限定されない。例えば、カメラ10は、公の施設または私的な施設などを含む各種の施設に設けることができ、また、カメラ10は屋内または野外に設けることができる。
また、本実施の形態では、人カウント部44はある人物が検出されたフレーム数をカウントすることで当該人物のカウントを実現するよう構成されるが、カウント方法はこれに限定されない。例えば、人カウント部44は、各フレームについて、当該フレーム内において検出される人物の総数を計数する方法であってもよい。上記に述べた人物特徴算出部42は、人物を同定するための構成への適用に限定されない。例えば、人物特徴算出部42は、人カウント部44が、人物特徴算出部42から出力される人物情報58をカウントする構成、属性(例えば服の色、性別など)毎に人物をカウントする構成(例えば、服の色に限定して人物をカウントする構成)などにも適用できる。人カウント部44は、このようなカウントを、色補正部41において色補正処理が成功するか否かにかかわらず実施することができる。さらに、人カウント部44は人物同定部43と協働することによって、人カウント部44に、同じ人物を重複してカウントする構成、または、このような重複カウントを除いてカウントする構成を適用することができる。
上記に述べたプロファイル52Bは、撮像された画像データ50から補正パラメーターを導出するための予め定められた色成分を示すプロファイルを構成する。このような補正パラメーターを導出するための基準となる色成分のプロファイルが取得されるルートは、撮像して得られる画像データからのルートに限定されない。例えば、ポスターであればポスターデータが有する色成分から取得されてもよい。また、このような基準となる色成分は、ポスターに限定されず、撮像視野内の壁、床、天井などの各種のオブジェクトが有する色成分から取得されてもよい。
<付記>
この実施の形態では、以下の構成が示される。
この実施の形態では、以下の構成が示される。
(構成1)
撮像視野に配置されるオブジェクトの設定を受付けるオブジェクト設定部と、
前記撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得する補正情報取得部と、
前記撮像画像について、前記補正情報を用いて色補正処理を実施する色補正部と、
前記色補正処理が実施された前記撮像画像から人物の属性の画像特徴量を取得する特徴量取得部と、を備える、情報処理システム。
撮像視野に配置されるオブジェクトの設定を受付けるオブジェクト設定部と、
前記撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得する補正情報取得部と、
前記撮像画像について、前記補正情報を用いて色補正処理を実施する色補正部と、
前記色補正処理が実施された前記撮像画像から人物の属性の画像特徴量を取得する特徴量取得部と、を備える、情報処理システム。
(構成2)
前記色補正部は、
前記オブジェクトの部分画像が示す色成分の分布を、前記予め定められた色成分の分布と比較し、比較結果に基づき、前記色補正処理を実施する、構成1に記載の情報処理システム。
前記色補正部は、
前記オブジェクトの部分画像が示す色成分の分布を、前記予め定められた色成分の分布と比較し、比較結果に基づき、前記色補正処理を実施する、構成1に記載の情報処理システム。
(構成3)
前記補正情報取得部は、
前記オブジェクトの部分画像における色成分の分布を、前記プロファイルが示す色成分の分布に近似させるよう補正するための補正値を、前記補正情報として算出する算出部を含む、構成1または2に記載の情報処理システム。
前記補正情報取得部は、
前記オブジェクトの部分画像における色成分の分布を、前記プロファイルが示す色成分の分布に近似させるよう補正するための補正値を、前記補正情報として算出する算出部を含む、構成1または2に記載の情報処理システム。
(構成4)
補正情報を格納する補正情報格納部を、さらに備え、
前記色補正部は、
前記撮像画像について、前記算出部により算出される前記補正情報または前記補正情報格納部に格納されている前記補正情報のうちの一方を用いて色補正処理を実施する、構成3に記載の情報処理システム。
補正情報を格納する補正情報格納部を、さらに備え、
前記色補正部は、
前記撮像画像について、前記算出部により算出される前記補正情報または前記補正情報格納部に格納されている前記補正情報のうちの一方を用いて色補正処理を実施する、構成3に記載の情報処理システム。
(構成5)
前記オブジェクトの部分画像は、前記色補正処理のための予め定められた色の成分を含む、構成1~4のいずれか1に記載の情報処理システム。
前記オブジェクトの部分画像は、前記色補正処理のための予め定められた色の成分を含む、構成1~4のいずれか1に記載の情報処理システム。
(構成6)
前記特徴量取得部は、予め定められた色に関する特徴量を取得し、
前記オブジェクトの部分画像は、前記予め定められた色の成分を含む、構成1~5のいずれか1に記載の情報処理システム。
前記特徴量取得部は、予め定められた色に関する特徴量を取得し、
前記オブジェクトの部分画像は、前記予め定められた色の成分を含む、構成1~5のいずれか1に記載の情報処理システム。
(構成7)
前記オブジェクトは、前記撮像視野の複数の領域それぞれに配置されたオブジェクトを含み、
前記補正情報取得部は、
各前記複数の領域に配置されたオブジェクトの部分画像について、当該部分画像における色成分の分布を、前記予め定められた色成分の分布に近似させるよう補正するための補正値を算出する算出部を含み、
各領域のオブジェクトの部分画像について算出された前記補正値の代表値を、前記補正情報に設定する、構成2に記載の情報処理システム。
前記オブジェクトは、前記撮像視野の複数の領域それぞれに配置されたオブジェクトを含み、
前記補正情報取得部は、
各前記複数の領域に配置されたオブジェクトの部分画像について、当該部分画像における色成分の分布を、前記予め定められた色成分の分布に近似させるよう補正するための補正値を算出する算出部を含み、
各領域のオブジェクトの部分画像について算出された前記補正値の代表値を、前記補正情報に設定する、構成2に記載の情報処理システム。
(構成8)
前記代表値は、
前記各領域のオブジェクトの部分画像について算出された前記補正値を、領域間のオブジェクトの距離に基づく重みをつけて平均化した加重平均値を含む、構成7に記載の情報処理システム。
前記代表値は、
前記各領域のオブジェクトの部分画像について算出された前記補正値を、領域間のオブジェクトの距離に基づく重みをつけて平均化した加重平均値を含む、構成7に記載の情報処理システム。
(構成9)
前記撮像視野に配置されるオブジェクトは、掲示物を含む、構成1~8のいずれか1に記載の情報処理システム。
前記撮像視野に配置されるオブジェクトは、掲示物を含む、構成1~8のいずれか1に記載の情報処理システム。
(構成10)
前記撮像視野は商業施設の空間を含み、
前記撮像視野に配置されるオブジェクトは、前記商業施設の店員の服装を含む、構成1~9のいずれか1に記載の情報処理システム。
前記撮像視野は商業施設の空間を含み、
前記撮像視野に配置されるオブジェクトは、前記商業施設の店員の服装を含む、構成1~9のいずれか1に記載の情報処理システム。
(構成11)
前記オブジェクトについて予め定められた色成分は、
予め定められた撮像条件で前記オブジェクトを撮像して取得された画像の色成分を含む、構成1~10にいずれか1に記載の情報処理システム。
前記オブジェクトについて予め定められた色成分は、
予め定められた撮像条件で前記オブジェクトを撮像して取得された画像の色成分を含む、構成1~10にいずれか1に記載の情報処理システム。
(構成12)
複数の撮像装置それぞれによって撮像された撮像画像を取得する画像取得部を、さらに含み、
前記補正情報取得部は、
各前記複数の撮像装置について、当該撮像装置に対応の撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて前記予め定められた色成分とに基づき、色補正のための補正情報を取得する第2補正情報取得部を、含み、
前記色補正部は、
前記各撮像装置について、当該撮像装置の前記撮像画像に対し、前記第2補正情報取得部により取得された当該撮像装置の補正情報を用いて色補正処理を実施する第2色補正部を含み、
前記特徴量取得部は、
前記各撮像装置について、当該撮像装置の撮像画像であって、前記色補正処理が実施された当該撮像画像から人物の属性の画像特徴量を取得する第2特徴量取得部を含む、構成1~11のいずれか1に記載の情報処理システム。
複数の撮像装置それぞれによって撮像された撮像画像を取得する画像取得部を、さらに含み、
前記補正情報取得部は、
各前記複数の撮像装置について、当該撮像装置に対応の撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて前記予め定められた色成分とに基づき、色補正のための補正情報を取得する第2補正情報取得部を、含み、
前記色補正部は、
前記各撮像装置について、当該撮像装置の前記撮像画像に対し、前記第2補正情報取得部により取得された当該撮像装置の補正情報を用いて色補正処理を実施する第2色補正部を含み、
前記特徴量取得部は、
前記各撮像装置について、当該撮像装置の撮像画像であって、前記色補正処理が実施された当該撮像画像から人物の属性の画像特徴量を取得する第2特徴量取得部を含む、構成1~11のいずれか1に記載の情報処理システム。
(構成13)
撮像視野に配置されるオブジェクトの設定を受付けるステップと、
前記撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得するステップと、
前記撮像画像について、前記補正情報を用いて色補正処理を実施するステップと、
前記色補正処理が実施された前記撮像画像から人物の属性の画像特徴量を取得するステップと、を備える、情報処理方法。
撮像視野に配置されるオブジェクトの設定を受付けるステップと、
前記撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得するステップと、
前記撮像画像について、前記補正情報を用いて色補正処理を実施するステップと、
前記色補正処理が実施された前記撮像画像から人物の属性の画像特徴量を取得するステップと、を備える、情報処理方法。
(構成14)
構成13に記載の情報処理方法をコンピューターに実行させるためのプログラム。
構成13に記載の情報処理方法をコンピューターに実行させるためのプログラム。
以上、実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではない。本開示の技術的範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 情報処理システム、4 記憶部、5 人物、10 カメラ、11,301 プロセッサー、12,302 主メモリー、13 カメラインターフェイス、15,303 通信インターフェイス、16,305 入力インターフェイス、16A,305A 入力装置、17,306 表示インターフェイス、17A,306A ディスプレイ、19,307 光学ドライブ、19A,307A 光学ディスク、20,304 記憶装置、22 プログラム、25,319 内部バス、40 画像入力部、41 色補正部、42 人物特徴算出部、43 人物同定部、44 人カウント部、46 オブジェクト設定部、47 オブジェクト検出部、48 色分析部、49 補正情報設定部、50 画像データ、51,51L,51R ポスター、51C シャツ領域、52 オブジェクト指定情報、52A,53A,54A 部分画像、52B プロファイル、53B 色ヒストグラム、55 補正パラメーター、57 設定補正パラメーター、58 人物情報、59 同定情報、60 人数情報、100 ネットワーク、200,220 端末、210 中継器、300 情報処理装置、310 システムプログラム、320 アプリケーションプログラム、461 ユーザー入力、910,9120 データ群、 時刻、912 人矩形、913 属性、915 カウント値、45 カウントDB。
Claims (14)
- 撮像視野に配置されるオブジェクトの設定を受付けるオブジェクト設定部と、
前記撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得する補正情報取得部と、
前記撮像画像について、前記補正情報を用いて色補正処理を実施する色補正部と、
前記色補正処理が実施された前記撮像画像から人物の属性の画像特徴量を取得する特徴量取得部と、を備える、情報処理システム。 - 前記色補正部は、
前記オブジェクトの部分画像が示す色成分の分布を、前記予め定められた色成分の分布と比較し、比較結果に基づき、前記色補正処理を実施する、請求項1に記載の情報処理システム。 - 前記補正情報取得部は、
前記オブジェクトの部分画像における色成分の分布を、前記予め定められた色成分の分布に近似させるよう補正するための補正値を、前記補正情報として算出する算出部を含む、請求項1または2に記載の情報処理システム。 - 前記補正情報を格納する補正情報格納部を、さらに備え、
前記色補正部は、
前記撮像画像について、前記算出部により算出される前記補正情報または前記補正情報格納部に格納されている前記補正情報のうちの一方を用いて色補正処理を実施する、請求項3に記載の情報処理システム。 - 前記オブジェクトの部分画像は、前記色補正処理のための予め定められた色の成分を含む、請求項1に記載の情報処理システム。
- 前記特徴量取得部は、予め定められた色に関する特徴量を取得し、
前記オブジェクトの部分画像は、前記予め定められた色の成分を含む、請求項1に記載の情報処理システム。 - 前記オブジェクトは、前記撮像視野の複数の領域それぞれに配置されたオブジェクトを含み、
前記補正情報取得部は、
各前記複数の領域に配置されたオブジェクトの部分画像について、当該部分画像における色成分の分布を、前記予め定められた色成分の分布に近似させるよう補正するための補正値を算出する算出部を含み、
各領域のオブジェクトの部分画像について算出された前記補正値の代表値を、前記補正情報に設定する、請求項2に記載の情報処理システム。 - 前記代表値は、
前記各領域のオブジェクトの部分画像について算出された前記補正値を、領域間のオブジェクトの距離に基づく重みをつけて平均化した加重平均値を含む、請求項7に記載の情報処理システム。 - 前記撮像視野に配置されるオブジェクトは、掲示物を含む、請求項1に記載の情報処理システム。
- 前記撮像視野は商業施設の空間を含み、
前記撮像視野に配置されるオブジェクトは、前記商業施設の店員の服装を含む、請求項1に記載の情報処理システム。 - 前記オブジェクトについて予め定められた色成分は、
予め定められた撮像条件で前記オブジェクトを撮像して取得された画像の色成分を含む、請求項1に記載の情報処理システム。 - 複数の撮像装置それぞれによって撮像された撮像画像を取得する画像取得部を、さらに含み、
前記補正情報取得部は、
各前記複数の撮像装置について、当該撮像装置に対応の撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて前記予め定められた色成分とに基づき、色補正のための補正情報を取得する第2補正情報取得部を、含み、
前記色補正部は、
前記各撮像装置について、当該撮像装置の撮像画像に対し、前記第2補正情報取得部により取得された当該撮像装置の補正情報を用いて色補正処理を実施する第2色補正部を含み、
前記特徴量取得部は、
前記各撮像装置について、当該撮像装置の撮像画像であって、前記色補正処理が実施された当該撮像画像から人物の属性の画像特徴量を取得する第2特徴量取得部を含む、請求項1または2に記載の情報処理システム。 - 撮像視野に配置されるオブジェクトの設定を受付けるステップと、
前記撮像視野で撮像された撮像画像における前記オブジェクトに対応の部分画像の色成分と、当該オブジェクトについて予め定められた色成分とに基づき、色補正のための補正情報を取得するステップと、
前記撮像画像について、前記補正情報を用いて色補正処理を実施するステップと、
前記色補正処理が実施された前記撮像画像から人物の属性の画像特徴量を取得するステップと、を備える、情報処理方法。 - 請求項13に記載の情報処理方法をコンピューターに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-126483 | 2022-08-08 | ||
JP2022126483 | 2022-08-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024034255A1 true WO2024034255A1 (ja) | 2024-02-15 |
Family
ID=89851338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/022057 WO2024034255A1 (ja) | 2022-08-08 | 2023-06-14 | 情報処理システム、情報処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024034255A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005045446A (ja) * | 2003-07-25 | 2005-02-17 | Pentax Corp | 色変換マトリクス算出方法および色補正方法 |
JP2010004464A (ja) * | 2008-06-23 | 2010-01-07 | Canon Inc | ホワイトバランス制御装置、ホワイトバランス制御方法 |
JP2016219935A (ja) * | 2015-05-18 | 2016-12-22 | シャープ株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2018049559A (ja) * | 2016-09-23 | 2018-03-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020009162A (ja) * | 2018-07-09 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2023
- 2023-06-14 WO PCT/JP2023/022057 patent/WO2024034255A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005045446A (ja) * | 2003-07-25 | 2005-02-17 | Pentax Corp | 色変換マトリクス算出方法および色補正方法 |
JP2010004464A (ja) * | 2008-06-23 | 2010-01-07 | Canon Inc | ホワイトバランス制御装置、ホワイトバランス制御方法 |
JP2016219935A (ja) * | 2015-05-18 | 2016-12-22 | シャープ株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2018049559A (ja) * | 2016-09-23 | 2018-03-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020009162A (ja) * | 2018-07-09 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6961797B2 (ja) | プレビュー写真をぼかすための方法および装置ならびにストレージ媒体 | |
US20080181507A1 (en) | Image manipulation for videos and still images | |
JP6564271B2 (ja) | 撮像装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP2008219874A (ja) | 撮像装置、画像処理装置、制御方法およびプログラム | |
JP2007208757A (ja) | カメラ装置及びカメラ制御プログラム | |
CN106104630A (zh) | 检测设备、检测方法和记录介质 | |
WO2020027210A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP6501257B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015106252A (ja) | 顔向き検出装置及び3次元計測装置 | |
US20050147304A1 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
JP2005535015A (ja) | ステレオ画像中のエッジを結び付けてチェインにする方法 | |
JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 | |
WO2013114803A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
US11575841B2 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
WO2022111271A1 (zh) | 服装规范化检测方法及装置 | |
KR20170085494A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
WO2024034255A1 (ja) | 情報処理システム、情報処理方法およびプログラム | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
JP2018063675A (ja) | 画像処理装置および制御方法 | |
CN112700396A (zh) | 一种人脸图片光照评价方法、装置、计算设备和存储介质 | |
JPH11306348A (ja) | 対象物検出装置及び対象物検出方法 | |
JP6658402B2 (ja) | フレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラム | |
JP2006074498A (ja) | 画像処理装置及び撮像装置 | |
CN109598737B (zh) | 一种图像边缘识别方法及系统 | |
JP4831344B2 (ja) | 目の位置の検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23852239 Country of ref document: EP Kind code of ref document: A1 |