WO2023017723A1 - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023017723A1
WO2023017723A1 PCT/JP2022/028516 JP2022028516W WO2023017723A1 WO 2023017723 A1 WO2023017723 A1 WO 2023017723A1 JP 2022028516 W JP2022028516 W JP 2022028516W WO 2023017723 A1 WO2023017723 A1 WO 2023017723A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
image
information processing
result
object detection
Prior art date
Application number
PCT/JP2022/028516
Other languages
English (en)
French (fr)
Inventor
智也 本條
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022018960A external-priority patent/JP7459151B2/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023017723A1 publication Critical patent/WO2023017723A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to technology for detecting objects from images.
  • 2018-180945 discloses that, based on the position and size of the detection frame output for each detection processing frame, the degree of overlap with other detection frames is equal to or greater than a threshold.
  • a technique is disclosed that integrates detection frames in accordance with the properties of the detection frames and outputs them as a final object detection frame.
  • An information processing apparatus includes detection means for detecting an object related to a plurality of attributes from an image, determination means for determining an overlap of detection results of different attributes with respect to the detection results of the detection means, and an object detected by the detection means.
  • modifying means for modifying a detection result of the detection, wherein the modifying means modifies the object detection for the first image based on the detection result of the object detection for the second image extracted from the first image. It is characterized by correcting the detection result.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing apparatus according to a first embodiment
  • FIG. 1 is a diagram illustrating a functional configuration example of an information processing apparatus according to a first embodiment
  • FIG. 4 is a flowchart for explaining object detection processing according to the first embodiment
  • It is a figure explaining object detection processing by a 1st embodiment.
  • It is a figure explaining object detection processing by a 1st embodiment.
  • It is a figure explaining object detection processing by a 1st embodiment.
  • It is a figure explaining object detection processing by a 1st embodiment.
  • It is a figure explaining object detection processing by a 1s
  • FIG. 9 is a flowchart for explaining object detection processing according to the second embodiment; It is a figure explaining object detection processing by a 2nd embodiment. It is a figure explaining object detection processing by a 2nd embodiment. It is a figure explaining object detection processing by a 2nd embodiment. It is a figure explaining object detection processing by a 2nd embodiment. It is a figure explaining object detection processing by a 2nd embodiment. It is a figure explaining object detection processing by a 2nd embodiment. It is a figure explaining object detection processing by a 2nd embodiment. It is a figure explaining object detection processing by a 2nd embodiment.
  • FIG. 11 is a diagram illustrating an example of functional configuration of an information processing apparatus according to a third embodiment
  • 14 is a flowchart for explaining object detection processing according to the third embodiment
  • It is a figure explaining object detection processing by a 3rd embodiment.
  • It is a figure explaining object detection processing by a 3rd embodiment.
  • It is a figure explaining object detection processing by a 3rd embodiment.
  • FIG. 13 is a diagram illustrating an example of functional configuration of an information processing apparatus according to a fourth embodiment
  • FIG. 14 is a flowchart for explaining object detection processing according to the fourth embodiment
  • FIG. It is a figure explaining object detection processing by a 4th embodiment.
  • It is a figure explaining object detection processing by a 4th embodiment.
  • It is a figure explaining object detection processing by a 4th embodiment.
  • It is a figure explaining object detection processing by a 4th embodiment.
  • FIG. 1 is a block diagram showing a configuration example of an information processing apparatus 100 according to this embodiment.
  • the information processing apparatus 100 according to the present embodiment has an object detection function of detecting an object to be detected from an image captured by an imaging device such as a surveillance camera.
  • an imaging device such as a surveillance camera.
  • the present invention is not limited to this, and can be applied to any system that analyzes an image and detects a predetermined object.
  • the information processing apparatus 100 has a CPU 101 , a memory 102 , a communication interface (I/F) section 103 , a display section 104 , an input section 105 and a storage section 106 .
  • the CPU 101, memory 102, communication I/F unit 103, display unit 104, input unit 105, and storage unit 106 are communicably connected via a system bus.
  • the information processing apparatus 100 according to this embodiment may further have a configuration other than this.
  • a CPU (Central Processing Unit) 101 controls the entire information processing apparatus 100 .
  • a CPU 101 controls the operation of each functional unit connected via, for example, a system bus.
  • the memory 102 stores data, programs, and the like that the CPU 101 uses for processing.
  • the memory 102 also functions as a main memory, a work area, and the like for the CPU 101 .
  • the CPU 101 executes processing based on the programs stored in the memory 102, thereby realizing the functional configuration of the information processing apparatus 100 shown in FIG. 2 and the processing of the flowchart shown in FIG.
  • the communication I/F unit 103 is an interface that connects the information processing device 100 to the network.
  • the display unit 104 has a display member such as a liquid crystal display, and displays the results of processing by the CPU 101 and the like.
  • the input unit 105 has operation members such as a mouse or buttons, and inputs user's operations to the information processing apparatus 100 .
  • the storage unit 106 stores, for example, various data necessary when the CPU 101 performs processing related to the program.
  • the storage unit 106 also stores various data obtained by the CPU 101 performing processing related to the program, for example. It should be noted that data, programs, and the like used for processing by the CPU 101 may be stored in the storage unit 106 .
  • FIG. 2 is a block diagram showing a functional configuration example of the information processing apparatus 100.
  • the information processing apparatus 100 has an image acquisition unit 201 , an object detection unit 202 , an overlap determination unit 203 , an image extraction unit 204 , a result correction unit 205 , a result output unit 206 and a storage unit 207 .
  • the image acquisition unit 201 acquires an image to be subjected to object detection.
  • an image to be subjected to object detection is acquired from the outside through the communication I/F unit 103 .
  • data of an image to be subjected to object detection which is acquired by the image acquiring unit 201, is simply referred to as an "input image".
  • the input image is, for example, a 1080 ⁇ 720 pixel RGB image with a horizontal (horizontal) width of 1080 pixels and a vertical (vertical) height of 720 pixels.
  • the input image is not limited to an RGB image of 1080 ⁇ 720 pixels, and any image can be used as the input image.
  • the width in the horizontal direction and the height in the vertical direction may differ. .
  • the object detection unit 202 detects objects related to a plurality of attributes (classes) from an image.
  • the object detection unit 202 detects a person's face from the image acquired by the image acquisition unit 201 .
  • the object detection unit 202 outputs a detection result using a machine learning model that has been trained so as to detect a “face with glasses” and a “face without glasses” included in the image.
  • the detection of the “face with glasses” and the “face without glasses” can be realized by applying the technique described in Document 1 below, for example.
  • Document 1 Reference 1 J.P. Redmon, A.; Farhadi, "YOLO9000: Better Faster Stronger", Computer Vision and Pattern Recognition (CVPR) 2016.
  • the detection results output by the object detection unit 202 are the position and size of the detected face, the attribute (class) of the face, and the reliability of detection.
  • the position and size of the face are output, for example, by coordinates defining a rectangular frame surrounding the face (for example, upper left coordinates (x1, y1) and lower right coordinates (x2, y2) of the rectangle).
  • the attribute of the face indicates whether the face is wearing glasses or not wearing glasses.
  • the reliability of detection is output as a real number between 0 and 1, for example, with 0 being the lowest reliability and 1 being the highest reliability.
  • the rectangular frame surrounding the face, the attributes of the face, and the reliability of detection are also simply referred to as “detection frame,” “attribute,” and “reliability,” respectively.
  • detection frame the rectangular frame surrounding the face, the attributes of the face, and the reliability of detection
  • reliability the reliability of detection
  • the overlap determination unit 203 determines overlap of detection results of different attributes in the detection results obtained by the object detection unit 202 .
  • the overlap determination unit 203 sets any two detection frames from all the detection results obtained by the object detection unit 202 as a set, and calculates the overlap ratio of the detection frames for each set.
  • the overlap determination unit 203 determines that there is overlap if there is a set of detection frames whose calculated overlap rate is equal to or greater than a threshold, that is, the areas of the detection frames overlap at a predetermined ratio or more, and outputs a set of detection results.
  • the overlap ratio is calculated by IoU (Intersection over Union), and the threshold is 0.5 as an example.
  • the overlap determination unit 203 determines that there is an overlap. If there is no set of detection frames that overlap by a threshold value or more, the overlap determination unit 203 determines that there is no overlap.
  • the image extracting unit 204 extracts a specified region from the input image based on the determination result of the overlap determining unit 203, using the input image and the set of detection results determined to be overlapping by the overlapping determining unit 203.
  • the image extraction unit 204 outputs an image of the extracted region (hereinafter also referred to as an “extracted image”) and the upper left coordinates of the extracted region with respect to the input image.
  • the upper left coordinate of the region to be extracted is (x1-((x2-x1)/10), y1-((y2-y1)/10)), and the lower right coordinate is (x2+((x2-x1) /10), y2+((y2-y1)/10)), and a margin is taken with respect to the sum set of the detection frames.
  • the image extraction unit 204 outputs the extracted image and the upper left coordinates (x1-((x2-x1)/10), y1-((y2-y1)/10)) of the extracted area.
  • (x1, y1) are the upper left coordinates of the rectangular area containing the union of the two detection frames
  • (x2, y2) are the lower right coordinates of the rectangular area containing the union of the two detection frames. be. It should be noted that, for example, a region where the region to be extracted exceeds the range of the input image is filled with white.
  • the result correction unit 205 reflects the detection result of the extracted image by the object detection unit 202 on the detection result of the input image according to the number of detection results of the extracted image.
  • the result correction unit 205 first deletes the detection results used when calculating the extracted region from the detection results of the input image. Next, when the number of detection results for the extracted image is one, the result correction unit 205 replaces it with the detection result obtained from the extracted image. Further, when the number of detection results for the extracted image is two or more, the result correction unit 205 determines that the detection frame is a rectangular area that includes the union of the two detection frames, and the face attribute is "glasses wearing unknown". , to generate a detection result with a detection confidence of 1 and replace it.
  • the result output unit 206 outputs an image in which the detection result is superimposed on the input image.
  • the result output unit 206 outputs an image in which a detection frame corresponding to an attribute is superimposed on the input image based on the detection result.
  • the storage unit 207 stores data used for processing in each of the functional units 201 to 206 of the information processing apparatus 100, data obtained as processing results, and the like.
  • FIG. 3 is a flowchart for explaining object detection processing according to the first embodiment.
  • 4A to 4H are diagrams for explaining object detection processing according to the first embodiment.
  • step S301 the image acquisition unit 201 acquires an input image (an image to be subjected to object detection).
  • An example of an input image 410 is shown in FIG. 4A.
  • the input image 410 is assumed to be a 1080 ⁇ 720 pixel image as described above.
  • step S302 the object detection unit 202 performs face detection processing for detecting the face of a person to be detected using the input image, and detects the "face with glasses” and the "face without glasses” from the input image.
  • FIG. 4B shows an example of the detection result of face detection processing on the input image
  • FIG. 4C shows an example of an image obtained by superimposing the detection result on the input image.
  • four detection results A to D are obtained as the detection results, and the upper left coordinates (x1, y1) and lower right coordinates (x2, y2) of the detection frame, respectively, and the attribute (“wearing glasses”) or "not wearing glasses”) and the reliability are output.
  • FIG. 4B shows an example of the detection result of face detection processing on the input image
  • FIG. 4C shows an example of an image obtained by superimposing the detection result on the input image.
  • four detection results A to D are obtained as the detection results, and the upper left coordinates (x1, y1) and lower right coordinates (x2, y2) of the detection frame, respectively, and
  • detection frames 411 to 414 corresponding to detection results A to D are superimposed on an input image 410 and displayed.
  • detection frames 411 and 414 corresponding to the detection results A and D detected as faces wearing glasses are displayed as rectangular frames with dashed lines, and detection results B and C detected as faces not wearing glasses are displayed.
  • Detection frames 412 and 413 to be detected are displayed by solid-line rectangular frames.
  • step S303 the overlap determination unit 203 sets any two detection results of the detection results for the input image as a set, and calculates the overlap rate of the detection frame for each combination of the detection results for the input image.
  • the upper left coordinates of the detection frame of the detection result A are (20,200), and the lower right coordinates are (320,500).
  • step S304 the overlap determination unit 203 determines whether there is a combination of detection results for which the overlap rate calculated in step S303 is equal to or greater than the threshold. If the overlap determining unit 203 determines that there is a combination of detection results in which the overlapping rate of the detection frames is equal to or greater than the threshold (YES in step S304), it outputs a combination of detection results in which the overlapping rate is equal to or greater than the threshold, The process proceeds to step S305. On the other hand, when the overlap determination unit 203 determines that there is no combination of detection results in which the overlap rate of the detection frames is equal to or greater than the threshold (NO in step S304), the process proceeds to step S309.
  • the threshold value of the overlapping rate is 0.5.
  • the overlap determination unit 203 proceeds to step S305 if there is a set of detection results in which the overlap rate calculated in step S303 is 0.5 or more, and proceeds to step S309 if not.
  • the overlap determination unit 203 outputs the combination (A, B) with the overlap rate of 0.5 or more. and the process proceeds to step S305.
  • step S305 the image extracting unit 204 extracts a specified region from the input image using the combination of the input image and the detection result output in step S304. output the coordinates of Specifically, first, the image extraction unit 204 calculates a circumscribed rectangle for the union of two detection frames from a set of detection results. In this example, a circumscribing rectangle is calculated for the combination (A, B). As shown in FIG. 4B, the upper left coordinates of the detection frame of detection result A are (20, 200), the lower right coordinates are (320, 500), and the upper left coordinates of the detection frame of detection result B are (40, 210). ), and the lower right coordinates are (340, 510).
  • the circumscribing rectangle of the combination (A, B) has upper left coordinates (20, 200) and lower right coordinates (340, 510).
  • the image extraction unit 204 calculates the upper left coordinate and lower right coordinate of the region to be extracted based on the calculated circumscribing rectangle.
  • step S306 the object detection unit 202 performs face detection processing using the extracted image extracted in step S305, and detects "face with glasses” and "face without glasses” from the extracted image.
  • FIG. 4E shows an example of the detection result of face detection processing on the extracted image
  • FIG. 4F shows an example of an image in which the detection result is superimposed on the extracted image.
  • the detection result E is obtained, and the upper left coordinates (x1, y1) and lower right coordinates (x2, y2) of the detection frame, attributes, and reliability are output.
  • a detection frame 421 corresponding to the detection result E detected as a face wearing glasses is superimposed on the extracted image 420 and displayed as a rectangular frame with broken lines.
  • the result correction unit 205 reflects the detection result of the extracted image obtained in step S306 on the detection result of the input image.
  • the result correction unit 205 deletes the detection result A and the detection result B associated with the extraction image, and detects the extraction image. Replace with the result E.
  • the coordinates of the detection frame of the detection result E are converted to the coordinates in the input image based on the upper left coordinates (-12, 169) of the region to be extracted with respect to the input image.
  • step S308 the result output unit 206 determines whether or not processing has been completed for all combinations of detection results in which the overlapping rate of detection frames is equal to or greater than the threshold. If the result output unit 206 determines that the processing has been completed for all combinations of detection results with an overlap ratio equal to or greater than the threshold (YES in step S308), the process proceeds to step S309. On the other hand, if the result output unit 206 determines that there is an unprocessed combination among the combinations of detection results whose overlap rate is equal to or greater than the threshold (NO in step S308), the process proceeds to step S305, and the unprocessed combination is processed in step S305. The processing after S305 is executed.
  • step S309 the result output unit 206 outputs an image in which the final detection result for the input image as shown in FIG. 4G is superimposed on the input image, ends the processing, and proceeds to processing the next input image.
  • An example of an image in which the final detection result for the input image is superimposed on the input image is shown in FIG. 4H.
  • detection frames 413, 414, and 421 corresponding to detection results C, D, and E are superimposed on an input image 410 and displayed.
  • detection frames 414 and 421 corresponding to the detection results D and E detected as faces wearing glasses are displayed as rectangular frames with dashed lines, and detection results C corresponding to detection results C detected as faces not wearing glasses are displayed.
  • a frame 413 is displayed as a solid-line rectangular frame.
  • object detection in object detection for an input image, when detection results of different attributes overlap, object detection is performed on an extracted image obtained by extracting an overlapping region, and The detection result is used to modify the detection result of the input image. This makes it possible to finally output a more appropriate detection result as the detection result of object detection for the input image.
  • the type of object to be detected and the size of the image for object detection may be arbitrary. Further, the object detection unit 202 is not limited to the technique disclosed in Document 1, and various techniques can be applied as long as the technique is capable of detecting an object to be detected. Also, in the overlap determination unit 203, when there are three or more types of detection targets, the overlap determination method described above can be applied to any combination of two types of detection results.
  • the result correction unit 205 is not limited to the processing described above, and may perform other processing such as the following.
  • the face attribute the face attribute of the detection result with the highest detection reliability may be used, or the detection result itself (detection frame, attribute, and reliability) may be used with the detection reliability.
  • the highest detection result itself may be substituted.
  • the detection result for the input image and the detection result for the extracted image may be selected with the highest reliability.
  • the area extracted by the image extraction unit 204 may be any rectangular area that includes the union of the detection frames.
  • the margin for the circumscribing rectangle for the union of detection frames may be set to 0, or a predetermined margin may be set based on the specifications of the object detection unit 202 . For example, when the ratio of the width of the object that maximizes the detection accuracy of the object detection unit 202 to the width of the input image is 50%, the width of the rectangular area containing the union of the detection frames is the width of the input image. A margin may be set to be 50% of the width.
  • the image extracting unit 204 not only extracts a designated area from the input image, but also horizontally reverses the extracted image, shifts the image in the x direction or the y direction, and extracts the brightness, hue, etc. of the extracted image. may be changed.
  • the result correction unit 205 directly generates the detection result, and overlap occurs. can be replaced with the detection result
  • the new detection frame is a rectangular area that includes the union of the overlapping detection frames
  • the face attribute is "unknown wearing glasses” indicating that the result is unknown
  • the detection reliability is set to 1 to generate a detection result.
  • the result correction unit 205 may similarly generate a direct detection result to replace the overlapped detection result.
  • FIG. 5 is a block diagram showing a configuration example of an information processing system having the information processing device 100 and the information processing device 500 according to this embodiment.
  • constituent elements having the same functions as the constituent elements shown in FIG. 1 are denoted by the same reference numerals, and overlapping descriptions are omitted.
  • the information processing device 100 and the information processing device 500 according to the present embodiment have an object detection function of detecting an object to be detected from an image captured by an imaging device such as a surveillance camera.
  • an imaging device such as a surveillance camera.
  • the present invention is not limited to this, and can be applied to any system that analyzes an image and detects a predetermined object.
  • the information processing device 100 and the information processing device 500 are connected through a network 510 .
  • the information processing apparatus 500 has a CPU 501 , a memory 502 , a communication I/F section 503 and a storage section 504 .
  • the CPU 501, memory 502, communication I/F unit 503, and storage unit 504 are communicably connected via a system bus. Note that the information processing apparatus 500 according to this embodiment may further have a configuration other than this.
  • the information processing device 100 is an example of a first information processing device, and the information processing device 500 is an example of a second information processing device.
  • Communication I/F section 103 is an example of first communication means
  • communication I/F section 503 is an example of second communication means.
  • the CPU 501 controls the entire information processing device 500 .
  • a CPU 501 controls the operation of each functional unit connected via, for example, a system bus.
  • a memory 502 stores data, programs, and the like that the CPU 501 uses for processing.
  • the memory 502 also functions as a main memory, a work area, and the like for the CPU 501 .
  • the CPU 501 executes processing based on the program stored in the memory 502, thereby realizing the functional configuration of the information processing apparatus 500 shown in FIG. 6 and part of the processing of the flowchart shown in FIG. 7, which will be described later.
  • a communication I/F unit 503 is an interface that connects the information processing device 500 to the network 510 .
  • the storage unit 504 stores, for example, various data required when the CPU 501 performs processing related to the program.
  • the storage unit 504 also stores various data obtained by the CPU 501 performing processing related to the program, for example. Note that data, programs, and the like used for processing by the CPU 501 may be stored in the storage unit 504 .
  • FIG. 6 is a block diagram showing a functional configuration example of the information processing device 500.
  • the information processing apparatus 500 has an image acquisition unit 601 , an object detection unit 602 , an image processing unit 603 , a result output unit 604 and a storage unit 605 .
  • the image acquisition unit 601 acquires an image to be subjected to object detection.
  • an image to be subjected to object detection in the information processing apparatus 500 is an extracted image
  • the image acquisition unit 601 acquires the extracted image from the information processing apparatus 100 through the communication I/F unit 603 via the network 510. do.
  • the object detection unit 602 detects objects related to multiple attributes (classes) from the image. Similarly to the object detection unit 202, the object detection unit 602 detects a “face with glasses” and a “face without glasses” included in the extracted image. In this embodiment, as an example, the object detection unit 602 performs detection from an RGB image of 448 ⁇ 448 pixels in which both the width in the horizontal direction (horizontal direction) and the height in the vertical direction (vertical direction) are 448 pixels. do. Others are the same as those of the object detection unit 202 .
  • the image processing unit 603 transforms the extracted image into a specified size, and outputs the image after transformation and the vertical and horizontal transformation magnifications.
  • An arbitrary method such as a generally known bicubic method can be used as an algorithm for deforming an image.
  • a super-resolution technique may be used.
  • the image processing unit 603 transforms the extracted image into an image of 448 ⁇ 448 pixels. In this case, if the extracted image has a width of w pixels and a height of h pixels, the vertical deformation magnification is (448/w) and the horizontal deformation magnification is (448/h).
  • the result output unit 604 uses the deformation magnification output from the image processing unit 603 to correct the detection frame of the detection result output from the object detection unit 602 to the coordinates in the extracted image before deformation and outputs the result.
  • the corrected upper left coordinates are (x1/wm, y1/hm), and the lower right coordinate is (x2/wm, y2/hm).
  • the storage unit 605 stores data used for processing in each of the functional units 601 to 604 of the information processing apparatus 500, data obtained as processing results, and the like.
  • FIG. 7 is a flowchart for explaining object detection processing according to the second embodiment.
  • 8A to 8E are diagrams for explaining the processing of the flowchart shown in FIG.
  • the processing of steps S301 to S306 and the processing of steps S308 to S309 shown in FIG. 3 are the same as the object detection processing according to the first embodiment.
  • the object detection processing according to the second embodiment differs from the object detection processing according to the first embodiment in the processing in step S307 shown in FIG.
  • a detailed flow of processing in the second embodiment, which corresponds to the processing of step S307 shown in FIG. 3, will be described with reference to FIG.
  • step S701 the result correction unit 205 of the information processing apparatus 100 determines whether or not the number of detection results for the extracted image obtained in step S306 is two or more. If the result correction unit 205 determines that the number of detection results for the extracted image is two or more (YES in step S701), it proceeds to step S702; ), the process proceeds to step S706.
  • step S ⁇ b>702 the image acquisition unit 601 of the information processing device 500 receives the extracted image from the information processing device 100 .
  • An example of a received extracted image 710 is shown in FIG. 8A.
  • the extracted image 710 is the same as the extracted image 420 in the first embodiment shown in FIG. Suppose there is
  • step S703 the image processing unit 603 of the information processing apparatus 500 transforms the extracted image received in step S702 into a predetermined size, and outputs the image after transformation and the vertical and horizontal transformation magnifications.
  • the image processing unit 603 transforms the extracted image of 384 ⁇ 372 pixels received in step S702 into an image of 448 ⁇ 448 pixels. Therefore, the deformation magnification in the vertical direction is (448/384), and the deformation magnification in the horizontal direction is (448/372).
  • step S ⁇ b>704 the object detection unit 602 of the information processing apparatus 500 performs face detection processing using the extracted image after deformation, and detects “face with glasses” and “face without glasses” from the extracted image after deformation.
  • FIG. 8B shows an example of the detection result of face detection processing on the extracted image after deformation
  • FIG. 8C shows an example of an image obtained by superimposing the detection result on the extracted image after deformation.
  • one detection result F is obtained, and the upper left coordinates (x1, y1) and lower right coordinates (x2, y2) of the detection frame, attributes, and reliability are output.
  • the coordinates of the detection frame in FIG. 8B are the coordinates in the extracted image after deformation.
  • a detection frame 721 corresponding to the detection result F detected as a face wearing glasses is superimposed on the deformed extraction image 720 in a rectangular frame with broken lines.
  • step S705 the result output unit 606 of the information processing apparatus 500 corrects the coordinates of the detection frame of the detection result output in step S704 to the coordinates in the extracted image before deformation using the vertical and horizontal deformation magnifications, and outputs the coordinates. . That is, the result output unit 606 converts the coordinates of the detection frame in the 448 ⁇ 448 pixel image after deformation to the coordinates in the 384 ⁇ 372 pixel image before deformation using vertical and horizontal deformation magnifications of 448/384 and 448/372. , and output to the information processing apparatus 100 .
  • FIG. 8D shows an example of the transformed detection result
  • FIG. 8E shows an example of an image in which the detection result is superimposed on the extracted image of 384 ⁇ 372 pixels.
  • the upper left coordinates (x1, y1) and the lower right coordinates (x2, y2) of the detection frame of the detection result F are transformed according to the deformation magnification.
  • a detection frame 711 corresponding to the detection result F detected as a face wearing glasses is superimposed on the extraction image 710 before deformation by a rectangular frame with a dashed line.
  • the result correction unit 205 of the information processing apparatus 100 reflects the detection result for the extracted image output from the result output unit 604 of the information processing apparatus 500 in step S705 to the detection result of the input image.
  • the result correction unit 205 deletes the detection result A and the detection result B associated with the extracted image, Replace with the result F.
  • object detection is performed on the image of the overlapping area, and the input image is detected using the detection results. Correct the result. This makes it possible to finally output a more appropriate detection result as the detection result of object detection for the input image.
  • the information processing apparatus 100 may be an edge device such as a camera, and the information processing apparatus 500 may be a device connected to an external terminal (such as USB) of the edge device.
  • the information processing apparatus 100 may be a PC (personal computer) and the information processing apparatus 500 may exist on the cloud.
  • the object detection unit 602 detects a “face with glasses” and a “face without glasses” as in the object detection unit 202. For example, “face with glasses” and “face without glasses” are detected. It may be a detector that detects only one of the "wearing faces”. For example, if the detector detects only "faces wearing glasses”, if "faces wearing glasses” are detected, the detection result will be “faces wearing glasses”, and if "faces wearing glasses” are not detected, The detection result can be "face without glasses”. In addition, it may be divided into two types, a detector for detecting a face and a discriminator for discriminating whether glasses are worn or not.
  • FIG. 9 is a block diagram showing a functional configuration example of the information processing device 100.
  • the information processing apparatus 100 has an image acquisition unit 201 , an object detection unit 202 , an overlap determination unit 203 , an image extraction unit 904 , a result correction unit 905 , a result output unit 206 , a storage unit 207 and an association unit 908 .
  • the image extraction unit 904 extracts a Extract the specified region.
  • the image extracting unit 904 outputs the extracted image and the upper left coordinates of the area to be extracted with respect to the input image. Further, when the number of detection results for the extracted image is two or more, the image extracting unit 904 outputs a detection result with a new detection frame that is the union of the detection frames. At this time, it is assumed that the attribute of the face is “unknown to wear glasses” and the reliability of detection is “1”.
  • the coordinates of the detection frame are converted into the coordinates of the input image by the same method as in the first embodiment.
  • the associating unit 908 associates past detection results with current detection results.
  • the associating unit 908 associates the detection result (hereinafter also referred to as “current detection result” or “current detection frame”) with the held tracking information, updates the tracking information, and changes the attributes of the detection result. Update based on tracking information.
  • the tracking information the tracking ID, the coordinates of the detection frame corresponding to the tracking ID (the upper left coordinate and the lower right coordinate), the attribute, and the statistical information of the attribute are stored.
  • the attribute statistical information refers to the attribute history (appearance count) for a predetermined number of times in the past. In the example of the present embodiment, the predetermined number of times is set to 2. For example, if the previous attribute was wearing glasses and the current attribute was not wearing glasses, the attribute statistical information is 1 for wearing glasses, and 1 for not wearing glasses. becomes 1. If the attribute is unknown wearing glasses, do not add it to the attribute's stats.
  • the associating unit 908 also updates the attributes of the current (current) detection results based on the information about the attributes of the past detection results. Specifically, based on the attribute statistical information, the association unit 908 updates the attribute with the highest appearance frequency (highest number of appearances) at that time as the attribute of the detection result. If the appearance frequencies are equal, the attribute in the current detection result is given priority.
  • the current detection result and the held tracking information are associated with each other based on, for example, the coordinates of the detection frame corresponding to each tracking ID and the coordinates of the detection frame of the current detection result.
  • the distance between the center coordinates of the detection frame corresponding to each tracking ID and the center coordinates of an arbitrary detection frame is calculated for all combinations, and the distance is equal to or less than a threshold (100 in this embodiment).
  • the tracking ID with the shortest distance is associated with the combination of the detection result of this time.
  • the coordinates corresponding to the tracking ID are updated to the center coordinates of the current detection frame. Tracking IDs that do not correspond to the current detection result are deleted. If there is a current detection result that does not correspond to the tracking ID, a new tracking ID is generated and added to the tracking information.
  • the result correction unit 905 reflects the detection result of the extracted image on the detection result of the input image.
  • a result correction unit 905 deletes the detection results used in calculating the extracted region from the detection results of the input image, and replaces them with the detection results obtained from the extracted image.
  • FIG. 10 is a flowchart for explaining object detection processing according to the third embodiment.
  • 11A to 11C are diagrams for explaining the processing of the flowchart shown in FIG.
  • the processing of steps S301 to S306 and the processing of steps S308 to S309 shown in FIG. 3 are the same as the object detection processing according to the first embodiment.
  • the object detection processing according to the third embodiment differs from the object detection processing according to the first embodiment in the processing in step S307 shown in FIG.
  • a detailed flow of processing in the third embodiment, which corresponds to the processing of step S307 shown in FIG. 3, will be described with reference to FIG.
  • step S1001 the result correction unit 905 determines whether or not the number of detection results for the extracted image obtained in step S306 is two or more. If the result correction unit 905 determines that the number of detection results for the extracted image is two or more (YES in step S1001), it proceeds to step S1002; ), the process proceeds to step S1005.
  • the detection result for the input image is as shown in FIG. 4B, and there are two detection results (detection result G and detection result H) as shown in FIG. 11A as the detection result for the extracted image.
  • the coordinates of the detection frame are the coordinates in the coordinate system of the extracted image.
  • step S1002 the image extracting unit 904 calculates a circumscribed rectangle for the union of the two detection frames from the set of detection results output in step S304 in the same manner as in step S305, and detects the calculated circumscribed rectangle. Output the detection result as a frame.
  • the image extracting unit 904 calculates a circumscribing rectangle for the union of two detection frames from the set of detection results G and H, and outputs the detection result I with the calculated circumscribing rectangle as the detection frame. .
  • the circumscribing rectangle for the union of the detection frames of the two detection results in the coordinate system of the extracted image has upper left coordinates (32, 31) and lower right coordinates (352, 341). Become.
  • the circumscribing rectangle for the union of the detection frames of the two detection results in the coordinate system of the input image has upper left coordinates (20, 200), and the lower right coordinates are (340, 510).
  • step S1003 the associating unit 908 associates the detection result output from the image extracting unit 904 in step S1002 with the held tracking information.
  • the associating unit 908 associates the detection result I output in step S1002 with the held tracking information. Assuming that tracking information as shown in FIG. 11C is held, correspondence with the detection result I will be described as an example.
  • the center coordinates of the detection frame of the detection result I are (180, 355), and the center coordinates of the detection frame of the tracking ID 1 are (170, 350).
  • step S1004 the associating unit 907 updates the attributes of the detection results based on the tracking information.
  • the detection result I is associated with the tracking ID 1, and since the number of times of wearing glasses is greater than the number of times of not wearing glasses according to the statistical information of the attributes of the tracking ID (FIG. 11C), the attribute of the detection result I is wearing glasses.
  • step S1005 the result correction unit 905 reflects the detection result of the extracted image on the detection result of the input image, as in the first embodiment.
  • the result correction unit 205 deletes the detection result A and the detection result B and replaces them with the detection result I.
  • FIG. 12 is a block diagram showing a functional configuration example of the information processing device 100. As shown in FIG. In FIG. 12, constituent elements having the same functions as the constituent elements shown in FIG. 2 are denoted by the same reference numerals, and overlapping descriptions are omitted.
  • the information processing apparatus 100 has an image acquisition unit 1201 , an object detection unit 1202 , an overlap determination unit 203 , an image extraction unit 204 , a result correction unit 205 , a result output unit 206 , a storage unit 207 and an image processing unit 1208 .
  • the image acquisition unit 1201 acquires an image (input image) to be subjected to object detection. Also, the image acquisition unit 1201 extracts a predetermined range from the acquired image. In this embodiment, an image (input image) to be subjected to object detection is obtained from the outside through the communication I/F unit 103, and is an RGB image of 1080 ⁇ 720 pixels as an example. Also, the image acquisition unit 1201 extracts a range of upper left coordinates (30, 0) and lower right coordinates (750, 720) from the input image, for example.
  • the object detection unit 1202 performs object detection related to multiple attributes (classes) from the image, similar to the object detection unit 202 in the first embodiment.
  • the object detection unit 1202 performs detection from an RGB image of 224 ⁇ 224 pixels in which the width in the horizontal direction (horizontal direction) and the height in the vertical direction (vertical direction) are both 224 pixels, for example. and Others are the same as those of the object detection unit 202 in the first embodiment.
  • the image processing unit 1208 transforms the image into a specified size, and outputs the image after transformation and the vertical and horizontal transformation magnifications.
  • An arbitrary method such as a generally known bicubic method can be used as an algorithm for deforming an image.
  • a super-resolution technique may be used.
  • the image processing unit 1208 transforms the image into an image of 224 ⁇ 224 pixels. In this case, if the image before deformation has a width of w pixels and a height of h pixels, the vertical deformation magnification is (224/w) and the horizontal deformation magnification is (224/h).
  • the result correction unit 205 reflects the detection result for the extracted image by the object detection unit 1202 in the detection result for the input image according to the number of detection results for the extracted image. Others are the same as the result correction unit 205 in the first embodiment.
  • FIG. 13 is a flowchart for explaining object detection processing according to the fourth embodiment.
  • 14A to 14I are diagrams for explaining object detection processing according to the fourth embodiment.
  • step S1301 the image acquisition unit 1201 acquires an input image (an image to be subjected to object detection), and calculates a range of upper left coordinates (30, 0) and lower right coordinates (750, 720) from the acquired input image. Extract to obtain an image of 720 ⁇ 720 pixels.
  • An example of an input image 1401 is shown in FIG. 14A, and an example of a 720 ⁇ 720 pixel image 1402 extracted from the input image 1401 is shown in FIG. 14B.
  • step S1302 the image processing unit 1208 transforms the 720 ⁇ 720 pixel image acquired in step S1301 into a 224 ⁇ 224 pixel image (hereinafter referred to as the first image to be processed).
  • the deformation magnification in the vertical direction and the deformation magnification in the horizontal direction are both (224/720).
  • An example of the first image to be processed 1403 is shown in FIG. 14C.
  • step S1303 the object detection unit 1202 performs face detection processing for detecting a person's face using the first processing target image in the same manner as in step S302 shown in FIG. A “face with glasses” and a “face without glasses” are detected.
  • FIG. 14D shows an example of the detection result of the face detection process for the first image to be processed. In the example shown in FIG. 14D, three detection results A to C are obtained, and the upper left coordinates (x1, y1) and lower right coordinates (x2, y2) of the detection frame, attributes, and reliability are output. be. Note that the coordinates of the detection frame in FIG. 14D are the coordinates in the first image to be processed.
  • step S1304 the overlap determination unit 203 sets any two detection results out of the detection results for the first processing target image as a set, and determines the overlap rate of the detection frame for each combination of the detection results for the first processing target image. to calculate
  • the upper left coordinates of the detection frame of the detection result A are (0, 62), and the lower right coordinates are (85, 156).
  • the upper left coordinates of the detection frame of the detection result B are (0, 65), and the lower right coordinates are (91, 159).
  • the overlap rate of the detection frames is 0.
  • step S1305 the overlap determination unit 203 determines whether there is a combination of detection results for which the overlap rate calculated in step S1304 is equal to or greater than the threshold. If the overlap determination unit 203 determines that there is a combination of detection results in which the overlapping rate of the detection frames is equal to or greater than the threshold (YES in step S1305), the overlap determination unit 203 outputs the combination of detection results in which the overlap rate is equal to or greater than the threshold, The process moves to step S1306. On the other hand, if the overlap determination unit 203 determines that there is no combination of detection results in which the overlap rate of the detection frames is equal to or greater than the threshold (NO in step S1305), the process proceeds to step S1311.
  • the threshold value of the overlapping rate is 0.5.
  • the overlap determination unit 203 proceeds to step S1306 if there is a set of detection results in which the overlap rate calculated in step S1304 is 0.5 or more, and proceeds to step S1311 if not.
  • the overlap determination unit 203 outputs the combination (A, B) with the overlap rate of 0.5 or more. and the process moves to step S1306.
  • step S1306 the image extracting unit 204 extracts the designated region from the input image using the set of the input image and the detection result output in step S1305. output the coordinates of Specifically, first, the image extraction unit 204 converts the coordinates of the two detection frames from the set of detection results into the coordinates of the input image using the range extracted from the input image and the deformation magnification information.
  • FIG. 14E shows the result of calculating other coordinates in the same manner.
  • the image extraction unit 204 calculates a circumscribed rectangle for the union of the two detection frames from the set of detection results, and calculates the upper left coordinate and lower right coordinate of the region to be extracted based on the calculated circumscribed rectangle. Details are the same as the processing in step S305 shown in FIG.
  • the upper left coordinates of the region to be extracted are (1, 168), and the lower right coordinates are (352, 542).
  • FIG. 14F shows an example of an extracted image 1404 extracted from the input image based on the upper left coordinate and lower right coordinate of the region to be extracted calculated in this way. Since the upper left coordinates of the region to be extracted are (1,168) and the lower right coordinates are (352,542), the extracted image 1404 is an image of 351 ⁇ 374 pixels.
  • step S1307 the image processing unit 1208 transforms the 351 ⁇ 374 pixel image extracted in step S1306 into a 224 ⁇ 224 pixel image (hereinafter referred to as the second processing target image).
  • the deformation magnification in the horizontal direction is (224/351)
  • the deformation magnification in the vertical direction is (224/374).
  • FIG. 14G An example of the second image to be processed is shown in FIG. 14G.
  • step S1308 the object detection unit 1202 performs face detection processing for detecting a person's face using the second processing target image in the same manner as in step S306 shown in FIG. A “face with glasses” and a “face without glasses” are detected.
  • FIG. 14H shows an example of the detection result of face detection processing for the second processing target image.
  • one detection result E is obtained, and the upper left coordinates (x1, y1) and lower right coordinates (x2, y2) of the detection frame, attributes, and reliability are output. Note that the coordinates of the detection frame in FIG. 14H are the coordinates in the second processing target image.
  • the result correction unit 205 reflects the detection result of the extracted image on the detection result of the input image based on the detection result of the second processing target image obtained in step S1308. Specifically, similarly to step S307 shown in FIG. 3, the result correction unit 205 converts the coordinates of the detection result for the second processing target image into the coordinates of the input image. At this time, the result correction unit 205 uses the upper left coordinate of the region to be extracted from the input image obtained in step S1306 and the deformation magnification information obtained in step S1307 to modify the detection result for the second processing target image. Convert coordinates to input image coordinates. An example of the detection result E in the input image is shown in FIG. 14I.
  • step S1310 the result output unit 206 determines whether or not processing has been completed for all combinations of detection results in which the overlap rate of the detection frame is equal to or greater than the threshold. If the result output unit 206 determines that the processing has been completed for all combinations of detection results having an overlap rate equal to or greater than the threshold (YES in step S1310), the process proceeds to step S1311. If the result output unit 206 determines that there is an unprocessed combination among the combinations of detection results whose overlap rate is equal to or greater than the threshold (NO in step S1310), the process proceeds to step S1306, and the unprocessed combination is processed after step S1306. process.
  • step S1311 the result output unit 206 outputs an image in which the final detection result for the input image is superimposed on the input image, ends the process, and proceeds to process the next input image.
  • the extracted image used in the second detection process is extracted from the input image instead of the image used in the first detection process.
  • the final detection result of object detection for the input image is more appropriate. can be output.
  • a part of the object to be detected is cut out when the image used in the first detection process is cut out from the input image, a more appropriate detection result of the object detection for the input image is finally obtained. Detection results can be output.
  • the image acquisition unit 1201 extracts one region from the input image, but may extract a plurality of regions and repeat the processing of steps S1302 to S1311 for each region. Further, it is also possible to incorporate the processing of this embodiment into the above-described second and third embodiments.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

画像から複数の属性に係る物体検出を行う物体検出部と、物体検出部の検出結果について異なる属性の検出結果の重なりを判定する重なり判定部と、物体検出部による物体検出の検出結果を修正する結果修正部とを有し、結果修正部は、第１の画像から抽出した第２の画像に対する物体検出の検出結果に基づいて、第１の画像に対する物体検出の検出結果を修正する。

Description

情報処理装置、情報処理システム、情報処理方法、及びプログラム
　本発明は、画像から物体を検出する技術に関する。
　近年、監視カメラ等の撮像装置により撮像された画像を用いて物体の検出や追尾、属性の推定等を行う画像解析や、そのような画像解析の結果を用いた物体数の推定が様々なシーンで行われている。物体の検出では、例えば、検出対象の物体の位置及び大きさ、物体の属性、物体の信頼度等を出力する。物体の検出において、一つの物体に対して複数の検出結果が生じる場合がある。それにより、検出結果の信頼性低下や統計データの信頼性低下などにつながるという課題がある。そのような課題に対し、特開２０１８－１８０９４５号公報には、検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠を、検出枠の性質に応じて統合し最終的な物体検出枠として出力する技術が開示されている。
特開２０１８－１８０９４５号公報
　特開２０１８－１８０９４５号公報に開示された技術では、検出結果の信頼性が低い場合でもその検出結果を使用して検出枠の統合を行い最終的な物体検出枠として出力するため、最終的な物体検出枠の信頼性が低くなってしまうことがある。本発明は、このような事情に鑑みてなされたものであり、画像を用いた物体の検出において、最終的により適切な検出結果を出力できるようにすることを目的とする。
　本発明に係る情報処理装置は、画像から複数の属性に係る物体検出を行う検出手段と、前記検出手段の検出結果について異なる属性の検出結果の重なりを判定する判定手段と、前記検出手段による物体検出の検出結果を修正する修正手段と、を有し、前記修正手段は、第１の画像から抽出した第２の画像に対する物体検出の検出結果に基づいて、前記第１の画像に対する物体検出の検出結果を修正することを特徴とする。
　本発明によれば、画像を用いた物体の検出において、最終的により適切な検出結果を出力することが可能となる。
第１の実施形態による情報処理装置の構成例を示す図である。 第１の実施形態による情報処理装置の機能構成例を示す図である。 第１の実施形態による物体検出処理を説明するフローチャートである。 第１の実施形態による物体検出処理を説明する図である。 第１の実施形態による物体検出処理を説明する図である。 第１の実施形態による物体検出処理を説明する図である。 第１の実施形態による物体検出処理を説明する図である。 第１の実施形態による物体検出処理を説明する図である。 第１の実施形態による物体検出処理を説明する図である。 第１の実施形態による物体検出処理を説明する図である。 第１の実施形態による物体検出処理を説明する図である。 第２の実施形態による情報処理装置の構成例を示す図である。 第２の実施形態による情報処理装置の機能構成例を示す図である。 第２の実施形態による物体検出処理を説明するフローチャートである。 第２の実施形態による物体検出処理を説明する図である。 第２の実施形態による物体検出処理を説明する図である。 第２の実施形態による物体検出処理を説明する図である。 第２の実施形態による物体検出処理を説明する図である。 第２の実施形態による物体検出処理を説明する図である。 第３の実施形態による情報処理装置の機能構成例を示す図である。 第３の実施形態による物体検出処理を説明するフローチャートである。 第３の実施形態による物体検出処理を説明する図である。 第３の実施形態による物体検出処理を説明する図である。 第３の実施形態による物体検出処理を説明する図である。 第４の実施形態による情報処理装置の機能構成例を示す図である。 第４の実施形態による物体検出処理を説明するフローチャートである。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。 第４の実施形態による物体検出処理を説明する図である。
　以下、本発明の実施形態を図面に基づいて説明する。
　［第１の実施形態］
　図１は、本実施形態による情報処理装置１００の構成例を示すブロック図である。本実施形態における情報処理装置１００は、監視カメラ等の撮像装置によって撮像された画像から、検出対象の物体の検出を行う物体検出機能を有する。以下では、一例として人物の顔を検出する場合について説明するが、これに限定されるものではなく、画像を解析して所定の物体を検出する任意のシステムに適用することができる。
　本実施形態による情報処理装置１００は、ＣＰＵ１０１、メモリ１０２、通信インターフェース（Ｉ／Ｆ）部１０３、表示部１０４、入力部１０５、及び記憶部１０６を有する。ＣＰＵ１０１、メモリ１０２、通信Ｉ／Ｆ部１０３、表示部１０４、入力部１０５、及び記憶部１０６は、システムバスを介して通信可能に接続されている。なお、本実施形態による情報処理装置１００は、これ以外の構成をさらに有していてもよい。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１は、情報処理装置１００の全体の制御を司る。ＣＰＵ１０１は、例えばシステムバスを介して接続される各機能部の動作を制御する。メモリ１０２は、ＣＰＵ１０１が処理に利用するデータ、プログラム等を記憶する。また、メモリ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等としての機能を有する。ＣＰＵ１０１がメモリ１０２に記憶されたプログラムに基づき処理を実行することにより、後述する図２に示す情報処理装置１００の機能構成及び後述する図３に示すフローチャートの処理が実現される。
　通信Ｉ／Ｆ部１０３は、情報処理装置１００をネットワークに接続するインターフェースである。表示部１０４は、液晶ディスプレイ等の表示部材を有し、ＣＰＵ１０１による処理の結果等を表示する。入力部１０５は、マウス又はボタン等の操作部材を有し、ユーザの操作を情報処理装置１００に入力する。記憶部１０６は、例えば、ＣＰＵ１０１がプログラムに係る処理を行う際に必要な各種データ等を記憶する。また、記憶部１０６は、例えば、ＣＰＵ１０１がプログラムに係る処理を行うことにより得られた各種データ等を記憶する。なお、ＣＰＵ１０１が処理に利用するデータ、プログラム等を記憶部１０６に記憶するようにしてもよい。
　図２は、情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、画像取得部２０１、物体検出部２０２、重なり判定部２０３、画像抽出部２０４、結果修正部２０５、結果出力部２０６、及び記憶部２０７を有する。
　画像取得部２０１は、物体検出を行う対象となる画像を取得する。本実施形態では、物体検出を行う対象となる画像は、通信Ｉ／Ｆ部１０３を通じて外部から取得する。以下では、この画像取得部２０１が取得した、物体検出を行う対象となる画像のデータを単に「入力画像」とも呼ぶ。以下の説明では、入力画像は、一例として水平方向（横方向）の幅が１０８０ピクセルであり、垂直方向（縦方向）の高さが７２０ピクセルである、１０８０×７２０ピクセルのＲＧＢ画像とする。なお、入力画像は、１０８０×７２０ピクセルのＲＧＢ画像に限定されるものではなく、任意の画像を入力画像とすることができ、例えば水平方向の幅や垂直方向の高さが異なっていてもよい。
　物体検出部２０２は、画像から複数の属性（クラス）に係る物体検出を行う。本実施形態では、物体検出部２０２は、画像取得部２０１によって取得された画像から人物の顔を検出する。また、物体検出部２０２は、画像に含まれる「メガネ着用の顔」と「メガネ非着用の顔」とを検出できるように学習が行われた機械学習モデルを用いて、検出結果を出力する。「メガネ着用の顔」と「メガネ非着用の顔」との検出は、例えば下記文献１に記載の技術を適用することで実現できる。
（文献１）Ｊ．Ｒｅｄｍｏｎ，Ａ．Ｆａｒｈａｄｉ，”ＹＯＬＯ９０００：Ｂｅｔｔｅｒ　Ｆａｓｔｅｒ　Ｓｔｒｏｎｇｅｒ”，Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　（ＣＶＰＲ）　２０１６．
　ここで、物体検出部２０２が出力する検出結果は、検出した顔の位置及び大きさ、顔の属性（クラス）、及び検出の信頼度であるとする。顔の位置及び大きさは、例えば顔を囲む矩形枠を規定する座標（例えば、矩形の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２））により出力される。また、顔の属性は、メガネ着用の顔であるか又はメガネ非着用の顔であるかを示す。また、検出の信頼度は、例えば、信頼度が最も低い場合を０とし、信頼度が最も高い場合を１として、０～１の実数で出力される。以下では、顔を囲む矩形枠、顔の属性、及び検出の信頼度のそれぞれを、単に、「検出枠」、「属性」、「信頼度」とも呼ぶ。なお、検出結果の出力方法は、前述した例に限定されるものではなく、検出した顔の位置及び大きさ、顔の属性、及び検出の信頼度がそれぞれ認識できればよい。
　重なり判定部２０３は、物体検出部２０２によって得られた検出結果について異なる属性の検出結果の重なりを判定する。重なり判定部２０３は、物体検出部２０２によって得られた全検出結果のうち、任意の２つの検出枠を組として、組毎に検出枠の重なり率を算出する。重なり判定部２０３は、算出した重なり率が閾値以上である、すなわち検出枠の領域が所定の割合以上重なった検出枠の組があれば重なりありと判定し、その検出結果の組を出力する。本実施形態では、重なり率は、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）で計算するものとし、閾値は一例として０．５とする。つまり、２つの検出枠の領域の共通部分を領域の和集合で割ったときの商が０．５以上であれば重なり判定部２０３は重なりありと判定する。閾値以上重なった検出枠の組がない場合には、重なり判定部２０３は、重なりなしと判定する。
　画像抽出部２０４は、重なり判定部２０３による判定結果に基づき、入力画像と重なり判定部２０３により重なりありと判定された検出結果の組とを用いて、入力画像から指定された領域を抽出する。画像抽出部２０４は、抽出した領域の画像（以下、「抽出画像」とも呼ぶ）と、入力画像に対する抽出する領域の左上の座標を出力する。本実施形態では、抽出する領域の左上座標を（ｘ１－（（ｘ２－ｘ１）／１０），ｙ１－（（ｙ２－ｙ１）／１０））、右下座標を（ｘ２＋（（ｘ２－ｘ１）／１０），ｙ２＋（（ｙ２－ｙ１）／１０））とし、検出枠の和集合に対してマージンを取って抽出する。画像抽出部２０４は、抽出画像と、抽出する領域の左上座標（ｘ１－（（ｘ２－ｘ１）／１０），ｙ１－（（ｙ２－ｙ１）／１０））とを出力する。ここで、（ｘ１，ｙ１）は２つの検出枠の和集合を包含する矩形領域の左上座標であり、（ｘ２，ｙ２）は２つの検出枠の和集合を包含する矩形領域の右下座標である。なお、抽出する領域が入力画像の範囲を超えた領域については、例えば白色で塗りつぶすものとする。
　結果修正部２０５は、物体検出部２０２による抽出画像に対する検出結果を、抽出画像に対する検出結果の数に応じて入力画像の検出結果に反映する。結果修正部２０５は、まず入力画像の検出結果のうち、抽出した領域を算出した際に使用された検出結果を削除する。次に、結果修正部２０５は、抽出画像に対する検出結果の数が１つである場合、抽出画像で得られた検出結果に置き換える。また、結果修正部２０５は、抽出画像に対する検出結果の数が２つ以上である場合、検出枠が２つの検出枠の和集合を包含する矩形領域であって、顔の属性が「メガネ着用不明」、検出の信頼度が１である検出結果を生成して置き換える。
　結果出力部２０６は、入力画像に検出結果を重畳した画像を出力する。本実施形態では、結果出力部２０６は、例えば、検出結果に基づいて属性に応じた検出枠を入力画像に重畳した画像を出力する。記憶部２０７は、情報処理装置１００の各機能部２０１～２０６での処理に用いるデータや処理結果として得られるデータ等を記憶する。
　次に、図３及び図４Ａ～図４Ｈを参照して、情報処理装置１００が行う処理について説明する。図３は、第１の実施形態による物体検出処理を説明するフローチャートである。図４Ａ～図４Ｈは、第１の実施形態による物体検出処理を説明する図である。
　ステップＳ３０１において、画像取得部２０１は、入力画像（物体検出を行う対象となる画像）を取得する。入力画像４１０の一例を図４Ａに示す。本実施形態では、入力画像４１０は、前述したように１０８０×７２０ピクセルの画像であるとする。
　ステップＳ３０２において、物体検出部２０２は、入力画像を用いて検出対象である人物の顔を検出する顔検出処理を行い、入力画像から「メガネ着用の顔」と「メガネ非着用の顔」とを検出する。入力画像に対する顔検出処理の検出結果の例を図４Ｂに示し、検出結果を入力画像に重畳した画像の例を図４Ｃに示す。図４Ｂに示した例では、検出結果として４つの検出結果Ａ～Ｄが得られ、それぞれ検出枠の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２）と、属性（「メガネ着用」又は「メガネ非着用」）と、信頼度とが出力される。また、図４Ｃに示した例では、入力画像４１０に対して検出結果Ａ～Ｄに対応する検出枠４１１～４１４が重畳して表示されている。この例では、メガネ着用の顔として検出された検出結果Ａ、Ｄに対応する検出枠４１１、４１４が破線の矩形枠で表示され、メガネ非着用の顔として検出された検出結果Ｂ、Ｃに対応する検出枠４１２、４１３が実線の矩形枠で表示されている。
　ステップＳ３０３において、重なり判定部２０３は、入力画像に対する検出結果の内の任意の２つの検出結果を組として、入力画像に対する検出結果の各組合せについて検出枠の重なり率を計算する。本例では、検出結果Ａの検出枠の左上座標が（２０，２００）であり、右下座標が（３２０，５００）である。また、検出結果Ｂの検出枠の左上座標が（４０，２１０）であり、右下座標が（３４０，５１０）である。したがって、検出結果Ａと検出結果Ｂの検出枠の重なり率は、
　　ＩｏＵ（Ａ，Ｂ）＝（（３２０－４０）×（５００－２１０））÷（３００×３００＋３００×３００－（（３２０－４０）×（５００－２１０）））≒０．８２
　となる。その他の組み合わせにおいて、検出枠の重なり率は０となる。
　ステップＳ３０４において、重なり判定部２０３は、ステップＳ３０３で算出した重なり率が閾値以上となった検出結果の組み合わせがあるか否かを判定する。重なり判定部２０３は、検出枠の重なり率が閾値以上となった検出結果の組み合わせがあると判定した場合（ステップＳ３０４でＹＥＳ）、重なり率が閾値以上となった検出結果の組み合わせを出力し、ステップＳ３０５に移行する。一方、重なり判定部２０３は、検出枠の重なり率が閾値以上となった検出結果の組み合わせがないと判定した場合（ステップＳ３０４でＮＯ）、ステップＳ３０９に移行する。本実施形態の例では、重なり率の閾値は０．５であるとする。重なり判定部２０３は、ステップＳ３０３において算出した重なり率が０．５以上となった検出結果の組が存在する場合にはステップＳ３０５に移行し、存在しない場合にはステップＳ３０９に移行する。本例では、検出結果Ａと検出結果Ｂの検出枠の重なり率が０．５以上であるので、重なり判定部２０３は、重なり率が０．５以上となった組み合わせ（Ａ，Ｂ）を出力し、ステップＳ３０５に移行する。
　ステップＳ３０５において、画像抽出部２０４は、入力画像とステップＳ３０４で出力された検出結果の組を用いて、入力画像から指定された領域を抽出し、抽出画像と、入力画像に対する抽出する領域の左上の座標を出力する。詳細には、まず、画像抽出部２０４は、検出結果の組から２つの検出枠の和集合に対する外接矩形を算出する。本例では、組み合わせ（Ａ，Ｂ）について外接矩形を算出する。図４Ｂに示したように、検出結果Ａの検出枠の左上座標が（２０，２００）、右下座標が（３２０，５００）であり、検出結果Ｂの検出枠の左上座標が（４０，２１０）、右下座標が（３４０，５１０）である。したがって、組み合わせ（Ａ，Ｂ）の外接矩形は、左上座標が（２０，２００）となり、右下座標が（３４０，５１０）となる。次に、画像抽出部２０４は、算出した外接矩形に基づいて、抽出する領域の左上座標及び右下座標を算出する。本例では、組み合わせ（Ａ，Ｂ）の外接矩形は、左上座標が（２０，２００）、右下座標が（３４０，５１０）である。したがって、抽出する領域の左上座標は、（２０－（（３４０－２０）／１０），（２００－（（５１０－２００）／１０）＝（－１２，１６９）となる。また、抽出する領域の右下座標は、（３４０＋（（３４０－２０）／１０），５１０＋（（５１０－２００）／１０））＝（３７２，５４１）となる。抽出する領域の左上座標が（－１２，１６９）となり、右下座標が（３７２，５４１）となるので、抽出画像は、水平方向の幅が３８４ピクセルとなり、垂直方向の高さが３７２ピクセルとなる。これをもとに抽出した抽出画像４２０の例を図４Ｄに示す。
　ステップＳ３０６において、物体検出部２０２は、ステップＳ３０５で抽出した抽出画像を用いて顔検出処理を行い、抽出画像から「メガネ着用の顔」と「メガネ非着用の顔」とを検出する。抽出画像に対する顔検出処理の検出結果の例を図４Ｅに示し、検出結果を抽出画像に重畳した画像の例を図４Ｆに示す。図４Ｅに示した例では、検出結果Ｅが得られ、検出枠の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２）と、属性と、信頼度とが出力される。また、図４Ｆに示した例では、メガネ着用の顔として検出された検出結果Ｅに対応する検出枠４２１が破線の矩形枠で抽出画像４２０に重畳して表示されている。
　ステップＳ３０７において、結果修正部２０５は、ステップＳ３０６で得られた抽出画像に対する検出結果を、入力画像の検出結果に反映する。本例では、抽出画像の検出結果（ここでは検出結果Ｅ）が１つであるため、結果修正部２０５は、抽出画像に対応づいた検出結果Ａ及び検出結果Ｂを削除し、抽出画像の検出結果Ｅで置き換える。このとき、検出結果Ｅの検出枠の座標を、入力画像に対する抽出する領域の左上座標（－１２，１６９）を基準として、入力画像における座標に変換する。抽出画像における検出結果Ｅの検出枠の左上座標が（４２，３６）であり、右下座標が（３４２，３３６）であるので、入力画像における検出結果Ｅの検出枠の左上座標は（３０，２０５）であり、右下座標は（３３０，５０５）である。変換した結果を含む入力画像の最終結果の例を図４Ｇに示す。
　ステップＳ３０８において、結果出力部２０６は、検出枠の重なり率が閾値以上となった検出結果のすべての組み合わせについて処理を完了したか否かを判定する。結果出力部２０６は、重なり率が閾値以上となった検出結果のすべての組み合わせについて処理が完了したと判定した場合（ステップＳ３０８でＹＥＳ）、ステップＳ３０９に移行する。一方、結果出力部２０６は、重なり率が閾値以上となった検出結果の組み合わせにおいて未処理の組み合わせがあると判定した場合（ステップＳ３０８でＮＯ）、ステップＳ３０５に移行し、未処理の組み合わせについてステップＳ３０５以降の処理を実行する。
　ステップＳ３０９において、結果出力部２０６は、図４Ｇに示したような入力画像に対する最終の検出結果を入力画像に重畳した画像を出力して、処理を終了し次の入力画像の処理に移行する。入力画像に対する最終の検出結果を入力画像に重畳した画像の例を図４Ｈに示す。図４Ｈに示した例では、入力画像４１０に対して検出結果Ｃ、Ｄ、Ｅに対応する検出枠４１３、４１４、４２１が重畳して表示されている。この例では、メガネ着用の顔として検出された検出結果Ｄ、Ｅに対応する検出枠４１４、４２１が破線の矩形枠で表示され、メガネ非着用の顔として検出された検出結果Ｃに対応する検出枠４１３が実線の矩形枠で表示されている。
　第１の実施形態によれば、入力画像に対する物体検出において、異なる属性の検出結果の重なりが生じた場合に、重なりが生じた領域を抽出した抽出画像に対して物体検出を行い、抽出画像に対する検出結果を用いて入力画像の検出結果を修正する。これにより、入力画像に対する物体検出の検出結果として、最終的により適切な検出結果を出力することができる。
　（変形例）
　なお、物体検出部２０２において、検出対象とする物体の種類や物体検出を行う画像のサイズは任意でよい。また、検出したい物体を検出することができる技術であれば、物体検出部２０２は、文献１に開示されている技術に限らず、様々な技術を適用可能である。また、重なり判定部２０３において、検出対象の種類が３種類以上であった場合には、任意の２種類の検出結果の組み合わせに対して、前述した重なりの判定手法を適用可能である。
　結果修正部２０５は、抽出画像に対する検出結果の数が２つ以上の場合、前述した処理に限らず、以下のような他の処理を行うようにしても良い。例えば、顔の属性に対しては検出の信頼度が最も高い検出結果の顔の属性を用いても良いし、また、検出結果そのもの（検出枠、属性、及び信頼度）を検出の信頼度が最も高い検出結果そのもので置き換えても良い。このとき、入力画像に対する検出結果と抽出画像に対する検出結果との中で最も信頼度が高いものを選択しても良い。
　さらに、画像抽出部２０４において抽出する領域は、検出枠の和集合が含まれる矩形領域であれば任意で良い。例えば、検出枠の和集合に対する外接矩形に対するマージンを０としてもよいし、物体検出部２０２の仕様に基づいて所定のマージンを設定しても良い。例えば、入力画像の横幅に対して物体検出部２０２での検出精度が最も向上する物体の横幅の割合が５０％であった場合、検出枠の和集合が含まれる矩形領域の幅が入力画像の幅の５０％となるようにマージンを設定しても良い。また、画像抽出部２０４は、入力画像から指定された領域を抽出するだけでなく、抽出画像に対して画像を左右反転させたり、画像をｘ方向又はｙ方向にシフトさせたり、輝度や色相等の画素値を変更させたりするようにしても良い。
　また、入力画像の検出結果で重なりが生じた場合に２回目の検出を行わず（すなわちステップＳ３０５及びステップＳ３０６の処理をスキップする）、結果修正部２０５が直接検出結果を生成し、重なりが生じた検出結果と置き換えてもよい。例えば、新しい検出枠は、重なった検出枠の和集合を包含する矩形領域とし、顔の属性は結果不明を示す「メガネ着用不明」とし、検出の信頼度は１とするような検出結果を生成して、重なりが生じた検出結果と置き換えてもよい。さらに、抽出画像に対する検出結果が空の場合には、同様に結果修正部２０５により直接検出結果を生成し、重なりが生じた検出結果と置き換えてもよい。
　［第２の実施形態］
　前述した第１の実施形態では１つの情報処理装置によって物体検出処理を行っていたが、第２の実施形態では複数の情報処理装置によって物体検出処理を行う場合について説明する。以下の第２の実施形態に係る説明において、第１の実施形態と同様の点については説明を省略する。
　図５は、本実施形態による情報処理装置１００及び情報処理装置５００を有する情報処理システムの構成例を示すブロック図である。図５において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。本実施形態における情報処理装置１００及び情報処理装置５００は、監視カメラ等の撮像装置によって撮像された画像から、検出対象の物体の検出を行う物体検出機能を有する。以下では、一例として人物の顔を検出する場合について説明するが、これに限定されるものではなく、画像を解析して所定の物体を検出する任意のシステムに適用することができる。
　情報処理装置１００と情報処理装置５００とは、ネットワーク５１０を通じて接続されている。情報処理装置５００は、ＣＰＵ５０１、メモリ５０２、通信Ｉ／Ｆ部５０３、及び記憶部５０４を有する。ＣＰＵ５０１、メモリ５０２、通信Ｉ／Ｆ部５０３、及び記憶部５０４は、システムバスを介して通信可能に接続されている。なお、本実施形態による情報処理装置５００は、これ以外の構成をさらに有していてもよい。情報処理装置１００は第１の情報処理装置の一例であり、情報処理装置５００は第２の情報処理装置の一例である。また、通信Ｉ／Ｆ部１０３は第１の通信手段の一例であり、通信Ｉ／Ｆ部５０３は第２の通信手段の一例である。
　ＣＰＵ５０１は、情報処理装置５００の全体の制御を司る。ＣＰＵ５０１は、例えばシステムバスを介して接続される各機能部の動作を制御する。メモリ５０２は、ＣＰＵ５０１が処理に利用するデータ、プログラム等を記憶する。また、メモリ５０２は、ＣＰＵ５０１の主メモリ、ワークエリア等としての機能を有する。ＣＰＵ５０１がメモリ５０２に記憶されたプログラムに基づき処理を実行することにより、後述する図６に示す情報処理装置５００の機能構成及び後述する図７に示すフローチャートの処理の一部が実現される。
　通信Ｉ／Ｆ部５０３は、情報処理装置５００をネットワーク５１０に接続するインターフェースである。記憶部５０４は、例えば、ＣＰＵ５０１がプログラムに係る処理を行う際に必要な各種データ等を記憶する。また、記憶部５０４は、例えば、ＣＰＵ５０１がプログラムに係る処理を行うことにより得られた各種データ等を記憶する。なお、ＣＰＵ５０１が処理に利用するデータ、プログラム等を記憶部５０４に記憶するようにしてもよい。
　図６は、情報処理装置５００の機能構成例を示すブロック図である。情報処理装置５００は、画像取得部６０１、物体検出部６０２、画像加工部６０３、結果出力部６０４、及び記憶部６０５を有する。
　画像取得部６０１は、物体検出を行う対象となる画像を取得する。本実施形態では、情報処理装置５００において物体検出を行う対象となる画像は抽出画像であり、画像取得部６０１は、ネットワーク５１０経由で通信Ｉ／Ｆ部６０３を通じて情報処理装置１００から抽出画像を取得する。
　物体検出部６０２は、画像から複数の属性（クラス）に係る物体検出を行う。物体検出部６０２は、物体検出部２０２と同様にして、抽出画像に含まれる「メガネ着用の顔」と「メガネ非着用の顔」とを検出する。本実施形態では、物体検出部６０２は、一例として水平方向（横方向）の幅及び垂直方向（縦方向）の高さがともに４４８ピクセルである４４８×４４８ピクセルのＲＧＢ画像から検出を行うものとする。その他は物体検出部２０２と同様である。
　画像加工部６０３は、抽出画像を指定サイズに変形し、変形後の画像と、縦及び横それぞれの変形倍率を出力する。なお、画像を変形させる際のアルゴリズムは一般的に知られているバイキュービック法等の任意の手法を用いることができる。また、画像を拡大する際には超解像技術を用いてもよい。本実施形態の例では、画像加工部６０３は、抽出画像を４４８×４４８ピクセルの画像に変形する。この場合、抽出画像の幅がｗピクセル、高さがｈピクセルであれば、縦の変形倍率は（４４８／ｗ）となり、横の変形倍率は（４４８／ｈ）となる。
　結果出力部６０４は、画像加工部６０３から出力される変形倍率を用いて、物体検出部６０２から出力される検出結果の検出枠を変形前の抽出画像における座標に補正して出力する。本実施形態の例では、左上座標（ｘ１，ｙ１）と右下座標（ｘ２，ｙ２）の検出枠に対し、縦及び横の変形倍率がそれぞれｗｍ、ｈｍである場合、補正された左上座標は（ｘ１／ｗｍ，ｙ１／ｈｍ）となり、右下座標は（ｘ２／ｗｍ，ｙ２／ｈｍ）となる。記憶部６０５は、情報処理装置５００の各機能部６０１～６０４での処理に用いるデータや処理結果として得られるデータ等を記憶する。
　次に、図３、図７及び図８Ａ～図８Ｅを参照して、情報処理装置１００、５００が行う処理について説明する。図７は、第２の実施形態による物体検出処理を説明するフローチャートである。図８Ａ～図８Ｅは、図７に示すフローチャートの処理を説明する図である。
　第２の実施形態による物体検出処理において、図３に示したステップＳ３０１～ステップＳ３０６の処理、及びステップＳ３０８～Ｓ３０９の処理は、第１の実施形態による物体検出処理と同様である。第２の実施形態による物体検出処理は、図３に示したステップＳ３０７での処理が第１の実施形態による物体検出処理と異なる。図３に示したステップＳ３０７の処理に対応する処理の、第２の実施形態における詳細な処理の流れを、図７を参照して説明する。
　ステップＳ７０１において、情報処理装置１００の結果修正部２０５は、ステップＳ３０６で得られた抽出画像に対する検出結果の数が２つ以上であるか否かを判定する。結果修正部２０５は、抽出画像に対する検出結果の数が２つ以上であると判定した場合（ステップＳ７０１でＹＥＳ）にはステップＳ７０２に移行し、２つ以上でないと判定した場合（ステップＳ７０１でＮＯ）にはステップＳ７０６に移行する。
　ステップＳ７０２において、情報処理装置５００の画像取得部６０１は、情報処装置１００から抽出画像を受信する。受信した抽出画像７１０の一例を図８Ａに示す。ここで、本例において抽出画像７１０は、図４Ｄに示した第１の実施形態における抽出画像４２０と同様とし、水平方向の幅が３８４ピクセルであり、垂直方向の高さが３７２ピクセルの画像であるとする。
　ステップＳ７０３において、情報処理装置５００の画像加工部６０３は、ステップＳ７０２で受信した抽出画像を所定のサイズに変形し、変形後の画像と、縦及び横それぞれの変形倍率を出力する。本例では、画像加工部６０３は、ステップＳ７０２で受信した３８４×３７２ピクセルの抽出画像を４４８×４４８ピクセルの画像に変形する。したがって、縦方向の変形倍率は（４４８／３８４）となり、横方向の変形倍率は（４４８／３７２）となる。
　ステップＳ７０４において、情報処理装置５００の物体検出部６０２は、変形後の抽出画像を用いて顔検出処理を行い、変形後の抽出画像から「メガネ着用の顔」と「メガネ非着用の顔」とを検出する。変形後の抽出画像に対する顔検出処理の検出結果の例を図８Ｂに示し、変形後の抽出画像に検出結果を重畳した画像の例を図８Ｃに示す。図８Ｂに示した例では、１つの検出結果Ｆが得られ、検出枠の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２）と、属性と、信頼度とが出力される。なお、図８Ｂにおける検出枠の座標は、変形後の抽出画像における座標である。また、図８Ｃに示した例では、メガネ着用の顔として検出された検出結果Ｆに対応する検出枠７２１が破線の矩形枠で変形後の抽出画像７２０に重畳して表示されている。
　ステップＳ７０５において、情報処理装置５００の結果出力部６０６は、縦横の変形倍率を用いて、ステップＳ７０４で出力された検出結果の検出枠の座標を変形前の抽出画像における座標を補正して出力する。すなわち、結果出力部６０６は、４４８×４４８ピクセルの変形後の画像における検出枠の座標を、縦横の変形倍率４４８／３８４及び４４８／３７２を用いて、３８４×３７２ピクセルの変形前の画像における座標に変換し、情報処理装置１００に出力する。変換した検出結果の例を図８Ｄに示し、検出結果を３８４×３７２ピクセルの抽出画像に重畳した画像の例を図８Ｅに示す。図８Ｄに示した例では、検出結果Ｆの検出枠の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２）がそれぞれ変形倍率に応じて変換されている。また、図８Ｅに示した例では、メガネ着用の顔として検出された検出結果Ｆに対応する検出枠７１１が破線の矩形枠で変形前の抽出画像７１０に重畳して表示されている。
　ステップＳ７０６において、情報処理装置１００の結果修正部２０５は、ステップＳ７０５で情報処理装置５００の結果出力部６０４から出力された抽出画像に対する検出結果を、入力画像の検出結果に反映する。本例では、抽出画像の検出結果（ここでは検出結果Ｆ）が１つであるため、結果修正部２０５は、抽出画像に対応づいた検出結果Ａ及び検出結果Ｂを削除し、抽出画像の検出結果Ｆで置き換える。
　第２の実施形態によれば、物体検出において異なる属性の検出結果の重なりが生じた場合に、重なりが生じた領域の画像に対して物体検出を行い、その検出結果を用いて入力画像の検出結果を修正する。これにより、入力画像に対する物体検出の検出結果として、最終的により適切な検出結果を出力することができる。
　（変形例）
　なお、本実施形態では２つの情報処理装置１００、５００がネットワーク５１０を通じて接続されている構成としている。しかし、これに限定されるものではなく、例えば情報処理装置１００がカメラなどのエッジデバイスで、情報処理装置５００がエッジデバイスの外部端子（ＵＳＢ等）に接続されたデバイスであっても良い。また、情報処理装置１００がＰＣ（パーソナル・コンピュータ）で情報処理装置５００がクラウド上に存在していても良い。
　また、物体検出部６０２は、物体検出部２０２と同様に「メガネ着用の顔」と「メガネ非着用の顔」とを検出するようにしているが、例えば「メガネ着用の顔」と「メガネ非着用の顔」の内の一方だけを検出する検出器であってもよい。例えば「メガネ着用の顔」だけを検出する検出器とした場合、「メガネ着用の顔」が検出されれば検出結果を「メガネ着用の顔」とし、「メガネ着用の顔」が検出されなければ検出結果を「メガネ非着用の顔」とすることができる。また他にも、顔を検出する検出器と、メガネの着用の有無を判別する判別器の２種類に分かれていても良い。
　［第３の実施形態］
　前述した実施形態では単一の入力画像を用いて処理を行っていたが、第３の実施形態では撮影タイミングの異なる２つの入力画像を用いて処理を行う場合について説明する。以下の第３の実施形態に係る説明において、第１の実施形態と同様の点については説明を省略する。本実施形態による情報処理装置１００の構成は、図１に示した第１の実施形態における構成例と同様である。
　図９は、情報処理装置１００の機能構成例を示すブロック図である。図９において、図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。情報処理装置１００は、画像取得部２０１、物体検出部２０２、重なり判定部２０３、画像抽出部９０４、結果修正部９０５、結果出力部２０６、記憶部２０７、及び対応付け部９０８を有する。
　画像抽出部９０４は、画像抽出部２０４と同様に、重なり判定部２０３による判定結果に基づき、入力画像と重なり判定部２０３により重なりありと判定された検出結果の組とを用いて、入力画像から指定された領域を抽出する。画像抽出部９０４は、抽出画像と、入力画像に対する抽出する領域の左上の座標を出力する。画像抽出部９０４は、さらに、抽出画像に対する検出結果の数が２つ以上である場合、検出枠の和集合を新たに検出枠とした検出結果を出力する。このとき、顔の属性が「メガネ着用不明」、検出の信頼度が１とする。なお、検出枠の座標は、第１の実施形態と同様の方法で、入力画像における座標に変換する。
　対応付け部９０８は、過去の検出結果と現在の検出結果との対応付けを行う。対応付け部９０８は、検出結果（以下、「今回の検出結果」あるいは「今回の検出枠」とも呼ぶ）を、保持している追尾情報と対応付けて追尾情報を更新し、検出結果の属性を追尾情報に基づいて更新する。追尾情報として、追尾ＩＤと追尾ＩＤに対応する検出枠の座標（左上座標及び右下座標）、属性、及び属性の統計情報が記憶される。ここで、属性の統計情報とは、過去における既定回数分の属性の履歴（登場回数）を指す。本実施形態の例では、既定回数を２回とし、例えば前回の属性がメガネ着用であり、今回の属性がメガネ非着用であった場合、属性の統計情報として、メガネ着用が１、メガネ非着用が１となる。属性がメガネ着用不明である場合、属性の統計情報には追加しない。
　また、対応付け部９０８は、過去の検出結果の属性に係る情報に基づいて、今回（現在）の検出結果の属性を更新する。具体的には、対応付け部９０８は、属性の統計情報に基づいて、その時点で最も出現頻度の高い（出現回数の多い）属性をその検出結果の属性として更新する。出現頻度が等しい場合には、今回の検出結果での属性が優先される。今回の検出結果と保持している追尾情報と対応付けについては、例えば、各追尾ＩＤに対応する検出枠の座標と、今回の検出結果の検出枠の座標とに基づいて行う。本実施形態では、各追尾ＩＤに対応する検出枠の中心座標と、今回の任意の検出枠の中心座標との距離を全組み合わせについて計算し、距離が閾値（本実施形態では１００とする）以下かつ最も距離が短い追尾ＩＤと今回の検出結果の組み合わせを対応付ける。また、追尾ＩＤに対応する座標を今回の検出枠の中心座標に更新する。今回の検出結果と対応づかなかった追尾ＩＤは削除される。追尾ＩＤと対応づかなかった今回の検出結果が存在する場合、新たに追尾ＩＤが生成されて追尾情報に追加される。
　結果修正部９０５は、抽出画像に対する検出結果を入力画像の検出結果に反映する。結果修正部９０５は、入力画像の検出結果のうち、抽出した領域を算出した際に使用された検出結果を削除し、抽出画像で得られた検出結果に置き換える。
　次に、図３、図１０及び図１１Ａ～図１１Ｃを参照して、情報処理装置１００が行う物体検出処理について説明する。図１０は、第３の実施形態による物体検出処理を説明するフローチャートである。図１１Ａ～図１１Ｃは、図１０に示すフローチャートの処理を説明する図である。
　第３の実施形態による物体検出処理において、図３に示したステップＳ３０１～ステップＳ３０６の処理、及びステップＳ３０８～Ｓ３０９の処理は、第１の実施形態による物体検出処理と同様である。第３の実施形態による物体検出処理は、図３に示したステップＳ３０７での処理が第１の実施形態による物体検出処理と異なる。図３に示したステップＳ３０７の処理に対応する処理の、第３の実施形態における詳細な処理の流れを、図１０を参照して説明する。
　ステップＳ１００１において、結果修正部９０５は、ステップＳ３０６で得られた抽出画像に対する検出結果の数が２つ以上であるか否かを判定する。結果修正部９０５は、抽出画像に対する検出結果の数が２つ以上であると判定した場合（ステップＳ１００１でＹＥＳ）にはステップＳ１００２に移行し、２つ以上でないと判定した場合（ステップＳ１００１でＮＯ）にはステップＳ１００５に移行する。この例では、入力画像に対する検出結果が図４Ｂに示したようになっており、抽出画像に対する検出結果として図１１Ａに示すように２つの検出結果（検出結果Ｇ及び検出結果Ｈ）が存在する場合を想定する。なお、図１１Ａにおいて、検出枠の座標は、抽出画像の座標系での座標である。
　ステップＳ１００２において、画像抽出部９０４は、ステップＳ３０５の処理と同様にして、ステップＳ３０４で出力された検出結果の組から２つの検出枠の和集合に対する外接矩形を算出し、算出した外接矩形を検出枠とした検出結果を出力する。本実施形態の例では、画像抽出部９０４は、検出結果Ｇ、Ｈの組から２つの検出枠の和集合に対する外接矩形を算出し、算出した外接矩形を検出枠とした検出結果Ｉを出力する。図１１Ａに示した検出結果より、抽出画像の座標系において２つの検出結果の検出枠の和集合に対する外接矩形は、左上座標が（３２，３１）となり、右下座標が（３５２，３４１）となる。抽出画像の座標系から入力画像の座標系へ変換することにより、入力画像の座標系において２つの検出結果の検出枠の和集合に対する外接矩形は、図１１Ｂに示すように左上座標が（２０，２００）となり、右下座標が（３４０，５１０）となる。
　ステップＳ１００３において、対応付け部９０８は、ステップＳ１００２で画像抽出部９０４から出力された検出結果と、保持している追尾情報とを対応付ける。本実施形態の例では、対応付け部９０８は、ステップＳ１００２で出力された検出結果Ｉと、保持している追尾情報とを対応付ける。図１１Ｃに示すような追尾情報を保持しているものとして、検出結果Ｉとの対応付けを一例として説明する。検出結果Ｉの検出枠の中心座標は（１８０，３５５）であり、追尾ＩＤ１の検出枠の中心座標は（１７０，３５０）である。したがって、検出結果Ｉと追尾ＩＤ１との検出枠の中心座標間の距離Ｌは、
　　Ｌ＝（（１８０－１７０）＾２＋（３５５－３５０）＾２）＾（１／２）≒１１．２となり、閾値である１００よりも小さいため、対応付けの候補となる。また、検出結果Ｉと追尾ＩＤ２及び追尾ＩＤ３とについても同様に計算を行うと中心座標間の距離は１００よりも大きくなるため、対応付けの候補とならない。この結果、検出結果Ｉと追尾ＩＤ１とが対応付けられる。
　ステップＳ１００４において、対応付け部９０７は、追尾情報に基づいて検出結果の属性を更新する。検出結果Ｉは追尾ＩＤ１と対応づいており、追尾ＩＤの属性の統計情報（図１１Ｃ）よりメガネ着用の回数がメガネ非着用の回数より大きいことから、検出結果Ｉの属性はメガネ着用となる。
　ステップＳ１００５において、結果修正部９０５は、第１の実施形態と同様に、抽出画像に対する検出結果を、入力画像の検出結果に反映する。ここでは、結果修正部２０５は、検出結果Ａ及び検出結果Ｂを削除し、検出結果Ｉに置き換える。
　第３の実施形態によれば、画像を用いた物体検出において異なる属性の検出結果の重なりが生じても、最終的により適切な検出結果を出力することができる。
　（変形例）
　なお、対応付け部９０８における過去の入力画像の検出結果と現在の入力画像の検出結果との対応付け方法は、物体追尾処理で一般的に用いられる手法が適用できる。また、本実施形態では２回分の属性を統計情報として保持するようにしているが、それ以上の回数分の属性を統計情報として保持するようにしても本実施形態と同様にして処理が可能である。また、本実施形態では属性の統計情報を既定回数分の属性の履歴（登場回数）としているが、登場回数ではなく信頼度の累積としてもよい。
　［第４の実施形態］
　前述した第１の実施形態では、１回目の顔検出に使用した画像から抽出画像を生成したが、第４の実施形態では１回目の顔検出に使用した画像の元となる画像から抽出画像を生成する場合について説明する。以下の第４の実施形態に係る説明において、第１の実施形態と同様の点については説明を省略する。本実施形態による情報処理装置１００の構成は、図１に示した第１の実施形態における構成例と同様である。
　図１２は、情報処理装置１００の機能構成例を示すブロック図である。図１２において、図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。情報処理装置１００は、画像取得部１２０１、物体検出部１２０２、重なり判定部２０３、画像抽出部２０４、結果修正部２０５、結果出力部２０６、記憶部２０７、及び画像加工部１２０８を有する。
　画像取得部１２０１は、物体検出を行う対象となる画像（入力画像）を取得する。また、画像取得部１２０１は、取得した画像から所定の範囲を抽出する。本実施形態では、物体検出を行う対象となる画像（入力画像）は、通信Ｉ／Ｆ部１０３を通じて外部から取得するものとし、一例として１０８０×７２０ピクセルのＲＧＢ画像とする。また、画像取得部１２０１は、その入力画像から一例として左上座標（３０，０）、右下座標（７５０，７２０）の範囲を抽出するものとする。
　物体検出部１２０２は、第１の実施形態における物体検出部２０２と同様に、画像から複数の属性（クラス）に係る物体検出を行う。本実施形態では、物体検出部１２０２は、一例として水平方向（横方向）の幅及び垂直方向（縦方向）の高さがともに２２４ピクセルである、２２４×２２４ピクセルのＲＧＢ画像から検出を行うものとする。その他は第１の実施形態における物体検出部２０２と同様である。
　画像加工部１２０８は、画像を指定サイズに変形し、変形後の画像と、縦及び横それぞれの変形倍率を出力する。なお、画像を変形させる際のアルゴリズムは一般的に知られているバイキュービック法等の任意の手法を用いることができる。また、画像を拡大する際には超解像技術を用いてもよい。本実施形態の例では、画像加工部１２０８は、画像を２２４×２２４ピクセルの画像に変形する。この場合、変形前の画像の幅がｗピクセル、高さがｈピクセルであれば、縦の変形倍率は（２２４／ｗ）となり、横の変形倍率は（２２４／ｈ）となる。
　結果修正部２０５は、物体検出部１２０２による抽出画像に対する検出結果を、抽出画像に対する検出結果の数に応じて入力画像の検出結果に反映する。その他は第１の実施形態における結果修正部２０５と同様である。
　次に、図１３及び図１４Ａ～図１４Ｉを参照して、情報処理装置１００が行う処理について説明する。図１３は、第４の実施形態による物体検出処理を説明するフローチャートである。図１４Ａ～図１４Ｉは、第４の実施形態による物体検出処理を説明する図である。
　ステップＳ１３０１において、画像取得部１２０１は、入力画像（物体検出を行う対象となる画像）を取得し、取得した入力画像から左上座標（３０，０）、右下座標（７５０，７２０）の範囲を抽出して７２０×７２０ピクセルの画像を取得する。入力画像１４０１の一例を図１４Ａに示し、入力画像１４０１から抽出した７２０×７２０ピクセルの画像１４０２の一例を図１４Ｂに示す。
　ステップＳ１３０２において、画像加工部１２０８は、ステップＳ１３０１で取得した７２０×７２０ピクセルの画像を２２４×２２４ピクセルの画像（以下、第１の処理対象画像）に変形する。このとき、縦方向の変形倍率と横方向の変形倍率はともに（２２４／７２０）となる。第１の処理対象画像１４０３の一例を図１４Ｃに示す。
　ステップＳ１３０３において、物体検出部１２０２は、図３に示したステップＳ３０２と同様にして、第１の処理対象画像を用いて人物の顔を検出する顔検出処理を行い、第１の処理対象画像から「メガネ着用の顔」と「メガネ非着用の顔」とを検出する。第１の処理対象画像に対する顔検出処理の検出結果の例を図１４Ｄに示す。図１４Ｄに示した例では、３つの検出結果Ａ～Ｃが得られ、それぞれ検出枠の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２）と、属性と、信頼度とが出力される。なお、図１４Ｄにおける検出枠の座標は、第１の処理対象画像における座標である。
　ステップＳ１３０４において、重なり判定部２０３は、第１の処理対象画像に対する検出結果の内の任意の２つの検出結果を組として、第１の処理対象画像に対する検出結果の各組合せについて検出枠の重なり率を計算する。本例では、検出結果Ａの検出枠の左上座標が（０，６２）であり、右下座標が（８５，１５６）である。また、検出結果Ｂの検出枠の左上座標が（０，６５）であり、右下座標が（９１，１５９）である。したがって、検出結果Ａと検出結果Ｂの検出枠の重なり率は、
　　ＩｏＵ（Ａ，Ｂ）＝（（８５－０）×（１５６－６５））÷（（８５－０）×（１５６－６２）＋（９１－０）×（１５９－６５）－（（８５－０）×（１５６－６５）））≒０．８８
　となる。その他の組み合わせにおいて、検出枠の重なり率は０となる。
　ステップＳ１３０５において、重なり判定部２０３は、ステップＳ１３０４で算出した重なり率が閾値以上となった検出結果の組み合わせがあるか否かを判定する。重なり判定部２０３は、検出枠の重なり率が閾値以上となった検出結果の組み合わせがあると判定した場合（ステップＳ１３０５でＹＥＳ）、重なり率が閾値以上となった検出結果の組み合わせを出力し、ステップＳ１３０６に移行する。一方、重なり判定部２０３は、検出枠の重なり率が閾値以上となった検出結果の組み合わせがないと判定した場合（ステップＳ１３０５でＮＯ）、ステップＳ１３１１に移行する。本実施形態の例では、重なり率の閾値は０．５であるとする。重なり判定部２０３は、ステップＳ１３０４において算出した重なり率が０．５以上となった検出結果の組が存在する場合にはステップＳ１３０６に移行し、存在しない場合にはステップＳ１３１１に移行する。本例では、検出結果Ａと検出結果Ｂの検出枠の重なり率が０．５以上であるので、重なり判定部２０３は、重なり率が０．５以上となった組み合わせ（Ａ，Ｂ）を出力し、ステップＳ１３０６に移行する。
　ステップＳ１３０６において、画像抽出部２０４は、入力画像とステップＳ１３０５で出力された検出結果の組を用いて、入力画像から指定された領域を抽出し、抽出画像と、入力画像に対する抽出する領域の左上の座標を出力する。詳細には、まず、画像抽出部２０４は、検出結果の組から２つの検出枠の座標を、入力画像から抽出した範囲と変形倍率の情報を使用して入力画像の座標に変換する。本例では、検出結果Ａの検出枠の左上座標が（０，６２）であるので、変形倍率（２２４／７２０）を使用して、入力画像における検出結果Ａの左上座標は、（３０＋０÷（２２４／７２０），０＋６２÷（２２４／７２０））＝（３０，１９９）となる。他の座標も同様に計算した結果を図１４Ｅに示す。
　次に、画像抽出部２０４は、検出結果の組から２つの検出枠の和集合に対する外接矩形を算出し、算出した外接矩形に基づいて、抽出する領域の左上座標及び右下座標を算出する。詳細については、図３に示したステップＳ３０５での処理と同様である。本例では、抽出する領域の左上座標は（１，１６８）、右下座標は（３５２，５４２）となる。このようにして算出した、抽出する領域の左上座標及び右下座標をもとに入力画像から抽出した抽出画像１４０４の例を図１４Ｆに示す。抽出する領域の左上座標が（１，１６８）、右下座標が（３５２，５４２）であるので、抽出画像１４０４は３５１×３７４ピクセルの画像である。
　ステップＳ１３０７において、画像加工部１２０８は、ステップＳ１３０６で抽出した３５１×３７４ピクセルの画像を２２４×２２４ピクセルの画像（以下、第２の処理対象画像）に変形する。このとき、横方向の変形倍率は（２２４／３５１）となり、縦方向の変形倍率は（２２４／３７４）となる。第２の処理対象画像の一例を図１４Ｇに示す。
　ステップＳ１３０８において、物体検出部１２０２は、図３に示したステップＳ３０６と同様にして、第２の処理対象画像を用いて人物の顔を検出する顔検出処理を行い、第２の処理対象画像から「メガネ着用の顔」と「メガネ非着用の顔」とを検出する。第２の処理対象画像に対する顔検出処理の検出結果の例を図１４Ｈに示す。図１４Ｈに示した例では、１つの検出結果Ｅが得られ、検出枠の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２）と、属性と、信頼度とが出力される。なお、図１４Ｈにおける検出枠の座標は、第２の処理対象画像における座標である。
　ステップＳ１３０９において、結果修正部２０５は、ステップＳ１３０８で得られた第２の処理対象画像に対する検出結果に基づいて、抽出画像に対する検出結果を、入力画像の検出結果に反映する。詳細には、図３に示したステップＳ３０７と同様にして、結果修正部２０５は、第２の処理対象画像に対する検出結果の座標を、入力画像の座標に変換する。このとき、結果修正部２０５は、ステップＳ１３０６で得られた入力画像に対する抽出する領域の左上座標とステップＳ１３０７で得られた変形倍率の情報を使用して、第２の処理対象画像に対する検出結果の座標を入力画像の座標に変換する。入力画像における検出結果Ｅの例を図１４Ｉに示す。
　ステップＳ１３１０において、結果出力部２０６は、検出枠の重なり率が閾値以上となった検出結果のすべての組み合わせについて処理を完了したか否かを判定する。結果出力部２０６は、重なり率が閾値以上となった検出結果のすべての組み合わせについて処理が完了したと判定した場合（ステップＳ１３１０でＹＥＳ）、ステップＳ１３１１に移行する。結果出力部２０６は、重なり率が閾値以上となった検出結果の組み合わせにおいて未処理の組み合わせがあると判定した場合（ステップＳ１３１０でＮＯ）、ステップＳ１３０６に移行し、未処理の組み合わせについてステップＳ１３０６以降の処理を実行する。
　ステップＳ１３１１において、結果出力部２０６は、入力画像に対する最終の検出結果を入力画像に重畳した画像を出力して、処理を終了し次の入力画像の処理に移行する。
　第４の実施形態によれば、２回目の検出処理で使用される抽出画像を、１回目の検出処理で使用した画像ではなく、入力画像から抽出する。これにより、画像変形処理等により１回目の検出処理で使用した画像が入力画像よりも解像度が低くなってしまった場合等において、入力画像に対する物体検出の検出結果として、最終的により適切な検出結果を出力することができる。また、入力画像から１回目の検出処理で使用する画像を切り出した際に検出対象物の一部が見切れてしまった場合等においても、入力画像に対する物体検出の検出結果として、最終的により適切な検出結果を出力することができる。
　（変形例）
　なお、画像取得部１２０１は、入力画像から１つの領域を抽出するとしたが、複数の領域を抽出するようにして、ステップＳ１３０２～ステップＳ１３１１の処理を領域ごとに繰り返すようにしてもよい。また、前述した第２の実施形態及び第３の実施形態に、本実施形態の処理を組み込むことも可能である。
　［その他の実施形態］
　本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２１年８月１３日提出の日本国特許出願特願２０２１－１３２０８９及び２０２２年２月９日提出の日本国特許出願特願２０２２－０１８９６０を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (21)

  1. 　画像から複数の属性に係る物体検出を行う検出手段と、
    　前記検出手段の検出結果について異なる属性の検出結果の重なりを判定する判定手段と、
    　前記検出手段による物体検出の検出結果を修正する修正手段と、を有し、
    　前記修正手段は、第１の画像から抽出した第２の画像に対する物体検出の検出結果に基づいて、前記第１の画像に対する物体検出の検出結果を修正することを特徴とする情報処理装置。
  2. 　前記第１の画像に対する物体検出の検出結果に係る前記判定手段による判定結果に基づいて、前記第１の画像から前記第２の画像を抽出する抽出手段を有することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記第２の画像は、前記第１の画像において、異なる属性の検出結果の領域が所定の割合以上重なっている領域を抽出した画像であることを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記第２の画像は、前記第１の画像から検出された物体の領域に対して、左右反転、位置のシフト、及び画素値の変更の内の少なくとも一つを施した画像であることを特徴とする請求項１～３の何れか１項に記載の情報処理装置。
  5. 　入力画像から前記第１の画像を取得する取得手段を、更に有し、
    　前記第２の画像は、前記入力画像又は前記第１の画像から抽出された画像であることを特徴とする請求項１に記載の情報処理装置。
  6. 　前記第１の画像に対する物体検出の検出結果に係る前記判定手段による判定結果に基づいて、前記入力画像から前記第２の画像を抽出する抽出手段を有することを特徴とする請求項５に記載の情報処理装置。
  7. 　前記第２の画像は、前記第１の画像において異なる属性の検出結果の領域が所定の割合以上重なっている領域を、前記入力画像から抽出した画像であることを特徴とする請求項５又は６に記載の情報処理装置。
  8. 　前記第２の画像は、前記第１の画像から検出された物体の領域に対して、左右反転、位置のシフト、及び画素値の変更の内の少なくとも一つを施した画像であることを特徴とする請求項５～７の何れか１項に記載の情報処理装置。
  9. 　異なる属性の検出結果の領域が所定の割合以上重なっている場合に、前記検出手段が前記第２の画像に対して物体検出を行うことを特徴とする請求項１～８の何れか１項に記載の情報処理装置。
  10. 　前記判定手段は、異なる属性の検出結果の重なり率を算出し、
    　算出した前記重なり率が閾値以上である場合に、前記検出手段が前記第２の画像に対して物体検出を行うことを特徴とする請求項１～９の何れか１項に記載の情報処理装置。
  11. 　前記第２の画像は、前記判定手段により重なっていると判定された異なる属性の検出結果を包含し、かつ前記第２の画像に占める包含した領域の割合が前記検出手段の仕様に基づく割合になるように設定された領域の画像であることを特徴とする請求項１～１０の何れか１項に記載の情報処理装置。
  12. 　前記判定手段は、さらに前記第２の画像に対する物体検出の検出結果について異なる属性の検出結果の重なりを判定し、
    　前記修正手段は、前記第２の画像に対する物体検出の検出結果における異なる属性の検出結果の重なりが、第１の属性の検出結果と第２の属性の検出結果の重なりと判定された場合に、前記第１の属性及び前記第２の属性とは異なる第３の属性として前記第１の画像に対する物体検出の検出結果を修正することを特徴とする請求項１～１１の何れか１項に記載の情報処理装置。
  13. 　第１の画像から複数の属性に係る物体検出を行う検出手段と、
    　前記検出手段の検出結果について異なる属性の検出結果の重なりを判定する判定手段と、
    　前記判定手段が第１の属性の検出結果と第２の属性の検出結果の重なりと判定した場合に、前記第１の属性及び前記第２の属性とは異なる第３の属性に係る物体を検出したものとして、前記第１の画像に対する物体検出の検出結果を修正する修正手段とを有することを特徴とする情報処理装置。
  14. 　前記第３の属性は結果不明を示す属性であることを特徴とする請求項１２又は１３に記載の情報処理装置。
  15. 　過去の検出結果と現在の検出結果との対応付けを行い、過去の検出結果の属性に係る情報に基づいて、現在の検出結果の属性を更新する対応付け手段を有することを特徴とする請求項１～１４の何れか１項に記載の情報処理装置。
  16. 　前記対応付け手段は、所定の過去の画像の検出結果における属性の統計情報を取得し、
    　前記統計情報において最も出現頻度の高い属性を現在の検出結果の属性とすることを特徴とする請求項１５に記載の情報処理装置。
  17. 　第１の情報処理装置と第２の情報処理装置とを有する情報処理システムであって、
    　前記第１の情報処理装置は、
    　第１の画像から複数の属性に係る物体検出を行う第１の検出手段と、
    　前記第１の検出手段の検出結果について異なる属性の検出結果の重なりを判定する判定手段と、
    　前記判定手段による判定結果に基づいて、前記第１の画像から第２の画像を抽出する抽出手段と、
    　前記第２の画像に対する物体検出の検出結果に基づいて、前記第１の画像に対する物体検出の検出結果を修正する修正手段と、
    　前記抽出手段が抽出した前記第２の画像を前記第２の情報処理装置に出力する第１の通信手段と、を有し、
    　前記第２の情報処理装置は、
    　前記第２の画像から複数の属性に係る物体検出を行う第２の検出手段と、
    　前記第２の検出手段による前記第２の画像に対する物体検出の検出結果を前記第１の情報処理装置に出力する第２の通信手段と、を有することを特徴とする情報処理システム。
  18. 　第１の情報処理装置と第２の情報処理装置とを有する情報処理システムであって、
    　前記第１の情報処理装置は、
    　入力画像から第１の画像を取得する取得手段と、
    　前記第１の画像から複数の属性に係る物体検出を行う第１の検出手段と、
    　前記第１の検出手段の検出結果について異なる属性の検出結果の重なりを判定する判定手段と、
    　前記判定手段による判定結果に基づいて、前記入力画像から第２の画像を抽出する抽出手段と、
    　前記第２の画像に対する物体検出の検出結果に基づいて、前記第１の画像に対する物体検出の検出結果を修正する修正手段と、
    　前記抽出手段が抽出した前記第２の画像を前記第２の情報処理装置に出力する第１の通信手段と、を有し、
    　前記第２の情報処理装置は、
    　前記第２の画像から複数の属性に係る物体検出を行う第２の検出手段と、
    　前記第２の検出手段による前記第２の画像に対する物体検出の検出結果を前記第１の情報処理装置に出力する第２の通信手段と、を有することを特徴とする情報処理システム。
  19. 　前記第１の検出手段は、さらに前記抽出手段が抽出した前記第２の画像から複数の属性に係る物体検出を行い、
    　前記第１の通信手段は、前記第２の画像に対する物体検出の検出結果に係る前記判定手段による判定結果に応じて、前記第２の画像を前記第２の情報処理装置に出力することを特徴とする請求項１７又は１８に記載の情報処理システム。
  20. 　第１の画像から複数の属性に係る物体検出を行う検出工程と、
    　前記検出工程での検出結果について異なる属性の検出結果の重なりを判定する判定工程と、
    　前記第１の画像から抽出した第２の画像に対する物体検出の検出結果に基づいて、前記第１の画像に対する物体検出の検出結果を修正する修正工程と、を有することを特徴とする情報処理方法。
  21. 　第１の画像から複数の属性に係る物体検出を行う検出ステップと、
    　前記検出ステップでの検出結果について異なる属性の検出結果の重なりを判定する判定ステップと、
    　前記第１の画像から抽出した第２の画像に対する物体検出の検出結果に基づいて、前記第１の画像に対する物体検出の検出結果を修正する修正ステップと、をコンピュータに実行させるためのプログラム。
PCT/JP2022/028516 2021-08-13 2022-07-22 情報処理装置、情報処理システム、情報処理方法、及びプログラム WO2023017723A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-132089 2021-08-13
JP2021132089 2021-08-13
JP2022018960A JP7459151B2 (ja) 2021-08-13 2022-02-09 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2022-018960 2022-02-09

Publications (1)

Publication Number Publication Date
WO2023017723A1 true WO2023017723A1 (ja) 2023-02-16

Family

ID=85199949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028516 WO2023017723A1 (ja) 2021-08-13 2022-07-22 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023017723A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020198053A (ja) * 2019-06-05 2020-12-10 コニカミノルタ株式会社 情報処理装置、情報処理方法、人物検索システムおよび人物検索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020198053A (ja) * 2019-06-05 2020-12-10 コニカミノルタ株式会社 情報処理装置、情報処理方法、人物検索システムおよび人物検索方法

Similar Documents

Publication Publication Date Title
US10043313B2 (en) Information processing apparatus, information processing method, information processing system, and storage medium
US6714689B1 (en) Image synthesizing method
JP5713790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US7342572B2 (en) System and method for transforming an ordinary computer monitor into a touch screen
JP6445775B2 (ja) 画像処理装置、画像処理方法
JP4799105B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
US10650489B2 (en) Image display apparatus, control method therefor, and storage medium
JP5381569B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
US9779699B2 (en) Image processing device, image processing method, computer readable medium
US10235607B2 (en) Control device, control method, and computer program product
US20230334235A1 (en) Detecting occlusion of digital ink
CN112396050B (zh) 图像的处理方法、设备以及存储介质
US20190005323A1 (en) Information processing apparatus for tracking processing
JP2014029656A (ja) 画像処理装置および画像処理方法
JP5100688B2 (ja) 対象物検出装置及びプログラム
JP2018092354A (ja) 物体検出装置および物体検出方法
WO2023017723A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
WO2017126072A1 (ja) 画像認識システム、カメラ状態推定装置及び記憶媒体
JP7459151B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP7385416B2 (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
US9159118B2 (en) Image processing apparatus, image processing system, and non-transitory computer-readable medium
JP2018180986A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018097707A (ja) 情報処理装置、文字認識方法、コンピュータプログラム、及び記憶媒体
CN114973344A (zh) 人脸检测方法、装置、终端设备和计算机可读存储介质
JP2021056899A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22855787

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE