WO2021124435A1 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
WO2021124435A1
WO2021124435A1 PCT/JP2019/049335 JP2019049335W WO2021124435A1 WO 2021124435 A1 WO2021124435 A1 WO 2021124435A1 JP 2019049335 W JP2019049335 W JP 2019049335W WO 2021124435 A1 WO2021124435 A1 WO 2021124435A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
distribution
processing method
person
Prior art date
Application number
PCT/JP2019/049335
Other languages
English (en)
French (fr)
Inventor
高橋　祐介
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/781,465 priority Critical patent/US12058433B2/en
Priority to PCT/JP2019/049335 priority patent/WO2021124435A1/ja
Priority to JP2021565195A priority patent/JP7414077B2/ja
Publication of WO2021124435A1 publication Critical patent/WO2021124435A1/ja
Priority to US18/749,847 priority patent/US20240340522A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an image processing method, an image processing device, and a program for detecting an object from an image.
  • surveillance cameras have been installed in various places to detect people from images taken by the surveillance cameras.
  • surveillance cameras are installed in places where many people gather, such as airports, stations, commercial facilities, and event venues, to check the number of people and how crowded they are, and to collate with pre-registered people such as criminals. A person is detected for such a purpose.
  • Patent Document 1 an example of a process for detecting a person from an image is described in Patent Document 1.
  • the image size of the input image is changed to detect a face having a preset detection face size.
  • Patent Document 1 it is necessary to perform face detection processing on the entire area of the input image, and it is said that such an image is of an appropriate quality so that a desired person detection processing can be performed.
  • the problem arises that is not always the case. For example, there arises a problem that the captured image cannot capture an area suitable for person detection, or the captured image cannot be captured with sufficient image quality for person detection. Further, not only when a person is detected in an image but also when any object is detected in the image, there is a problem that an image of appropriate quality for performing the object detection process is not always captured. Occurs.
  • an object of the present invention is to provide an image processing method, an image processing apparatus, and a program capable of solving the above-mentioned problems that an image of appropriate quality cannot be obtained in performing an object detection process. To provide.
  • the image processing method which is one embodiment of the present invention, is Detects the position of a specific object in the image and Generate a distribution of the particular object in the image Generates information used when capturing a new image based on the distribution. It takes the configuration.
  • the image processing apparatus which is one embodiment of the present invention is A position detecting means for detecting the position of a specific object in an image, A distribution generating means for generating a distribution of the specific object in the image, An imaging information generating means that generates information used when capturing a new image based on the distribution, and an imaging information generating means. With, It takes the configuration.
  • the program which is one form of the present invention is For the processor of the information processing device Detects the position of a specific object in the image and Generate a distribution of the particular object in the image Generates information used when capturing a new image based on the distribution. To do that, It takes the configuration.
  • the present invention is configured as described above, so that an image of appropriate quality can be obtained for performing object detection processing.
  • FIG. 1 It is a figure which shows the whole structure of the information processing system in Embodiment 1 of this invention. It is a block diagram which shows the structure of the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG. It is a figure which shows an example of the processing by the detection apparatus disclosed in FIG.
  • FIGS. 1 to 12. 1 and 2 are diagrams for explaining the configuration of the information processing system, and FIGS. 3 to 12 are diagrams for explaining the processing operation of the information processing system.
  • the information processing system in the present invention is used to detect the face of a person P existing in a place where many people gather, such as an airport, a station, a commercial facility, or an event venue. For example, an information processing system detects the face of a person P existing in a target place to check the number and congestion of the person P in such a place, or collates with a person registered in advance such as a criminal. Will be done.
  • the information processing system in the present invention is not limited to detecting the face of the person P for the above-mentioned purpose, and may be used for detecting the face of the person P for any purpose. Further, the information processing system in the present invention is not limited to detecting the face of the person P, and may detect any object.
  • the information processing system in the present embodiment has a camera C for photographing a space as a target place and a detection device 10 (image) for performing image processing for detecting the face of a person P in the captured image. Processing device) and.
  • the detection device 10 is composed of one or a plurality of information processing devices including an arithmetic unit (processor) and a storage device.
  • the detection device 10 includes an image acquisition unit 11, a position detection unit 12, a distribution generation unit 13, and an imaging information generation unit 14, which are constructed by the arithmetic unit executing a program. Further, the detection device 10 includes an image storage unit 15 and a distribution storage unit 16 formed in the storage device.
  • an image acquisition unit 11 a position detection unit 12
  • a distribution generation unit 13 an imaging information generation unit 14
  • the detection device 10 includes an image storage unit 15 and a distribution storage unit 16 formed in the storage device.
  • the image acquisition unit 11 first receives captured images of the target location captured by the camera C at regular time intervals. For example, as shown in FIG. 3, a photographed image including the faces of a plurality of persons P is received and temporarily stored in the image storage unit 15.
  • a photographed image including the faces of a plurality of persons P is received and temporarily stored in the image storage unit 15.
  • only one camera C is connected to the detection device 10, but a plurality of cameras C are connected and the captured images taken by each camera C will be described below. Such processing may be performed.
  • the position detection unit 12 extracts the person P in the photographed image from the movement, shape, color, etc. of the object reflected in the photographed image, and also extracts the face (specific object) of the extracted person P. Detects position and face size.
  • the position detection unit 12 detects the eye-to-eye distance of the person P as the face size of the person P.
  • the position detection unit 12 detects the eyes of the person P from the movement, shape, color, and the like of the object in the captured image, and detects the distance between the two eyes of the same person. As an example, as shown in FIG.
  • the position detection unit 12 calculates the inter-eye distance on each photographed image for each person Pa, Pb, Pc reflected in the photographed image.
  • the distance between the eyes of the two persons Pa located on the upper side of the photographed image is 100 pix (pixels)
  • the distance between the eyes of the person Pb located on the left side of the photographed image is 140 pix (pixels).
  • the case where the eye-to-eye distance of the person Pc located in front of the right side of is 200 pix (pixels) is shown.
  • the position detection unit 12 stores the detected distance between the eyes of the person P and the position of the face of the detected person P on the captured image in association with each other in the image storage unit 15. At this time, as shown by the dotted line in FIG. 4, the position detection unit 12 sets a divided area r in which the entire captured image G is divided into a plurality of areas, and the eyes of the person P located in the divided area r. The inter-distance is stored in association with the divided area r. That is, in the present embodiment, the position of the face of the person P is represented by the position of the divided region r. However, the position detection unit 12 may express the position of the face of the person P by other methods such as expressing the position on the captured image by the coordinates.
  • the position detection unit 12 detects the inter-eye distance of the person P for a plurality of captured images in the same manner as described above, and stores the image in association with the divided area r. Therefore, the image storage unit 15 stores the inter-eye distance of the person P located in the divided area r in association with each divided area r. As a result, no inter-eye distance is associated with the divided area r in which the person P is not detected, and a plurality of inter-eye distances are associated with the divided area r in which a plurality of persons P are detected. It becomes.
  • the position detection unit 12 is not limited to detecting the eye-to-eye distance of the person P, and may detect any information about the face of the person P.
  • the position detection unit 12 may detect the orientation of the face of the person P, the image quality of the face area, and the like.
  • the distribution generation unit 13 (distribution generation means) generates the distribution of the face position and the eye-to-eye distance of the detected person P as described above. Specifically, the distribution generation unit 13 sets the detection region R as follows. First, the distribution generation unit 13 generates a distribution d of the inter-eye distance associated with the divided region r for each divided region r in which the captured image is divided. For example, as shown in FIG. 4, the distribution generation unit 13 is associated with each division region r and extends the inter-eye distance detected in the division region r from the minimum value to the maximum value on the vertical axis. As shown by, the distribution d of the inter-eye distance is generated.
  • the distribution generation unit 13 is not limited to generating the distribution d of the inter-eye distance of the person P, and simply generates the distribution of the positions of the faces of the person P indicating the presence or absence of the face of the person P with respect to each division region r. You may. Further, the distribution generation unit 13 may generate any distribution regarding the face of the person P in each division region r. For example, the distribution generation unit 13 may generate the distribution of the face orientation of the person P, the distribution of the image quality of the face area of the person P, and the like for each division region r. As an example, as the distribution of the face orientation of the person P, the ratio of the person P facing the front is generated, and as the distribution of the image quality of the face area of the person P, the ratio satisfying the preset sharpness is generated. To do.
  • the imaging information generation unit 14 (imaging information generation means) sets a plane F representing the height position of the inter-eye distance for a reference inter-eye distance of 150 pix. Then, the imaging information generation unit 14 sets the person area R where the face of the person P is located according to the positional relationship between the plane F and the rod-shaped body representing the distribution d of the distance between the eyes. For example, the distribution generation unit 13 projects the distribution d of the inter-eye distance onto the plane F, that is, projects it in the inter-eye distance direction which is the height direction.
  • the divided region r in which the distribution d represented by the rod-shaped body is located can be specified in the captured image G parallel to the plane F, and the combined region in which all the specified divided regions r are combined is designated as the person region R.
  • FIG. 6 shows an example in which a person region R in the captured image G is generated in a gray region.
  • the imaging information generation unit 14 calculates the center of gravity of the person region R on the captured image G generated as described above.
  • the distribution d of the inter-eye distance of the person as shown in FIG. 7 is generated from the captured image G.
  • Such a distribution d indicates, for example, as shown in the left figure of FIG. 9, a case where the face of a person is biasedly located in the right region of the captured image G.
  • an example in which the person area R is generated as described above from the distribution d of the person's face as shown in FIG. 7 is shown in the gray area of FIG.
  • the imaging information generation unit 14 calculates the position of the center of gravity A of the person area R from the information of the person area R.
  • the image pickup information generation unit 14 calculates the position of the center of gravity A with respect to the overall shape of the person region R, as shown in FIG.
  • the imaging information generation unit 14 may calculate the position of the center of gravity A in consideration of the detection status of the person's face for each position in the captured image in addition to the overall shape of the person area R. For example, the imaging information generation unit 14 may calculate the center of gravity A by adding a weight corresponding to the number of detected faces of the person for each divided area r or position in the person area R, and the distance between the eyes of the person. The center of gravity A may be calculated by adding a weight corresponding to the detection range from the minimum value to the maximum value of the distance.
  • the image pickup information generation unit 14 generates setting information for newly capturing an image with the camera C based on the calculated position of the center of gravity A of the person area R. For example, when the position of the center of gravity A of the person area R is calculated biased to the right side of the captured image G as shown in FIGS. 7 and 8, it can be determined that a large number of persons P are located in this direction. .. Therefore, the image pickup information generation unit 14 sets information instructing the camera C to change the setting of the camera position, that is, "move the position of the camera to the right" so that the area on the right side can be further photographed. Generate as.
  • the imaging information generation unit 14 generates information as setting information instructing the camera to change the angle of view setting of "turning the camera to the right". Then, the imaging information generation unit 14 outputs the setting information generated as described above so as to notify the user of the information processing system.
  • the imaging information generation unit 14 outputs the setting information generated as described above so as to notify the user of the information processing system.
  • the imaging information generation unit 14 sets information when shooting with the camera C in the same manner as described above until the position of the center of gravity A of the person area R is located at the center of the captured image as shown in FIG. Is generated and output.
  • the imaging information generation unit 14 is not necessarily limited to generating and outputting the setting information as described above, and may generate and output any information as long as it is necessary information at the time of shooting.
  • the imaging information generation unit 14 changes the zoom of the camera C when the person area R is concentrated in the center of the captured image G or when the person area R extends over the entire captured image G. Information may be generated and output.
  • the imaging information generation unit 14 is not necessarily limited to generating setting information based on the position of the center of gravity A of the person region R as described above, and is necessary for shooting based on any distribution of the person P. Information may be generated and output. For example, when the distribution of the face orientation of the person P is generated as described above, the imaging information generation unit 14 generates and outputs information for changing the orientation and zoom of the camera C based on the distribution. You can. Further, for example, when the image quality distribution of the face region of the person P is generated as described above, the imaging information generation unit 14 determines the direction, zoom, focal length (focus) of the camera C based on the distribution. You can also generate and output information that changes the. For example, by changing the zoom and focal length of the camera C, the quality of the captured image can be changed, for example, the captured image becomes clearer.
  • the imaging information generation unit 14 newly creates an image of the distribution of the distance between the eyes of the person P shown in FIG. 7 and the information itself representing the position of the person area R and its center of gravity A shown in FIGS. 7 and 8. It may be output as information used when imaging.
  • the user who sees the information can perform an operation such as moving the position of the camera C or changing the orientation of the camera C so that an appropriate image can be obtained.
  • the information processing system photographs the target location with the camera C, and the detection device 10 acquires the captured image (step S1). Then, the detection device 10 detects the position of the face and the size of the face of the person P in the captured image (step S2).
  • the detection device 10 detects the eye-to-eye distance of the person P and represents the eye-to-eye distance of the detected person P and the position of the face of the detected person P on the captured image.
  • the divided area r which is information, is stored in association with each other.
  • the detection device 10 detects the distance between the eyes of the person P for a plurality of captured images and stores the position.
  • the detection device 10 generates a distribution of the face position and the eye-to-eye distance of the detected person P (step S3).
  • the detection device 10 generates a distribution d of the inter-eye distance associated with the divided region r for each divided region r in which the captured image G is divided.
  • the detection device 10 is not limited to the distribution d of the distance between the eyes of the person P, and may generate any distribution regarding the person P.
  • the detection device 10 generates a person region R in which the person P exists in the captured image G from the distribution d of the eye-to-eye distance of the person P (step S4). Then, as shown in FIGS. 7 and 8, the detection device 10 calculates the position of the center of gravity A of the person area R (step S5).
  • the detection device 10 generates setting information for newly capturing an image with the camera C based on the calculated position of the center of gravity A of the person area R (step S6). For example, as shown in FIGS. 7 and 8, when the position of the center of gravity A of the person area R is calculated biased to the right side of the captured image, information for changing the position of the camera C and the setting of the angle of view is provided. Generate and output. Then, in response to the output of such information, the user changes the position of the camera C and the setting of the angle of view so that a large number of people are reflected in the captured image G as shown in FIGS. 9 and 10. become.
  • the detection device 10 After that, the detection device 10 generates a person area R and calculates the position of the center of gravity A each time a newly captured image is taken by the camera C, and the position of the center of gravity A of the person area R is shown in FIG.
  • setting information for shooting with the camera C may be generated and output in the same manner as described above until it is located at the center of the shot image.
  • the detection device 10 is not necessarily limited to generating and outputting the setting information of the camera C as described above, and may generate and output any information as long as it is necessary information at the time of shooting. ..
  • the position of the person who appears in the photographed image is detected, and the distribution of the person in the photographed image is generated. Then, based on such a distribution, information used when capturing a new image is generated. In this way, since information such as settings used when capturing a new image is generated according to the position of a person appearing in the already captured image, a new image is captured using such information. Can be done. As a result, it is possible to acquire a new image of appropriate quality for performing the person detection process.
  • the detection device 10 detects the face of the person P from the captured image
  • the detection target may be any object.
  • the detection device 10 detects the position of the object to be detected instead of detecting the position of the face of the person P by detecting the distance between the eyes of the person P described above, and responds to the position.
  • the distribution in the image of the object may be generated to generate the information used when capturing a new image based on the distribution.
  • FIGS. 13 to 15 are block diagrams showing the configuration of the image processing apparatus according to the second embodiment
  • FIG. 15 is a flowchart showing the operation of the image processing apparatus.
  • the outline of the configuration of the detection device 10 and the image processing method described in the first embodiment is shown.
  • the image processing device 100 is composed of one or a plurality of general information processing devices, and is equipped with the following hardware configuration as an example.
  • -CPU Central Processing Unit
  • -ROM Read Only Memory
  • RAM Random Access Memory
  • 103 storage device
  • -Program group 104 loaded into RAM 303
  • a storage device 105 that stores the program group 304.
  • a drive device 106 that reads and writes the storage medium 110 external to the information processing device.
  • -Communication interface 107 that connects to the communication network 111 outside the information processing device -I / O interface 108 for inputting / outputting data -Bus 109 connecting each component
  • the image processing device 100 is equipped with the position detecting means 121, the distribution generating means 122, and the imaging information generating means 123 shown in FIG. 14 by acquiring the program group 104 by the CPU 101 and executing the program group 104. can do.
  • the program group 104 is stored in, for example, a storage device 105 or a ROM 102 in advance, and the CPU 101 loads the program group 104 into the RAM 103 and executes the program group 104 as needed. Further, the program group 104 may be supplied to the CPU 101 via the communication network 111, or may be stored in the storage medium 110 in advance, and the drive device 106 may read the program and supply the program to the CPU 101.
  • the position detecting means 121, the distribution generating means 122, and the imaging information generating means 123 described above may be constructed by an electronic circuit.
  • FIG. 13 shows an example of the hardware configuration of the image processing device 100, and the hardware configuration of the image processing device 100 is not limited to the above case.
  • the image processing device 100 may be configured from a part of the above-described configuration, such as not having the drive device 106.
  • the image processing apparatus 100 executes the image processing method shown in the flowchart of FIG. 15 by the functions of the position detecting means 121, the distribution generating means 122, and the imaging information generating means 123 constructed by the program as described above.
  • the image processing apparatus 100 is Detecting the position of a specific object in the image (step S11), Generate a distribution of a particular object in the image (step S12). Information used when capturing a new image based on the distribution is generated (step S13).
  • the present embodiment generates information such as settings used when capturing a new image according to the distribution based on the position of a person appearing in the already captured image. There is. Then, by capturing a new image using the generated information, it is possible to acquire a new image of appropriate quality for performing the person detection process.
  • Appendix 2 The image processing method described in Appendix 1 Among the divided regions obtained by dividing the image into a plurality of regions, information representing the divided regions in which the specific object is located in the image is generated as the distribution. Image processing method.
  • Appendix 3 The image processing method described in Appendix 2 Based on the distribution, a combined region is generated by combining all the divided regions in which the specific object is located, and based on the combined region, information used when capturing the new image is generated. Image processing method.
  • Appendix 4 The image processing method described in Appendix 3 The position of the center of gravity of the coupling region in the image is calculated, and information used when capturing the new image is generated based on the position of the center of gravity. Image processing method.
  • Appendix 5 The image processing method described in Appendix 4 The position of the center of gravity of the connection region in the image is calculated according to the detection status of the specific object for each division region. Image processing method.
  • Appendix 6 The image processing method according to any one of Appendix 1 to 5. Based on the distribution, the image pickup device generates information for changing the setting when capturing the new image. Image processing method.
  • Appendix 7 The image processing method described in Appendix 6 Based on the distribution, information for changing the shooting range when the new image is captured by the imaging device is generated. Image processing method.
  • Appendix 8 The image processing method according to Appendix 6 or 7. Based on the distribution, the imaging device generates information that changes the quality of capturing the new image. Image processing method.
  • Appendix 9 The image processing method according to any one of Appendix 1 to 8.
  • the position of the specific object in the image is detected with respect to the plurality of images, and the position of the specific object is detected.
  • a position detecting means for detecting the position of a specific object in an image A distribution generating means for generating a distribution of the specific object in the image, An imaging information generating means that generates information used when capturing a new image based on the distribution, and an imaging information generating means.
  • the image processing apparatus according to Appendix 11,
  • the distribution generation means generates information representing the divided region in which the specific object is located in the image as the distribution among the divided regions obtained by dividing the image into a plurality of regions.
  • Image processing device The image processing apparatus according to Appendix 11,
  • Appendix 13 The image processing apparatus according to Appendix 12, When the imaging information generation means generates a coupling region in which all the divided regions in which the specific object is located are combined based on the distribution and images the new image based on the coupling region. Generate the information used, Image processing device.
  • the image processing apparatus according to Appendix 13, wherein the image processing apparatus is described.
  • the imaging information generation means calculates the position of the center of gravity of the coupling region in the image, and generates information used when capturing the new image based on the position of the center of gravity.
  • Image processing device The imaging information generation means calculates the position of the center of gravity of the coupling region in the image, and generates information used when capturing the new image based on the position of the center of gravity.
  • the image processing apparatus according to Appendix 14, The imaging information generation means calculates the position of the center of gravity of the coupling region in the image according to the detection status of the specific object for each division region. Image processing device.
  • the image processing apparatus according to any one of Appendix 11 to 15.
  • the imaging information generation means generates information for changing the setting when the new image is captured by the imaging device based on the distribution. Image processing device.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)).
  • a semiconductor memory for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • Detection device 11 Image acquisition unit 12 Position detection unit 13 Distribution generation unit 14 Imaging information generation unit 15 Image storage unit 16 Distribution storage unit C Camera P Person 100 Image processing device 101 CPU 102 ROM 103 RAM 104 Program group 105 Storage device 106 Drive device 107 Communication interface 108 Input / output interface 109 Bus 110 Storage medium 111 Communication network 121 Position detection means 122 Distribution generation means 123 Imaging information generation means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明の画像処理装置１００は、画像内の特定の物体の位置を検出する位置検出手段１２１と、特定の物体の画像内における分布を生成する分布生成手段１２２と、分布に基づいて新たな画像を撮像する際に用いられる情報を生成する撮像情報生成手段１２３と、を備える。

Description

画像処理方法
　本発明は、画像から物体検出を行う画像処理方法、画像処理装置、プログラムに関する。
　近年、画像処理技術の進歩に伴い、様々な場所に監視カメラを設置し、監視カメラにて撮影した画像から人物を検出することが行われている。例えば、空港や駅、商業施設、イベント会場などの多くの人物が集まる場所に監視カメラを設置し、人物の人数や混雑具合を調べたり、犯罪者など予め登録された人物との照合処理を行うなどの目的から、人物を検出することが行われている。
　ここで、画像から人物を検出する処理の一例が特許文献１に記載されている。特許文献１では、入力画像の画像サイズを変更して、予め設定された検出顔サイズの顔を検出している。
特開２０１１－８７０４号公報
　しかしながら、上述した特許文献１の技術では、入力画像の全体領域に対して顔検出処理を行う必要があるが、かかる画像が所望の人物検出処理を行うことができるような適切な質であるとは限らない、という問題が生じる。例えば、撮像画像が人物検出に適切な領域を撮像できていない場合や、人物検出に十分な画質で撮像できていない、といった問題が生じる。また、画像内から人物を検出する場合のみならず、画像内からあらゆる物体を検出する場合にも、物体検出処理を行う上で適切な質の画像を撮像しているとは限らない、という問題が生じる。
　このため、本発明の目的は、上述した課題である、物体検出処理を行う上で適切な質の画像を得ることができない、ことを解決することができる画像処理方法、画像処理装置、プログラムを提供することにある。
　本発明の一形態である画像処理方法は、
　画像内の特定の物体の位置を検出し、
　前記特定の物体の前記画像内における分布を生成し、
　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する、
という構成をとる。
　また、本発明の一形態である画像処理装置は、
　画像内の特定の物体の位置を検出する位置検出手段と、
　前記特定の物体の前記画像内における分布を生成する分布生成手段と、
　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する撮像情報生成手段と、
を備えた、
という構成をとる。
　また、本発明の一形態であるプログラムは、
　情報処理装置のプロセッサに、
　画像内の特定の物体の位置を検出し、
　前記特定の物体の前記画像内における分布を生成し、
　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する、
ことを実行させる、
という構成をとる。
　本発明は、以上のように構成されることにより、物体検出処理を行う上で適切な質の画像を得ることができる。
本発明の実施形態１における情報処理システムの全体構成を示す図である。 図１に開示した検出装置の構成を示すブロック図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理の一例を示す図である。 図１に開示した検出装置による処理動作を示すフローチャートである。 本発明の実施形態２における物体検出装置のハードウェア構成を示すブロック図である。 本発明の実施形態２における物体検出装置の構成を示すブロック図である。 本発明の実施形態２における物体検出装置の動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図１２を参照して説明する。図１乃至２は、情報処理システムの構成を説明するための図であり、図３乃至図１２は、情報処理システムの処理動作を説明するための図である。
　本発明における情報処理システムは、空港や駅、商業施設、イベント会場などの多くの人物が集まる場所に存在する人物Ｐの顔を検出するために利用される。例えば、情報処理システムは、対象となる場所に存在する人物Ｐの顔を検出することで、かかる場所における人物Ｐの人数や混雑具合を調べたり、犯罪者など予め登録された人物との照合処理を行うこととなる。但し、本発明における情報処理システムは、上述した目的で人物Ｐの顔を検出することに限定されず、いかなる目的で人物Ｐの顔を検出することに用いられてもよい。また、本発明における情報処理システムは、人物Ｐの顔を検出することに限定されず、いかなる物体を検出してもよい。
　［構成］
　図１に示すように、本実施形態における情報処理システムは、対象場所となる空間を撮影するためのカメラＣと、撮影画像内の人物Ｐの顔を検出する画像処理を行う検出装置１０（画像処理装置）と、を備えている。なお、検出装置１０は、演算装置（プロセッサ）と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。
　上記検出装置１０は、図２に示すように、演算装置がプログラムを実行することで構築された、画像取得部１１、位置検出部１２、分布生成部１３、撮像情報生成部１４、を備える。また、検出装置１０は、記憶装置に形成された画像記憶部１５、分布記憶部１６、を備える。以下、各構成について詳述する。
　上記画像取得部１１は、まず、カメラＣにて撮影された対象場所の撮影画像を一定の時間間隔で受け付ける。例えば、図３に示すように、複数の人物Ｐの顔が含まれる撮影画像を受け付けて、画像記憶部１５に一時的に記憶しておく。なお、本実施形態では、検出装置１０にカメラＣが１台しか接続されていないが、複数台のカメラＣが接続され、それぞれのカメラＣにて撮影された撮影画像に対して、以下に説明するような処理が行われてもよい。
　上記位置検出部１２（位置検出手段）は、撮影画像内に映る物体の動きや形状、色などから、撮影画像内の人物Ｐを抽出すると共に、抽出した人物Ｐの顔（特定の物体）の位置及び顔のサイズを検出する。ここで、特に本実施形態では、位置検出部１２は、人物Ｐの顔サイズとして、人物Ｐの目間距離を検出する。例えば、位置検出部１２は、上述したように撮影画像内の物体の動きや形状、色などから、人物Ｐの目を検出して、同一人物の２つの目の間の距離を検出する。一例として、位置検出部１２は、図３に示すように、撮影画像内に映る各人物Ｐａ，Ｐｂ，Ｐｃについて、それぞれの撮影画像上における目間距離を算出する。図３では、撮影画像の上側に位置する２つの人物Ｐａの目間距離が１００ｐｉｘ（ピクセル）であり、撮影画像の左側に位置する人物Ｐｂの目間距離が１４０ｐｉｘ（ピクセル）であり、撮影画像の右手前に位置する人物Ｐｃの目間距離が２００ｐｉｘ（ピクセル）である場合を示している。
　そして、位置検出部１２は、検出した人物Ｐの目間距離と、撮影画像上における検出した人物Ｐの顔の位置と、を対応付けて、画像記憶部１５に記憶する。このとき、位置検出部１２は、図４の点線に示すように、撮影画像Ｇ全体を複数の領域に分割した分割領域ｒを設定し、かかる分割領域ｒ内に位置する人物Ｐの目の目間距離を、当該分割領域ｒに対応付けて記憶する。つまり、本実施形態では、人物Ｐの顔の位置を分割領域ｒの位置で表すこととしている。但し、位置検出部１２は、人物Ｐの顔の位置を撮影画像上の座標で表すなど他の方法で表してもよい。
　なお、位置検出部１２は、複数の撮影画像に対して上述同様に人物Ｐの目間距離を検出し、分割領域ｒに対応付けて記憶する。このため、画像記憶部１５には、分割領域ｒ毎に、当該分割領域ｒに位置する人物Ｐの目間距離が対応付けられて記憶されることとなる。その結果、人物Ｐが検出されなかった分割領域ｒには、１つも目間距離が対応付けられず、人物Ｐが複数検出された分割領域ｒには、複数の目間距離が対応付けられることとなる。
　但し、位置検出部１２は、人物Ｐの目間距離を検出することに限定されず、人物Ｐの顔に関するいかなる情報を検出してもよい。例えば、位置検出部１２は、人物Ｐの顔の向きや顔領域の画質、などを検出してもよい。
　上記分布生成部１３（分布生成手段）は、上述したように検出した人物Ｐの顔の位置及び目間距離の分布を生成する。具体的に、分布生成部１３は、以下のようにして検出領域Ｒの設定を行う。まず、分布生成部１３は、撮影画像を分割した分割領域ｒ毎に、当該分割領域ｒに対応付けられた目間距離の分布ｄを生成する。例えば、分布生成部１３は、図４に示すように、各分割領域ｒに対応付けて、かかる分割領域ｒで検出された目間距離を、縦軸上に最小値から最大値まで延びる棒状体で表すよう、目間距離の分布ｄを生成する。
　但し、分布生成部１３は、人物Ｐの目間距離の分布ｄを生成することに限定されず、単に各分割領域ｒに対する人物Ｐの顔の有無を表す人物Ｐの顔の位置の分布を生成してもよい。また、分布生成部１３は、分割領域ｒ毎における人物Ｐの顔に関するいかなる分布を生成してもよい。例えば、分布生成部１３は、分割領域ｒ毎に、人物Ｐの顔の向きの分布や、人物Ｐの顔領域の画質の分布、などを生成してもよい。一例として、人物Ｐの顔の向きの分布としては、正面を向いている人物Ｐの割合を生成し、人物Ｐの顔領域の画質の分布としては、予め設定された鮮明度合いを満たす割合を生成する。
　上記撮像情報生成部１４（撮像情報生成手段）は、図５に示すように、基準となる目間距離１５０ｐｉｘについて、当該目間距離の高さ位置を表す平面Ｆを設定する。そして、撮像情報生成部１４は、平面Ｆと目間距離の分布ｄを表す棒状体との位置関係に応じて、人物Ｐの顔が位置する人物領域Ｒを設定する。例えば、分布生成部１３は、目間距離の分布ｄを平面Ｆに対して投影、つまり、高さ方向である目間距離方向に投影する。これにより、平面Ｆに平行である撮影画像Ｇ内において、棒状体で表される分布ｄが位置する分割領域ｒを特定でき、特定した全ての分割領域ｒを結合した結合領域を人物領域Ｒとして生成することができる。一例として、図６に、撮影画像Ｇ内における人物領域Ｒを生成した例をグレー領域で示す。
　続いて、撮像情報生成部１４は、上述したように生成した撮影画像Ｇ上における人物領域Ｒについて、かかる領域Ｒの重心を算出する。ここで、撮像画像Ｇから、図７に示すような人物の目間距離の分布ｄが生成されたとする。このような分布ｄは、例えば図９左図に示すように、撮影画像Ｇの右側領域に人物の顔が偏って位置する場合を示している。そして、図７に示すような人物の顔の分布ｄから、上述したように人物領域Ｒを生成した例を、図８のグレー領域で示す。さらに、撮像情報生成部１４は、人物領域Ｒの情報から当該人物領域Ｒの重心Ａの位置を算出する。例えば、撮像情報生成部１４は、図８に示すように、人物領域Ｒの全体形状に対する重心Ａの位置を算出する。
　なお、撮像情報生成部１４は、人物領域Ｒの全体形状に加えて、撮影画像内における位置毎の人物の顔の検出状況を考慮して、重心Ａの位置を算出してもよい。例えば、撮像情報生成部１４は、人物領域Ｒ内の分割領域ｒ毎や位置毎に、人物の顔の検出数に相当する重みを付加して重心Ａを算出してもよく、人物の目間距離の最小値から最大値までの検出範囲に相当する重みを付加して重心Ａを算出してもよい。
　さらに、撮像情報生成部１４は、算出した人物領域Ｒの重心Ａの位置に基づいて、カメラＣにて新たに画像を撮像する際の設定情報を生成する。例えば、図７及び図８のように、撮影画像Ｇの右側に偏って人物領域Ｒの重心Ａの位置が算出された場合には、かかる方向に多数の人物Ｐが位置していると判断できる。このため、撮像情報生成部１４は、カメラＣにてさらに右側の領域を撮影できるよう、「カメラの位置を右側に移動する」というカメラの位置の設定を変更するよう指示する情報を、設定情報として生成する。あるいは、撮像情報生成部１４は、「カメラの向きを右方向に向ける」というカメラの画角の設定を変更するよう指示する情報を、設定情報として生成する。そして、撮像情報生成部１４は、上述したように生成した設定情報を、情報処理システムのユーザに通知するよう出力する。これにより、ユーザによって実際にカメラＣを右側に移動した場合には、図９右図に示すように多数の人物が撮影画像Ｇ内に映るようになる。また、ユーザによって実際にカメラＣを右方向に向けた場合には、図１０右図に示すように多数の人物が撮影画像内に映るようになる。
　ここで、カメラＣにて新たに撮影される撮影画像Ｇに対しては、上述したように常に人物領域Ｒの生成と重心Ａの位置の算出が行われる。これに応じて、撮像情報生成部１４は、人物領域Ｒの重心Ａの位置が、図１１に示すように撮影画像の中心に位置するまで、上述同様にカメラＣにて撮影する際の設定情報の生成及び出力を行う。
　また、撮像情報生成部１４は、必ずしも上述したような設定情報を生成して出力することに限定されず、撮影の際に必要な情報であればいかなる情報を生成して出力してもよい。例えば、撮像情報生成部１４は、人物領域Ｒが撮影画像Ｇの中心に集中している場合や、人物領域Ｒが撮影画像Ｇの全体に広がっている場合には、カメラＣのズームを変更する情報を生成して出力してもよい。
　また、撮像情報生成部１４は、必ずしも上述したように人物領域Ｒの重心Ａの位置に基づいて設定情報を生成することに限定されず、人物Ｐのいかなる分布に基づいて、撮影の際に必要な情報を生成して出力してもよい。例えば、撮像情報生成部１４は、上述したように人物Ｐの顔の向きの分布が生成された場合には、かかる分布に基づいてカメラＣの向きやズームを変更する情報を生成して出力してもい。また、例えば、撮像情報生成部１４は、上述したように人物Ｐの顔領域の画質の分布が生成された場合には、かかる分布に基づいてカメラＣの向きやズーム、焦点距離（ピント）、を変更する情報を生成して出力してもい。例えば、カメラＣのズームや焦点距離を変更することで、撮影画像が鮮明になるなど、撮影画像の質を変更することができる。
　また、撮像情報生成部１４は、図７に示す人物Ｐの目間距離の分布そのものや、図７及び図８に示す人物領域Ｒやその重心Ａの位置を表す情報そのものを、新たに画像を撮像する際に用いる情報として出力してもよい。これにより、かかる情報を見たユーザは、カメラＣの位置を移動したり、カメラＣの向きを変更するなど、適切な画像を得ることができるよう操作することができる。
　［動作］
　次に、上述した情報処理システムの動作を、主に図１２のフローチャートを参照して説明する。まず、情報処理システムは、カメラＣにて対象場所を撮影し、検出装置１０が撮影画像を取得する（ステップＳ１）。そして、検出装置１０は、撮影画像内の人物Ｐの顔の位置及び顔のサイズを検出する（ステップＳ２）。ここでは、検出装置１０は、図３に示すように、人物Ｐの目間距離を検出して、検出した人物Ｐの目間距離と、撮影画像上における検出した人物Ｐの顔の位置を表す情報である分割領域ｒと、を対応付けて記憶する。なお、検出装置１０は、複数の撮影画像に対して人物Ｐの目間距離を検出して、その位置を記憶する。
　続いて、検出装置１０は、検出した人物Ｐの顔の位置及び目間距離の分布を生成する（ステップＳ３）。例えば、検出装置１０は、図４に示すように、撮影画像Ｇを分割した分割領域ｒ毎に、当該分割領域ｒに対応付けられた目間距離の分布ｄを生成する。なお、検出装置１０は、人物Ｐの目間距離の分布ｄに限らず、人物Ｐに関するいかなる分布を生成してもよい。
　続いて、検出装置１０は、図５及び図６に示すように、人物Ｐの目間距離の分布ｄから、撮影画像Ｇ内において人物Ｐが存在する人物領域Ｒを生成する（ステップＳ４）。そして、検出装置１０は、図７及び図８に示すように、人物領域Ｒの重心Ａの位置を算出する（ステップＳ５）。
　続いて、検出装置１０は、算出した人物領域Ｒの重心Ａの位置に基づいて、カメラＣにて新たに画像を撮像する際の設定情報を生成する（ステップＳ６）。例えば、図７及び図８のように、撮影画像の右側に偏って人物領域Ｒの重心Ａの位置が算出された場合には、カメラＣの位置や画角の設定を変更するような情報を生成して出力する。そして、かかる情報の出力を受けて、ユーザにてカメラＣの位置や画角の設定が変更されることで、図９や図１０に示すように、多数の人物が撮影画像Ｇ内に映るようになる。
　その後、検出装置１０は、カメラＣにて新たに撮影画像が撮影される毎に人物領域Ｒの生成と重心Ａの位置の算出を行い、当該人物領域Ｒの重心Ａの位置が、図１１に示すように撮影画像の中心に位置するまで、上述同様にカメラＣにて撮影する際の設定情報の生成及び出力を行ってもよい。なお、検出装置１０は、必ずしも上述したようなカメラＣの設定情報を生成して出力することに限定されず、撮影の際に必要な情報であればいかなる情報を生成して出力してもよい。
　以上のように、本実施形態では、まず、撮影した画像に対して出現する人物の位置を検出し、撮影画像内における人物の分布を生成する。そして、かかる分布に基づいて、新たな画像を撮像する際に用いられる情報を生成する。このように、既に撮影した画像に出現する人物の位置に応じて新たな画像を撮像する際に用いられる設定などの情報を生成しているため、かかる情報を用いて新たな画像を撮像することができる。その結果、人物検出処理を行う上で適切な質の新たな画像を取得することができる。
　なお、上記では、検出装置１０が撮影画像内から人物Ｐの顔を検出する場合を例示したが、検出する対象はいかなる物体でもよい。この場合、検出装置１０は、上述した人物Ｐの目間距離を検出することで人物Ｐの顔の位置を検出することに代えて、検出対象となる物体の位置を検出し、かかる位置に応じて物体の画像内における分布を生成して、分布に基づいて新たな画像を撮像する際に用いられる情報を生成してもよい。
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図１３乃至図１５を参照して説明する。図１３乃至図１４は、実施形態２における画像処理装置の構成を示すブロック図であり、図１５は、画像処理装置の動作を示すフローチャートである。なお、本実施形態では、実施形態１で説明した検出装置１０及び画像処理方法の構成の概略を示している。
　まず、図１３を参照して、本実施形態における画像処理装置１００のハードウェア構成を説明する。画像処理装置１００は、１台又は複数台の一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３（記憶装置）
　・ＲＡＭ３０３にロードされるプログラム群１０４
　・プログラム群３０４を格納する記憶装置１０５
　・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
　・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
　・データの入出力を行う入出力インタフェース１０８
　・各構成要素を接続するバス１０９
　そして、画像処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１４に示す位置検出手段１２１と分布生成手段１２２と撮像情報生成手段１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した位置検出手段１２１と分布生成手段１２２と撮像情報生成手段１２３とは、電子回路で構築されるものであってもよい。
　なお、図１３は、画像処理装置１００のハードウェア構成の一例を示しており、画像処理装置１００のハードウェア構成は上述した場合に限定されない。例えば、画像処理装置１００は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
　そして、画像処理装置１００は、上述したようにプログラムによって構築された位置検出手段１２１と分布生成手段１２２と撮像情報生成手段１２３との機能により、図１５のフローチャートに示す画像処理方法を実行する。
　図１５に示すように、画像処理装置１００は、
　画像内の特定の物体の位置を検出し（ステップＳ１１）、
　特定の物体の画像内における分布を生成し（ステップＳ１２）、
　分布に基づいて新たな画像を撮像する際に用いられる情報を生成する（ステップＳ１３）。
　本実施形態は、以上のように構成されることにより、既に撮影した画像に出現する人物の位置に基づく分布に応じて、新たな画像を撮像する際に用いられる設定などの情報を生成している。そして、生成した情報を用いて新たな画像を撮像することで、人物検出処理を行う上で適切な質の新たな画像を取得することができる。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理装置、画像処理方法、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　画像内の特定の物体の位置を検出し、
　前記特定の物体の前記画像内における分布を生成し、
　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する、
画像処理方法。
（付記２）
　付記１に記載の画像処理方法であって、
　前記画像を複数の領域に分割した分割領域のうち、前記画像内における前記特定の物体が位置する前記分割領域を表す情報を前記分布として生成する、
画像処理方法。
（付記３）
　付記２に記載の画像処理方法であって、
　前記分布に基づいて、前記特定の物体が位置する全ての前記分割領域を結合した結合領域を生成し、当該結合領域に基づいて、前記新たな画像を撮像する際に用いられる情報を生成する、
画像処理方法。
（付記４）
　付記３に記載の画像処理方法であって、
　前記画像内における前記結合領域の重心の位置を算出し、当該重心の位置に基づいて前記新たな画像を撮像する際に用いられる情報を生成する、
画像処理方法。
（付記５）
　付記４に記載の画像処理方法であって、
　前記分割領域毎の前記特定の物体の検出状況に応じて、前記画像内における前記結合領域の重心の位置を算出する、
画像処理方法。
（付記６）
　付記１乃至５のいずれかに記載の画像処理方法であって、
　前記分布に基づいて、撮像装置により前記新たな画像を撮像する際の設定を変更する情報を生成する、
画像処理方法。
（付記７）
　付記６に記載の画像処理方法であって、
　前記分布に基づいて、前記撮像装置により前記新たな画像を撮像する際の撮影範囲を変更する情報を生成する、
画像処理方法。
（付記８）
　付記６又は７に記載の画像処理方法であって、
　前記分布に基づいて、前記撮像装置により前記新たな画像を撮像する際の質を変更する情報を生成する、
画像処理方法。
（付記９）
　付記１乃至８のいずれかに記載の画像処理方法であって、
　複数の前記画像に対して当該画像内の前記特定の物体の位置を検出し、
　複数の前記画像から検出された前記特定の物体の位置に基づいて、当該特定の物体の前記画像内における前記分布を生成する、
画像処理方法。
（付記１０）
　付記１乃至９のいずれかに記載の画像処理方法であって、
　前記特定の物体である人物の顔の位置を検出する、
画像処理方法。
（付記１１）
　画像内の特定の物体の位置を検出する位置検出手段と、
　前記特定の物体の前記画像内における分布を生成する分布生成手段と、
　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する撮像情報生成手段と、
を備えた画像処理装置。
（付記１２）
　付記１１に記載の画像処理装置であって、
　前記分布生成手段は、前記画像を複数の領域に分割した分割領域のうち、前記画像内における前記特定の物体が位置する前記分割領域を表す情報を前記分布として生成する、
画像処理装置。
（付記１３）
　付記１２に記載の画像処理装置であって、
　前記撮像情報生成手段は、前記分布に基づいて、前記特定の物体が位置する全ての前記分割領域を結合した結合領域を生成し、当該結合領域に基づいて、前記新たな画像を撮像する際に用いられる情報を生成する、
画像処理装置。
（付記１４）
　付記１３に記載の画像処理装置であって、
　前記撮像情報生成手段は、前記画像内における前記結合領域の重心の位置を算出し、当該重心の位置に基づいて前記新たな画像を撮像する際に用いられる情報を生成する、
画像処理装置。
（付記１５）
　付記１４に記載の画像処理装置であって、
　前記撮像情報生成手段は、前記分割領域毎の前記特定の物体の検出状況に応じて、前記画像内における前記結合領域の重心の位置を算出する、
画像処理装置。
（付記１６）
　付記１１乃至１５のいずれかに記載の画像処理装置であって、
　前記撮像情報生成手段は、前記分布に基づいて、撮像装置により前記新たな画像を撮像する際の設定を変更する情報を生成する、
画像処理装置。
（付記１７）
　情報処理装置のプロセッサに、
　画像内の特定の物体の位置を検出し、
　前記特定の物体の前記画像内における分布を生成し、
　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する、
ことを実行させるためのプログラム。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
１０　検出装置
１１　画像取得部
１２　位置検出部
１３　分布生成部
１４　撮像情報生成部
１５　画像記憶部
１６　分布記憶部
Ｃ　カメラ
Ｐ　人物
１００　画像処理装置
１０１　ＣＰＵ
１０２　ＲＯＭ
１０３　ＲＡＭ
１０４　プログラム群
１０５　記憶装置
１０６　ドライブ装置
１０７　通信インタフェース
１０８　入出力インタフェース
１０９　バス
１１０　記憶媒体
１１１　通信ネットワーク
１２１　位置検出手段
１２２　分布生成手段
１２３　撮像情報生成手段
 

Claims (17)

  1. 　画像内の特定の物体の位置を検出し、
    　前記特定の物体の前記画像内における分布を生成し、
    　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する、
    画像処理方法。
  2. 　請求項１に記載の画像処理方法であって、
    　前記画像を複数の領域に分割した分割領域のうち、前記画像内における前記特定の物体が位置する前記分割領域を表す情報を前記分布として生成する、
    画像処理方法。
  3. 　請求項２に記載の画像処理方法であって、
    　前記分布に基づいて、前記特定の物体が位置する全ての前記分割領域を結合した結合領域を生成し、当該結合領域に基づいて、前記新たな画像を撮像する際に用いられる情報を生成する、
    画像処理方法。
  4. 　請求項３に記載の画像処理方法であって、
    　前記画像内における前記結合領域の重心の位置を算出し、当該重心の位置に基づいて前記新たな画像を撮像する際に用いられる情報を生成する、
    画像処理方法。
  5. 　請求項４に記載の画像処理方法であって、
    　前記分割領域毎の前記特定の物体の検出状況に応じて、前記画像内における前記結合領域の重心の位置を算出する、
    画像処理方法。
  6. 　請求項１乃至５のいずれかに記載の画像処理方法であって、
    　前記分布に基づいて、撮像装置により前記新たな画像を撮像する際の設定を変更する情報を生成する、
    画像処理方法。
  7. 　請求項６に記載の画像処理方法であって、
    　前記分布に基づいて、前記撮像装置により前記新たな画像を撮像する際の撮影範囲を変更する情報を生成する、
    画像処理方法。
  8. 　請求項６又は７に記載の画像処理方法であって、
    　前記分布に基づいて、前記撮像装置により前記新たな画像を撮像する際の質を変更する情報を生成する、
    画像処理方法。
  9. 　請求項１乃至８のいずれかに記載の画像処理方法であって、
    　複数の前記画像に対して当該画像内の前記特定の物体の位置を検出し、
    　複数の前記画像から検出された前記特定の物体の位置に基づいて、当該特定の物体の前記画像内における前記分布を生成する、
    画像処理方法。
  10. 　請求項１乃至９のいずれかに記載の画像処理方法であって、
    　前記特定の物体である人物の顔の位置を検出する、
    画像処理方法。
  11. 　画像内の特定の物体の位置を検出する位置検出手段と、
    　前記特定の物体の前記画像内における分布を生成する分布生成手段と、
    　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する撮像情報生成手段と、
    を備えた画像処理装置。
  12. 　請求項１１に記載の画像処理装置であって、
    　前記分布生成手段は、前記画像を複数の領域に分割した分割領域のうち、前記画像内における前記特定の物体が位置する前記分割領域を表す情報を前記分布として生成する、
    画像処理装置。
  13. 　請求項１２に記載の画像処理装置であって、
    　前記撮像情報生成手段は、前記分布に基づいて、前記特定の物体が位置する全ての前記分割領域を結合した結合領域を生成し、当該結合領域に基づいて、前記新たな画像を撮像する際に用いられる情報を生成する、
    画像処理装置。
  14. 　請求項１３に記載の画像処理装置であって、
    　前記撮像情報生成手段は、前記画像内における前記結合領域の重心の位置を算出し、当該重心の位置に基づいて前記新たな画像を撮像する際に用いられる情報を生成する、
    画像処理装置。
  15. 　請求項１４に記載の画像処理装置であって、
    　前記撮像情報生成手段は、前記分割領域毎の前記特定の物体の検出状況に応じて、前記画像内における前記結合領域の重心の位置を算出する、
    画像処理装置。
  16. 　請求項１１乃至１５のいずれかに記載の画像処理装置であって、
    　前記撮像情報生成手段は、前記分布に基づいて、撮像装置により前記新たな画像を撮像する際の設定を変更する情報を生成する、
    画像処理装置。
  17. 　情報処理装置のプロセッサに、
    　画像内の特定の物体の位置を検出し、
    　前記特定の物体の前記画像内における分布を生成し、
    　前記分布に基づいて新たな画像を撮像する際に用いられる情報を生成する、
    ことを実行させるためのプログラム。
     
PCT/JP2019/049335 2019-12-17 2019-12-17 画像処理方法 WO2021124435A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/781,465 US12058433B2 (en) 2019-12-17 2019-12-17 Image processing method
PCT/JP2019/049335 WO2021124435A1 (ja) 2019-12-17 2019-12-17 画像処理方法
JP2021565195A JP7414077B2 (ja) 2019-12-17 2019-12-17 画像処理方法
US18/749,847 US20240340522A1 (en) 2019-12-17 2024-06-21 Image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/049335 WO2021124435A1 (ja) 2019-12-17 2019-12-17 画像処理方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/781,465 A-371-Of-International US12058433B2 (en) 2019-12-17 2019-12-17 Image processing method
US18/749,847 Continuation US20240340522A1 (en) 2019-12-17 2024-06-21 Image processing method

Publications (1)

Publication Number Publication Date
WO2021124435A1 true WO2021124435A1 (ja) 2021-06-24

Family

ID=76477348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049335 WO2021124435A1 (ja) 2019-12-17 2019-12-17 画像処理方法

Country Status (3)

Country Link
US (2) US12058433B2 (ja)
JP (1) JP7414077B2 (ja)
WO (1) WO2021124435A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222137A (ja) * 1994-02-08 1995-08-18 Kyocera Corp 遠隔監視システム
JP2007209008A (ja) * 2003-10-21 2007-08-16 Matsushita Electric Ind Co Ltd 監視装置
WO2014174737A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 監視装置、監視方法および監視用プログラム
JP2018050146A (ja) * 2016-09-21 2018-03-29 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
JP2019029886A (ja) * 2017-08-01 2019-02-21 日本写真判定株式会社 移動物体撮影システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4819380B2 (ja) 2004-03-23 2011-11-24 キヤノン株式会社 監視システム、撮像設定装置、制御方法、及びプログラム
US8150099B2 (en) * 2005-06-03 2012-04-03 Nikon Corporation Image processing device, image processing method, image processing program product, and imaging device
JP2009171428A (ja) * 2008-01-18 2009-07-30 Nec Corp デジタルカメラ装置および電子ズームの制御方法およびプログラム
JP5517504B2 (ja) 2009-06-29 2014-06-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5538865B2 (ja) * 2009-12-21 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
JP5821457B2 (ja) * 2011-09-20 2015-11-24 ソニー株式会社 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
JP5440588B2 (ja) * 2011-11-09 2014-03-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
EP3132598A1 (en) * 2014-04-17 2017-02-22 Sony Corporation Depth assisted scene recognition for a camera
CN109598176A (zh) * 2017-09-30 2019-04-09 佳能株式会社 识别装置和识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222137A (ja) * 1994-02-08 1995-08-18 Kyocera Corp 遠隔監視システム
JP2007209008A (ja) * 2003-10-21 2007-08-16 Matsushita Electric Ind Co Ltd 監視装置
WO2014174737A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 監視装置、監視方法および監視用プログラム
JP2018050146A (ja) * 2016-09-21 2018-03-29 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
JP2019029886A (ja) * 2017-08-01 2019-02-21 日本写真判定株式会社 移動物体撮影システム

Also Published As

Publication number Publication date
US12058433B2 (en) 2024-08-06
US20230054623A1 (en) 2023-02-23
JP7414077B2 (ja) 2024-01-16
JPWO2021124435A1 (ja) 2021-06-24
US20240340522A1 (en) 2024-10-10

Similar Documents

Publication Publication Date Title
US20230412925A1 (en) Video surveillance system and video surveillance method
EP3130138B1 (en) Use of face and motion detection for best view framing in video conference endpoint
US10397525B2 (en) Monitoring system and monitoring method
JP2014241578A (ja) カメラシステム及びカメラ制御装置
US10200607B2 (en) Image capturing apparatus, method of controlling the same, monitoring camera system, and storage medium
WO2016088368A1 (ja) 方向制御装置、方向制御方法および記録媒体
JPWO2017187694A1 (ja) 注目領域画像生成装置
JP6073474B2 (ja) 位置検出装置
JP2013021551A (ja) 検知装置、検知方法及びプログラム
WO2021124435A1 (ja) 画像処理方法
JP2018085579A (ja) 撮像装置、制御方法、及び情報処理プログラム
KR101457888B1 (ko) 기준점 보정을 이용한 3차원 영상 생성방법
WO2021181623A1 (ja) 撮影制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021124434A1 (ja) 物体検出方法
JP2018170574A (ja) 監視システム
KR101470939B1 (ko) 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법
JP7203305B2 (ja) 撮影システム、撮影方法、及びプログラム
KR20160015035A (ko) 스마트 협업을 위한 테이블 시스템 및 방법
JP2023091490A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2020108047A (ja) 画像処理装置、移動体デバイス、画像処理方法および画像処理プログラム
TW202211680A (zh) 立體攝影模型生成系統及立體攝影模型生成方法
TW201601118A (zh) 畫面重心追蹤系統及其方法
KR101170269B1 (ko) 감시 장치 및 방법
JP2023063765A (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム
JP2015056727A (ja) 装置、方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19956520

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565195

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19956520

Country of ref document: EP

Kind code of ref document: A1