WO2013114862A1 - 最適カメラ設定装置及び最適カメラ設定方法 - Google Patents

最適カメラ設定装置及び最適カメラ設定方法 Download PDF

Info

Publication number
WO2013114862A1
WO2013114862A1 PCT/JP2013/000468 JP2013000468W WO2013114862A1 WO 2013114862 A1 WO2013114862 A1 WO 2013114862A1 JP 2013000468 W JP2013000468 W JP 2013000468W WO 2013114862 A1 WO2013114862 A1 WO 2013114862A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
face
person
range
flow line
Prior art date
Application number
PCT/JP2013/000468
Other languages
English (en)
French (fr)
Inventor
宏明 由雄
香織 森
横光 澄男
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP13744190.3A priority Critical patent/EP2811736A1/en
Priority to US14/374,544 priority patent/US9781336B2/en
Priority to JP2013556261A priority patent/JP5958716B2/ja
Publication of WO2013114862A1 publication Critical patent/WO2013114862A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present invention relates to an optimum camera setting device and an optimum camera setting method suitable for use in a surveillance camera system that monitors a person.
  • Patent Document 1 describes an example of automatically adjusting zoom / pan / tilt of a monitoring camera based on a store layout or the like as a method for improving the efficiency of installation of the monitoring camera.
  • the conventional technology including the monitoring camera system described in Patent Document 1 described above is a camera installation position, height, angle of view, focus, and the like that are optimal for image recognition processing such as face matching and age gender estimation. Because it does not have the technique to present to the user (mainly the installer who constructs the surveillance camera system), the installer has tried and tried the camera installation position, height, angle of view, focus, etc. While setting. This is a factor in the deterioration of work efficiency.
  • the present invention has been made in view of such circumstances, and presents a user with an installation situation including a camera installation position, height, angle of view, and focus optimal for image recognition processing such as face matching and age-gender estimation. It is an object to provide an optimum camera setting device and an optimum camera setting method.
  • An optimum camera setting device includes a person tracking unit that detects and tracks a person from a captured image captured by a camera that captures a subject, and at least the number of face detections for the person tracked by the person tracking unit.
  • the person analysis means for extracting one of the face orientation and the angle of view as the visitor information, and the visitor information extracted by the person analysis means, the camera installation status is estimated.
  • a camera installation state estimating means for estimating the camera installation state of the person from a captured image captured by a camera that captures a subject.
  • the camera installation position, height, angle of view, and installation status including the focus are presented to the user, which is optimal for image recognition processing such as face matching and age gender estimation. It is possible to easily set the angle of view, focus, etc., and work efficiency can be improved.
  • the camera installation state estimation means presents an instruction to urge the camera to move directly in front of the movement direction of the person when the pass rate in the movement direction of the person is low.
  • the acceptance rate can be increased simply by moving the camera according to the presentation, and work efficiency can be improved.
  • the person analysis means divides the captured image into small areas in addition to the visitor information for each tracked person, and generates visitor information for each small area.
  • the acceptance rate of the angle of view can be increased and work efficiency can be improved.
  • the camera installation state estimating means subdivides the store visitor information for each small area into an upper half and a lower half of the photographed image, and calculates a pass rate with a frequency of the upper half and the lower half.
  • the face of the visitor can be reliably obtained, the acceptance rate of the angle of view can be increased, and the work efficiency can be improved.
  • the camera installation state estimation means presents that the camera is urged to have a wide angle when the number of face detections is larger than the lower half of the captured image.
  • the acceptance rate of the angle of view can be increased and the work efficiency can be improved.
  • the camera installation state estimation means presents a notice to urge the camera to zoom when the number of face detections is greater in the lower half than the upper half of the captured image.
  • the camera's face when the face is more visible in the lower half of the captured image, the camera's face can be reliably obtained by zooming the camera, so the acceptance rate of the angle of view can be increased, Efficiency can be improved.
  • the camera installation state estimating means sets a pass criterion for the visitor information for each tracked person, and outputs the ratio of the number of persons exceeding the pass criterion as a pass rate.
  • a pass criterion is set for the visitor information for each tracked person, and the ratio of the number of persons exceeding the pass criterion is presented as a pass rate, so the camera installation position, height, angle of view, focus, etc. Setting can be performed easily and work efficiency can be improved.
  • the camera installation state estimation means determines and outputs which of the installation states including the installation position, height, angle of view, and focus of the camera should be corrected using the acceptance rate.
  • the camera installation state estimation means presents a message that prompts a change in the resolution and frame rate of the camera.
  • the resolution and frame rate of the camera can be easily changed.
  • the optimal camera setting method of the present invention includes a person tracking step for detecting and tracking a person from a captured image captured by a camera that captures a subject, and the number of face detections for the person tracked in the person tracking step, A person analysis step for extracting the face orientation and the angle of view as store visitor information, and a camera installation state estimation step for estimating whether the camera installation state is suitable using the store visitor information extracted in the person analysis step; , Provided.
  • the camera installation position, height, angle of view, and installation status including the focus are presented to the user, which is optimal for image recognition processing such as face matching and age and gender estimation. It is possible to easily set the angle of view, focus, etc., and work efficiency can be improved.
  • the optimum camera setting device includes a flow line extraction means for tracking a person from an image of a person photographed by a camera for photographing a photographing range to obtain a flow line of the person, and for the person moving the flow line.
  • a face direction detecting means for detecting a face direction; and the face direction of the person detected by the face direction detecting means is one section of the flow line of the front face, and the number of the front faces in the section is predetermined.
  • the camera is determined to change the shooting range of the camera to be the section in which the front face is detected.
  • An imaging range determining unit that determines to change the lower side of the imaging range to be below the range of the section in which the front face is detected, and the imaging range determined by the imaging range determining unit are presented. And presenting means It is characterized in.
  • the shooting range of the camera is the section.
  • the number of front faces in the section is less than the predetermined number, the lower face of the camera shooting range is presented below the section range. Can be taken. Thereby, the performance can be improved when used as a surveillance camera.
  • the shooting range determination unit changes the shooting range.
  • the change of the shooting range is presented only when necessary, so that more front faces can be taken with certainty.
  • the face direction of the person detected by the face direction detecting means is two or more sections of the flow line of the front face, and the person's face is detected in any one of the two or more sections.
  • the shooting range determining means changes the shooting range of the camera to be one of the two or more sections. It is characterized by determining.
  • the number of front faces in any one of the two or more sections is a predetermined number or more.
  • the face direction of the person detected by the face direction detecting means is two or more sections of the flow line of the front face, and the front of the person in any of the two or more sections.
  • the shooting range determining means sets the shooting range to the lowest from the uppermost section of the shooting range in the two or more sections.
  • the shooting range is set up to a section.
  • the number of images in which a person's front face is detected in any two of the two or more sections where the face direction of the person is the front face is two or more.
  • the shooting range of the camera is presented so as to be from the uppermost section to the lowermost section in the two or more of the sections. A front face can be taken.
  • the flow direction dividing unit that divides the flow line according to the degree of the face direction of the person detected by the face direction detecting unit is provided, and the photographing range determining unit has the degree of the face direction in front.
  • the camera is adjusted so that a section close to the face is in focus.
  • the photographing range determining means adjusts the camera so that the camera is focused on a section where the face direction is close to the front face and the number of front faces is large.
  • the number of images in which the front face of the person is detected is an average of the number of images in which the front face of the person moved along the flow line detected by the face direction detection unit is detected.
  • the number of face images in which the face of a person moving along the flow line is detected is an average of the number of faces of the person moved along the flow line detected by the face direction detecting means. It is characterized by.
  • the optimal camera setting method of the present invention is a camera setting method for displaying camera settings using a computer, and tracking a person from a shooting step of shooting a shooting range and a human image shot in the shooting step.
  • a flow line extraction step for obtaining a flow line of the person, a face direction detection step for detecting a face direction of the person moving along the flow line, and a face direction of the person detected in the face direction detection step is a front face.
  • the photographing range of the photographing step is changed to be a section in which the front face is detected.
  • the lower side of the shooting range in the shooting step is changed to be lower than the range of the section in which the front face is detected.
  • the shooting range of the camera is the section.
  • the number of front faces in the section is less than the predetermined number, the lower face of the camera shooting range is presented below the section range. Can be taken.
  • the present invention it is possible to easily set the camera installation position, height, angle of view, focus, and the like, and work efficiency can be improved.
  • FIG. 1 is a block diagram showing a schematic configuration of an optimum camera setting device according to Embodiment 1 of the present invention.
  • the figure which shows the setting and definition of the pass rate in the camera installation pass rate calculation part of the optimal camera setting apparatus of FIG. The figure which shows an example of the camera installation screen displayed on the user presentation part of the optimal camera setting apparatus of FIG. (A)-(c)
  • FIG. 10 is a diagram for explaining the operation of the optimum camera setting device in FIG. 9 when the ratio of the front face is 80% or less and the range including the front face is one and the face frame number Nf is equal to or greater than the threshold value Nt.
  • Diagram schematically showing the operation of FIG. 10 is a diagram for explaining the operation of the optimum camera setting device in FIG. 9 when the ratio of the front face is 80% or less and the range including the front face is one, and the number of face frames Nf is less than the threshold value Nt.
  • Diagram schematically showing the operation of FIG. 10 is a diagram for explaining the operation of the optimum camera setting device in FIG. 9 when the ratio of the front face is 80% or less and there are a plurality of ranges including the front face, and the number of face frames Nf is equal to or greater than the threshold value Nt.
  • Diagram schematically showing the operation of FIG. 10 is a diagram for explaining the operation of the optimum camera setting device in FIG.
  • FIG. 1 is a block diagram showing a schematic configuration of an optimum camera setting apparatus according to Embodiment 1 of the present invention.
  • an optimum camera setting device 1 includes a camera 2 for photographing a subject, a store visitor tendency analyzing unit 3, a camera installation state estimating unit 4, and a user presenting unit 5.
  • the camera 2 has an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and outputs an image captured by the image sensor.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the store visitor tendency analysis unit 3 includes a person tracking unit 31, a person analysis unit 32, a person unit store visitor information storage unit 33, and a sub area unit store visitor information storage unit 34.
  • the person tracking unit 31 detects and tracks a person from the captured image captured by the camera 2.
  • the person analysis unit 32 extracts items including face detection count, moving direction, face orientation, focus, dynamic range, and angle of view as store visitor information for the person tracked by the person tracking unit 31.
  • the person analysis unit 32 divides the captured image into small areas and generates visitor information for each small area (hereinafter referred to as “sub-area”).
  • the visitor information in units of sub areas is information related to the angle of view.
  • the person-by-person store visitor information is information related to setting items other than the angle of view (this setting item will be described below).
  • the person unit store visitor information storage unit 33 stores store visitor information generated in units of persons.
  • the sub area unit store visitor information storage unit 34 stores store visitor information generated in units of sub areas.
  • the person unit store visitor information storage unit 33 and the sub area unit store visitor information storage unit 34 are configured by a storage device such as a hard disk or a flash memory.
  • a storage device such as a hard disk or a flash memory.
  • one storage device constitutes the person unit store visitor information storage unit 33 and the sub area unit store visitor information storage unit 34, but each storage unit 33, 34 may be configured by a dedicated storage device.
  • the camera installation state estimation unit 4 uses the visitor information in person units or sub-region units extracted by the person analysis unit 32 of the visitor tendency analysis unit 3 to set the installation position, height, angle of view, and focus of the camera 2.
  • the camera installation pass rate calculation unit 41 and the camera installation correction necessity determination unit 42 are included.
  • the camera installation pass rate calculation unit 41 sets a pass criterion for the visitor information for each tracking person (that is, in units of persons), and outputs the pass rate as the pass rate.
  • the camera installation pass rate calculation unit 41 subdivides the store visitor information for each sub-region (ie, sub-region unit) into the upper half and the lower half of the captured image, and calculates the pass rate with the frequency of the upper half and the lower half. To do.
  • FIG. 2 is a diagram showing setting and definition of a pass rate in the camera installation pass rate calculating unit 41.
  • the pass rate setting items include “number of face frames: threshold”, “movement direction: selection of direction to pass”, “face orientation: threshold of number of front faces”, “focus: OK threshold”,
  • the threshold set by “the number of face frames” is, for example, “10”.
  • the ratio of the number of persons exceeding the set threshold is output as a pass rate.
  • the threshold is “10”
  • the ratio of the number of persons exceeding “10” out of 89 persons is output as the pass rate.
  • “Moving direction” specifies, for example, a passing direction among eight directions at 180 degrees, and outputs the ratio of the number of persons moving in the specified direction as a passing rate.
  • “Face orientation” outputs the ratio of the number of people exceeding the set threshold (number of sheets) as a pass rate.
  • the threshold value set for “face orientation” is, for example, “3-5 sheets”.
  • “Focus” outputs the ratio of the number of persons exceeding the set threshold (number) as a pass rate.
  • the threshold set by “focus” is, for example, “3-5 sheets”.
  • the “face D range” determines whether the brightness value range of the face area is OK, and outputs the ratio of the number of people whose OK number exceeds the threshold as a pass rate.
  • the threshold value set in the “face D range” is, for example, “3-5 sheets”.
  • “View angle” divides an image into two parts, and counts the upper face detection number (Tn) and the lower face detection number (Bn). The pass rate is output as Tn / Bn (1 or more is 1).
  • the camera installation correction necessity determination unit 42 uses the acceptance rate calculated by the camera installation acceptance rate calculation unit 41 to determine the installation status including the installation position, height, angle of view, and focus of the camera 2. Which one should be corrected is determined and output to the user presentation unit 5.
  • the user presentation unit 5 is output to urge the user to move the camera 2 directly in front of the direction of movement of the person.
  • the user presentation unit 5 is prompted to urge the camera 2 to have a wide angle.
  • the user presentation unit 5 is prompted to urge the camera 2 to zoom.
  • the user presentation unit 5 has a display such as a liquid crystal display, and presents (ie, “displays”) the results and instructions estimated by the camera installation state estimation unit 4.
  • FIG. 3 is a diagram illustrating an example of a camera installation screen displayed on the user presentation unit 5.
  • the camera installation screen 60 includes a live image (real-time image captured by the camera 2) 61, an analysis result 62, a correction plan 63, and a START button for starting a face recognition camera installation test. 64, a STOP button 65 for completing the face recognition camera installation test, a pass rate setting button 66 for setting a pass rate, and an analysis result detail button 67 for displaying details of the analysis result. Is done.
  • a face frame 70 and a flow line 71 are superimposed on the live video 61.
  • the START button 64 By pressing the START button 64, for example, photographing is performed for 10 minutes. After shooting for 10 minutes, the analysis results of the number of people who visited the store for 10 minutes (for example, the 89 people mentioned above) are displayed with a pass rate. In addition, about the passed item, the numerical value of a pass rate is displayed by the character (for example, red) of a specific color. In the example of FIG. 3, the three items “number of face frames”, “focus”, and “face D range” pass (that is, the installation by the installer is good). If the analysis is performed and there is an unacceptable item, an advice for passing is displayed as a correction plan 63. In the example of FIG. 3, “movement direction”, “face orientation”, and “view angle” are rejected. However, if “face orientation” and “view angle” are zoomed, the acceptance rate is improved. The advice is displayed as a revision proposal 63. Note that the STOP button 65 is pressed to stop shooting halfway.
  • FIGS. 4A to 4C are schematic diagrams showing a pass rate calculation procedure in the camera installation pass rate calculating unit 41.
  • FIG. 4A first, as shown in FIG. 4A, the flow line 71 is extracted using the face frame 70 set for the store visitor 80 (step 1).
  • FIG. 4A shows a case in which a total of seven face frames 70 can be acquired, and a flow line 71 is obtained by linking them.
  • the face orientation, focus (focus), and face D range are calculated for each face frame 70 (step 2).
  • face orientation information such as left, right, front, etc. is acquired using face orientation estimation, which is an existing technology.
  • the focus value for the face area is calculated using an algorithm used in ABF (Auto Back Focus) or the like. Numerical values “100” and “50” shown in the figure are focus values, and the higher the numerical value, the more the focus is achieved.
  • the brightness value range is calculated for a region slightly inside the face frame.
  • step 4 the pass rate of each item is calculated (step 4).
  • the corresponding region is determined based on the center of gravity of the face frame.
  • the pass rate is calculated as the cumulative value of all face frames.
  • FIG. 5 is a diagram illustrating an example of camera installation correction necessity determination in the camera installation correction necessity determination unit 42.
  • the ratio of the number of face frames exceeding the threshold corresponds to the number of face frames.
  • the “number of persons by direction (including direction)” corresponds to the moving direction and direction.
  • the “face detection frequency map for each sub region” and “the average face detection size for each sub region” correspond to the angle of view.
  • ratio M% in the figure corresponds to the pass rate. The ratio M% is 80%, for example.
  • “Period ratio exceeding number of face frames threshold” is less than M%, and “Percentage of persons by direction” is “Up ⁇ Down: Many” (that is, the visitor moves from the upper half to the lower half of the captured image) If the frequency of the upper half area of the captured image is high (approx. Face can be taken only at the entrance), or if the face detection size of the upper half area of the captured image is other than large, the camera installation will be corrected. It is instructed to change the position of the camera 2 as necessary. In this case, since the depression angle (face orientation) of the camera 2 is large, for example, an instruction is given to reduce the height of the camera 2 and increase the distance between the camera and the entrance.
  • FIG. 6 is a flowchart showing the installation procedure of the camera 2.
  • the camera 2 is temporarily installed (step S1).
  • the operation of the optimum camera setting device 1 is started.
  • the store visitor tendency analysis unit 3 collects store visitor tendencies (step S2). That is, the person tracking unit 31 detects and tracks a person from the captured image captured by the camera 2, and the person analysis unit 32 detects the number of face detections and the moving direction for the person tracked by the person tracking unit 31. Items including face orientation, focus, dynamic range, and angle of view are extracted as store visitor information.
  • the person analysis unit 32 divides the captured image into small areas to generate visitor information for each sub-area, and the generated visitor information for each person
  • the store visitor information storage unit 33 stores the store visitor information generated in units of sub-areas in the sub-area unit store visitor information storage unit 34.
  • the camera installation state estimation unit 4 uses the visitor information in units of persons or sub areas extracted by the visitor tendency analysis unit 3 to It is estimated whether the installation situation including the installation position, height, angle of view, and focus is suitable, and it is determined whether there is an item that needs correction from the estimation result (step S3). In this determination, if there is no item that requires correction (that is, if correction is not necessary), the present processing is finished. If there is an item that requires correction (that is, if correction is required), the user presenting unit 5 installs the camera 2. A correction proposal is presented (step S4).
  • the user presentation unit 5 presents the installation correction proposal for the camera 2
  • the user that is, the “constructor”
  • the store visitor tendency analysis unit 3 collects store visitor trends again.
  • the user performs readjustment of the camera 2 according to the installation correction plan instructed each time until the pass rate can be achieved for all items.
  • the camera 2 can be easily set to the optimum position compared to the conventional technology that has been adjusted through trial and error. The work efficiency can be improved.
  • the camera 2 that captures the subject
  • the person tracking unit 31 that detects and tracks the person from the captured image captured by the camera 2
  • the person tracking unit A person analysis unit 32 that extracts items including face detection count, moving direction, face orientation, focus, dynamic range, and angle of view as visitor information for the person tracked in 31, and the person analysis unit 32
  • the camera installation status estimation unit 4 that estimates whether the installation status including the installation position, height, angle of view, and focus of the camera 2 is appropriate, and the camera installation status estimation unit 4
  • a user presentation unit 5 for presenting the result of the measurement, so that the installation status including the installation position, height, angle of view, and focus of the camera 2 that is most suitable for image recognition processing such as face matching and age gender estimation can be shown to the user.
  • Present Bets can be a user, the installation position of the camera 2, the height, angle, it is possible to easily configure focus etc., thereby improving the working efficiency.
  • the camera installation / correction necessity determination unit 42 may output to the user presentation unit 5 a message prompting the user to change the resolution and frame rate of the camera 2. .
  • FIG. 7 (a) and 7 (b) are diagrams showing an example in which the resolution / frame rate is presented as a correction proposal.
  • (A) of the figure is an image of the vicinity including the entrance of the store, the resolution is 4VGA (1280 ⁇ 960 pixels), and the frame rate is 5 fps.
  • the face frame of the visitor 80 is the front face, four face frames (70-1 to 70-4), one side face (70-5), and two downward faces ( 70-6, 70-7) When obtained, as a tendency of this store, it is difficult to take a front face in the section indicated by the arrow 90.
  • an area where the face of the visitor 80 is in front is calculated, and the position, resolution, and frame rate for photographing the area are determined.
  • the frame rate is 20 fps when VGA (640 ⁇ 480 pixels) is used.
  • the area is long (that is, when the area is large), 4 VGA and frame rate is 5 fps (as it is).
  • a view angle image to be changed is presented.
  • FIG. 7B shows an image of the angle of view.
  • a square denoted by reference numeral 100 is a new angle of view (a zoomed-in angle of view). Under the new angle of view 100, the characters “VGA, 20 fps” are displayed. The user can make settings so that the front face of the visitor 80 can be obtained with certainty by adjusting according to this instruction.
  • FIGS. 8A and 8B are diagrams illustrating an example in which a correction proposal is presented using an image.
  • the zoom magnification is clearly shown using an image. This corresponds to indicating the frame of the new angle of view 100 shown in FIG.
  • an arrow 110 and a star 111 opposite to the main movement direction of the store visitor are superimposed and displayed on the photographed image.
  • the star 111 indicates the position of the camera 2, and the front face of the visitor can be easily taken by turning the camera 2 upward.
  • the magnification for wide angle is determined based on the number of pixels to be displayed closest to the face frame 70 (the number of pixels in the face frame 70 is 30, 32, 36,). For example, when the minimum size of face recognition (minimum value for face recognition) is “20”, the wide angle is set to 1.5 times.
  • the remaining number of corrections may be presented. For example, if it is determined that the movement direction is oblique, the remaining number of corrections is set to three. In this case, the first time corrects the camera position, the second time corrects the angle of view (tilt), and the third time corrects the angle of view (zoom).
  • the hardware configuration of the store visitor tendency analysis unit 3 and the camera installation state estimation unit 4 includes a CPU (central processing unit), a volatile memory such as a RAM, a ROM, and the like.
  • a computer having a non-volatile memory and an interface can be used.
  • a program describing the functions of the optimum camera setting device 1 according to the present embodiment can be stored and distributed in a storage medium such as a magnetic disk, a hard disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • FIG. 9 is a block diagram showing a schematic configuration of the optimum camera setting apparatus according to Embodiment 2 of the present invention.
  • the optimal camera setting device 1A includes a camera 2 that captures a shooting range, a store visitor tendency analysis unit 3A, a shooting range determination unit (shooting range determination means) 4A, and a user presentation unit. 5.
  • the camera 2 has an image sensor such as a CCD or CMOS, and outputs an image captured by the image sensor.
  • the store visitor tendency analysis unit 3A includes a person tracking unit 31, a person analysis unit 32A, a person unit store visitor information storage unit 33, and a sub area unit store visitor information storage unit 34.
  • the person tracking unit 31 detects and tracks a person from the captured image captured by the camera 2.
  • the person analysis unit (flow line extraction unit, face direction detection unit) 32A obtains the flow line of the person for the person tracked by the person tracking unit 31. Also, the person analysis unit 32A extracts items including face detection count, movement direction, face orientation, focus, dynamic range, and angle of view as store visitor information for a person who moves along the flow line.
  • the person analysis unit 32A divides the captured image into small areas and generates visitor information for each small area (hereinafter referred to as “sub-area”).
  • the visitor information in units of sub areas is information related to the angle of view.
  • the person-by-person store visitor information is information related to setting items other than the angle of view (this setting item will be described below).
  • the person unit store visitor information storage unit 33 stores store visitor information generated in units of persons.
  • the sub area unit store visitor information storage unit 34 stores store visitor information generated in units of sub areas.
  • the person unit store visitor information storage unit 33 and the sub area unit store visitor information storage unit 34 are configured by a storage device such as a hard disk or a flash memory.
  • a storage device such as a hard disk or a flash memory.
  • one storage device constitutes the person unit store visitor information storage unit 33 and the sub area unit store visitor information storage unit 34, but each storage unit 33, 34 may be configured by a dedicated storage device.
  • the shooting range determination unit 4A includes a camera installation pass rate calculation unit 41 and a camera installation correction necessity determination unit 42A, and is a person unit or sub-region unit extracted by the person analysis unit 32A of the store visitor tendency analysis unit 3A. Is used to estimate whether the installation position including the installation position, height, angle of view, and focus of the camera 2 is suitable, and from the front face ratio and the front face position in the flow line 2 is determined.
  • the camera installation pass rate calculation unit 41 sets a pass criterion for the visitor information for each tracking person (that is, in units of persons), and outputs the pass rate as the pass rate.
  • the camera installation pass rate calculation unit 41 subdivides the store visitor information for each sub-region (ie, sub-region unit) into the upper half and the lower half of the captured image, and calculates the pass rate with the frequency of the upper half and the lower half. To do.
  • the camera installation correction necessity determination unit 42A performs the same operation as the camera installation correction necessity determination unit 42 of the optimum camera setting device 1 according to Embodiment 1 described above, and the front face ratio and the front in the flow line.
  • the shooting range of the camera 2 is determined from the position of the face.
  • the user presenting unit (presenting means) 5 has a display such as a liquid crystal display, and presents (that is, “displays”) the photographing range determined by the photographing range determining unit 4A.
  • the front face is defined as shown in FIG. That is, the range is 30 degrees from the center of the face, and if the face is reflected within this range, the front face is determined.
  • the flow line 71 is obtained by averaging the flow lines 71-1, 71-2,..., 71-100 of a plurality of persons (about 100 persons).
  • the number of face images in which the face of a person moving along the flow line 71 (including the front face) is detected is an average of the number of faces of the person moved along the flow line 71 detected by the person analysis unit 32A.
  • “ ⁇ ” indicates the face frame 70.
  • the ratio of the front face in the flow line 71 and the range 100A including the front face are calculated, and the start point (Xs, Ys) and end point (Xe, Ye) of the front face are calculated.
  • the ratio of the front face in the flow line 71 is the ratio of the front face to all the face frames 70.
  • FIG. 12 shows the case where the ratio of the front face is 80% or less and there is one range 100A including the front face. It is the figure which showed typically operation
  • the arrow 72 shown in the drawing indicates the face direction.
  • the shooting range of the camera 2 is set to the range 100A.
  • the shooting range of the camera 2 is set to the range 100A.
  • FIG. 13 is a diagram schematically showing an operation when the face frame number Nf is less than the threshold value Nt.
  • the number of face frames Nf is the threshold value Nt (“5”). ).
  • an upward arrow 130 is shown so that the camera 2 faces upward, and an adbus “turn the camera upward” is performed below the arrow 130.
  • an adbus “turn the camera upward” is performed below the arrow 130.
  • the lower side of the shooting range of the camera 2 is the range 100A.
  • FIG. 14 shows the number of face frames when the ratio of the front face is 80% or less and there are a plurality of ranges including the front face. It is the figure which showed typically the operation
  • An arrow 72 shown in the figure indicates the direction of the face. In each of the two front face ranges 100A-1 and 100A-2, the face frame number Nf of the front face is calculated.
  • the threshold value Nt is “5”
  • the range where the face frame number Nf is equal to or greater than the threshold value Nt is only the range 100A-1.
  • advice is given to zoom up from the front face start point (Xs, Ys) to the end point (Xe, Ye) in the front face range 100A-1. That is, the original angle of view 120 is narrowed so that the five front faces from the start point (Xs, Ys) to the end point (Xe, Ye) can be taken large. In this case, zooming is performed while shifting the original angle of view 120 to the right.
  • 15 is a diagram schematically showing an operation in the case where the ratio of the front face is 80% or less and there are a plurality of ranges including the front face, and the number Nf of the face frames of all the front faces is less than the threshold value Nt. is there.
  • An arrow 72 shown in the figure indicates the direction of the face.
  • the total number of face frames in the flow line 71 is “10”
  • the number Nf of front face frames in the front face range 100A-1 is “2”
  • the front face range 100A-2 Since the number Nf of the face frame of the front face is “2”, the ratio of the front face is 20% in both the front face ranges 100A-1 and 100A-2, and both satisfy the condition of 80% or less. Since the threshold value Nt is “5”, the face frame number Nf is less than the threshold value Nt in both the front face ranges 100A-1 and 100A-2.
  • zooming is performed so that the range from (Xs, Ys) closest to the start point 71a of the flow line 71 to (Xe, Ye) closest to the end point 71b of the flow line 71 is in the range 100-5.
  • the original angle of view 120 so that ten front faces from (Xs, Ys) closest to the start point 71a of the flow line 71 to (Xe, Ye) closest to the end point 71b of the flow line 71 can be taken. To narrow.
  • the camera The advice is given so that the two shooting ranges are from the uppermost section to the lowermost section of the two or more ranges.
  • the optimal camera setting device 1A there is one range 100A in which the face direction of a person is a front face, and the number of front face frames Nf in the range 100A is equal to or greater than the threshold value Nt.
  • advice is given so that the shooting range of the camera 2 is set to the range 100A.
  • the number Nf of front face frames in the range 100A is less than the threshold value Nt, the lower side of the shooting range of the camera 2 is set to the lower side of the range 100A.
  • the face direction of the person is the front face
  • the front face in any one of the two or more ranges 100A-1 and 100A-2
  • the number of face frames Nf is equal to or greater than the threshold value Nt
  • advice is given so that the range is the shooting range of the camera 2, and the person is in any of the two or more ranges 100A-1 and 100A-2.
  • the shooting range of the camera 2 is the lowest zone from the highest zone of the shooting range in the two or more ranges 100A-1 and 100A-2. Since the advice is given so that it can be taken, more front faces can be taken. When used as a surveillance camera, performance can be improved.
  • the CPU central processing unit
  • a volatile memory such as a RAM
  • a nonvolatile memory such as a ROM
  • a computer equipped with a memory and an interface can be used.
  • a program describing the functions of the optimum camera setting device 1A according to the present embodiment can be stored and distributed in a storage medium such as a magnetic disk, a hard disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the camera adjustment advice is given based on the ratio of the front face and the position of the front face in the flow line 71.
  • the optimum camera setting according to the present embodiment is described.
  • the device advises the position to focus on from the focus and face orientation. Since the configuration of the optimal camera setting device according to the present embodiment is the same as that of the optimal camera setting device 1A according to the second embodiment, FIG.
  • reference numeral 1B is assigned to the optimum camera setting device according to the present embodiment.
  • reference numeral 4B is assigned to the shooting range determination unit of the optimum camera setting device according to the present embodiment.
  • reference numeral 42B is assigned to the camera installation correction necessity determination unit of the photographing range determination unit 4B. Further, 3B is assigned to the visitor tendency analysis unit, and 32B is assigned to the person analysis unit (flow line dividing means) of the visitor tendency analysis unit 3B.
  • the focus value and the face orientation of all the face frames are calculated, and a position to focus on an area having a good face orientation (that is, a range having a high face orientation pass rate) is advised.
  • the focus value indicates the degree of blurring of the image, and is represented by a value of “0 to 255”.
  • the value of “0 to 255” increases as the focus is improved. That is, “0” is the lowest and “255” is the highest.
  • FIG. 16 is a diagram schematically showing the operation of the optimum camera setting device 1B according to the present embodiment.
  • the flow line 71 is first divided into ranges for each degree of face orientation.
  • the range analysis of the flow line 71 is performed by the person analysis unit 32B.
  • the range is divided into [Range 1] 130-1 to [Range 4] 130-4.
  • the face orientation pass rate is “80%”, the average focus value is “85”, the number of face frames is “5”, and in [Range 2] 130-2, the face orientation pass rate is In “60%”, the focus average value is “90”, the number of face frames is “2”, and [Range 3] 130-3, the face orientation pass rate is “95%”, the focus average value is “100”, and the face
  • the face orientation pass rate is “50%”, the focus average value is “120”, and the number of face frames is “4”.
  • [Range 1] 130-1 to [Range 4] 130-4 [Range 3] 130-3 has the highest face orientation pass rate, followed by [Range 1] 130-1. However, since the number of face frames in [Range 3] 130-3 is as small as “2”, [Range 1] 130-1 with the number of face frames “5” is used. Give advice to focus.
  • the flow line 71 is divided according to the degree of the face of the person so that the section in which the degree of the face is close to the front face is in focus. Since the camera 2 is adjusted, more front faces can be taken well.
  • the CPU central processing unit
  • a volatile memory such as a RAM
  • a nonvolatile memory such as a ROM
  • a computer equipped with a memory and an interface can be used.
  • a program describing the functions of the optimum camera setting device 1B according to the present embodiment can be stored and distributed in a storage medium such as a magnetic disk, a hard disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the present invention has the effect of being able to present to the user the installation status including the camera installation position, height, angle of view, and focus optimal for image recognition processing such as face matching and age and gender estimation. It can be applied to surveillance camera systems that are permanently installed in buildings such as stores, banks, and public facilities.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

 被写体を撮影するカメラ2と、カメラ2で撮影された撮影画像から人物を検出し追跡する人物追跡部31と、人物追跡部31で追跡された人物に対して、顔の検出回数、移動方向、顔向き、ピント、ダイナミックレンジ、画角を含む項目を来店者情報として抽出する人物解析部32と、人物解析部32で抽出された来店者情報を用いて、カメラ2の設置位置、高さ、画角、フォーカスを含む設置状況が適しているかを推定するカメラ設置状況推定部4と、カメラ設置状況推定部4で推定された結果を提示するユーザ提示部5と、を備えた。

Description

最適カメラ設定装置及び最適カメラ設定方法
 本発明は、人物の監視を行う監視カメラシステムに用いて好適な最適カメラ設定装置及び最適カメラ設定方法に関する。
 コンビニエンスストア等の店舗、銀行、公共施設等の建物に常設する監視カメラは、施工者によって設置されるが、ズーム/パン/チルトをそれぞれ調節する必要があり、煩雑な作業となる。監視カメラの設置を効率化する方法として、店舗レイアウト等に基づいて監視カメラのズーム/パン/チルトをそれぞれ自動調整する一例が特許文献1に記載されている。
日本国特開2008-172425号公報
 監視カメラで顔照合・年齢性別推定等の画像認識処理を行う場合、当該処理に最適なカメラの設置位置、高さ、画角、フォーカス等を設定する必要がある。しかしながら、上述した特許文献1に記載された監視カメラシステムを含む従来技術は、顔照合・年齢性別推定等の画像認識処理に最適なカメラの設置位置、高さ、画角、フォーカス等の設置状況をユーザ(主に、監視カメラシステムを施工する施工者)に提示する術を有していないこともあって、施工者は、カメラの設置位置、高さ、画角、フォーカス等を試行錯誤しながら設定している。このことが作業効率の悪化の一要因となっている。
 本発明は、係る事情に鑑みてなされたものであり、顔照合・年齢性別推定等の画像認識処理に最適なカメラの設置位置、高さ、画角、フォーカスを含む設置状況をユーザに提示することができる最適カメラ設定装置及び最適カメラ設定方法を提供することを目的とする。
 本発明の最適カメラ設定装置は、被写体を撮影するカメラで撮影された撮影画像から人物を検出し追跡する人物追跡手段と、前記人物追跡手段で追跡された人物に対して、少なくとも顔の検出回数、顔向き、画角のいずれか一つを来店者情報として抽出する人物解析手段と、前記人物解析手段で抽出された来店者情報を用いて、前記カメラの設置状況が適しているかを推定するカメラ設置状況推定手段と、を備えたことを特徴とする。
 上記構成によれば、顔照合・年齢性別推定等の画像認識処理に最適なカメラの設置位置、高さ、画角、フォーカスを含む設置状況をユーザに提示するので、カメラの設置位置、高さ、画角、フォーカス等の設定を簡単に行うことが可能となり、作業効率の向上が図れる。
 上記構成において、前記カメラ設置状況推定手段は、人物の移動方向の合格率が低い場合、該人物の移動方向の真正面に前記カメラを移動するように促す旨を提示することを特徴とする。
 上記構成によれば、提示に従ってカメラを移動させるだけで、合格率を上げることができ、作業効率の向上が図れる。
 上記構成において、前記人物解析手段は、追跡人物毎の来店者情報に加えて、撮像画像を小領域に分割して小領域毎に来店者情報を生成することを特徴とする。
 上記構成によれば、画角の合格率を上げることができ、作業効率の向上が図れる。
 上記構成において、前記カメラ設置状況推定手段は、前記小領域毎の来店者情報を撮影画像の上半分と下半分に再分割し、上半分と下半分の頻度で合格率を算出することを特徴とする。
 上記構成によれば、撮影画像の上半分を店舗の入口に向けることで、来店者の顔が確実に得られ、画角の合格率を上げることができ、作業効率の向上が図れる。
 上記構成において、前記カメラ設置状況推定手段は、顔の検出回数が前記撮影画像の下半分より上半分に多くあるとき、前記カメラを広角にするように促す旨を提示することを特徴とする。
 上記構成によれば、来店者の顔が確実に得られるので、画角の合格率を上げることができ、作業効率の向上が図れる。
 上記構成において、前記カメラ設置状況推定手段は、顔の検出回数が前記撮影画像の上半分より下半分に多くあるとき、前記カメラをズームするように促す旨を提示することを特徴とする。
 上記構成によれば、顔が撮影画像の下半分により多く写っている場合に、カメラをズームすることで来店者の顔が確実に得られるので、画角の合格率を上げることができ、作業効率の向上が図れる。
 上記構成において、前記カメラ設置状況推定手段は、前記追跡人物毎の来店者情報に合格基準を設け、前記合格基準を超えた人数比率を合格率として出力することを特徴とする。
 上記構成によれば、追跡人物毎の来店者情報に合格基準を設けて、該合格基準を超えた人数比率を合格率として提示するので、カメラの設置位置、高さ、画角、フォーカス等の設定を簡単に行うことが可能となり、作業効率の向上が図れる。
 上記構成において、前記カメラ設置状況推定手段は、前記合格率を用いて、前記カメラの設置位置、高さ、画角、フォーカスを含む設置状況のいずれを修正すべきかを判定して出力することを特徴とする。
 上記構成によれば、カメラの設置位置、高さ、画角、フォーカスを含む設置状況のいずれを修正すればよいか明確に分かるので、作業効率の向上が図れる。
 上記構成において、前記カメラ設置状況推定手段は、前記カメラの解像度、フレームレートの変更を促す旨を提示することを特徴とする。
 上記構成によれば、カメラの解像度、フレームレートの変更を容易に行うことができる。
 本発明の最適カメラ設定方法は、被写体を撮影するカメラで撮影された撮影画像から人物を検出し追跡する人物追跡ステップと、前記人物追跡ステップで追跡された人物に対して、顔の検出回数、顔向き、画角を来店者情報として抽出する人物解析ステップと、前記人物解析ステップで抽出された来店者情報を用いて、前記カメラの設置状況が適しているかを推定するカメラ設置状況推定ステップと、を備えたことを特徴とする。
 上記方法によれば、顔照合・年齢性別推定等の画像認識処理に最適なカメラの設置位置、高さ、画角、フォーカスを含む設置状況をユーザに提示するので、カメラの設置位置、高さ、画角、フォーカス等の設定を簡単に行うことが可能となり、作業効率の向上が図れる。
 本発明の最適カメラ設定装置は、撮影範囲を撮影するカメラで撮影した人物の画像から前記人物を追跡して前記人物の動線を求める動線抽出手段と、前記動線を移動する前記人物の顔向きを検出する顔向き検出手段と、前記顔向き検出手段が検出した前記人物の顔向きが正面顔の前記動線の区間が一つであって、前記区間の前記正面顔の枚数が所定の枚数以上のとき、前記カメラの撮影範囲を前記正面顔が検出された区間になるように変更することを決定し、前記区間の前記正面顔の枚数が所定の枚数より少ないとき、前記カメラの前記撮影範囲の下側を前記正面顔が検出された区間の範囲の下側になるように変更することを決定する撮影範囲決定手段と、前記撮影範囲決定手段によって決定された撮影範囲を提示する提示手段と、を有することを特徴とする。
 上記構成によれば、人物の顔向きが正面顔となる動線の区間が一つであって、該区間における正面顔の枚数が所定の枚数以上のとき、カメラの撮影範囲を該区間とするように提示を行い、該区間における正面顔の枚数が所定の枚数より少ないとき、カメラの撮影範囲の下側を該区間の範囲の下側とするように提示を行うので、より多くの正面顔を撮ることができる。これにより、監視カメラとして用いた場合にその性能向上が図れる。
 上記構成において、前記顔向き検出手段が検出した前記動線に沿って移動する人物の正面顔の割合が所定の割合以下のとき、前記撮影範囲決定手段が前記撮影範囲の変更を行うことを特徴とする。
 上記構成によれば、必要な場合にのみ撮影範囲の変更の提示を行うので、確実により多くの正面顔を撮ることができる。
 上記構成において、前記顔向き検出手段が検出した前記人物の顔向きが正面顔の前記動線の区間が二つ以上であって、前記二つ以上の区間のいずれか一つの区間について前記人物の正面顔が検出された画像の枚数が所定の枚数以上のとき、前記撮影範囲決定手段は、前記カメラの撮影範囲を前記二つ以上の区間のいずれか一つの区間になるように変更することを決定することを特徴とする。
 上記構成によれば、人物の顔向きが正面顔となる動線の区間が二つ以上であって、二つ以上の該区間のいずれか一つの区間における正面顔の枚数が所定の枚数以上のとき、カメラの撮影範囲を二つ以上の該区間のいずれか一つの区間とするように提示を行うので、人物の顔向きが正面顔となる動線の区間が二つ以上ある場合、カメラの撮影範囲を、最も正面顔の枚数の多い区間とするように提示を行うので、より多くの正面顔を撮ることができる。
 上記構成において、前記顔向き検出手段が検出した前記人物の顔向きが正面顔の前記動線の区間が二つ以上であって、前記二つ以上の区間のいずれの区間についても前記人物の正面顔が検出された画像の枚数が所定の枚数より少ないとき、前記撮影範囲決定手段は、前記撮影範囲を前記二つ以上の区間の中で前記撮影範囲の最も上にある区間から最も下にある区間までに前記撮影範囲を設定することを特徴とする。
 上記構成によれば、人物の顔向きが正面顔となる動線の区間が二つ以上であって、二つ以上の該区間のいずれの区間についても人物の正面顔が検出された画像の枚数が所定の枚数より少ないとき、カメラの撮影範囲を、二つ以上の該区間の中で撮影範囲の最も上にある区間から最も下にある区間までとするように提示を行うので、より多くの正面顔を撮ることができる。
 上記構成において、前記顔向き検出手段が検出した前記人物の顔向きの程度に合わせて前記動線を分割する動線分割手段を有し、前記撮影範囲決定手段は、前記顔向きの程度が正面顔に近い区間が合焦するように前記カメラを調整することを特徴とする。
 上記構成によれば、顔向きの程度が正面顔に近い区間を合焦させるので、より多くの正面顔を良好に撮ることができる。
 上記構成において、前記撮影範囲決定手段は、前記顔向きが正面顔に近い区間であって正面顔の枚数が多い区間に合焦するように前記カメラを調整することを特徴とする。
 上記構成によれば、より多くの正面顔を良好に撮ることができる。
 上記構成において、前記人物の正面顔が検出された画像の枚数は、前記顔向き検出手段が検出した前記動線に沿って移動した人物の正面顔が検出された枚数の平均であることを特徴とする。
 上記構成によれば、より多くの正面顔を良好に撮ることができる。
 上記構成において、前記動線に沿って移動する人物の顔を検出した顔画像の数は、前記顔向き検出手段が検出した前記動線に沿って移動した人物の顔の枚数の平均であることを特徴とする。
 上記構成によれば、より多くの正面顔を良好に撮ることができる。
 本発明の最適カメラ設定方法は、計算機を用いてカメラの設定を表示するカメラ設定方法であって、撮影範囲を撮影する撮影ステップと、前記撮影ステップで撮影した人物の画像から前記人物を追跡して前記人物の動線を求める動線抽出ステップと、前記動線を移動する前記人物の顔向きを検出する顔向き検出ステップと、前記顔向き検出ステップで検出した前記人物の顔向きが正面顔の前記動線の区間が一つであって、前記区間の前記正面顔の枚数が所定の枚数以上のとき、前記撮影ステップの撮影範囲を前記正面顔が検出された区間になるように変更することを決定し、記区間の前記正面顔の枚数が所定の枚数より少ないとき、前記撮影ステップの前記撮影範囲の下側を前記正面顔が検出された区間の範囲の下側になるように変更することを決定する撮影範囲決定ステップと、前記撮影範囲決定ステップによって決定された撮影範囲を提示する提示ステップと、を有することを特徴とする。
 上記方法によれば、人物の顔向きが正面顔となる動線の区間が一つであって、該区間における正面顔の枚数が所定の枚数以上のとき、カメラの撮影範囲を該区間とするように提示を行い、該区間における正面顔の枚数が所定の枚数より少ないとき、カメラの撮影範囲の下側を該区間の範囲の下側とするように提示を行うので、より多くの正面顔を撮ることができる。
 本発明によれば、カメラの設置位置、高さ、画角、フォーカス等の設定を簡単に行うことが可能となり、作業効率の向上が図れる。
本発明の実施の形態1に係る最適カメラ設定装置の概略構成を示すブロック図 図1の最適カメラ設定装置のカメラ設置合格率算出部における合格率の設定及び定義を示す図 図1の最適カメラ設定装置のユーザ提示部に表示されるカメラ設置画面の一例を示す図 (a)~(c)図1の最適カメラ設定装置のカメラ設置合格率算出部における合格率算出手順を示す模式図 図1の最適カメラ設定装置のカメラ設置修正要否判定部におけるカメラ設置の修正要否判定の一例を示す図 図1の最適カメラ設定装置におけるカメラの設置手順を示すフローチャート (a),(b)図1の最適カメラ設定装置において、解像度・フレームレートを修正案として提示する例を示す図 (a),(b)図1の最適カメラ設定装置において、画像を使用して修正案を提示する例を示す図 本発明の実施の形態2に係る最適カメラ設定装置の概略構成を示すブロック図 図9の最適カメラ設定装置における正面顔を定義するための図 図9の最適カメラ設定装置における動線を定義するための図 図9の最適カメラ設定装置の動作を説明するための図であって、正面顔の割合が80%以下、かつ正面顔を含む範囲が1つの場合で、顔枠数Nfが閾値Nt以上の場合の動作を模式的に示した図 図9の最適カメラ設定装置の動作を説明するための図であって、正面顔の割合が80%以下、かつ正面顔を含む範囲が1つの場合で、顔枠数Nfが閾値Nt未満の場合の動作を模式的に示した図 図9の最適カメラ設定装置の動作を説明するための図であって、正面顔の割合が80%以下、かつ正面顔を含む範囲が複数ある場合で、顔枠数Nfが閾値Nt以上の場合の動作を模式的に示した図 図9の最適カメラ設定装置の動作を説明するための図であって、正面顔の割合が80%以下、かつ正面顔を含む範囲が複数ある場合で、全ての正面顔の顔枠数Nfが閾値Nt未満の場合の動作を模式的に示した図 本発明の実施の形態3に係る最適カメラ設定装置のカメラ設置修正要否判定部の動作を模式的に示した図
 以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
 (実施の形態1)
 図1は、本発明の実施の形態1に係る最適カメラ設定装置の概略構成を示すブロック図である。同図において、本実施の形態に係る最適カメラ設定装置1は、被写体を撮影するカメラ2と、来店者傾向分析部3と、カメラ設置状況推定部4と、ユーザ提示部5とを備える。カメラ2は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有し、該撮像素子で撮像した画像を出力する。
 来店者傾向分析部3は、人物追跡部31と、人物解析部32と、人物単位来店者情報記憶部33と、サブ領域単位来店者情報記憶部34とを備える。人物追跡部31は、カメラ2で撮影された撮影画像から人物を検出し追跡する。人物解析部32は、人物追跡部31で追跡された人物に対して、顔の検出回数、移動方向、顔向き、ピント、ダイナミックレンジ、画角を含む項目を来店者情報として抽出する。人物解析部32は、追跡する人物毎の来店者情報に加えて、撮像画像を小領域に分割して小領域(以下、“サブ領域”と呼ぶ)毎に来店者情報を生成する。ここで、サブ領域単位の来店者情報とは、画角に関する情報である。また、人物単位の来店者情報とは、画角以外の設定項目(この設定項目は以下で説明する)に関する情報である。
 人物単位来店者情報記憶部33は、人物単位で生成された来店者情報を記憶する。サブ領域単位来店者情報記憶部34は、サブ領域単位で生成された来店者情報を記憶する。人物単位来店者情報記憶部33及びサブ領域単位来店者情報記憶部34は、ハードディスクやフラッシュメモリ等の記憶装置で構成される。なお、本実施の形態に係る最適カメラ設定装置1では、1つの記憶装置が人物単位来店者情報記憶部33及びサブ領域単位来店者情報記憶部34を構成しているが、各記憶部33,34を専用の記憶装置で構成するようにしても構わない。
 カメラ設置状況推定部4は、来店者傾向分析部3の人物解析部32で抽出された人物単位又はサブ領域単位の来店者情報を用いて、カメラ2の設置位置、高さ、画角、フォーカスを含む設置状況が適しているかを推定するものであり、カメラ設置合格率算出部41と、カメラ設置修正要否判定部42とを有する。カメラ設置合格率算出部41は、追跡人物毎(即ち人物単位)の来店者情報に合格基準を設け、合格基準を超えた人数比率を合格率として出力する。また、カメラ設置合格率算出部41は、サブ領域毎(即ちサブ領域単位)の来店者情報を撮影画像の上半分と下半分に再分割し、上半分と下半分の頻度で合格率を算出する。
 図2は、カメラ設置合格率算出部41における合格率の設定及び定義を示す図である。同図において、合格率の設定項目には、「顔枠数:閾値」、「移動方向:合格とする方向の選択」、「顔向き:正面顔数の閾値」、「ピント:OK閾値」、「顔D(“D”はダイナミックのこと)レンジ:OK閾値」及び「画角」の6つの設定項目がある。「顔枠数」で設定する閾値は、例えば“10”である。「顔枠数」は、設定した閾値を超える人数比率を合格率として出力する。例えば、閾値を“10”とした場合、89人(10分間に来店した人数の一例)中“10”を超えた人数の比率を合格率として出力する。「移動方向」は、例えば180度で8方向のうち、合格とする方向を指定し、指定した方向に移動する人数の比率を合格率として出力する。
 「顔向き」は、設定した閾値(枚数)を超える人数の比率を合格率として出力する。「顔向き」で設定する閾値は、例えば「3~5枚」である。「ピント」は、設定した閾値(枚数)を超える人数の比率を合格率として出力する。「ピント」で設定する閾値は、例えば「3~5枚」である。「顔Dレンジ」は、顔領域の輝度値のレンジがOKであるか判定し、OKの枚数が閾値を超える人数の比率を合格率として出力する。「顔Dレンジ」で設定する閾値は、例えば「3~5枚」である。「画角」は、画像を上下2つに分割し、上側の顔検出数(Tn)と下側の顔検出数(Bn)をカウントする。合格率は、Tn/Bn(1以上は1)として出力する。
 図1に戻り、カメラ設置修正要否判定部42は、カメラ設置合格率算出部41で算出された合格率を用いて、カメラ2の設置位置、高さ、画角、フォーカスを含む設置状況のいずれを修正すべきかを判定してユーザ提示部5に出力する。特に、人物の移動方向の合格率が低い場合、該人物の移動方向の真正面にカメラ2を移動するように促す旨をユーザ提示部5に出力する。また、顔の検出回数が撮影画像の下半分より上半分に多くあるときは、カメラ2を広角にするように促す旨をユーザ提示部5に出力する。また、顔の検出回数が撮影画像の上半分より下半分に多くあるときは、カメラ2をズームするように促す旨をユーザ提示部5に出力する。
 ユーザ提示部5は、液晶表示器等のディスプレイを有し、カメラ設置状況推定部4で推定された結果や指示を提示する(即ち“表示”する)。
 図3は、ユーザ提示部5に表示されるカメラ設置画面の一例を示す図である。同図において、カメラ設置画面60には、ライブ映像(カメラ2で撮影されたリアルタイムの映像)61と、解析結果62と、修正案63と、顔認識カメラ設置テスト開始用のSTART(スタート)ボタン64と、顔認識カメラ設置テスト終了用のSTOP(ストップ)ボタン65と、合格率を設定するための合格率設定ボタン66と、解析結果の詳細を表示するための解析結果詳細ボタン67とが表示される。ライブ映像61には、顔枠70と動線71が重畳される。
 STARTボタン64を押すことで、例えば10分間撮影が行われる。10分間撮影が行われた後、10分間に来店した人数(例えば、前述した89人)の解析結果が合格率で表示される。なお、合格した項目については、合格率の数値が特定の色の文字(例えば赤字)で表示される。図3の例では、「顔枠数」、「ピント」、「顔Dレンジ」の3つの項目が合格となっている(即ち、施工者による設置が良好であることを示している)。解析が行われて不合格の項目があれば、合格するためのアドバイスが修正案63として表示される。図3の例では、「移動方向」、「顔向き」及び「画角」が不合格となっているが、「顔向き」と「画角」についてはズームすれば合格率が向上する旨のアドバイスが修正案63として表示されている。なお、撮影を途中で止める場合は、STOPボタン65を押す。
 図4(a)~(c)は、カメラ設置合格率算出部41における合格率算出手順を示す模式図である。同図において、まず図4の(a)に示すように、来店者80に設定した顔枠70を用いて動線71の抽出を行う(ステップ1)。図4の(a)は、全部で7枚の顔枠70を取得できている場合であり、これらを紐付けして動線71が得られる。動線抽出を行った後、図4の(b)に示すように、各顔枠70に対して、顔向き、ピント(フォーカス)、顔Dレンジを算出する(ステップ2)。顔向きの算出においては、既存の技術である顔向き推定を利用して、左、右、正面等の情報を取得する。
 ピントの算出においては、ABF(Auto Back Focus)等で使用しているアルゴリズムを用いて顔領域に対するピント値を算出する。図中に示す数値「100」、「50」はピント値であり、数値が高くなるほどピントが合っている。顔Dレンジの算出においては、顔枠の少し内側の領域に対して、輝度値のレンジを算出する。各顔枠70に対して、顔向き、ピント、顔Dレンジを算出した後、人物単位に来店者情報(画角以外の設定項目に関する情報)を生成するとともに、サブ領域単位別に来店者情報(画角に関する情報)を生成する(ステップ3)。人物単位の設定項目は、図2に示す内容、即ち、「顔枠数」、「移動方向(8方向)」、「顔向き(左・右・正面の枚数)」、「ピント(段階別枚数)」、「顔Dレンジ(段階別枚数)」の5項目であり、各項目の合格率を算出する(ステップ4)。サブ領域単位の場合、顔枠の重心で該当領域を決定する。また、サブ領域単位の場合、全顔枠の累計値として合格率を算出する。
 図5は、カメラ設置修正要否判定部42におけるカメラ設置の修正要否判定の一例を示す図である。同図において、「顔枠数閾値超え人数比率」は顔枠数に対応する。また、「方向別人数比率(向きも含む)」は移動方向と向きに対応する。また、「サブ領域毎の顔検出頻度マップ」及び「サブ領域毎の顔検出サイズ平均」は画角に対応する。また、図中の「比率M%」は合格率に対応する。比率M%は例えば80%である。「顔枠数閾値超え人数比率」が比率M%以上である場合、カメラ設置状況が良好であるので、修正不要と判定する。
 (1)「顔枠数閾値超え人数比率」が比率M%未満、「方向別人数比率」が「上→下:少ない≒斜めが多い」(即ち、来店者の、撮影画像の上半分から下半分に移動する割合が低い)場合、カメラ設置の修正が必要であるとして、カメラ2の位置変更を指示する。例えば、動線が真っ直ぐになるよう指示する。
 (2)「顔枠数閾値超え人数比率」が比率M%未満、「方向別人数比率」が「上→下:多い」(即ち、来店者の、撮影画像の上半分から下半分に移動する割合が高い)、「撮影画像の下半分の領域の頻度(顔検出の頻度)が高い(≒入口において顔が撮れない)」、「撮影画像の上半分領域の顔検出サイズが小」の場合、カメラ設置の修正が必要であるとして、カメラ2をズームするよう指示する。
 (3)「顔枠数閾値超え人数比率」が比率M%未満、「方向別人数比率」が「上→下:多い」(即ち、来店者の、撮影画像の上半分から下半分に移動する割合が高い)、「撮影画像の下半分の領域の頻度(顔検出の頻度)が高い(≒入口において顔が撮れない)」、「撮影画像の上半分領域の顔検出サイズが小以外」の場合、カメラ設置の修正が必要であるとして、カメラ2の位置変更を指示する。この場合は、入口付近に下向く人が多い状態であるので、例えば、カメラ2の高さを低く、カメラ・入口間距離を長くするよう指示する。
 (4)「顔枠数閾値超え人数比率」が比率M%未満、「方向別人数比率」が「上→下:多い」(即ち、来店者の、撮影画像の上半分から下半分に移動する割合が高い)、「撮影画像の上半分の領域の頻度が高い(≒入口しか顔が撮れない)、「撮影画像の上半分領域の顔検出サイズが大」の場合、カメラ設置の修正が必要であるとして、カメラ2を広角にするよう指示する。
 (5)「顔枠数閾値超え人数比率」が比率M%未満、「方向別人数比率」が「上→下:多い」(即ち、来店者の、撮影画像の上半分から下半分に移動する割合が高い)、「撮影画像の上半分の領域の頻度が高い(≒入口しか顔が撮れない)、「撮影画像の上半分領域の顔検出サイズが大以外」の場合、カメラ設置の修正が必要であるとして、カメラ2の位置変更を指示する。この場合は、カメラ2の俯角(顔向き)が大きい状態であるので、例えば、カメラ2の高さを低く、カメラ・入口間距離を長くするよう指示する。
 図6は、カメラ2の設置手順を示すフローチャートである。同図において、まずカメラ2を仮設置する(ステップS1)。カメラ2を仮設置した後、最適カメラ設定装置1の動作を開始させる。最適カメラ設定装置1が動作を開始すると、来店者傾向分析部3が来店者の傾向を収集する(ステップS2)。即ち、人物追跡部31が、カメラ2で撮影された撮影画像から人物を検出し追跡し、人物解析部32が、人物追跡部31で追跡された人物に対して、顔の検出回数、移動方向、顔向き、ピント、ダイナミックレンジ、画角を含む項目を来店者情報として抽出する。また、人物解析部32が、追跡人物毎の来店者情報に加えて、撮像画像を小領域に分割してサブ領域毎に来店者情報を生成し、人物単位で生成した来店者情報を人物単位来店者情報記憶部33に記憶させ、サブ領域単位で生成した来店者情報をサブ領域単位来店者情報記憶部34に記憶させる。
 来店者傾向分析部3が来店者の傾向を収集した後、カメラ設置状況推定部4が、来店者傾向分析部3で抽出された人物単位又はサブ領域単位の来店者情報を用いて、カメラ2の設置位置、高さ、画角、フォーカスを含む設置状況が適しているかを推定し、推定結果から修正を要する項目があるかどうか判定する(ステップS3)。この判定において、修正を要する項目が無い場合(即ち、修正不要の場合)は本処理を終え、修正を要する項目が有る場合(即ち、修正必要の場合)はユーザ提示部5がカメラ2の設置修正案を提示する(ステップS4)。
 ユーザ提示部5が、カメラ2の設置修正案を提示した後、ユーザ(即ち“施工者”)が設置修正案に従ってカメラ2の再調整を行う(ステップS5)。カメラ2の再調整後、来店者傾向分析部3が再び来店者の傾向収集を行う。ユーザは、全ての項目で合格率を達成できるまで、その都度指示される設置修正案に従ってカメラ2の再調整を行う。合格率の低い項目に対し、設置修正案に従って再調整を行うことで、試行錯誤しながら調整を行っていた従来技術のものと比べて、簡単にカメラ2を最適な位置に設定することができ、作業効率の向上が図れる。
 このように本実施の形態に係る最適カメラ設定装置1によれば、被写体を撮影するカメラ2と、カメラ2で撮影された撮影画像から人物を検出し追跡する人物追跡部31と、人物追跡部31で追跡された人物に対して、顔の検出回数、移動方向、顔向き、ピント、ダイナミックレンジ、画角を含む項目を来店者情報として抽出する人物解析部32と、人物解析部32で抽出された来店者情報を用いて、カメラ2の設置位置、高さ、画角、フォーカスを含む設置状況が適しているかを推定するカメラ設置状況推定部4と、カメラ設置状況推定部4で推定された結果を提示するユーザ提示部5と、を備えたので、顔照合・年齢性別推定等の画像認識処理に最適なカメラ2の設置位置、高さ、画角、フォーカスを含む設置状況をユーザに提示することができ、ユーザは、カメラ2の設置位置、高さ、画角、フォーカス等の設定を簡単に行うことが可能となり、作業効率の向上が図れる。
 なお、本実施の形態に係る最適カメラ設定装置1において、カメラ設置修正要否判定部42は、カメラ2の解像度、フレームレートの変更を促す旨をユーザ提示部5に出力するようにしても良い。
 図7(a),(b)は、解像度・フレームレートを修正案として提示する例を示す図である。同図の(a)は、店舗の入口を含むその近辺を撮影した画像であり、解像度は4VGA(1280×960ピクセル)、フレームレートが5fpsである。今この図に示すように、来店者80の顔が正面顔となる顔枠が4枚(70-1~70-4)、横顔が1枚(70-5)、下向きの顔が2枚(70-6,70-7)得られた場合、この店舗の傾向として、矢印90で示す区間は、正面顔が撮れ難い。
 そこで、サブ領域単位の来店者情報を用いて、来店者80の顔が正面となるエリアを算出し、そのエリアを重点的に撮影する位置・解像度・フレーレートを決定する。当該エリアが短い場合(即ち面積が小の場合)、VGA(640×480ピクセル)、フレームレート20fpsとし、当該エリアが長い場合(即ち面積が大の場合)、4VGA、フレームレート5fps(そのまま)にする。そして、得られた解像度・フレームレートに加えて、変更する画角イメージを提示する。図7の(b)は、その画角イメージを示している。符号100で示す四角は、新しい画角(ズームアップした画角)である。新しい画角100の下には、「VGA、20fpsにする」という文字を表示する。ユーザは、この指示に従って調整を行うことで、来店者80の正面の顔が確実に得られる設定ができる。
 また、本実施の形態に係る最適カメラ設定装置1は、修正案を文字で提示するようにしたが、画像を使用して修正案を提示するようにしても良い。当然ながら、これらを組み合わせても良い。図8(a),(b)は、画像を使用して修正案を提示する例を示す図である。同図の(a)において、画像を使用してズーム倍率を明示する。これは図7(b)に示す新しい画角100の枠を例えば赤色で示すことに相当する。カメラ設置位置は、来店者の主となる移動方向と逆向きの矢印110及び星印111を撮影画像に重畳表示する。この場合、星印111はカメラ2の位置を示しており、カメラ2を上に向けることで来店者の正面顔が撮れやすくなる。図8の(b)において、広角にする倍率を顔枠70の直近に表示する画素数(顔枠70内の画素数で、30,32,36,…)に基づいて決める。例えば、顔認識の最小サイズ(顔認識できる最小値)が“20”の場合、1.5倍広角にする。
 また、画像を使用して修正案を提示する以外に、残り修正回数を提示するようにしても良い。例えば、移動方向が、斜めが多いと判定した場合、残り修正回数を3回とする。この場合、1回目は、カメラの位置を修正、2回目は、画角上下(チルト)の修正、3回目は、画角の大小(ズーム)の修正である。
 また、本実施の形態に係る最適カメラ設定装置1では、来店者傾向分析部3及びカメラ設置状況推定部4のハード構成として、CPU(中央処理装置)、RAM等の揮発性メモリ、ROM等の不揮発性メモリ、及びインターフェース等を備えたコンピュータを使用することができる。
 また、本実施の形態に係る最適カメラ設定装置1の機能を記述したプログラムを、磁気ディスク、ハードディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して頒布することもできる。
 (実施の形態2)
 図9は、本発明の実施の形態2に係る最適カメラ設定装置の概略構成を示すブロック図である。なお、同図において前述した図1と共通する部分には同一の符号を付けている。同図に示す本実施の形態に係る最適カメラ設定装置1Aは、撮影範囲を撮影するカメラ2と、来店者傾向分析部3Aと、撮影範囲決定部(撮影範囲決定手段)4Aと、ユーザ提示部5とを備える。カメラ2は、CCDやCMOS等の撮像素子を有し、該撮像素子で撮像した画像を出力する。
 来店者傾向分析部3Aは、人物追跡部31と、人物解析部32Aと、人物単位来店者情報記憶部33と、サブ領域単位来店者情報記憶部34とを備える。人物追跡部31は、カメラ2で撮影された撮影画像から人物を検出し追跡する。人物解析部(動線抽出手段、顔向き検出手段)32Aは、人物追跡部31で追跡された人物に対して、当該人物の動線を求める。また、人物解析部32Aは、動線を移動する人物に対して、顔の検出回数、移動方向、顔向き、ピント、ダイナミックレンジ、画角を含む項目を来店者情報として抽出する。人物解析部32Aは、追跡する人物毎の来店者情報に加えて、撮像画像を小領域に分割して小領域(以下、“サブ領域”と呼ぶ)毎に来店者情報を生成する。ここで、サブ領域単位の来店者情報とは、画角に関する情報である。また、人物単位の来店者情報とは、画角以外の設定項目(この設定項目は以下で説明する)に関する情報である。
 人物単位来店者情報記憶部33は、人物単位で生成された来店者情報を記憶する。サブ領域単位来店者情報記憶部34は、サブ領域単位で生成された来店者情報を記憶する。人物単位来店者情報記憶部33及びサブ領域単位来店者情報記憶部34は、ハードディスクやフラッシュメモリ等の記憶装置で構成される。なお、本実施の形態に係る最適カメラ設定装置1Aでは、1つの記憶装置が人物単位来店者情報記憶部33及びサブ領域単位来店者情報記憶部34を構成しているが、各記憶部33,34を専用の記憶装置で構成するようにしても構わない。
 撮影範囲決定部4Aは、カメラ設置合格率算出部41と、カメラ設置修正要否判定部42Aとを有し、来店者傾向分析部3Aの人物解析部32Aで抽出された人物単位又はサブ領域単位の来店者情報を用いて、カメラ2の設置位置、高さ、画角、フォーカスを含む設置状況が適しているかを推定し、さらに、動線における正面顔の割合と正面顔の位置とからカメラ2の撮影範囲を決定する。カメラ設置合格率算出部41は、追跡人物毎(即ち人物単位)の来店者情報に合格基準を設け、合格基準を超えた人数比率を合格率として出力する。また、カメラ設置合格率算出部41は、サブ領域毎(即ちサブ領域単位)の来店者情報を撮影画像の上半分と下半分に再分割し、上半分と下半分の頻度で合格率を算出する。
 カメラ設置修正要否判定部42Aは、前述した実施の形態1に係る最適カメラ設定装置1のカメラ設置修正要否判定部42と同様の動作を行う以外に、動線における正面顔の割合と正面顔の位置とからカメラ2の撮影範囲を決定する。ユーザ提示部(提示手段)5は、液晶表示器等のディスプレイを有し、撮影範囲決定部4Aによって決定された撮影範囲を提示する(即ち“表示”する)。
 次に、本実施の形態に係る最適カメラ設定装置1Aの動作を説明する。
 動作説明に際し、正面顔を図10に示すように定義する。即ち、顔の中心から左右30度の範囲とし、この範囲内で顔が映っていれば正面顔とする。また、動線71は、図11に示すように、複数人(100人程度)の動線71-1,71-2,…,71-100を平均化したものとする。動線71に沿って移動する人物の顔(正面顔を含む)を検出した顔画像の数は、人物解析部32Aが検出した動線71に沿って移動した人物の顔の枚数の平均である。なお、図11において、“□”は顔枠70を示す。
 まず動線71における正面顔の割合と正面顔を含む範囲100Aを算出し、さらに正面顔の始点(Xs,Ys)、終点を(Xe,Ye)を算出する。ここで、動線71における正面顔の割合とは、全ての顔枠70に対する正面顔の割合である。
[A]正面顔の割合が80%以下で、正面顔を含む範囲100Aが1つの場合
 図12は、正面顔の割合が80%以下、かつ正面顔を含む範囲100Aが1つの場合で、顔枠の数である顔枠数Nfが閾値Nt以上の場合の動作を模式的に示した図である。なお、図中に示す矢印72は顔向きを示している。正面顔の割合が80%以下で、正面顔を含む範囲100Aが1つの場合において、動線71における正面顔の顔枠数Nfを算出する。
(a)算出した顔枠数Nfが閾値Nt以上の場合
 正面顔の範囲100Aにおける正面顔の始点(Xs,Ys)から終点(Xe,Ye)の領域にズームアップするようにアドバイスを行う。図12に示す場合においては、動線71における全顔枠数が「10個」、正面顔の顔枠数Nfが「7個」となるので、正面顔の割合は70%となり、80%以下の条件を満たす。ここで閾値Ntを「5」とした場合、顔枠数Nfが閾値Nt以上となるので、正面顔の始点(Xs,Ys)から終点(Xe,Ye)の領域にズームアップするようにアドバイスを行う。即ち、始点(Xs,Ys)から終点(Xe,Ye)までの7つの正面顔を大きく撮れるように、元々の画角120を狭める。
 このように、人物の顔向きが正面顔となる範囲100Aが1つであって、範囲100Aにおける正面顔の顔枠数Nfが閾値Nt以上のとき、カメラ2の撮影範囲を範囲100Aとするようにアドバイスを行う。
(b)算出した顔枠数Nfが閾値Nt未満の場合
 上記(a)は、顔枠数Nfが閾値Nt以上の場合であったが、顔枠数Nfが閾値Nt未満の場合、正面顔の終点(Xe,Ye)が画面下側に来るようにカメラ2を上に向けるようにアドバイスを行う。図13は、顔枠数Nfが閾値Nt未満の場合の動作を模式的に示した図である。同図において、動線71における全顔枠数が「10個」で、正面顔の範囲100Aでの顔枠数Nfが「3個」であるので、顔枠数Nfは閾値Nt(「5」)未満である。このような場合、カメラ2を上に向けるように、上向きの矢印130を示すとともに、その下側に「カメラを上向きにする」というアドバスを行う。例えば、店舗に設置した監視カメラにおいて、画角120の上側が入口になる場合、入口の方が正面顔を多く撮れる確率が高いので、カメラ2を上向きにするようにアドバイスを行うことで、正面顔を多く撮ることができるようになる。
 このように、人物の顔向きが正面顔となる範囲100Aが1つであって、範囲100Aにおける正面顔の顔枠数Nfが閾値Nt未満のとき、カメラ2の撮影範囲の下側を範囲100Aの下側とするようにアドバイスを行う。
[B]正面顔の割合が80%以下で、正面顔を含む範囲が複数ある場合
 図14は、正面顔の割合が80%以下、かつ正面顔を含む範囲が複数ある場合で、顔枠数Nfが閾値Nt以上の場合の動作を模式的に示した図である。なお、図中に示す矢印72は顔の向きを示している。2つの正面顔の範囲100A-1,100A-2それぞれにおいて正面顔の顔枠数Nfを算出する。
(c)算出した顔枠数Nfが閾値Nt以上の範囲がある場合
 2つの正面顔の範囲100A-1,100A-2それぞれにおける顔枠数Nfの算出後、閾値Nt以上の範囲がある場合、当該範囲の領域にズームアップするようにアドバイスを行う。図14に示す場合においては、動線71における全顔枠数が「13個」、正面顔の範囲100A-1における正面顔の顔枠数Nfが「5個」、正面顔の範囲100A-2における正面顔の顔枠数Nfが「2個」となるので、正面顔の範囲100A-1における正面顔の割合は約38.5%、正面顔の範囲100A-2における正面顔の割合は約15.4%となり、いずれも80%以下の条件を満たす。しかし、閾値Ntは「5」であるので、顔枠数Nfが閾値Nt以上の範囲は範囲100A-1のみとなる。このような場合、正面顔の範囲100A-1における正面顔の始点(Xs,Ys)から終点(Xe,Ye)の領域にズームアップするようにアドバイスを行う。即ち、始点(Xs,Ys)から終点(Xe,Ye)までの5つの正面顔を大きく撮れるように、元々の画角120を狭める。この場合、元々の画角120を右にずらしながらズームする。
 このように、人物の顔向きが正面顔となる範囲が2つ以上であって、2つ以上の範囲のいずれか1つの範囲における正面顔の顔枠数Nfが閾値Nt以上のとき、当該範囲を、カメラ2の撮影範囲とするようにアドバイスを行う。
(d)全ての正面顔の顔枠数Nfが閾値Nt未満の場合
 動線71の始点71aに一番近い(Xs,Ys)から、動線71の終点71bに一番近い(Xe,Ye)までを範囲とするようにズームアップするアドバイスを行う。即ち、元々の画角120に対する正面顔の割合を増やすためのアドバイスを行う。なお、言うまでもないが、正面顔の割合を増やすためのアドバイスは、上述した(a)~(c)においても同様である。図15は、正面顔の割合が80%以下、かつ正面顔を含む範囲が複数ある場合で、全ての正面顔の顔枠数Nfが閾値Nt未満の場合の動作を模式的に示した図である。なお、図中に示す矢印72は顔の向きを示している。
 図15に示す場合においては、動線71における全顔枠数が「10個」、正面顔の範囲100A-1における正面顔の顔枠数Nfが「2個」、正面顔の範囲100A-2における正面顔の顔枠数Nfが「2個」となるので、正面顔の範囲100A-1,100A-2共に正面顔の割合は20%となり、いずれも80%以下の条件を満たす。閾値Ntは「5」であるので、正面顔の範囲100A-1,100A-2共に顔枠数Nfが閾値Nt未満となる。このような場合、動線71の始点71aに一番近い(Xs,Ys)から、動線71の終点71bに一番近い(Xe,Ye)までを範囲100-5とするようにズームアップするアドバイスを行う。即ち、動線71の始点71aに一番近い(Xs,Ys)から、動線71の終点71bに一番近い(Xe,Ye)までの10の正面顔を大きく撮れるように元々の画角120を狭める。
 このように、人物の顔向きが正面顔となる範囲が2つ以上であって、2つ以上の範囲のいずれの範囲についても人物の正面顔の顔枠数Nfが閾値Nt未満のとき、カメラ2の撮影範囲を、2つ以上の範囲の中で撮影範囲の最も上にある区間から最も下にある区間までとするようにアドバイスを行う。
 このように本実施の形態に係る最適カメラ設定装置1Aによれば、人物の顔向きが正面顔となる範囲100Aが1つであって、範囲100Aにおける正面顔の顔枠数Nfが閾値Nt以上のとき、カメラ2の撮影範囲を範囲100Aとするようにアドバイスを行い、範囲100Aにおける正面顔の顔枠数Nfが閾値Nt未満のとき、カメラ2の撮影範囲の下側を範囲100Aの下側とするようにアドバイスを行い、また、人物の顔向きが正面顔となる範囲が2つ以上であって、2つ以上の範囲100A-1,100A-2のいずれか1つの範囲における正面顔の顔枠数Nfが閾値Nt以上のとき、当該範囲を、カメラ2の撮影範囲とするようにアドバイスを行い、2つ以上の範囲100A-1,100A-2のいずれの範囲についても人物の正面顔の顔枠数Nfが閾値Nt未満のとき、カメラ2の撮影範囲を、2つ以上の範囲100A-1,100A-2の中で撮影範囲の最も上にある区間から最も下にある区間までとするようにアドバイスを行うので、より多くの正面顔を撮ることができる。そして、監視カメラとして用いた場合には、性能向上が図れる。
 なお、本実施の形態に係る最適カメラ設定装置1Aでは、来店者傾向分析部3A及び撮影範囲決定部4Aのハード構成として、CPU(中央処理装置)、RAM等の揮発性メモリ、ROM等の不揮発性メモリ、及びインターフェース等を備えたコンピュータを使用することができる。
 また、本実施の形態に係る最適カメラ設定装置1Aの機能を記述したプログラムを、磁気ディスク、ハードディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して頒布することもできる。
 (実施の形態3)
 前述した実施の形態2に係る最適カメラ設定装置1Aでは、動線71における正面顔の割合と正面顔の位置からカメラ調整のアドバイスを行うものであったが、本実施の形態に係る最適カメラ設定装置では、ピントと顔向きからピントを合わせる位置をアドバイスするものである。本実施の形態に係る最適カメラ設定装置の構成は、実施の形態2に係る最適カメラ設定装置1Aと同様であるので、図9を援用する。また、本実施の形態に係る最適カメラ設定装置には符号1Bを付与する。また、本実施の形態に係る最適カメラ設定装置の撮影範囲決定部には符号4Bを付与する。また、撮影範囲決定部4Bのカメラ設置修正要否判定部には符号42Bを付与する。また、来店者傾向分析部には3Bを付与し、来店者傾向分析部3Bの人物解析部(動線分割手段)には符号32Bを付与する。
 本実施の形態に係る最適カメラ設定装置1Bにおいて、全顔枠のピント値及び顔向きを算出し、顔向きの良い領域(即ち、顔向き合格率の高い範囲)にピントを合わせる位置をアドバイスする。ここで、ピント値は画像のボケ具合を示すものであり、「0~255」の値で表す。「0~255」の値はピントが良い程高くなる。即ち、「0」が一番低く、「255」が一番高い。
 図16は、本実施の形態に係る最適カメラ設定装置1Bの動作を模式的に示した図である。同図において、まず顔向きの度合いごとに動線71を範囲分けする。動線71の範囲分けは人物解析部32Bが行う。ここでは、〔範囲1〕130-1~〔範囲4〕130-4に範囲分けする。〔範囲1〕130-1では、顔向き合格率が「80%」、ピント平均値が「85」、顔枠数が「5個」、〔範囲2〕130-2では、顔向き合格率が「60%」、ピント平均値が「90」、顔枠数が「2個」、〔範囲3〕130-3では、顔向き合格率が「95%」、ピント平均値が「100」、顔枠数が「2個」、〔範囲4〕130-4では、顔向き合格率が「50%」、ピント平均値が「120」、顔枠数が「4個」となっている。〔範囲1〕130-1~〔範囲4〕130-4の中で顔向き合格率が一番高いのが〔範囲3〕130-3で、〔範囲1〕130-1がそれに続いている。しかし、〔範囲3〕130-3では顔枠数が「2個」と少ないので、顔枠数が「5」の〔範囲1〕130-1を使用し、この〔範囲1〕130-1にピントが合うようアドバイスを行う。
 このように本実施の形態に係る最適カメラ設定装置1Bによれば、人物の顔向きの程度に合わせて動線71を分割し、顔向きの程度が正面顔に近い区間が合焦するようにカメラ2を調整するので、より多くの正面顔を良好に撮ることができる。
 なお、本実施の形態に係る最適カメラ設定装置1Bでは、来店者傾向分析部3B及び撮影範囲決定部4Bのハード構成として、CPU(中央処理装置)、RAM等の揮発性メモリ、ROM等の不揮発性メモリ、及びインターフェース等を備えたコンピュータを使用することができる。
 また、本実施の形態に係る最適カメラ設定装置1Bの機能を記述したプログラムを、磁気ディスク、ハードディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して頒布することもできる。
 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
 本出願は、2012年1月30日出願の日本特許出願(特願2012-016700)に基づくものであり、その内容はここに参照として取り込まれる。
 本発明は、顔照合・年齢性別推定等の画像認識処理に最適なカメラの設置位置、高さ、画角、フォーカスを含む設置状況をユーザに提示することができるといった効果を有し、コンビニエンスストア等の店舗、銀行、公共施設等の建物に常設する監視カメラシステムへの適用が可能である。
 1,1A,1B 最適カメラ設定装置
 2 カメラ
 3、3A,3B 来店者傾向分析部
 4 カメラ設置状況推定部
 4A,4B 撮影範囲決定部
 5 ユーザ提示部
 31 人物追跡部
 32,32A,32B 人物解析部
 33 人物単位来店者情報記憶部
 34 サブ領域単位来店者情報記憶部
 41 カメラ設置合格率算出部
 42,42A,42B カメラ設置修正要否判定部
 60 カメラ設置画面
 70 顔枠
 71 動線
 72 顔向き
 80 来店者
 100A,100A-1,100A-2 正面顔の範囲
 130-1~130-4 範囲

Claims (19)

  1.  被写体を撮影するカメラで撮影された撮影画像から人物を検出し追跡する人物追跡手段と、
     前記人物追跡手段で追跡された人物に対して、少なくとも顔の検出回数、顔向き、画角のいずれか一つを来店者情報として抽出する人物解析手段と、
     前記人物解析手段で抽出された来店者情報を用いて、前記カメラの設置状況が適しているかを推定するカメラ設置状況推定手段と、
     を備えたことを特徴とする最適カメラ設定装置。
  2.  前記カメラ設置状況推定手段は、人物の移動方向の合格率が低い場合、該人物の移動方向の真正面に前記カメラを移動するように促す旨を提示することを特徴とする請求項1記載の最適カメラ設定装置。
  3.  前記人物解析手段は、追跡人物毎の来店者情報に加えて、撮像画像を小領域に分割して小領域毎に来店者情報を生成することを特徴とする請求項1記載の最適カメラ設定装置。
  4.  前記カメラ設置状況推定手段は、前記小領域毎の来店者情報を撮影画像の上半分と下半分に再分割し、上半分と下半分の頻度で合格率を算出することを特徴とする請求項3記載の最適カメラ設定装置。
  5.  前記カメラ設置状況推定手段は、顔の検出回数が前記撮影画像の下半分より上半分に多くあるとき、前記カメラを広角にするように促す旨を提示することを特徴とする請求項4記載の最適カメラ設定装置。
  6.  前記カメラ設置状況推定手段は、顔の検出回数が前記撮影画像の上半分より下半分に多くあるとき、前記カメラをズームするように促す旨を提示することを特徴とする請求項4記載の最適カメラ設定装置。
  7.  前記カメラ設置状況推定手段は、追跡人物毎の来店者情報に合格基準を設け、前記合格基準を超えた人数比率を合格率として出力することを特徴とする請求項1記載の最適カメラ設定装置。
  8.  前記カメラ設置状況推定手段は、前記合格率を用いて、前記カメラの設置位置、高さ、画角、フォーカスを含む設置状況のいずれを修正すべきかを判定して出力することを特徴とする請求項4記載の最適カメラ設定装置。
  9.  前記カメラ設置状況推定手段は、前記カメラの解像度、フレームレートの変更を促す旨を提示することを特徴とする請求項5記載の最適カメラ設定装置。
  10.  被写体を撮影するカメラで撮影された撮影画像から人物を検出し追跡する人物追跡ステップと、
     前記人物追跡ステップで追跡された人物に対して、顔の検出回数、顔向き、画角を来店者情報として抽出する人物解析ステップと、
     前記人物解析ステップで抽出された来店者情報を用いて、前記カメラの設置状況が適しているかを推定するカメラ設置状況推定ステップと、
     を備えたことを特徴とする最適カメラ設定方法。
  11.  撮影範囲を撮影するカメラで撮影した人物の画像から前記人物を追跡して前記人物の動線を求める動線抽出手段と、
     前記動線を移動する前記人物の顔向きを検出する顔向き検出手段と、
     前記顔向き検出手段が検出した前記人物の顔向きが正面顔の前記動線の区間が一つであって、
     前記区間の前記正面顔の枚数が所定の枚数以上のとき、前記カメラの撮影範囲を前記正面顔が検出された区間になるように変更することを決定し、
     前記区間の前記正面顔の枚数が所定の枚数より少ないとき、前記カメラの前記撮影範囲の下側を前記正面顔が検出された区間の範囲の下側になるように変更することを決定する撮影範囲決定手段と、
     前記撮影範囲決定手段によって決定された撮影範囲を提示する提示手段と、を有することを特徴とする最適カメラ設定装置。
  12.  前記顔向き検出手段が検出した前記動線に沿って移動する人物の正面顔の割合が所定の割合以下のとき、前記撮影範囲決定手段が前記撮影範囲の変更を行うことを特徴とする請求項11に記載の最適カメラ設定装置。
  13.  前記顔向き検出手段が検出した前記人物の顔向きが正面顔の前記動線の区間が二つ以上であって、
     前記二つ以上の区間のいずれか一つの区間について前記人物の正面顔が検出された画像の枚数が所定の枚数以上のとき、
     前記撮影範囲決定手段は、前記カメラの撮影範囲を前記二つ以上の区間のいずれか一つの区間になるように変更することを決定することを特徴とする請求項11または請求項12に記載の最適カメラ設定装置。
  14.  前記顔向き検出手段が検出した前記人物の顔向きが正面顔の前記動線の区間が二つ以上であって、
     前記二つ以上の区間のいずれの区間についても前記人物の正面顔が検出された画像の枚数が所定の枚数より少ないとき、
     前記撮影範囲決定手段は、前記撮影範囲を前記二つ以上の区間の中で前記撮影範囲の最も上にある区間から最も下にある区間までに前記撮影範囲を設定することを特徴とする請求項11または請求項12に記載の最適カメラ設定装置。
  15.  前記顔向き検出手段が検出した前記人物の顔向きの程度に合わせて前記動線を分割する動線分割手段を有し、
     前記撮影範囲決定手段は、前記顔向きの程度が正面顔に近い区間が合焦するように前記カメラを調整することを特徴とする請求項11に記載の最適カメラ設定装置。
  16.  前記撮影範囲決定手段は、前記顔向きが正面顔に近い区間であって正面顔の枚数が多い区間に合焦するように前記カメラを調整することを特徴とする請求項15に記載の最適カメラ設定装置。
  17.  前記人物の正面顔が検出された画像の枚数は、前記顔向き検出手段が検出した前記動線に沿って移動した人物の正面顔が検出された枚数の平均であることを特徴とする請求項11乃至請求項16のいずれか一項に記載の最適カメラ設定装置。
  18.  前記動線に沿って移動する人物の顔を検出した顔画像の数は、前記顔向き検出手段が検出した前記動線に沿って移動した人物の顔の枚数の平均であることを特徴とする請求項11乃至請求項16のいずれか一項に記載の最適カメラ設定装置。
  19.  計算機を用いてカメラの設定を表示する最適カメラ設定方法であって、
     撮影範囲を撮影する撮影ステップと、
     前記撮影ステップで撮影した人物の画像から前記人物を追跡して前記人物の動線を求める動線抽出ステップと、
     前記動線を移動する前記人物の顔向きを検出する顔向き検出ステップと、
    前記顔向き検出ステップで検出した前記人物の顔向きが正面顔の前記動線の区間が一つであって、
     前記区間の前記正面顔の枚数が所定の枚数以上のとき、前記撮影ステップの撮影範囲を前記正面顔が検出された区間になるように変更することを決定し、
    前記区間の前記正面顔の枚数が所定の枚数より少ないとき、前記撮影ステップの前記撮影範囲の下側を前記正面顔が検出された区間の範囲の下側になるように変更することを決定する撮影範囲決定ステップと、
     前記撮影範囲決定ステップによって決定された撮影範囲を提示する提示ステップと、を有することを特徴とする最適カメラ設定方法。
PCT/JP2013/000468 2012-01-30 2013-01-29 最適カメラ設定装置及び最適カメラ設定方法 WO2013114862A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13744190.3A EP2811736A1 (en) 2012-01-30 2013-01-29 Optimum camera setting device and optimum camera setting method
US14/374,544 US9781336B2 (en) 2012-01-30 2013-01-29 Optimum camera setting device and optimum camera setting method
JP2013556261A JP5958716B2 (ja) 2012-01-30 2013-01-29 最適カメラ設定装置及び最適カメラ設定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012016700 2012-01-30
JP2012-016700 2012-01-30

Publications (1)

Publication Number Publication Date
WO2013114862A1 true WO2013114862A1 (ja) 2013-08-08

Family

ID=48904909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000468 WO2013114862A1 (ja) 2012-01-30 2013-01-29 最適カメラ設定装置及び最適カメラ設定方法

Country Status (4)

Country Link
US (1) US9781336B2 (ja)
EP (1) EP2811736A1 (ja)
JP (1) JP5958716B2 (ja)
WO (1) WO2013114862A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015195459A (ja) * 2014-03-31 2015-11-05 オムロン株式会社 設定異常判定装置、およびプログラム
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
US10063967B2 (en) 2016-03-22 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Sound collecting device and sound collecting method
US10771716B2 (en) 2018-03-29 2020-09-08 Kyocera Document Solutions Inc. Control device, monitoring system, and monitoring camera control method
JPWO2019239744A1 (ja) * 2018-06-11 2021-08-26 パナソニックIpマネジメント株式会社 撮像制御装置、撮像制御方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6273685B2 (ja) 2013-03-27 2018-02-07 パナソニックIpマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP6206804B2 (ja) 2013-09-27 2017-10-04 パナソニックIpマネジメント株式会社 移動体追跡装置、移動体追跡システムおよび移動体追跡方法
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックIpマネジメント株式会社 人物追尾システム及び人物追尾方法
US9165461B1 (en) * 2015-05-06 2015-10-20 Intellectual Fortress, LLC Image processing based traffic flow control system and method
JP6865351B2 (ja) * 2015-07-27 2021-04-28 パナソニックIpマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
CN109697622A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 基于智能店铺的信息生成方法和装置
EP4020981A1 (en) 2020-12-22 2022-06-29 Axis AB A camera and a method therein for facilitating installation of the camera
CN114245022B (zh) * 2022-02-23 2022-07-12 浙江宇视系统技术有限公司 一种场景自适应拍摄方法、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027435A (ja) * 2000-07-10 2002-01-25 Takeya Co Ltd 監視システム
JP2008172425A (ja) 2007-01-10 2008-07-24 Fujinon Corp 監視カメラシステム及び監視カメラの調整方法
JP2010161718A (ja) * 2009-01-09 2010-07-22 Canon Inc 画像処理装置及び画像処理方法
JP2012213124A (ja) * 2011-03-31 2012-11-01 Secom Co Ltd 監視装置およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138856A (ja) 1998-10-29 2000-05-16 Seiko Epson Corp 画像入力装置、プレゼンテーションシステム及び情報記憶媒体
US8520068B2 (en) * 1999-07-20 2013-08-27 Comcast Cable Communications, Llc Video security system
JP3775683B2 (ja) * 2003-08-21 2006-05-17 松下電器産業株式会社 人物検出装置および人物検出方法
JP4339762B2 (ja) * 2003-09-02 2009-10-07 富士フイルム株式会社 認証システム、及びプログラム
JP4572815B2 (ja) * 2005-11-18 2010-11-04 富士フイルム株式会社 撮像装置及び撮像方法
EP1998567B1 (en) * 2006-03-15 2016-04-27 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP5047007B2 (ja) 2008-03-03 2012-10-10 三洋電機株式会社 撮像装置
JP4964807B2 (ja) * 2008-03-07 2012-07-04 パナソニック株式会社 撮像装置及び撮像方法
JP2010011441A (ja) * 2008-05-26 2010-01-14 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
US8564667B2 (en) * 2009-08-21 2013-10-22 Empire Technology Development Llc Surveillance system
JP5642410B2 (ja) 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
JP5567899B2 (ja) 2010-05-21 2014-08-06 パナソニック株式会社 動線作成装置及び動線作成方法
JP5753966B2 (ja) 2010-08-05 2015-07-22 パナソニックIpマネジメント株式会社 顔画像登録装置および方法
CN103329518B (zh) 2011-01-11 2016-08-17 松下电器产业株式会社 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法
US20130027561A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
US20130030875A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation System and method for site abnormality recording and notification
JP5356615B1 (ja) 2013-02-01 2013-12-04 パナソニック株式会社 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027435A (ja) * 2000-07-10 2002-01-25 Takeya Co Ltd 監視システム
JP2008172425A (ja) 2007-01-10 2008-07-24 Fujinon Corp 監視カメラシステム及び監視カメラの調整方法
JP2010161718A (ja) * 2009-01-09 2010-07-22 Canon Inc 画像処理装置及び画像処理方法
JP2012213124A (ja) * 2011-03-31 2012-11-01 Secom Co Ltd 監視装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2811736A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015195459A (ja) * 2014-03-31 2015-11-05 オムロン株式会社 設定異常判定装置、およびプログラム
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
US10063967B2 (en) 2016-03-22 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Sound collecting device and sound collecting method
US10771716B2 (en) 2018-03-29 2020-09-08 Kyocera Document Solutions Inc. Control device, monitoring system, and monitoring camera control method
JPWO2019239744A1 (ja) * 2018-06-11 2021-08-26 パナソニックIpマネジメント株式会社 撮像制御装置、撮像制御方法、及びプログラム
JP7246029B2 (ja) 2018-06-11 2023-03-27 パナソニックIpマネジメント株式会社 撮像制御装置、撮像制御方法、及びプログラム

Also Published As

Publication number Publication date
US9781336B2 (en) 2017-10-03
EP2811736A4 (en) 2014-12-10
EP2811736A1 (en) 2014-12-10
JP5958716B2 (ja) 2016-08-02
US20140362215A1 (en) 2014-12-11
JPWO2013114862A1 (ja) 2015-05-11

Similar Documents

Publication Publication Date Title
JP5958716B2 (ja) 最適カメラ設定装置及び最適カメラ設定方法
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP4912117B2 (ja) 追跡機能付き撮像装置
JP6532217B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP3989523B2 (ja) 自動撮影方法および装置
TWI425826B (zh) 影像選擇裝置、影像選擇方法
JP6593629B2 (ja) 画像処理装置、固体撮像素子、および電子機器
US9247133B2 (en) Image registration using sliding registration windows
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
US11089228B2 (en) Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system
US20150043808A1 (en) Image processing apparatus, image processing method, and imaging apparatus
JP5105972B2 (ja) 座標変換方法及びパラメータ調整方法及び監視システム
JP2006211139A (ja) 撮像装置
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
EP2309454A2 (en) Apparatus and method for detecting motion
CN108605087A (zh) 终端的拍照方法、拍照装置和终端
JP3603715B2 (ja) 測距装置および該測距装置を備えたカメラ
KR20200064908A (ko) 제어장치, 촬상장치, 및 기억매체
CN106791456A (zh) 一种拍照方法及电子设备
JP2002342762A (ja) 物体追跡方法
US10805609B2 (en) Image processing apparatus to generate panoramic image, image pickup apparatus to generate panoramic image, control method of image processing apparatus to generate panoramic image, and non-transitory computer readable storage medium to generate panoramic image
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP6592881B2 (ja) 面検出方法、面検出装置、及び撮像装置
JP2024521292A (ja) ビデオ会議エンドポイント
JP6587253B2 (ja) 画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13744190

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013556261

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013744190

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14374544

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE