WO2007119355A1 - 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体 - Google Patents

追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2007119355A1
WO2007119355A1 PCT/JP2007/055066 JP2007055066W WO2007119355A1 WO 2007119355 A1 WO2007119355 A1 WO 2007119355A1 JP 2007055066 W JP2007055066 W JP 2007055066W WO 2007119355 A1 WO2007119355 A1 WO 2007119355A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature information
tracking
face
priority
information
Prior art date
Application number
PCT/JP2007/055066
Other languages
English (en)
French (fr)
Inventor
Satoru Kuwano
Takashi Kakiuchi
Tomohiro Inoue
Masahiro Senga
Original Assignee
Omron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corporation filed Critical Omron Corporation
Priority to US12/282,632 priority Critical patent/US8599267B2/en
Priority to JP2008510774A priority patent/JP4957721B2/ja
Priority to EP07738537.5A priority patent/EP1998567B1/en
Priority to CN2007800089865A priority patent/CN101401426B/zh
Publication of WO2007119355A1 publication Critical patent/WO2007119355A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Definitions

  • the present invention relates to an apparatus for recognizing and tracking the position of a specific person in a captured image.
  • a conventional device for tracking a person in a captured image is a device specific to a person to be tracked, such as a pulse transmission device or a GPS (global positioning system) device, from the viewpoint of tracking a specific person.
  • a device specific to a person to be tracked such as a pulse transmission device or a GPS (global positioning system) device, from the viewpoint of tracking a specific person.
  • a GPS global positioning system
  • Patent Document 4 there is a technique for acquiring face information of image power and tracking a person who is or is not registered in the database in cooperation with a plurality of cameras.
  • Patent Document 5 there is a technology that automatically tracks the movement of the subject (tracking target) specified by pointing on the screen and controls the video camera so that the subject is at the center of the monitor screen. (See)
  • tracking refers to keeping an image of a subject (tracking target) in a captured image (so as to keep it captured in a screen).
  • Patent Document 1 Japanese Patent Gazette “Japanese Patent Laid-Open No. 2004-40514 (published on February 5, 2004)”
  • Patent Document 2 Japanese Patent Gazette “JP 2005-20205 (published Jan. 20, 2005)”
  • Patent Document 3 Japanese Patent Publication “JP 2000-163600 (June 16, 2000) Release)"
  • Patent Document 4 Japanese Patent Publication “Japanese Patent Laid-Open No. 2003-324720 (published on November 14, 2003)”
  • Patent Document 5 Japanese Patent Publication “JP-A-6-339056 (published on December 6, 1994)”
  • the tracking target is automatically set. There is no means to switch to For this reason, if a person to be tracked comes into the image while a person is being tracked, a user such as a supervisor points the person to be tracked on the screen on which the captured image is displayed. It is necessary to specify and change the tracking target. In this way, when the tracking target has the priority of tracking, the user must bother switching the tracking target. In addition, the target power with higher priority of tracking has no power when it comes to the captured image, so the user must always monitor the screen on which the captured image is displayed.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to autonomously track even in a situation where there is a person who has priority for tracking without bothering the user.
  • a tracking device, a tracking method, a control program for the tracking device, and a computer-readable recording medium are used to store and retrieve data.
  • the tracking device is a tracking device that captures a tracking target by controlling the imaging unit so that the tracking target continues to be reflected in the captured image.
  • the feature information detecting means for detecting the feature information reflected in the photographed image, the feature information detected by the feature information detecting means, and the feature information for a plurality of persons are tracked by the feature information.
  • Tracking target collating means for checking whether or not the detected feature information is a tracking target by matching with the tracking target information registered in association with the priority indicating the order, and the detected feature information Is a tracking target, a priority acquisition means for acquiring the priority of the detected feature information from the tracking target information, and a captured image in which the feature information is detected based on the acquired priority.
  • imaging control means for controlling the imaging unit so that the feature information continues to be reflected in the captured image.
  • the tracking method according to the present invention is a tracking method for capturing the tracking target by controlling the imaging unit so that the tracking target continues to be reflected in the captured image in order to solve the above-described problem.
  • a feature information detection step for detecting feature information reflected in the photographed image from the photographed image, and the detected feature information, the priority information indicating the tracking order of the feature information for the feature information for a plurality of persons.
  • a tracking target collating step for determining whether or not the detected feature information is a tracking target by comparing with the tracking target information registered in association with and the detected feature information is the tracking target
  • the priority acquisition step of acquiring the priority of the detected feature information from the tracking target information and the priority in the captured image in which the feature information is detected based on the acquired priority.
  • High V wherein information is characterized in that it comprises, a photographing control stearyl-up for controlling the photographing unit to continue glare in the captured image of.
  • the feature information reflected in the captured image is detected, and when the detected feature information is a tracking target, the priority indicating the tracking order of the detected feature information is acquired.
  • Priority acquisition is performed for feature information that is determined to be a tracking target, so even if a large amount of feature information is reflected in the captured image, it is possible to capture the feature information that has been detected based on the acquired priority.
  • Shooting can be performed by controlling the shooting unit so that higher priority feature information continues to appear in the shot image in the image. Therefore, it is possible to always keep track of feature information with higher priority.
  • the priority may be represented by a numerical value, for example, and a lower priority numerical value may be treated as a higher priority.
  • Tracking means to keep the image of the subject (tracking target) in the captured image (so as to keep it captured in the screen).
  • the feature information is continuously tracked.
  • the actual priority is attached to that one feature information. Even if it is not, the priority may be acquired assuming that it has the highest priority.
  • priority is given to only a part of the plurality of feature information, and other feature information is given priority. In this case, the other feature information is assigned the lowest priority. !, And, as a thing, get priority! /, Even! /
  • the control of the photographing unit is, for example, the operation of a camera as a photographing device, specifically, panning / tilting, zooming, and exposure change performed by moving the camera position left and right, up and down, and back and forth. Or, when there are multiple shooting cameras, it is preferable to control the camera switching.
  • the position of the photographing camera can be moved, for example, by placing the camera on a stand on a rail. Of course, as long as you can keep the feature information with higher priority in the captured image, you can control the shooting unit!
  • control so that the operation of the camera is performed when feature information having a higher priority in the captured image changes. More specifically, regarding the feature information with higher priority, the position (a change in some positions included in the feature information does not matter), size, inclination, and orientation in the captured image. When there is at least one change, it is preferable to control so that the operation of the camera is performed. Of course, in addition to these, the camera may be controlled to operate when the feature information changes.
  • the imaging unit is controlled so that feature information having higher priority is continuously reflected in the captured image in the captured image in which the feature information is detected. Even if the feature information with higher priority goes out of the range that the shooting unit can shoot, the priority is higher and the feature information can not be captured, the higher priority in the captured image at that time Feature information (feature information with the next highest priority after feature information that can no longer be captured) can be tracked.
  • the feature information may be face information indicating a feature of a person's face.
  • the feature information is face information
  • the face information is excellent for distinguishing the subject and specifying the individual, so that authentication can be easily performed at the time of collation. Since face information can easily identify individuals, for example, it is popular in sports broadcasts such as baseball and soccer, and track with priority from the player's face information in order. Say it with a word.
  • the feature information may be information on the appearance of a car, for example, as long as the subject can be distinguished from the face information of a person's face. In this case, for example, it is possible to track a car race relay broadcast with a priority in order from the most popular car.
  • the feature information is, for example, horse face information, for example, it can be tracked with priority in order from horses, which are popular in relay broadcasting of horse racing.
  • the tracking device includes a position grasping unit that continues to grasp the position in the captured image based on the feature information detected by the feature information detecting unit.
  • the feature information detecting means detects the same feature information again in the photographed image after the photographed image where the detection means detects the feature information, and the position of the feature information in the photographed image is the position grasping means.
  • the tracking target collating means may omit the collation if it is grasped by the above.
  • the imaging unit includes a plurality of imaging devices.
  • the photographing control means captures the higher priority feature information when the photographing device that has captured the higher priority feature information cannot capture the higher priority feature information.
  • the imaging unit may be controlled so as to be captured by other imaging devices that can be used.
  • the imaging device that has captured higher priority feature information when the imaging device that has captured higher priority feature information is no longer captured, it can be captured by another imaging device that can capture the higher priority feature information. Can do. At this time, it is possible to predict the movement of the feature information in advance, and the power of the photographing device that captured the feature information with higher priority. When the photographing is switched to another device, the feature information with higher priority is smoothly missed. I can continue to capture it.
  • the tracking device may include an input unit that allows a user to input setting or change of priority in the tracking target information.
  • the user can input to the tracking device the priority setting or change in the tracking target information.
  • the priority is set for the feature information included in the tracking target information registered in advance and can be changed at any time.
  • the priority can be set and it can be set when feature information is detected! / ⁇ .
  • feature information that is not registered in the tracking target information is detected, it is registered in the tracking target information with a priority. / You can ask me.
  • the tracking target collating unit includes a similarity between the feature information detected by the feature information detecting unit and the feature information included in the tracking target information. If the calculated similarity is larger than a predetermined authentication threshold, it is determined that the detected feature information is a tracking target, and further, it is indicated by how much larger than the predetermined authentication threshold. In the case where a plurality of pieces of feature information having the same priority are reflected in the photographed image, the photographing control means has a higher authentication confidence. You may control the shooting unit so that the feature information continues to appear in the shot image.
  • the similarity between the detected feature information and the feature information included in the tracking target information is calculated, and if the calculated similarity is greater than a predetermined authentication threshold, the detected feature information Is determined to be a tracking target.
  • the authentication reliability is calculated and feature information with the same priority is reflected in multiple captured images, the authentication reliability is greater and the feature information continues to be reflected in the captured image. Can be.
  • the imaging control unit is configured such that at least one of the size and the position of the feature information with higher priority is always constant in the captured image. As described above, the photographing unit may be controlled.
  • the tracking device may be realized by a computer.
  • the tracking device control program for realizing the tracking device by the computer by operating the computer as each of the means is provided.
  • a recorded computer-readable recording medium also falls within the scope of the present invention.
  • the tracking device includes a feature information detection unit that detects feature information reflected in a photographed image, such as a photographed image, and a plurality of human features.
  • the feature information of the feature information is registered in association with the priority indicating the tracking order of the feature information! And checked with the tracking target information to determine whether the detected feature information is the tracking target.
  • the priority acquisition means for acquiring the priority of the detected feature information from the tracking target information when the detected feature information is the tracking target, and the acquired priority
  • Photographing control means for controlling the photographing unit so that feature information having a higher priority in the photographed image in which the feature information is detected continues to be reflected in the photographed image.
  • the feature information reflected in the captured image is detected, and when the detected feature information is a tracking target, the priority indicating the tracking order of the detected feature information is acquired. Since the priority is acquired for the feature information determined to be a tracking target, even if a large amount of feature information is reflected in the above-described captured image, the imaging that detects the feature information based on the acquired priority is performed. In the image, it is possible to perform shooting by controlling the shooting unit so that the priority is higher and the feature information is continuously reflected in the shot image. Therefore, it is possible to always keep track of feature information with higher priority. Of course, if there is only one feature information power S1 with priority in the priority order information, the feature information will continue to be tracked.
  • the imaging unit is controlled so that the feature information continues to be reflected in the captured image in the captured image in which the feature information is detected. Even when high-level feature information goes out of the shooting range and the feature information with higher priority cannot be captured, the higher V and priority features in the captured image at that time Information (feature information that has the next highest priority after feature information that can no longer be captured) can be tracked. [0035] As described above, according to the above configuration, even when there are a plurality of tracking targets and the tracking targets have a priority order of tracking, the priority is higher!
  • the shadow portion is controlled, it is possible to perform tracking with high priority without intervention of the user's operation, and the user does not need to specify the tracking target, so that the user's operation can be reduced. Therefore, in the above configuration, even if there is a person who has priority in tracking without bothering the user, it is possible to perform tracking autonomously.
  • FIG. 1 shows an embodiment of the present invention, and is a block diagram showing a main configuration of a tracking device.
  • FIG. 2 is a diagram showing an example of a face information database in a table format.
  • FIG. 3 (a) This is an image diagram for switching the tracking target.
  • FIG. 3 (b) This is an image diagram for switching the tracking target.
  • FIG. 3 (c) This is an image diagram for switching the tracking target.
  • FIG. 4 (a) An image diagram in camera switching.
  • FIG. 4 (b) An image diagram in camera switching.
  • FIG. 4 (c) An image diagram of camera switching.
  • FIG. 5 is a flowchart showing a flow of tracking processing performed by the tracking device of the present embodiment.
  • FIG. 6 is a flowchart showing a process flow in camera switching.
  • FIG. 7 (a) is an image diagram of an example in which the tracking device of the present embodiment is used for relay broadcasting of horse racing.
  • FIG. 7 (b) is an image diagram showing a photographed image of the camera in FIG. 7 (a).
  • FIG. 8 (a) is an image diagram of an example in which the tracking device of the present embodiment is used for baseball broadcast broadcasting.
  • FIG. 8 (b) is an image diagram showing a photographed image of a certain camera in FIG. 8 (a).
  • FIG. 8 (c) is an image diagram showing a photographed image of another camera in FIG. 8 (a).
  • FIG. 8 (d) is an image diagram showing a photographed image of another camera in FIG. 8 (a).
  • Face detector feature information detection means
  • the tracking device will be described on the assumption that, in order to track a specific target, the feature information reflected in the captured image is the face information of a person (person or thing) and the face information is collated. .
  • the feature information can identify the subject in the captured image.
  • the tracking device 1 includes a control unit 2, a photographing unit 3, a storage unit 4, an input unit 5, and a display unit 6.
  • the control unit 2 incorporates a microcomputer, operates according to a force input operation received by the input unit 5 in accordance with a computer program, and comprehensively controls operations of various components in the tracking device 1.
  • the control unit 2 functions as a face detection unit 21, a face collation unit 22, a priority acquisition unit 23, a movement amount calculation unit 24, an imaging control unit 25, and a position grasping unit 26.
  • the face detection unit 21 includes a face captured in the photographed image taken by the photographing unit 3 and the like. Detect information (face).
  • the face collating unit 22 stores the face information detected by the face detecting means in a face information database in which face information for a plurality of persons is registered in association with a priority indicating the tracking order of the face information.
  • DB face information database
  • the face information is assumed to be a face image.
  • the facial images are compared to determine identity by using the eigenface method, LFA (Local Feature Analysis) method, graph matching method, neural network method, constrained mutual subspace method, perturbation space method, frequency analysis. It is performed by a conventionally known method such as a method.
  • the feature amount of the face image is calculated using Gabor wavelet transform, etc., and the similarity with the feature amount registered in the database is calculated, the identity is determined, and the similarity is preset. If the threshold is exceeded, it is determined that both are the same face.
  • the ability to compare face images to determine identity is not limited to the above method.
  • the face matching unit 22 calculates the similarity between the face information and the face information included in the face information database 41. If the calculated similarity is greater than a predetermined authentication threshold, face detection is performed. The face information detected by the unit 21 is determined to be a tracking target, and the authentication reliability indicated by how much larger than the predetermined authentication threshold is calculated.
  • the priority acquisition unit 23 acquires the priority of the detected face information from the face information database 41.
  • the movement amount calculation unit 24 measures the movement of face information with higher priority among the detected ones, and calculates the movement amount of face information with higher priority.
  • the movement amount calculation in the movement amount calculation unit 24 can be performed by a known method such as Patent Document 5, for example.
  • the photographing control unit 25 controls the photographing unit 3 so that the face information continues to be reflected in the photographed image with higher priority in the photographed image in which the face information is detected. At this time, based on the movement amount calculated by the movement amount calculation unit 24, control is performed following the movement of the face information having a higher priority.
  • the control of the photographing unit 3 is, for example, the operation of the camera that is the photographing device 33, specifically, panning / tilting, zooming, exposure change, or photographing camera that is performed by moving the camera position left, right, up, down, and back and forth. When there are a plurality of images, it is preferable to control the camera switching. This camera The position can be moved, for example, by placing the photographing camera on a stand on the rail. Of course, as long as face information with higher priority can continue to be reflected in the captured image, it is possible to control the photographing unit 3.
  • control it is preferable to perform control so that the operation of the camera is performed when the higher priority face information in the captured image changes. More specifically, the position of the face information with higher priority within the shooting screen (the change in the position of a part of the face information, for example, the eye, does not affect the size), size, It is preferable to control the camera to operate when there is at least one change in tilt and orientation. Of course, in addition to these, you may control the camera to operate.
  • the imaging control unit 25 may control the imaging unit 3 so that at least one of the size and position of the face with higher priority is always constant in the captured image.
  • the face size is kept constant in the shot image, a face with a higher priority is selected. It can be easily found in the captured image.
  • the face position is kept constant, face information with higher priority can be found by always looking at the constant position, for example, the center of the display screen displaying the photographed image.
  • the position is not limited to the center. In this way, by making at least one of the size and position of the face with higher priority always constant in the captured image, it is possible to easily monitor the face with higher priority.
  • the face coordinate information is information about the force at which the face information (face) detected by the face detection unit 21 exists.
  • the face detection unit 21 detects the same face information again in the captured image after the time when the face detection unit 21 detected the face information, and the position of the face information in the captured image is
  • the face collating unit 22 does not access the face information database 41. This means that the position in the captured image is also grasped (tracked) for face information other than the current tracking target that is higher priority and face information. Therefore, the face matching unit 22 Since the number can be reduced, the load on the tracking device 1 can be reduced.
  • the imaging unit 3 includes an imaging device 33 including a plurality of cameras, a camera driving device 31, and a camera switching device 32. Based on the control of the imaging control unit 25, the imaging unit 3 performs imaging of the tracking target. Do.
  • the camera driving device 31 is a device that drives the camera in the photographing device 33
  • the camera switching device 32 is a device that switches the camera to be driven.
  • Each camera in the photographing device 33 can perform pan / tilt, zoom, and exposure change.
  • a single force may be used as shown in the figure so that there are a plurality of cameras.
  • the camera switching device 32 may be omitted.
  • the storage unit 4 is configured by a nonvolatile storage device such as a hard disk.
  • the storage unit 4 holds a face information database 41.
  • face information database 41 face information about a plurality of persons is registered in association with a priority indicating the tracking order of the face information.
  • the face information of the person A and the face information of the person B have the face priority of the person A and the face priority of the person B. Is registered as 2. It is assumed that a lower priority number has a higher priority. In FIG. 2, more than 2 face information may be registered as the tracking target. In addition, if one face information is registered for one tracking target, multiple face information is registered for one tracking target (for example, front, right, left, up, down, etc.). The collation in part 22 can be performed more accurately. In the face information database 41, information on the tracking target such as the name of the tracking target and the feature point (for example, a defensive position for a baseball player) may be registered. This helps the user because it can be referenced when the user sets or changes priority.
  • the storage unit 4 may store a control program for controlling operations of various components of the tracking device 1 described above, an OS (operating system) program, and other various programs.
  • the input unit 5 is an interface for the tracking device 1 to accept an operation from a user.
  • the input unit 5 is provided so that the user can perform operations on the tracking device 1.
  • the input unit 5 is provided so that the user can input priority setting or change in the face information database. Therefore, the user can set or change the priority from the input unit 5 for the face information included in the face information database 41 registered in advance. If the priority is not set in advance, it may be set when face information for which priority is not set is detected. Further, when face information that is not registered in the tracking target information is detected, a priority may be added and registered in the tracking target information. For example, it is possible to track multiple players by prioritizing them in order of popularity, for example, during sports broadcasts.
  • the priority can be changed at any time, and a new priority can be tracked when a reserved player enters. These are merely examples. Alternatively, if face information is detected in the tracking target information, it will be registered in the tracking target information and let the user set the priority! /.
  • an operation key Z button or the like is provided for user operation.
  • the user can make various instructions to the tracking device 1 from the input unit 5, such as starting and stopping the tracking operation, rewriting the face information database 41, setting and changing the priority order of the face information database 41, and the like.
  • the input unit 5 may also be used as the display screen in the display unit 6. That is, for example, a touch panel having a body shape between the input unit 5 and the display screen of the display unit 6 may be provided. In this case, an item that can be input by the user is displayed on the display screen, and the user can give an instruction to the tracking device 1 by touching the display area where the desired item is displayed. This place In order to touch the display area, provide a stick-like operation means as the input unit 5.
  • the display unit 6 includes a display screen (photographing screen) and outputs a photographed image photographed by the photographing device.
  • a plurality of display units 6 may be provided, for example, the same number as the camera may be provided.
  • the display screen of the display unit 6 may be partitioned so that images from a plurality of cameras can be captured!
  • the imaging device 33! has an audio output unit (not shown) that outputs audio accompanying the captured image captured by the imaging device 33!
  • the face matching unit 22 and the face information database 41 may be provided in an external device, and the tracking device 1 and the external device communicate with each other to perform the matching process.
  • the tracking device of the present invention does not need to include the control unit 2 that does not include the photographing unit 3 and the face information database 41 as the tracking device according to the present invention.
  • FIG. 2 A state of tracking using the tracking device 1 having the above-described configuration will be described with reference to Figs. 3 (a) to 3 (c).
  • the face information database 41 as shown in FIG. 2, the face information of person A and the face information of person B have a face priority of person A and a face priority of person B. It shall be registered as 2.
  • a lower priority number means a higher priority.
  • the captured image 50 is tracking the person A (the face).
  • person C since person C is not registered in face information database 41, person C is not a tracking target. Therefore, for the person C, only the face position is grasped as a tracking target by the position grasping unit 26, but tracking is necessary.
  • FIG. 3 (b) it is assumed that the face of person B, which has a higher priority of tracking than person A, enters the captured image 50 (frame-in, same-number). Black arrow in the figure). In this case, the tracking power of person A is switched to the face of person B (white arrow in the figure). At this time, since the face of the person C is not a tracking target, only the face position is grasped.
  • the tracking target is the face of person B, and the face of person A is the tracking target (tracking target) of low priority, so long as the face of person B is in the captured image 50, only the face position is grasped. .
  • the face of the person B is taken as the subject of tracking, and the face of the person B is captured. It should be within a certain range 51 of the shooting screen displaying the image 50.
  • the face of person A is set as a tracking target with low priority (tracking target), and if it exists on the screen, the face position is continuously confirmed (understood). In this state, if the face of person B disappears from the captured image 50 for some reason, the face of person A is set as the tracking target again. Since the face of the person C has moved out of the image (out of frame), the grasping (tracking) of the face position of the person C is ended.
  • tracking state has been made assuming that tracking is performed with one camera.
  • one or more cameras may be used.
  • FIGS. 4 (a) to 4 (c) camera switching in the photographing unit 3 will be described with reference to FIGS. 4 (a) to 4 (c).
  • the camera C1 and the camera C2 are switched.
  • image 12 taken by camera C2 image I 1 taken by camera C1, and shooting range and subject of camera C1'C2 are shown.
  • the positional relationship is shown.
  • the area of image II ⁇ ⁇ 2 where the dots are located is the portion where the angles of view of camera C1 and camera C2 overlap.
  • Fig. 4 (b) it is predicted by the calculation of the movement amount calculation unit 24 that the tracking target person P deviates from the angle of view of the camera C1, and the tracking target person P falls within the angle of view of the camera C2.
  • the screen is switched from image 11 captured by camera C 1 to image 12 captured by camera C 2.
  • Switching control is performed by the imaging control unit 25 controlling the camera switching device 32.
  • the imaging unit 3 keeps capturing a higher priority face in the captured image. Since it is controlled, it is possible to perform tracking with a higher priority without any user operation, and the user does not need to specify the tracking target, so that the user operation can be reduced. Therefore, by using the tracking device 1, it becomes possible to perform autonomous tracking even if there is a person who has priority for tracking without bothering the user.
  • the face detection unit 21 detects face information (hereinafter abbreviated as “face”) in the photographed image, and determines whether or not a face exists in the photographed image (Step 1 and thereafter). Omitted as S1).
  • face face information
  • the detection of the face may be continued until the subject comes in, or the detection may be started when the camera comes in, for example, swings the head and so on.
  • the face collation unit 22 collates the face information database 41, and the face detected in S1 is registered. It is determined whether or not a force is required (S3). The determination here is performed as follows. The similarity between the detected face and the face information included in the face information database 41 is calculated, and if the calculated similarity is greater than a predetermined authentication threshold, the detected face is determined to be a tracking target. . Furthermore, the authentication reliability indicated by how much larger than a predetermined authentication threshold is calculated.
  • the priority acquisition unit 23 acquires the priority of the face detected in S1 (S4). Once the priority is acquired, it is next determined whether or not the face currently being tracked (higher priority face with higher priority) exists in the image (S5). If the face currently being tracked is present in the image (YES in S5), the priority of the face detected in S1 and the face currently being tracked are compared (S6). When the priority of the face detected by SI and the face currently being tracked is the same, determine whether the authentication reliability calculated during the determination at S3 is higher than the authentication reliability of the face currently being tracked (S7). Note that the authentication reliability of the face currently being tracked is not shown in the figure and is held in a memory or the like.
  • S6 when the face detected in S1 has a lower priority, the face detected in S1 is registered as a tracking target with a lower priority in a memory (not shown) or the like (S10) Proceed to S18. Also, in S7, even if the face detected in S1 has lower authentication reliability (NO in S7), the face detected in S1 is registered in a memory (not shown) as a tracking target with low priority. (S10), go to S18.
  • the face detected in S3 is not registered (NO in S3), the face detected in S1 is registered as a tracking target in a memory (not shown) or the like (S9), and the process proceeds to S18.
  • the face currently being tracked in S5 does not exist in the image (NO in S5)
  • the face to be processed here, the face detected in S1 is set as a tracking target in a memory (not shown) or the like.
  • Register (Sl l) and go to S18.
  • the process proceeds to S11 and the processing target face (here, the face detected in S1) Is registered in the memory (not shown) as the tracking target, and the process proceeds to S18.
  • the face detected in S1 is a face whose position is known in the image (YES in S2)
  • it is determined whether or not the face is currently being tracked (S12). If the face is currently being tracked (YES in S12), it is determined whether there is a detected face (face currently being tracked) near the center in the image (S13). If there is no detected face near the center of the image (N0 in S13), the imaging control unit 25 controls the imaging unit 3 so that the detected face comes near the center of the image (S14). If there is a detected face near the center of the image (YES in S13), or the shooting control unit 25 controls the shooting unit 3 so that the detected face is near the center of the image (S14). After that, go to S18.
  • S12 when the face is not currently being tracked (NO in S12), it is determined whether or not the face detected in S1 has a low priority and is a face (higher priority, not a face, tracking target). Yes (S15) oIf the face has a low priority (YES in S15), the face currently being tracked It is determined whether or not there is a certain force (SI 6). If it is not a low priority face (NO in SI 5), or if the face currently being tracked is in the image (YES in S16), the process proceeds to S18. Note that if it is not a low priority face in S15, it is a tracking target.
  • the face detected in S1 is registered as a tracking target in a memory (not shown) or the like (Sl l), and the process proceeds to S18.
  • the coordinates (face position) in the image representing the face coordinate information stored in the face position storage area (memory) of the device are detected as the detected coordinates (face information is detected by the face detection unit 21 in S1).
  • the face position information is updated by rewriting the position (S18).
  • the tracking process in the tracking device 1 is performed.
  • the process ends. If the face is not outside the area (NO in S53), the process ends. If the face is outside the area (YES in S53), it is determined whether or not the position of the face with a higher priority in the previous frame of the camera C2 is the switching area power (S54). If it is not the switching area (NO in S54), the process ends. If it is the switching area (YES in S54), switching from the camera C1 to the camera C2 is performed (S55).
  • the tracking device 1 of the above embodiment will be described with reference to FIGS. 7A and 7B, assuming that the tracking device 1 is used for, for example, relay broadcasting for horse racing. In this case, it is assumed that there is only one camera of the photographing device 33.
  • the screen can be configured around the most popular horse that can be recognized in the captured image.
  • the face of a jockey riding a horse may be used instead of the face of a horse.
  • the jockey's face may be registered in the face information database 41 as face information.
  • the priority may be assigned in the order of popularity of the jockeys, or in the order of popularity of the horses on which the jockeys are riding.
  • the tracking device 1 of the above embodiment will be described with reference to FIGS. 8 (a) to 8 (d), assuming that the tracking device 1 is used for, for example, central baseball broadcasting as shown in FIG. 8 (a). In this case, description will be made assuming that the camera of the photographing device 33 is three.
  • the camera C1 captures the runner A
  • the camera C2 captures the fielder B
  • the camera C3 captures the fielder C, and controls them so that they are centered on the screens 11 to 13, respectively.
  • runner A is in base running and When entering the corner, switch to runner A tracking so that runner A is in the center of screen 12. When it disappears from the angle of view, it returns to the tracking of fielder B.
  • camera C3 when runner A enters the angle of view of camera C3 in base running, the camera C3 is switched to track runner A so that it becomes the center of screen 13. When the angle of view disappears, return to the fielder C tracking.
  • Tracking may be performed by setting priorities in the order of players.
  • the priority may be set in the order of a person who has been nominated, a person with a criminal record, and another person.
  • tracking may be performed by setting the priority in the order of # 1 popularity> # 2 popularity>.
  • tracking may be performed with priorities assigned to draft candidates.
  • each block of the tracking device 1, especially the control unit 2 may be configured by hardware logic, or may be realized by software using a CPU as follows.
  • the tracking device 1 is a CPU (Central Processing Unit) that executes instructions of a control program that realizes each function, a ROM (read only memory) in the upper d program, and a RAM ( random access memory), and a storage device (recording medium) such as a memory for storing the program and various data.
  • the purpose of the present invention is a recording medium in which the program code (execution format program, intermediate code program, source program) of the control program of the tracking device 1, which is software that realizes the functions described above, is recorded in a computer-readable manner. To the tracking device 1 above. This can also be achieved by reading a computer code (or CPU or MPU) recorded on a recording medium and executing the program code.
  • Examples of the recording medium include magnetic tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy disk Z hard disks, and optical disks such as CD-ROMZMOZ MD / DVD / CD-R. Disk systems, IC cards (including memory cards) Z optical cards and other card systems, or mask ROMZEPROMZEEPROMZ flash ROM and other semiconductor memory systems can be used.
  • the tracking device 1 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication A net or the like is available.
  • the transmission medium constituting the communication network is not particularly limited.
  • wired communication such as IEEE1394, USB, power line carrier, cable TV line, telephone line, ADSL line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, and terrestrial digital network can also be used.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the present invention can be applied to a system for tracking a plurality of subjects, and can be used for various purposes such as a crime prevention system, for example, a video conference, a TV lecture, and a sports broadcast. .

Abstract

　追尾装置（１）は、撮影画像から顔情報を検出する顔検出部（２１）と、検出した顔情報を、複数の人物についての顔情報が当該顔情報の追尾順位を示す優先度と対応付けられて登録されている顔情報データベース（４１）と照合して、当該撮影画像に写り込んだ顔情報が追尾対象であるか否かを判定する顔照合部（２２）と、上記撮影画像に写り込んだ顔情報が追尾対象である場合に、顔情報データベース（４１）から、上記撮影画像に写り込んだ顔情報の優先度を取得する優先度取得部（２３）と、取得した優先度に基づき、上記撮影画像中でより優先度の高い顔情報が撮影画像に写り込み続けるように撮影部（３）を制御する撮影制御部（２５）と、を有する。

Description

追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読 み取り可能な記録媒体
技術分野
[0001] 本発明は、撮影画像内の特定人物の位置を認識し、追尾するための装置に関する ものである。
背景技術
[0002] 従来の撮影画像にて人物を追尾する装置では、特定の人物を追尾するという観点 で見た場合、パルス発信装置や GPS (global positioning system)装置等、追尾対象 の人物に特定の装置を装着する必要がある (例えば、特許文献 1、 2参照)。そこで、 追尾対象の人物に特定の装置を装着しなくてよいものとして、次のような技術がある。 具体的には、人物の顔の位置を確認し、顔が画面の中央に位置するように、監視力 メラのパン、チルト及びズームを制御して顔の動きを追跡し、さらに画像力も顔の特徴 を抽出し、データベースに登録されている顔と一致するかどうかを比較して、特定個 人を認識する技術がある（例えば、特許文献 3参照)。さらに、画像力も顔情報を取得 して、データベースに登録されていない、あるいはされている人物を、複数のカメラで 連携して追尾する技術がある（例えば、特許文献 4参照)。また、画面上でポインティ ングにより指定した被写体 (追尾対象)の動きに追従して自動追尾し、被写体がモニ タ画面の中央に来るようにビデオカメラを制御する技術がある（例えば、特許文献 5参 照)。
[0003] なお、本明細書において「追尾」とは、撮影画像内に被写体 (追尾対象）の画像を 保持し続けるように (画面内に捉え続けるように）することを指すものとする。
特許文献 1：日本国公開特許公報「特開 2004— 40514号公報（2004年 2月 5日公 開)」
特許文献 2 :日本国公開特許公報「特開 2005— 20205号公報（2005年 1月 20日公 開)」
特許文献 3 :日本国公開特許公報「特開 2000— 163600号公報（2000年 6月 16日 公開)」
特許文献 4:日本国公開特許公報「特開 2003— 324720号公報（2003年 11月 14 日公開）」
特許文献 5：日本国公開特許公報「特開平 6— 339056号公報（1994年 12月 6日公 開)」
発明の開示
[0004] しかしながら、従来の技術では、追尾すべき人物が複数存在する場合に、ある人物 の追尾中に、より追尾すべき人物が画像に入ってきても（フレームイン）、追尾対象を 自動的に切替えるような手段がない。そのため、ある人物の追尾中に、より追尾すベ き人物が画像に入ってきた場合には、監視者等のユーザが、撮影画像が表示される 画面上でその追尾すべき人物をポインティングする等指定して、追尾対象の切替え の操作をする必要がある。このように追尾対象に追尾の優先順位がある場合、ユー ザは、わざわざ追尾対象の切替えを行わなければならない。その上、追尾の優先順 位がより高い対象力 いつ撮影画像に入ってくるかわ力もないため、ユーザは、常に 撮影画像が表示される画面を監視して ヽなければならな ヽ。
[0005] 本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザを煩わ すことなぐ追尾について優先順位のある人物が存在しうる状況でも自律的に追尾を 行うことができる、追尾装置、追尾方法、追尾装置の制御プログラム、およびコンビュ ータ読み取り可能な記録媒体を実現することにある。
[0006] 本発明に係る追尾装置は、上記課題を解決するために、追尾対象が撮影画像に 写り込み続けるように撮影部を制御することによって、当該追尾対象を捉える追尾装 置であって、撮影画像カゝら当該撮影画像に写り込んだ特徴情報を検出する特徴情 報検出手段と、上記特徴情報検出手段が検出した特徴情報を、複数の人物につい ての特徴情報が当該特徴情報の追尾順位を示す優先度と対応付けられて登録され て 、る追尾対象情報と照合して、上記検出した特徴情報が追尾対象である力否かを 判定する追尾対象照合手段と、上記検出した特徴情報が追尾対象である場合に、 上記追尾対象情報から、当該検出した特徴情報の優先度を取得する優先度取得手 段と、上記取得した優先度に基づき、上記特徴情報を検出した撮影画像中でより優 先度の高 、特徴情報が撮影画像に写り込み続けるように上記撮影部を制御する撮 影制御手段と、を有することを特徴としている。
[0007] また、本発明に係る追尾方法は、上記課題を解決するために、追尾対象が撮影画 像に写り込み続けるように撮影部を制御することによって、当該追尾対象を捉える追 尾方法であって、撮影画像から当該撮影画像に写り込んだ特徴情報を検出する特 徴情報検出ステップと、上記検出した特徴情報を、複数の人物についての特徴情報 が当該特徴情報の追尾順位を示す優先度と対応付けられて登録されている追尾対 象情報と照合して、上記検出した特徴情報が追尾対象であるか否かを判定する追尾 対象照合ステップと、上記検出した特徴情報が追尾対象である場合に、上記追尾対 象情報から、当該検出した特徴情報の優先度を取得する優先度取得ステップと、上 記取得した優先度に基づき、上記特徴情報を検出した撮影画像中でより優先度の高 V、特徴情報が撮影画像に写り込み続けるように上記撮影部を制御する撮影制御ステ ップと、を含むことを特徴としている。
[0008] 上記構成および上記方法によると、撮影画像に写り込んだ特徴情報を検出し、検 出した特徴情報が追尾対象である場合には、検出した特徴情報の追尾順位を示す 優先度を取得する。優先度の取得は、追尾対象であると判定された特徴情報につい て行われるので、特徴情報が多数上記撮影画像に写り込んでいても、取得した優先 度に基づき、上記特徴情報を検出した撮影画像中で、より優先度の高い特徴情報が 撮影画像に写り込み続けるように撮影部を制御して撮影を行うことができる。よって、 常により優先度の高い特徴情報を追尾し続けることができる。ここで、優先度は、例え ば数値によって表されて、優先度の数値が少ない方がより優先度が高いものとして取 り扱われるようになつていてもよい。例えば、優先度 1、 2、 3がある場合、優先度は、 1 > 2> 3の順に小さくなるものとする。もちろん、優先度の付け方は、これに限定される ことはない。また「追尾」とは、撮影画像内に被写体 (追尾対象)の画像を保持し続け るように（画面内に捉え続けるように)することを指すものとする。
[0009] もちろん、追尾対象情報にお!、て優先度の付!、て 、る特徴情報が一つだけの場合 には、その特徴情報を追尾し続けることになる。なお、追尾対象情報に一つの特徴 情報だけが登録されている場合には、その一つの特徴情報に実際の優先度が付い ていなくても、最上位の優先度が付いているものとして、優先度を取得するようになつ ていてもよい。また、複数の特徴情報の一部にだけ優先度が付いており、その他の特 徴情報には付 、て 、な 、場合には、当該その他の特徴情報には一律最下位の優先 度が付!、て 、るものとして、優先度を取得するようになって!/、てもよ!/、。
[0010] ここで、撮影部の制御は、例えば、撮影装置であるカメラの動作、具体的には、カメ ラの位置を左右、上下、前後に移動させて行うパン'チルト、ズーム、露出変化、ある いは、撮影カメラが複数ある場合にはカメラ切替え等、を制御することで行うのが好ま しい。上記撮影カメラの位置の移動は、例えば、カメラをレール上の台に載せることで 行うことができる。もちろん、より優先度の高い特徴情報が撮影画像に写り込み続ける ようにできさえすれば、撮影部をどのように制御するようになって!/ヽても構わな!/、。
[0011] また、上記カメラの動作が、撮影画像におけるより高い優先度の特徴情報が変化し たときに行われるよう、制御するのが好ましい。より具体的には、より高い優先度の特 徴情報に関して、撮影画像での、位置 (特徴情報に含まれる一部の位置の変化であ つても力まわない）、大きさ、傾き、および向きの、少なくとも 1つの変化があるとき、上 記カメラの動作が行われるよう制御するのが好ましい。もちろん、これら以外で、特徴 情報に変化があつたときに上記カメラが動作するよう制御しても構わない。
[0012] さらに、上記構成および上記方法によれば、上記特徴情報を検出した撮影画像中 で、より優先度の高い特徴情報が撮影画像に写り込み続けるように撮影部を制御す るので、例えば、より優先度の高い特徴情報が、撮影部が撮影できる範囲外に出て、 優先度がより高 、特徴情報を捉えきれなくなった場合でも、その時点での撮影画像 中におけるより高い優先度の特徴情報 (捉えきれなくなった特徴情報の次に優先度 が高 、特徴情報)を追尾することができる。
[0013] 以上のように、上記構成および上記方法によれば、追尾対象が複数あり、追尾対象 に追尾の優先順位がある場合でも、より優先度の高!、特徴情報を撮影画像に捉え続 けるように撮影部が制御されるので、ユーザの操作を介さずにより優先度の高 、追尾 を行うことができる。ユーザは追尾対象を指定する必要もないので、ユーザの操作を 軽減することができる。よって、上記構成および上記方法では、ユーザを煩わすこと なぐ追尾について優先順位のある人物が存在しても自律的に追尾を行うことが可能 となる。
[0014] 本発明にかかる追尾装置では、上記構成に加え、上記特徴情報は、人物の顔の特 徴を示す顔情報であってもよ ヽ。
[0015] 上記構成によると、特徴情報が顔情報であると、顔情報は被写体を区別し個人を特 定するのに優れているので、照合時に認証を行うことが容易にすることができる。顔 情報は個人を識別することが容易にできるので、例えば、野球やサッカー等のスポー ッの中継放送にお 、て、人気の高!、選手の顔情報から順に優先度を付けて追尾す ることちでさる。
[0016] もちろん、上記特徴情報は、被写体を区別することができるものであれば、人物の 顔の顔情報でなくてもよぐ例えば、車の外見の情報であってもよい。この場合、例え ば自動車レースの中継放送にお 、て人気の高 、車から順に優先度を付けて追尾す ることもできる。また、特徴情報が、例えば馬の顔の情報である場合には、例えば、競 馬の中継放送にお 、て人気の高 、馬から順に優先度を付けて追尾することもできる 。なお、これらは、単なる例示である。
[0017] 本発明にかかる追尾装置では、上記構成に加え、上記特徴情報検出手段が検出 した特徴情報にっ ヽて、撮影画像内での位置を把握し続ける位置把握手段を備え、 上記特徴情報検出手段が特徴情報を検出した撮影画像より時間が後の撮影画像に て、上記特徴情報検出手段が再度同じ特徴情報を検出し、その特徴情報の撮影画 像内での位置が上記位置把握手段により把握されている場合には、上記追尾対象 照合手段は、上記照合を省いてもよい。
[0018] 上記構成によると、特徴情報を検出した撮影画像より時間が後の撮影画像にて、再 度同じ特徴情報を検出し、その特徴情報の位置が上記位置把握手段により把握され ている場合には、追尾対象照合手段による照合は行われない。これは、より優先度の 高 、特徴情報である現在の追尾対象、以外の特徴情報に対しても撮影画像内での 位置の把握（追跡）を行っているということになる。よって、追尾対象照合手段による 照合の回数を減らすことができるので、追尾装置の負荷を軽減することが可能となる
[0019] 本発明にかかる追尾装置では、上記構成に加え、撮影部は複数の撮影装置を備 えており、上記撮影制御手段は、上記より優先度の高い特徴情報を捉えていた撮影 装置が当該より優先度の高い特徴情報を捉えられなくなると、当該より優先度の高い 特徴情報を捉えることのできる他の撮影装置にて捉えるように、撮影部を制御しても よい。
[0020] 上記構成によると、より優先度の高い特徴情報を捉えていた撮影装置が捉えられな くなると、当該より優先度の高い特徴情報を捉えることのできる他の撮影装置にて捉 えることができる。このとき、予め特徴情報の移動を予測しておき、より優先度の高い 特徴情報を捉えていた撮影装置力 他の装置に撮影が切替えられると、スムーズに 、より優先度の高い特徴情報を見逃すことなぐ捉え続けることができる。
[0021] 上記構成によると、画角の異なる複数の撮影装置にて、より優先度の高い特徴情 報の追尾を用いることができるので、より広範囲で、より優先度の高い特徴情報、例え ば特定人物、の追尾を行うことが可能となる。
[0022] 本発明にかかる追尾装置では、上記構成に加え、上記追尾対象情報における優 先度の設定あるいは変更をユーザが入力可能に設けられた入力部を備えていてもよ い。
[0023] 上記構成によると、ユーザが、追尾対象情報における優先度の設定あるいは変更 についての入力を追尾装置に対して行うことができる。ここで、優先度は、予め登録さ れた追尾対象情報に含まれるに特徴情報に対して設定しておくものとし、随時、変更 できるようになっていると好ましい。もちろん予め設定されていない場合、優先度が設 定されて ヽな 、特徴情報が検出されたときに、設定できるようになって!/ヽても構わな い。また、追尾対象情報に登録されていない、特徴情報が検出されたときには、優先 度を付けて追尾対象情報に登録するようになって！/ヽてもよ ヽ。
[0024] 例えば、スポーツの中継放送の時など、複数の選手に例えば人気のある者力 順 に優先順位を付けて追尾することもできる。また、随時、優先度の変更を行うこともで きるし、控えの選手が入ってきた場合等に新たに優先度を付けて追尾することもでき る。これらは、単なる例示である。
[0025] あるいは、追尾対象情報に登録されて!ヽな 、特徴情報を検出した場合、追尾対象 情報に登録してユーザに優先度を設定させるようになって 、てもよ 、。 [0026] 本発明にかかる追尾装置では、上記構成に加え、上記追尾対象照合手段は、上 記特徴情報検出手段が検出した特徴情報と、上記追尾対象情報に含まれる特徴情 報との類似度を算出し、算出した類似度が予め定められた認証閾値より大きければ、 当該検出した特徴情報が追尾対象であると判定し、さらに、上記予め定められた認 証閾値よりどれだけ大きいかで示される認証信頼度を算出し、上記優先度が同じ値 である特徴情報が複数上記撮影画像に写り込んで 、る場合には、上記撮影制御手 段は、上記算出された認証信頼度のより大きい特徴情報が撮影画像に写り込み続け るように撮影部を制御してもよ ヽ。
[0027] 上記構成によると、検出した特徴情報と、追尾対象情報に含まれる特徴情報との類 似度を算出し、算出した類似度が予め定められた認証閾値より大きければ、検出した 特徴情報が追尾対象であると判定する。さらに、認証信頼度を算出し、優先度が同じ 値である特徴情報が複数撮影画像に写り込んで 、る場合には、認証信頼度のより大 き 、特徴情報が撮影画像に写り込み続けるようにすることができる。
[0028] よって、優先度が同じ値の特徴情報が複数撮影画像に写り込んでいたとしても、常 に撮影画像に写り込むようにする対象を決めて、その対象の特徴情報を追尾するこ とができる。また、撮影画像に写り込み続ける対象を決定するのは、認証信頼度に依 存するので、より確実な追尾対象を追尾することができる。
[0029] 本発明に力かる追尾装置では、上記構成に加え、上記撮影制御手段は、上記より 優先度の高い特徴情報の大きさと位置との少なくとも一方が、撮影画像内で常に一 定になるよう、上記撮影部を制御してもよい。
[0030] 上記構成によると、より優先度の高い特徴情報の大きさと位置との少なくとも一方を 、撮影画像内で常に一定にすることができる。撮影画像内で大きさを一定にしておく と、より優先度の高い特徴情報を、撮影画像内で発見しやすくすることができる。また 、位置を一定にしておくと、より優先度の高い特徴情報を、常にその一定にした位置 、例えば撮影画像を表示するモニタの中央を見るだけで、発見することができる。こ のように、より優先度の高い特徴情報の大きさと位置との少なくとも一方を、撮影画像 内で常に一定にすることで、より優先度の高い特徴情報の監視を容易に行うことがで きる。 [0031] なお、上記追尾装置は、コンピュータによって実現してもよぐこの場合には、コンビ ユータを上記各手段として動作させることにより上記追尾装置をコンピュータにて実 現させる追尾装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体 も本発明の範疇に入る。
[0032] 以上のように、本発明に係る追尾装置は、撮影画像カゝら当該撮影画像に写り込ん だ特徴情報を検出する特徴情報検出手段と、上記検出した特徴情報を、複数の人 物についての特徴情報が当該特徴情報の追尾順位を示す優先度と対応付けられて 登録されて!、る追尾対象情報と照合して、上記検出した特徴情報が追尾対象である か否かを判定する追尾対象照合手段と、上記検出した特徴情報が追尾対象である 場合に、上記追尾対象情報から、当該検出した特徴情報の優先度を取得する優先 度取得手段と、上記取得した優先度に基づき、上記特徴情報を検出した撮影画像 中でより優先度の高い特徴情報が撮影画像に写り込み続けるように撮影部を制御す る撮影制御手段と、を有している。
[0033] 上記構成によると、撮影画像に写り込んだ特徴情報を検出し、検出した特徴情報 が追尾対象である場合には、検出した特徴情報の追尾順位を示す優先度を取得す る。優先度の取得は、追尾対象であると判定された特徴情報について行われるので 、特徴情報が多数上記撮影画像に写り込んでいても、取得した優先度に基づき、上 記特徴情報を検出した撮影画像中で、より優先度の高!、特徴情報が撮影画像に写 り込み続けるように撮影部を制御して撮影を行うことができる。よって、常により優先度 の高い特徴情報を追尾し続けることができる。もちろん、優先順位情報において優先 度の付いている特徴情報力 S1つだけの場合には、その特徴情報を追尾し続けること になる。
[0034] さらに、上記構成によれば、上記特徴情報を検出した撮影画像中で、より優先度の 高 、特徴情報が撮影画像に写り込み続けるように撮影部を制御するので、例えば、 より優先度の高い特徴情報が、撮影部が撮影できる範囲外に出て、優先度がより高 い特徴情報を捉えきれなくなった場合でも、その時点での撮影画像中におけるより高 V、優先度の特徴情報 (捉えきれなくなった特徴情報の次に優先度が高 、特徴情報） を追尾することができる。 [0035] 以上のように、上記構成によれば、追尾対象が複数あり、追尾対象に追尾の優先 順位がある場合でも、より優先度の高!、特徴情報を撮影画像に捉え続けるように撮 影部が制御されるので、ユーザの操作を介さずにより優先度の高 、追尾を行うことが でき、ユーザは追尾対象を指定する必要もないので、ユーザの操作を軽減すること ができる。よって、上記構成では、ユーザを煩わすことなぐ追尾について優先順位 のある人物が存在しても自律的に追尾を行うことが可能となる。
図面の簡単な説明
[0036] [図 1]本発明の実施形態を示すものであり、追尾装置の要部構成を示すブロック図で ある。
[図 2]顔情報データベースの一例を表形式で示す図である。
[図 3(a)]追尾対象の切替えにおけるイメージ図である。
[図 3(b)]追尾対象の切替えにおけるイメージ図である。
[図 3(c)]追尾対象の切替えにおけるイメージ図である。
[図 4(a)]カメラ切替えにおけるイメージ図である。
[図 4(b)]カメラ切替えにおけるイメージ図である。
[図 4(c)]カメラ切替えにおけるイメージ図である。
[図 5]本実施の形態の追尾装置が行う追尾処理における流れを示すフローチャート である。
[図 6]カメラ切替えにおける処理の流れを示すフローチャートである。
[図 7(a)]本実施の形態の追尾装置を競馬の中継放送に利用した例のイメージ図であ る。
[図 7(b)]図 7 (a)におけるカメラの撮影画像を示すイメージ図である。
[図 8(a)]本実施の形態の追尾装置を野球の中継放送に利用した例のイメージ図であ る。
[図 8(b)]図 8 (a)における或るカメラの撮影画像を示すイメージ図である。
[図 8(c)]図 8 (a)における別のカメラの撮影画像を示すイメージ図である。
[図 8(d)]図 8 (a)における他のカメラの撮影画像を示すイメージ図である。
符号の説明 [0037]
2 制御部
3 撮影部
4 し fe p[5
5 入力受付部
6 表示部
21 顔検出部 (特徴情報検出手段）
22 顔照合部 (追尾対象照合手段）
23 優先度取得部 (優先度取得手段)
24 移動量計算部
25 撮影制御部 (撮影制御手段）
26 位置把握部 (位置把握手段）
33
41 顔情報データベース (追尾対象情報）
発明を実施するための最良の形態
[0038] 本発明の一実施形態について図 1〜図 8に基づいて説明すると以下の通りである。
以下では、本実施の形態の追尾装置は、特定の対象を追尾するために、撮影画像 に写り込んだ特徴情報を人物 (人や物)の顔情報とし、顔情報を照合するものとして 説明する。しカゝしながら、特徴情報は、撮影画像に写り込んだ被写体を識別すること ができる情報であれば、どのような情報であっても力まわな 、。
[0039] 〔追尾装置の構成〕
本実施の形態の追尾装置 1は、制御部 2、撮影部 3、記憶部 4、入力部 5、および表 示部 6を備えている。
[0040] 制御部 2は、マイクロコンピュータを内蔵し、コンピュータプログラムに従って、入力 部 5が受け付けた力 の入力操作等により動作し、追尾装置 1における各種構成の 動作を統括的に制御する。また制御部 2は、顔検出部 21、顔照合部 22、優先度取 得部 23、移動量計算部 24、撮影制御部 25、および位置把握部 26として機能する。
[0041] 顔検出部 21は、撮影部 3が撮影した撮影画像カゝら当該撮影画像に写り込んだ顔 情報 (顔)を検出する。
[0042] 顔照合部 22は、顔検出手段が検出した顔情報を、複数の人物についての顔情報 が当該顔情報の追尾順位を示す優先度と対応付けられて登録されている顔情報デ ータベース (DB) 41と照合して、検出した顔が追尾対象である力否かを判定する。こ こで、顔情報とは、顔画像であるとする。この場合顔画像を比較して同一性を判断す る手法は、固有顔法、 LFA (Local Feature Analysis)法、グラフマッチング法、ニュー ラルネットワーク法、制約相互部分空間法、摂動空間法、周波数解析法などのような 、従来公知の手法によって行われる。
[0043] 例えば、次のように行われる。ガボールウェーブレット変換などを用いて顔画像の特 徴量を算出し、データベース上に登録されている特徴量との類似度を算出することに より、同一性の判断を行い、類似度があらかじめ設定された閾値を超えた場合、両者 は同一の顔である、と判断する。このように顔画像を比較して同一性を判断すること ができる力 この判断は上記の方法に限定されることはない。
[0044] また、顔照合部 22は、顔情報と、顔情報データベース 41に含まれる顔情報との類 似度を算出し、算出した類似度が予め定められた認証閾値より大きければ、顔検出 部 21が検出した顔情報が追尾対象であると判定し、さらに、上記予め定められた認 証閾値よりどれだけ大きいかで示される認証信頼度を算出する。
[0045] 優先度取得部 23は、顔情報データベース 41から、検出した顔情報の優先度を取 得する。
[0046] 移動量計算部 24は、検出した中でより優先度の高い顔情報の動きを測定し、当該 より優先度の高い顔情報の移動量を算出する。移動量計算部 24における移動量の 計算は、例えば、特許文献 5等の公知の方法で行うことができる。
[0047] 撮影制御部 25は、顔情報を検出した撮影画像中でより優先度の高 、顔情報が撮 影画像に写り込み続けるように撮影部 3を制御する。このとき、移動量計算部 24で算 出した移動量を基に、より優先度の高い顔情報の動きを追って制御する。撮影部 3の 制御は、例えば、撮影装置 33であるカメラの動作、具体的には、カメラの位置を左右 、上下、前後に移動させて行うパン'チルト、ズーム、露出変化、あるいは、撮影カメラ が複数ある場合にはカメラ切替え等、を制御することで行うのが好ましい。このカメラ の位置の移動は、例えば、撮影カメラをレール上の台に載せることで行うことができる 。もちろん、より優先度の高い顔情報が撮影画像に写り込み続けるようにできさえす れば、撮影部 3をどのように制御するようになって ヽても構わな 、。
[0048] また、カメラの動作が、撮影画像におけるより高い優先度の顔情報が変化したとき に行われるよう、制御するのが好ましい。より具体的には、より高い優先度の顔情報の 、撮影画面内での、位置 (顔情報に含まれる一部、例えば目、の位置の変化であつ ても力まわない）、大きさ、傾き、向きの、少なくとも 1つの変化があるとき、上記カメラ の動作が行われるよう制御するのが好ましい。もちろん、これら以外で、カメラが動作 するよう制御しても構わな 、。
[0049] また、撮影制御部 25は、より優先度の高い顔の大きさと位置との少なくとも一方が、 撮影画像内で常に一定になるよう、撮影部 3を制御してもよい。もちろん、より優先度 の高 、顔が撮影画像内に存在するようにして追尾するだけで構わな 、が、撮影画像 内で顔の大きさを一定にしておくと、より優先度の高い顔を、撮影画像内で発見しや すくすることができる。また、顔の位置を一定にしておくと、より優先度の高い顔情報 を、常にその一定にした位置、例えば撮影画像を表示する表示画面の中央、を見る だけで、発見することができる。もちろん、位置は中央に限定されない。このように、よ り優先度の高い顔の大きさと位置との少なくとも一方を、撮影画像内で常に一定にす ることで、より優先度の高 、顔の監視を容易に行うことができる。
[0050] 位置把握部 26は、顔検出部 21が検出した顔情報 (顔）について、装置内の図示し な ヽ顔位置保存領域 (メモリ）に保存される顔座標情報を表す画像における座標 (顔 の位置）を更新し続けることにより、撮影画像内での顔情報 (顔）の位置を把握し続け る。ここで顔座標情報は、顔検出部 21が検出した顔情報 (顔)がどの位置に存在する 力についての情報である。そして、顔検出部 21が顔情報を検出した撮影画像より時 間が後の撮影画像にて、上記顔検出部 21が再度同じ顔情報を検出し、その顔情報 の撮影画像内での位置が位置把握部 26により把握されている場合には、顔照合部 22は、顔情報データベース 41にアクセスしないようになっている。これは、より優先度 の高 、顔情報である現在の追尾対象、以外の顔情報に対しても撮影画像内での位 置の把握（追跡）を行っているということになる。よって、顔照合部 22による照合の回 数を減らすことができるので、追尾装置 1の負荷を軽減することが可能となる。
[0051] 撮影部 3は、複数のカメラを備えた撮影装置 33と、カメラ駆動装置 31と、カメラ切替 え装置 32とを備えており、撮影制御部 25の制御に基づき、追尾対象の撮影を行う。 カメラ駆動装置 31は、撮影装置 33におけるカメラを駆動させる装置であり、カメラ切 替え装置 32は、駆動対象のカメラを切替える装置である。また、撮影装置 33におけ るカメラはそれぞれ、パン'チルト、ズーム、露出変化が行えるようになつている。
[0052] 本実施形態では、カメラは複数あるように図示している力 1台でも構わない。この 場合、カメラ切替え装置 32はなくてもよい。また、カメラ 1台あるいは複数台を制御す る追尾装置 1が複数台あり、その追尾装置が通信部を有しており、互いに通信してよ り優先度の高 、顔を追尾するようになって 、てもよ 、。
[0053] 記憶部 4は、ハードディスクなどの不揮発性の記憶装置によって構成されるもので ある。記憶部 4は、顔情報データベース 41を保持している。この顔情報データベース 41には、複数の人物についての顔情報が当該顔情報の追尾順位を示す優先度と 対応付けられて登録されて 、る。
[0054] 例えば図 2を参照に説明すると、顔情報データベース 41には、人物 Aの顔情報と 人物 Bの顔情報とが、人物 Aの顔の優先度が 1、人物 Bの顔の優先度が 2となって登 録されている。優先度の数字が少ない方がより優先度が高いものとする。図 2では、 追尾対象として 2人分の登録し力、行われて 、な 、が、これ以上の顔情報が登録され ていてもよい。また、 1の追尾対象に対して 1つの顔情報だけでなぐ 1の追尾対象に 対して複数の顔情報 (例えば、正面、右向き、左向き、上向き、下向き等)が登録され ていると、顔照合部 22での照合をより正確に行うことができる。また、顔情報データべ ース 41には、追跡対象の名前、特徴点 (例えば、野球選手であれば守備位置等)等 の追尾対象に関する情報が登録されていてもよい。このようになっていると、ユーザ が優先度を設定したり変更したりするときに参照できるので、ユーザの手助けになる。
[0055] もちろん、顔情報データベース 41において優先度の付いている顔情報が 1つだけ の場合には、その顔情報を追尾し続けることになる。なお、顔情報データベース 41に 1つの顔情報だけがある場合には、その 1つの顔情報に実際の優先度が付いていな くても、最上位の優先度が付いているものとして、優先度を取得するようになっていて もよい。また、複数の顔情報の一部にだけ優先度がついており、その他の顔情報に は付 、て 、な 、場合には、当該その他の顔情報には一律最下位の優先度が付 、て V、るものとして、優先度を取得するようになって!/、てもよ!/、。
[0056] また、この記憶部 4には、上記した追尾装置 1の各種構成の動作を制御する制御プ ログラム、 OS (operating system)プログラム、その他の各種プログラムが記憶されて いてもよい。
[0057] 入力部 5は、追尾装置 1がユーザからの操作を受け付けるためのインターフェイスで ある。入力部 5は、ユーザが追尾装置 1に対する操作を行うことが可能に設けられて おり、例えば、顔情報データベースにおける優先度の設定あるいは変更をユーザが 入力可能に設けられている。よって、ユーザは、予め登録された顔情報データベース 41に含まれるに顔情報に対して、入力部 5から、優先度を設定したり、変更したりす ることができる。優先度は、予め設定されていない場合、優先度が設定されていない 顔情報が検出されたときに、設定できるようになつていても構わない。また、追尾対象 情報に登録されていない、顔情報が検出されたときには、優先度を付けて追尾対象 情報に登録するようになっていてもよい。例えば、スポーツの中継放送の時など、複 数の選手に例えば人気のある者力 順に優先順位を付けて追尾することもできる。ま た、随時、優先度の変更を行うこともできるし、控えの選手が入ってきた場合等に新た に優先度を付けて追尾することもできる。これらは、単なる例示である。あるいは、追 尾対象情報に登録されて!ヽな 、顔情報を検出した場合、追尾対象情報に登録して ユーザに優先度を設定させるようになって!/、てもよ!/、。
[0058] 入力部 5では、例えば、操作キー Zボタン等がユーザ操作に供されるように設けら れている。ユーザは、この入力部 5から、追尾装置 1に対して各種指示、例えば、追 尾操作の開始、停止、顔情報データベース 41の書き換え、顔情報データベース 41 の優先順位の設定、変更等を行うことができるようになつている。なお、入力部 5を表 示部 6における表示画面と兼用してもよい。つまり、例えば、入力部 5と表示部 6の表 示画面とがー体型のタツチパネルが設けられていてもよい。この場合、表示画面にュ 一ザによる入力が可能な項目を表示し、ユーザが、所望する項目が表示されている 表示領域に触れることにより、追尾装置 1に対して指示を与えることができる。この場 合、表示領域に触れるために、入力部 5として、スティック状の操作手段などを設けて ちょい。
[0059] 表示部 6は、表示画面 (撮影画面)を含み、撮影装置にて撮影した撮影画像を出力
(表示)するものである。表示部 6は、複数設けられていてもよぐ例えばカメラと同数 設けられていてもよい。あるいは、表示部 6の表示画面が複数のカメラからの画像が 写るように仕切られて ヽても構わな!/、。
[0060] また、例えば、撮影装置 33にて撮影した撮影画像に伴う音声を出力する音声出力 部（図示せず)を有して!/、てもよ!/、。
[0061] なお、顔照合部 22および顔情報データベース 41を外部の装置に設け、追尾装置 1と当該外部の装置とが通信を行うことで、照合処理を行ってもよい。
[0062] また、本発明の追尾装置は、撮影部 3や顔情報データベース 41を備えていなくても よぐ制御部 2を、本発明に係る追尾装置と表現しても力まわない。
[0063] 上記の構成の追尾装置 1を用いて追尾している状態を、図 3 (a)〜（c)を用いて説 明する。ここでは予め、顔情報データベース 41に、図 2に示すように、人物 Aの顔情 報と人物 Bの顔情報とが、人物 Aの顔の優先度が 1、人物 Bの顔の優先度が 2となつ て登録されて 、るものとする。優先度の数字が少な 、方がより優先度が高 、ものとす る。
[0064] 始め、図 3 (a)に示すように、撮影画像 50において人物 A (の顔）に対して追尾して いる状態であるとする。ここで、人物 Cは、顔情報データベース 41に登録されていな いので追尾対象ではない。よって、人物 Cについては追跡対象として位置把握部 26 により顔位置のみ把握して 、るが、追尾は行って ヽな 、。
[0065] 次に、図 3 (b)に示すように、撮影画像 50内に人物 Aよりも、追尾の優先順位である 優先度の高い人物 Bの顔が入ってきたとする（フレームイン、同図の黒矢印）。この場 合、追尾対象を人物 Aの顔力も人物 Bの顔に切替える（同図の白矢印）。このとき、人 物 Cの顔は追尾対象ではな 、ので顔位置のみ把握して 、る。追尾対象は人物 Bの 顔になり、人物 Aの顔は、優先度の低い追尾対象 (追跡対象）として、人物 Bの顔が 撮影画像 50内にある限り、顔位置のみ把握されることになる。
[0066] そして、図 3 (c)に示すように、人物 Bの顔を追尾対象として、人物 Bの顔が撮影画 像 50を表示する撮影画面の一定範囲 51内に収まるようにする。また、人物 Aの顔を 優先度の低い追尾対象（追跡対象）とし、画面内に存在している場合は顔位置を確 認 (把握）し続ける。この状態で人物 Bの顔が何らかの原因で撮影画像 50から消えた 場合は、再び人物 Aの顔を追尾対象とする。また、人物 Cの顔は画像外に移動した ので (フレームアウト）、人物 Cの顔位置の把握（追跡）を終了する。
[0067] 以上の追尾している状態の説明は、カメラ 1台で追尾しているものとして行った。ここ で、カメラは 1つでも複数であっても構わない。
[0068] 次に、撮影部 3におけるカメラの切替えについて、図 4 (a)〜（c)を用いて説明する 。ここでは、カメラ C1カゝらカメラ C2に切替えが行われるものとする。図 4 (a)〜（c)のそ れぞれには、左から順番に、カメラ C2の撮影する画像 12、カメラ C1の撮影する画像 I 1、および、カメラ C1 'C2の撮影範囲と被写体との位置関係が示されている。また、 図 4 (a)〜（c)において、ドットがある画像 II ·Ι2の領域がカメラ C1とカメラ C2との画角 が重なる部分であるとする。
[0069] 図 4 (a)に示すように、カメラ C1の画角内に追尾対象の人物 Pの顔が存在する場合 はカメラ C1で追尾対象の人物 Pの顔を追尾する。
[0070] 図 4 (b)では、移動量計算部 24の計算により、カメラ C1の画角から追尾対象の人 物 Pが外れることが予測され、かつカメラ C2の画角に追尾対象の人物 Pが入ってくる と、画面をカメラ C 1の撮影する画像 11からカメラ C 2の撮影する画像 12に切替える。 切替えの制御は、撮影制御部 25がカメラ切替え装置 32を制御することで行われる。
[0071] そして、図 4 (c)に示すように、カメラ C2の画角内に追尾対象の人物 Pの顔が存在 する場合はカメラ C2で追尾対象の人物 Pの顔を追尾する。
[0072] 以上のように、追尾装置 1では、追尾対象が複数あり、追尾対象に追尾の優先順位 力 Sある場合でも、より優先度の高い顔を撮影画像に捉え続けるように撮影部 3が制御 されるので、ユーザの操作を介さずにより優先度の高い追尾を行うことができ、ユー ザは追尾対象を指定する必要もないので、ユーザの操作を軽減することができる。よ つて、追尾装置 1を用いることで、ユーザを煩わすことなぐ追尾について優先順位の ある人物が存在しても自律的に追尾を行うことが可能となる。
[0073] 〔追尾装置による追尾処理〕 追尾装置 1における追尾の処理の流れにっ 、て、図 5のフローチャートを用いて説 明する。なお、以下で説明する処理の前に、予め顔情報データベース 41には、優先 度が設定された顔情報が登録されて ヽるものとする。
[0074] まず、顔検出部 21が撮影画像内で顔情報 (以後「顔」のように省略する）を検出し、 撮影画像内に顔が存在するか否かを判定する (ステップ 1、以後 S1のように省略する )。ここで、顔の検出は、被写体が入ってくるまで待ち続けてもよいし、カメラが例えば 首振り等動作して、被写体が入ってきたら、検出を開始してもよい。
[0075] 顔を検出した場合 (S1において YES)、検出した顔が画像中で位置を把握してい る顔かどうか (前フレームにも存在した顔かどうか）を判断する（S2)。
[0076] S1で検出した顔が画像中で位置を把握していない顔の場合（S2において NO)に ついて先に説明し、位置を把握している顔の場合 (S 2において YES)については後 述する。
[0077] S1で検出した顔が画像中で位置を把握していない顔の場合（S2において NO)、 顔照合部 22は、顔情報データベース 41を照合し、 S1で検出した顔が登録されてい る力否かを判定する（S3)。ここでの判定は、次のように行う。検出した顔と、顔情報デ ータベース 41に含まれる顔情報との類似度を算出し、算出した類似度が予め定めら れた認証閾値より大きければ、検出した顔が追尾対象であると判定する。さらに、予 め定められた認証閾値よりどれだけ大きいかで示される認証信頼度を算出する。
[0078] S1で検出した顔が登録されている場合 (S3において YES)、優先度取得部 23は、 S1で検出した顔の優先度を取得する（S4)。優先度を取得すると、次に、現在追尾 中の顔 (より優先度の高 ヽ顔)が画像内に存在するか否かを判定する（S5)。現在追 尾中の顔が画像内に存在する場合 (S5において YES)、 S1で検出した顔と現在追 尾中の顔との優先度を比較する（S6)。 SIで検出した顔と現在追尾中の顔との優先 度が同じ場合、 S3での判定時に算出した認証信頼度が、現在追尾中の顔の認証信 頼度と比較して高いかを判定する（S7)。なお、現在追尾中の顔の認証信頼度は、 図示しな!、メモリ等に保持されて 、るものとする。
[0079] 顔の認証信頼度の比較の結果、 S1で検出した顔の認証信頼度が高い場合 (S7に おいて YES)、現在の追尾対象の顔を追尾対象から外し、現在の追尾対象の顔を優 先度の低い追尾対象として、図示しないメモリ等に登録する（S8)。 S6において、 S1 で検出した顔の方が優先度が高い場合も、 S8に進み、現在の追尾対象の顔を追尾 対象から外し、現在の追尾対象の顔を優先度の低い追尾対象として、図示しないメ モリ等に登録する。
[0080] また、 S6において、 S1で検出した顔の方が優先度が低い場合には、 S1で検出し た顔を、優先度の低い追尾対象として、図示しないメモリ等に登録し (S10)、 S18に 進む。また、 S7において、 S1で検出した顔の方が認証信頼度が低い場合 (S7にお いて NO)にも、 S1で検出した顔を、優先度の低い追尾対象として、図示しないメモリ 等に登録し（S10)、 S18に進む。
[0081] また、 S3で検出した顔が登録されていない場合（S3において NO)、 S1で検出した 顔を追跡対象として、図示しないメモリ等に登録し (S9)、 S18に進む。
[0082] また、 S5で現在追尾中の顔が画像内に存在しない場合（S5において NO)、処理 対象の顔 (ここでは、 S1で検出した顔）を、追尾対象として、図示しないメモリ等に登 録し (Sl l)、 S18に進む。また、現在の追尾対象の顔を優先度の低い追尾対象とし て、図示しないメモリ等に登録した (S8)後にも、 S11に進み、処理対象の顔 (ここで は、 S1で検出した顔）を、追尾対象として、図示しないメモリ等に登録し、 S18に進む
[0083] 次に、 S1で検出した顔が画像中で位置を把握している顔の場合（S2において YE S)、現在追尾中の顔か否かを判定する（S 12)。現在追尾中の顔である場合 (S 12に おいて YES)、画像内の中央付近に検出した顔 (現在追尾中の顔）があるか否かを 判定する（S13)。画像内の中央付近に検出した顔がない場合には（S13において N 0)、検出した顔が画像の中央付近に来るよう、撮影制御部 25は撮影部 3を制御する (S14)。画像内の中央付近に検出した顔がある場合には（S13において YES)、あ るいは、検出した顔が画像の中央付近に来るよう、撮影制御部 25は撮影部 3を制御 した（S 14)後には、 S 18に進む。
[0084] S12において、現在追尾中の顔でない場合（S12において NO)、 S1で検出した顔 が優先度の低 、顔 (優先度のより高 、顔ではな 、追尾対象)か否かを判定する（S15 ) o優先度の低い顔である場合 (S15において YES)、現在追尾中の顔が画像内に ある力否かを判定する（SI 6)。優先度の低い顔でない場合 (SI 5において NO)、あ るいは、現在追尾中の顔が画像内にある場合（S16において YES)、 S18に進む。な お、 S 15で優先度の低い顔でない場合ということは、追跡対象ということである。
[0085] S16で現在追尾中の顔が画像内にない場合（S16において NO)、 S1で検出され た顔を、追尾対象として、図示しないメモリ等に登録し (Sl l)、 S18に進む。
[0086] 最後に、装置の顔位置保存領域 (メモリ）に保存される顔座標情報を表す画像にお ける座標 (顔の位置)を、検出座標 (S1で顔検出部 21により顔情報が検出された位 置）に書き換えることにより顔位置情報の更新が行われる (S18)
なお、 S1で画像内で顔を検出できない場合には（S1において NO、メモリ等に登録 された追尾対象の情報、追跡対象の情報を消去して（S17)、終了する。以上のよう な、図 5に示す処理が繰り返し行われることにより、追尾装置 1における追尾の処理が 行われる。
[0087] 次に、撮影部 3に、カメラが複数ある場合、カメラの切替えの処理について、図 6の フローチャートを用いて説明する。以下の説明では、カメラ C1からカメラ C2に切替え ることを前提として説明する。
[0088] 図 6に示すように、初めに、カメラ C1の切替え領域（図 4 (a)〜（c)のドット領域）に、 より優先度の高 、顔がある力否かを判定する（S51)。領域に顔がな 、場合 (S51に おいて NO)、処理は終了する。領域に顔がある場合 (S51において YES)、カメラ C 1の前フレームにおける、より優先度の高い顔がある位置は切替え領域外力否かを 判定する（S52)。切替え領域外でない場合 (S52において NO)、処理は終了する。 切替え領域外である場合 (S52において YES)、カメラ C2の切替え領域外に、より優 先度の高 、顔がある力否かを判定する（S53)。領域外に当該顔がな 、場合 (S53に おいて NO)、処理は終了する。領域外に当該顔がある場合 (S53において YES)、 カメラ C2の前フレームにおける、より優先度の高い顔がある位置は切替え領域力否 かを判定する（S54)。切替え領域でない場合 (S54において NO)、処理は終了する 。切替え領域である場合 (S54において YES)、カメラ C1からカメラ C2への切替えが 行われる（S55)。
[0089] 以上のようにカメラの切替えが行われる力 2つ以上のカメラにおける切替えも、同 様に行われ、より優先度の高 、顔を捉えて!/、たカメラが当該より優先度の高 、顔を捉 えられなくなると、当該より優先度の高い顔を捉えることのできる他のカメラにて捉える ように、制御されるものとする。
[0090] 〔実施例 1〕
上記実施の形態の追尾装置 1を、例えば競馬の中継放送に用いる場合を想定して 、図 7 (a) · (b)を用いて説明する。なお、この場合は、撮影装置 33のカメラは 1台の みあるものとして説明する。
[0091] 予め、馬の顔が顔情報として顔情報データベース 41に登録してあり、優先度は馬 H2が 1、馬 H5が 2の人気順に付いているとする。また、図 7 (a)に示すように、カメラ C1は、レール 1上に設置され、馬の進行方向に移動できるようになつているとする。こ の場合、始めは、図 7 (b)に示すように、先頭の馬 H5を撮影画像 IIの中心になるよう にカメラ C1を制御して馬 H5を追尾し続ける力 馬 H2が撮影画像 IIに入ったときに、 その次のフレームでは、馬 H2が画面の中心になるようにカメラ C1は制御される。
[0092] このように、追尾の優先度を人気順に設定することにより、撮影画像内で認識できる うちの一番人気の高い馬を中心に画面を構成することができる。
[0093] なお、馬の顔の代わりに、馬に騎乗している騎手の顔を利用してもよい。この場合、 上記騎手の顔を顔情報として顔情報データベース 41に登録すればよい。なお、優先 度は、上記騎手の人気順に付してもよいし、上記騎手が騎乗している馬の人気順に 付してちょい。
[0094] 〔実施例 2〕
上記実施の形態の追尾装置 1を、例えば、図 8 (a)に示すような、野球の中 «放送 に用いる場合を想定して、図 8 (a)〜(d)を用いて説明する。この場合は、撮影装置 3 3のカメラは 3台として説明する。
[0095] 予め、選手の顔が顔情報として顔情報データベース 41に登録してあり、追尾の優 先度が走者 >打者〉野手として登録されて 、るとする。
[0096] 図 8 (b)〜（d)に示すように、カメラ C1では走者 A、カメラ C2では野手 B、カメラ C3 では野手 Cを捉えて、それぞれ画面 11〜13の中心になるように制御されており、それ ぞれ追尾しているとする。カメラ C2では、走者 Aがベースランニングでカメラ C2の画 角に入ってきたとき、走者 Aが画面 12の中心になるように、つまり走者 Aの追尾に切 替える。そして、画角から消えたら、野手 Bの追尾に戻る。また、カメラ C3でも、走者 A がベースランニングでカメラ C3の画角に入ってきたとき、画面 13の中心になるように 走者 Aの追尾に切替える。そして、画角力 消えたら、野手 Cの追尾に戻る。
[0097] このように、優先度に基づ!/、て追尾を行うことができる。
[0098] その他にも、実施の形態の追尾装置 1を、例えば、サッカーの中 «放送に用いる場 合、例えば、フォワード >ミッドフィルダー >ディフェンダー >ゴールキーパーあるい は、ホームの選手 >アウエ一の選手の順に優先度を設定して、追尾を行ってもよい。 また、例えば、防犯のため不審な人物を追尾する場合、指名手配中の人物 >犯罪歴 のある人物 >その他の人物、の順に優先度を設定して、追尾を行ってもよい。また、 競輪、競艇、自動車レース、オートバイレース、マラソン、駅伝、陸上競技、等におい ても、 1番人気〉 2番人気〉…の順に優先度を設定して、追尾を行ってもよい。また、 例えばアマチュア野球の中継放送の場合、ドラフト候補で優先順位を付けて追尾し てもよい。なお、これらは、単なる例示であり、追尾順位のつけ方には限定はないし、 追尾対象にも限定はない。
[0099] 本発明は上述した実施形態および各実施例に限定されるものではなぐ請求項に 示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更 した技術的手段を組み合わせて得られる実施形態および実施例についても本発明 の技術的範囲に含まれる。
[0100] 最後に、追尾装置 1の各ブロック、特に制御部 2は、ハードウェアロジックによって構 成してもょ 、し、次のように CPUを用いてソフトウェアによって実現してもよ 、。
[0101] すなわち、追尾装置 1は、各機能を実現する制御プログラムの命令を実行する CP U central processing unit)、上 dプログフム 格糸内した ROM (read only memory)、 上記プログラムを展開する RAM (random access memory) ,上記プログラムおよび各 種データを格納するメモリ等の記憶装置 (記録媒体)などを備えている。そして、本発 明の目的は、上述した機能を実現するソフトウェアである追尾装置 1の制御プロダラ ムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム） をコンピュータで読み取り可能に記録した記録媒体を、上記追尾装置 1に供給し、そ のコンピュータ（または CPUや MPU)が記録媒体に記録されて 、るプログラムコード を読み出し実行することによつても、達成可能である。
[0102] 上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッ ピー（登録商標）ディスク Zハードディスク等の磁気ディスクや CD— ROMZMOZ MD/DVD/CD—R等の光ディスクを含むディスク系、 ICカード (メモリカードを含 む） Z光カード等のカード系、あるいはマスク ROMZEPROMZEEPROMZフラッ シュ ROM等の半導体メモリ系などを用いることができる。
[0103] また、追尾装置 1を通信ネットワークと接続可能に構成し、上記プログラムコードを 通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定さ れず、例えば、インターネット、イントラネット、エキストラネット、 LAN, ISDN, VAN, CATV通信網、仮想専用網（virtual private network)、電話回線網、移動体通信網 、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体とし ては、特に限定されず、例えば、 IEEE1394、 USB、電力線搬送、ケーブル TV回 線、電話線、 ADSL回線等の有線でも、 IrDAやリモコンのような赤外線、 Bluetooth (登録商標）、 802. 11無線、 HDR、携帯電話網、衛星回線、地上波デジタル網等 の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送 で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現さ れ得る。
産業上の利用の可能性
[0104] 本発明は、複数の被写体を追尾するシステムに適用することができ、例えば防犯シ ステム、また例えば、テレビ会議、テレビ講義、スポーツ中継など、様々な用途にも利 用することができる。

Claims

請求の範囲
[1] 追尾対象が撮影画像に写り込み続けるように撮影部を制御することによって、当該 追尾対象を捉える追尾装置であって、
撮影画像から当該撮影画像に写り込んだ特徴情報を検出する特徴情報検出手段 と、
上記検出した特徴情報を、複数の人物についての特徴情報が当該特徴情報の追 尾順位を示す優先度と対応付けられて登録されて!ヽる追尾対象情報と照合して、上 記検出した特徴情報が追尾対象である力否かを判定する追尾対象照合手段と、 上記検出した特徴情報が追尾対象である場合に、上記追尾対象情報から、当該検 出した特徴情報の優先度を取得する優先度取得手段と、
上記取得した優先度に基づき、上記特徴情報を検出した撮影画像中でより優先度 の高 、特徴情報が撮影画像に写り込み続けるように上記撮影部を制御する撮影制 御手段と、
を有することを特徴とする追尾装置。
[2] 上記特徴情報は、人物の顔の特徴を示す顔情報であることを特徴とする請求項 1 に記載の追尾装置。
[3] 上記特徴情報検出手段が検出した特徴情報につ!、て、撮影画像内での位置を把 握し続ける位置把握手段を備え、
上記特徴情報検出手段が特徴情報を検出した撮影画像より時間が後の撮影画像 にて、上記特徴情報検出手段が再度同じ特徴情報を検出し、その特徴情報の撮影 画像内での位置が上記位置把握手段により把握されている場合には、上記追尾対 象照合手段は、上記照合を省くことを特徴とする請求項 1または 2に記載の追尾装置
[4] 撮影部は複数の撮影装置を備えており、
上記撮影制御手段は、上記より優先度の高!、特徴情報を捉えて!/、た撮影装置が 当該より優先度の高い特徴情報を捉えられなくなると、当該より優先度の高い特徴情 報を捉えることのできる他の撮影装置にて捉えるように、撮影部を制御することを特徴 とする請求項 1〜3のいずれ力 1項に記載の追尾装置。
[5] 上記追尾対象情報における優先度の設定あるいは変更をユーザが入力可能に設 けられた入力部を備えたことを特徴とする請求項 1〜4のいずれか 1項に記載の追尾 装置。
[6] 上記追尾対象照合手段は、上記特徴情報検出手段が検出した特徴情報と、上記 追尾対象情報に含まれる特徴情報との類似度を算出し、算出した類似度が予め定 められた認証閾値より大きければ、当該検出した特徴情報が追尾対象であると判定 し、さらに、上記予め定められた認証閾値よりどれだけ大きいかで示される認証信頼 度を算出し、
上記優先度が同じ値である特徴情報が複数上記撮影画像に写り込んでいる場合 には、上記撮影制御手段は、上記算出された認証信頼度のより大きい特徴情報が撮 影画像に写り込み続けるように撮影部を制御することを特徴とする請求項 1〜5のい ずれか 1項に記載の追尾装置。
[7] 上記撮影制御手段は、上記より優先度の高い特徴情報の大きさと位置との少なくと も一方が、撮影画像内で常に一定になるよう、上記撮影部を制御することを特徴とす る請求項 1〜6のいずれ力 1項に記載の追尾装置。
[8] 追尾対象が撮影画像に写り込み続けるように撮影部を制御することによって、当該 追尾対象を捉える追尾方法であって、
撮影画像カゝら当該撮影画像に写り込んだ特徴情報を検出する特徴情報検出ステツ プと、
上記検出した特徴情報を、複数の人物についての特徴情報が当該特徴情報の追 尾順位を示す優先度と対応付けられて登録されて!ヽる追尾対象情報と照合して、上 記検出した特徴情報が追尾対象であるカゝ否かを判定する追尾対象照合ステップと、 上記検出した特徴情報が追尾対象である場合に、上記追尾対象情報から、当該検 出した特徴情報の優先度を取得する優先度取得ステップと、
上記取得した優先度に基づき、上記特徴情報を検出した撮影画像中でより優先度 の高 、特徴情報が撮影画像に写り込み続けるように上記撮影部を制御する撮影制 御ステップと、
を含むことを特徴とする追尾方法。
[9] 請求項 1〜7のいずれか 1項に記載の追尾装置を動作させるための制御プログラム であって、コンピュータを上記追尾装置における上記各手段として機能させるための 追尾装置の制御プログラム。
[10] 請求項 9に記載の追尾装置制御プログラムが記録されたコンピュータ読み取り可能 な記録媒体。
PCT/JP2007/055066 2006-03-15 2007-03-14 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体 WO2007119355A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/282,632 US8599267B2 (en) 2006-03-15 2007-03-14 Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP2008510774A JP4957721B2 (ja) 2006-03-15 2007-03-14 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
EP07738537.5A EP1998567B1 (en) 2006-03-15 2007-03-14 Tracking device, tracking method, tracking device control program, and computer-readable recording medium
CN2007800089865A CN101401426B (zh) 2006-03-15 2007-03-14 跟踪装置、跟踪方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-071861 2006-03-15
JP2006071861 2006-03-15

Publications (1)

Publication Number Publication Date
WO2007119355A1 true WO2007119355A1 (ja) 2007-10-25

Family

ID=38609152

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/055066 WO2007119355A1 (ja) 2006-03-15 2007-03-14 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体

Country Status (6)

Country Link
US (1) US8599267B2 (ja)
EP (1) EP1998567B1 (ja)
JP (1) JP4957721B2 (ja)
KR (1) KR101001060B1 (ja)
CN (1) CN101401426B (ja)
WO (1) WO2007119355A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193424A (ja) * 2008-02-15 2009-08-27 Nec Corp 動線捕捉装置及び動線捕捉方法並びにプログラム
JP2009201070A (ja) * 2008-02-25 2009-09-03 Canon Inc 入室監視システム、入室監視方法及びプログラム
JP2009206695A (ja) * 2008-02-27 2009-09-10 Canon Inc 撮像装置
EP2104337A2 (en) * 2008-03-19 2009-09-23 Fujinon Corporation Autofocus system
ITMI20081628A1 (it) * 2008-09-12 2010-03-12 March Networks Corp Inseguimento automatico di un oggetto di interesse mediante una videocamera
JP2010146522A (ja) * 2008-12-22 2010-07-01 Nec Software Kyushu Ltd 顔画像追跡装置及び顔画像追跡方法並びにプログラム
JP2010200084A (ja) * 2009-02-26 2010-09-09 Nikon Corp 撮像装置
JP2010256642A (ja) * 2009-04-27 2010-11-11 Daiichikosho Co Ltd 歌唱者画像撮影機能を有するカラオケシステム
EP2104339A3 (en) * 2008-03-19 2011-05-11 Fujinon Corporation Autofocus system
JP2011182160A (ja) * 2010-03-01 2011-09-15 Canon Inc 映像処理装置及び映像処理方法
JP2013192154A (ja) * 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
JPWO2019239744A1 (ja) * 2018-06-11 2021-08-26 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、及びプログラム
JP2021528768A (ja) * 2018-07-27 2021-10-21 北京微播視界科技有限公司Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器
JP2022048147A (ja) * 2014-03-31 2022-03-25 日本電気株式会社 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101298646B1 (ko) * 2007-04-30 2013-08-21 삼성전자주식회사 얼굴 영역이 효율적으로 검색되는 디지털 영상 처리 장치의제어 방법
US8432449B2 (en) * 2007-08-13 2013-04-30 Fuji Xerox Co., Ltd. Hidden markov model for camera handoff
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
JP2010117663A (ja) * 2008-11-14 2010-05-27 Fujinon Corp オートフォーカスシステム
JP5434339B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
JP5390322B2 (ja) * 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
US9386281B2 (en) 2009-10-02 2016-07-05 Alarm.Com Incorporated Image surveillance and reporting technology
US8675066B2 (en) 2009-10-02 2014-03-18 Alarm.Com Incorporated Image surveillance and reporting technology
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
GB2476097A (en) * 2009-12-11 2011-06-15 Tony Jones A portable communication device for evaluating an environment
JP5911201B2 (ja) * 2011-04-20 2016-04-27 キヤノン株式会社 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
WO2012170898A2 (en) * 2011-06-09 2012-12-13 Utah State University Research Foundation Systems and methods for sensing occupancy
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
KR101288248B1 (ko) * 2011-12-09 2013-07-26 정영규 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
US8704904B2 (en) * 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
US9615015B2 (en) * 2012-01-27 2017-04-04 Disney Enterprises, Inc. Systems methods for camera control using historical or predicted event data
US9781336B2 (en) * 2012-01-30 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Optimum camera setting device and optimum camera setting method
US9124800B2 (en) * 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
AU2013225712B2 (en) 2012-03-01 2017-04-27 H4 Engineering, Inc. Apparatus and method for automatic video recording
US9723192B1 (en) 2012-03-02 2017-08-01 H4 Engineering, Inc. Application dependent video recording device architecture
CA2866131A1 (en) 2012-03-02 2013-06-09 H4 Engineering, Inc. Multifunction automatic video recording device
US8938124B2 (en) * 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9256781B2 (en) * 2012-05-10 2016-02-09 Pointguard Ltd. System and method for computer vision based tracking of an object
JP6089549B2 (ja) * 2012-10-05 2017-03-08 富士ゼロックス株式会社 情報処理装置、情報処理システム、およびプログラム
KR102014285B1 (ko) * 2012-10-24 2019-11-04 주식회사 케이티 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
US9381445B2 (en) * 2013-03-15 2016-07-05 Zebra Innovations, LLC Distance detector
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置
CN103347117B (zh) * 2013-05-31 2015-08-12 东莞宇龙通信科技有限公司 通信终端的拍摄方法及通信终端
KR101292907B1 (ko) 2013-06-13 2013-08-02 정영규 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
JP6481249B2 (ja) * 2013-07-29 2019-03-13 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
CN104573617B (zh) * 2013-10-28 2018-10-02 杭州慧知连科技有限公司 一种摄像控制方法
DE202014011528U1 (de) 2013-12-09 2021-12-01 Todd Martin System zur Zeitmessung und zum Fotografieren eines Ereignisses
JP6056774B2 (ja) * 2014-01-17 2017-01-11 ソニー株式会社 撮像装置と撮像方法およびプログラム。
US10070077B2 (en) * 2014-09-26 2018-09-04 Sensormatic Electronics, LLC System and method for automated camera guard tour operation
TWI537842B (zh) * 2014-09-30 2016-06-11 廣達電腦股份有限公司 人流計數系統
US11973813B2 (en) 2014-10-15 2024-04-30 Benjamin Nowak Systems and methods for multiple device control and content curation
KR20170070164A (ko) * 2014-10-15 2017-06-21 벤자민 노왁 다중 관점 콘텐츠 캡처 및 합성
US10362075B2 (en) 2015-10-14 2019-07-23 Benjamin Nowak Presenting content captured by a plurality of electronic devices
EP3255884A4 (en) * 2015-02-05 2018-05-30 Ricoh Company, Ltd. Image processing device, image processing system, image processing method, and program
JP6364372B2 (ja) * 2015-03-24 2018-07-25 トヨタホーム株式会社 地域監視システム
TWI562642B (en) * 2015-06-24 2016-12-11 Vivotek Inc Image surveillance method and image surveillance device thereof
JP2017033358A (ja) * 2015-08-03 2017-02-09 富士ゼロックス株式会社 認証装置
US20170039010A1 (en) * 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication apparatus and processing apparatus
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
EP3423974A4 (en) 2016-03-02 2020-05-06 Tinoq Inc. SYSTEMS AND METHODS FOR EFFICIENT FACE RECOGNITION
US10728694B2 (en) 2016-03-08 2020-07-28 Tinoq Inc. Systems and methods for a compound sensor system
WO2017173168A1 (en) 2016-03-30 2017-10-05 Tinoq Inc. Systems and methods for user detection and recognition
CN107623836A (zh) * 2016-07-15 2018-01-23 中国电信股份有限公司 用于处理抓拍人脸的方法、装置和系统
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
GB2556344A (en) 2016-10-17 2018-05-30 Nctech Ltd Camera controller
KR102286006B1 (ko) * 2016-11-23 2021-08-04 한화디펜스 주식회사 추종 장치 및 추종 시스템
US10136049B2 (en) 2017-01-09 2018-11-20 International Business Machines Corporation System, method and computer program product for contextual focus/zoom of event celebrities
KR20180092621A (ko) * 2017-02-10 2018-08-20 엘지전자 주식회사 단말기 및 그 제어 방법
US10304207B2 (en) * 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
GB2581746B (en) 2017-10-22 2022-11-02 Martin Todd A sporting event entry system and method
EP3477941B1 (en) * 2017-10-27 2020-11-25 Axis AB Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备
WO2020041352A1 (en) 2018-08-21 2020-02-27 Tinoq Inc. Systems and methods for member facial recognition based on context information
CN111383251B (zh) * 2018-12-28 2023-06-13 杭州海康微影传感科技有限公司 一种跟踪目标对象的方法、装置、监控设备和存储介质
CA3067795C (en) * 2019-05-13 2023-07-18 Kazuhiko Ito Face recognition system, face recognition method and face recognition program
JP6675564B1 (ja) 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
CN110245630B (zh) * 2019-06-18 2023-02-17 广东中安金狮科创有限公司 监控数据处理方法、装置及可读存储介质
DE102019216003B4 (de) 2019-10-17 2022-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optisches Sicherheitsmerkmal geeignet für Track & Trace- und/oder Serialisierungssysteme
CN110809116A (zh) * 2019-11-04 2020-02-18 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
CN110691197A (zh) * 2019-11-04 2020-01-14 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
KR20210074915A (ko) * 2019-12-12 2021-06-22 현대자동차주식회사 안면 인식 잠금 해제 장치 및 그것의 동작방법
DE102020131382A1 (de) 2020-11-26 2022-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Methode zur Kennzeichnung von Produkten mit optischem Sicherheitsmerkmal mit zeitlicher Dimension
CN114356088B (zh) * 2021-12-30 2024-03-01 纵深视觉科技(南京)有限责任公司 一种观看者跟踪方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126473A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 自動追尾カメラ装置
JPH06339056A (ja) 1993-05-31 1994-12-06 Oki Electric Ind Co Ltd ビデオカメラ駆動装置
JP2000163600A (ja) 1998-11-18 2000-06-16 Sintec Co Ltd 顔の撮影／認識方法とその装置
JP2002077887A (ja) * 2000-09-04 2002-03-15 Mitsubishi Electric Corp 自動監視方法および自動監視装置
JP2003324720A (ja) 2002-05-07 2003-11-14 Matsushita Electric Ind Co Ltd 監視システムと監視カメラ
JP2004040514A (ja) 2002-07-04 2004-02-05 Nippon Hoso Kyokai <Nhk> 自動追尾撮像装置及び自動追尾撮像方法
JP2005020205A (ja) 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331520A (ja) * 1996-06-13 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 自動追跡システム
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
JP2004129049A (ja) * 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
JP2005086626A (ja) 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP4478510B2 (ja) 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126473A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 自動追尾カメラ装置
JPH06339056A (ja) 1993-05-31 1994-12-06 Oki Electric Ind Co Ltd ビデオカメラ駆動装置
JP2000163600A (ja) 1998-11-18 2000-06-16 Sintec Co Ltd 顔の撮影／認識方法とその装置
JP2002077887A (ja) * 2000-09-04 2002-03-15 Mitsubishi Electric Corp 自動監視方法および自動監視装置
JP2003324720A (ja) 2002-05-07 2003-11-14 Matsushita Electric Ind Co Ltd 監視システムと監視カメラ
JP2004040514A (ja) 2002-07-04 2004-02-05 Nippon Hoso Kyokai <Nhk> 自動追尾撮像装置及び自動追尾撮像方法
JP2005020205A (ja) 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1998567A4

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193424A (ja) * 2008-02-15 2009-08-27 Nec Corp 動線捕捉装置及び動線捕捉方法並びにプログラム
JP2009201070A (ja) * 2008-02-25 2009-09-03 Canon Inc 入室監視システム、入室監視方法及びプログラム
JP2009206695A (ja) * 2008-02-27 2009-09-10 Canon Inc 撮像装置
EP2104339A3 (en) * 2008-03-19 2011-05-11 Fujinon Corporation Autofocus system
EP2104337A2 (en) * 2008-03-19 2009-09-23 Fujinon Corporation Autofocus system
ITMI20081628A1 (it) * 2008-09-12 2010-03-12 March Networks Corp Inseguimento automatico di un oggetto di interesse mediante una videocamera
JP2010146522A (ja) * 2008-12-22 2010-07-01 Nec Software Kyushu Ltd 顔画像追跡装置及び顔画像追跡方法並びにプログラム
JP2010200084A (ja) * 2009-02-26 2010-09-09 Nikon Corp 撮像装置
JP2010256642A (ja) * 2009-04-27 2010-11-11 Daiichikosho Co Ltd 歌唱者画像撮影機能を有するカラオケシステム
JP2011182160A (ja) * 2010-03-01 2011-09-15 Canon Inc 映像処理装置及び映像処理方法
JP2013192154A (ja) * 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
JP2022048147A (ja) * 2014-03-31 2022-03-25 日本電気株式会社 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム
US11798211B2 (en) 2014-03-31 2023-10-24 Nec Corporation Image processing system, image processing method and program, and device
JPWO2019239744A1 (ja) * 2018-06-11 2021-08-26 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、及びプログラム
JP7246029B2 (ja) 2018-06-11 2023-03-27 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、及びプログラム
JP2021528768A (ja) * 2018-07-27 2021-10-21 北京微播視界科技有限公司Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器
JP7152528B2 (ja) 2018-07-27 2022-10-12 北京微播視界科技有限公司 フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器
US11749020B2 (en) 2018-07-27 2023-09-05 Beijing Microlive Vision Technology Co., Ltd Method and apparatus for multi-face tracking of a face effect, and electronic device

Also Published As

Publication number Publication date
KR20080103586A (ko) 2008-11-27
JP4957721B2 (ja) 2012-06-20
EP1998567A4 (en) 2013-05-15
KR101001060B1 (ko) 2010-12-14
JPWO2007119355A1 (ja) 2009-08-27
EP1998567B1 (en) 2016-04-27
US20090096871A1 (en) 2009-04-16
CN101401426A (zh) 2009-04-01
EP1998567A1 (en) 2008-12-03
US8599267B2 (en) 2013-12-03
CN101401426B (zh) 2010-12-01

Similar Documents

Publication Publication Date Title
JP4957721B2 (ja) 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
CN108292364A (zh) 在全向视频中的跟踪感兴趣对象
KR101363017B1 (ko) 얼굴영상 촬영 및 분류 시스템과 방법
KR101972918B1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
US8208028B2 (en) Object verification device and object verification method
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
US20020149681A1 (en) Automatic image capture
WO2018198373A1 (ja) 映像監視システム
JP2007158421A (ja) 監視カメラシステム及び顔画像追跡記録方法
JP4650579B2 (ja) ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
JP2011170711A (ja) 移動物体追跡システムおよび移動物体追跡方法
CN111596760A (zh) 操作控制方法、装置、电子设备及可读存储介质
JP2013167986A (ja) 画像認識システム、画像認識方法
JP4899552B2 (ja) 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
JP5159390B2 (ja) 物体検知方法及びその装置
EP4128142A1 (en) Image processing device, image processing method, and storage medium
JP2008072183A (ja) 撮像装置および撮像方法
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JPWO2020065931A1 (ja) 撮影制御システム、撮影制御方法、およびプログラム
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN115499580B (zh) 多模式融合的智能取景方法、装置及摄像设备
US20100117793A1 (en) Photographing control apparatus, program and method of the same, and photographing apparatus
KR20230075770A (ko) 얼굴 인식 시스템 및 얼굴 인식 시스템을 위한 제어 방법
US20230276117A1 (en) Main object determination apparatus, imaging apparatus, and control method for controlling main object determination apparatus
JP2022552389A (ja) 対象者が未承認である可能性が高いことを示すアラートを生成するためのイベントを管理する方法、装置、システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07738537

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2008510774

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12282632

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200780008986.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087023741

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2007738537

Country of ref document: EP