WO2010018669A1 - 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム - Google Patents

検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム Download PDF

Info

Publication number
WO2010018669A1
WO2010018669A1 PCT/JP2009/003767 JP2009003767W WO2010018669A1 WO 2010018669 A1 WO2010018669 A1 WO 2010018669A1 JP 2009003767 W JP2009003767 W JP 2009003767W WO 2010018669 A1 WO2010018669 A1 WO 2010018669A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
target object
information
feature information
feature
Prior art date
Application number
PCT/JP2009/003767
Other languages
English (en)
French (fr)
Inventor
森山孝三
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP09806565.9A priority Critical patent/EP2323103B1/en
Priority to CN200980128887.XA priority patent/CN102105904B/zh
Priority to US13/058,300 priority patent/US8774456B2/en
Priority to KR1020117004393A priority patent/KR101166994B1/ko
Priority to EP15152474.1A priority patent/EP2892027B1/en
Publication of WO2010018669A1 publication Critical patent/WO2010018669A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K11/00—Marking of animals
    • A01K11/006—Automatic identification systems for animals, e.g. electronic devices, transponders for animals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Definitions

  • the present invention relates to an apparatus that performs at least one of registration and detection of an object, in particular, an information registration apparatus for detection that registers information on an object and detects an object based on the registered information, a target object detection apparatus, an electronic device,
  • the present invention relates to a detection information registration apparatus control method, a target object detection apparatus control method, a detection information registration apparatus control program, and a target object detection apparatus control program.
  • Patent Document 1 discloses a technique for performing various processes based on recognized subject information in an electronic camera having a face recognition function.
  • Patent Document 2 images taken by a plurality of cameras are input to a common image processing apparatus, and the image processing apparatus collates model data registered in a database with images taken by the camera.
  • the image processing apparatus collates model data registered in a database with images taken by the camera.
  • Patent Document 3 describes a technique for estimating and modeling a change in the appearance of an object and collating the modeled data with input image information.
  • Patent Document 4 in an image recognition apparatus that detects a detection target existing in a monitoring space, when a background image and an input image change, a small animal index is used to determine whether or not the change is caused by a small animal. The technique to judge is described.
  • Patent Document 5 discloses a technique for recognizing a vehicle using a heat source image and discriminating / classifying the type.
  • Patent Document 6 discloses a technique for extracting the outline of the nose from the image of the entire nose of the animal, two nostrils and their respective outlines, and creating information for identifying the animal.
  • Japanese Patent Publication “JP 2007-282119 A (published on Oct. 25, 2007)” Japanese Patent Publication “Japanese Patent Laid-Open No. 2002-83297 (published on March 22, 2002)” Japanese Patent Publication “Japanese Patent Laid-Open No. 2001-307096” (published on November 2, 2001) Japanese Patent Publication “Japanese Patent Laid-Open No. 2006-155167 (published on June 15, 2006)” Japanese Patent Publication “JP-A-8-16987” (published January 19, 1996) Japanese Patent Publication “JP 2007-135501 A (published on June 7, 2007)”
  • Patent Document 1 authenticates a human face, and as described above, it is difficult to predefine an animal in the first place. It is difficult.
  • Patent Document 2 when the technique described in Patent Document 2 is applied to animals, it is necessary to register a huge amount of model data. Furthermore, for registration, it is necessary to register data from various orientations and various positions, but the user does not know how much amount should be registered from what orientation or position, and registration for the user. Is not easy.
  • Patent Document 3 it is necessary to accurately calculate information on the shooting environment (orientation, posture, etc.) in order to perform modeling at the time of registration. However, it is difficult to cut out an object from a still image, which requires time and effort, and registration is not easy.
  • the present invention has been made in view of the above problems, and an object of the present invention is an apparatus that allows a user to easily register an animal to be detected, and an apparatus that detects an animal registered from an input image.
  • An object is to realize a certain information registration device for detection, a target object detection device, and the like.
  • a detection information registration apparatus is information for detecting a target object included in a moving image obtained by shooting, and is information for characterizing the target object.
  • a registration unit for detecting information, a storage unit for storing information, image acquisition means for acquiring a frame image in the moving image, and information for tracking a target object included in the moving image obtained by shooting The tracking feature extraction means for extracting tracking feature information, which is information characterizing the target object, from the frame image and storing it in the storage unit; and the tracking feature information extracted by the tracking feature extraction means
  • target object region detection means for detecting an image region of the target object from a change from the tracking feature information regarding the past frame image stored in the storage unit,
  • the detection feature extraction means for extracting the detection feature information from the image area of the target object detected by the elephant object region detection means, and part or all of the detection feature information extracted by the detection feature extraction means
  • a detection feature registering means for registering in the storage unit.
  • control method of the detection information registration apparatus includes an image acquisition step for acquiring a frame image in the moving image, and information for tracking a target object included in the moving image obtained by shooting, Tracking feature information, which is information that characterizes the target object, is extracted from the frame image and stored in the storage unit, the tracking feature information extracted in the tracking feature extraction step, and the storage unit
  • a target object region detecting step for detecting an image region of the target object based on a change from the tracking feature information relating to the past frame image stored; and an image region of the target object detected in the target object region detecting step From the detection feature extraction step for extracting the detection feature information, and a part of the detection feature information extracted in the detection feature extraction step. It is characterized in that it comprises a detection feature registration step of registering all the storage unit.
  • a frame image is acquired from a moving image. Then, tracking feature information for tracking the target object in the moving image is extracted from the acquired frame image and stored in the storage unit. Then, the image area of the target object is detected from the change between the past tracking feature information stored in the storage unit and the current tracking feature information. Then, the detection feature information is extracted from the image area of the target object and stored in the storage unit.
  • the feature information for detection for detecting the target object is registered only by shooting the target object by moving image, so that the feature of the target object can be easily registered.
  • the target object is detected from a similarity calculation unit that calculates the similarity between the feature information for detection and the feature information for detection stored in the storage unit, and an arbitrary captured image obtained by capturing the subject including the target object.
  • the amount of change may be one which further comprises a richness calculating means for calculating on the basis of the similarity degree of similarity calculation means has calculated.
  • the movement change amount calculating unit changes the tracking feature information extracted by the tracking feature extracting unit and the tracking feature information regarding the past frame image stored in the storage unit, and the target object. Based on the information on the target object region detected by the region detection means, the amount of change in motion in the frame image of the target object is calculated. Then, the satisfaction degree calculating means calculates the satisfaction degree based on the exercise change amount calculated by the exercise change amount calculating means and the similarity degree calculated by the similarity degree calculating means.
  • examples of the amount of change in the above movement include the amount of movement and the amount of change in direction.
  • a degree of fulfillment is calculated that indicates how much the stored amount of feature information for detection is relative to the amount of feature information for detection estimated to be necessary for detecting the target object.
  • the detection information registration apparatus further includes initial position acquisition means for acquiring in advance information on the initial position of the target object in the moving image and storing the information in the storage unit, and the tracking feature extraction means and the tracking feature extraction means described above
  • the target object region detection unit may use information on the initial position stored in the storage unit for the first frame image acquired by the image acquisition unit.
  • the initial position acquisition means acquires in advance information on the initial position of the target object and stores it in the storage unit. Then, the tracking feature extracting unit and the target object region detecting unit use the initial position information stored in the storage unit for the first frame image acquired by the image acquiring unit.
  • the tracking feature extracting unit and the target object region detecting unit can more accurately detect the region where the target object exists.
  • common feature specifying means for specifying one or a plurality of detection common feature information common to all or a part of the plurality of detection feature information stored in the storage unit. It is preferable that the detection feature registration unit further registers the detection common feature information specified by the common feature specification unit in the storage unit.
  • the common feature specifying unit specifies one or a plurality of common detection feature information common to all or a part of the plurality of detection feature information stored in the storage unit. Then, the specified common feature information for detection is stored in the storage unit.
  • the detection feature information stored in the storage unit may be stored in association with identification information for identifying the plurality of target objects.
  • the detection feature information is stored in association with identification information for identifying the plurality of target objects.
  • a target object detection device is a target object detection device that detects a target object included in a moving image obtained by shooting, and is information for detecting the target object.
  • a storage unit that stores a plurality of detection feature information that is information characterizing the target object, and one or a plurality of detection common feature information that is common to all or a part of the plurality of detection feature information;
  • Image acquisition means for acquiring a frame image in a moving image, detection feature extraction means for extracting detection feature information from the frame image acquired by the image acquisition means, and detection features extracted by the detection feature extraction means Using the information and the common feature information for detection in the storage unit, the target object exists in the frame image in a region having the feature information for detection similar to the common feature information for detection.
  • a candidate area search means for searching as a candidate area that is a potential area, and the similarity between the feature information for detection included in the candidate area searched by the candidate area search means and the feature information for detection in the storage section.
  • Similarity calculating means for calculating, and determination means for determining whether the candidate area is an area where the target object exists in the frame image based on the similarity calculated by the similarity calculating means. It is characterized by having.
  • a control method for a target object detection device is a control method for a target object detection device that detects a target object included in a moving image obtained by photographing, and an image acquisition step for acquiring a frame image in the moving image.
  • a detection feature extraction step for extracting detection feature information from the frame image acquired in the image acquisition step, a detection feature information extracted in the detection feature extraction step, and an object stored in the storage unit A region having detection feature information similar to the detection common feature information using one or a plurality of detection common feature information common to all or part of the plurality of detection feature information that is information characterizing the object
  • a candidate area search step for searching for a candidate area as a candidate area that has a possibility that the target object exists in the frame image; and
  • the similarity calculation step for calculating the similarity between the detection feature information included in the candidate area searched in the step and the detection feature information stored in the storage unit, and the similarity calculated in the similarity calculation step And determining whether the candidate area is an area where the target object is present in the frame image.
  • a candidate area which is an area having detection feature information similar to the detection common feature information, is searched for on a frame image acquired from a moving image obtained by shooting.
  • the similarity between the searched feature information for detection of the candidate area and the feature information for detection is calculated, and based on the calculated similarity, whether the candidate area is an area where the target object exists or not is determined. Determined.
  • the area of the detection feature information similar to the detection feature information stored in the storage unit can be determined as the area where the target object exists.
  • the feature information for detection of the user's domestic dog is registered, if the user's domestic dog is within the imaging range when the target object detection device is capturing an image, the region where the dog is present is detected. can do.
  • the target object detection apparatus may include a tracking unit that tracks a region where the desired object is present.
  • the tracking means tracks an area where a desired object exists.
  • the electronic device including the detection information registration device and the target object detection device can achieve the above-described effects.
  • the electronic apparatus may be provided with notifying means for notifying the user based on the degree of fulfillment calculated by the fulfillment degree calculating means.
  • the notifying unit notifies the user that registration can be completed. It can be recognized that the identifiable feature quantity is stored.
  • the predetermined threshold value is a value such that when the degree of fulfillment exceeds the threshold value, the feature amount stored in the feature amount storage unit becomes a sufficient amount for specifying the target object.
  • the notifying means indicates that the degree of fulfillment does not exceed a predetermined threshold and that the degree of fulfillment is a predetermined threshold.
  • the user may be notified of at least one of the operation instructions necessary to exceed the above.
  • the degree of fulfillment does not exceed a predetermined threshold
  • the user is instructed that the degree of fulfillment does not exceed the predetermined threshold, and an operation instruction necessary for the degree of fulfillment to exceed the predetermined threshold. At least one of them can be recognized.
  • the detection information registration device and the target object detection device may be realized by a computer.
  • the detection information registration device and the target object detection device are operated by operating the computer as the respective means.
  • a detection information registration device control program and a target object detection device control program realized by a computer, and a computer-readable recording medium on which these are recorded also fall within the scope of the present invention.
  • the detection information registration device registers detection feature information that is information for detecting a target object included in a moving image obtained by shooting and is information that characterizes the target object.
  • An information registration device for detection a storage unit for storing information, image acquisition means for acquiring a frame image in the moving image, and information for tracking a target object included in the moving image obtained by shooting, Tracking feature information that is information that characterizes the target object is extracted from the frame image and stored in the storage unit, tracking feature information extracted by the tracking feature extraction unit, and A target object region detecting means for detecting an image region of the target object from a change from the tracking feature information relating to the past frame image stored in the storage unit; and the target object region A detection feature extraction unit that extracts the detection feature information from the image area of the target object detected by the output unit, and a part or all of the detection feature information extracted by the detection feature extraction unit It is the structure provided with the characteristic registration means for a detection registered into.
  • control method of the detection information registration apparatus includes an image acquisition step for acquiring a frame image in the moving image, and information for tracking a target object included in the moving image obtained by shooting, Tracking feature information, which is information that characterizes the target object, is extracted from the frame image and stored in the storage unit, the tracking feature information extracted in the tracking feature extraction step, and the storage unit
  • a target object region detecting step for detecting an image region of the target object based on a change from the tracking feature information relating to the past frame image stored; and an image region of the target object detected in the target object region detecting step From the detection feature extraction step for extracting the detection feature information, and a part of the detection feature information extracted in the detection feature extraction step.
  • a method comprising a detection feature registration step of registering all the storage unit.
  • the feature information for detection for detecting the target object is registered only by shooting the target object by moving image, so that the feature of the target object can be easily registered.
  • a target object detection apparatus is a target object detection apparatus that detects a target object included in a moving image obtained by shooting, and is information for detecting the target object, and characterizes the target object.
  • a storage unit for storing a plurality of detection feature information as information and one or a plurality of detection common feature information common to all or a part of the plurality of detection feature information; and a frame image in the moving image.
  • Candidate area searching means for searching as a candidate area
  • similarity calculating means for calculating the similarity between the feature information for detection included in the candidate area searched by the candidate area searching means and the feature information for detection in the storage section
  • determination means for determining whether the candidate area is an area where the target object is present in the frame image based on the similarity calculated by the similarity calculation means.
  • a control method for a target object detection device is a control method for a target object detection device that detects a target object included in a moving image obtained by photographing, and an image acquisition step for acquiring a frame image in the moving image.
  • a detection feature extraction step for extracting detection feature information from the frame image acquired in the image acquisition step, a detection feature information extracted in the detection feature extraction step, and an object stored in the storage unit A region having detection feature information similar to the detection common feature information using one or a plurality of detection common feature information common to all or part of the plurality of detection feature information that is information characterizing the object
  • a candidate area search step for searching for a candidate area as a candidate area that has a possibility that the target object exists in the frame image; and
  • the similarity calculation step for calculating the similarity between the detection feature information included in the candidate area searched in the step and the detection feature information stored in the storage unit, and the similarity calculated in the similarity calculation step And determining whether the candidate region is a region where the target object is present in the frame image.
  • a candidate area which is an area having detection feature information similar to the detection common feature information, is searched for on a frame image acquired from a moving image obtained by shooting.
  • the area of the detection feature information similar to the detection feature information stored in the storage unit can be determined as the area where the target object exists.
  • the feature information for detection of the user's domestic dog is registered, if the user's domestic dog is within the imaging range when the target object detection device is capturing an image, the region where the dog is present is detected. can do.
  • FIG. 1 is a block diagram illustrating a configuration of a registration processing unit of a digital camera.
  • FIG. It is a block diagram which shows the structure of the digital camera which concerns on the said embodiment. It is explanatory drawing which shows the content memorize
  • FIGS. 1 to 12 An embodiment of the present invention will be described with reference to FIGS. 1 to 12 as follows.
  • FIG. 2 is a block diagram showing a configuration of the digital camera 1 according to the present embodiment.
  • the digital camera 1 includes a storage unit 2, an operation reception unit 3, an imaging unit 4, a display unit 5, and a control unit 6.
  • the digital camera 1 easily registers an object to be detected (target object), and uses the information of the object (detection feature information) registered for detection of a desired object from the captured image. It detects and alert
  • the storage unit 2 stores images taken by the digital camera 1, data used for detection processing, data used for tracking processing, and the like.
  • the configuration includes a frame buffer 21, a model information storage unit (feature amount storage unit) 22, and a tracking information storage unit 23. Details of the frame buffer 21, the model information storage unit 22, and the tracking information storage unit 23 will be described later.
  • a specific example of the storage unit 2 is a flash memory.
  • a RAM Random Access Memory
  • Memory can also be used.
  • the operation accepting unit 3 accepts an operation on the digital camera 1. For example, an ID (identification, identification information) indicating a registration target object or an operation indicating the position of the target object on the display unit 5 is accepted. Regarding the position of the target object, the screen is in a touch panel format, and the position of the target object may be specified on the screen, or a cursor is displayed on the screen, and the position is determined using the cursor. It may be specified. Specific examples of the operation accepting unit 3 include various buttons and a touch panel.
  • the imaging unit 4 captures a subject such as a target object and generates video data. Specifically, the imaging unit 4 receives an image sensor such as a CCD (Charge-Coupled Device) or CMOS (Complementary Metal-oxide Semiconductor) image sensor that converts light from an object into an electrical signal, and an electrical signal from the image sensor. A configuration including a video processing circuit for converting into digital video data of each color of RGB is given. Then, the imaging unit 4 transmits the generated video data to the control unit 6.
  • the imaging unit 4 may have an AF (autofocus) function.
  • the display unit 5 displays the image captured by the imaging unit 4, the state of the digital camera 1, the detection result, and the like.
  • the display unit 5 may be implemented by any device as long as it can display information. Specific examples include a liquid crystal display, an organic EL (Electro Luminescence) display, and a plasma display. Is mentioned.
  • the control unit 6 includes a frame image extraction unit 11, a registration processing unit 12, a tracking processing unit (tracking means) 13, and a detection processing unit 14. Then, the control unit 6 performs registration, tracking, and detection of an object to be detected. Details of the registration processing unit 12, the tracking processing unit 13, and the detection processing unit 14 will be described later.
  • the frame image extraction unit 11 extracts a frame image from the video data transmitted from the imaging unit 4 and stores the extracted frame image in the frame buffer 21.
  • the frame buffer 21 stores the frame image extracted by the frame image extraction unit 11.
  • FIG. 1 is a block diagram illustrating a configuration of the registration processing unit 12 of the digital camera 1 according to the present embodiment.
  • the registration processing unit 12 includes a frame image acquisition unit (image acquisition unit) 51, a detection feature amount extraction unit (target object region detection unit, detection feature extraction unit) 52, a similarity calculation unit ( Similarity calculation means) 53, registration section (detection feature registration means) 54, fullness calculation section (exercise change amount calculation means, fullness calculation means) 55, result output section 56, common feature quantity extraction section (common feature specification) Means) 57 and an initial position acquisition unit (initial position acquisition means) 58.
  • the registration processing unit 12 extracts the feature amount (detection feature information) of the target object in the acquired frame image and stores it in the model information storage unit 22.
  • the model information storage unit 22 stores the following items as shown in FIG. FIG. 3 is an explanatory diagram showing the contents stored in the model information storage unit 22.
  • the model information storage unit 22 includes an ID indicating the target object, feature amount information indicating each feature amount of each frame of the target object, and a common feature amount that is a feature amount common to the feature amounts of each frame. Feature amount information is stored.
  • the above information for the plurality of IDs is stored.
  • the frame image acquisition unit 51 acquires a frame image from the frame buffer 21 and transmits it to the detection feature amount extraction unit 52.
  • the detection feature quantity extraction unit 52 extracts the feature quantity of the target object from the frame image acquired from the frame image acquisition unit 51. Then, the extracted feature amount is transmitted to the similarity calculation unit 53.
  • the feature quantity of the target object is extracted as follows. That is, the target object region is detected from the position of the target object designated by the user using the operation accepting unit 3 and the change in the frame image of the feature point information by the tracking processing unit 13.
  • the target object region may be detected by separating the background region and the target object region from the upper image change in the plurality of frame images.
  • the feature amount of the detected target object area is extracted.
  • the feature amount expresses the feature of the target object such as color information and edge information obtained from the image.
  • the target object area can always be detected, and the feature amount can be extracted. Details of the tracking process will be described later.
  • the similarity calculation unit 53 is the same as the acquired feature amount and stored in the model information storage unit 22. The similarity with the feature quantity of the target object is calculated. Then, the calculated result is transmitted to the registration unit 54.
  • the registration unit 54 indicates to the model information storage unit 22 the feature amount extracted by the detection feature amount extraction unit 52 as a target object.
  • information indicating that the registration has been completed is transmitted to the fulfillment degree calculation unit 55.
  • the feature amount is stored only when the similarity is within a predetermined range for the following reason. That is, if the degree of similarity is too high, in other words, if the already registered feature quantity is too similar to the feature quantity to be registered, the meaning of registration is lost. On the other hand, if the degree of similarity is too small, in other words, if the already registered feature quantity is too different from the feature quantity to be registered, it is inappropriate to indicate the same target object. is there.
  • the degree-of-fullness calculation unit 55 acquires information indicating that registration has been completed from the registration unit 54, the degree of feature that indicates how much the feature quantity stored in the model information storage unit 22 can identify the target object. Is calculated. If the degree of fulfillment calculated indicates that the target object can be specified, information for notifying that registration is possible is indicated; otherwise, it indicates that registration data is still required. Information for notification is transmitted to the result output unit 56.
  • the degree of fulfillment is calculated by estimating the orientation of the target object based on the amount of change in the rotation angle based on the movement amount calculation, and estimating the orientation based on the difference in the feature amount when the rotation is at the same position.
  • the dimension of the feature quantity is n
  • the feature quantity of the i-th registered data is F i
  • the k-th feature of the feature quantity of the registered data is F i [k].
  • Each registration data holds the estimated direction (rotation angle) from the registration start frame (first registration data).
  • This rotation angle is expressed by the rotation ⁇ (roll), ⁇ (pitch), and ⁇ (yaw) with the three-dimensional x-axis, y-axis, and z-axis as the central axes. Etc. can be used.
  • a rotation matrix from the i-th registered data to the j-th registered data can be expressed by the following equation.
  • R [i ⁇ j] R [j] ⁇ R [i] ⁇ 1
  • the magnitude of the rotation angle at this time is as follows.
  • the degree of fulfillment represents a variation of the registered data.
  • the first method is to determine the degree of fulfillment based on the magnitude of the direction displacement. This expresses the degree of fulfillment by the sum of the magnitudes of the direction displacements by all combinations of registered data, and can be obtained by the following equation.
  • the degree of fulfillment can be obtained by variation in the feature amount. This is to calculate the degree of fulfillment as the sum of the variation in the feature amount due to all combinations of registered data, and can be obtained by the following equation.
  • the degree of fulfillment can be obtained by using both the magnitude of the displacement in the direction and the variation in the feature amount. This is a combination of the two registered data. When the displacement in the direction is large, the degree of displacement in the direction is calculated. Can be obtained.
  • the result output unit 56 notifies the content indicated by the information from the information acquired from the fulfillment level calculation unit 55.
  • the common feature amount extraction unit extracts a feature amount (detection common feature information) common to the feature amounts for each frame stored in the model information storage unit 22, and stores the model information storage unit as a common feature amount indicating the target object. 22 is stored.
  • the initial position acquisition unit 58 acquires data indicating the position received by the operation reception unit 3 and transmits the data to the frame image acquisition unit 51.
  • FIG. 4 is a block diagram illustrating a configuration of the tracking processing unit 13 of the digital camera 1 according to the present embodiment.
  • the tracking processing unit 13 includes a moving region prediction unit 31, a feature point extraction unit (tracking feature extraction unit) 32, a movement amount calculation unit 33, a tracking target region calculation unit 34, and a frame information update unit 35. , And a tracking information initial setting unit 36. And the tracking process part 13 performs a tracking process using the tracking information memorize
  • FIG. FIG. 5 is an explanatory diagram showing the tracking information stored in the tracking information storage unit 23.
  • the tracking information storage unit 23 stores a tracking ID indicating the tracking target, a status indicating whether the tracking target has been detected and whether tracking is in progress, and frame information. These pieces of information are stored for each ID. That is, if there are a plurality of IDs, the information for the IDs is stored.
  • the frame information includes position information indicating the center position coordinates of the tracking target, feature point information (tracking feature information), tracking target area information which is area information on the tracking target image, an initial frame and a previous frame.
  • a frame movement amount indicating the movement amount is included. Further, when the status is tracking, information for the frame for which tracking is being performed is stored. In addition, the past several frames may be stored.
  • the movement region prediction unit 31 predicts the region to be tracked in the current frame from the amount of frame movement stored in the tracking information storage unit 23.
  • the feature point extraction unit 32 extracts feature points to be tracked.
  • a feature point is a color, edge information, or the like at a partial point that represents a feature to be tracked. Note that the feature points are not limited to points but may be regions.
  • the movement amount calculation unit 33 calculates the relative movement amount of the tracking target from the transition of the feature points extracted by the feature point extraction unit 32.
  • the amount of movement of the tracking target can be expressed by a change in the relative position (x, y, z), the rotation ( ⁇ , ⁇ , ⁇ ) of the tracking target, and the like.
  • the tracking target area calculation unit 34 separates the tracking target area and the background area from the transition of the feature points extracted by the feature point extraction unit 32, and specifies the tracking target area.
  • the frame information update unit 35 updates the information stored in the tracking information storage unit 23 to the position of the feature point in the current frame, the feature point information, the tracking target area information, the frame movement amount, and the like.
  • the tracking information initial setting unit 36 sets the information stored in the tracking information storage unit 23 to an initial value.
  • the initial values are position information, feature point information, and tracking target area information in a frame when tracking is started.
  • FIG. 6 is a block diagram illustrating a configuration of the detection processing unit 14 of the digital camera 1 according to the present embodiment.
  • the detection processing unit 14 includes a frame image acquisition unit (image acquisition unit) 41, a feature amount extraction unit (detection feature extraction unit) 42, a candidate region search unit (candidate region search unit) 43, a candidate The region feature quantity extraction unit 44, a similarity calculation unit (similarity calculation unit) 45, a center position calculation unit (determination unit) 46, and a result output unit (notification unit) 47 are included.
  • the detection processing unit 14 searches the frame image where the target object stored in the model information storage unit 22 exists, and outputs the result.
  • the frame image acquisition unit 41 acquires a frame image from the frame buffer 21. Then, the acquired frame image is transmitted to the feature amount extraction unit 42.
  • the feature amount extraction unit 42 extracts the feature amount of the frame image acquired from the frame image acquisition unit 41.
  • the candidate area search unit 43 scans the frame image acquired by the frame image acquisition unit 41, and uses the common feature amount stored in the model information storage unit 22, an area (candidate for which the target object is likely to exist) Search). Then, the candidate area as a result of the search is transmitted to the candidate area feature amount extraction unit 44. Note that a plurality of areas may be searched for in one frame image.
  • the candidate area feature quantity extraction unit 44 extracts the feature quantity of the candidate area acquired from the candidate area search unit 43. Then, the extracted feature amount is transmitted to the similarity calculation unit 45.
  • the similarity calculation unit 45 compares the feature amount acquired from the candidate area feature amount extraction unit 44 with the feature amount stored in the model information storage unit 22, and calculates the similarity.
  • the center position calculation unit 46 assumes that the candidate area searched by the candidate area search unit 43 is the target object existing area. The center position is calculated. Then, information indicating the center position is transmitted to the result output unit 47.
  • the result output unit 47 causes the display unit 5 to display the center position acquired from the center position calculation unit 46.
  • FIG. 7 is a flowchart showing the flow of target object registration processing in the digital camera 1.
  • the frame image extracting unit 11 extracts a frame image from the moving image being captured (S702). Then, the registration processing unit 12 determines whether or not the registration is completed (S703). If the registration is not completed (NO in S703), the tracking processing unit 13 uses the frame image extracted by the frame image extraction unit 11. Is an initial frame (S704).
  • the tracking processing unit 13 If the frame is an initial frame (YES in S704), the tracking processing unit 13 creates a tracking ID and initializes the tracking process (S706). The initialization of the tracking process will be described later. Then, the process returns to S702. On the other hand, if it is not the initial frame (NO in S704), the tracking processing unit 13 starts the tracking process (S707). The tracking process will be described later.
  • the detection feature quantity extraction unit 52 checks the status and frame information stored in the tracking information storage unit 23 (S708), and determines whether the status is invalid (S709). If the status is invalid (NO in S709), the display unit 5 displays an error (S719) and ends the registration process. On the other hand, if the status is not invalid (YES in S709), the detection feature quantity extraction unit 52 extracts the feature quantity of the target object (S710).
  • the status error is when the tracking process is not completed normally.
  • the status indicates a tracking state, and there are three states of “unrecognized”, “recognized”, and “tracking”.
  • Unrecognized indicates an initialized state.
  • Recognized indicates a state in which tracking (tracking) has not been initialized.
  • Track indicates that tracking (tracking) is in progress.
  • the status changes from “unrecognized” to “recognized” when the process proceeds from S705 to S706, or when the process proceeds from S1013 to S1014 described later.
  • the status changes from “Recognized” to “Tracking” in S802 to be described later.
  • the status changes from “tracking” to “unrecognized” before S716 or before S907 described later.
  • the similarity calculation unit 53 compares the feature quantity of the target object extracted by the detection feature quantity extraction unit 52 with the feature quantity of the same target object that has already been registered, and calculates the similarity (S711). If the similarity is not within the predetermined range (NO in S712), the process returns to S702 without performing registration. On the other hand, if the similarity is within a predetermined range (YES in S712), the registration unit 54 stores the feature quantity of the target object in the model information storage unit 22 (S713).
  • the fulfillment level calculation unit 55 calculates the fulfillment level of the feature amount stored in the model information storage unit 22 (S714).
  • the display unit 5 displays the result (S715). Then, the process returns to S702.
  • the common feature amount extraction unit 57 calculates the common feature amount of the feature amount for each frame stored in the model information storage unit 22. Calculate (S716). Then, the ID of the target object is received (S717), the display unit 5 displays the registration result (S718), and the registration process ends.
  • FIG. 8 is a flowchart showing a flow of initialization of the tracking process in the digital camera 1.
  • the feature point extraction unit 32 extracts a feature point to be tracked (S801). Then, the tracking information initial setting unit 36 stores only the position information of the feature points extracted by the feature point extraction unit 32 in the tracking information storage unit 23, and resets other information (S802). This is the end of the initialization process of the tracking process.
  • FIG. 9 is a flowchart showing the flow of the tracking process in the digital camera 1.
  • the tracking processing unit 13 predicts the position in the current frame from the movement amount of the tracking target of the past frame (S901). Then, the feature point extraction unit 32 extracts feature points (S902), and the movement amount calculation unit 33 calculates the movement amount of the tracking target from the change in the position of the feature points between the past frame and the current frame (S903). ). Then, the tracking target area calculation unit 34 calculates the matching degree by comparing the images of the previous frame and the current frame, and determines whether or not the calculated matching degree is larger than the reference value (S904). If the matching degree is equal to or less than the reference value (NO in S904), the frame information update unit 35 clears the tracking information stored in the tracking information storage unit 23. This is because it is considered that tracking cannot be performed when the previous frame and the current frame are too different.
  • the tracking target area calculation unit 34 calculates the boundary between the tracking target and the background from the movement amount calculated by the movement amount calculation unit 33, and the tracking target The area is calculated (S905). Then, the frame information update unit 35 updates the frame information (S906).
  • FIG. 10 is a flowchart showing a flow of processing for detecting a target object in the digital camera 1.
  • the frame image extraction unit 11 extracts a frame image from the moving image being captured (S1001).
  • the detection processing unit 14 determines whether or not an ID indicating the target object is registered in the model information storage unit 22 (S1002). If the ID is not registered (NO in S1002), the result is displayed as it is (S1016). On the other hand, if the ID is registered (YES in S1002), the feature amount extraction unit 42 extracts the feature amount of the frame image (S1003). Then, the tracking processing unit 13 checks the status of the tracking information (S1004). If the status is tracking (YES in S1005), the tracking processing is performed (S1006). On the other hand, if the status is not tracking (NO in S1005), the candidate area search unit 43 searches for a candidate area that is an area where the target object is considered to exist from the frame image (S1007).
  • the candidate area feature quantity extraction unit 44 extracts the feature quantity of the candidate area (S1009). Then, the feature amount extracted by the similarity calculation unit 45 is compared with the feature amount stored in the model information storage unit 22, and the similarity is calculated (S1010). When feature amount extraction and similarity calculation are completed for all candidate regions (YES in S1011), the similarity calculation unit 45 determines whether or not the calculated maximum value of the similarity is equal to or greater than a threshold (S1012). ).
  • the center position calculation unit 46 calculates the center position of the candidate area (S1013).
  • a display indicating the center position is performed (S1016).
  • the target object when registering a target object, the target object is photographed with a moving image. Then, the position where the target object is present is received in the frame where registration is started. Thus, by looking at the change of each frame of the moving image, the target object and the background can be separated, and the area of the target object can be determined. Therefore, the target object can be easily registered.
  • a region (candidate region) in which the target object is considered to exist in the captured image is searched using the common feature amount of the registered feature amount for each frame. Then, by comparing the feature quantity of the searched candidate area with the feature quantity for each frame, it is determined whether the candidate area is an area where the target object exists. Thereby, a target object can be detected easily.
  • the target object once detected can be automatically tracked by performing the tracking process. Therefore, since tracking can be performed even if the posture or orientation is not registered, the region where the target object exists can be detected.
  • FIG. 11 is an explanatory diagram for the case of registering a dog.
  • FIG. 11A shows a state in which one point of an area where the dog exists is designated, and
  • FIG. This shows a state in which the area of the dog to be registered is determined.
  • one point in the area where the dog exists is designated as the designated point 110. Then, the dog is followed by the method described above, and the feature amount is extracted and registered from the region where the dog exists (the region surrounded by the thick line).
  • FIG. 12 is an explanatory diagram of a case where a dog is detected.
  • FIG. 12A shows a state where the dog is present in the image being shot, and FIG. The candidate area is shown, and (c) in the figure shows the area where the detected dog exists.
  • FIG. 12A when there is a dog registered in the image being photographed, when a candidate area is searched, an area as shown in FIG. 12B is searched. . Then, the feature quantity of the searched candidate area is compared with the registered feature quantity of the dog, and if it is determined that the dog exists, the dog exists as shown in FIG. A display indicating the area being displayed is performed.
  • each block of the digital camera 1, particularly the control unit 6, may be configured by hardware logic, or may be realized by software using a CPU (central processing unit) as follows.
  • the digital camera 1 includes a CPU that executes instructions of a control program for realizing each function, a ROM (read memory) that stores the program, a RAM (random access memory) that develops the program, the program, and various data
  • a storage device such as a memory for storing the.
  • An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program for the digital camera 1 which is software that realizes the above-described functions is recorded in a computer-readable manner. This can also be achieved by supplying the digital camera 1 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU (microprocessor unit)).
  • Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, a CD-ROM (compact disk-read-only memory) / MO (magneto-optical) / Disc system including optical disc such as MD (Mini Disc) / DVD (digital versatile disc) / CD-R (CD Recordable), card system such as IC card (including memory card) / optical card, or mask ROM / EPROM ( A semiconductor memory system such as erasable, programmable, read-only memory, EEPROM (electrically erasable, programmable, read-only memory) / flash ROM, or the like can be used.
  • a tape system such as a magnetic tape and a cassette tape
  • a magnetic disk such as a floppy (registered trademark) disk / hard disk
  • the digital camera 1 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet an intranet, an extranet, a LAN (local area network), an ISDN (integrated services network, digital network), a VAN (value-added network), and a CATV (community antenna) television communication.
  • a network, a virtual private network, a telephone line network, a mobile communication network, a satellite communication network, etc. can be used.
  • the transmission medium constituting the communication network is not particularly limited.
  • IEEE institute of electrical and electronic engineering
  • USB power line carrier
  • cable TV line cable TV line
  • telephone line ADSL (asynchronous digital subscriber loop) loop Wireless
  • IrDA infrared data association
  • remote control Bluetooth (registered trademark)
  • 802.11 wireless high data rate
  • mobile phone network satellite line, terrestrial digital network, etc.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Birds (AREA)
  • Zoology (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

　本発明のデジタルカメラ（１）は、情報を記憶する記憶部（２）と、動画像におけるフレーム画像を取得するフレーム画像取得部（５１）と、撮影による動画像に含まれる対象物体を追尾するための情報であって、対象物体を特徴付ける情報である追尾用特徴情報を、フレーム画像から抽出して記憶部（２）に記憶する特徴点抽出部と、特徴点抽出部が抽出した追尾用特徴情報と、記憶部（２）に記憶された過去のフレーム画像に関する追尾用特徴情報との変化から、対象物体の画像領域を検出する追尾対象領域算出部と、追尾対象領域算出部が検出した対象物体の画像領域から、検出用特徴情報を抽出する検出用特徴量抽出部（５２）と、検出用特徴量抽出部（５２）が抽出した検出用特徴情報の一部または全部を記憶部（２）に登録する登録部（５４）とを備えている。

Description

検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム
　本発明は、物体の登録および検出の少なくともいずれか一方を行う装置、特に、物体の情報を登録し、登録した情報に基づき物体を検出する検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラムに関するものである。
　近年、デジタルスチールカメラやデジタルビデオカメラ等の撮像機器で、最適な画像を得るために、撮影対象を自動認識するニーズが高まってきている。例えば、デジタルカメラでは、人の顔を自動的に検出し、検出した人の顔に最適なフォーカスや露出を合わせる機能などが搭載されたものが存在している。
　また、カメラ撮影では、ペットなどの動物を撮影対象とする機会も多く、人の顔を検出するのと同様に、撮影対象である動物を自動的に検出し、フォーカスや露出を補正する機能が求められている。
　しかしながら、現在の技術では、人の顔を検出する技術は実用レベルに達しているが、人以外の動物を検出する技術は限定的なものしかなされていない。その理由の１つとして以下のことが考えられる。すなわち、何らかの撮影対象を検出する場合、まず、予めその撮影対象の特徴を定義しておく必要がある。この点、人の顔は、特徴が共通している部分が多く、定義しやすい。一方、動物は人に比べて多種多様であり、予め定義するのは難しい。例えば、犬を定義する場合を考えると、同じ犬であっても種類によって、顔や胴体の形、色、毛の長さ、耳の形状など人に比べ差が大きい。よって、予め犬の特徴を定義することは難しく、予め定義できない犬を自動検出することは、困難である。さらに、撮影する場合を考えると、動物は人のように撮影者の方に正対するとは限らず、いろんな方向を向いたり、また、姿勢もいろいろであるので、この点においても、自動認識を行うことをより技術的に困難にしている。
　物体を自動認識する技術としては、以下のものがある。特許文献１には、顔認識機能を備えた電子カメラにおいて、認識した被写体の情報に基づいて各種処理を行う技術が開示されている。
　また、特許文献２には、複数台のカメラで撮影した画像を共通の画像処理装置に入力し、画像処理装置で、データベースに登録されているモデルデータとカメラで撮影した画像との照合を行うことで、物体の存在位置や、物体の種類、物体までのおおまかな距離を検出する技術が記載されている。
　また、特許文献３には、物体の見え方の変化を推定してモデル化し、モデル化したデータと入力された画像情報とを照合する技術が記載されている。
　また、特許文献４には、監視空間に存在する検知対象を検知する画像認識装置において、背景画像と入力画像とが変化した場合に、小動物指標を用いて、この変化が小動物によるものか否かを判断する技術が記載されている。
　また、特許文献５には、熱源画像を用いて車両認識し、その種類を判別・分類する技術が開示されている。
　また、特許文献６には、動物の鼻全体の画像から鼻の輪郭、２つの鼻孔とそれぞれの輪郭を抽出し、動物を識別するための情報を作成する技術が開示されている。
日本国公開特許公報「特開２００７－２８２１１９号公報（２００７年１０月２５日公開）」 日本国公開特許公報「特開２００２－８３２９７号公報（２００２年３月２２日公開）」 日本国公開特許公報「特開２００１－３０７０９６号公報（２００１年１１月２日公開）」 日本国公開特許公報「特開２００６－１５５１６７号公報（２００６年６月１５日公開）」 日本国公開特許公報「特開平８－１６９８７号公報（１９９６年１月１９日公開）」 日本国公開特許公報「特開２００７－１３５５０１号公報（２００７年６月７日公開）」
　しかしながら、上記従来の構成では、以下のような問題を生じる。すなわち、特許文献１に記載の技術は、人の顔を認証するものであり、上述したように動物は、そもそも予め定義することが困難であるので、人の顔と同様に動物を検出することは困難である。
　また、特許文献２に記載の技術を動物に適用した場合、膨大な量のモデルデータを登録する必要がある。さらに、登録には、様々な向きや様々な位置からのデータを登録する必要があるが、どのような向きや位置からどれだけの量を登録すればよいのかユーザには分からず、ユーザにとって登録は容易なものではない。
　また、特許文献３に記載の技術では、登録時にモデル化を行うために、撮影環境(向きや姿勢など)の情報を正確に計算する必要があるので、対象物を切り出す必要がある。しかしながら、静止画像から対象物を切り出すのは難しく、そのための手間がかかり、登録は容易ではない。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、検出対象となる動物をユーザが容易に登録できる装置、および入力された画像から登録された動物を検出する装置である検出用情報登録装置、対象物体検出装置等を実現することにある。
　上記課題を解決するために、本発明に係る検出用情報登録装置は、撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置であって、情報を記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して上記記憶部に記憶する追尾用特徴抽出手段と、上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出手段と、該対象物体領域検出手段が検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出手段と該検出用特徴抽出手段が抽出した上記検出用特徴情報の一部または全部を上記記憶部に登録する検出用特徴登録手段とを備えていることを特徴としている。
　また、本発明に係る検出用情報登録装置の制御方法は、上記動画像におけるフレーム画像を取得する画像取得ステップと、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、上記追尾用特徴抽出ステップで抽出した追尾用特徴情報と、記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出ステップと、該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと該検出用特徴抽出ステップで抽出した上記検出用特徴情報の一部または全部を記憶部に登録する検出用特徴登録ステップとを含むことを特徴としている。
　上記の構成および方法によれば、動画像からフレーム画像が取得される。そして、取得されたフレーム画像から、動画像における対象物体を追尾するための追尾用特徴情報が抽出され、記憶部に記憶される。そして、記憶部に記憶されている過去の追尾用特徴情報と現在の追尾用特徴情報との変化から対象物体の画像領域が検出される。そして、対象物体の画像領域から検出用特徴情報が抽出され、記憶部に記憶される。
　これにより、対象物体を動画撮影するのみで、対象物体を検出するための検出用特徴情報が登録されるので、容易に対象物体の特徴を登録することができる。
　本発明に係る検出用情報登録装置では、上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化と、上記対象物体領域検出手段が検出した対象物体領域の情報とに基づいて、上記対象物体の上記フレーム画像における運動の変化量を算出する運動変化量算出手段と、上記検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部に記憶された検出用特徴情報との類似度を算出する類似度算出手段と、上記対象物体を含む被写体の撮影による任意の撮影画像から、上記対象物体を検出するために必要と推定される検出用特徴情報の量に対する、上記記憶部に記憶された検出用特徴情報の量の度合を示す充実度を、上記運動変化量算出手段が算出した運動の変化量と、上記類似度算出手段が算出した類似度とに基づいて算出する充実度算出手段とをさらに備えているものであってもよい。
　上記の構成によれば、運動変化量算出手段が、追尾用特徴抽出手段が抽出した追尾用特徴情報と、記憶部に記憶された過去のフレーム画像に関する追尾用特徴情報との変化と、対象物体領域検出手段が検出した対象物体領域の情報とに基づいて、対象物体のフレーム画像における運動の変化量を算出する。そして、充実度算出手段が、運動変化量算出手段が算出した運動の変化量と、類似度算出手段が算出した類似度とに基づいて、充実度を算出する。
　ここで、上記運動の変化量の例としては、移動量や向きの変化量などが挙げられる。
　これにより、記憶されている検出用特徴情報の量が、対象物体を検出するために必要と推定される検出用特徴情報の量に対して、どのくらいの度合であるのかを示す充実度が算出される。
　よって、例えば、充実度を報知することで、対象物体を検出するために必要と推定される検出用特徴情報の量まで検出用特徴情報を登録させるようにユーザに対し促すことができる。
　本発明に係る検出用情報登録装置では、動画像における対象物体の初期位置の情報を予め取得して上記記憶部に記憶する初期位置取得手段をさらに備えており、上記追尾用特徴抽出手段および上記対象物体領域検出手段は、上記画像取得手段が取得した最初のフレーム画像に対し、上記記憶部に記憶された初期位置の情報を利用するものであってもよい。
　上記の構成のよれば、初期位置取得手段は、対象物体の初期位置の情報を予め取得して記憶部に記憶させる。そして、追尾用特徴抽出手段および対象物体領域検出手段は、画像取得手段が取得した最初のフレーム画像に対し、上記記憶部に記憶された初期位置の情報を利用する。
　これにより、対象物体の初期位置が、予め指定されるので、追尾用特徴抽出手段および対象物体領域検出手段は、より正確に対象物体が存在する領域を検出することができる。
　本発明に係る検出用情報登録装置では、上記記憶部に記憶された複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を特定する共通特徴特定手段をさらに備えており、上記検出用特徴登録手段は、上記共通特徴特定手段が特定した検出用共通特徴情報をさらに上記記憶部に登録するものであることが好ましい。
　上記の構成によれば、共通特徴特定手段は、上記記憶部に記憶された複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を特定する。そして、特定した検出用共通特徴情報を記憶部に記憶させる。
　これにより、必要なときに、検出用共通特徴情報を用いることが可能となる。
　例えば、対象物体を検出する場合に、検出用共通特徴情報を用いることで、画像全体に中から、対象物体が存在する可能性の高い領域を検出することが可能となる。
　本発明に係る検出用情報登録装置では、上記記憶部に記憶される検出用特徴情報は、複数の上記対象物体を識別する識別情報に対応づけて記憶されているものであってもよい。
　上記の構成によれば、検出用特徴情報は、複数の上記対象物体を識別する識別情報に対応づけて記憶される。
　これにより、複数の対象物体を登録することが可能となる。
　上記課題を解決するために、本発明に係る対象物体検出装置は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置であって、上記対象物体を検出するための情報であって、該対象物体を特徴付ける情報である複数の検出用特徴情報と、該複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、該画像取得手段が取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出手段と、該検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索手段と、上記候補領域探索手段が探索した候補領域に含まれる検出用特徴情報と、上記記憶部の検出用特徴情報との類似度を算出する類似度算出手段と、該類似度算出手段が算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定手段と、を備えていることを特徴としている。
　また、本発明に係る対象物体検出装置の制御方法は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置の制御方法であって、上記動画像におけるフレーム画像を取得する画像取得ステップと、該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップと、を含むことを特徴としている。
　上記の構成および方法によれば、記憶部に記憶されている、対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を用いて、撮影による動画像から取得したフレーム画像上における、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域である候補領域が探索される。
　そして、探索された候補領域の検出用特徴情報と上記検出用特徴情報との類似度が算出され、算出した類似度に基づいて、上記候補領域が対象物体が存在する領域であるか否かが判定される。
　これにより、記憶部に記憶されている検出用特徴情報と類似した検出用特徴情報の領域を、対象物体が存在する領域として判定することができる。
　例えば、ユーザの飼い犬の検出用特徴情報を登録しておけば、対象物体検出装置で画像を撮影しているときに、ユーザの飼い犬が撮影範囲に存在すれば、該犬が存在する領域を検出することができる。
　本発明に係る対象物体検出装置では、上記所望の物体が存在する領域を追尾する追尾手段を備えているものであってもよい。
　上記の構成によれば、追尾手段は、所望の物体が存在する領域を追尾する。これにより、一度、所望の物体が存在する領域が検出されれば、再び検出動作を行わなくても、所望の物体が存在する領域を検出し続けることができる。
　上記検出用情報登録装置と上記対象物体検出装置とを含む電子機器であっても、上述した効果を奏することができる。
　本発明に係る電子機器では、上記充実度算出手段が算出した充実度に基づいて、ユーザに対し報知を行う報知手段を備えているものであってもよい。
　これにより、充実度に基づいた報知ユーザに対して行われる。これにより、ユーザは、充実度に基づいた処理を行うことができる。
　例えば、充実度算出手段が算出した充実度が、予め定めた閾値を超えると、報知手段は、登録が完了可能である旨をユーザに対し報知するものであれば、ユーザは、登録対象物体を特定可能な程度の特徴量が記憶されていることを認識することができる。
　ここで、予め定めた閾値とは、充実度が当該閾値を超えると、特徴量記憶部に記憶されている特徴量が、対象物体を特定するのに充分な量となるような値である。
　また、充実度算出手段が算出した充実度が、予め定めた閾値を超えないとき、報知手段は、上記充実度が予め定めた閾値を超えていない旨、および、上記充実度が予め定めた閾値を超えるために必要な動作の指示の少なくともいずれか一方をユーザに対し報知するものであってもよい。これにより、充実度が予め定めた閾値を超えないとき、ユーザは、充実度が予め定めた閾値を超えていない旨、および、充実度が予め定めた閾値を超えるために必要な動作の指示の少なくともいずれか一方を認識することができる。
　なお、上記検出用情報登録装置および対象物体検出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記検出用情報登録装置および対象物体検出装置をコンピュータにて実現させる検出用情報登録装置制御プログラムおよび対象物体検出装置制御プログラム、およびそれらを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　以上のように、本発明に係る検出用情報登録装置は、撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置であって、情報を記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して上記記憶部に記憶する追尾用特徴抽出手段と、上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出手段と、該対象物体領域検出手段が検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出手段と該検出用特徴抽出手段が抽出した上記検出用特徴情報の一部または全部を上記記憶部に登録する検出用特徴登録手段とを備えている構成である。
　また、本発明に係る検出用情報登録装置の制御方法は、上記動画像におけるフレーム画像を取得する画像取得ステップと、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、上記追尾用特徴抽出ステップで抽出した追尾用特徴情報と、記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出ステップと、該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと該検出用特徴抽出ステップで抽出した上記検出用特徴情報の一部または全部を記憶部に登録する検出用特徴登録ステップとを含む方法である。
　これにより、対象物体を動画撮影するのみで、対象物体を検出するための検出用特徴情報が登録されるので、容易に対象物体の特徴を登録することができる。
　また、本発明に係る対象物体検出装置は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置であって、上記対象物体を検出するための情報であって、該対象物体を特徴付ける情報である複数の検出用特徴情報と、該複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、該画像取得手段が取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出手段と、該検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索手段と、上記候補領域探索手段が探索した候補領域に含まれる検出用特徴情報と、上記記憶部の検出用特徴情報との類似度を算出する類似度算出手段と、該類似度算出手段が算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定手段と、を備えている構成である。
　また、本発明に係る対象物体検出装置の制御方法は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置の制御方法であって、上記動画像におけるフレーム画像を取得する画像取得ステップと、該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップと、を含む方法である。
　上記の構成および方法によれば、記憶部に記憶されている、対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を用いて、撮影による動画像から取得したフレーム画像上における、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域である候補領域が探索される。
　これにより、記憶部に記憶されている検出用特徴情報と類似した検出用特徴情報の領域を、対象物体が存在する領域として判定することができる。
　例えば、ユーザの飼い犬の検出用特徴情報を登録しておけば、対象物体検出装置で画像を撮影しているときに、ユーザの飼い犬が撮影範囲に存在すれば、該犬が存在する領域を検出することができる。
　本発明のさらに他の目的、特徴、および優れた点は、以下に示す記載によって十分わかるであろう。また、本発明の利益は、添付図面を参照した次の説明で明白になるであろう。
本発明の実施の形態を示すものであり、デジタルカメラの登録処理部の構成を示すブロック図である。 上記実施の形態に係るデジタルカメラの構成を示すブロック図である。 上記実施の形態に係るデジタルカメラのモデル情報記憶部に記憶されている内容を示す説明図である。 上記実施の形態に係るデジタルカメラの追尾処理部の構成を示すブロック図である。 上記実施の形態に係るデジタルカメラの追尾情報記憶部に記憶されている追尾情報を示す説明図である。 上記実施の形態に係るデジタルカメラの検出処理部の構成を示すブロック図である。 上記実施の形態に係るデジタルカメラにおける対象物体の登録処理の流れを示すフローチャートである。 上記実施の形態に係るデジタルカメラにおける追尾処理の初期化の流れを示すフローチャートである。 上記実施の形態に係るデジタルカメラにおける追尾処理の流れを示すフローチャートである。 上記実施の形態に係るデジタルカメラ１における対象物体を検出する処理の流れを示すフローチャートである。 上記実施の形態において、犬を登録する場合についての説明図であり、同図の（ａ）は、犬が存在している領域の１点を指定している状態を示す図であり、同図の（ｂ）は、登録する犬の領域を判別している状態を示す図である。 上記実施の形態において、犬を検出する場合についての説明図であり、同図の（ａ）は、撮影中の画像の中に犬が存在している状態を示す図であり、同図の（ｂ）は、候補領域を示す図であり、同図の（ｃ）は、検出した犬の存在している領域を示す図である。
　以下、実施例および比較例により、本発明をさらに詳細に説明するが、本発明はこれらにより何ら限定されるものではない。
　本発明の一実施の形態について図１から図１２に基づいて説明すれば、以下のとおりである。
　図２は、本実施の形態に係るデジタルカメラ１の構成を示すブロック図である。図２に示すように、デジタルカメラ１は、記憶部２、操作受付部３、撮像部４、表示部５、および制御部６を含む構成である。
　デジタルカメラ１は、検出対象となる物体（対象物体）を容易に登録し、撮影している画像の中から所望の物体を、検出用に登録した物体の情報（検出用特徴情報）を用いて検出し、検出結果を報知するものである。
　例えば、デジタルカメラ１にユーザの飼っているペットの検出用特徴情報を登録しておき、当該ペットを含む画像を撮影すると、撮影画像におけるペットが存在している領域を検出することができる。
　さらに、検出した領域に対して、ピントや露出を自動的に合わせる機能を有していれば、自動的にペットに対しピントや露出を合わせることができる。
　次に、デジタルカメラ１の各部について説明する。
　記憶部２は、デジタルカメラ１で撮影した画像や、検出処理に用いるデータ、追尾処理に用いるデータ等を記憶している。そして、フレームバッファ２１、モデル情報記憶部（特徴量記憶部）２２、および追尾情報記憶部２３を含む構成である。この、フレームバッファ２１、モデル情報記憶部２２、および追尾情報記憶部２３の詳細については後述する。この記憶部２の具体例としてはフラッシュメモリが挙げられる。また、一時的に記憶できればよいものであれば（フレームバッファ２１等）、ＲＡＭ（Random Access Memory）を用いることも可能であるし、プログラム等の読み出しのみできればよいものであれば、ＲＯＭ（Read Only Memory）を用いることも可能である。
　操作受付部３は、デジタルカメラ１に対する操作を受け付けるものである。例えば、登録対象物体を示すＩＤ（identification、識別情報）や、表示部５上において、対象物体がどの位置にあるかを示す操作を受け付ける。この対象物体の位置については、画面がタッチパネル形式になっており、画面上で対象物体の位置を指定するものであってもよいし、画面上にカーソルを表示させ、当該カーソルを用いて位置を指定するものであってもよい。なお、操作受付部３の具体例としては各種ボタンやタッチパネル等が挙げられる。
　撮像部４は、対象物体等の被写体の撮影を行って映像データを生成するものである。具体的には、撮像部４は、被写体からの光を電気信号に変換するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどの撮像素子と、撮像素子からの電気信号をＲＧＢ各色のデジタル映像データに変換する映像処理回路とを備える構成が挙げられる。そして、撮像部４は、生成した映像データを制御部６に送信する。なお、撮像部４は、ＡＦ（オートフォーカス）機能を有してもよい。
　表示部５は、撮像部４で撮像している画像や、デジタルカメラ１の状態、検出結果等を表示するものである。この表示部５としては、情報の表示が可能な表示装置であればどのような装置によって実現されてもよいが、具体的な例としては、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイが挙げられる。
　制御部６は、フレーム画像取り出し部１１、登録処理部１２、追尾処理部（追尾手段）１３、および検出処理部１４を含む構成である。そして、制御部６は、検出しようとする物体の登録、追尾、検出を行うものである。登録処理部１２、追尾処理部１３、および検出処理部１４の詳細については後述する。
　フレーム画像取り出し部１１は、撮像部４から送信されてきた映像データからフレーム画像を取り出し、取り出したフレーム画像をフレームバッファ２１へ記憶させるものである。
　フレームバッファ２１は、フレーム画像取り出し部１１が取り出したフレーム画像を記憶するものである。
　次に、登録処理部１２について図１を用いて説明する。図１は、本実施の形態に係るデジタルカメラ１の登録処理部１２の構成を示すブロック図である。図１に示すように、登録処理部１２は、フレーム画像取得部（画像取得手段）５１、検出用特徴量抽出部（対象物体領域検出手段、検出用特徴抽出手段）５２、類似度算出部（類似度算出手段）５３、登録部（検出用特徴登録手段）５４、充実度算出部（運動変化量算出手段、充実度算出手段）５５、結果出力部５６、共通特徴量抽出部（共通特徴特定手段）５７、および初期位置取得部（初期位置取得手段）５８を含む構成である。
　そして、登録処理部１２は、取得したフレーム画像における対象物体の特徴量（検出用特徴情報）を抽出してモデル情報記憶部２２に記憶させるものである。そして、モデル情報記憶部２２には、図３に示すように次のものが記憶されている。図３は、モデル情報記憶部２２に記憶されている内容を示す説明図である。モデル情報記憶部２２には、対象物体を示すＩＤ、該対象物体のフレーム毎のそれぞれの特徴量を示す特徴量情報、該フレーム毎の特徴量に共通する特徴量である共通特徴量を示す共通特徴量情報が記憶されている。
　また、ＩＤが複数存在すれば、該複数のＩＤ分の上記情報が記憶されている。
　フレーム画像取得部５１は、フレームバッファ２１からフレーム画像を取得し、検出用特徴量抽出部５２へ送信する。
　検出用特徴量抽出部５２は、フレーム画像取得部５１から取得したフレーム画像から、対象物体の特徴量を抽出する。そして抽出した特徴量を類似度算出部５３へ送信する。対象物体の特徴量の抽出は次にようにして行う。すなわち、ユーザが操作受付部３を用いて指定した対象物体の位置、および追尾処理部１３による特徴点情報のフレーム画像における変化から、対象物体領域を検出する。
　なお、複数のフレーム画像における画像上位の変化から背景領域と対象物体領域とを分離することにより、対象物体領域を検出するものであってもよい。
　そして、検出した対象物体領域の特徴量を抽出することで行う。また、特徴量とは、画像から得られる色情報やエッジ情報などの対象物体の特徴を表現したものである。
　また、一度、対象物体領域として検出された領域は、以降、追尾処理部によって追尾されることで、対象物体領域を常に検出することができ、特徴量を抽出することができる。なお、追尾処理の詳細については、後述する。
　類似度算出部５３は、モデル情報記憶部２２に登録しようとしている対象物体と同じ対象物体を示す特徴量が記憶されていれば、取得した特徴量とモデル情報記憶部２２に記憶されている同じ対象物体の特徴量との類似度を算出する。そして、算出した結果を登録部５４へ送信する。
　登録部５４は、類似度算出部５３から取得した類似度が所定の値の範囲にあれば、検出用特徴量抽出部５２が抽出した特徴量を対象物体を示すものとしてモデル情報記憶部２２へ記憶させる。そして、登録が終了した旨を示す情報を充実度算出部５５へ送信する。
　ここで、類似度が所定の範囲にある場合のみ、特徴量を記憶させるのは、以下の理由による。すなわち、類似度が大きすぎる場合、換言すれば、既に登録されている特徴量とこれから登録しようとする特徴量とが似すぎている場合は登録する意味がなくなってしまうためである。また、逆に類似度が小さすぎる場合、換言すれば、既に登録されている特徴量とこれから登録しようとする特徴量とが違いすぎる場合は、同じ対象物体を示すものとして不適切であるためである。
　充実度算出部５５は、登録部５４から登録が終了した旨を示す情報を取得すると、モデル情報記憶部２２に記憶されている特徴量が、対象物体をどの程度特定できるものかを示す充実度を算出する。そして算出した充実度が、対象物体を特定できる程度のものを示すものであれば、登録完了可能を示す旨を報知するための情報を、そうでなければ、登録データがまだ必要である旨を報知するための情報を結果出力部５６へ送信する。
　なお、充実度は、移動量算出による回転角の変化量によって対象物体の向きを、同じ位置での回転である場合の特徴量の差分により姿勢を推定して算出する。
　ここで、類似度、向きの変位、充実度について説明する。
　登録データ数がｍ個、特徴量の次元がｎ個であり、ｉ番目の登録データの特徴量をＦｉ、その登録データの特徴量が有するｋ番目の特徴をＦｉ［ｋ］とするとき、２つの登録データのバラツキ(数字が大きいほど相違が大きい)は以下の計算式で計算される。
Figure JPOXMLDOC01-appb-M000001
 　また、類似度はＳｉ，ｊは以下で計算される。
Ｓｉ，ｊ＝Ｄｍａｘ－Ｄｉ，ｊ
(Ｄｍａｘはバラツキの最大値)
　また、向きの変位は以下で求める。
　各登録データは登録開始フレーム（１番目の登録データ）からの推定向き（回転角度）を保持している。なお、この回転角度には３次元のｘ軸、ｙ軸、ｚ軸を中心軸とする回転α(roll)、β(pitch)、γ(yaw)で表現する、「ロール・ピッチ・ヨー角」などを使用することが可能である。
　「ロール・ピッチ・ヨー角」を使用した場合、ｉ番目の登録データの回転角をｒｉ（αｉ，βｉ，γｉ）、回転行列をＲ［ｉ］とした場合、ｉ番目の回転行列は以下で求められる。
Ｒ［ｉ］＝Ｒｚ（γｉ）・Ｒｘ（αｉ）・Ｒｙ（βｉ）
Figure JPOXMLDOC01-appb-M000002
 　そして、ｉ番目の登録データからｊ番目の登録データへの回転行列は以下の式で表現することができる。
Ｒ［ｉ→ｊ］＝Ｒ［ｊ］・Ｒ［ｉ］－１
　このときの回転角の大きさ（ｉ番目の登録データとｊ番目の登録データの向きの変位）は以下となる。
Figure JPOXMLDOC01-appb-M000003
 　また、充実度の求め方としては、以下の方法を挙げることができる。なお、充実度は登録データのバリエーションを表すものである。
　第１の方法として、向きの変位の大きさにより充実度を求めることが挙げられる。これは、登録済みデータの全組み合わせによる向きの変位の大きさの合計で充実度を表現するものであり、以下の式で求めることができる。
Figure JPOXMLDOC01-appb-M000004
 　第２の方法として、特徴量ばらつきにより充実度を求めることが挙げられる。これは、登録済みデータの全組み合わせによる特徴量のバラツキの合計として充実度を計算するものであり、以下の式で求めることができる。
Figure JPOXMLDOC01-appb-M000005
 　第３の方法として、向きの変位の大きさと特徴量のバラツキとの両方を用いて充実度を求めることが挙げられる。これは、２つの登録データの組み合わせ、向きの変位が大きいときは向きの変位の大きさ、向きの変位が小さい場合は特徴量のバラツキを用いて充実度を計算するものであり、以下の式で求めることができる。
Figure JPOXMLDOC01-appb-M000006
 　結果出力部５６は、充実度算出部５５から取得した情報から、該情報が示す内容を報知する。
　共通特徴量抽出部は、モデル情報記憶部２２に記憶されているフレーム毎の特徴量に共通する特徴量（検出用共通特徴情報）を抽出し、対象物体を示す共通特徴量としてモデル情報記憶部２２に記憶させる。
　初期位置取得部５８は、操作受付部３で受け付けた位置を示すデータを取得して、フレーム画像取得部５１へ送信するものである。
　次に、追尾処理部１３について、図４を用いて説明する。図４は、本実施の形態に係るデジタルカメラ１の追尾処理部１３の構成を示すブロック図である。
　図４に示すように、追尾処理部１３は、移動領域予測部３１、特徴点抽出部（追尾用特徴抽出手段）３２、移動量算出部３３、追尾対象領域算出部３４、フレーム情報更新部３５、および追尾情報初期設定部３６を含む構成である。そして、追尾処理部１３は、追尾情報記憶部２３に記憶されている追尾情報を用いて、追尾処理を行うものである。図５は、追尾情報記憶部２３に記憶されている追尾情報を示す説明図である。
　図５に示すように、追尾情報記憶部２３には、追尾対象を示す追尾用ＩＤ、追尾対象を検出済みか否かおよび追尾中か否かを示すステータス、フレーム情報を記憶している。また、これらの情報は、ＩＤ毎に記憶されている。すなわち、複数のＩＤが存在すれば、当該ＩＤ分の上記情報が記憶されている。
　そして、フレーム情報には、追尾対象の中心位置座標を示す位置情報、特徴点情報（追尾用特徴情報）、追尾対象の画像上の領域情報である追尾対象領域情報、初期フレームおよび前フレームからの移動量を示すフレーム移動量が含まれている。また、ステータスが追尾中の場合、追尾を行っているフレーム分の情報が記憶されている。なお、過去数フレーム分を記憶しているものであってもよい。
　移動領域予測部３１は、追尾情報記憶部２３に記憶されている、フレーム移動量から、現フレームにおける追尾対象の存在領域を予測する。
　特徴点抽出部３２は、追尾対象の特徴点を抽出する。特徴点とは、追尾対象の特徴を現す部分点における色やエッジ情報等である。なお、特徴点は、点に限らず領域であってもよい。
　移動量算出部３３は、特徴点抽出部３２が抽出した特徴点の推移から追尾対象の相対移動量を計算する。追尾対象の移動量は相対位置（ｘ，ｙ，ｚ）の変化、および、追尾対象の回転（α，β，γ）等で表現することが可能である。
　追尾対象領域算出部３４は、特徴点抽出部３２が抽出した特徴点の推移から追尾対象領域と背景領域とを分離し、追尾対象の領域を特定する。
　フレーム情報更新部３５は、現フレームにおける特徴点の位置、特徴点情報、追尾対象領域情報、フレーム移動量等に、追尾情報記憶部２３に記憶されている情報を更新する。
　追尾情報初期設定部３６は、追尾情報記憶部２３に記憶されている情報を、初期値に設定する。この初期値は、追尾が開始されるときのフレームにおける位置情報、特徴点情報、追尾対象領域情報である。
　次に、図６を用いて、検出処理部１４について説明する。図６は、本実施の形態に係るデジタルカメラ１の検出処理部１４の構成を示すブロック図である。図６に示すように、検出処理部１４は、フレーム画像取得部（画像取得手段）４１、特徴量抽出部（検出用特徴抽出手段）４２、候補領域探索部（候補領域探索手段）４３、候補領域特徴量抽出部４４、類似度算出部（類似度算出手段）４５、中心位置算出部（判定手段）４６、および結果出力部（報知手段）４７を含む構成である。
　そして、検出処理部１４は、フレーム画像中のどこに、モデル情報記憶部２２に記憶されている対象物体が存在するかを探索し、結果を出力するものである。
　フレーム画像取得部４１は、フレームバッファ２１からフレーム画像を取得する。そして、取得したフレーム画像を特徴量抽出部４２へ送信する。
　特徴量抽出部４２は、フレーム画像取得部４１から取得したフレーム画像の特徴量を抽出する。
　候補領域探索部４３は、フレーム画像取得部４１が取得したフレーム画像を走査し、モデル情報記憶部２２に記憶されている共通特徴量を用いて、対象物体が存在する可能性の高い領域（候補領域）を探索する。そして、探索した結果である候補領域を候補領域特徴量抽出部４４へ送信する。なお、１フレーム画像において複数領域が探索される場合もある。
　候補領域特徴量抽出部４４は、候補領域探索部４３から取得した候補領域の特徴量を抽出する。そして、抽出した特徴量を類似度算出部４５へ送信する。
　類似度算出部４５は、候補領域特徴量抽出部４４から取得した特徴量と、モデル情報記憶部２２に記憶されている特徴量とを比較し、類似度を算出する。
　中心位置算出部４６は、類似度算出部４５が算出した類似度が閾値を超える値の場合に、候補領域探索部４３が探索した候補領域が、対象物体の存在領域であるとして、該領域の中心位置を算出する。そして、中心位置を示す情報を結果出力部４７へ送信する。
　結果出力部４７は、中心位置算出部４６から取得した中心位置を表示部５に表示させる。
　次に、デジタルカメラ１における対象物体の登録、追尾、検出の処理の流れについて図７～図１０を用いて説明する。図７は、デジタルカメラ１における対象物体の登録処理の流れを示すフローチャートである。
　図７に示すように、ユーザから操作受付部３を介して対象物体の位置を受け付けると（Ｓ７０１）、フレーム画像取り出し部１１は撮像している動画像からフレーム画像を取り出す（Ｓ７０２）。そして、登録処理部１２は登録を完了するか否かを判断し（Ｓ７０３）、登録が完了していない場合（Ｓ７０３でＮＯ）、追尾処理部１３は、フレーム画像取り出し部１１が取り出したフレーム画像が初期フレームか否かを判断する（Ｓ７０４）。
　そして、初期フレームであれば（Ｓ７０４でＹＥＳ）、追尾処理部１３は、追尾用ＩＤを作成し、追尾処理の初期化を行う（Ｓ７０６）。追尾処理の初期化については後述する。そして、Ｓ７０２へ戻る。一方、初期フレームでなければ（Ｓ７０４でＮＯ）、追尾処理部１３は追尾処理を開始する（Ｓ７０７）。追尾処理については後述する。
　そして、検出用特徴量抽出部５２は、追尾情報記憶部２３に記憶されているステータス、フレーム情報を確認し（Ｓ７０８）、ステータスに不正がないか判断する（Ｓ７０９）。そしてステータスが不正であれば（Ｓ７０９でＮＯ）、表示部５はエラー表示を行い（Ｓ７１９）、登録処理を終了する。一方、ステータスに不正がなければ（Ｓ７０９でＹＥＳ）、検出用特徴量抽出部５２は、対象物体の特徴量を抽出する（Ｓ７１０）。
　ここで、ステータスの不正とは、追尾処理が正常に終了しなかった場合である。また、ステータスとは、追尾の状態を示すものであり、「未認識」、「認識済み」、「トラッキング中」の３つの状態が存在する。「未認識」とは、初期化された状態を示す。「認識済み」とは、トラッキング（追尾）が初期化されていない状態を示す。また、「トラッキング中」とは、トラッキング（追尾）中であることを示す。
　また、ステータスが「未認識」から「認識済み」になるのは、Ｓ７０５からＳ７０６に進むとき、または後述するＳ１０１３からＳ１０１４に進むときである。また、ステータスが「認識済み」から「トラッキング中」になるのは、後述するＳ８０２においてである。さらに、ステータスが「トラッキング中」から「未認識」になるのは、Ｓ７１６の前か、後述するＳ９０７の前である。
　そして、類似度算出部５３は、検出用特徴量抽出部５２が抽出した対象物体の特徴量と既に登録済みの同じ対象物体の特徴量とを比較し、類似度を算出する（Ｓ７１１）。そして、類似度が所定の範囲内になければ（Ｓ７１２でＮＯ）、登録を行わずにＳ７０２へ戻る。一方、類似度が所定の範囲内にあれば（Ｓ７１２でＹＥＳ）、登録部５４は、対象物体の特徴量をモデル情報記憶部２２に記憶させる（Ｓ７１３）。
　そして、充実度算出部５５は、モデル情報記憶部２２に記憶されている特徴量の充実度を算出する（Ｓ７１４）。そして、表示部５は結果を表示する（Ｓ７１５）。そして、Ｓ７０２へ戻る。
　一方、充実度が閾値を超える等により、登録を完了する場合（Ｓ７０３でＹＥＳ）、共通特徴量抽出部５７は、モデル情報記憶部２２に記憶されているフレーム毎の特徴量の共通特徴量を算出する（Ｓ７１６）。そして、当該対象物体のＩＤを受け付け（Ｓ７１７）、表示部５は、登録結果を表示して（Ｓ７１８）、登録処理が終了する。
　以上が、登録処理の流れである。次に、追尾処理の初期化の流れについて図８を用いて説明する。図８は、デジタルカメラ１における追尾処理の初期化の流れを示すフローチャートである。
　図８に示すように、追尾処理の初期化を行う場合、特徴点抽出部３２は、追尾対象の特徴点を抽出する（Ｓ８０１）。そして、追尾情報初期設定部３６は、特徴点抽出部３２が抽出した特徴点の位置情報のみを追尾情報記憶部２３に記憶させ、他の情報はリセットする（Ｓ８０２）。以上で、追尾処理の初期化の流れが終了する。
　次に、追尾処理について図９を用いて説明する。図９は、デジタルカメラ１における追尾処理の流れを示すフローチャートである。
　図９に示すように、追尾処理を行う場合、追尾処理部１３は、過去のフレームの追尾対象の移動量から現フレームでの位置を予測する（Ｓ９０１）。そして、特徴点抽出部３２は、特徴点を抽出し（Ｓ９０２）、移動量算出部３３は、過去のフレームと現フレームとの特徴点の位置の変化から追尾対象の移動量を算出する（Ｓ９０３）。そして、追尾対象領域算出部３４は、前フレームと現フレームとの画像を比較してマッチング度を算出し、算出したマッチング度が基準値より大きいか否かを判断する（Ｓ９０４）。そして、マッチング度が基準値以下であれば（Ｓ９０４でＮＯ）、フレーム情報更新部３５は、追尾情報記憶部２３に記憶されている追尾情報をクリアにする。なぜなら、前フレームと現フレームとがあまりにも違う場合は、追尾を行えないと考えられるためである。
　一方、マッチング度が基準値より大きい場合は（Ｓ９０４でＹＥＳ）、追尾対象領域算出部３４は、移動量算出部３３が算出した移動量から、追尾対象と背景との境界を算出し、追尾対象領域を算出する（Ｓ９０５）。そして、フレーム情報更新部３５はフレーム情報を更新する（Ｓ９０６）。
　次に、検出処理の流れについて図１０を用いて説明する。図１０は、デジタルカメラ１において、対象物体を検出する処理の流れを示すフローチャートである。
　図１０に示すように、まず、フレーム画像取り出し部１１は撮像している動画像からフレーム画像を取り出す（Ｓ１００１）。次に、検出処理部１４は、モデル情報記憶部２２に対象物体を示すＩＤが登録されているか否かを判断する（Ｓ１００２）。そして、ＩＤが登録されていなかった場合（Ｓ１００２でＮＯ）、そのまま結果表示を行う（Ｓ１０１６）。一方、ＩＤが登録されていれば（Ｓ１００２でＹＥＳ）、特徴量抽出部４２は、フレーム画像の特徴量を抽出する（Ｓ１００３）。そして、追尾処理部１３は追尾情報のステータスを確認し（Ｓ１００４）、ステータスが追尾中であれば（Ｓ１００５でＹＥＳ）、追尾処理を行う（Ｓ１００６）。一方、ステータスが追尾中でなければ（Ｓ１００５でＮＯ）、候補領域探索部４３は、フレーム画像から対象物体が存在すると考えられる領域である候補領域を探索する（Ｓ１００７）。
　そして、候補領域が存在すれば（Ｓ１００８でＹＥＳ）、候補領域特徴量抽出部４４は、候補領域の特徴量を抽出する（Ｓ１００９）。そして、類似度算出部４５が抽出された特徴量と、モデル情報記憶部２２に記憶されている特徴量とを比較し、類似度を算出する（Ｓ１０１０）。そして、全ての候補領域について特徴量の抽出および類似度の算出が終了すると（Ｓ１０１１でＹＥＳ）、類似度算出部４５は、算出した類似度の最大値が閾値以上か否かを判断する（Ｓ１０１２）。
　そして、類似度の最大値が閾値以上であれば（Ｓ１０１２でＹＥＳ）、中心位置算出部４６は、候補領域の中心位置を算出する（Ｓ１０１３）。そして、すべてのＩＤについて上記処理が終了すると（Ｓ１０１５でＹＥＳ）、中心位置を示す表示を行う（Ｓ１０１６）。
　一方、候補領域がなければ（Ｓ１００８でＮＯ）、Ｓ１０１５へ進む。また、類似度の最大値が閾値を超えなければ（Ｓ１０１２でＮＯ）、Ｓ１０１５へ進む。
　以上で、検出処理が終了する。
　以上のように、本実施の形態では、対象物体を登録する場合に、動画で対象物体を撮影する。そして、登録を開始するフレームにおいて、対象物体が存在する位置を受け付ける。これにより、動画の各フレームの変化をみることで、対象物体と背景とを分離することができ、対象物体の領域を確定することできる。よって、容易に対象物体を登録することができる。
　また、対象物体を検出する場合に、登録されているフレーム毎の特徴量の共通特徴量を用いて、撮影画像において、対象物体が存在すると考えられる領域（候補領域）を探索する。そして、探索した候補領域の特徴量を、フレーム毎の特徴量と比較することで当該候補領域が対象物体の存在する領域か否かを判断する。これにより、容易に対象物体を検出することができる。
　さらに、追尾処理を行うことで、一度検出された対象物体は、自動的に追尾できる。よって、登録されていない姿勢や向きであっても追尾することができるので、対象物体の存在する領域を検出することができる。
　次に、図１１および図１２を用いて本実施の形態を具体的に用いた例について説明する。ここでは、対象物体として「犬」を考える。図１１は、犬を登録する場合についての説明図であり、同図の（ａ）は、犬が存在している領域の１点を指定している状態を示し、同図の（ｂ）は、登録する犬の領域を判別している状態を示している。
　図１１の（ａ）に示すように、犬を登録する場合、まず、犬が存在している領域の１点を指定点１１０として指定する。そして、上述した方法で犬を追従し、犬が存在している領域（太線で囲った領域）から特徴量を抽出し、登録する。
　また、図１２は、犬を検出する場合についての説明図であり、同図の（ａ）は、撮影中の画像の中に犬が存在している状態を示し、同図の（ｂ）は、候補領域を示し、同図の（ｃ）は、検出した犬の存在している領域を示している。
　図１２の（ａ）に示すように、撮影中の画像に登録されている犬が存在している場合に、候補領域を探索すると、同図の（ｂ）に示すような領域が探索される。そして、探索された候補領域の特徴量と登録されている犬の特徴量とを比較し、犬が存在している領域と判断されれば、同図の（ｃ）に示すように犬が存在している領域を示す表示が行われる。
　本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　最後に、デジタルカメラ１の各ブロック、特に制御部６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
　すなわち、デジタルカメラ１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカメラ１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記デジタルカメラ１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ－Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
　また、デジタルカメラ１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　従来は検出が困難であった動物も含めて、容易に登録・検出を行うことができるので、動物等を含めて撮影する装置、例えばデジタルカメラ等に好適である。
　　１　　デジタルカメラ
　　２　　記憶部
　　３　　操作受付部
　　４　　撮像部
　　５　　表示部
　　６　　制御部
　１１　　フレーム画像取り出し部
　１２　　登録処理部
　１３　　追尾処理部（追尾手段）
　１４　　検出処理部
　２１　　フレームバッファ
　２２　　モデル情報記憶部
　２３　　追尾情報記憶部
　３１　　移動領域予測部
　３２　　特徴点抽出部（追尾用特徴抽出手段）
　３３　　移動量算出部
　３４　　追尾対象領域算出部
　３５　　フレーム情報更新部
　３６　　追尾情報初期設定部
　４１、５１　　フレーム画像取得部（画像取得手段）
　４２　　特徴量抽出部（検出用特徴抽出手段）
　４３　　候補領域探索部（候補領域探索手段）
　４４　　候補領域特徴量抽出部
　４５、５３　　類似度算出部（類似度算出手段）
　４６　　中心位置算出部（判定手段）
　４７、５６　　結果出力部（報知手段）
　５２　　検出用特徴量抽出部（対象物体領域検出手段、検出用特徴抽出手段）
　５４　　登録部（検出用特徴登録手段）
　５５　　充実度算出部（運動変化量算出手段、充実度算出手段）
　５７　　共通特徴量抽出部（共通特徴特定手段）
　５８　　初期位置取得部（初期位置取得手段）

Claims (13)

  1. 　撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置であって、
    　情報を記憶する記憶部と、
    　上記動画像におけるフレーム画像を取得する画像取得手段と、
    　撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して上記記憶部に記憶する追尾用特徴抽出手段と、
    　上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出手段と、
    　該対象物体領域検出手段が検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出手段と
    　該検出用特徴抽出手段が抽出した上記検出用特徴情報の一部または全部を上記記憶部に登録する検出用特徴登録手段とを備えていることを特徴とする検出用情報登録装置。
  2. 　上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化と、上記対象物体領域検出手段が検出した対象物体領域の情報とに基づいて、上記対象物体の上記フレーム画像における運動の変化量を算出する運動変化量算出手段と、
    　上記検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部に記憶された検出用特徴情報との類似度を算出する類似度算出手段と、
    　上記対象物体を含む被写体の撮影による任意の撮影画像から、上記対象物体を検出するために必要と推定される検出用特徴情報の量に対する、上記記憶部に記憶された検出用特徴情報の量の度合を示す充実度を、上記運動変化量算出手段が算出した運動の変化量と、上記類似度算出手段が算出した類似度とに基づいて算出する充実度算出手段とをさらに備えていることを特徴とする請求項１に記載の検出用情報登録装置。
  3. 　動画像における対象物体の初期位置の情報を予め取得して上記記憶部に記憶する初期位置取得手段をさらに備えており、
    　上記追尾用特徴抽出手段および上記対象物体領域検出手段は、上記画像取得手段が取得した最初のフレーム画像に対し、上記記憶部に記憶された初期位置の情報を利用することを特徴とする請求項１または２に記載の検出用情報登録装置。
  4. 　上記記憶部に記憶された複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を特定する共通特徴特定手段をさらに備えており、
    　上記検出用特徴登録手段は、上記共通特徴特定手段が特定した検出用共通特徴情報をさらに上記記憶部に登録することを特徴とする請求項１～３のいずれか１項に記載の検出用情報登録装置。
  5. 　上記記憶部に記憶される検出用特徴情報は、複数の上記対象物体を識別する識別情報に対応づけて記憶されていることを特徴とする請求項１～４のいずれか１項に記載の検出用情報登録装置。
  6. 　撮影による動画像に含まれる対象物体を検出する対象物体検出装置であって、
    　上記対象物体を検出するための情報であって、該対象物体を特徴付ける情報である複数の検出用特徴情報と、該複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを記憶する記憶部と、
    　上記動画像におけるフレーム画像を取得する画像取得手段と、
    　該画像取得手段が取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出手段と、
    　該検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索手段と、
    　上記候補領域探索手段が探索した候補領域に含まれる検出用特徴情報と、上記記憶部の検出用特徴情報との類似度を算出する類似度算出手段と、
    　該類似度算出手段が算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定手段と、を備えていることを特徴とする対象物体検出装置。
  7. 　上記対象物体が存在する領域を追尾する追尾手段を備えていることを特徴とする請求項６に記載の対象物体検出装置。
  8. 　請求項１～５のいずれか１項に記載の検出用情報登録装置と請求項６または７に記載の対象物体検出装置とを含む電子機器。
  9. 　請求項２～５のいずれか１項に記載の検出用情報登録装置と請求項６または７に記載の対象物体検出装置とを含む電子機器であって、
    　上記充実度算出手段が算出した充実度に基づいて、ユーザに対し報知を行う報知手段を備えていることを特徴とする電子機器。
  10. 　撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置の制御方法であって、
    　上記動画像におけるフレーム画像を取得する画像取得ステップと、
    　撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、
    　上記追尾用特徴抽出ステップで抽出した追尾用特徴情報と、記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出ステップと、
    　該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと
    　該検出用特徴抽出ステップで抽出した上記検出用特徴情報の一部または全部を記憶部に登録する検出用特徴登録ステップとを含むことを特徴とする検出用情報登録装置の制御方法。
  11. 　撮影による動画像に含まれる対象物体を検出する対象物体検出装置の制御方法であって、
    　上記動画像におけるフレーム画像を取得する画像取得ステップと、
    　該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、
    　該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、
    　上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、
    　該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップと、を含むことを特徴とする対象物体検出装置の制御方法。
  12. 　撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置制御プログラムであって、
    　上記動画像におけるフレーム画像を取得する画像取得ステップと、
    　撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、
    　上記追尾用特徴抽出ステップで抽出した追尾用特徴情報と、記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出ステップと、
    　該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと
    　該検出用特徴抽出ステップで抽出した上記検出用特徴情報の一部または全部を記憶部に登録する検出用特徴登録ステップとを、コンピュータに実行させるための検出用情報登録装置制御プログラム。
  13. 　撮影による動画像に含まれる対象物体を検出する対象物体検出装置制御プログラムであって、
    　上記動画像におけるフレーム画像を取得する画像取得ステップと、
    　該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、
    　該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、
    　上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、
    　該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップとを、コンピュータに実行させるための対象物体検出装置制御プログラム。
PCT/JP2009/003767 2008-08-11 2009-08-06 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム WO2010018669A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP09806565.9A EP2323103B1 (en) 2008-08-11 2009-08-06 Detective information registration device, target object detection device, method of controlling detective information registration device, method of controlling targer object detection device, control program for detective information registration device, and control program for target object detection device
CN200980128887.XA CN102105904B (zh) 2008-08-11 2009-08-06 检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序、对象物体检测装置控制程序
US13/058,300 US8774456B2 (en) 2008-08-11 2009-08-06 Detective information registration device and target object detection device for detecting an object in an image
KR1020117004393A KR101166994B1 (ko) 2008-08-11 2009-08-06 검출용 정보 등록 장치, 대상물체 검출 장치, 전자 기기, 검출용 정보 등록 장치의 제어 방법, 대상물체 검출 장치의 제어 방법, 검출용 정보 등록 장치 제어 프로그램, 대상물체 검출 장치 제어 프로그램
EP15152474.1A EP2892027B1 (en) 2008-08-11 2009-08-06 Detective information registration device, method of controlling detective information registration device and control program for detective information registration device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008207259A JP4497236B2 (ja) 2008-08-11 2008-08-11 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
JP2008-207259 2008-08-11

Publications (1)

Publication Number Publication Date
WO2010018669A1 true WO2010018669A1 (ja) 2010-02-18

Family

ID=41668820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003767 WO2010018669A1 (ja) 2008-08-11 2009-08-06 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム

Country Status (7)

Country Link
US (1) US8774456B2 (ja)
EP (2) EP2892027B1 (ja)
JP (1) JP4497236B2 (ja)
KR (1) KR101166994B1 (ja)
CN (1) CN102105904B (ja)
TW (1) TWI438719B (ja)
WO (1) WO2010018669A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073997A (ja) * 2010-09-01 2012-04-12 Ricoh Co Ltd 物体追尾装置、物体追尾方法およびそのプログラム
KR101180570B1 (ko) 2008-09-25 2012-09-06 라쿠텐 인코포레이티드 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법
CN111612822A (zh) * 2020-05-21 2020-09-01 广州海格通信集团股份有限公司 对象跟踪方法、装置、计算机设备和存储介质

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259614A1 (en) * 2009-04-14 2010-10-14 Honeywell International Inc. Delay Compensated Feature Target System
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5427577B2 (ja) * 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
JP5582924B2 (ja) * 2010-08-26 2014-09-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2012065031A2 (en) * 2010-11-11 2012-05-18 Mlp Technology Inc. Animal data management
JP5801601B2 (ja) * 2011-05-10 2015-10-28 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
JP5664478B2 (ja) * 2011-06-30 2015-02-04 富士通株式会社 物体認識支援装置，プログラムおよび方法
JP6316540B2 (ja) * 2012-04-13 2018-04-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． カメラ装置及びその制御方法
JP5803868B2 (ja) * 2012-09-20 2015-11-04 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
CN103870798B (zh) * 2012-12-18 2017-05-24 佳能株式会社 对象检测方法、对象检测设备以及图像拾取设备
WO2014175477A1 (en) * 2013-04-24 2014-10-30 Lg Electronics Inc. Apparatus and method for processing image
CN103716541B (zh) * 2013-12-23 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种拍摄大分辨率照片的方法及终端
KR102257620B1 (ko) * 2014-03-20 2021-05-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN103996292A (zh) * 2014-05-29 2014-08-20 南京新奕天科技有限公司 一种基于角点匹配的运动车辆跟踪方法
JP6340957B2 (ja) * 2014-07-02 2018-06-13 株式会社デンソー 物体検出装置および物体検出プログラム
JP6524619B2 (ja) * 2014-08-18 2019-06-05 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
US10810539B1 (en) * 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
JP6389803B2 (ja) * 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
EP3368957B1 (en) 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
WO2017081839A1 (ja) * 2015-11-13 2017-05-18 パナソニックＩｐマネジメント株式会社 移動体追跡方法、移動体追跡装置、およびプログラム
CN106791637A (zh) * 2016-12-15 2017-05-31 大连文森特软件科技有限公司 基于ar增强现实技术的鸟类观赏和区域保护系统
JP6988704B2 (ja) * 2018-06-06 2022-01-05 トヨタ自動車株式会社 センサ制御装置、物体探索システム、物体探索方法及びプログラム
JP6814178B2 (ja) * 2018-06-11 2021-01-13 日本電信電話株式会社 物体検出装置、方法、及びプログラム
JP6773732B2 (ja) * 2018-08-03 2020-10-21 ファナック株式会社 トレース装置
JP6579727B1 (ja) * 2019-02-04 2019-09-25 株式会社Ｑｏｎｃｅｐｔ 動体検出装置、動体検出方法、動体検出プログラム
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法
JP7446760B2 (ja) 2019-10-07 2024-03-11 キヤノン株式会社 情報処理装置、映像の要約方法、およびプログラム
CN110991465B (zh) * 2019-11-15 2023-05-23 泰康保险集团股份有限公司 一种物体识别方法、装置、计算设备及存储介质
WO2024040588A1 (zh) 2022-08-26 2024-02-29 宁德时代新能源科技股份有限公司 检测图像中的目标点的方法、装置和计算机存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231252A (ja) * 1993-02-04 1994-08-19 Toshiba Corp 監視画像の移動物体追跡方法
JPH06274625A (ja) * 1993-03-18 1994-09-30 Toshiba Corp 監視画像の移動物体追跡方法
JPH0816987A (ja) 1994-06-24 1996-01-19 Japan Radio Co Ltd ナビゲーション装置及びナビゲーション方法
JP2001307096A (ja) 2000-04-25 2001-11-02 Fujitsu Ltd 画像認識装置及び方法
JP2002083297A (ja) 2000-06-28 2002-03-22 Matsushita Electric Ind Co Ltd 物体認識方法および物体認識装置
JP2003346158A (ja) * 2002-05-28 2003-12-05 Toshiba Corp 顔画像による顔領域追跡方法
JP2006155167A (ja) 2004-11-29 2006-06-15 Secom Co Ltd 画像認識装置
JP2007135501A (ja) 2005-11-21 2007-06-07 Atom System:Kk 鼻特徴情報生成装置及び鼻特徴情報生成プログラム
JP2007282119A (ja) 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100589561C (zh) * 2005-12-06 2010-02-10 南望信息产业集团有限公司 基于视频内容分析的可疑静止物检测方法
US8306280B2 (en) 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
CN101216885A (zh) * 2008-01-04 2008-07-09 中山大学 一种基于视频的行人人脸检测与跟踪算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231252A (ja) * 1993-02-04 1994-08-19 Toshiba Corp 監視画像の移動物体追跡方法
JPH06274625A (ja) * 1993-03-18 1994-09-30 Toshiba Corp 監視画像の移動物体追跡方法
JPH0816987A (ja) 1994-06-24 1996-01-19 Japan Radio Co Ltd ナビゲーション装置及びナビゲーション方法
JP2001307096A (ja) 2000-04-25 2001-11-02 Fujitsu Ltd 画像認識装置及び方法
JP2002083297A (ja) 2000-06-28 2002-03-22 Matsushita Electric Ind Co Ltd 物体認識方法および物体認識装置
JP2003346158A (ja) * 2002-05-28 2003-12-05 Toshiba Corp 顔画像による顔領域追跡方法
JP2006155167A (ja) 2004-11-29 2006-06-15 Secom Co Ltd 画像認識装置
JP2007135501A (ja) 2005-11-21 2007-06-07 Atom System:Kk 鼻特徴情報生成装置及び鼻特徴情報生成プログラム
JP2007282119A (ja) 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2323103A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180570B1 (ko) 2008-09-25 2012-09-06 라쿠텐 인코포레이티드 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법
JP2012073997A (ja) * 2010-09-01 2012-04-12 Ricoh Co Ltd 物体追尾装置、物体追尾方法およびそのプログラム
CN111612822A (zh) * 2020-05-21 2020-09-01 广州海格通信集团股份有限公司 对象跟踪方法、装置、计算机设备和存储介质
CN111612822B (zh) * 2020-05-21 2024-03-15 广州海格通信集团股份有限公司 对象跟踪方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP2892027A1 (en) 2015-07-08
TWI438719B (zh) 2014-05-21
US8774456B2 (en) 2014-07-08
JP2010044516A (ja) 2010-02-25
KR101166994B1 (ko) 2012-07-24
EP2323103B1 (en) 2017-11-29
US20110142286A1 (en) 2011-06-16
EP2892027B1 (en) 2018-09-19
EP2323103A4 (en) 2014-08-27
CN102105904A (zh) 2011-06-22
TW201011696A (en) 2010-03-16
CN102105904B (zh) 2014-06-25
KR20110036942A (ko) 2011-04-12
JP4497236B2 (ja) 2010-07-07
EP2323103A1 (en) 2011-05-18

Similar Documents

Publication Publication Date Title
JP4497236B2 (ja) 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
JP5247356B2 (ja) 情報処理装置およびその制御方法
KR101381439B1 (ko) 얼굴 인식 장치 및 얼굴 인식 방법
JP4725377B2 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
KR101001060B1 (ko) 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체
EP2339536B1 (en) Image processing system, image processing apparatus, image processing method, and program
JP6106921B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP5483863B2 (ja) 情報処理装置およびその制御方法
JP5959923B2 (ja) 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP2010218060A (ja) 顔認証装置、人物画像検索システム、顔認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および顔認証装置の制御方法
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
JP2021071794A (ja) 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP4818997B2 (ja) 顔検出装置及び顔検出プログラム
JP5278307B2 (ja) 画像処理装置及び方法、並びにプログラム
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP5247419B2 (ja) 撮像装置および被写体追跡方法
JP2017005582A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5445127B2 (ja) 画像処理装置及び方法、並びにプログラム
WO2023106103A1 (ja) 画像処理装置およびその制御方法
JP2021125847A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2023084461A (ja) 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
CN117522707A (zh) 支持多输入的姿势推荐与迁移方法、系统、设备及介质
JP2012118620A (ja) 画像生成システムおよび画像生成方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980128887.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09806565

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2009806565

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009806565

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13058300

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20117004393

Country of ref document: KR

Kind code of ref document: A