WO2011043060A1 - 追尾対象選択装置、方法、プログラム及び回路 - Google Patents

追尾対象選択装置、方法、プログラム及び回路 Download PDF

Info

Publication number
WO2011043060A1
WO2011043060A1 PCT/JP2010/005956 JP2010005956W WO2011043060A1 WO 2011043060 A1 WO2011043060 A1 WO 2011043060A1 JP 2010005956 W JP2010005956 W JP 2010005956W WO 2011043060 A1 WO2011043060 A1 WO 2011043060A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tracking
video
unit
tracking target
Prior art date
Application number
PCT/JP2010/005956
Other languages
English (en)
French (fr)
Inventor
康伸 小倉
物部　祐亮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2010800034826A priority Critical patent/CN102239687B/zh
Priority to US13/133,223 priority patent/US8432357B2/en
Priority to EP10821737.3A priority patent/EP2355492B1/en
Priority to JP2011535280A priority patent/JP5399502B2/ja
Publication of WO2011043060A1 publication Critical patent/WO2011043060A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a technique for accurately selecting a tracking target object from an image in the fields of a digital still camera, a digital video camera, a network camera, a security camera, and the like.
  • these image pickup apparatuses are normally provided with a display such as an LCD, and the user can take an image of a subject while confirming recorded images on the display.
  • a display such as an LCD
  • the user can take an image of a subject while confirming recorded images on the display.
  • human faces are detected, and auto-focus function (AF (Auto Focus)), automatic exposure function (AE (Auto Exposure)), etc. for the detected faces.
  • AF Auto Focus
  • AE Automatic Exposure
  • imaging devices that can perform adjustment processing
  • imaging devices that measure the smile level of a person and perform shutter control.
  • control AF processing, AE processing, etc.
  • AF processing AF processing, AE processing, etc.
  • AE processing AE processing
  • imaging devices that perform tracking and perform AF / AE control in accordance with the tracking.
  • a tracking target object region is specified by a user's manual input (for example, touching a tracking target object region on a touch panel), and the specified tracking is performed. Extracts the color features of the target object region, tracks the extracted color features and other objects, and detects the tracking candidate object from the image, selects the detected tracking candidate object, and selects the selected tracking.
  • a technique for setting a candidate object as a tracking object see, for example, Patent Document 1 and Patent Document 2.
  • FIG. 21 is a block diagram of the prior art described in Patent Document 1.
  • the tracking target object needs to be in a stationary state (or a state close to a stationary state).
  • FIG. 2 is a diagram for explaining the problems of the prior art.
  • the subject is often moving.
  • a tracking target tilt target in tracking performed in AE or the like
  • the user of the movie selects the monitor while watching a display such as an LCD (Liquid Crystal Display).
  • the subject may move at the moment when the tracking target is selected. That is, for example, as the subject image 91, the first image 91a1 at the first position 91a1P is displayed at the first time before the movement, while the second image at the second position 91a2P is displayed at the second time. 2 video 92a2 may be displayed. That is, in this way, the image 91 may move (change in position) between the first position 91a1P and the second position 91a2P.
  • an object at a position deviating from the user's intention for example, an object at the first position 91a1P at the second time when the position of the video 91 is the second position 91a2 (not shown)). Etc.), and tracking based on an incorrect selection is performed.
  • Such movement of the video 91 may be caused by, for example, movement of a subject (see the subject 103x in FIG. 14) in the three-dimensional space (see the road 103R) captured on the video 91. .
  • the image 91 may move even when the subject is almost stationary in the three-dimensional space (on the road 103R). That is, when setting the target selection, it is necessary to perform a button operation on the device or an operation on the touch panel. For this reason, the camera body may move due to these operations. As a result of the movement of the camera body, the positional relationship between the position of the subject (refer to the position of the subject 103x) and the position of the camera (refer to the position of the image sensor 103) is shifted.
  • the position of the image 91 (FIG. 2) may change between a plurality of positions (positions 91a1P, 91a2P, etc.). That is, in this way, the movement of the camera may cause an erroneous setting.
  • the tracking target is selected from one or more candidates detected as objects.
  • the present invention solves the above-mentioned problem, and the operation (touch etc.) for selecting the tracking target can be simplified (simple), and the tracking target is not in a stationary state (video 91a or the like).
  • Tracking target selection device and method for enabling easy selection even when the visibility is poor video 91b, video 91c, etc.
  • an object is to provide a storage medium and the like.
  • the first tracking target selection device is a tracking target selection device that selects a tracking target, and an input image (an input image (second input image) captured by a camera or the like).
  • an input image an input image (second input image) captured by a camera or the like.
  • a tracking unit that calculates an object candidate area, and an image of the tracking object candidate area calculated by the tracking unit (first included in the first input image) at a fixed position in the input image (first input image).
  • a composition unit that synthesizes the image after the image is synthesized at the fixed position by the synthesis unit.
  • the input image (after synthesis The first input image) and the combined image displayed by the display unit and displayed at the fixed position in the input image after being combined.
  • an operation such as a touch operation
  • the object for example, a person (face), a car, or the like
  • a selection unit that selects the tracking target in tracking in AF processing (for example, AF processing).
  • the target object (the object to be tracked) is moving when the user selects (from a plurality of objects) the object to be tracked (selected by the tracking target selection device), the target object is moving. Since the candidate (image synthesized image) is displayed at a fixed position, the target object intended by the user can be accurately selected.
  • the second tracking target selection device has the above-described configuration and operation, and a feature extraction unit that extracts a predetermined feature from the image of the target object candidate region being tracked by the tracking unit; From the features extracted from the feature extraction unit, a predetermined state of the target object (direction (see video 91c in FIG. 2 and the like)) is calculated, and whether the calculated state is a predetermined state.
  • a determination unit that determines whether or not the direction is a front-facing direction, and the determination unit determines that the calculated state of the target object candidate region is the predetermined state.
  • a storage unit that stores the determined tracking target candidate area (an image of the tracking target candidate area).
  • storing an area means storing an image of the area.
  • the state of the target object candidate area (image of the area) (for example, the direction of the subject imaged in the area) is determined, stored in the storage unit, and stored in the target object candidate area (image of ) Is displayed at a fixed position. Therefore, when the user selects the target object, the video of the target object (the first video in the first input image described above) captured at the time when the user selects the target object is a video with poor visibility (in FIG. 2). Even if the user cannot determine whether the target object of the video is the target object intended by the user (it is difficult to determine), the user accurately selects the intended target object. It becomes possible to do.
  • this device may be called a tracking device, a target selection device, or another name such as an object selection device, for example.
  • a display control unit that controls the display may be configured by a part of the display unit that performs the display. That is, the display unit may control display by the display unit by the display control unit.
  • the tracking target selection device of the present invention when the target object in the image is moving (see the column (A) in FIG. 2), the image of the target object is poorly visible (the target is small, inappropriate) Even if the user cannot (easily) recognize the target object (which is a plurality of objects) (see column (B)), for example, The target object intended by the user can be selected.
  • the operation can be easily performed, the degree of simplicity can be sufficiently improved, and the position of the image to be synthesized (“the other video” in this document) can be surely appropriate.
  • FIG. 1 is a block diagram of a tracking target selection device according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the problems of the prior art.
  • FIG. 3 is a functional block diagram showing a functional configuration of the tracking target selection device according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart up to display processing showing the functional configuration of the tracking target selection device according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart of the tracking target selection process showing the functional configuration of the tracking target selection device according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart of the tracking unit in the first embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the tracking unit according to the first embodiment of the present invention.
  • FIG. 1 is a block diagram of a tracking target selection device according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the problems of the prior art.
  • FIG. 3 is a functional block
  • FIG. 8 is a diagram for explaining object orientation calculation in the feature extraction unit according to the first embodiment of the present invention.
  • FIG. 9 is a diagram for explaining calculation of face center coordinates in the first embodiment of the present invention.
  • FIG. 10 is a diagram for explaining calculation of the nose position coordinates in the first embodiment of the present invention.
  • FIG. 11 is a diagram for explaining a storage unit according to Embodiment 1 of the present invention.
  • FIG. 12 is a diagram for explaining a display unit according to Embodiment 1 of the present invention.
  • FIG. 13 is a diagram for explaining the selection processing according to Embodiment 1 of the present invention.
  • FIG. 14 is a diagram for explaining another example in the first embodiment of the present invention.
  • FIG. 15 is a functional block diagram illustrating a functional configuration of the tracking target selection device according to the second embodiment of the present invention.
  • FIG. 16 is a flowchart up to display processing showing the functional configuration of the tracking target selection device according to Embodiment 2 of the present invention.
  • FIG. 17 is a diagram for explaining an example of display in the second embodiment of the present invention.
  • FIG. 18 is a functional block diagram illustrating a functional configuration of the tracking target selection device according to the third embodiment of the present invention.
  • FIG. 19 is a flowchart up to display processing showing the functional configuration of the tracking target selection device according to the third embodiment of the present invention.
  • FIG. 20 is a diagram for explaining an example of display in the third embodiment of the present invention.
  • FIG. 21 is a block diagram of the prior art.
  • FIG. 22 is a block diagram of the tracking target selection device.
  • FIG. 23 is a diagram showing a screen.
  • FIG. 24 is a diagram illustrating a plurality of captured images.
  • FIG. 25 shows a screen.
  • FIG. 26 is a diagram showing screens at a plurality of times.
  • FIG. 27 is a diagram showing a small-sized video or the like.
  • FIG. 28 is a diagram illustrating an image in which the orientation of the subject is not front-facing.
  • the tracking target selection device of the embodiment is a tracking target selection device (tracking target selection device 1, camera) that selects a tracking target (tracking target 103xm: FIG. 22), and includes an input image (for example, an image 9Ia (FIG. 22, FIG. 22)). 24), an object detection unit (object detection unit 301: FIG. 3, FIG. 22, etc.) for detecting a predetermined object (subject 301x) from the second input image captured by the camera, and the object detection unit.
  • a tracking unit (tracking unit 302) that tracks the detected object (subject 301x) and calculates a tracking object candidate region (region 301xR of the previous video 93 included in the image 9Ia) where the object to be tracked is located; The previous position calculated by the tracking unit at a fixed position (position 92P: FIG. 22, FIG. 12, FIG. 13, etc.) in the input image (image 9Ib (FIG. 22, FIG. 24, etc.), first input image)
  • a synthesizing unit (synthesizing unit 306) that synthesizes the images of the tracking object candidate region (region 301xR) (the previous video 93 (FIGS. 22, 24, etc.) and the video 92 (FIGS.
  • the input image (image 9C (image 9C ()) including the synthesized image (video 92) is synthesized. 22, 24, 12, 13, and the like)), and the input image (image 9 ⁇ / b> C) that is displayed by the display unit after being synthesized.
  • the user (user 1U: FIG. 22) operates (operation 104L2 (FIGS. 22 and 13) on the combined image (video 92 (video 93)) displayed at the fixed position (position 92P). Etc.), touch operations, etc.
  • a selection unit that selects the subject B) as the tracking target (tracking target 103xm: FIG. 22) in tracking in a predetermined process (such as AF process).
  • the tracking target selection device extracts predetermined features (coordinates 904 (FIG. 9) and the like) from the image (video 93) of the target object candidate region (region 301xR) tracked by the tracking unit.
  • predetermined features coordinates 904 (FIG. 9) and the like
  • a predetermined state angle 3D1b (FIG. 11), direction of the target object (video 93, subject 301x) 103x1, 103x2, etc.
  • a determination unit for determining whether the calculated state is a predetermined state (for example, 0 degree (near), direction 103x2 (FIG. 12), etc.).
  • the tracking target candidate area (the area 301xR, the image 93 of the area 301xR) (the one used for composition (area, image) )
  • a storage unit (storage unit 305) for storage.
  • storing an area means storing an image of the area.
  • the display unit may control display by the display unit. That is, for example, a display control unit that performs this control may be configured by part or all of the display unit.
  • the tracking target selection device is a camera (see FIG. 1 and the like), and an image pickup device (image pickup device 103: image pickup image 103: one image 91) of a subject (for example, subject B in FIG. 25).
  • the display unit includes the captured one video (one video 91) and the other subject (subject B) of the one video (one video 91).
  • the video (the other video 92: FIG. 25, etc.) is displayed, and the selection unit (selection unit 308) is operated (operation 92L: FIG. 25, etc.) on the other video (the other video 92) displayed.
  • the subject (subject B) of the imaged one video (one video 91) is subject to tracking (tracking target 103xm: tracking target) in a predetermined process (such as AF processing). Select as Figure 22) It may be.
  • a video (one video 91) of a subject (subject B) selected by an operation such as touch is a video taken by the camera (imaging device 103), and various videos (FIGS. 2, 26 to FIG. Appropriate operation is performed even though it is difficult to predict what kind of video it is (it is difficult to attach (often)).
  • the other video 92 different from the one video 91 is displayed together with the one video 91 captured, and an operation on the displayed other video 92 is performed.
  • the subject (subject B) is selected.
  • the operation for the other image 92 is sufficient, and the selection operation can be performed. Easy to do.
  • the synthesized image displayed at the second time (the lower time) of the plurality of times (the first time at the upper stage and the second time at the lower stage in FIG. 26).
  • the position (position 921PN) of the other image 921N (921)) is the position (position 921PM) of the other image (the other image 921M (921)) at the first time (upper time).
  • the common position 921P and not a different position (another position different from the position 921PM in the upper stage (the symbol is omitted)).
  • the position 92P of the other video 92P is not moved (changed) during a plurality of times (first time, second time), and is stationary, that is, common.
  • the position 92P (fixed position) is fixed.
  • the position of the first video 911 moves from the position 911PM at the first time to the position 911PN at the second time ( The first time, the second time, and the like.
  • positions 911PM (upper) and 911PN (lower) in FIG. 26, or positions 91a1P and 91a2P in FIG. It is not necessary to specify the position where the operation is to be performed from the positions. That is, just as the operation at the position 921PM is performed at the first time, the operation at the same position 921PN (the common position 921P) as the position 921PM at the first time is performed at the second time. You just need to be done. For this reason, it is not necessary for the position to be specified by the user from a plurality of positions, and the operation can be simplified more sufficiently.
  • the position 911PN of one video 911N (911) at the second time (lower stage) is different from the position 911PM at the first time (upper stage), but the other at the second time (lower stage).
  • the position 921PN of the video 921P is the same position (position 921P, the position of the lower right corner) as the position 921PM at the first time (upper stage), and is not another position. Therefore, although the position of one image 911 changes, the position 921PM of the other image 921 at the first time (upper stage) is the appropriate position (the position of the lower right corner).
  • the position 921PN at time 2 (lower stage) is also maintained at an appropriate position (lower right corner position), and the other image 921 can be reliably displayed at an appropriate position (for example, lower right corner position).
  • the operation can be simplified, the degree of simplicity can be sufficiently improved, and the position of the image to be combined (the other image 92 (921)) is surely appropriate. It is possible to achieve various effects.
  • a tracking target selection device (tracking target selection device 1a) will be disclosed.
  • FIG. 1 is a block diagram of the tracking target selection device.
  • FIG. 3 is a functional block diagram of the target tracking selection device according to the first embodiment.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • FIG. 1 a CPU (Central Processing Unit) 101 is stored in a ROM (Read Only Memory) 102, and is an image processing program for processing according to flowcharts shown in FIGS.
  • the computer program 1P is executed, and each element shown in FIG.
  • RAM Random Access Memory
  • the external storage device 106 in addition to the area for the storage unit 305 shown in FIG. 3, a primary storage area required for the processing by the CPU 101 is secured. ing.
  • This apparatus includes an object detection unit 301, a tracking unit 302, a feature extraction unit 303, a determination unit 304, a storage unit 305, a synthesis unit 306, a display unit 307, and a selection unit 308.
  • FIG. 4 is a flowchart of the tracking target candidate display method of the present invention.
  • the tracking target candidate display method shown in FIG. 4 is realized by the apparatus shown in FIG.
  • the target object is a person's face (see FIGS. 7 and 8, etc.)
  • the predetermined state is the face orientation (columns (A) and (B) in FIG. 8). 2) (see video 91c in FIG. 2).
  • step S401 in the present apparatus, the object detection unit 301 detects the position and size of the person's face from the image input from the image sensor 103, respectively.
  • step S402 object tracking is performed using the human face detected by the object detection unit 301 as a unique object (tracking unit 302).
  • step S403 a feature for calculating the face orientation of the tracked face is extracted (feature extraction unit 303).
  • step S404 the orientation of the face is estimated from the features extracted in step S403 (for example, by the feature extraction unit 303).
  • step S405 it is determined whether or not the error of the face direction estimated in step S404 is smaller than a past estimated error with respect to a predetermined state (for example, a face facing front) (determination unit 304). .
  • step S406 If it is determined in step S406 that the estimated error is smaller than the past estimated error in step S405 (S405: Yes), the estimated error determined to be smaller is updated in the storage unit 305.
  • step S407 similar to the processing in step S406, the face image detected in step S401 is stored in the storage unit 305 together with the unique label attached to the face image (corresponding to the face image). Update (see data 3D (FIG. 3)).
  • step S408 the face image stored in step S407 is synthesized by the synthesis unit 306 so that the face image is displayed at a fixed position (see position 92P in FIG. 12, FIG. 13, etc.). Is displayed on the display unit 307.
  • the object detection unit 301 detects a face candidate of the person that the user wants to track from the image (input image) input from the image sensor 103.
  • AdaBoost As a detailed detection algorithm, for example, the AdaBoost algorithm disclosed in Japanese Patent Application Laid-Open No. 2006-350645 is used. (See the description below).
  • the object detection method is not limited to this algorithm.
  • non-patent document PRMU 107 (206) PP 211-224 also describes the possibility of detecting a general object. That is, the present technology is not limited to a target object that is a person's face, but can be applied in a range in which the target object is extended to a general object.
  • the tracking unit 302 is suitable for a case where the object detection unit 301 is configured as, for example, one system LSI (Large Scale Integration) and can perform real-time processing (for example, processing 30 times or more per second). The following processing may be performed. That is, an object that has been detected once is likely to be detected in the vicinity of the position detected in the previous frame in the next frame. That is, in the above-described case where real-time processing is possible, the tracking unit 302 may use such continuity of detection positions to realize a tracking unit that uses this continuity.
  • LSI Large Scale Integration
  • FIG. 6 is a flowchart of the tracking unit.
  • step S601 it is determined whether an object is present one frame before the position of the detected object.
  • step S602 when it is determined in step S601 that the detected object exists in the vicinity of the position one frame before (S601: Yes), the detected object (the object existing in the vicinity one frame before and The history of detected coordinates of the same object is updated.
  • step S603 when it is determined in step S601 that the detected object does not exist in the vicinity of one frame before (S601: No), the detected object is given to the previously detected object. A unique label (new label) is assigned, which is different from each printed label.
  • step S604 the newly detected object detection coordinates are newly added to the history of detected coordinates.
  • the tracking method using position continuity has been described.
  • the method used may be an object tracking method using color or an object tracking method using face matching. Other methods may be used.
  • FIG. 7 shows the result of tracking.
  • FIG. 8 is a diagram for explaining the object orientation calculation processing by the feature extraction unit according to the first embodiment of the present invention.
  • the left and right eye positions for example, the coordinates of the two eyes 801 and 802 in the column (A) in FIG. 8
  • the face center coordinates for example, the coordinates 803
  • the nose position Five points of coordinates for example, coordinate 804 and face size (Size in FIG. 8) are extracted.
  • both eyes can be detected by an algorithm similar to the human face detection algorithm.
  • the method used in this detection may be, for example, an edge-based method using a corner detection algorithm, or other methods.
  • FIG. 9 is a diagram for explaining the processing for calculating the face center coordinates in the first embodiment of the present invention.
  • the face detector (face detector 303a) is composed of a plurality of face orientation detectors (detectors 303a1 to 303a3, etc.), and a plurality of detections of various face orientations at one place where a face exists.
  • Each of the detectors (detector 303a1, etc.) outputs a plurality of different candidate frames whose positions and sizes change (three (multiple) frames 901 by the detector 303a1) and three frames 902 by the detector 303a2. , See three frames 903 by the detector 303a3).
  • the average value of the center coordinates of the plurality of candidate frames and the average value of the sizes are calculated, and the center coordinates obtained as a result of integrating the plurality of pieces of information obtained by the plurality of calculations are the face center coordinates.
  • Coordinats 904 In other words, in this way, for example, any of the plurality of frames 901 by the detector 303a1, the plurality of frames 902 by the detector 303a2, and the plurality of frames 903 by the detector 303a3 is used.
  • the center coordinate 904 of the face may be calculated with relatively high accuracy.
  • FIG. 10 is a diagram for explaining the process of calculating the nose position coordinates (see coordinates 1004) in the first embodiment of the present invention.
  • each of a plurality of face direction detectors (for example, detectors 303b1 to 303b3) outputs a plurality of candidate frames whose positions and sizes change ( (See FIG. 9).
  • processing corresponding to the detector that has output the candidate frame is performed on the output candidate frame. That is, a certain amount of offset corresponding to the detector that has output the candidate frame is given to each candidate frame.
  • the given offset is an offset normalized by the face size.
  • the center coordinates of the candidate frame are corrected to the nose position (see corrected frames 1001 to 1003 in FIG. 10).
  • the average value of the center coordinates and the average value of the sizes of the candidate frames (corrected frames 1001 to 1003) given the offset amount are calculated, and the center coordinates as a result of integrating the information obtained by each calculation are It is set as a nose position coordinate (coordinate 1004).
  • the calculation is performed using the output result of each face detector.
  • the detection may be performed by the same algorithm as the detection of the human face.
  • the position may be detected using an algorithm.
  • the description of the determination unit 304 will be described using an example of determining the face orientation of a person.
  • the left and right eye position coordinates, face center coordinates, nose position coordinates, and face size have already been obtained by the feature extraction unit 303 before the following processing is performed.
  • the X component (Face x and Nose x in Equation 1 below) of the face center position (for example, the coordinates 904 in FIG. 9) and the nose position (for example, the coordinates 1004 in FIG. 10)
  • a normalized difference amount (F n , see the left side of Equation 1) normalized by the face size (FaceSize, see the denominator of Equation 1 below) is calculated.
  • more face feature points may be acquired, that is, for example, an algorithm for calculating the face orientation more accurately from the geometric positional relationship may be used.
  • the predetermined direction will be described as the front face direction (see the direction 103 ⁇ 2 in FIG. 12, etc.).
  • the face is determined to be a front face, and the storage section 305 stores the front face Along with the determined image, the calculated value of the face orientation angle and the assigned label are also stored (see data 3D in FIG. 3).
  • the face orientation calculation value of the same tracking target is compared with the stored calculation value (face orientation calculation value). If the calculated value is (direction calculated value), the following processing is performed.
  • the processing includes the front-facing image and the face orientation angle calculation value stored in the storage unit, the above-described image in which the same tracking target face orientation calculation value is calculated, This is a process of updating each face orientation calculation value.
  • FIG. 11 is a diagram for explaining a storage unit according to the first embodiment of the present invention.
  • the storage unit stores images of the tracking object (face) in the front direction (images 3D1a to 3D3a) as shown in FIG.
  • the calculated face orientation values values (scores) 3D1b to 3D3b) and assigned labels (labels 3D1c to 3D3c) are stored.
  • the label (label 3D1c and the like) is, for example, information for specifying the subject (subject A) of the image (for example, the image 3D1a) to which the label is assigned from a plurality of subjects (subjects A to C). .
  • the synthesizing unit 306 normalizes the size of the tracking object image stored in the storage unit, and synthesizes the tracking object image after the normalization with the input image. That is, for example, from the stored image, an image having a predetermined size and having the size normalized (changed) to the predetermined size is generated. May be combined with (a part of) the input image.
  • the place to be combined is preferably a place that does not interfere with the shooting scene image, and may be combined at, for example, the four corners such as the lower and upper parts of the screen (the lower right corner in FIG. See places).
  • the normalized image is not displayed, and only the original input image before the synthesis may be displayed. Then, only when the user's operation instructs to display the normalized image, the image (normalized image) is synthesized in an arbitrary place (such as the location in the lower right corner), A combined image that includes both the original input image and the normalized image may be generated and displayed. That is, the image (normalized image) may be displayed only when this instruction is given.
  • a label shown in the vicinity of the video 91 in FIG. 12 assigned to the vicinity of the position of the object being tracked (for example, the position of the video 91 in FIG. 12) is given. (See the letter “B”).
  • the target object to be selected a normalized and synthesized image of the subject (see video 92)
  • the actual position on the input image the subject is captured in the input image. (Relatively easily), the user can easily understand it.
  • FIG. 12 is a diagram for explaining the display unit in the first embodiment of the present invention.
  • the display unit 307 causes the combining unit 306 to display the input image and the image stored in the storage unit.
  • FIG. 12 shows an example in which the stored image and the input image are synthesized and an image 9C generated by the synthesis is displayed.
  • FIG. 5 is a flowchart of the tracking target selection process showing the functional configuration of the tracking target selection device according to the first embodiment of the present invention.
  • step S501 the tracking target candidate image stored in the storage unit is displayed at a fixed position.
  • the display is performed at the first time (for example, the time in the upper part of FIG. 26) (S501a), and the same position (the position 921PN) as the position (for example, the position 921PM) displayed at the first time. ) May be displayed at the second time and displayed at a fixed position.
  • step S502 the user selects a target to be tracked from a fixed position by the user's operation (such as a touch on the above-described image (video 92 in FIG. 12) that has been synthesized and displayed) (the user selects the device 1).
  • a target for example, the subject B in FIG. 12
  • an operation such as touch
  • the synthesized video for example, the video 92b in FIG. 12
  • FIG. 13 is a diagram for explaining the selection process according to the first embodiment of the present invention.
  • the user has a plurality of face images (three subjects A to C) each of which is a face image (video 92) facing the front at a fixed position (position 92P or the like). It is possible to touch the face image of the target to be tracked from the (face image) and select the target (subject, for example, subject B) of the face image, so that erroneous target selection is not performed.
  • the image stored in the storage unit may be displayed on the screen 104R without combining the images 92 without combining the images.
  • FIG. 14 is a diagram for explaining another example in the first embodiment of the present invention.
  • the face of a person has been described as an example.
  • a form of a general object other than a person, such as a car, may be configured.
  • the feature extraction unit may extract the edge and frequency components of the face image used for smile determination as features. Then, the determination unit may determine the smile level from the extracted features, store it in the storage unit, and output the scene as a still picture. In other words, for example, a face image with a relatively high smile level specified from the features extracted from the face image is output, and a scene image of the output face image is synthesized. May be output as a video (see video 92).
  • FIG. 15 is a functional block diagram of the tracking target selection device (device 1b) using character information in the second embodiment.
  • This apparatus includes an object detection unit 1501, a tracking unit 1502, a feature extraction unit 1503, a character recognition unit 1504, a storage unit 1505, a synthesis unit 1506, a display unit 1507, and a selection unit 1508.
  • FIG. 16 is a flowchart up to display processing showing the functional configuration (processing configuration) of the tracking target selection device according to Embodiment 2 of the present invention.
  • step S1604 features necessary for character recognition are extracted from the tracked target object candidate images (feature extraction unit 1503).
  • step S1605 it is determined whether the target object candidate being tracked has already been recognized.
  • step S1606 if character recognition has not been performed yet, character recognition is performed based on the extracted features (character recognition unit 1504).
  • step S1607 it is determined whether character recognition is successful.
  • step S1608 If character recognition fails in step S1608 (S1607: No), the image of the tracking object is stored.
  • step S1609 if character recognition is successful (S1607: Yes), the recognized character is stored (storage unit 1505).
  • step S1610 the tracking target candidate images and characters stored in the storage unit are combined with the input image and displayed at a fixed position (fixed position).
  • the character recognition unit 1504 recognizes unique character information that the tracking target object has.
  • the recognized character information is character information such as information on a car license plate.
  • the storage unit 1505 stores both the tracking target image and the recognized character information (see data 3D in FIG. 3).
  • the tracking target candidate image and / or the character information are combined with the input image (see FIG. 17 described later), and the combined image (input image) is displayed. Are displayed on the display unit 1507.
  • FIG. 17 is a diagram for explaining an example of display in the second embodiment of the present invention.
  • a display as shown in FIG. 17 may be displayed.
  • FIG. 18 is a functional block diagram of the target tracking selection device (device 1c) using character information according to the third embodiment.
  • This apparatus includes an object detection unit 1801, a tracking unit 1802, a feature extraction unit 1803, a similarity calculation unit 1804, a storage unit 1805, a synthesis unit 1806, a display unit 1807, a selection unit 1808, and a registration DB 1809.
  • DB database
  • FIG. 19 is a flowchart up to display processing showing the functional configuration (processing configuration) of the tracking target selection device according to Embodiment 3 of the present invention.
  • portions after the determination unit (portions after S1905) will be described in detail.
  • step S1905 the feature (feature 1803a: FIG. 18) extracted from the tracked target object candidate image is matched with the feature (feature 1809a) registered in the registration DB in advance (of those The similarity (between features) (similarity 1804a: FIG. 18) is calculated.
  • step S1906 the similarity (similarity 1804a) calculated in S1905 is compared with the past similarity (see data 3DW (see FIG. 18)) for determination.
  • step S1907 when the similarity calculated in step S1905 is higher than the past similarity (similarity of data 3DW) (S1906: Yes), the similarity is updated.
  • step S1908 when the value is higher than the past similarity (S1906: Yes), the tracking object is stored and updated.
  • step S1909 it is determined whether the similarity calculated in step S1905 is higher than a certain threshold.
  • step S1910 if the degree of similarity is higher than a certain threshold (S1909: Yes), additional information associated with the registration DB is also stored in the storage unit.
  • step S1911 the tracking target candidate image and the additional information stored in the storage unit are respectively combined with the input image (see video 92e in FIG. 17), and displayed at a fixed position in the input image. .
  • the registration DB 1809 is a database in which a face image of a specific person and additional information (person name, etc.) are registered in advance.
  • the similarity calculation unit 1804 performs matching between the feature extracted by the feature extraction unit 1803 (feature 1803a: FIG. 18) and the feature registered in the registration DB 1809 (feature 1809a). If the similarity (similarity 1804a) of the matching result is higher than the previous similarity (similarity of data 3DW) (S1906: Yes in FIG. 19), the similarity and the tracking object image are determined. Update storage to the storage unit. Furthermore, when the similarity exceeds the threshold (S1909: Yes), additional information associated with the registration DB is also stored in the storage unit.
  • the synthesizing unit 1806 when there is additional information together with the tracking target image, the additional information is also synthesized with the input image (described above) and displayed on the display unit.
  • FIG. 20 is a diagram for explaining an example of display in the third embodiment of the present invention.
  • a display example is shown in FIG. 1
  • the target object selecting device is a computer system including a central processing unit (CPU), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • a computer program is stored in the RAM.
  • Each device achieves its function by the CPU operating in accordance with the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • a system LSI is an ultra-multifunctional LSI that is manufactured by integrating a plurality of components on a single chip.
  • the system LSI is a computer system that includes a microprocessor, ROM, RAM, and the like. is there. A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • IC card Integrated Circuit
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention also provides a computer-readable recording medium such as a flexible disk, a hard disk, a CD-ROM (Compact Disc-ROM), an MO (Magneto-Optical disc (disc)), It may be recorded on a DVD (Digital Versatile Disc), DVD-ROM, DVD-RAM, BD (Blu-ray Disc), semiconductor memory, or the like.
  • the digital signal may be recorded on these recording media.
  • the present invention may be a method of transmitting registration data, the computer program, or the digital signal via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may be a computer system including a microprocessor and a memory, the memory storing the computer program, and the microprocessor operating according to the computer program.
  • program or the digital signal may be recorded on the recording medium and transferred, or the program or the digital signal may be transferred via the network or the like to be transferred by another independent computer system.
  • the invention may be implemented.
  • the tracking target when the user selects the tracking target, the tracking target is moved even if the tracking target is moving (see the (A) column in FIG. 2) or the visibility is poor (see the (B) column).
  • an object detection unit that detects a predetermined object from the input image, and a tracking unit that performs tracking by identifying (identifying) the detected object as the same object (even if the times are different from each other).
  • a determination unit that determines whether or not, a score representing the state of the object determined to be stored by the determination unit, and an image of the object being tracked (an image in the state (face direction) in the score)
  • the image of the object (image in the state of the above-mentioned score) stored in the storage unit is synthesized at a fixed position with the storage unit that stores the image and the input image
  • a display unit for displaying the input image described above,
  • the serial display unit, a detection object displayed in a fixed position, predetermined processing consists selecting section for selecting as a tracking target in the tracking in.
  • the subject may be a pet such as a cat or dog.
  • the image (for example, the other image 92 in FIG. 12) synthesized and displayed at the fixed position (position 92P in FIG. 12) described above is the texture of the pet's fur (color, pattern, fur texture). Etc.) may be displayed.
  • a car (subject 103x) running on the road 103R may be monitored.
  • the subject eg, subject B in FIG. 26
  • the first image one image 91
  • a second video the other video 92
  • the direction of the subject (subject B) in the second video (the other video 92b) of one subject eg, the subject B in FIG. 12
  • the (direction 92bd) may be the same as the direction (direction 92md) of the subject (subject C) in the second video (the other video 92m) of another subject (for example, the subject C).
  • the object displayed at the fixed position does not necessarily have to face the same direction (orientation).
  • the direction 92bd in the other image 92b of the subject B in FIG. 12 is the same direction as the direction 92md in the other image 92m of the subject C.
  • the object displayed at the fixed position may face the same direction.
  • the determination unit calculates a score (angle 3D1b (FIG. 11) or the like) indicating the state (the direction of the photographed subject, etc.), and the storage unit stores the image ( You may memorize
  • the determination unit compares the calculated score (angle 3Dxb (FIG. 11)) indicating the state with a score (angle 3D1b) stored in advance in the storage unit, and calculates the score ( The angle (3Dxb) and the image (image 3Dxa) in the state indicated by the calculated score (angle 3Dxb) are determined to be updated in the storage unit, and the determination unit determines to update.
  • the score (angle 3D1b) stored in advance in the storage unit and the image (image 3D1a) stored in association with the score (angle 3D1b) stored in advance are calculated as the score ( (Angle 3Dxb) and the image (image 3Dxa) of the calculated score (angle 3Dxb) may be updated respectively.
  • the feature extraction unit is a feature amount (coordinates 904) indicating a direction (one of the direction 103x1, the direction 103x2, and the like in FIG. 12) that appears in the image (video 93: FIG. 22 and the like) of the tracking object candidate region. (FIG. 9 etc.) is extracted, and based on the extracted feature quantity, the determination unit determines that the orientation (one of the orientation 103x1, orientation 103x2, etc.) indicated by the feature quantity is a predetermined orientation. (For example, the direction of the direction 103d (FIG. 12)), and when it is determined as the predetermined direction, the tracking object from which the feature amount indicating the determined direction is extracted.
  • Candidate regions image 3Dxa (FIG. 11), region 301xR in FIG. 22 where image 3Dxa was present, etc.
  • image 3Dxa (FIG. 11), region 301xR in FIG. 22 where image 3Dxa was present, etc.) may be stored in the storage unit.
  • storing an area means storing an image of the area.
  • the tracking object candidate region (region 301xR: FIG. 22) is a region of a person's face (face 8F: FIG. 8), and the feature extraction unit uses face center coordinates (for example, coordinates 807: FIG. 8), nose position coordinates (coordinates 808), eye position coordinates (coordinates 805 and 806), and face size (Size) are extracted, and the determination unit determines the face center coordinates (coordinates 807) and the nose position coordinates.
  • Two coordinates of the difference between the two coordinates (coordinate 808), the face center coordinates (coordinate 807), and the coordinates of the center of the two eye position coordinates (coordinates 805, 806) (coordinate 805a) It may be determined (previously described) whether or not it is the predetermined direction (the direction of the direction 103D in FIG. 12) from the two differences (without a sign) between the difference between the two.
  • the feature extraction unit extracts a feature amount indicating a facial expression of a person in the tracking object candidate region (region 301xR: FIG. 22), and the determination unit determines the person's facial expression based on the extracted feature amount. It may be determined whether or not the facial expression is a smiling expression.
  • the determination as to whether or not the expression is a smile may be made, for example, by a process using a known technique.
  • the feature extraction unit extracts a feature amount (for example, a position and a direction of a character edge) necessary for character recognition from an object in the tracking object candidate region (region 301xR), and the determination unit extracts Based on the feature amount, it may be determined whether or not the character appearing on the object has been recognized.
  • a feature amount for example, a position and a direction of a character edge
  • the feature extraction unit extracts a feature amount necessary for object recognition from an object in the tracking object candidate region (region 301xR), and the determination unit extracts a feature registered in the storage unit in advance.
  • the matching may be performed with the feature indicated by the feature amount.
  • object recognition refers to identifying the same object as the object in the tracking object candidate area from among a plurality of objects.
  • the synthesis unit In addition to the image of the tracking object candidate region (region 301xR) (such as the video 92 in FIG. 20), the synthesis unit also includes additional information (an image 92N of a label (name, etc.)) obtained by the determination unit (You may synthesize
  • the display of the other video 92 at the upper time of FIG. 26 may be performed at S501a in FIG. 5, and the display at the lower time may be performed at S501b.
  • the selection data 308d (FIG. 22) for specifying the subject selected as the tracking target 103xm (FIG. 22 and the like) is generated, so that the subject specified by the generated data 208d is the tracking target 103xm. It may be selected.
  • the size (size 92S) of the subject (subject B) in the other video to be displayed is equal to or larger than a predetermined threshold (threshold Th).
  • the size may not be smaller than the threshold (threshold Th) (the size of the video 91b in FIG. 2, the small size 912S in FIG. 27, etc.).
  • a plurality of subjects are used as the subject of the other video 92 that is seen (for example, subject B in FIG. 25).
  • the same subject (subject B) as the subject is easily identified.
  • the user can easily determine that it is appropriate to perform the operation 92L with respect to the other video 92, and the operation can be further simplified.
  • the threshold Th is, for example, when the size of the photographed subject is equal to or smaller than that size, the image of the subject at that size (the image 91b in FIG. 2 and the image 912 in FIG. 27). ) May be a size that is not easy and difficult to perform (for example, the largest of a plurality of such sizes).
  • the direction of the subject (direction 92d in FIG. 28) in the other image to be displayed (the other image 92 in FIG. 25) is the same direction (direction) as the predetermined direction (direction 103d in FIG. 12).
  • 103x2 which is the direction toward the image sensor 103 (camera 1)
  • different directions direction 103x1, direction 913d in FIG. 28, direction in the image 91c in FIG. 2 (backward direction, left rearward direction, etc.)
  • the direction of the subject refers to the direction in which the surface on which many features of the subject appear, such as the front side of the subject, (the direction 92d in FIG. 28, the direction 92dd in FIG. 14). Etc.).
  • the predetermined direction described above is, for example, the same direction as the direction 103d (FIG. 12) facing the image sensor 103 (close to the direction 103d, in the vicinity of the direction 103d).
  • one video 911 in FIG. 26 moves, for example, from a position 911PM (upper stage) to a position 911PN (lower stage), and the size of the photographed subject is a threshold Th ( 25) (see the small size 912S in FIG. 27), and the direction of the photographed subject (subject B) is different from a predetermined direction (direction 103d in FIG. 12).
  • the image may be a direction (direction 103 ⁇ 1, refer to the left rearward direction in one image 911 in FIG. 26).
  • the position does not move (see position 92P in FIGS. 25 and 26), has a large size 92S (see FIG. 25), and is determined in advance.
  • the other image 921 (FIG. 26) having the same direction (direction 103 ⁇ 2 in FIG. 12) as the other direction may be displayed.
  • the image pickup device captures the first video (one video 91 in FIG. 28), the second video (one video (second video) 91 in FIG. 24), The same subject (subject B) as the subject (subject B in FIG. 28) of the video is copied, and the direction of the captured subject (direction in the video 93x of FIG. 24) is the predetermined direction (FIG.
  • the previous video (the previous video 93x in FIG. 24) in the same direction (direction 103x2) as the 12 directions 103d) is captured, and the display unit is information on the captured previous video (the previous video 93x).
  • the information 3D in FIG. 24 (FIG. 3)) (by the combining unit 306 (FIG. 24, FIG. 3, etc.)) generated in the same direction as the predetermined direction (direction 103 ⁇ 2, FIG. 12)
  • the other image (direction 92d in FIG. 28) (FIG. 28). May be displayed other image 92).
  • the information for displaying the other video 92 (information 3D: FIG. 24, FIG. 3, etc.) is simply used simply by capturing the previous video 93x (FIG. 24). This makes it possible to easily display the other video 92.
  • a plurality of destinations including an appropriate destination image 93 (the preceding image 93x: FIG. 24) having the direction 103x2 and an inappropriate destination image 93 having the direction 103x1. From the video 93 (see FIG. 24), an appropriate previous video 93 (the previous video 93x) may be selected and used.
  • the display unit displays the subject (car C) other than the one video (one video 91e) and the other video (the other video 92e) of the subject (for example, the car C in FIG. 17).
  • An image (the other image 92e) indicating “Nara 330xx-oo” and the character string 92e2) may be displayed as the other image (the other image 92).
  • the synthesizing unit performs character recognition from the other video (video 93 in FIG. 17) other than the one video (one video 91e) and the other video (the other video 92e).
  • the identified character (“Nara 330xx-oo”, character string 92e2) generates a video (the other video 92e) synthesized with the other video (video 93), and the display unit generates
  • the obtained video (the other video 92e) may be displayed as the other video (the other video 92).
  • information characters such as the name of the subject may be displayed.
  • a character recognition unit 1504 (FIG. 15 or the like) that performs the above-described character recognition may be provided.
  • the character recognition unit 1504 may be a part of the determination unit 304 or may be provided outside the determination unit 304.
  • the video 9W in FIG. 23 may be captured as one video 91 (previously described). Then, this video 9W does not move (for a predetermined time), has a large size 92S, and the direction of the imaged subject, as with the other video 92 shown in FIG. 25, for example. May be an image in the same direction as the predetermined direction (direction 103 ⁇ 2 in FIG. 12).
  • the imaged one video 91 is such a video 9W or other video that is not the video 9W (one video 911 in FIG. 26, one video 912 in FIG. 27, one video in FIG. 28). Regardless of whether the video 91 is captured and displayed, the video 91 (either video 9W or video 912 or the like) The other video 92 may be displayed.
  • this camera is a consumer digital camera, for example, and when it is desired by the purchased user, the desired subject is imaged, and what kind of subject image is captured cannot be predicted (attached). It is difficult) Cameras.
  • this camera may be a camera (such as a surveillance camera) that captures the subject 103x that appears by chance, such as a car running on the road 103R.
  • a camera such as a surveillance camera
  • a display (thick line) 91X indicating that the operation 104L2 has been performed is indicated by the position 91P of one video 91 and the other Among the positions 92P of the video 92, it is displayed only at the position 91P (in the vicinity) of one video 91 and may not be displayed at the position (in the vicinity) of the other video 92.
  • the other video 92 displayed at the fixed position does not include an image of the appearance of the subject (see the image 92e1 in FIG. 17), and is a character string 9X1 specified by character recognition.
  • a video 9X representing only the character string 92e2 (see FIG. 17, character string 92e2 of the video 92e) may be displayed.
  • the subject (car B) is identified from the plurality of subjects (car A to car C), and the subject (car B) is identified along with one of the captured images 91e (the character string “of the subject”
  • the other image 9X (showing “Osaka 550 nao-xx”) is displayed for easy operation.
  • the display at the fixed position can sufficiently simplify the operation, and the displayed position can be surely made appropriate.
  • the simple display using only the character string 9X1 is performed, an easy-to-understand display is provided and a more adequate display can be performed.
  • the position (position 911PM, position 911PN) of one image 91 (one image 911) of subject B is a predetermined first time (upper stage).
  • the position relationship 921JM (the relationship on the right side) may be included with respect to another position (the position of one captured image 91 (position 921XM) of another subject A).
  • the second positional relationship 921JN (the relationship on the left side) (the image of the other subject (subject A) at the second time is displayed).
  • Position (relative to position 921XN).
  • the position (position 921P) of the other image 92 (the other image 921) of the subject B is the same as the other position 922J (the relationship on the right side) at the first time and the second time.
  • the position (position 922X (922XM, 922XN)) of the other synthesized image 92 of the subject (subject A (other subject)) may be included.
  • the positional relationship 922J (the relationship on the right side) is different. Operation at the position of the positional relationship (not shown, for example, the relationship on the left side) is unnecessary (see the positional relationship 922J in the lower stage), and the operation with the same positional relationship 922J (on the right side) can be performed more reliably. Easy operation.
  • a part (or all) of the tracking target selection device (camera) 1 may be a computer 1C (FIG. 1) including the CPU 101 (FIG. 1). Then, the computer 1C may execute the computer program 1P (FIG. 1, for example, the above-described image processing program), thereby realizing one or more functions described above.
  • the computer program 1P may be stored in the ROM 102, for example.
  • an integrated circuit 1L (FIG. 1) on which one or more functions described above are mounted may be constructed by configuring the computer 1C and configuring an appropriate circuit.
  • reference numeral 705 indicates an image at the time T + ⁇ of the same object as the object of the label A at the time T.
  • Reference numeral 706 indicates an image at the time T + ⁇ of the same object as the object of the label B at the time T.
  • Reference numeral 707 indicates an image of the newly detected object with the label C attached.
  • Reference numeral 901 indicates a face detection candidate frame output by the right 75 degree face detector.
  • Reference numeral 902 indicates a face detection candidate frame output by the right 30 degree face detector.
  • Reference numeral 903 indicates a face detection candidate frame output by the front face detector.
  • Reference numeral 1001 indicates a result of adding an offset to the face detection candidate frame output by the right 75 degree face detector.
  • Reference numeral 1002 indicates the result of adding an offset to the face detection candidate frame output by the right 30 degree face detector.
  • Reference numeral 1003 indicates a result obtained by adding an offset to the face detection candidate frame output by the front face detector.
  • Reference numeral 104L2 indicates an operation of selecting an object at a fixed position.
  • the tracking target selection apparatus and method and storage medium according to the present invention can easily select and track a subject in shooting various scenes when shooting with a digital camera or digital video camera, and perform AF / AE. By controlling, it is possible to easily perform shooting without failure, which is useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

　追尾対象（１０３ｘｍ）を選択する追尾対象選択装置（１ａ）であって、入力画像（９Ｉｂ）における固定の位置（９２Ｐ）に映像（９３）を合成する合成部（３０６）と、表示部（３０７）と、前記固定の位置（９２Ｐ）に表示されている、前記映像（９２）に対して操作（１０４Ｌ２）がされた場合に、検出された被写体（３０１ｘ）を、予め定められた処理における追尾での追尾対象（１０３ｘｍ）として選択する選択部（３０８）とを備える追尾対象選択装置（１ａ）が構築される。

Description

追尾対象選択装置、方法、プログラム及び回路
　本発明は、デジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、セキュリティカメラなどの分野において、画像中から、追尾対象物体を、正確に選択するための技術に関する。
　近年、デジタルスチルカメラやデジタルビデオカメラ等に代表される、撮像機能を有する小型の電子機器が普及するとともに、これらの撮像機能の高機能化が進んでいる。
　例えば、これらの撮像装置は、通常、ＬＣＤ等のディスプレイを備えており、ユーザは、記録される映像を、ディスプレイで確認しながら、被写体を撮影することが可能である。現在、デジタルスチルカメラやデジタルビデオカメラの分野において、人物の顔を検出し、検出した顔に対して、自動合焦機能（ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ））や自動露光機能（ＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ））等の、調整の処理をすることができる撮像装置や、人物の笑顔度を測定し、シャッター制御を行う撮像装置も存在する。
　しかし、顔が複数検出された場合、検出された複数の顔のうちのどの顔に対して制御を行うかを判断するのが困難である。このため、ユーザが意図しない対象に対して、制御（ＡＦの処理、ＡＥの処理など）が行われる場合がある。一方で、ユーザが意図する人物について、予め、その人物の顔画像を登録しておき、特定の人物（登録された顔画像の人物）のみを検出したり、ユーザが選択した人物・物体に対して追尾を行い、その追尾に合わせて、ＡＦ／ＡＥ制御を行う撮像装置も存在する。
　ユーザが、追尾したい人物や物体を選択する、従来の技術としては、ユーザの手入力（例えば、タッチパネル上の追尾対象物体領域に対するタッチなど）によって、追尾対象物体領域を指定し、指定された追尾対象物体領域の色特徴を抽出し、抽出された色特徴等の物体等の追尾を行う技術や、画像中から、追尾候補オブジェクトを検出し、検出した追尾候補オブジェクトを選択し、選択された追尾候補オブジェクトを、追尾オブジェクトとして設定する技術がある（例えば、特許文献１、特許文献２参照）。
　図２１は、前記特許文献１に記載された従来技術のブロック図である。
　従来技術として、図２１に示される処理の方法９Ａが挙げられる。
特開２００４－２５２７４８号公報 特開２００７－７４２７９号公報
　しかしながら、前記特許文献１の方法では、追尾対象物体が、静止状態（もしくは、静止に近い状態）である必要がある。
　図２は、従来技術の課題を説明する図である。
　つまり、例えば、ムービーなどの動画の撮影環境では、被写体が動いている場合が多い。そして、このような撮影環境下において、追尾対象（ＡＥ等において行われる追尾での追尾対象）の選択を行う場合、ムービーのユーザが、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等のディスプレイを見ながら、選択を行う。そして、図２の（Ａ）欄に示すように、追尾対象の選択を行った瞬間、被写体が動いてしまうことがある。つまり、例えば、被写体の映像９１として、動く前の第１の時刻において、第１の位置９１ａ１Ｐの第１の映像９１ａ１が表示される一方で、第２の時刻において、第２の位置９１ａ２Ｐの第２の映像９２ａ２が表示されることがある。つまり、こうして、映像９１が、第１の位置９１ａ１Ｐと、第２の位置９１ａ２Ｐとの間で移動（位置が変化）することがある。
　このような移動の結果、ユーザの意図とはずれた位置の物体（例えば、映像９１の位置が、第２の位置９１ａ２である第２の時刻における、第１の位置９１ａ１Ｐにある物体（図略）など）に対して、選択を行ってしまい、誤った選択に基づいた追尾を行ってしまう。
　なお、このような、映像９１の移動は、例えば、その映像９１へと写された被写体（図１４における被写体１０３ｘを参照）の、三次元空間（道路１０３Ｒを参照）における移動により生じることもある。
　一方で、デジタルカメラやムービーの撮影では、三脚を用いず、手持ちで撮影する場合も多い。このため、被写体が、三次元空間において（道路１０３Ｒにおいて）、ほぼ静止している場合であったとしても、映像９１が移動することが生じることがある。つまり、対象選択の設定の際、機器のボタン操作や、タッチパネルでの操作を行う必要がある。このため、これらの操作により、カメラ本体が動いてしまうことがある。そして、このような、カメラ本体の動きが生じる結果、被写体の位置（被写体１０３ｘの位置を参照）と、カメラの位置（撮像素子１０３の位置を参照）との間の位置関係がずれる事で、映像９１（図２）の位置が、複数の位置（位置９１ａ１Ｐ、９１ａ２Ｐなど）の間で変化してしまうことがある。つまり、こうして、カメラの動きが、誤設定の原因となってしまうことがある。
　また、特許文献２の方法では、追尾対象物の選択を、オブジェクト検出された１以上の候補の中から行う。
　しかし、図２の（Ｂ）欄に示すように、追跡対象の視認性が悪い場合（例えば、対象が、顔の場合においては、顔が小さい場合（映像９１ｂ）、後ろ（例えば、左後ろなど）を向いている場合（映像９１ｃ）など）において、ユーザが、追尾対象として選択したい物体が、どれか分からず（分かり難くて）、適切に選択をすることが困難で、選択の操作が、簡単にできないことがある。
　そこで、本発明は、上記の課題を解決するものであり、追尾対象選択の操作（タッチなど）を、簡易（簡単）にすることができ、追尾対象が静止状態にない場合や（映像９１ａなど）、視認性が悪い場合（映像９１ｂ、映像９１ｃなど）等であっても、簡単に選択できて、ひいては、（確実に）正しく選択ができるようにするための、追尾対象選択装置及びその方法並びに記憶媒体等を提供することを目的とする。
　上述の課題を解決するために、第１の追尾対象選択装置は、追尾対象を選択する追尾対象選択装置であって、入力画像（カメラなどで撮像された入力画像（第２の入力画像））から、所定の物体（予め定められた物体、当該入力画像に撮像された物体）を検出する物体検出部と、前記物体検出部により検出した前記物体を追尾し、追尾される当該物体がある追尾物体候補領域を算出する追尾部と、入力画像（第１の入力画像）における固定の位置に、前記追尾部で算出された前記追尾物体候補領域の画像（第１の入力画像に含まれる第１の映像の被写体の、第２の入力画像における第２の映像）を合成する合成部と、前記合成部で、前記画像が前記固定の位置に合成された後における、合成された当該画像が含まれる前記入力画像（合成後における第１の入力画像）を表示する表示部と、前記表示部により表示される、合成がされた後の前記入力画像における、前記固定の位置に表示されている、合成がされた前記画像に対して、ユーザにより操作（タッチの操作など）がされた場合に、前記操作がされた前記画像において検出された前記物体（例えば、人物（の顔）、車など）を、予め定められた処理（例えば、ＡＦの処理など）における追尾での前記追尾対象として選択する選択部とを備える。
　本構成によって、ユーザが、追尾させたい物体を（、複数の物体から）選択する（追尾対象選択装置に選択させる）際において、対象物体（追尾させたい物体）が動いている場合でも、対象物体候補（画像合成された画像）が、固定の位置に表示されるため、ユーザが意図する対象物体を、正確に選択することが可能となる。
　そして、第２の追尾対象選択装置は、上述の構成、作用を有し、かつ、前記追尾部で追尾している前記対象物体候補領域の前記画像から、所定の特徴を抽出する特徴抽出部と、前記特徴抽出部から抽出された前記特徴から、対象物体の所定の状態（方向（図２の映像９１ｃなどを参照）など）を算出し、算出される前記状態が、予め定められた状態か否か（正面向きの方向か否かなど）を判定する判定部と、前記判定部によって、算出された、前記対象物体候補領域の前記状態が、前記予め定められた状態であると判定された場合に、判定がされた前記追尾対象候補領域（前記追尾対象候補領域の画像）を記憶する記憶部とを備える。
　なお、例えば、領域を記憶するとは、その領域の映像を記憶することをいう。
　本構成によって、対象物体候補領域（その領域の画像）の状態（例えば、その領域に写された被写体の方向など）を判定し、記憶部に記憶し、記憶された対象物体候補領域（の画像）が、固定の位置に表示される。このため、ユーザが、対象物体を選択する時点で、撮像される、対象物体の映像（上述された、第１の入力画像における第１の映像）が、視認性が悪い映像で（図２の（Ｂ）欄などを参照）、その映像の対象物体が、ユーザが意図する対象物体か否かをユーザが判断できない（判断し難い）場合でも、ユーザが、意図する対象物体を、正確に選択することが可能となる。
　なお、本装置は、例えば、追尾装置と呼ばれてもよいし、対象選択装置と呼ばれてもよいし、物体選択装置などのその他の名前で呼ばれてもよい。
　なお、表示を行う表示部の一部などにより、この表示の制御を行う表示制御部が構成されてもよい。つまり、表示部が、この表示制御部により、当該表示部による表示を制御してもよい。
　本発明の追尾対象選択装置によれば、画像中の対象物体が動いている場合（図２の（Ａ）欄を参照）や、対象物体の映像の視認性が悪い（対象が小さい、不適切な向きであるなどによって、ユーザが、対象物体（が複数の物体のうちの何れであるか）を（簡単に）認識できない）場合（（Ｂ）欄を参照）であっても、正確に、ユーザが意図する対象物体を、選択することが可能になる。
　すなわち、操作が簡単にでき、かつ、簡単さの程度が、より十分にでき、かつ、合成がされる画像（本書類における「他方の映像」）の位置が、確実に適切できる。
図１は、本発明の実施の形態における追尾対象選択装置のブロック図である。 図２は、従来技術の課題を説明する図である。 図３は、本発明の実施の形態１における追尾対象選択装置の機能構成を示す機能ブロック図である。 図４は、本発明の実施の形態１における追尾対象選択装置の機能構成を示す表示処理までのフローチャートである。 図５は、本発明の実施の形態１における追尾対象選択装置の機能構成を示す追尾対象選択処理のフローチャートである。 図６は、本発明の実施の形態１における追尾部のフローチャートである。 図７は、本発明の実施の形態１における追尾部を説明するための図である。 図８は、本発明の実施の形態１における特徴抽出部での、物体の向き算出を説明するための図である。 図９は、本発明の実施の形態１における顔中心座標の算出を説明するための図である。 図１０は、本発明の実施の形態１における鼻位置座標の算出を説明するための図である。 図１１は、本発明の実施の形態１における記憶部を説明するための図である。 図１２は、本発明の実施の形態１における表示部を説明するための図である。 図１３は、本発明の実施の形態１における選択処理を説明するための図である。 図１４は、本発明の実施の形態１における他の例を説明するための図である。 図１５は、本発明の実施の形態２における追尾対象選択装置の機能構成を示す機能ブロック図である。 図１６は、本発明の実施の形態２における追尾対象選択装置の機能構成を示す表示処理までのフローチャートである。 図１７は、本発明の実施の形態２における表示の例を説明するための図である。 図１８は、本発明の実施の形態３における追尾対象選択装置の機能構成を示す機能ブロック図である。 図１９は、本発明の実施の形態３における追尾対象選択装置の機能構成を示す表示処理までのフローチャートである。 図２０は、本発明の実施の形態３における表示の例を説明するための図である。 図２１は、従来技術のブロック図である。 図２２は、追尾対象選択装置のブロック図である。 図２３は、画面を示す図である。 図２４は、撮像された複数の画像を示す図である。 図２５は、画面を示す図である。 図２６は、複数の時刻での画面を示す図である。 図２７は、小さいサイズの映像などを示す図である。 図２８は、被写体の向きが、正面向きでない映像などを示す図である。
　以下、本発明の実施の形態について図面を参照しながら説明する。
　実施形態の追尾対象選択装置は、追尾対象（追尾対象１０３ｘｍ：図２２）を選択する追尾対象選択装置（追尾対象選択装置１、カメラ）であって、入力画像（例えば画像９Ｉａなど（図２２、図２４）、カメラにおいて撮像された第２の入力画像）から、所定の物体（被写体３０１ｘ）を検出する物体検出部（物体検出部３０１：図３、図２２など）と、前記物体検出部により検出した前記物体（被写体３０１ｘ）を追尾し、追尾される当該物体がある追尾物体候補領域（（画像９Ｉａに含まれる先の映像９３の）領域３０１ｘＲ）を算出する追尾部（追尾部３０２）と、入力画像（画像９Ｉｂ（図２２、図２４など）、第１の入力画像）における固定の位置（位置９２Ｐ：図２２、図１２、図１３など）に、前記追尾部で算出された前記追尾物体候補領域（領域３０１ｘＲ）の画像（先の映像９３（図２２、図２４など）、映像９２（図２２、図１２、図１３など））を合成する合成部（合成部３０６）と、前記合成部で、前記画像（映像９２（映像９３））が前記固定の位置（位置９２Ｐ）に合成された後における、合成された当該画像（映像９２）が含まれる前記入力画像（画像９Ｃ（図２２、図２４、図１２、図１３など））を表示する表示部（表示部３０７）と、前記表示部により表示される、合成がされた後の前記入力画像（画像９Ｃ）における、前記固定の位置（位置９２Ｐ）に表示されている、合成がされた前記画像（映像９２（映像９３））に対して、ユーザ（ユーザ１Ｕ：図２２）により操作（操作１０４Ｌ２（図２２、図１３など）、タッチの操作など）がされた場合に、（複数の物体（被写体Ａ～Ｃなど）のうちで、）前記操作がされた前記画像（映像９３）において検出された前記物体（被写体３０１ｘ：例えば、図１２、図１３の被写体Ｂ）を、予め定められた処理（ＡＦの処理など）における追尾での前記追尾対象（追尾対象１０３ｘｍ：図２２）として選択する選択部（選択部３０８）とを備える。
　そして、本追尾対象選択装置は、前記追尾部で追尾している前記対象物体候補領域（領域３０１ｘＲ）の前記画像（映像９３）から、所定の特徴（座標９０４（図９）など）を抽出する特徴抽出部（特徴抽出部３０３）と、前記特徴抽出部から抽出された前記特徴（座標９０４など）から、対象物体（映像９３、被写体３０１ｘ）の所定の状態（角度３Ｄ１ｂ（図１１）、方向１０３ｘ１、１０３ｘ２など）を算出し、算出される前記状態が、予め定められた状態（例えば０度（の近傍）、方向１０３ｘ２（図１２）など）か否かを判定する判定部（判定部３０４）と、前記判定部によって、算出された、前記対象物体候補領域（領域３０１ｘＲ、領域３０１ｘＲの映像９３）の前記状態（角度３Ｄ１ｂ（図１１）等）が、前記予め定められた状態（０度、方向０１３ｘ２など）であると判定された場合に、判定がされた前記追尾対象候補領域（領域３０１ｘＲ、領域３０１ｘＲの映像９３）を（合成に利用されるもの（領域、映像）として）記憶する記憶部（記憶部３０５）とを備える。
　なお、例えば、領域を記憶するとは、その領域の映像を記憶することをいう。また、表示部（表示部３０７）が、当該表示部による表示を制御してもよい。つまり、例えば、表示部の一部または全部により、この制御を行う表示制御部が構成されてもよい
　つまり、当該追尾対象選択装置は、カメラ（図１などを参照）であり、被写体（例えば図２５の被写体Ｂ）の、一方の映像（一方の映像９１）を撮像する撮像素子（撮像素子１０３：図１）を備え、前記表示部（表示部３０７）は、撮像された前記一方の映像（一方の映像９１）と共に、当該一方の映像（一方の映像９１）の被写体（被写体Ｂ）の他方の映像（他方の映像９２：図２５など）を表示し、前記選択部（選択部３０８）は、表示された前記他方の映像（他方の映像９２）に対する操作（操作９２Ｌ：図２５など）がされた場合に、撮像された前記一方の映像（一方の映像９１）の前記被写体（被写体Ｂ）を、予め定められた処理（ＡＦの処理など）における追尾での、追尾の対象（追尾対象１０３ｘｍ：図２２）として選択してもよい。
　これにより、タッチ等の操作で選択される被写体（被写体Ｂ）の映像（一方の映像９１）が、カメラ（撮像素子１０３）により撮像された映像で、様々な映像（図２，図２６～図２８などを参照）であることがあり、どのような映像であるか、予測が付かない（付き難い（ことが多い））にも関わらず、適切な動作がされる。
　つまり、被写体（図２５の被写体Ｂ）の映像として、撮像された一方の映像９１と共に、当該一方の映像９１とは異なる他方の映像９２も表示されて、表示された当該他方の映像９２に対する操作９２Ｌがされることにより、被写体（被写体Ｂ）が選択される。これにより、撮像される一方の映像９１がどのような映像であるか（図２、図２６～図２８などを参照）に関わらず、他方の映像９２への操作で足りて、選択の操作が簡単にできる。
　しかも、例えば、複数の時刻（図２６の上段の第１の時刻、下段の第２の時刻）のうちの第２の時刻（下段の時刻）での、表示される、合成された前記画像（図２６における、他方の映像９２１Ｎ（９２１））の位置（位置９２１ＰＮ）は、第１の時刻（上段の時刻）での当該他方の映像（他方の映像９２１Ｍ（９２１））の位置（位置９２１ＰＭ）と同じ位置（共通する位置９２１Ｐ）であり、異なる位置（上段での位置９２１ＰＭとは異なる他の位置（符号は省略））ではない。
　つまり、例えば、こうして、他方の映像９２Ｐの位置９２Ｐは、複数の時刻（第１の時刻、第２の時刻）の間のうちに、移動（変化）されず、静止しており、つまり、共通の位置９２Ｐ（固定位置）に固定される。
　なお、このような複数の時刻は、例えば、第１の映像９１１（図２６上段、下段）の位置が、第１の時刻での位置９１１ＰＭから、第２の時刻での位置９１１ＰＮへと移動（変化）する際における、第１の時刻および第２の時刻などである。
　これにより、他方の映像９２に対する操作がユーザによりされるのに際して、例えば、図２６の位置９１１ＰＭ（上段）および９１１ＰＮ（下段）、または、図２の位置９１ａ１Ｐおよび９１ａ２Ｐなどのような、互いに異なる複数の位置から、操作を行うべき位置を特定する必要がない。つまり、単に、第１の時刻に位置９２１ＰＭでの操作がされるのと同じく、第２の時刻にも、第１の時刻での位置９２１ＰＭと同じ位置９２１ＰＮ（共通する位置９２１Ｐ）での操作がされるだけで済む。このため、複数の位置から、位置がユーザにより特定される必要がなく、操作が、より十分に簡単にできる。
　しかも、第２の時刻（下段）での一方の映像９１１Ｎ（９１１）の位置９１１ＰＮは、第１の時刻（上段）における位置９１１ＰＭと違うにも関わらず、第２の時刻（下段）における、他方の映像９２１Ｐの位置９２１ＰＮは、第１の時刻（上段）での位置９２１ＰＭと同じ位置（位置９２１Ｐ、右下隅の場所）であり、他の位置ではない。このため、一方の映像９１１の位置が変化するにも関わらず、他方の映像９２１の、第１の時刻（上段）における位置９２１ＰＭが適切な位置（右下隅の位置）であるのと同じく、第２の時刻（下段）における位置９２１ＰＮも、適切な位置（右下隅の位置）に維持され、確実に、他方の映像９２１が、適切な位置（例えば、右下隅の位置）に表示できる。
　こうして、本装置によれば、操作が簡単にでき、かつ、簡単さの程度が、より十分にでき、かつ、合成がされる画像（他方の映像９２（９２１））の位置が、確実に適切にできて、様々な効果が両立できる。
　（実施の形態１）
　本実施の形態１では、追尾対象選択装置（追尾対象選択装置１ａ）について開示する。
　図１は、追尾対象選択装置のブロック図である。
　図３は、本実施の形態１における対象追尾選択装置の機能ブロック図である。
　図１を用いて、本形態の追尾対象選択装置の構成を説明する。
　図１において、ＣＰＵ（中央演算処理装置）１０１は、ＲＯＭ（リードオンリーメモリ：Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２に格納され、図４、図５（後述）に示すフローチャートに沿う処理のための画像処理プログラム（例えばコンピュータプログラム１Ｐ）を実行し、バス１１０を経由し、図３に示す各要素を制御する。
　なお、例えば、ＲＡＭ（ランダムアクセスメモリ）１０５および外部記憶装置１０６には、図３に示す記憶部３０５のための領域の他、ＣＰＵ１０１が、その処理のために必要とする一次記憶領域が確保されている。
　なお、図３に示す各処理部の処理は、例えば、ＣＰＵ１０１が、ＲＯＭ１０２に格納された画像処理プログラムを実行することにより行われる。
　本装置は、物体検出部３０１と、追尾部３０２と、特徴抽出部３０３と、判定部３０４と、記憶部３０５と、合成部３０６と、表示部３０７と、選択部３０８とを有する。
　なお、各部の動作の詳細については、後述する。
　図４は、本発明の、追尾対象候補の表示方法のフローチャートである。
　図４に示す、追尾対象候補の表示方法は、図１の装置によって実現される。なお、本実施の形態では、対象物体を、人物の顔（図７、図８などを参照）として、また、所定の状態を、顔の向き（図８の（Ａ）欄、（Ｂ）欄、図２の映像９１ｃなどを参照）として、説明する。
　ステップＳ４０１で、本装置において、撮像素子１０３から入力された画像から、物体検出部３０１は、人物の顔の位置と大きさとをそれぞれ検出する。
　ステップＳ４０２で、物体検出部３０１で検出された、人物の顔を、固有の物体として、物体追尾を行う（追尾部３０２）。
　ステップＳ４０３で、追尾された顔の顔向きを算出するための特徴を抽出する（特徴抽出部３０３）。
　ステップＳ４０４で、ステップＳ４０３で抽出された特徴から、顔の向きを推定する（例えば特徴抽出部３０３により）。
　ステップＳ４０５で、ステップＳ４０４で推定された、顔の向きが、所定の状態（例えば、正面向きの顔）との誤差が、過去の推定誤差より小さい向きか否かを判定する（判定部３０４）。
　ステップＳ４０６で、ステップＳ４０５において、過去の推定誤差より小さいと判定された場合に（Ｓ４０５：Ｙｅｓ）、記憶部３０５に、より小さいと判定された推定誤差を更新する。
　ステップＳ４０７で、ステップＳ４０６における処理と同様に、ステップＳ４０１で検出された顔画像を、その顔画像に付与されている（その顔画像に対応付けられた）固有のラベルとともに、記憶部３０５に記憶更新する（データ３Ｄ（図３）を参照）。
　ステップＳ４０８で、ステップＳ４０７で記憶された顔画像を、固定の位置（図１２、図１３の位置９２Ｐなどを参照）に表示されるように、合成部３０６で合成を行い、合成された、固定の位置における顔画像を、表示部３０７に表示する。
　物体検出部３０１は、撮像素子１０３から入力された画像（入力画像）から、ユーザが追尾したい人物の顔の候補を検出する。
　なお、詳細な検出アルゴリズムとしては、例えば、特開２００６－３５０６４５等で公開されている、ＡｄａＢｏｏｓｔアルゴリズムを用い、例えば、顔向き毎に、専用の顔向きを検出する識別器を構成して、適切な処理を実現する（後述の説明を参照）。
　なお、物体検出方法は、このアルゴリズムに限ったものではない。
　なお、非特許文献　ＰＲＭＵ　１０７（２０６）　ＰＰ２１１－２２４において、一般物体の検出に関しても、その可能性が述べられている。つまり、本技術は、対象物体を、人物の顔に限ったものではなく、対象物体を、一般物体まで広げた範囲において、適応することが可能である。
　追尾部３０２は、物体検出部３０１が、例えば、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として構成され、リアルタイム処理（例えば、１秒当たり３０回以上の処理）が可能となった場合などに適する、次のような処理をしてもよい。つまり、一度検出された物体は、次フレームでは、前フレームで検出された位置の近傍で検出される可能性が高いはずである。つまり、上述された、リアルタイム処理が可能であるケース等においては、追尾部３０２において、このような、検出位置の連続性を用いて、この連続性を用いる追尾部を実現してもよい。
　図６は、追尾部のフローチャートである。
　ステップＳ６０１で、検出された物体の位置の近傍に、１フレーム前に、物体が存在したかを判定する。
　ステップＳ６０２で、ステップＳ６０１において、１フレーム前における位置の近傍に、検出した物体が存在すると判定された場合に（Ｓ６０１：Ｙｅｓ）、検出された物体（１フレーム前における、近傍に存在した物体と同じ物体）の検出座標の履歴を更新する。
　ステップＳ６０３で、ステップＳ６０１において、１フレーム前の近傍に、検出した物体が存在しないと判定された場合に（Ｓ６０１：Ｎｏ）、検出された物体に対して、これまでに検出された物体に付与された各ラベルとは異なる、固有のラベル（新しいラベル）を付与する。
　ステップＳ６０４で、新たに検出された物体検出座標を、検出座標の履歴に、新たに追加する。
　なお、ここでの説明では、位置の連続性を用いた追尾方法を述べたが、用いられる方法は、色を用いた物体追尾方法や、顔照合を用いた物体追尾方法であってもよいし、その他の方法でもよい。
　図７は、追尾の結果を示す。
　前フレーム７０１（図７の上段）において検出された、物体の位置（位置７０２ａ、７０３ａ）から、後フレーム７０４（下段）において検出された物体の位置（位置７０５ａ、７０６ａ）へと、検出される位置が変化した場合が、図７により示される。
　そして、この場合において、既に（図７の上段の時刻から）存在して、固有のラベルが付与されているＡ（７０２）、Ｂ（７０３）については、後フレーム７０４（下段の時刻）では、次の処理がされる。つまり、行われる処理は、それぞれの物体（前フレーム７０１における、位置７０２ａの物体、位置７０３ａの物体）の位置が、新しい位置（下段における位置７０５ａ、位置７０６ａ）に変わっても、上段の時刻での、その物体のラベルと同一のラベル、つまり、変化しないラベルにより、その物体へのラベルの付与がされる処理である。これにより、図示されるように、位置７０５ａについて、Ａ（７０５）の付与がされ、位置７０６ａについて、Ｂ（７０６）の付与がされる。他方で、新たに検出された物体（７０７）は、新たにラベルＣ（新しいラベル）が付与される。
　特徴抽出部３０３の本説明では、人物の顔向きで説明する。
　図８は、本発明の実施の形態１における特徴抽出部での、物体の向きの算出の処理を説明するための図である。
　例えば、抽出する特徴（属性、性質）として、左右の目位置（例えば、図８の（Ａ）欄での、２つの目の座標８０１、８０２）、顔中心座標（例えば座標８０３）、鼻位置座標（例えば座標８０４）、顔サイズ（図８のＳｉｚｅ）の５点を抽出する。
　なお、両目の検出においては、人物顔の検出のアルゴリズムと同様のアルゴリズムにより、検出が可能である。なお、この検出で用いられる方法は、例えば、エッジベースの、コーナー検出アルゴリズムを用いた方法などでもよいし、その他の方法などでもよい。
　図９は、本発明の実施の形態１における、顔中心座標の算出の処理を説明するための図である。
　顔検出器（顔検出器３０３ａ）は、複数の顔向き検出器（検出器３０３ａ１～３０３ａ３など）から構成されており、顔が存在する１箇所において、それらの、様々な顔向きの複数の検出器（検出器３０３ａ１等）のうちのそれぞれが、位置・サイズが変わる、互いに異なる複数の候補枠を出力する（検出器３０３ａ１による３つの（複数の）枠９０１、検出器３０３ａ２による３つの枠９０２、検出器３０３ａ３による３つの枠９０３などを参照）。
　そして、出力された複数の候補枠の中心座標の平均値、サイズの平均値をそれぞれ算出し、それら複数の算出で得られる複数の情報を統合した結果として得られる中心座標が、顔中心座標となる（座標９０４）。なお、つまり、こうして、例えば、それら、検出器３０３ａ１による複数の枠９０１と、検出器３０３ａ２による複数の枠９０２と、検出器３０３ａ３による複数の枠９０３とのうちの何れもが利用されることにより、比較的精度よく、顔の中心の座標９０４が算出されてもよい。
　図１０は、本発明の実施の形態１における、鼻位置座標（座標１００４を参照）の算出の処理を説明するための図である。
　顔中心座標の処理（上述の図９など）と同様に、複数の顔向き検出器（例えば、検出器３０３ｂ１～３０３ｂ３など）のそれぞれが、位置・サイズが変わる、複数の候補枠を出力する（図９を参照）。
　そして、この、出力された候補枠に対して、その候補枠を出力した検出器に対応する処理がされる。つまり、それぞれの候補枠に対して、一定量の、その候補枠を出力した検出器に対応するオフセットを与える。なお、例えば、与えられるオフセットは、顔サイズで正規化されたオフセットである。このことにより、候補枠の中心座標を、鼻位置に補正する（図１０における、補正後の枠１００１～１００３を参照）。
　そして、オフセット量を与えられた候補枠（補正後の枠１００１～１００３）の中心座標の平均値、サイズの平均値をそれぞれ算出し、各算出で得られる情報を統合した結果の中心座標が、鼻位置座標（座標１００４）とされる。
　なお、今回の例では、鼻位置座標の算出において、各顔検出器の出力結果を用いて、算出をしたが、人物顔の検出と同様のアルゴリズムにより、検出を行っても良いし、別のアルゴリズムを用いて、位置の検出を行っても良い。
　判定部３０４の説明では、人物の顔向き判定の例を用いて、説明する。
　上述のようにして、特徴抽出部３０３により、左右の目位置座標、顔中心座標、鼻位置座標、および、顔サイズが、下記の処理がされるよも前に、既に得られている。
　そこで、まず、顔中心位置と（例えば図９の座標９０４など）、鼻位置と（図１０の座標１００４など）のそれぞれの位置のＸ成分（下記の数式１におけるFaceｘおよびNoseｘ）の、顔サイズ（FaceSize、下記の数式１の分母を参照）で正規化した、正規化差分量（Fｎ、数式１の左辺を参照）を算出する。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　（数１）

　また、同様に、顔中心位置と（下記の数式２におけるFaceｘを参照）、左右の目（下記の数式２におけるLEyeｘおよびLEyeｙ、図８を参照）の中心点（図８の座標８０５ａを参照）とのＸ成分の、顔サイズ（FaceSize、下記の数式２の分母を参照）で正規化した、正規化差分量（Fｅ、数式２の左辺を参照）を算出する。
Figure JPOXMLDOC01-appb-M000002

　　　　　　　　　　　　　　　　　　　　　　　　　　　（数２）
　それぞれの、算出された正規化差分量(Fｎ, Fｅ、数式１および数式２）から、その差分量に相当（対応）する、顔向きの角度(下記の数式３、４における、Dirｎ, Dirｅを参照)を、ルックアップテーブル（数式３、４におけるLUTｎ, LUTｅを参照）よりテーブル引きし、顔向き角度（Dirｎ, Dirｅ）とする。
Figure JPOXMLDOC01-appb-M000003
　　　　　　　　　　　　　　　　　　　　　　　　　　　（数３）
Figure JPOXMLDOC01-appb-M000004

　　　　　　　　　　　　　　　　　　　　　　　　　　　（数４）
　そして、最終的な顔向き角度としては、下記の[式５]（数式５）に示す通り、上述の数式３、４でそれぞれ算出された顔向き（Dirｎ、Dirｅ）に対して、重み(Wｎ, Wｅ)を掛け、足し合わせた値（Dir）を算出する。
Figure JPOXMLDOC01-appb-M000005

　　　　　　　　　　　　　　　　　　　　　　　　　　　（数５）
　なお、顔向き判定においては、より多くの顔特徴点を取得してもよく、つまり、例えば、幾何学的位置関係から、顔向きを、より精度よく算出するアルゴリズムなどを用いても良い。
　そして、算出された顔向き角度が、所定の向きか否かを判定する。ここでは、例えば、説明の都合上、所定の向きを、正面の顔向き（図１２の方向１０３ｘ２などを参照）で説明する。
　そして、算出された顔向き角度が、－１０度～１０度（０度の、予め定められた近傍の角度）の場合、正面向きの顔と判定し、記憶部３０５に、正面向きの顔と判定された画像とともに、顔向き角度の算出値、付与されたラベルも記憶する（図３のデータ３Ｄを参照）。
　そして、次フレーム以降の処理においては、同一の追尾対象の顔向き算出値が、記憶している算出値（顔向き算出値）と比較した時における、より正面向きである顔の算出値（顔向き算出値）であった場合には、次の処理がされる。つまり、その処理は、記憶部に記憶している、正面向きの画像と、顔向き角度の算出値とを、上述された、同一の追尾対象の顔向き算出値が算出された画像と、その顔向き算出値とへと、それぞれ更新する処理である。
　図１１は、本発明の実施の形態１における記憶部を説明するための図である。
　先述の説明のようにして、適切な処理がされることにより、記憶部には、図１１に示すように、追尾している物体（顔）の、正面の向きの画像（画像３Ｄ１ａ～３Ｄ３ａ）と、顔向きの算出値（値（スコア）３Ｄ１ｂ～３Ｄ３ｂ）と、付与されたラベル（ラベル３Ｄ１ｃ～３Ｄ３ｃ）とがそれぞれ記憶される。なお、ラベル（ラベル３Ｄ１ｃなど）は、例えば、そのラベルが付与される画像（例えば画像３Ｄ１ａ）の被写体（被写体Ａ）を、複数の被写体（被写体Ａ～Ｃ）のうちから特定する情報などである。
　合成部３０６は、記憶部に記憶されている、追尾物体の画像のサイズを正規化し、正規化がされた後における、追尾物体の画像を、入力画像と合成する。つまり、例えば、記憶された画像から、予め定められたサイズを有し、当該予め定められたサイズへと、サイズが正規化（変更）された画像が生成されて、生成された画像が、上述の入力画像（の一部分）に合成されてもよい。
　なお、合成する場所は、撮影シーン画像の邪魔にならない場所であることが好ましく、例えば、画面の下部や上部などの四隅に合成してもよい（図１２における、合成がされる、右下隅の場所などを参照）。
　また、普段は、正規化された画像の合成がされないなどで、正規化された画像が表示されず、合成がされる前の、元々の入力画像のみを表示させておいてもよい。そして、ユーザの操作によって、正規化された画像の表示を行うことが指示された場合にのみ、任意の場所（右下隅の場所など）に、画像（正規化された画像）の合成を行い、元々の入力画像と、正規化された画像との両方が含まれる、合成後の画像が生成され、表示されてもよい。つまり、この指示がされた場合にのみ、その画像（正規化された画像）を表示させても良い。
　また、入力画像における、追尾している物体の位置（例えば、図１２における映像９１の位置）の付近に、付与された、その物体に対応するラベル（図１２における、映像９１の付近に示される「Ｂ」の文字を参照）も合成してもよい。このことによって、選択しようとしている対象物体（被写体の、正規化されて、合成された画像（映像９２を参照））と、実際の、入力画像上での位置（入力画像で、その被写体が撮像された位置（映像９１の位置））との間の対応が（比較的簡単に）取れる為、ユーザにとって分かり易くできる。
　図１２は、本発明の実施の形態１における表示部を説明するための図である。
　表示部３０７は、合成部３０６によって、入力画像と、記憶部で記憶している画像を表示させる。図１２に、記憶している画像と、入力画像を合成し、合成により生成された画像９Ｃを表示させた例を示す。
　図５は、本発明の実施の形態１における追尾対象選択装置の機能構成を示す追尾対象選択処理のフローチャートである。
　次に、追尾対象候補の選択方法の説明を、図５のフローチャートで説明する。
　ステップＳ５０１で、記憶部に記憶している、追尾対象候補の画像を、固定位置に表示する。なお、例えば、第１の時刻（例えば、図２６の上段での時刻）で表示がされると共に（Ｓ５０１ａ）、第１の時刻で表示がされる位置（例えば位置９２１ＰＭ）と同じ位置（位置９２１ＰＮ）に、第２の時刻における表示がされて、固定位置への表示がされてもよい。
　ステップＳ５０２で、ユーザの操作（合成されて表示された、上記の画像（図１２の映像９２）に対するタッチ等）によって、追尾したい対象を、固定位置からユーザが選択する（ユーザが、装置１に選択させる）。つまり、例えば、対象（例えば図１２の被写体Ｂ）が、その対象の、合成された映像（例えば図１２の映像９２ｂ）が表示された固定位置（位置９２ｂＰ）に対する操作（タッチ等）により、選択されてもよい。
　図１３は、本発明の実施の形態１における選択処理を説明するための図である。
　図１３に示すように、ユーザが、それぞれの顔画像が、固定位置（位置９２Ｐなど）で、正面を向いた顔画像（映像９２）である複数の顔画像（被写体Ａ～Ｃの３個の顔画像）の中から、追尾したい対象の顔画像をタッチして、その顔画像の対象（被写体、例えば被写体Ｂ）を選択することが可能であり、誤った対象選択が行われなくなる。
　なお、対象を選択後、選択された対象に対してのみ、追尾枠（図１３における、被写体Ｂの映像９１に付された、太線９１ｘによる枠を参照）を表示し、ＡＥ／ＡＦの制御を行う。また、対象選択後は、記憶部に記憶している画像を合成せずに、映像９２等の合成をせず、画面１０４Ｒにおける表示をしても良い。
　図１４は、本発明の実施の形態１における、他の例を説明するための図である。
　実施の形態１では、人物の顔を例にとって説明したが、図１４に示すように、人物以外の一般物体、例えば、車のような場合の形態が構成されても良い。
　また、特徴抽出部で、笑顔判定に用いる顔画像の、エッジや周波数成分を、特徴として抽出してもよい。そして、判定部において、抽出された特徴から、笑顔度を判定して、記憶部に記憶させ、スチール写真として、そのシーンを出力しても良い。つまり、例えば、複数の顔画像のうちで、その顔画像から抽出された特徴から特定される笑顔度が比較的高い顔画像が出力されて、出力される顔画像のシーンの映像が、合成された映像（映像９２参照）として出力されてもよい。
　（実施の形態２）
　図１５は、本実施の形態２における、文字情報を用いた追尾対象選択装置（装置１ｂ）の機能ブロック図である。
　本装置は、物体検出部１５０１と、追尾部１５０２と、特徴抽出部１５０３と、文字認識部１５０４と、記憶部１５０５と、合成部１５０６と、表示部１５０７と、選択部１５０８とを有する。
　各部の動作については、後で詳しく述べられる。
　図１６は、本発明の実施の形態２における追尾対象選択装置の機能構成（処理構成）を示す、表示処理までのフローチャート図である。
　実施の形態１の場合と、多くの点が同じであるため、文字認識部の処理以降の部分（Ｓ１６０４以降の部分）を特に詳しく説明する。
　ステップＳ１６０４で、追尾している対象物体候補画像から、文字認識に必要な特徴を抽出する（特徴抽出部１５０３）。
　ステップＳ１６０５で、追尾している対象物体候補が、既に文字認識できているものか否かを判定する。
　ステップＳ１６０６で、まだ文字認識が出来ていないなら、抽出した特徴より、文字認識を行う（文字認識部１５０４）。
　ステップＳ１６０７で、文字認識に成功したか否かを判定する。
　ステップＳ１６０８で、文字認識に失敗したなら（Ｓ１６０７：Ｎｏ）、追尾物体の画像を記憶する。
　ステップＳ１６０９で、文字認識に成功したなら（Ｓ１６０７：Ｙｅｓ）、認識した文字を記憶する（記憶部１５０５）。
　ステップＳ１６１０で、記憶部に記憶している追尾対象候補画像や文字を、入力画像と合成し、固定の位置（固定位置）に表示する。
　文字認識部１５０４は、追尾対象物体が持つ、固有の文字情報を認識する。例えば、認識される文字情報は、車のナンバープレートの情報のような文字情報である。
　記憶部１５０５では、追尾対象の画像と、認識した文字情報の両方（図３のデータ３Ｄを参照）を記憶する。
　合成部１５０６では、入力画像に対して、追尾対象候補画像、もしくは文字情報、もしくはそれらの両方を合成して（後述の図１７などを参照）、合成がされた後における画像（入力画像）を、表示部１５０７に表示させる。
　図１７は、本発明の実施の形態２における、表示の例を説明するための図である。
　例えば、図１７に示されるような表示がされてもよい。
　（実施の形態３）
　図１８は、本実施の形態３における、文字情報を用いた対象追尾選択装置（装置１ｃ）の機能ブロック図である。
　本装置は、物体検出部１８０１と、追尾部１８０２と、特徴抽出部１８０３と、類似度算出部１８０４と、記憶部１８０５と、合成部１８０６と、表示部１８０７と、選択部１８０８と、登録ＤＢ１８０９とを有する（ＤＢ：database）。
　図１９は、本発明の実施の形態３における追尾対象選択装置の機能構成（処理構成）を示す、表示処理までのフローチャート図である。
　実施の形態１の場合と、多くの点が同じであるため、判定部以降の部分（Ｓ１９０５以降の部分）を特に詳しく説明する。
　ステップＳ１９０５で、追尾している対象物体候補画像から抽出された特徴（特徴１８０３ａ：図１８）と、予め登録ＤＢに登録されている特徴（特徴１８０９ａ）との間のマッチングを行い、（それらの特徴の間の）類似度（類似度１８０４ａ：図１８）を算出する。
　ステップＳ１９０６で、Ｓ１９０５で算出された類似度（類似度１８０４ａ）を、過去の類似度（データ３ＤＷ（図１８）を参照）と比較して、判定する。
　ステップＳ１９０７で、ステップＳ１９０５で算出された類似度が、過去の類似度（データ３ＤＷの類似度）よりも高い値である場合に（Ｓ１９０６：Ｙｅｓ）、類似度の更新を行う。
　ステップＳ１９０８で、過去の類似度より高い値である場合において（Ｓ１９０６：Ｙｅｓ）、追尾物体を記憶更新する。
　ステップＳ１９０９で、ステップＳ１９０５で算出された類似度が、ある閾値より高いかを判定する。
　ステップＳ１９１０で、ある閾値より高い類似度であれば（Ｓ１９０９：Ｙｅｓ）、登録ＤＢに付随する付加情報も、記憶部に記憶する。
　ステップＳ１９１１で、記憶部に記憶している追尾対象候補画像と付加情報とを、それぞれ、入力画像に合成し（図１７の映像９２ｅを参照）、入力画像における固定の位置に、それらを表示する。
　登録ＤＢ１８０９は、特定の人物の顔画像と、付加情報（人物名など）とを、予め登録してあるデータベースである。
　類似度算出部１８０４では、特徴抽出部１８０３で抽出された特徴（特徴１８０３ａ：図１８）と、予め登録してある、登録ＤＢ１８０９での特徴（特徴１８０９ａ）との間のマッチングを行う。マッチングの結果の類似度（類似度１８０４ａ）が、以前の類似度（データ３ＤＷの類似度）よりも高い類似度であれば（図１９のＳ１９０６：Ｙｅｓ）、類似度と、追尾物体画像とを記憶部へ、記憶更新する。さらに、類似度が閾値を超える場合には（Ｓ１９０９：Ｙｅｓ）、登録ＤＢに付随する付加情報も、記憶部に記憶する。
　合成部１８０６では、追尾対象画像とともに、付加情報がある場合には、その付加情報も、入力画像（先述）に対して合成し、表示部で表示する。
　図２０は、本発明の実施の形態３における表示の例を説明するための図である。
　表示例を、図２０に示す。
　なお、また、本発明を、上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
　上記の対象物体選択装置は、具体的には、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、などから構成されるコンピュータシステムである。そして、前記ＲＡＭには、コンピュータプログラムが記憶されている。前記ＣＰＵが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが、複数個組み合わされて、構成されたものである。
　上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を、１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
　上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能な、ＩＣカード（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）または単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－ＲＯＭ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ（ｄｉｓｃ））、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
　また、本発明は、登録データ、前記コンピュータプログラム、または前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送する方法としてもよい。
　また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
　また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または、前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより本発明を実施するとしてもよい。
　こうして、要するに、追尾対象をユーザが選択する際、追跡対象が動いている場合（図２の（Ａ）欄を参照）や、視認性が悪い場合（（Ｂ）欄を参照）でも、追尾対象を選択し易くすることができる。つまり、入力画像中から、所定の物体を検出する物体検出部と、前記検出された物体を、（時刻が互いに異なっても互いに）同一の物体と（特定）して、追尾を行う追尾部と、前記追尾（追跡）をしている物体から、特徴を抽出する特徴抽出部と、前記抽出した特徴から、検出物体の状態（例えば、顔の方向など）を算出し、検出物体を記憶するか否かの判定を行う判定部と、前記判定部により、記憶すると判定された物体の状態を表すスコアと、追尾している物体の画像（当該スコアにおける状態（顔の方向）での画像）とを記憶する記憶部と、入力画像に対して、前記記憶部で記憶している、物体の画像（上述のスコアの状態での画像）を、固定の位置において合成して、合成がされた後における、上述の入力画像を表示する表示部と、前記表示部の、固定の位置に表示されている検出物体を、予め定められた処理（例えば、ＡＦの処理）における追尾での追尾対象として選択する選択部からなる。
　なお、被写体は、猫、犬などのペットでもよい。そして、先述された、固定の位置（図１２の位置９２Ｐ等）に合成され、表示される画像（例えば、図１２における、他方の映像９２）は、ペットの毛並み（色、模様、毛並みのテクスチャなど）を表示する画像でもよい。
　なお、図１４の処理がされる際などにおいては、例えば、道路１０３Ｒを走る車（被写体１０３ｘ）の監視がされてもよい。
　なお、こうして、図２６に示されるように、被写体（例えば、図２６の被写体Ｂ）の、撮像された第１の映像（一方の映像９１）と共に、その被写体の、タッチ等の操作がされる第２の映像（他方の映像９２）が表示されてもよい。
　そして、図１２の方向９２ｂｄ、方向９２ｍｄにより示されるように、例えば、一の被写体（例えば、図１２の被写体Ｂ）の第２の映像（他方の映像９２ｂ）における、被写体（被写体Ｂ）の方向（方向９２ｂｄ）は、他の被写体（例えば被写体Ｃ）の第２の映像（他方の映像９２ｍ）における、被写体（被写体Ｃ）の方向（方向９２ｍｄ）と同じでもよい。
　すなわち、固定位置に表示される対象物が、必ずしも、同じ方向（向き）を向いていなくても良い。
　つまり、図１２における、被写体Ｂの他方の映像９２ｂにおける方向９２ｂｄは、被写体Ｃの他方の映像９２ｍにおける方向９２ｍｄと同じ方向である。これら、方向９２ｂｄおよび方向９２ｍｄにより示されるように、例えば、固定位置に表示される対象物が、同じ方向を向いていてもよい。
　一方で、必ずしも、この図１２での例のように、同じ方向（方向９２ｂｄおよび方向９２ｍｄを参照）を向いている必要はなく、説明の便宜上から詳しい説明（図示等）は省略されたが、違う方向を向いていても良い。
　なお、この点に関しては、図１４における、方向９２ｄｄと、方向９２ｎｄについても、同様である。
　なお、例えば、図１４に示される車Ａ～Ｃ（図１４の上部の３つの被写体１０３ｘ）の３つの第１の映像（一方の映像９１）は、それぞれ、撮像素子１０３により撮像された、道路１０３Ｒの画像９Ｉｂ（図１４）の一部でもよい。つまり、画像９Ｉｂが撮像されることにより、それぞれが、撮像された画像９Ｉｂにおける一部であり、当該画像９１ｂにおいて、当該一部に含まれる映像である複数の第１の映像（複数の一方の映像９１（図１４））が撮像されてもよい。
　こうして、例えば、前記判定部は、前記状態（写された被写体の方向など）を示すスコア（角度３Ｄ１ｂ（図１１）等）を算出し、前記記憶部は、前記追尾物体候補領域の前記画像（画像３Ｄ１ａ（図１１））とともに、算出された、当該画像の前記状態の前記スコア（角度３Ｄ１ｂ等）を記憶してもよい。
　また、前記判定部は、算出された、前記状態を示すスコア（角度３Ｄｘｂ（図１１））を、前記記憶部に予め記憶されたスコア（角度３Ｄ１ｂ）と比較して、算出された前記スコア（角度３Ｄｘｂ）と、算出された前記スコア（角度３Ｄｘｂ）により示される前記状態の前記画像（画像３Ｄｘａ）とを前記記憶部に更新するか否かを判定し、前記判定部により、更新すると判定された場合、前記記憶部に予め記憶された前記スコア（角度３Ｄ１ｂ）と、予め記憶された当該スコア（角度３Ｄ１ｂ）に対応付けて記憶された画像（画像３Ｄ１ａ）とを、算出された前記スコア（角度３Ｄｘｂ）と、算出された当該スコア（角度３Ｄｘｂ）の前記画像（画像３Ｄｘａ）とへと、それぞれ更新してもよい。
　また、前記特徴抽出部は、前記追尾物体候補領域の前記画像（映像９３：図２２など）に表れる向き（図１２の向き１０３ｘ１、向き１０３ｘ２などのうちの１つ）を示す特徴量（座標９０４（図９）など）を抽出し、前記判定部は、抽出した前記特徴量に基づいて、当該特徴量により示される前記向き（向き１０３ｘ１、向き１０３ｘ２などのうちの１つ）が、所定の向き（例えば、方向１０３ｄ（図１２）の向き）であるか否かを判定し、前記所定の向きと判定された場合に、判定がされた前記向きを示す前記特徴量が抽出された前記追尾物体候補領域（画像３Ｄｘａ（図１１）、画像３Ｄｘａがあった、図２２の領域３０１ｘＲ等）を前記記憶部に記憶させてもよい。
　なお、例えば、領域を記憶するとは、その領域の映像を記憶することをいう。
　また、前記追尾物体候補領域（領域３０１ｘＲ：図２２）は、人物の顔（顔８Ｆ：図８）の領域であり、前記特徴抽出部は、前記特徴量として、顔中心座標（例えば座標８０７：図８）、鼻位置座標（座標８０８）、目位置座標（座標８０５、８０６）、顔サイズ（Ｓｉｚｅ）を抽出し、前記判定部は、前記顔中心座標（座標８０７）と、前記鼻位置座標（座標８０８）との２つの座標の間の差と、前記顔中心座標（座標８０７）と、２つの前記目位置座標（座標８０５、８０６）の中心の座標（座標８０５ａ）との２つの座標の間の差との２つの前記差（符号を付けず）から、前記所定の向き（図１２の方向１０３Ｄの向き）か否かの判定（先述）をしてもよい。
　また、前記特徴抽出部は、前記追尾物体候補領域（領域３０１ｘＲ：図２２）の人物の顔表情を示す特徴量を抽出し、前記判定部は、抽出した当該特徴量に基づいて、前記人物の前記顔表情が、笑顔の表情であるか否かを判定してもよい。
　なお、笑顔の表情であるか否かの判定は、例えば、公知の技術による処理により、行われてもよい。
　また、前記特徴抽出部は、前記追尾物体候補領域（領域３０１ｘＲ）の物体から、文字認識に必要な特徴量（例えば、文字のエッジの位置、方向など）を抽出し、前記判定部は、抽出した当該特徴量に基づいて、当該物体に表れた文字の文字認識ができたか否かを判定してもよい。
　また、前記特徴抽出部は、前記追尾物体候補領域（領域３０１ｘＲ）の物体から、物体認識に必要な特徴量を抽出し、前記判定部は、前記記憶部に予め登録されている特徴と、抽出した当該特徴量により示される特徴との間のマッチングを行い、判定をしてもよい。
　なお、例えば、物体認識とは、複数の物体のうちから、追尾物体候補領域の物体と同じ物体を特定することなどをいう。
　また、前記合成部は、前記追尾物体候補領域（領域３０１ｘＲ）の画像（図２０の映像９２など）に加えて、前記判定部により得られる付加情報（ラベル（名前など）の画像９２Ｎ）も（撮像された入力画像（先述）に対して）合成してもよい。
　なお、例えば、図２６の上段の時刻における、他方の映像９２の表示は、図５のＳ５０１ａでされると共に、下段の時刻での表示は、Ｓ５０１ｂでされてもよい。
　なお、例えば、追尾対象１０３ｘｍ（図２２等）として選択される被写体を特定する選択データ３０８ｄ（図２２）が生成されることにより、生成されるデータ２０８ｄにより特定される被写体が、追尾対象１０３ｘｍとして選択されてもよい。
　そして、表示される前記他方の映像（図２５の他方の映像９２）における、前記被写体（被写体Ｂ）のサイズ（サイズ９２Ｓ）は、予め定められた閾値（閾値Ｔｈ）以上のサイズ（サイズ９２Ｓ）であり、当該閾値（閾値Ｔｈ）よりも小さいサイズ（図２の映像９１ｂのサイズ、図２７の小さいサイズ９１２Ｓなど）ではなくてもよい。
　これにより、閾値以上の大きなサイズ９２Ｓのために、ユーザが、他方の映像９２を見る際において、見られた当該他方の映像９２の被写体（例えば、図２５での被写体Ｂ）として、複数の被写体（被写体Ａ～Ｃなど）のうちから、当該被写体と同じ被写体（被写体Ｂ）が簡単に特定される。これにより、例えば、他方の映像９２に対する操作９２Ｌをするのが適切であるのがユーザにより簡単に判断されるなどして、操作が、さらに十分に簡単にできる。
　なお、閾値Ｔｈは、具体的には、例えば、写された被写体のサイズが、そのサイズ以下であると、当該サイズでの被写体の写された映像（図２の映像９１ｂ、図２７の映像９１２）に対する操作が、簡単でなく、行い難いサイズ（例えば、そのようなサイズの複数のうちの最大のものなど）などでもよい。
　そして、表示される前記他方の映像（図２５の他方の映像９２）における、前記被写体の方向（図２８の方向９２ｄ）は、予め定められた方向（図１２の方向１０３ｄ）と同じ方向（方向１０３ｘ２、撮像素子１０３（カメラ１）を向いた方向）であり、異なる方向（方向１０３ｘ１、図２８の方向９１３ｄ、図２の映像９１ｃでの方向（後ろ向きの方向、左後ろを向いた方向など）ではなくてもよい。
　なお、被写体の方向とは、例えば、被写体の正面などの、被写体が有する複数の面のうちの、その被写体の特徴が多く表れた面が向く方向（図２８の方向９２ｄ、図１４の方向９２ｄｄ等を参照）などをいう。
　そして、上述された、予め定められた方向は、例えば、撮像素子１０３を向いた方向１０３ｄ（図１２）と同じ（方向１０３ｄに近い、方向１０３ｄの近傍の）方向などである。
　これにより、被写体の正面の外観（の特徴（図２５の映像９２、図１４の映像９２等を参照））がユーザに見え易いなどにより、ユーザが、複数の被写体（例えば、図２５の被写体Ａ～Ｃ）から、他方の映像９２に写された被写体（被写体Ｂ）が、何れの被写体であるかを、より簡単に特定して、操作が、さらに十分に簡単にできる。
　なお、例えば、図２６の一方の映像９１１は、例えば、より具体的には、位置９１１ＰＭ（上段）から位置９１１ＰＮ（下段）へと移動し、かつ、写された被写体のサイズが、閾値Ｔｈ（図２５等）よりも小さいサイズであり（図２７の小さいサイズ９１２Ｓを参照）、かつ、写された被写体（被写体Ｂ）の方向が、予め定められた方向（図１２の方向１０３ｄ）とは異なる方向（方向１０３ｘ１、図２６の一方の映像９１１における、左後ろ向きの方向を参照）である映像でもよい。
　このような一方の映像９１１が撮像される際において、位置が移動せず（図２５、図２６の位置９２Ｐを参照）、大きいサイズ９２Ｓ（図２５を参照）を有し、かつ、予め定められた方向と同じ方向（図１２の方向１０３ｘ２）を有する他方の映像９２１（図２６）が表示されてもよい。
　これにより、このような一方の映像９１１が撮像される際においてさえ、操作が簡単にできて、さらに十分、確実に、操作が簡単にできる。
　そして、前記撮像素子は、前記一方の映像（図２８の一方の映像９１）である、後の映像（図２４の一方の映像（後の映像）９１）を撮像するよりも前に、当該後の映像の前記被写体（図２８の被写体Ｂ）と同じ被写体（被写体Ｂ）が写され、写された当該被写体の方向（図２４の映像９３ｘでの方向）が、前記予め定められた方向（図１２の方向１０３ｄ）と同じ方向（方向１０３ｘ２）である先の映像（図２４の先の映像９３ｘ）を撮像し、前記表示部は、撮像された前記先の映像（先の映像９３ｘ）の情報（図２４（図３）の情報３Ｄ）を利用することにより（合成部３０６（図２４、図３など）により）生成された、前記予め定められた方向と同じ方向（図１２の方向１０３ｘ２、図２８の方向９２ｄ）の前記他方の映像（図２８の他方の映像９２）を表示してもよい。
　これにより、単に、先の映像９３ｘ（図２４）が撮像されるだけで、簡単に、他方の映像９２の表示のための情報（情報３Ｄ：図２４、図３など）が利用されるのが可能になり、他方の映像９２の表示が簡単にできる。
　なお、例えば、先述のように、方向１０３ｘ２を有する、適切な先の映像９３（先の映像９３ｘ：図２４）と、方向１０３ｘ１を有する、不適切な先の映像９３とが含まれる複数の先の映像９３（図２４を参照）から、適切な先の映像９３（先の映像９３ｘ）が選択されて、利用されてもよい。
　そして、前記表示部は、前記被写体（例えば、図１７における車Ｃ）の前記一方の映像（一方の映像９１ｅ）および前記他方の映像（他方の映像９２ｅ）以外の、当該被写体（車Ｃ）のその他の映像（図１７の映像９３（図２４の先の映像９３を参照））から生成された、複数の被写体（車Ａ～Ｃ）から当該被写体（車Ｃ）を特定する文字（図１７の「奈良３３０ｘｘ－ｏｏ」、文字列９２ｅ２）を示す映像（他方の映像９２ｅ）を、前記他方の映像（他方の映像９２）として表示してもよい。
　そして、前記合成部（合成部３０６）は、前記一方の映像（一方の映像９１ｅ）および前記他方の映像（他方の映像９２ｅ）以外の前記その他の映像（図１７の映像９３）から文字認識により特定された前記文字（「奈良３３０ｘｘ－ｏｏ」、文字列９２ｅ２）が、当該その他の映像（映像９３）に対して合成された映像（他方の映像９２ｅ）を生成し、前記表示部は、生成された当該映像（他方の映像９２ｅ）を、前記他方の映像（他方の映像９２）として表示してもよい。
　これにより、ユーザが、被写体の特定を、さらに簡単にできて、操作が、さらに十分に簡単にできる。
　なお、例えば、被写体が顔８Ｆ（図８）である際などにおいて、被写体の名前などの情報の文字（文字列）が表示されてもよい。
　なお、例えば、上述の文字認識を行う文字認識部１５０４（図１５など）が設けられてもよい。そして、例えば、文字認識部１５０４は、図１５に示されるように、例えば、判定部３０４の一部でもよいし、判定部３０４の外部などに設けられてもよい。
　なお、例えば、ある局面などにおいて、一方の映像９１（先述）として、図２３の映像９Ｗが撮像されてもよい。そして、この映像９Ｗは、例えば、図２５に示される、他方の映像９２と同様に、（所定時間の間）移動せず、かつ、大きなサイズ９２Ｓを有し、かつ、写された被写体の方向が、予め定められた方向と同じ方向（図１２の方向１０３ｘ２）の映像でもよい。
　そして、撮像された一方の映像９１が、このような映像９Ｗであるか、映像９Ｗではない他の映像（図２６の一方の映像９１１、図２７の一方の映像９１２、図２８の一方の映像９１３などを参照）であるかに関わらず、一方の映像９１が撮像され、表示される際には、その一方の映像９１（映像９Ｗ、または、一方の映像９１２等の何れか）の被写体の他方の映像９２が表示されてもよい。
　これにより、映像９Ｗが撮像され、表示される際にも、他方の映像９２が表示されて、映像９Ｗではない上述の他の映像が撮像される際の処理と同じ処理がされて、処理がり簡単にできる。
　しかも、他の映像が撮像される際の表示と同じ表示がされて、より分かり易い表示ができる。
　これにより、より簡単な処理と、より分かり易い表示とが両立できる。
　なお、本カメラは、例えば、民生品のデジタルカメラなどで、購入したユーザにより望まれる時に、望まれる被写体が撮像されて、どのような被写体の映像が撮像されるか、予測が付かない（付き難い）カメラなどである。
　なお、本カメラは、例えば、道路１０３Ｒを走る車などの、偶然現れた被写体１０３ｘを撮像するカメラ（例えば監視カメラ等）などでもよい。
　また、図１３に示されるように、例えば、他方の映像９２に対する操作１０４Ｌ２がされた際において、操作１０４Ｌ２がされたことを示す表示（太線）９１Ｘが、一方の映像９１の位置９１Ｐと、他方の映像９２の位置９２Ｐとのうちで、一方の映像９１の位置９１Ｐ（の近傍）にのみ表示され、他方の映像９２の位置（の近傍）には表示されなくてもよい。
　これにより、表示が少なくされて、さらに分かり易い表示ができる。
　なお、より具体的には、例えば、固定の位置に表示される他方の映像９２として、被写体の外観の画像（図１７の画像９２ｅ１を参照）が含まれず、文字認識で特定された文字列９Ｘ１（図１７、映像９２ｅの文字列９２ｅ２を参照）のみが表された映像９Ｘが表示されることがあってもよい。
　これにより、複数の被写体（車Ａ～車Ｃ）のうちから被写体（車Ｂ）を特定する、撮像された一方の映像９１ｅと共に、その被写体（車Ｂ）を特定する（その被写体の文字列「大阪５５０　なｏｏ－ｘｘ」を示す）他方の映像９Ｘが表示されて、操作が簡単にできる。しかも、固定の位置に表示されることにより、十分に操作が簡単にできたり、表示される位置が確実に適切にできる。しかも、更には、文字列９Ｘ１のみによるシンプルな表示がされることにより、分かり易い表示がされ、より十分に適切な表示できる。
　こうして、複数の構成（表示部３０７、選択部３０８など）が組み合わせられることにより、組合わせからの相乗効果が生じる。これに対して、知られる従来例においては、これらの複数の構成のうちの全部または一部がなく、相乗効果は生じない。本技術は、このような、構成、作用、効果の点において、従来例に対して、先進性を有する。
　なお、互いに異なる複数の実施形態における複数の記載などの、互いに遠く離れた複数の箇所の複数の技術事項が、適宜組合わせられてもよい。組合わせられた形態が、併せて開示される。
　なお、図２６に示されるように、被写体Ｂの一方の映像９１（一方の映像９１１）の位置（位置９１１ＰＭ、位置９１１ＰＮ）は、第１の時刻（上段）においては、予め定められた第１の位置関係９２１ＪＭ（より右側である関係）を、他の位置（他の被写体Ａの、撮像された一方の映像９１の位置（位置９２１ＸＭ））に対して有してもよい。
　そして、一方で、他の第２の時刻（下段）においては、第２の位置関係９２１ＪＮ（より左側である関係）を（当該第２の時刻における、当該他の被写体（被写体Ａ）の映像の位置（位置９２１ＸＮ）に対して）有してもよい。
　そして、被写体Ｂの他方の映像９２（他方の映像９２１）の位置（位置９２１Ｐ）は、第１の時刻でも、第２の時刻でも、互いに同じ位置関係９２２Ｊ（より右側である関係）を他の位置（被写体Ａ（他の被写体）の、合成された他方の映像９２の位置（位置９２２Ｘ（９２２ＸＭ、９２２ＸＮ）））に対して有してもよい。
　これにより、被写体Ｂの一方の映像９１が有する位置関係が、第１の位置関係９２１ＪＭから第２の位置関係９２１ＪＮに変化しても、位置関係９２２Ｊ（より右側である関係）とは異なる他の位置関係（図略、例えばより左側である関係）の位置での操作が不要であり（下段における位置関係９２２Ｊを参照）、同じ位置関係９２２Ｊ（より右側）での操作で済んで、より確実に、操作が簡単にできる。
　なお、図１に示されるように、例えば、追尾対象選択装置（カメラ）１の一部（又は）全部は、ＣＰＵ１０１（図１）などを含んでなるコンピュータ１Ｃ（図１）でもよい。そして、このコンピュータ１Ｃにより、コンピュータプログラム１Ｐ（図１、例えば、先述された画像処理プログラム）が実行されることにより、上述の１以上の機能が実現されてもよい。そして、このコンピュータプログラム１Ｐは、例えば、ＲＯＭ１０２に記憶されてもよい。
　また、このコンピュータ１Ｃが実装されるなどして、適切な回路が構成されて、上述の１以上の機能が実装された集積回路１Ｌ（図１）が構築されてもよい。
　なお、１以上の工程が含まれてなる方法、上述のプログラムのデータ構造などが構築されてもよい。
　なお、符号７０５により、時刻ＴでのラベルＡの物体と同じ物体の、時刻Ｔ＋αでの映像が示さる。符号７０６により、時刻ＴでのラベルＢの物体と同じ物体の、時刻Ｔ＋αでの映像が示される。符号７０７により、新たに検出された物体の、ラベルＣが付与された映像が示される。符号９０１により、右７５度顔検出器により出力された顔検出候補枠が示される。符号９０２により、右３０度顔検出器により出力された顔検出候補枠が示される。符号９０３により、正面顔検出器により出力された顔検出候補枠が示される。符号１００１により、右７５度顔検出器により出力された顔検出候補枠に、オフセットを与えた結果が示される。符号１００２により、右３０度顔検出器により出力された顔検出候補枠に、オフセットを与えた結果が示される。符号１００３により、正面顔検出器により出力された顔検出候補枠に、オフセットを与えた結果が示される。符号１０４Ｌ２により、固定の位置にある物体を選択する操作が示される。
　本発明にかかる追尾対象選択装置及びその方法並びに記憶媒体は、デジタルカメラや、デジタルビデオカメラでの撮影の際に、様々なシーンの撮影において、被写体を容易に選択、追尾し、ＡＦ／ＡＥを制御することで、簡単に失敗しない撮影を行うことが可能となり、有用である。
　１０１　　ＣＰＵ
　１０２　　ＲＯＭ
　１０３　　カメラ
　１０４　　表示ディスプレイ
　１０５　　ＲＡＭ
　１０６　　外部記憶装置
　１０８　　インターフェース装置
　３０１　　物体検出部
　３０２　　追尾部
　３０３　　特徴抽出部
　３０４　　判定部
　３０５　　記憶部
　３０６　　合成部
　３０７　　表示部
　３０８　　選択部
　７０１　　時刻Ｔにおける画像フレーム
　７０２　　ラベルＡが付与された映像
　７０３　　ラベルＢが付与された映像
　７０４　　時刻Ｔ＋αにおける画像フレーム
　８０１　　正面向きの右目
　８０２　　正面向きの左目
　８０３　　正面向きの顔中心座標
　８０４　　正面向きの鼻座標
　８０５　　右向きの右目
　８０６　　右向きの左目
　８０７　　右向きの顔中心座標
　８０８　　右向きの鼻座標
　９０４　　顔中心座標
　１００４　　鼻位置座標
　１２００　　表示画面
　１２０１　　画像合成した画像
　１３０２　　選択された物体
　９Ｘ１　　認識された文字
　１８０９　　登録（ＤＢ）データベース

Claims (19)

  1. 　追尾対象を選択する追尾対象選択装置であって、
    　入力画像から、所定の物体を検出する物体検出部と、
    　前記物体検出部により検出した前記物体を追尾し、追尾される当該物体がある追尾物体候補領域を算出する追尾部と、
    　入力画像における固定の位置に、前記追尾部で算出された前記追尾物体候補領域の画像を合成する合成部と、
    　前記合成部で、前記画像が前記固定の位置に合成された後における、合成された当該画像が含まれる前記入力画像を表示する表示部と、
    　前記表示部により表示される、合成がされた後の前記入力画像における、前記固定の位置に表示されている、合成がされた前記画像に対して、ユーザにより操作がされた場合に、前記操作がされた前記画像において検出された前記物体を、予め定められた処理における追尾での前記追尾対象として選択する選択部とを備える追尾対象選択装置。
  2. 　前記追尾部で追尾している前記対象物体候補領域の前記画像から、所定の特徴を抽出する特徴抽出部と、
    　前記特徴抽出部から抽出された前記特徴から、対象物体の所定の状態を算出し、算出される前記状態が、予め定められた状態か否かを判定する判定部と、
    　前記判定部によって、算出された、前記対象物体候補領域の前記状態が、前記予め定められた状態であると判定された場合に、判定がされた前記追尾対象候補領域を記憶する記憶部とを備える請求項１記載の追尾対象選択装置。
  3. 　前記判定部は、前記状態を示すスコアを算出し、
    　前記記憶部は、前記追尾物体候補領域の前記画像とともに、算出された、当該画像の前記状態の前記スコアを記憶する請求項２記載の追尾対象選択装置。
  4. 　前記判定部は、算出された、前記状態を示すスコアを、前記記憶部に予め記憶されたスコアと比較して、算出された前記スコアと、算出された前記スコアにより示される前記状態の前記画像とを前記記憶部に更新するか否かを判定し、
    　前記判定部により、更新すると判定された場合、前記記憶部に予め記憶された前記スコアと、予め記憶された当該スコアに対応付けて記憶された画像とを、算出された前記スコアと、算出された当該スコアの前記画像とへと、それぞれ更新する請求項２記載の追尾対象選択装置。
  5. 　前記特徴抽出部は、前記追尾物体候補領域の前記画像に表れる向きを示す特徴量を抽出し、
    　前記判定部は、抽出した前記特徴量に基づいて、当該特徴量により示される前記向きが、所定の向きであるか否かを判定し、
    　前記所定の向きと判定された場合に、判定がされた前記向きを示す前記特徴量が抽出された前記追尾物体候補領域を前記記憶部に記憶させる請求項２記載の追尾対象選択装置。
  6. 　前記追尾物体候補領域は、人物の顔の領域であり、
    　前記特徴抽出部は、前記特徴量として、顔中心座標、鼻位置座標、目位置座標、顔サイズを抽出し、
    　前記判定部は、前記顔中心座標と、前記鼻位置座標との２つの座標の間の差と、前記顔中心座標と、２つの前記目位置座標の中心の座標との２つの座標の間の差との２つの前記差から、前記所定の向きか否かの判定をする請求項５記載の追尾対象選択装置。
  7. 　前記特徴抽出部は、前記追尾物体候補領域の人物の顔表情を示す特徴量を抽出し、
    　前記判定部は、抽出した当該特徴量に基づいて、前記人物の前記顔表情が、笑顔の表情であるか否かを判定する請求項２記載の追尾対象選択装置。
  8. 　前記特徴抽出部は、前記追尾物体候補領域の物体から、文字認識に必要な特徴量を抽出し、
    　前記判定部は、抽出した当該特徴量に基づいて、当該物体に表れた文字の文字認識ができたか否かを判定する請求項２記載の追尾対象選択装置。
  9. 　前記特徴抽出部は、前記追尾物体候補領域の物体から、物体認識に必要な特徴量を抽出し、
    　前記判定部は、前記記憶部に予め登録されている特徴と、抽出した当該特徴量により示される特徴との間のマッチングを行い、判定をする請求項２記載の追尾対象選択装置。
  10. 　前記合成部は、前記追尾物体候補領域の画像に加えて、前記判定部により得られる付加情報も合成する請求項２記載の追尾対象選択装置。
  11. 　当該追尾対象選択装置は、カメラであり、
    　被写体の、一方の映像を撮像する撮像素子を備え、
    　前記表示部は、撮像された前記一方の映像と共に、当該一方の映像の被写体の他方の映像を表示し、
    　前記選択部は、表示された前記他方の映像に対する操作がされた場合に、撮像された前記一方の映像の前記被写体を、予め定められた処理における追尾での、追尾の対象として選択し、
    　複数の時刻のうちの第２の時刻での、表示される前記他方の映像の位置は、第１の時刻での当該他方の映像の位置と同じ位置である請求項１記載の追尾対象選択装置。
  12. 　表示される前記他方の映像における、前記被写体のサイズは、予め定められた閾値以上のサイズであり、当該閾値よりも小さいサイズではない請求項１１記載の追尾対象選択装置。
  13. 　表示される前記他方の映像における、前記被写体の方向は、予め定められた方向と同じ方向であり、異なる方向ではない請求項１１または１２記載の追尾対象選択装置。
  14. 　前記撮像素子は、前記一方の映像である、後の映像を撮像するよりも前に、当該後の映像の前記被写体と同じ被写体が写され、写された当該被写体の方向が、前記予め定められた方向と同じ方向である先の映像を撮像し、
    　前記表示部は、撮像された前記先の映像の情報を利用することにより生成された、前記予め定められた方向と同じ方向の前記他方の映像を表示する請求項１３記載の追尾対象選択装置。
  15. 　前記表示部は、前記被写体の前記一方の映像および前記他方の映像以外の、当該被写体のその他の映像から生成された、複数の被写体から当該被写体を特定する文字を示す映像を、前記他方の映像として表示する請求項１１～１４の何れかに記載の追尾対象選択装置。
  16. 　前記合成部は、前記一方の映像および前記他方の映像以外の前記その他の映像から文字認識により特定された前記文字が、当該その他の映像に対して合成された映像を生成し、
    　前記表示部は、生成された当該映像を、前記他方の映像として表示する請求項１５記載の追尾対象選択装置。
  17. 　追尾対象を選択する追尾対象選択装置に設けられる集積回路であって、
    　入力画像から、所定の物体を検出する物体検出部と、
    　前記物体検出部により検出した前記物体を追尾し、追尾される当該物体がある追尾物体候補領域を算出する追尾部と、
    　入力画像における固定の位置に、前記追尾部で算出された前記追尾物体候補領域の画像を合成する合成部と、
    　前記合成部で、前記画像が前記固定の位置に合成された後における、合成された当該画像が含まれる前記入力画像を表示部に表示させる表示制御部と、
    　前記表示部により表示される、合成がされた後の前記入力画像における、前記固定の位置に表示されている、合成がされた前記画像に対して、ユーザにより操作がされた場合に、前記操作がされた前記画像において検出された前記物体を、予め定められた処理における追尾での前記追尾対象として選択する選択部とを備える集積回路。
  18. 　追尾対象を選択する追尾対象選択方法であって、
    　入力画像から、所定の物体を検出する物体検出ステップと、
    　前記物体検出ステップで検出した前記物体を追尾し、追尾される当該物体がある追尾物体候補領域を算出する追尾ステップと、
    　入力画像における固定の位置に、前記追尾部で算出された前記追尾物体候補領域の画像を合成する合成ステップと、
    　前記合成ステップで、前記画像が前記固定の位置に合成された後における、合成された当該画像が含まれる前記入力画像を表示する表示ステップと、
    　前記表示ステップで表示される、合成がされた後の前記入力画像における、前記固定の位置に表示されている、合成がされた前記画像に対して、ユーザにより操作がされた場合に、前記操作がされた前記画像において検出された前記物体を、予め定められた処理における追尾での前記追尾対象として選択する選択ステップとを含む追尾対象選択方法。
  19. 　コンピュータに、追尾対象を選択させるためのコンピュータプログラムであって、
    　入力画像から、所定の物体を検出する物体検出ステップと、
    　前記物体検出ステップで検出した前記物体を追尾し、追尾される当該物体がある追尾物体候補領域を算出する追尾ステップと、
    　入力画像における固定の位置に、前記追尾部で算出された前記追尾物体候補領域の画像を合成する合成ステップと、
    　前記合成ステップで、前記画像が前記固定の位置に合成された後における、合成された当該画像が含まれる前記入力画像を表示部に表示させる表示制御ステップと、
    　前記表示部により表示される、合成がされた後の前記入力画像における、前記固定の位置に表示されている、合成がされた前記画像に対して、ユーザにより操作がされた場合に、前記操作がされた前記画像において検出された前記物体を、予め定められた処理における追尾での前記追尾対象として選択する選択ステップとを前記コンピュータに実行させるためのコンピュータプログラム。
PCT/JP2010/005956 2009-10-07 2010-10-05 追尾対象選択装置、方法、プログラム及び回路 WO2011043060A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2010800034826A CN102239687B (zh) 2009-10-07 2010-10-05 追踪对象选择装置、方法及其电路
US13/133,223 US8432357B2 (en) 2009-10-07 2010-10-05 Tracking object selection apparatus, method, program and circuit
EP10821737.3A EP2355492B1 (en) 2009-10-07 2010-10-05 Device, method, program, and circuit for selecting subject to be tracked
JP2011535280A JP5399502B2 (ja) 2009-10-07 2010-10-05 追尾対象選択装置、方法、プログラム及び回路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-233289 2009-10-07
JP2009233289 2009-10-07

Publications (1)

Publication Number Publication Date
WO2011043060A1 true WO2011043060A1 (ja) 2011-04-14

Family

ID=43856544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005956 WO2011043060A1 (ja) 2009-10-07 2010-10-05 追尾対象選択装置、方法、プログラム及び回路

Country Status (5)

Country Link
US (1) US8432357B2 (ja)
EP (1) EP2355492B1 (ja)
JP (1) JP5399502B2 (ja)
CN (1) CN102239687B (ja)
WO (1) WO2011043060A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017216709A (ja) * 2017-07-13 2017-12-07 株式会社ニコン 電子カメラ

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2333718B1 (en) * 2009-01-29 2013-08-28 Nec Corporation Feature amount selecting device
US9633437B2 (en) * 2010-03-22 2017-04-25 Omnitek Partners Llc Method for displaying successive image frames on a display to stabilize the display of a selected feature in the image frames
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US20130155308A1 (en) * 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image
CN102547209B (zh) * 2012-02-06 2015-07-22 华为技术有限公司 视讯设备控制方法、装置及视讯系统
US9124800B2 (en) * 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
KR101231469B1 (ko) 2012-02-23 2013-02-07 인텔 코오퍼레이션 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP5941736B2 (ja) * 2012-04-10 2016-06-29 オリンパス株式会社 撮影機器
JP5970937B2 (ja) 2012-04-25 2016-08-17 ソニー株式会社 表示制御装置および表示制御方法
US9426408B2 (en) 2012-08-27 2016-08-23 Nokia Technologies Oy Method and apparatus for recording video sequences
US8933885B2 (en) * 2012-09-25 2015-01-13 Nokia Corporation Method, apparatus, and computer program product for reducing hand or pointing device occlusions of a display
US20140192205A1 (en) * 2013-01-08 2014-07-10 Samsung Electronics Co. Ltd. Apparatus and method for object tracking during image capture
JP5867424B2 (ja) * 2013-02-28 2016-02-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム
KR20150113572A (ko) * 2014-03-31 2015-10-08 삼성전자주식회사 영상데이터를 획득하는 전자장치 및 방법
US9729865B1 (en) 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
US9977495B2 (en) * 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
US9684830B2 (en) 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
JP6722878B2 (ja) * 2015-07-30 2020-07-15 パナソニックＩｐマネジメント株式会社 顔認証装置
WO2017081839A1 (ja) * 2015-11-13 2017-05-18 パナソニックＩｐマネジメント株式会社 移動体追跡方法、移動体追跡装置、およびプログラム
JP6977624B2 (ja) * 2018-03-07 2021-12-08 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム
JP7024539B2 (ja) * 2018-03-22 2022-02-24 カシオ計算機株式会社 画像編集装置、画像編集方法、及びプログラム
CN109191486A (zh) * 2018-09-12 2019-01-11 广州粤创富科技有限公司 一种宠物图像分割方法及电子设备
CN109218612B (zh) * 2018-09-17 2022-04-22 东莞市丰展电子科技有限公司 一种追踪拍摄系统及拍摄方法
JP6579727B1 (ja) * 2019-02-04 2019-09-25 株式会社Ｑｏｎｃｅｐｔ 動体検出装置、動体検出方法、動体検出プログラム
JP7253440B2 (ja) * 2019-05-09 2023-04-06 東芝テック株式会社 追跡装置及び情報処理プログラム
CN111324096B (zh) * 2020-03-03 2021-04-23 郑州旭飞光电科技有限公司 一种基板玻璃加工、包装信息可追溯系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252748A (ja) 2003-02-20 2004-09-09 Toshiba Corp 画像処理方法、画像処理装置
JP2006350645A (ja) 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd 対象物検出装置及びその学習装置
JP2007074279A (ja) 2005-09-06 2007-03-22 Canon Inc 撮像装置及びその制御方法
JP2008206018A (ja) * 2007-02-22 2008-09-04 Nikon Corp 撮像装置およびプログラム
JP2008278458A (ja) * 2007-03-30 2008-11-13 Casio Comput Co Ltd 撮像装置、画像表示装置、及びそのプログラム
JP2009212637A (ja) * 2008-03-03 2009-09-17 Sanyo Electric Co Ltd 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4746295B2 (ja) * 2003-08-25 2011-08-10 富士フイルム株式会社 デジタルカメラおよび撮影方法
JP4140567B2 (ja) 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4915420B2 (ja) * 2006-12-11 2012-04-11 株式会社ニコン 電子カメラ
JP2008187591A (ja) * 2007-01-31 2008-08-14 Fujifilm Corp 撮像装置及び撮像方法
US8615112B2 (en) 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8265474B2 (en) * 2008-03-19 2012-09-11 Fujinon Corporation Autofocus system
KR101009881B1 (ko) * 2008-07-30 2011-01-19 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
JP5279635B2 (ja) * 2008-08-20 2013-09-04 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252748A (ja) 2003-02-20 2004-09-09 Toshiba Corp 画像処理方法、画像処理装置
JP2006350645A (ja) 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd 対象物検出装置及びその学習装置
JP2007074279A (ja) 2005-09-06 2007-03-22 Canon Inc 撮像装置及びその制御方法
JP2008206018A (ja) * 2007-02-22 2008-09-04 Nikon Corp 撮像装置およびプログラム
JP2008278458A (ja) * 2007-03-30 2008-11-13 Casio Comput Co Ltd 撮像装置、画像表示装置、及びそのプログラム
JP2009212637A (ja) * 2008-03-03 2009-09-17 Sanyo Electric Co Ltd 撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PRMU, vol. 107, no. 206, pages 211 - 224
See also references of EP2355492A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017216709A (ja) * 2017-07-13 2017-12-07 株式会社ニコン 電子カメラ

Also Published As

Publication number Publication date
CN102239687A (zh) 2011-11-09
US20110241991A1 (en) 2011-10-06
EP2355492A4 (en) 2013-12-04
EP2355492B1 (en) 2018-04-11
EP2355492A1 (en) 2011-08-10
JPWO2011043060A1 (ja) 2013-03-04
US8432357B2 (en) 2013-04-30
CN102239687B (zh) 2013-08-14
JP5399502B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
JP5399502B2 (ja) 追尾対象選択装置、方法、プログラム及び回路
JP6043856B2 (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
US9674507B2 (en) Monocular visual SLAM with general and panorama camera movements
US20150235424A1 (en) Method of image processing for an augmented reality application
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2018112788A1 (zh) 图像处理方法及设备
CN106296570B (zh) 图像处理方法及装置
JP2012103789A (ja) オブジェクト表示装置及びオブジェクト表示方法
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
KR101923177B1 (ko) 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
JP2019186955A (ja) 情報処理システム、情報処理方法及びプログラム
US9489715B2 (en) Image display apparatus and image display method
KR20160057867A (ko) 디스플레이 장치 및 그에 의한 이미지 처리 방법
US20210176404A1 (en) Electronic apparatus and method for controlling the same
EP3629570A2 (en) Image capturing apparatus and image recording method
US11057553B2 (en) Electronic device for capturing media using a bendable display and method thereof
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
Lin et al. Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system
JP2018189536A (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
JP5383207B2 (ja) 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
CN114143442B (zh) 图像虚化方法、计算机设备、计算机可读存储介质
TWI762830B (zh) 透過擴增實境給予提示以播放接續影片之系統及方法
JP6525693B2 (ja) 画像処理装置及び画像処理方法
JP2017098851A (ja) 表示制御方法、表示制御プログラムおよび情報処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003482.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011535280

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10821737

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010821737

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13133223

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE