WO2009142098A1 - 画像処理装置、カメラ、画像処理方法およびプログラム - Google Patents

画像処理装置、カメラ、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2009142098A1
WO2009142098A1 PCT/JP2009/058224 JP2009058224W WO2009142098A1 WO 2009142098 A1 WO2009142098 A1 WO 2009142098A1 JP 2009058224 W JP2009058224 W JP 2009058224W WO 2009142098 A1 WO2009142098 A1 WO 2009142098A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
recognition
image processing
time
Prior art date
Application number
PCT/JP2009/058224
Other languages
English (en)
French (fr)
Inventor
白川泰嗣
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010512983A priority Critical patent/JP5674465B2/ja
Priority to US12/937,019 priority patent/US8682031B2/en
Priority to CN200980114650.6A priority patent/CN102017606B/zh
Priority to EP09750460.9A priority patent/EP2276234A4/en
Publication of WO2009142098A1 publication Critical patent/WO2009142098A1/ja

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • Image processing apparatus camera, image processing method and program
  • the present invention relates to an image processing apparatus, a camera, an image processing method, and a program that can detect and track a specific subject.
  • a human face is a main subject of a digital still camera (hereinafter referred to as “camera”) and a digital video camera. Therefore, there has been a demand for a technique for detecting a person's eyelids at the time of shooting and performing automatic focus control and automatic exposure control according to the face of the person.
  • camera digital still camera
  • Patent Document 1 registers feature information of an image of a specific part such as a subject's face in advance, and compares this information with a screen image of a monitor so that only the registered object is registered. Detecting and tracking technology is disclosed.
  • Patent Document 2 a face image of a person is extracted from a moving image captured by a mobile phone, transmitted to a server, and matched with a matching image by comparing it with a pre-registered spear image on the server. ⁇ Disclosed is a technology for sending and displaying the unique information of a person corresponding to an image to a mobile phone.
  • Patent Document 1 Japanese Unexamined Patent Application Publication No. 2006-1 01 1 86
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2006-29391 2
  • Patent Document 3 Japanese Patent Laid-Open No. 5-33441 1 ''
  • Patent Document 1 has the following problems.
  • An object of the present invention is to provide an image processing device, a camera, an image processing method, and a program that solve the above-described problems.
  • An image processing apparatus includes:
  • Subject detection means for detecting a subject image from the image
  • Subject recognition information storage means for storing the recognition ID of the subject image and the first position where the subject image was last detected in the image
  • the recognition ID assigning means assigns a recognition ID corresponding to the first position to the object image when the first position exists within a predetermined distance from the position where the subject detection means detects the subject image.
  • a camera according to the present invention includes:
  • a display unit configured to display an image captured by the imaging unit and information on the subject generated by the image processing apparatus
  • An image processing method includes:
  • a recognition ID corresponding to the first position is assigned to the subject image.
  • An image processing program includes:
  • a recognition ID corresponding to the first position is assigned to the subject image.
  • the computer is caused to execute image processing characterized by this.
  • An image processing apparatus, a camera, an image processing method, and a program according to the present invention are simplified.
  • FIG. 1 shows a functional configuration of an image processing unit of a camera according to a first embodiment of the present invention.
  • FIG. 1 A first figure.
  • FIG. 2 is a block configuration diagram showing a functional configuration of the entire camera according to the first embodiment.
  • FIG. 3 is a diagram showing an example of information stored in the subject recognition information table of FIG.
  • FIG. 4 is a flowchart illustrating a subject image recognition processing operation in the first embodiment.
  • FIG. 5 (a) is a diagram (part 1) illustrating an image displayed on a monitor screen immediately after subject image recognition processing in the first embodiment.
  • FIG. 5 (b) is a diagram (part 1) showing the contents of a subject recognition information table immediately after subject image recognition processing in the first embodiment.
  • FIG. 6 (a) is a diagram (part 2) illustrating an image displayed on a monitor screen immediately after subject image recognition processing in the first embodiment.
  • FIG. 6B is a diagram (part 2) illustrating the contents of a subject recognition information table immediately after subject image recognition processing in the first embodiment.
  • FIG. 7 (a) is a diagram (part 3) illustrating an image displayed on the monitor screen immediately after the subject image recognition process in the first embodiment.
  • FIG. 7B is a diagram (part 3) illustrating the contents of the subject recognition information table immediately after subject image recognition processing in the first embodiment.
  • FIG. 8 (a) The monitor screen immediately after the subject image recognition process in the first embodiment It is the figure (the 4) which shows the image
  • FIG. 8B is a diagram (part 4) showing the contents of the subject recognition information table immediately after the object image recognition process in the first embodiment.
  • FIG. 9 (a) is a diagram (No. 5) illustrating an image displayed on the monitor screen immediately after the subject image recognition process in the first embodiment.
  • FIG. 9 (b) is a diagram (No. 5) showing the contents of a subject recognition information table immediately after subject image recognition processing in the first embodiment.
  • FIG. 10 is a block diagram showing the functional configuration of the entire camera according to the second embodiment.
  • FIG. 11 is a diagram showing an example of information stored in the subject recognition information table of FIG.
  • FIG. 12 is a flowchart illustrating a subject image recognition processing operation in the second embodiment.
  • FIG. 13 is a flowchart for explaining a subject image recognition processing operation in the third embodiment.
  • FIG. 14 (a) is a diagram showing an image displayed on a monitor screen immediately after subject image recognition processing in the third embodiment.
  • FIG. 14 (b) is a diagram showing the contents of a subject recognition information table immediately after subject image recognition processing in the third embodiment.
  • FIG. 1 is a block configuration diagram illustrating a functional configuration of an image processing unit 10 that performs image data processing of a subject in the camera according to the first embodiment of the present invention. It includes an image processing ⁇ 1 01, a subject detection ⁇ 1 01, a recognition ID (I dent if ica t ion) assignment ⁇ 1 02, and a subject recognition information table 1 03.
  • the subject recognition information table 1103 may also be called a subject recognition information storage unit.
  • the subject detection unit 101 detects a subject image from the input image data 21 that has been input.
  • the subject recognition information table 103 stores the subject recognition ID and position coordinates.
  • the recognition ID assigning unit 102 searches the subject recognition information table 103 for position coordinates that are within a predetermined distance from the position coordinates of the detected subject image. If the corresponding position coordinates exist in the subject recognition information table 103, a recognition ID corresponding to the position coordinates is assigned to the subject image. These components may be configured by hardware or software.
  • the output image data 22 includes information about the subject such as a recognition ID.
  • the image processing unit 10 compares the position coordinates of the detected subject with the position coordinates stored in the subject recognition information table 103, so that the same recognition ID is always given to the same subject. Give. As a result, the image processing unit 10 can detect and track a specific subject without storing the feature information of the subject.
  • FIG. 2 is a block diagram showing the main functional configuration of the camera 1 according to the first embodiment.
  • the imaging unit 11 includes a lens, a focusing mechanism, a CCD (charge coupled device), and the like, and shoots a subject to generate image data that is digital data.
  • the monitor screen 12 is a display device such as a liquid crystal display, and displays an image of a subject to be photographed, information about the subject, and information about the operation of the camera.
  • the key input unit 13 is an input device for a user to set and instruct the camera 1 and includes a cursor key, a numeric key, and a determination key. Control processing 6 T JP2009 / 058224
  • Unit 14 consists of a system clock generator, CPU, etc., and performs overall control processing of the equipment.
  • the image processing unit 10 processes the image data input from the imaging unit 11 1 and outputs it for display on the monitor screen 12.
  • the subject detection unit 1001, the recognition ID assigning unit 102, and the subject recognition information table 103, which are constituent elements of the image processing unit 10, have already been described, and thus the description thereof is omitted.
  • the subject recognition information table 103 includes, as information at the time of subject image recognition processing execution, a recognition ID, the last detected position coordinate, a detection flag indicating whether or not it has been detected, and a tracking target flag. Such information is referred to as “subject recognition information”.
  • the position coordinates represent the area occupied by the eyelid image in the image data. This is represented by the coordinates of one vertex of the rectangular area and the other vertex located on the diagonal passing through that vertex, for example i (Xm, Ym), (Xn, Yn) ⁇ .
  • the camera according to the first embodiment of the present invention detects an image of a specific part of a subject from input image data, and searches for a subject recognition information table using the position coordinates of the detected image as a key. Then, the subject recognition information having the closest position coordinate within the predetermined distance from the detected image is determined as the subject recognition information indicating the detected image.
  • This series of processing is called “ ⁇ subject image recognition processing”.
  • the subject image recognition processing operation in the first embodiment will be described below with reference to FIG.
  • the subject image recognition process is a process related to an image of a specific part of the subject. In the following description of the first embodiment, it is assumed that the specific part is a human face.
  • FIG. 4 is a flowchart for explaining subject image recognition processing in the first embodiment.
  • the control processing unit 14 instructs the image processing unit 10 to start the subject image recognition process.
  • the subject detection unit 101 detects the face image of the person of the subject from the image data captured from the imaging unit 11 (step S 1 1 1). For example, this detection process is performed by searching the image data for an area in which the shape and color of the elements constituting the eyelid (such as the hair 'eyes ⁇ nose' mouth) exist in the same positional relationship as the actual face. Done.
  • the subject detection unit 101 detects the detected face image in the image data. Outputs the i coordinate.
  • the image data includes a plurality of haze images, the subject detection unit 101 detects all the face images.
  • the recognition ID assigning unit 102 performs the following process.
  • the recognition ID assigning unit 102 clears all the subject recognition information detection flags in the subject recognition information table 103. (Step S112). Next, the recognition ID assigning unit 102 extracts one of the haze images detected by the subject detection unit 101 that has not yet been processed (step S113). Then, the recognition ID assigning unit 102 searches the subject recognition information table 103 for subject recognition information having the closest position coordinate within the predetermined distance from the extracted face image (step S114). This process is performed, for example, by calculating the distance between the extracted face image and the center coordinates of the subject recognition information.
  • the image processing unit 10 determines whether or not the processing has been completed for all the haze images detected in step S111 (step S118). If not completed, the process returns to step S113, and the same processing is repeated for the face image that has not yet been processed. If completed, the subject image recognition process ends.
  • the image processing unit 10 determines that the subject whose position coordinates detected this time and the position coordinates detected last time are close is the same subject.
  • the camera in the first embodiment continuously assigns the same recognition ID to each of a plurality of subjects without registering the feature information of the subject. To do. This makes it possible to select and track a specific subject from a plurality of detected subjects.
  • the cycle in which the subject image recognition process is executed is determined by the imaging unit 11 as image data. It is not necessary to be the same as the period (frame rate) for generating. However, the longer the period in which the process is performed, the greater the distance the subject moves during the process. This increases the possibility of erroneous determination in the above-described method of “determining a subject whose position coordinates detected this time and the position coordinates detected last time are the same subject”. Therefore, it is preferable that the period in which the subject image recognition process is executed is short enough that no erroneous determination occurs.
  • the image processing apparatus 10 When the subject image recognition process is completed, the image processing apparatus 10 outputs information about the subject such as a recognition ID. These pieces of information are displayed on the monitor screen 12 together with the subject image.
  • FIG. 5 shows the state of the camera 1 immediately after the subject image recognition process is completed.
  • Figure 5 (a) shows the video displayed on the monitor screen 12.
  • FIG. 5B shows the contents of the subject recognition information table 103. The same applies to Figures 6-9.
  • FIG. 5 Three persons 1201 to 1203 are displayed on the monitor screen 12 in FIG. 5 (a).
  • frames 1211 to 1213 indicating the positions where the face images of these persons are detected are displayed superimposed on the corresponding heel images.
  • reference numeral 122 "! ⁇ 1223 representing recognition ID assigned to the face image (“ 1 " ⁇ ” 3 ") is, D is displayed in the vicinity of the corresponding face image
  • the recognition ID A haze image to which “1” is assigned is referred to as “face image ' ⁇ ” ”.
  • the frame 1213 is displayed in a different thickness or different color from the other frames so that the frame 1213 can be distinguished from the other frames. This indicates that the face image “3” indicated by the frame 1213 is set as the tracking target. This setting is made when the user performs an operation of selecting the face image “3” in a state where the eyelid image “3” is detected. Examples of this operation include pressing the corresponding numeric key ("3" key) on the key input unit 13, or using the cursor key to move the cursor (not shown) to the face image "3". is there.
  • the subject recognition information table 103 in FIG. 5 holds subject recognition information regarding three face images.
  • Each record has a recognition ID of "1" to "3" and the position coordinates where the face image was detected ⁇ (X11, Y11), (X12, Y12) 1, t (X21, Y21), (X2 2, Y22) ⁇ , ⁇ (X31, Y31), (X3,2, Y32) ⁇
  • the force is set. All records 9 09058224
  • FIG. 6 shows the state of the camera 1 immediately after the subject image recognition process is executed after the time point of FIG.
  • New recognition IDs “4” and “5” are assigned to these haze images, and frames 1214 and 1215 and symbols 1224 and 1225 are displayed. Note that when multiple ⁇ images are newly detected, the recognition ID may be assigned based on the size order of the ⁇ ⁇ images or the position in the screen, for example, the order of the distance from the upper left corner. Good.
  • the person 1202 has moved out of the frame. For this reason, the face image “2” has not been detected. Also, the same recognition IDs “1” and “3” as the previous time are assigned to the images of the people 1201 and 1203, respectively. This is because, in the subject image recognition process, the face images of the persons 1201 and 1203 are associated with the corresponding subject recognition information because they are close to the previously detected position coordinates.
  • FIG. 7 shows a state of the camera 1 immediately after the subject image recognition process is executed after the time point of FIG.
  • Fig. 7 (a) the person 1203 turns around. For this reason, the face image “3” is not detected. In addition, the person 1204 has moved to a position covering the front of the person 1205. For this reason, the face image “5” is also not detected. Since the face images corresponding to the recognition IDs “2”, “3”, and “5” have not been detected, the frames and symbols indicating the face images “2”, “3”, and “5” are not displayed.
  • the recognition ID “2” regarding the cocoon image not detected this time In the subject recognition information records “3” and “5”, the detection flag is cleared. Also, the position coordinates are the values at the time the last image “2”, “3”, “5” was detected ⁇ (X21, Y2 1), (X22, Y22) ⁇ , ⁇ (X31, Y31), (X32, Y32) ⁇ , ⁇ (X51, Y51), (X52, Y52) ⁇ are still set.
  • ⁇ 41 ( ⁇ 42 ', ⁇ 42 ⁇ is a position coordinate at a distance close to the extent that it is determined that the subject is the same subject as the ⁇ image located at ⁇ ( ⁇ 41, ⁇ 41), ( ⁇ 42, ⁇ 42) ⁇ . is there.
  • the face image “3” set as the tracking target is not detected. Therefore, there is no face image to be tracked at this time. However, the tracking target flag of the record with the recognition ID “3” in the object recognition information table 103 is still set to “ ⁇ ”.
  • FIG. 8 shows a state of the camera 1 immediately after the subject image recognition processing is executed after the time point of FIG.
  • Fig. 8 (a) the person 1202 has moved into the frame again.
  • the person 1204 moves again, and the person 1205 that has been covered up appears again.
  • the face images of the person 1202 and the person 1205 that were not detected last time are detected.
  • the same recognition IDs “2” and “5” as those previously detected are assigned to the face images of the persons 1202 and 1205, respectively. This is because, in the subject image recognition process, the saddle image of the person 1202 and the person 1205 is associated with the corresponding subject recognition information because it is close to the position coordinate detected last. On the other hand, since the person 1203 is still facing backward, the face image “3” is not detected.
  • records with recognition IDs “2” and “5” regarding the face image detected again this time the detection flag is set to “O” again.
  • records with recognition IDs “2” and “4” contain new position coordinates ⁇ ( ⁇ 2 ⁇ ⁇ , ⁇ 2 " ⁇ ), ( ⁇ 22 ', Y22') ⁇ , ⁇ ( ⁇ 41” , ⁇ 41 "), ( ⁇ 42", ⁇ 42 ") ⁇ are set.
  • FIG. 9 shows a state immediately after the subject image recognition process is executed after the time shown in FIG. 11 T JP2009 / 058224
  • the face image of the person 1 203 who has not been issued is detected.
  • the same recognition ID “3” as that previously detected is assigned to the spear image of the person 1 203. This is because, in the subject image recognition process, the face image of the person 1203 is associated with the corresponding subject recognition information because it is close to the position coordinate detected last.
  • a frame 1 21 3 displayed with a different thickness or a different color from the other frames is displayed, indicating that it is set as a tracking target. Yes. This is because “O” was set in the tracking target flag of the record of the recognition ID “3” in the subject recognition information table 103 even when the saddle image “3” was no longer detected.
  • the camera according to the first embodiment registers the feature information of the subject.
  • the same recognition ID can be continuously assigned to each of the detected face images of a plurality of subjects.
  • the reason is that the recognition ID assigning unit 102 associates the detected face image with the corresponding object recognition information by comparing the position coordinates of the detected face image with the position coordinates in the object recognition information table 103. It is for attaching.
  • the camera according to the first embodiment temporarily detects a haze image of a subject.
  • the same recognition ID can be continuously assigned to each of the detected face images of the plurality of subjects.
  • the reason is that the subject recognition information table 103 holds the position coordinates where the subject was last detected and the recognition ID of the subject even for the subject that was not detected.
  • the camera according to the first embodiment includes a face image of a subject set as a tracking target.
  • the camera according to the first embodiment can realize data storage and comparison processing with a simpler configuration than the camera disclosed in Patent Document 1. This is because the position coordinates have a smaller data capacity than the feature information of the image of the subject, and the comparison process is easy.
  • the subject recognition information is never deleted after being registered.
  • the second embodiment of the present invention is different from the first embodiment in that when the subject image is not detected for a long time, the corresponding subject recognition information is deleted.
  • FIG. 10 is a block diagram showing the main functional configuration of the camera 1 according to the second embodiment.
  • components having the same reference numerals as those in the block configuration diagram of FIG. 2 are the same as the components described in FIG.
  • the camera 1 in FIG. 10 includes a subject recognition information deletion unit 10 4 as a new component.
  • FIG. 11 is a diagram showing information stored in the subject recognition information table 103 in the second embodiment.
  • the subject recognition information table 103 has a detection time as a new item. Other items are the same as in Fig. 3.
  • FIG. 12 is a flowchart illustrating the subject image recognition processing in the second embodiment.
  • steps with the same reference numerals as those in the flowchart of FIG. 4 have the same contents as the steps described in FIG. Therefore, the description of these steps having the same contents is omitted.
  • steps S 1 1 6 and S 1 1 7 of FIG. 4 are replaced with steps S 216 and S 217, respectively, and step S 219 is added to it.
  • step S216 the recognition ID assigning unit 102 updates the detection time with the current time value in addition to updating the position coordinates and the detection flag.
  • step S 217 the recognition ID assigning unit 102 sets the current time value as the detection time in addition to setting the recognition ID, position coordinates, and detection flag.
  • the recognition ID assignment unit 102 is installed when camera 1 is built-in. The current time value may be obtained from a total (not shown).
  • step S1 1 8 When it is determined in step S1 1 8 that the processing has been completed for all the face images, the subject recognition information deletion unit 104 recognizes all subjects for which a predetermined time has elapsed from the detection time. Information is extracted and deleted (step S21 9). This extraction process is performed, for example, by comparing the value of the detection time with the current time and determining whether the difference is greater than a predetermined value. Thereafter, the subject image recognition process is terminated. .
  • the camera according to the second embodiment deletes subject recognition information that has not been detected for a predetermined time. As a result, it is prevented that the subject recognition information table 103 becomes insufficient due to the retention of subject recognition information for which the free space has not been detected for a long time, and the recognition ID cannot be assigned to the haze image.
  • the subject is a person's eyelid.
  • the third embodiment is different from the first embodiment in that the subject is an image of a person wearing specific clothes.
  • the functional configuration of the camera according to the third embodiment of the present invention is the same as that shown in FIGS.
  • the information stored in the subject recognition information table 103 is also the same as that in FIG.
  • FIG. 13 is a flowchart illustrating the subject image recognition processing in the third embodiment.
  • steps denoted by the same reference numerals as those in the flowchart of FIG. 4 have the same contents as the steps described in FIG. 4. Therefore, the description of these steps having the same contents is omitted.
  • step S 1 1 1 in FIG. 4 is replaced with step S31 1.
  • the subject detection unit 101 first detects an image of a person wearing specific clothes from the image data captured from the imaging unit 11. For example, the subject detection unit 101 detects an image of a person wearing a yellow short-sleeved shirt on the upper body and a green shorts on the lower body (step S3 11).
  • This detection process is, for example, a short-sleeved shirt-shaped part with a yellow color and a short color with a green color. This is done by searching the image data for an area where adjacent portions of the shape are present.
  • the subject detection unit 101 outputs position coordinates in the image data of the detected clothing image.
  • the subject detection unit 10 "1 detects all of the clothing images.
  • the subject is a clothing image instead of a dress image. Since this is the same as FIG.
  • FIG. 14 (a) shows the video on the monitor screen 12
  • FIG. 14 (b) shows the contents of the subject recognition information table 103, respectively.
  • the subject detection unit 101 detects an image of a person wearing a yellow short-sleeved shirt on the upper body and a green shorts on the lower body.
  • the persons 1206 and 1207 wear yellow short-sleeved shirts on the upper body and green shorts on the lower body.
  • persons 1208 and 1209 wear different clothes (for example, blue short-sleeved shirts and white shorts).
  • the subject detection unit 101 detects clothes images of the persons 1206 and 1207.
  • the monitor screen 12 displays frames 1216 and 1217 indicating the positions where these clothes images are detected, and codes 1226 and 1227 indicating the recognition IDs (“6” and “7”) assigned to the clothes images. It is.
  • the subject recognition information table 103 in FIG. 14 (b) holds subject recognition information regarding two detected clothing images.
  • the camera according to the third embodiment applies the function of the camera of the first embodiment to a specific clothes image of a person, not a face image of the person. This makes it possible to detect and track only people wearing specific team uniforms, for example when shooting sports matches.
  • the functions of the camera of the first embodiment can also be applied to specific animals such as cats and dogs, specific vehicles such as automobiles and airplanes, and other subjects with specific characteristics in shape and color. May be applied.
  • the embodiment of the present invention has been described by taking the camera for giving the recognition ID to the subject as an example.
  • the image processing apparatus according to the present invention is a mobile phone terminal or a PD.
  • a (Personal Digital Assistant) and other camera functions are also applicable.
  • the image processing apparatus according to the present invention can also be applied to a camera having a moving image shooting function.
  • the image processing apparatus according to the present invention can also be applied to an image analysis apparatus that does not have an imaging unit, for example, analyzes a recorded image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　被写体の特徴情報を登録することなく、簡素な構造かつ簡易な操作で、特定の被写体の検出・追跡を可能とする。 画像より被写体画像を検出する被写体検出手段と、被写体画像の認識ＩＤと、被写体画像が画像内で最後に検出された位置である第１の位置とを記憶する被写体認識情報記憶手段と、被写体画像に認識ＩＤを付与する認識ＩＤ付与手段とを備え、認識ＩＤ付与手段は、被写体検出手段が被写体画像を検出した位置から所定の距離内に第１の位置が存在する場合、第１の位置に対応する認識ＩＤを被写体画像に付与する。

Description

明細書
発明の名称
画像処理装置、カメラ、画像処理方法およびプログラム
技術分野
[0001 ] 本発明は、特定の被写体を検出'追跡できる画像処理装置、カメラ、画像処 理方法およびプログラムに関する。
背景技術
[0002] 人物の顔は、デジタルスチルカメラ（以降「カメラ」と称する）やデジタルビデオ力 メラの主要な被写体である。そのため、撮影時に、人物の顏を検出して、その人 物の顔に合わせた自動焦点制御や自動露出制御などを行う技術が望まれてい た。
[0003] また、実際の撮影においては、撮影しょうとす 人物の顔に加えて、他の人物 の顏も同時に撮影されることがある。このため、複数の顔の中から特定の顏のみ を検出■追跡する技術もまた望まれていた。
[0004] 特許文献 1は、被写体の顔などの特定部位の画像の特徴情報を予め登録し ておき、これらの情報とモニタの画面画像との比較を行うことで、登録された被写 体のみを検出■追跡する技術を開示している。
[0005] 特許文献 2は、携帯電話機が撮影している動画像から人物の顔画像を抽出 してサーバに送信し、サーバであらかじめ登録されている顏画像と照合して、照 合に一致した顏画像に対応する人物の固有情報を携帯電話機に送信して表示 させる技術を開示している。
[0006] 特許文献 1：特開 2006— 1 01 1 86号公報
[0007] 特許文献 2 :特開 2006— 29391 2号公報
[0008] 特許文献 3 :特開平 5— 33441 1号公報 '
発 0 の開示
発明が解決しょうとする課題
[0009] しかしながら、特許文献 1に開示された技術は以下の問題点を持っている。
( 1 )被写体の特徴情報を記憶する手段が必要であるため、カメラの構造が複 雑化する。このため、カメラの製造コストが増加する。
( 2 )利用者が予め被写体の特徴情報を登録する必要があるため、カメラの操 作手順が複雑化する。このため、利用者の負担が増大する。
[Οθίθ] また、特許文献 2に開示された技術は以下の問題点を持っている。
( 3)被写体の顏画像を記憶するサーバが必要であるため、サーバの導入'運用 コストが発生する。このため、システムの導入'運用コストが増大する。
(4)画像データを送受信する必要があるため、通信コストが発生する。このため、 システムの運用コストが増大する。
[001 1] 本発明は、上述した課題を解決する画像処理装置、カメラ、画像処理方法お よびプログラムを提供することを目的とする。
課題を解決するための手段
[001 2] 本発明に係 画像処理装置は、
画像より被写体画像を検出する被写体検出手段と、
被写体画像の認識 IDと、被写体画像が画像内で最後に検出された位置であ る第 1の位置とを記憶する被写体認識情報記億手段と、
被写体画像に認識 IDを付与する認識 ID付与手段とを備え、
認識 ID付与手段は、被写体検出手段が被写体画像を検出した位置から所定 の距離内に第 1の位置が存在する場合、第 1の位置に対応する認識 IDを被写 ' 体画像に付与する。
[0013] 本発明に係るカメラは、
被写体を撮影する撮像手段と、
上記の画像処理装置と、
撮像手段が撮影する画像と、画像処理装置が生成する被写体に関する情報と を表示する表示手段とを備える。
[0014] 本発明に係る画像処理方法は、
被写体画像の認識 IDと、被写体画像が画像内で最後に検出された位置であ る第 1の位置とを記憶し、
画像より被写体画像を検出し、
被写体画像が検出された位置から所定の距離内に第 1の位置が存在する場 合、第 1の位置に対応する認識 IDを被写体画像に付与する。
[0015] 本発明に係る画像処理プログラムは、
被写体画像の認識 IDと、被写体画像が画像内で最後に検出された位置であ 3 2009/058224
る第 1の位置とを記憶し、
画像より被写体画像を検出し、
被写体画像が検出された位置から所定の距離内に第 1の位置が存在する場 合、第 1の位置に対応する認識 IDを被写体画像に付与する
ことを特徴とする画像処理をコンピュータに実行させる。
発明の効果
[0016] 本発明に係る画像処理装置、カメラ、画像処理方法およびプログラムは、簡
素な構成かつ簡易な操作で、特定の被写体を検出-追跡することを可能とする。 図面の簡単な説明
[0017] 【図 1】本発明の第 1の実施形態に係るカメラの画像処理部の機能構成を示
すブロック構成図である。
【図 2】第 1の実施形態に係るカメラ全体の機能構成を示すブロック構成図であ る。
【図 3】図 1■ 2の被写体認識情報テーブルに格納される情報の一例を示す図で
【図 4】第 1の実施形態における被写体画像認識処理動作を説明するフローチ ヤー卜である。
【図 5(a)】第 1の実施形態における被写体画像認識処理直後のモニタ画面が 表示する映像を示す図（その 1)である。
【図 5(b)】第 1の実施形態における被写体画像認識処理直後の被写体認識 情報テーブルの内容を示す図（その 1)である。
【図 6(a)】第 1の実施形態における被写体画像認識処理直後のモニタ画面が 表示する映像を示す図（その 2)である。
【図 6(b)】第 1の実施形態における被写体画像認識処理直後の被写体認識 情報テーブルの内容を示す図（その 2)である。
【図 7(a)】第 1の実施形態における被写体画像認識処理直後のモニタ画面が 表示する映像を示す図（その 3)である。
【図 7(b)】第 1の実施形態における被写体画像認識処理直後の被写体認識 情報亍ーブルの内容を示す図（その 3)である。
【図 8(a)】第 1の実施形態における被写体画像認識処理直後のモニタ画面が 表示する映像を示す図（その 4)である。
【図 8(b)】第 1の実施形態における被^体画像認識処理直後の被写体認識 情報テーブルの内容を示す図（その 4)である。
【図 9(a)】第 1の実施形態における被写体画像認識処理直後のモニタ画面が 表示する映像を示す図（その 5)である。
【図 9(b)】第 1の実施形態における被写体画像認識処理直後の被写体認識 情報テーブルの内容を示す図（その 5)である。
【図 10】第 2の実施形態に係るカメラ全体の機能構成を示すブロック構成図で 【図 11】図 10の被写体認識情報テーブルに格納される情報の一例を示す図で める
【図 12】第 2の実施形態における被写体画像認識処理動作を説明するフロー チャートである。
【図 13】第 3の実施形態における被写体画像認識処理動作を説明するフロー チャートである。
【図 14(a)】第 3の実施形態における被写体画像認識処理直後のモニタ画面 が表示する映像を示す図である。
【図 14(b)】第 3の実施形態における被写体画像認識処理直後の被写体認識 情報テーブルの内容を示す図である。
符号の説明
1 カメラ
10 画像処理部
101 被写体検出部
102 認識 ID付与部
103 被写体認識情報テーブル
104 被写体認識情報削除部
，'1 fe像部 '
12 モニタ画面
13 キー入力部
14 制御処理部 21 入力画像データ
22 出力画像データ
発明を実施するための最良の形態
[001 9] 次に、本発明の実施形態について図面を参照して説明する。
[0020] (第 1の実施形態）
図 1は、本発明の第 1の実施形態に係るカメラにおいて、被写体の画像データ 処理を行う画像処理部 1 0の機能構成を示すブロック構成図である。画像処理 咅 1 01ま、被写体検出咅 1 01と、認識ID(I dent if i ca·t ion)付与咅 1 02と、 被写体認識情報テーブル 1 03とを含んでいる。被写体認識情報テーブル 1 03 は、被写体認識情報記憶部と呼ばれることもある。被写体検出部 1 01は、入 力された入力画像データ 21から被写体の画像を検出する。被写体認識情報テ 一ブル 1 03は、被写体の認識 IDや位置座標を記憶する。認識 ID付与部 1 02 は、検出された被写体画像の位置座標から所定の距離内にある位置座標を 被写体認識情報テーブル 1 03内より検索する。該当する位置座標が被写体認 識情報テーブル 1 03に存在する場合は、その位置座標に対応する認識 IDを被 写体画像に付与する。これらの構成要素は、ハードウェアで構成されていてもよ いし、ソフトウェアで構成されていてもよい。出力画像データ 22は、認識 IDなど の被写体に関する情報を含む。
[0021] このように、画像処理部 1 0は、検出された被写体の位置座標と被写体認識 情報テーブル 1 03が記憶する位置座標を比較することにより、同一の被写体に は常に同一の認識 IDを付与する。このことにより、画像処理部 1 0は、被写体の 特徴情報を記憶することなく、特定の被写体を検出■追跡することを可能とする。
[0022] 次に、画像処理部 1 0を含む、本発明の第 1の実施形態に係るカメラ全体の 構成について図 2を参照して説明する。図 2は、第 1の実施形態に係るカメラ 1の 主要な機能構成を示すブロック構成図である。撮像部 1 1は、レンズや合焦機構、 CCD(charge coupled device)などからなり、被写体を撮影してデジタルデータで ある画像データを生成する。モニタ画面 1 2は、液晶ディスプレイなどの表示装置 であ y、撮影する被写体の画像や、被写体に関する情報、カメラの動作に関する 情報を表示する。キー入力部 1 3は、利用者がカメラ 1に対する設定や指示を行 う入力装置であり、カーソルキーや数字キー、決定キーなどからなる。制御処理 6 T JP2009/058224
部 1 4はシステムクロック発生装置や CPUなどからなり、装置全般の制御処理を 行う。画像処理部 1 0は、撮像部 1 1から入力される画像データを処理してモニタ 画面 1 2に出力'表示する。なお、画像処理部 1 0の構成要素である被写体検出 部 1 0 1と認識 ID付与部 1 02と被写体認識情報テーブル 1 03については既に説 明済みのため説明を省略する。
[0023] ここで、被写体認識情報テーブル 1 03に格納される情報について図 3を参照
して説明する。被写体認識情報テーブル 1 03は、被写体画像認識処理実行時 · の情報として、認識 ID、最後に検出された位置座標、検出されたかどうかを示す 検出フラグ、および追跡対象フラグを含む。これらの情報を「被写体認識情報」と 称する。位置座標は、顏画像が画像データ内にて占める領域を表す。これは例 えば i (Xm , Ym) , (Xn , Yn) }のように、矩形状の領域の 1つの頂点と、その頂 点を通る対角線上に位置するもう 1つの頂点の座標で表される。なお、被写体画 像認識処理については次に述べる。
[0024] 本発明の第 1の実施形態に係るカメラは、入力画像データから被写体の特定 部位の画像を検出し、検出した画像の位置座標をキーとして被写体認識情報テ 一ブルを検索する。そして、検出した画像との距離が所定の距離内でありかつ最 も近い位置座標を有する被写体認識情報を、検出した画像を示す被写体認識 情報であると判定する。この一連の処理を Γ被写体画像認識処理」と称する。図 4を参照して、以下に第 1の実施形態における被写体画像認識処理動作を説明 する。なお、被写体画像認識処理は被写体の特定部位の画像に関する処理で あるが、第 1の実施形態の以降の説明においては、この特定部位は人物の顔で あるとする。
[0025] 図 4は、第 1の実施形態における被写体画像認識処理を説明するフローチヤ ートである。前回の被写体画像認識処理から一定時間経過すると、制御処理部 1 4は、画像処理部 1 0に被写体画像認識処理の開始を指示する。これを受けて、 最初に、被写体検出部 1 01は、撮像部 1 1から取り込んだ画像データから被写 体の人物の顔画像を検出する（ステップ S 1 1 1 )。この検出処理は例えば、顏を 構成する要素（髪の毛 '目■鼻 '口など）の形状および色彩が実際の顔と同じ位 置関係で存在している領域を、画像データ内で検索することにより行われる。顔 画像を検出すると、被写体検出部 1 01は、検出した顔画像の画像データ内での 位 i座標を出力する。画像データに複数の顏画像が含まれている場合、被写体 検出部 101は、その全ての顔画像を検出する。
[0026] 顔画像の検出処理が完了すると、認識 ID付与部 102が以下の処理を行う。
まず、認識 ID付与部 102は、被写体認識情報テーブル 103の全ての被写体認 識情報の検出フラグをクリアする。（ステップ S112)。次に、認識 ID付与部 102 は、被写体検出部 101が検出した顏画像のうちまだ処理していないもの 1つを 抽出する（ステップ S113)。そして、認識 ID付与部 102は、抽出した顔画像との 距離が所定の距離内でありかつ最も近い位置座標を有する被写体認識情報を、 被写体認識情報テーブル 103より検索する（ステップ S114)。この処理は例え ば、抽出した顔画像と被写体認識情報の中心座標同士の距離を計算すること で行われる。なお、位置座標 {(Xm, Ym), (Xn, Yn) }が表す領域の中心座標 は i(Xm+Xn) 2， （Ym +Yn) 2}の計算式で求めることができる。検索の結 ，果、認識 ID付与部 102は、該当する被写体認識情報が存在するかどうかを判 定する（ステップ S115)。存在する場合は、認識 ID付与部 102は、該当する被 写体認識情報の位置座標を抽出した顔画像の位置座標の値で更新し、検出フ ラグに" O"を設定する（ステップ S116)。該当する被写体認識情報が存在しな い場合は、認識 ID付与部 102は、新たな認識 IDを採番する。そして、この認識 I Dと、抽出した顔画像の位置座標の値と、検出フラグ = "〇"を新たな被写体認 識情報として被写体認識情報テーブル 103に追加登録する（ステップ S117)。
[0027] ここで、画像処理部 10は、ステップ S111で検出された顏画像全てに対して処 理が完了したかどうかを判定する（ステップ S118)。完了していない場合は、ステ ップ S 113に戻り、まだ処理していない顔画像に対して同様の処理が繰り返され る。完了した場合は、被写体画像認識処理は終了する。
[0028] このように、画像処理部 10は、被写体画像認識処理において、今回検出され た位置座標と前回検出された位置座標が近い被写体を同一の被写体と判定す る。このような処理を実行することにより、第 1の実施形態におけるカメラは、被写 体の特徴情報を登録することなく、複数の被写体に対して、そのそれぞれに同一 の認識 IDを継続的に付与する。このことにより、検出された複数の被写体の中 から、特定の被写体を選択して追跡することが可能となる。
[0029] ここで、被写体画像認識処理が実行される周期は、撮像部 11が画像データ を生成する周期（フレームレート）と同じである必要はない。ただし、処理が実行さ れる周期が長いほど、処理の間の被写体の移動距離は大きくなる。このことは、 「今回検出された位置座標と前回検出された位置座標が近い被写体を同一の 被写体と判定する」という上記の方法において、誤判定の可能性を高くする。従 つて、被写体画像認識処理が実行される周期は、誤判定が発生しない程度に 短いことが好ましい。
[0030] 次に、図 5〜9を参照して、第 1の実施形態における被写体画像認識処理動 作を、時系列に説明する。
[0031] 被写体画像認識処理が終了すると、画像処理装置 10は、認識 IDなどの被 写体に関する情報を出力する。これらの情報は、被写体の映像と共にモニタ画 面 12に表示される。図 5は、被写体画像認識処理が終了した直後のカメラ 1の 状態を表している。図 5 (a)はモニタ画面 12が表示する映像を示す。図 5(b)は 被写体認識情報テーブル 103の内容を示す。これは図 6〜9に関しても同様で あ 。
[0032] 図 5 (a)のモニタ画面 12には 3人の人物 1201 ~1203が表示されている。ま た、これらの人物の顔画像が検出された位置を示す枠 1211~1213が、対応 する顏画像に重畳して表示されている。また、顔画像に付与された認識 ID ("1" ~"3")を表す符号 122"！〜 1223が、対応する顔画像の近傍に表示されている D なお、以降の説明では、認識 ID"1"が付与された顏画像のことを「顔画像' Ί"」 と称する。
[0033] 枠 1213は他の枠と区別が可能であるように、他の枠と異なる太さあるいは異 なる色で表示されている。これは、枠 1213が示す顔画像" 3"が追跡対象として 設定されていることを示す。この設定は、顏画像" 3"が検出されている状態で、 利用者が顔画像" 3"を選択する操作を行うことで成される。この操作とは、例え ば、キー入力部 13の該当する数字キー（"3"キー）を押下する、カーソルキーを 使用して顔画像" 3"にカーソル（図示せず）を合わせる、等である。
[0034] 図 5(b)の被写体認識情報テーブル 103は 3つの顔画像に関する被写体認 識情報を保持している。それぞれのレコードには、 "1 "〜"3"の認識 IDと、顔画 像が検出された位置座標 {(X11, Y11), (X12, Y12)1, t(X21, Y21), (X2 2, Y22)}, {(X31 , Y31 ), (X3,2, Y32) }力設定されている。全てのレコードの 9 09058224
検出フラグには検出されていることを示す "〇"が設定されている。また、認識 ID "3"のレコードのみ、追跡対象フラグに "〇"が設定されている。これは顏画像
"3"が追跡対象として設定されていることを示す。
[0035] 図 6は、図 5の時点の次に被写体画像認識処理が実行され、終了した直後の カメラ 1の状態を表している。
[0036] 図 6(a)を参照すると、今回新たに検出された 2人の人物 1204·, 1205が新
たに表示されている。これらの顏画像には新たな認識 ID"4", "5"が付与されて おり、枠 1214, 1215と符号 1224, 1225が、表示されている。なお、複数の顏 画像が新たに検出された場合、認識 IDは、顏画像の大きさの順番や、画面内の 位置、例えば左上隅からの距^の順番などに基づいて採番されてもよい。
[0037] —方で、人物 1202がフレーム外に移動している。このため、顔画像" 2"は検 出されていない。また、人物 1201， 1203の顏画像にはそれぞれ前回と同じ認 識 ID"1 ", "3"が付与されている。これは、被写体画像認識処理において、人物 1201, 1203の顔画像が、前回検出された位置座標と近い距離にあることによ リ、対応する被写体認識情報と紐付けられたためである。
[0038] 図 6(b)を参照すると、新たに 2レコードの被写体認識情報が追加されている。
これらの 2レコードには、 "4", "5"の認識 IDと、顏画像が検出された位置座標
{(X41 , Y41), (X42, Y42)}, {(X51, Y51), (X52, Y52) }力設定されてし、 る。一方で、今回検出されなかった顔画像に関する認識 ID"2"の被写体認識情 報レコードは、検出フラグがクリアされている。また、位置座標には、顔画像" 2" が最後に検出された時点の値 ί(Χ21, Υ21), (Χ22, Υ22)}が引き続き設定さ れている。
[0039] 図 7は、図 6の時点の次に被写体画像認識処理が実行され、終了した直後の カメラ 1の状態を表している。
[0040] 図 7(a)を参照すると、人物 1203が後ろを振り向いている。このため、顔画像 "3"は検出されていない。また、人物 1204が人物 1205の前を覆い隠す位置に 移動している。このため、顔画像" 5"もまた検出されていない。認識 ID"2", "3", "5"に対応する顔画像が検出されていないため、顔画像" 2", "3", "5"を示す 枠と符号は表示されていない。
[0041] 図 7(b)を参照すると、今回検出されなかった顏画像に関する認識 ID"2", "3", "5"の被写体認識情報レコードは、検出フラグがクリアされている。また、 位置座標は、顏画像" 2", "3", "5"が最後に検出された時点の値 {(X21, Y2 1), (X22, Y22)}, {(X31 , Y31 ), (X32, Y32)}, {(X51 , Y51 ), (X52, Y 52)}が引き続き設定されている。一方で、認識 ID"4"のレコードは、顔画像の 移動先の新たな位置座標 {(Χ4"Τ, Υ41 Ί, (Χ42', Υ42Ί}が設定されてい る。なお、 {(Χ41 ', Υ41 (Χ42', Υ42 }は、前回 {(Χ41 , Υ41), (Χ42, Υ42)}に位置していた顏画像と同一の被写体であると判定される程度に近い距 離にある位置座標である。
[0042] この時点においては、追跡対象として設定されていた顔画像" 3"が検出されて いない。そのため、この時点においては、追跡対象の顔画像は無い。ただし、被 写体認識情報テーブル 103の認識 ID"3"のレコードの追跡対象フラグには、引 き続き "〇"が設定されている。
[0043] 図 8は、図 7の時点の次に被写体画像認識処理が実行され、終了した直後の カメラ 1の状態を表している。
[0044] 図 8(a)を参照すると、人物 1202が再度フレーム内に移動している。また人 物 1204が再度移動し、覆い隠されていた人物 1205が再度現れている。このた め、前回検出されなかった人物 1202と人物 1205の顔画像が検出されている。 人物 1202, 1205の顔画像にはそれぞれ以前検出されていた時と同じ認識 ID "2", "5"が付与されている。これは、被写体画像認識処理において、人物 120 2と人物 1205の顏画像が、最後に検出された位置座標と近い距離にあること により、対応する被写体認識情報と紐付けられたためである。一方で、人物 120 3は依然後ろを向いた状態であるため、顔画像" 3"は検出されていない。
[0045] 図 8(b)を参照すると、今回再度検出された顔画像に関する認識 ID"2", "5" の被写体認識情報レコードは、検出フラグに再度 "〇"が設定されている。また、 認識 ID"2", "4"のレコードは、顔画像の移動先の新たな位置座標 {(Χ2·Τ, Υ 2"Τ), (Χ22', Y22')}, {(Χ41 ", Υ41 "), (Χ42", Υ42") }が設定され ている。
[0046] この時点においても、追跡対象として設定されていた顔画像" 3"が検出されて いない。そのため、この時点においても、追跡対象の顔画像は無い。
[0047] 図 9は、図 8の時点の次に被写体画像認識処理が実行され、終了した直後の 11 T JP2009/058224
カメラ 1の状態を表している。
[0048] 図 9 (a)を参照すると、人物 1 203が再度前を向いている。このため、前回検
出されなかった人物 1 203の顔画像が検出されている。人物 1 203の顏画像に は以前検出されていた時と同じ認識 ID"3 "が付与されている。これは、被写体画 像認識処理において、人物 1 203の顔画像が、最後に検出された位置座標と近 い距離にあることにより、対応する被写体認識情報と紐付けられたためである。 また、顔画像" 3 "が検出されなくなる前と同様に、追跡対象として設定されてい ることを示す、他の枠と異なる太さあるいは異なる色で表示された枠 1 21 3が表 示されている。これは、顏画像" 3 "が検出されなくなった時点においても、被写体 認識情報テーブル 1 03の認識 ID" 3 "のレコードの追跡対象フラグに "O"が設 定されていたためである。
[0049] 図 9 (b)を参照すると、今回再度検出された顔画像に関する認識 ID" 3 "の被
写体認識情報レコードは、検出フラグに再度" O"が設定されている。また、追跡 対象フラグには、引き続き" O"が設定されている。
[0050] 以上説明したように第 1の実施形態に係るカメラは、被写体の特徴情報を登
録することなく、検出した複数の被写体の顔画像に対して、そのそれぞれに同一 の認識 IDを継続的に付与することができる。その理由は、認識 ID付与部 1 02が、 検出された顔画像の位置座標と被写体認識情報テーブル 1 03内の位置座標を 比較することによって、検出された顔画像と対応する被写体認識情報を紐付け るためである。
[0051] また、第 1の実施形態に係るカメラは、被写体の顏画像が一時的に検出され
なくなり、その後再び検出された場合でも、検出した複数の被写体の顔画像に 対して、そのそれぞれに同一の認識 IDを継続的に付与することができる。その理 由は、検出されなかった被写体についても、被写体認識情報テーブル 1 03が、 被写体が最後に検出された位置座標と被写体の認識 IDを保持するからである。
[0052] また、第 1の実施形態に係るカメラは、追跡対象に設定された被写体の顔画
像が一時的に検出されなくなり、その後再び検出された場合でも、自動的に追 跡を再開できる。その理由は、検出されなかった被写体についても、被写体認識 情報亍ーブル 1 03が、被写体の追跡対象フラグと被写体の認識 IDを保持する からである。 [0053] また、第 1の実施形態に係るカメラは、データの記憶および比較処理が、特許 文献 1に開示されたカメラに比べ簡素な構成で実現できる。その理由は、被写体 " の画像の特徴情報に比べ、位置座標はデータ容量が少なく、また比較処理も簡 易であるからである。
[0054] (第 2の実施形態）
次に、本発明の第 2の実施形態を説明する。
[0055] 本発明の第 1の実施形態において、被写体認識情報は、ひとたび登録される とその後削除されることは無かった。しかし、本発明の第 2の実施形態において は、被写体の画像が長時間検出されない場合、対応する被写体認識情報が削 除される点が第 1の実施形態と異なる。
[0056] 図 1 0は、第 2の実施形態に係るカメラ 1の主要な機能構成を示すブロック構 成図である。なお、図 1 0のブロック構成図において、図 2のブロック構成図の参 照符号と同一の符号を付した構成要素は、図 2で説明した構成要素と同一内
' 容である。図 1 0のカメラ 1は、新たな構成要素として被写体認識情報削除部 1 0 4を備えている。
[0057] 図 1 1は、第 2の実施形態における被写体認識情報テーブル 1 03に格納され る情報を示す図である。被写体認識情報テーブル 1 03は、新たな項目として、検 出時刻を備えている。なお、他の項目については図 3と同様である。
[0058] 次に、図 1 2を参照して、第 2の実施形態における被写体画像認識処理動作 を説明する。
[0059] 図 1 2は、第 2の実施形態における被写体画像認識処理を説明するフローチ ヤー卜である。なお、図 1 2のフローチャートにおいて、図 4のフローチャートの参照 符号と同一の符号を付したス ップは、図 4で説明したステップと同一内容であ る。したがって、これら同一内容のステップについての説明は省略される。図 1 2 では、図 4のステップ S 1 1 6と S 1 1 7がそれぞれステップ S21 6と S21 7に置き換 えられ、また、新たにステップ S21 9が it加されている。
[0060] ステップ S21 6において、認識 ID付与部 1 02は、位置座標と検出フラグの更 新に加えて、検出時刻を現時刻の値で更新する。また、ステップ S 21 7において、 認識 ID付与部 1 02は、認識 IDと位置座標と検出フラグの設定に加えて、検出 時刻に現時刻の値を設定する。なお、認識 ID付与部 1 02は、カメラ 1の内蔵時 計（図示せず）より現時刻の値を取得してもよい。
[0061 ] また、顔画像全てに対して処理が完了したとステップ S 1 1 8で判定された場合、 被写体認識情報削除部 1 04は、検出時刻より所定の時間経過している全ての 被写体認識情報を抽出し、削除する（ステップ S21 9 )。この抽出処理は、例え ば、検出時刻の値と現時刻を比較してその差が所定の値より大きいか判定する ことにより行われる。その後、被写体画像認識処理を終了する。 .
[0062] 以上説明したように第 2の実施形態に係るカメラは、所定の時間検出されてい ない被写体認識情報を削除する。これにより、被写体認識情報テーブル 1 03の 空き容量が長時間検出されていない被写体 識情報が滞留することにより不足 し、顏画像への認識 ID付与が行えなくなることが防止される。
[0063] (第 3の実施形態）
次に、本発明の第 3の実施形態を説明する。
[0064] 本発明の第 1の実施形態において、被写体は人物の顏であった。本発明の第
3の実施形態においては、被写体が特定の服装を着用した人物の画像である点 が第 1の実施形態と異なる。
[0065] 本発明の第 3の実施形態に係るカメラの機能構成は、図 1 , 2と同様であるた め、説明を省略する。また、被写体認識情報テーブル 1 03に格納される情報も、 図 3と同様であるため、説明を省略する。
[0066] 次に、図 1 3を参照して、第 3の実施形態における被写体画像認識処理動作 を説明する。
[0067] 図 1 3は、第 3の実施形態における被写体画像認識処理を説明するフローチ ヤー卜である。なお、図 1 3のフローチャートにおいて、図 4のフローチャートの参照 符号と同一の符号を付したステップは、図 4で説明したステップと同一内容であ る。したがって、これら同一内容のステップについての説明は省略される。図 1 3 では、図 4のステップ S 1 1 1が、ステップ S31 1に置き換えられている。
[0068] 被写体画像認識処理の開始がされると、最初に、被写体検出部 1 01は、撮 像部 1 1から取り込んだ画像データから特定の服装を着用した人物の画像を検 出する。例えば、被写体検出部 1 01は、上半身に黄色の半袖シャツを、下半身 に緑色の短パンを着用した人物の画像を検出する（ステップ S3 1 1 )。この検出 処理は例えば、色彩が黄色で半袖シャツの形状の部分と色彩が緑色で短パン の形状の部分が隣接して存在している領域を、画像データ内で検索することによ リ行われる。このような服装画像を検出すると、被写体検出部 101は、検出した 服装画像の画像データ内での位置座標を出力する。画像データに複数のこのよ うな服装画像が含まれている場合、被写体検出部 10"1は、その全ての服装画 像を検出する。以降の処理は、被写体が顏画像ではなく服装画像である点を除 いて図 4と同様であるため、説明を省略する。
[0069] 次に、図 14を参照して、第 3の実施形態における被写体画像認識処理が終 了した直後のカメラ 1の状態を説明する。図 14(a)はモニタ画面 12の映像を、 図 14(b)は被写体認識情報テーブル 103の内容をそれぞれ示す。また、以降 の説明において、被写体検出部 101は、上半身に黄色の半袖シャツを、下半身 に緑色の短パンを着用した人物の画像を検出するものとする。 '
[0070] 図 14(a)のモニタ画面 12には 4人の人物 1206~1209が表示されている。
このうち、人物 1206, 1207は、上半身に黄色の半袖シャツを、下半身に緑色 の短パンを着用している。一方で、人物 1208, 1209は、これとは異なる服装を 着用している（例えば青色の半袖シャツと白色の短パン）。
[0071] 被写体検出部 101は、人物 1206, 1207の服装画像を検出している。モニ タ画面 12には、これらの服装画像が検出された位置を示す枠 1216, 1217と、 服装画像に付与された認識 ID("6", "7")を表す符号 1226, 1227が表示さ れている。
[0072] 図 14 ( b)の被写体認識情報テーブル 103は、検出された 2つの服装画像に 関する被写体認識情報を保持している。
[0073] 以上説明したように第 3の実施形態に係るカメラは、第 1の実施形態のカメラ の機能を、人物の顔画像ではなく、人物の特定の服装画像に適用する。これに より、例えばスポーツ試合の撮影において、特定のチームのユニフォームを着用 した人物のみを検出 "追跡できる。
[0074] また、猫や犬等の特定の動物や、自動車や飛行機等の特定の乗り物や、そ の他形状や色彩に特定の特徴を持つ被写体に、第 1の実施形態のカメラの機 能を適用してもよい。
[0075] 以上のとおリ、被写体に認識 IDを付与するカメラを例に本発明の実施形態が 説明された。しかしながら、本発明に係る画像処理 置は、携帯電話端末や PD A ( Personal Digital Assistant)などが備えるカメラ機能にも適用できる。また、本 発明に係る画像処理装置は、動画の撮影機能を備えるカメラにも適用できる。 また、本発明に係る画像処理装置は、撮像手段を持たない、例えば録画画像を 解析する画像解析装置にも適用できる。
[0076] 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形 態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコー プ内で当業者が理解し得る様々な変更をすることができる。
[0077] この出願は、 2008年 4月 23日に出願された日本特許出願特願 2008— 1 1 281 3を基礎とする優先権を主張し、その開示の全てを盛り込む。

Claims

請求の範囲
[1 ] 画像より被写体画像を検出する被写体検出手段と、
前記被写体画像の認識 IDと、前記被写体画像が前記画像内で最後に検出さ れた位置である第 1の位置とを記憶する被写体認識情報記憶手段と、
前記被写体画像に認識 IDを付与する認識 ID付与手段とを備え、
前記認識 ID付与手段は、前記被写体検出手段が前記被写体画像を検出した 位置から所定の距離内に前記第 1の位置が存在する場合、前記第 1の位置に 対応する認識 IDを前記被写体画像に付与する
ことを特徴とする画像処理装置。
[2] 前記認識 ID付与手段は、前記被写体検出手段が前記被写体画像を検出し た位置から前記所定の距離内に前記第 1の位置が存在しない場合、新たな認 識 IDを前記被写体画像に付与する
ことを特徴とする請求項 1記載の画像処理装置。
[3] 前記被写体認識情報記憶手段は、前記被写体画像が最後に検出された時
刻である第 1の時刻をさらに記憶し、
前記画像処理装置は、前記第 1の時刻から所定の時間が経過すると、前記第 1の時刻と、前記第 1の時刻に対応する前記認識 IDおよび前記第 1の位置とを、 . ' 前記被写体認識情報記憶手段から削除する被写体認識情報削除手段をさら に備えた
ことを特徴とする請求項 1または 2記載の画像処理装置。
[4] 前記被写体画像は、人物の顔の画像であることを特徴とする請求項 1乃至 3 記載の画像処理装置。
[5] 前記被写体画像は、人物の特定の服装の画像であることを特徴とする請求
項 1乃至 3記載の画像処理装置。
[6] 被写体を撮影する撮像手段と、
請求項 1乃至 5のいずれかに記載の画像処理装置と、
前記撮像手段が撮影する画像と、前記画像処理装置が生成する前記被写体 に関する情報とを表示する表示手段とを備える ' ことを特徴とするカメラ。
[7] 被写体画像の.認識 IDと、前記被写体画像が画像内で最後に検出された位 置である第 1の位置とを記憶し、
前記画像より前記被写体画像を検出し、
前記被写体画像が検出された位置から所定の距離内に前記第 1の位置が存 在する場合、前記第 1の位置に対応する認識 IDを前記被写体画像に付与する ことを特徴とする画像処理方法。
[8] 前記被写体画像が検出された位置から前記所定の距離内に前記第 1の位 置が存在しない場合、新たな前記認識 IDを前記被写体画像に付与する ことを特徴とする請求項 7記載の画像処理方法。
[9] 前記被写体画像が最後に検出された時刻である第 1の時刻を記億し、
前記第 1の時刻から所定の時間が経過すると、前記第 1の時刻と、前記第 1の 時刻に対応する前記認識 IDおよび前記第 1の位置とを削除する
ことを特徴とする請求項 7または 8記載の画像処理方法。
[10] 前記被写体画像は、人物の顔の画像であることを特徴とする請求項 7乃至 9 記載の画像処理方法。
[1 1 ] 前記被写体画像は'、人物の特定の服装の画像であることを特徴とする請求 項 7乃至 9記載の画像処理方法。
[12] 被写体画像の認識 IDと、前記被写体画像が画像内で最後に検出された位 置である第 1の位置とを記憶し、
前記画像より前記被写体画像を検出し、
前記被写体画像が検出された位置から所定の距離内に前記第 1の位置が存 在する場合、前記第 1の位置に対応する認識 IDを前記被写体画像に付与する ことを特徴とする画像処理をコンピュータに実行させるプログラム。
[13] 前記被写体画像が検出された位置から前記所定の距離内に前記第 1の位 置が存在しない場合、新たな前記認識 IDを前記被写体画像に付与する ことを特徴とする画像処理をコンピュータに実行させる請求項 1 2記載のプログ ラム。
[14] 前記被写体画像が最後に検出された時刻である第 1の時刻を記憶し、
前記第 1の時刻から所定の時間が経過すると、前記第 1の時刻と、前記第 1の 時刻に対応する前記認識 IDおよび前記第 1の位置とを削除する
ことを特徴とする画像処理をコンピュータに実行させる請求項 1 2または 1 3記載 のプログラム。
[15] 前記被写体画像は、人物の顔の画像であることを特徴とする画像処理をコン ピュータに実行させる請求項 12乃至 14記載のプログラム。
[16] 前記被写体画像は、人物の特 ¾の服装の画像であることを特徴とする画像 処理をコンピュータに実行させる請求項 12乃至 14記載のプログラム。
PCT/JP2009/058224 2008-04-23 2009-04-21 画像処理装置、カメラ、画像処理方法およびプログラム WO2009142098A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010512983A JP5674465B2 (ja) 2008-04-23 2009-04-21 画像処理装置、カメラ、画像処理方法およびプログラム
US12/937,019 US8682031B2 (en) 2008-04-23 2009-04-21 Image processing device, camera, image processing method, and program
CN200980114650.6A CN102017606B (zh) 2008-04-23 2009-04-21 图像处理设备、相机、图像处理方法和程序
EP09750460.9A EP2276234A4 (en) 2008-04-23 2009-04-21 Image processing device, camera, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-112813 2008-04-23
JP2008112813 2008-04-23

Publications (1)

Publication Number Publication Date
WO2009142098A1 true WO2009142098A1 (ja) 2009-11-26

Family

ID=41340030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058224 WO2009142098A1 (ja) 2008-04-23 2009-04-21 画像処理装置、カメラ、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US8682031B2 (ja)
EP (1) EP2276234A4 (ja)
JP (2) JP5674465B2 (ja)
CN (1) CN102017606B (ja)
WO (1) WO2009142098A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039210A (ja) * 2010-08-04 2012-02-23 Nikon Corp 被写体特定用プログラム、およびカメラ
JP2015537276A (ja) * 2012-09-18 2015-12-24 クアルコム，インコーポレイテッド ヘッドマウントディスプレイの使用が、非ユーザから見てあまり分からないようにするための方法およびシステム
JP2016181173A (ja) * 2015-03-24 2016-10-13 トヨタホーム株式会社 入退場管理システム
JP2016181174A (ja) * 2015-03-24 2016-10-13 トヨタホーム株式会社 地域監視システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330611B1 (en) * 2009-01-15 2012-12-11 AvidaSports, LLC Positional locating system and method
US8988240B2 (en) * 2009-01-15 2015-03-24 AvidaSports, LLC Performance metrics
US9767351B2 (en) 2009-01-15 2017-09-19 AvidaSports, LLC Positional locating system and method
ES2745739T3 (es) * 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
CN109558773B (zh) * 2017-09-26 2023-04-07 阿里巴巴集团控股有限公司 信息识别方法、装置及电子设备
CN109034063A (zh) 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
CN110163055A (zh) * 2018-08-10 2019-08-23 腾讯科技（深圳）有限公司 手势识别方法、装置和计算机设备
JP6982648B2 (ja) * 2020-04-08 2021-12-17 テックファーム株式会社 情報処理装置、情報処理方法及び認証システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05334411A (ja) 1992-05-29 1993-12-17 Casio Comput Co Ltd モンタージュ作成装置
JP2003274320A (ja) * 2002-03-15 2003-09-26 Konica Corp 画像撮像装置、画像情報処理装置及び画像情報処理方法
JP2006101186A (ja) 2004-09-29 2006-04-13 Nikon Corp カメラ
JP2006293912A (ja) 2005-04-14 2006-10-26 Toshiba Corp 情報表示システム、情報表示方法および携帯端末装置
JP2007068147A (ja) * 2005-08-05 2007-03-15 Canon Inc 画像処理方法、撮像装置、及び、画像処理方法をコンピュータに実行させるための制御プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921936B2 (ja) * 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
US7039221B1 (en) * 1999-04-09 2006-05-02 Tumey David M Facial image verification utilizing smart-card with integrated video camera
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
JP4510554B2 (ja) 2004-08-31 2010-07-28 富士重工業株式会社 立体物監視装置
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
JP4859205B2 (ja) * 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP4830650B2 (ja) * 2005-07-05 2011-12-07 オムロン株式会社 追跡装置
JP2007213170A (ja) 2006-02-07 2007-08-23 Omron Corp 画像処理装置および方法、並びにプログラム
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JPWO2008041629A1 (ja) * 2006-09-29 2010-02-04 ソニー株式会社 再生装置および方法、情報生成装置および方法、データ格納媒体、データ構造、プログラム格納媒体、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05334411A (ja) 1992-05-29 1993-12-17 Casio Comput Co Ltd モンタージュ作成装置
JP2003274320A (ja) * 2002-03-15 2003-09-26 Konica Corp 画像撮像装置、画像情報処理装置及び画像情報処理方法
JP2006101186A (ja) 2004-09-29 2006-04-13 Nikon Corp カメラ
JP2006293912A (ja) 2005-04-14 2006-10-26 Toshiba Corp 情報表示システム、情報表示方法および携帯端末装置
JP2007068147A (ja) * 2005-08-05 2007-03-15 Canon Inc 画像処理方法、撮像装置、及び、画像処理方法をコンピュータに実行させるための制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2276234A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039210A (ja) * 2010-08-04 2012-02-23 Nikon Corp 被写体特定用プログラム、およびカメラ
JP2015537276A (ja) * 2012-09-18 2015-12-24 クアルコム，インコーポレイテッド ヘッドマウントディスプレイの使用が、非ユーザから見てあまり分からないようにするための方法およびシステム
JP2016181173A (ja) * 2015-03-24 2016-10-13 トヨタホーム株式会社 入退場管理システム
JP2016181174A (ja) * 2015-03-24 2016-10-13 トヨタホーム株式会社 地域監視システム

Also Published As

Publication number Publication date
EP2276234A4 (en) 2017-11-22
EP2276234A1 (en) 2011-01-19
CN102017606B (zh) 2014-04-09
JP5674465B2 (ja) 2015-02-25
CN102017606A (zh) 2011-04-13
US20110038549A1 (en) 2011-02-17
US8682031B2 (en) 2014-03-25
JP2015111836A (ja) 2015-06-18
JPWO2009142098A1 (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5674465B2 (ja) 画像処理装置、カメラ、画像処理方法およびプログラム
JP4725377B2 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
US11704934B2 (en) Information processing apparatus, information processing method, and program
JP7540430B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2010016175A1 (ja) 対象検出装置および対象検出方法
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US12046075B2 (en) Information processing apparatus, information processing method, and program
JP3860560B2 (ja) 表示インタフェース方法および装置
JP7298729B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024095137A (ja) 人物追跡システム、人物追跡サーバ装置、人物追跡方法
JP2015207060A (ja) 情報処理装置、方法及びプログラム
CN115004228A (zh) 信息处理装置、程序和方法
JP2017049977A (ja) 情報付与方法およびサーバ装置
JP2011076439A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980114650.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09750460

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009750460

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010512983

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12937019

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE