JP4769653B2 - Target image detection system, target image portion matching determination device, target image portion sorting device, and control method therefor - Google Patents
Target image detection system, target image portion matching determination device, target image portion sorting device, and control method therefor Download PDFInfo
- Publication number
- JP4769653B2 JP4769653B2 JP2006201782A JP2006201782A JP4769653B2 JP 4769653 B2 JP4769653 B2 JP 4769653B2 JP 2006201782 A JP2006201782 A JP 2006201782A JP 2006201782 A JP2006201782 A JP 2006201782A JP 4769653 B2 JP4769653 B2 JP 4769653B2
- Authority
- JP
- Japan
- Prior art keywords
- target image
- image
- image portion
- face
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
この発明は，対象画像検出システム，対象画像部分の一致判定装置および対象画像部分のソーティング装置ならびにそれらの制御方法に関する。 The present invention relates to a target image detection system, a target image portion matching determination device, a target image portion sorting device, and a control method thereof.
ディジタル・スチル・カメラ，ディジタル・ムービ・ビデオ・カメラなどでは，表示装置が設けられており，撮像することにより被写体像が動画で表示される。ユーザは，表示されている被写体像を見ながらカメラ・アングルを決定する。 A digital still camera, a digital movie video camera, or the like is provided with a display device, and a subject image is displayed as a moving image by imaging. The user determines the camera angle while viewing the displayed subject image.
最近，撮像された被写体像の中から顔画像部分を検出し，検出された顔画像部分を枠で囲んで表示することが考えられている（特許文献１〜４）。
しかしながら，動画に代表されるように連続的な画像では同じ被写体を撮像しても画像ごとにずれがあるので，それぞれの画像において顔画像部分を枠で表示すると，枠表示の位置が正確であればあるほど画像ごとに枠がずれてしまう。画像を見ているユーザに不快感を与えることがある。 However, even if the same subject is captured in a continuous image as represented by a moving image, there is a shift for each image. Therefore, if the face image portion is displayed in a frame in each image, the position of the frame display must be accurate. The more the image is, the more the frame will be shifted. It may be uncomfortable for the user viewing the image.
また，連続した複数駒の画像のそれぞれに顔画像が含まれている場合には，同じ顔画像かどうかを判断することが難しいことがある。 Further, when a face image is included in each of a plurality of consecutive frames, it may be difficult to determine whether or not they are the same face image.
この発明は，枠表示による不快感をできるだけ抑えることを目的とする。 An object of the present invention is to suppress discomfort caused by the frame display as much as possible.
またこの発明は，複数駒の画像にそれぞれ含まれる顔画像が同じものかどうかを判断できるようにすることを目的とする。さらにこの発明は，一駒の画像の中に顔画像などの対象画像部分が含まれている場合に，順番に並べることができるようにすることを目的とする。 Another object of the present invention is to make it possible to determine whether or not face images included in a plurality of frames are the same. It is a further object of the present invention to make it possible to arrange images in order when a single image includes a target image portion such as a face image.
第１の発明による対象画像検出システムは，与えられる画像データによって表される画像の中から対象画像部分を検出する対象画像部分検出手段，上記対象画像部分検出手段によって検出された対象画像部分を示す位置を記憶する位置記憶手段，上記対象画像部分検出手段における検出処理および上記位置記憶手段における記憶処理を，連続して与えられる複数駒の画像データについて繰り返すように上記対象画像部分検出手段および上記位置記憶手段を制御する制御手段，上記位置記憶手段に記憶されている位置にもとづいて上記対象画像部分を示す検出枠の表示位置を決定する表示位置決定手段，ならびに検出枠を，上記表示位置決定手段によって決定された位置に，上記対象画像部分検出手段に最後に与えられた画像とともに表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。 A target image detection system according to a first aspect of the present invention shows target image part detection means for detecting a target image part from an image represented by given image data, and the target image part detected by the target image part detection means. The target image portion detection means and the position storage so as to repeat the position storage means for storing the position, the detection processing in the target image portion detection means and the storage processing in the position storage means for image data of a plurality of frames that are successively given. Control means for controlling the means, display position determining means for determining the display position of the detection frame indicating the target image portion based on the position stored in the position storage means, and the detection frame by the display position determining means. Display at the determined position together with the last image given to the target image part detection means Characterized in that it comprises a display control means for controlling the urchin display device.
第１の発明は，上記対象画像検出システムに適した制御方法も提供している。すなわち，この方法は，対象画像部分検出手段が，与えられる画像データによって表される画像の中から対象画像部分を検出し，位置記憶手段が，上記対象画像部分検出手段によって検出された対象画像部分を示す位置を記憶し，制御手段が，上記対象画像部分検出手段における検出処理および上記位置記憶手段における記憶処理を，連続して与えられる複数駒の画像データについて繰り返すように上記対象画像部分検出手段および上記位置記憶手段を制御し，表示位置決定手段が，上記位置記憶手段に記憶されている位置にもとづいて上記対象画像部分を示す検出枠の表示位置を決定し，表示制御手段が，検出枠を，上記表示位置決定手段によって決定された位置に，上記対象画像部分検出手段に最後に与えられた画像とともに表示するように表示装置を制御するものである。 The first invention also provides a control method suitable for the target image detection system. That is, in this method, the target image portion detection means detects the target image portion from the image represented by the given image data, and the position storage means detects the target image portion detected by the target image portion detection means. And the control means repeats the detection processing in the target image portion detection means and the storage processing in the position storage means for the image data of a plurality of frames given in succession, and The position storage means is controlled, the display position determination means determines the display position of the detection frame indicating the target image portion based on the position stored in the position storage means, and the display control means determines the detection frame. , And the image finally given to the target image portion detecting means is displayed at the position determined by the display position determining means. And controls the display device.
第１の発明によると，画像データが与えられると，その画像データによって表される画像の中から対象画像部分が検出され，検出された対象画像部分を示す位置が記憶される。複数駒の画像データが連続して与えられ（動画のように一定周期で与えられてもよいし，連写のように静止画を表す画像データが複数駒分与えられてもよい。），対象画像部分の検出処理およびその位置の記憶処理が繰り返される。記憶されている位置にもとづいて，対象画像部分を示す検出枠の表示位置が決定される。決定された位置に検出枠が画像とともに表示される。第１の発明によると，以前に与えられた画像データによって表される画像の対象画像部分の位置にもとづいて検出枠の表示位置が決定されるから，以前の駒の画像の対象画像部分の位置近傍に検出枠を表示させることができる。検出枠の変動を抑えることができ，検出枠を見るユーザに不快感を与えないようにできる。表示位置は，たとえば，以前に検出された対象画像部分位置の平均位置でもよい。 According to the first invention, when image data is given, a target image portion is detected from an image represented by the image data, and a position indicating the detected target image portion is stored. The image data of a plurality of frames is given continuously (may be given at a constant cycle like a moving image, or image data representing a still image may be given for a plurality of frames like continuous shooting), and the target image. The part detection process and the position storage process are repeated. Based on the stored position, the display position of the detection frame indicating the target image portion is determined. A detection frame is displayed at the determined position together with the image. According to the first invention, since the display position of the detection frame is determined based on the position of the target image portion of the image represented by the previously given image data, the vicinity of the position of the target image portion of the previous frame image A detection frame can be displayed on the screen. The fluctuation of the detection frame can be suppressed, and the user viewing the detection frame can be prevented from feeling uncomfortable. The display position may be, for example, an average position of previously detected target image partial positions.
上記表示位置決定手段は，上記位置記憶手段に記憶されている位置にもとづいて決定される対象画像部分の大きさを大きい順に，または対象画像部分の中心位置を画像の中心に近い順に並び替える並び替え手段を備えてもよい。この場合，上記並び替え手段によって並び替えられた対象画像部分の大きさのうち中間の大きさを含む複数の大きさ，または上記並び替え手段によって並び替えられた対象画像部分の中心位置のうち中間の位置を含む複数の位置にもとづいて上記対象画像部分を示す検出枠の表示位置を決定するものとなろう。記憶されている位置の個数が所定数以上の場合に上記の処理を行うようにしてもよい。 The display position determining means rearranges the size of the target image portion determined based on the position stored in the position storage means in descending order, or rearranges the center position of the target image portion in ascending order of the center of the image. Replacement means may be provided. In this case, a plurality of sizes including an intermediate size among the sizes of the target image portions rearranged by the rearranging means, or an intermediate position among the center positions of the target image portions rearranged by the rearranging means. The display position of the detection frame indicating the target image portion will be determined based on a plurality of positions including the position. The above processing may be performed when the number of stored positions is greater than or equal to a predetermined number.
第２の発明による対象画像部分の一致判定装置は，第１の画像の中から対象画像部分を検出する第１の対象画像部分検出手段，第２の画像の中から対象画像部分を検出する第２の対象画像部分検出手段，上記第１の対象画像部分検出手段によって検出された対象画像部分と上記第２の対象画像部分検出手段によって検出された対象画像部分との大きさの変化，中心位置の変化，傾きの変化および向きの変化の少なくとも一つにもとづいて，上記第１の対象画像部分検出手段によって検出された対象画像部分と上記第２の対象画像部分検出手段によって検出された対象画像部分とが同一かどうかを判定する判定手段を備えていることを特徴とする。 According to a second aspect of the present invention, there is provided a target image part coincidence determination device comprising: first target image part detection means for detecting a target image part from the first image; Change in size between the target image portion detected by the second target image portion detection means and the target image portion detected by the second target image portion detection means; The target image portion detected by the first target image portion detecting means and the target image detected by the second target image portion detecting means based on at least one of the change in the inclination, the change in the inclination, and the change in the orientation Judgment means for judging whether or not the part is the same is provided.
第２の発明は，上記対象画像部分の一致判定装置に適した制御方法も提供している。すなわち，この方法は，第１の対象画像部分検出手段が，第１の画像の中から対象画像部分を検出し，第２の対象画像部分検出手段が，第２の画像の中から対象画像部分を検出し，判定手段が，上記第１の対象画像部分検出手段によって検出された対象画像部分と上記第２の対象画像部分検出手段によって検出された対象画像部分との大きさの変化，中心位置の変化，傾きの変化および向きの変化の少なくとも一つにもとづいて，上記第１の対象画像部分検出手段によって検出された対象画像部分と上記第２の対象画像部分検出手段によって検出された対象画像部分とが同一かどうかを判定するものである。 The second invention also provides a control method suitable for the above-described target image portion coincidence determination device. That is, in this method, the first target image portion detection means detects the target image portion from the first image, and the second target image portion detection means detects the target image portion from the second image. And the determining means detects a change in the size of the target image part detected by the first target image part detecting means and the target image part detected by the second target image part detecting means, and the center position. The target image portion detected by the first target image portion detecting means and the target image detected by the second target image portion detecting means based on at least one of the change in the inclination, the change in the inclination, and the change in the orientation It is determined whether or not the part is the same.
第２の発明によると，第１の画像から対象画像部分が検出され，第２の画像から対象画像部分が検出される。検出された２つの対象画像部分の大きさの変化，中心位置の変化，傾きの変化および向きの変化の少なくとも一つにもとづいて，２つの対象画像部分が同一かどうかを判定される。異なる対象画像を同一と判定してしまうことを未然に防止できる。 According to the second invention, the target image portion is detected from the first image, and the target image portion is detected from the second image. Whether or not the two target image portions are the same is determined based on at least one of the detected size change, center position change, inclination change, and orientation change. It can be prevented in advance that different target images are determined to be the same.
第３の発明による対象画像検出システムは，連続して与えられる複数駒分の画像データによって表される複数駒の画像のそれぞれの中から１または複数の対象画像部分を検出する対象画像部分検出手段，上記対象画像部分検出手段によって検出された１または複数の対象画像部分の中から代表的な対象画像部分を決定する代表対象画像部分決定手段，上記代表対象画像部分決定手段によって決定された以前の駒の代表的な画像部分を示す位置データが位置記憶手段に記憶されているかどうかを判定する第１の判定手段，上記第１の判定手段により，以前の駒の代表的な画像部分を示す位置データが位置記憶手段に記憶されていないと判定されたことに応じて，新たな駒の画像データにもとづいて決定された上記位置データを位置記憶手段に記憶する第１の記憶制御手段，上記第１の判定手段により，以前の駒の画像データにもとづいて決定された位置データが位置記憶手段に記憶されていると判定されたことに応じて，新たな駒の画像データにもとづいて決定された上記位置データによって示される位置と上記位置記憶手段にすでに記憶されている以前の駒の画像データにもとづいて決定された位置データによって示される位置とが所定距離以上離れているかどうかを判定する第２の判定手段，上記第２の判定手段によって所定距離以上離れていないと判定されたことに応じて，新たな駒の画像データにもとづいて決定された位置データを位置記憶手段に記憶し，所定距離以上離れていると判定されたことに応じて，上記対象画像部分検出手段によって検出された対象画像部分のうち所定距離以上離れていない対象画像部分の位置を示すデータを代表対象画像部分の位置を示すデータとして位置記憶手段に記憶する第２の記憶制御手段，ならびに上記位置記憶手段に記憶されている位置データによって表される代表対象画像部分についての枠が，他の対象画像部分についての枠と異なるように，与えられる画像データによって表される画像上に枠を表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。 A target image detection system according to a third aspect of the present invention is a target image portion detection means for detecting one or a plurality of target image portions from each of a plurality of frame images represented by continuously provided image data for a plurality of frames. Representative target image part determining means for determining a representative target image part from one or a plurality of target image parts detected by the target image part detecting means, and a previous frame determined by the representative target image part determining means. The first determination means for determining whether or not the position data indicating the representative image portion is stored in the position storage means, the position data indicating the representative image portion of the previous frame is determined by the first determination means. The position data determined based on the image data of the new frame is recorded in the position storage means in response to the determination that it is not stored in the storage means. In response to determining that the position data determined based on the image data of the previous frame is stored in the position storage unit by the first storage control unit and the first determination unit, The position indicated by the position data determined based on the image data and the position indicated by the position data determined based on the image data of the previous frame already stored in the position storage means are separated by a predetermined distance or more. Second position determination means for determining whether or not the position data is determined based on the image data of the new frame when the second determination means determines that the distance is not more than a predetermined distance. And the object image portion detected by the object image portion detecting means in response to the determination that the object image is more than a predetermined distance. Second storage control means for storing data indicating the position of the target image portion not separated by a predetermined distance or more in the position storage means as data indicating the position of the representative target image portion, and position data stored in the position storage means Display control for controlling the display device to display a frame on the image represented by the given image data so that the frame for the representative target image part represented by is different from the frame for the other target image part Means are provided.
第３の発明は，上記対象画像検出システムに適した制御方法も提供している。すなわち，この方法は，対象画像部分検出手段が，連続して与えられる複数駒分の画像データによって表される複数駒の画像のそれぞれの中から１または複数の対象画像部分を検出し，代表対象画像部分決定手段が，上記対象画像部分検出手段によって検出された１または複数の対象画像部分の中から代表的な対象画像部分を決定し，第１の判定手段が，上記代表対象画像部分決定手段によって決定された以前の駒の代表的な画像部分を示す位置データが位置記憶手段に記憶されているかどうかを判定し，第１の記憶制御手段が，以前の駒の代表的な画像部分を示す第１の判定手段により，上記位置データが位置記憶手段に記憶されていないと判定されたことに応じて，新たな駒の画像データにもとづいて決定された上記位置データを位置記憶手段に記憶し，第２の判定手段が，上記第１の判定手段により，以前の駒の画像データにもとづいて決定された位置データが位置記憶手段に記憶されていると判定されたことに応じて，新たな駒の画像データにもとづいて決定された上記位置データによって示される位置と上記位置記憶手段にすでに記憶されている以前の駒の画像データにもとづいて決定された位置データによって示される位置とが所定距離以上離れているかどうかを判定し，第２の記憶制御手段が，上記第２の判定手段によって所定距離以上離れていないと判定されたことに応じて，新たな駒の画像データにもとづいて決定された位置データを位置記憶手段に記憶し，所定距離以上離れていると判定されたことに応じて，上記対象画像部分検出手段によって検出された対象画像部分のうち所定距離以上離れていない対象画像部分の位置を示すデータを代表対象画像部分の位置を示すデータとして位置記憶手段に記憶し，表示制御手段が，上記位置記憶手段に記憶されている位置データによって表される代表対象画像部分についての枠が，他の対象画像部分についての枠と異なるように，与えられる画像データによって表される画像上に枠を表示するように表示装置を制御するものである。 The third invention also provides a control method suitable for the target image detection system. That is, in this method, the target image portion detection means detects one or a plurality of target image portions from each of a plurality of frame images represented by continuously provided image data for a plurality of frames, and represents a representative target image. The part determining means determines a representative target image part from one or a plurality of target image parts detected by the target image part detecting means, and the first determining means is determined by the representative target image part determining means. It is determined whether or not the position data indicating the determined representative image portion of the previous frame is stored in the position storage means, and the first storage control means determines the first image indicating the representative image portion of the previous frame. When the determination means determines that the position data is not stored in the position storage means, the position data determined based on the image data of the new frame is stored in the position record. In response to the fact that the second determination means determines that the position data determined based on the image data of the previous frame is stored in the position storage means by the first determination means. The position indicated by the position data determined based on the image data of the new frame and the position indicated by the position data determined based on the image data of the previous frame already stored in the position storage means are predetermined. It is determined whether or not the distance is more than the distance, and the second storage control means is determined based on the image data of the new frame when the second determination means determines that the distance is not more than the predetermined distance. The stored position data is stored in the position storage means, and the pair detected by the target image portion detection means in response to the determination that the distance is greater than a predetermined distance. Data indicating the position of the target image portion not separated by a predetermined distance or more in the image portion is stored in the position storage means as data indicating the position of the representative target image portion, and the display control means is stored in the position storage means. Control the display device to display a frame on the image represented by the given image data so that the frame for the representative target image portion represented by the position data is different from the frame for the other target image portion Is.
第３の発明によると，代表対象画像部分が記憶されていない場合には，位置記憶手段にその代表対象画像部分の位置を示すデータが記憶される。与えられる画像データによって表される画像の中から１または複数の対象画像部分が検出され，検出された対象画像部分の中から代表画像部分が決定される。新たに決定された代表画像部分の位置と，すでに記憶されている代表画像部分の位置との距離が所定距離以上離れていなければ，新たに決定された代表画像部分の位置を示すデータが代表画像部分の位置を示すデータとして位置記憶手段に記憶される（更新される）。所定距離以上離れていれば，所定距離以上離れていない対象画像部分の位置を示すデータが対象画像部分の位置を示すデータとして新たに記憶される。記憶されている位置データによって表される代表対象画像部分の枠と他の対象画像部分の枠とが異なるように（例えば，色が異なるように），枠が表示される。記憶されている代表対象画像部分の位置との距離が所定距離離れていないような対象画像部分が代表画像部分とされるので，代表対象画像部分が頻繁に変更されることを未然に防止できる。代表対象画像部分が頻繁に変わらないので，代表対象画像部分の枠がその他の対象画像部分の枠と異なるものであっても，代表対象画像部分の枠が頻繁に動くことを未然に防止でき，ユーザに不快感を与えないようにできる。 According to the third invention, when the representative target image portion is not stored, data indicating the position of the representative target image portion is stored in the position storage means. One or more target image portions are detected from the image represented by the given image data, and a representative image portion is determined from the detected target image portions. If the distance between the newly determined position of the representative image portion and the position of the already stored representative image portion is not a predetermined distance or more, data indicating the position of the newly determined representative image portion is the representative image. It is stored (updated) in the position storage means as data indicating the position of the portion. If the distance is greater than or equal to the predetermined distance, data indicating the position of the target image portion that is not further than the predetermined distance is newly stored as data indicating the position of the target image portion. The frame is displayed so that the frame of the representative target image portion represented by the stored position data is different from the frame of the other target image portion (for example, the color is different). Since the target image portion whose distance from the stored position of the representative target image portion is not a predetermined distance is set as the representative image portion, it is possible to prevent the representative target image portion from being frequently changed. Since the representative target image part does not change frequently, even if the frame of the representative target image part is different from the frame of the other target image part, the frame of the representative target image part can be prevented from frequently moving, The user can be prevented from feeling uncomfortable.
所定駒分の画像データが与えられるごとに，または上記対象画像部分検出手段によって対象画像部分が検出されなかったことに応じて，上記位置記憶手段に記憶されている位置データをクリアするクリア手段をさらに備えてもよい。 Clearing means for clearing the position data stored in the position storage means each time image data for a predetermined frame is given or in response to the target image part detection means not detecting the target image part Further, it may be provided.
上記代表対象画像部分決定手段は，上記対象画像部分検出手段によって検出された複数の対象画像部分を，検出された対象画像部分の位置，大きさおよび対象画像らしさのソーティング要素のうち少なくとも一つにもとづいて，代表対象画像部分の候補順に並べるソーティング手段を備えてもよい。この場合，上記ソーティング手段によって並べられた複数の対象画像部分のうち第１候補を代表対象画像部分と決定することとなろう。 The representative target image portion determination unit converts the plurality of target image portions detected by the target image portion detection unit into at least one of sorting elements of the detected position, size, and target image quality of the target image portion. Based on the above, sorting means may be provided for arranging the representative target image portions in the order of candidates. In this case, the first candidate among the plurality of target image portions arranged by the sorting means will be determined as the representative target image portion.
また，上記ソーティング手段によって並べられた複数の対象画像部分の中から代表対象画像部分を指定する指定手段をさらに備えてもよい。この場合，上記指定手段によって指定された対象画像部分を代表対象画像部分と決定することとなろう。 Further, a designation unit for designating a representative target image portion from a plurality of target image portions arranged by the sorting unit may be further provided. In this case, the target image portion specified by the specifying means will be determined as the representative target image portion.
第４の発明による対象画像部分ソーティング装置は，与えられる画像の中から複数の対象画像部分を検出する対象画像部分検出手段，ならびに上記対象画像部分検出手段によって検出された複数の対象画像部分を，検出された対象画像部分の位置，大きさおよび対象画像らしさのソーティング要素のうち少なくとも一つにもとづいて，代表対象画像部分の候補順に並べるソーティング手段を備えていることを特徴とする。 A target image partial sorting apparatus according to a fourth aspect of the present invention provides a target image part detection unit that detects a plurality of target image parts from a given image, and a plurality of target image parts detected by the target image part detection unit. Sorting means for arranging in order of candidates for the representative target image portion based on at least one of the sorting elements of the detected position, size and target image likeness of the target image portion is provided.
第４の発明は，上記対象画像部分のソーティング装置に適した制御方法も提供している。すなわち，この方法は，対象画像部分検出手段が，与えられる画像の中から複数の対象画像部分を検出し，ソーティング手段が，検出された複数の対象画像部分を，検出された対象画像部分の位置，大きさおよび対象画像らしさのソーティング要素のうち少なくとも一つにもとづいて，代表対象画像部分の候補順に並べるものである。 The fourth invention also provides a control method suitable for the sorting apparatus for the target image portion. That is, in this method, the target image portion detection means detects a plurality of target image portions from the given image, and the sorting means detects the detected plurality of target image portions as the positions of the detected target image portions. , Based on at least one of the sorting elements of size and target image quality, the representative target image portions are arranged in the order of candidates.
第４の発明によると，与えられる画像の中から複数の対象画像部分が検出される。検出された複数の対象画像部分が，検出された対象画像部分の位置（画像の中心からの距離），大きさ対象画像部分らしさなどにもとづいて代表対象画像部分の候補順に並べられる。複数の対象画像部分が存在する場合に，ソーティングすることができ，代表対象画像部分を決定できる。 According to the fourth invention, a plurality of target image portions are detected from a given image. A plurality of detected target image portions are arranged in the order of candidates for the representative target image portion based on the position (distance from the center of the image) of the detected target image portion, the size of the target image portion, and the like. When there are a plurality of target image portions, sorting can be performed and a representative target image portion can be determined.
上記ソーティング手段は，上記位置，大きさおよび対象画像らしさのソーティング要素のうち，少なくとも二つの組み合わせにもとづく複合優先度を算出する算出手段を備えてもよい。この場合，上記対象画像部分検出手段によって検出された複数の対象画像部分を，上記算出手段によって算出された複合優先度にもとづいて代表対象画像部分の候補順に並べるものとなろう。 The sorting means may comprise calculation means for calculating a composite priority based on a combination of at least two of the sorting elements of the position, size and target image quality. In this case, a plurality of target image portions detected by the target image portion detection means will be arranged in the candidate order of representative target image portions based on the composite priority calculated by the calculation means.
上記ソーティング手段は，上記算出手段による複合優先度の算出に用いられるソーティング要素のうち優先すべきソーティング要素を指定する指定手段を備えてもよい。この場合，上記対象画像部分検出手段によって検出された複数の対象画像部分のうち，上記算出手段によって算出された複合優先度が同じものについては上記指定手段によって指定されたソーティング要素または上記指定手段によって指定されないソーティング要素にもとづいて代表対象画像部分の候補順に並べるものとなろう。 The sorting means may comprise a designation means for designating a sorting element to be prioritized among the sorting elements used for calculating the composite priority by the calculating means. In this case, among the plurality of target image portions detected by the target image portion detecting means, those having the same composite priority calculated by the calculating means are selected by the sorting element specified by the specifying means or the specifying means. They will be arranged in the order of candidates for the representative target image portion based on the sorting elements that are not specified.
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。 FIG. 1 shows an embodiment of the present invention and is a block diagram showing an electrical configuration of a digital still camera.
ディジタル・スチル・カメラの全体の動作は，システム制御回路１によって統括される。
The overall operation of the digital still camera is controlled by the
ディジタル・スチル・カメラには，撮像モード，再生モードなどのモードを設定するモード・ダイアル７，シャッタ・ボタン８，液晶表示装置35のオン，オフを制御する画像表示オン／オフ・スイッチ９，色温度設定スイッチ10，操作スイッチ11およびメモリ・カード着脱検知回路12が設けられている。これらのスイッチ類から出力される信号は，システム制御回路１に入力する。システム制御回路１には，後述する顔画像の位置データ等を一時的に記憶するメモリ２，駒番号などの所定の情報を表示する表示装置３，不揮発性メモリ４および通信回路５が接続されている。通信回路５には，アンテナ６が接続されている。また，システム制御回路１には，電源制御回路13が含まれており，電源14から供給される電源が各回路に与えられる。
The digital still camera has a mode dial 7 for setting modes such as an image pickup mode and a playback mode, a
ディジタル・スチル・カメラには，タイミング発生回路33によって制御されるＣＣＤ23が含まれている。このＣＣＤ23の前方には，バリア制御回路15によって開閉が制御されるバリア20，ズーム制御回路16によってズーム量が制御され，かつ測距制御回路17によって，合焦位置に位置決めされるズーム・レンズ21および露光制御回路18によって絞り値が制御される絞り22が設けられている。
The digital still camera includes a
撮像モードが設定されると，一定周期で被写体が撮像され，被写体像を表す映像信号が一定周期でＣＣＤ23から出力される。ＣＣＤ23から出力された映像信号は，アナログ／ディジタル変換回路24に与えられ，ディジタル画像データに変換される。変換により得られた画像データが顔抽出回路26に与えられる。顔抽出回路26において，撮像によって得られた被写体像の中から顔画像が抽出される。顔抽出回路26とシステム制御回路１とは，シリアル通信が可能であり，シリアル通信によってシステム制御回路１から与えられる制御信号にもとづいて顔抽出処理が行われる。
When the imaging mode is set, the subject is imaged at a constant cycle, and a video signal representing the subject image is output from the
上述した不揮発性メモリ４には，顔画像を検出するためのデータ，たとえば，所定の画像が顔の画像であるとしたら，眉，目，鼻，耳，口，頬などが存在すべき位置，大きさ等のデータが記憶されている。被写体像上を所定の大きさをもつスキャン枠が所定距離ずつ移動させられ，移動させられた位置のスキャン枠内に含まれている画像を表すデータと不揮発性メモリ４に記憶されているデータとが比較され検出枠内の画像が顔の画像かどうかが判断される。もっとも，顔のサンプル画像などを記憶しておき，そのサンプル画像とスキャン枠内の画像とを比較することにより，スキャン枠内の画像が顔画像であるかどうかを判断するようにしてもよい。
In the above-described
アナログ／ディジタル変換回路24から出力された画像データは，画像処理回路25に入力し，ガンマ補正などの所定の信号処理が行われる。画像処理回路25から出力された画像データは，色温度検出回路27に入力する。色温度検出回路27において被写体像の色温度が検出され，システム制御回路１の制御により色バランス調整が行われる。
The image data output from the analog /
アナログ／ディジタル変換回路24から出力された画像データは，メモリ制御回路28の制御によって画像表示メモリ29に一時的に記憶される。画像データは，画像表示メモリ29から読み出されてディジタル／アナログ変換回路34に与えられることにより，アナログ映像信号に戻される。アナログ映像信号が液晶表示装置35に与えられることにより，撮像によって得られた被写体像が液晶表示装置35の表示画面上に表示される。被写体の撮像は，一定周期で繰り返され，被写体像の動画が表示されることとなる。
The image data output from the analog /
この実施例によるディジタル・スチル・カメラにおいては，上述のようにして抽出された顔画像の部分を囲む検出枠が被写体像上に表示される。ユーザは，検出枠を見ることにより，被写体像の中の顔画像の部分を確認しやすくなる。 In the digital still camera according to this embodiment, a detection frame surrounding the portion of the face image extracted as described above is displayed on the subject image. By looking at the detection frame, the user can easily confirm the face image portion in the subject image.
シャッタ・ボタン８が押されると，上述のようにしてアナログ／ディジタル変換回路24から出力された画像データは，メモリ制御回路28によってメモリ30に一時的に記憶される。画像データは，メモリ30から読み出されて圧縮／伸長回路31において圧縮される。圧縮された画像データがメモリ・カード32に与えられ，記録される。
When the
再生モードが設定されると，メモリ・カード32に記録されている圧縮された画像データが読み出され，圧縮／伸長回路31において伸長される。伸長された画像データが映像信号に変換されて液晶表示装置35に与えられることにより，液晶表示装置35の表示画面に，メモリ・カード32から読み出された画像データによって表される被写体像が表示される。
When the reproduction mode is set, the compressed image data recorded on the
図２（Ａ）から（Ｄ）は，連続して与えられる被写体像の一例である。 2A to 2D are examples of subject images given continuously.
上述したように，撮像モードが設定されることにより，被写体が撮像され，被写体像が連続して得られる。（Ａ）から（Ｄ）には，４駒の画像Ｉ１〜Ｉ４が図示されている。（Ａ）に示す画像Ｉ４が最新の画像（最後に与えられた４駒目の画像）であり，（Ｂ）に示す画像Ｉ３が一駒前の画像Ｉ３であり，（Ｃ）に示す画像Ｉ２が最新の画像Ｉ４から二駒前の画像Ｉ２であり，（Ｄ）に示す画像Ｉ１が最新の画像Ｉ４から三駒前の画像Ｉ１である。これらの被写体像Ｉ１〜Ｉ４は同じ被写体を撮像して得られたものである。 As described above, by setting the imaging mode, the subject is imaged and subject images are continuously obtained. In (A) to (D), four frames of images I1 to I4 are shown. The image I4 shown in (A) is the latest image (the image of the fourth frame given last), the image I3 shown in (B) is the image I3 one frame before, and the image I2 shown in (C). Is the image I2 two frames before the latest image I4, and the image I1 shown in (D) is the image I1 three frames before the latest image I4. These subject images I1 to I4 are obtained by imaging the same subject.
この実施例においては，撮像によって得られた被写体像Ｉ１〜Ｉ４（もっとも４駒でなくともよいのはいうまでもない）のそれぞれの画像において顔画像（対象画像）を抽出する処理が行われる。顔画像抽出処理において抽出された顔画像部分の回りに検出枠が表示される。 In this embodiment, a process of extracting a face image (target image) in each of the subject images I1 to I4 (although not necessarily four frames) obtained by imaging is performed. A detection frame is displayed around the face image portion extracted in the face image extraction process.
（Ｄ）を参照して，一駒目の被写体像Ｉ１には，人物像41，42および43が含まれている。被写体像Ｉ１について顔画像抽出処理が行われることにより，人物像41，42および43の顔画像部分ｉ41，ｉ42およびｉ43が抽出される。抽出された顔画像部分ｉ41，ｉ42およびｉ43を囲む検出枠Ｆ41，Ｆ42およびＦ43が被写体像Ｉ１上に表示されている。
Referring to (D), the subject image I1 of the first frame includes
（Ｃ）を参照して，二駒目の被写体像Ｉ２についても顔画像抽出処理が行われる。顔画像抽出処理が行われることにより，人物像41，42および43の顔画像部分が抽出されるのであるが，二駒目の被写体像Ｉ２においては人物像42については顔画像部分が抽出されずに，人物像42の顔画像部分に枠が表示されていない。人物像41および43については顔画像抽出処理により顔画像部分ｉ21およびｉ23が抽出され，顔画像部分を囲む枠Ｆ21およびＦ23が表示されている。
With reference to (C), face image extraction processing is also performed on the subject image I2 of the second frame. By performing the face image extraction process, the face image portions of the
同様に，（Ｂ）を参照して，三駒目の被写体像Ｉ３についても顔抽出処理が行われることにより，人物像41および42については顔画像部分が抽出されて，顔画像部分ｉ31およびｉ32に枠Ｆ31およびＦ32が表示される。人物像43については顔画像部分が抽出されずに枠も表示されない。
Similarly, referring to (B), the face extraction process is also performed on the subject image I3 of the third frame, whereby the face image portions are extracted from the
（Ａ）を参照して，四駒目の最新の被写体像Ｉ４においても顔抽出処理が行われ，顔画像部分ｉ41，ｉ42およびｉ43を囲むように枠Ｆ41，Ｆ42およびＦ43が表示されている。 Referring to (A), face extraction processing is also performed on the latest subject image I4 of the fourth frame, and frames F41, F42 and F43 are displayed so as to surround the face image portions i41, i42 and i43.
カメラのぶれなどがあるから，被写体が同一であっても４駒の被写体像Ｉ１〜Ｉ４は完全には同一ではないことが多い。このために，それぞれの被写体像ごとに顔抽出処理が行われて，それぞれの被写体像の顔画像部分に検出枠が表示されると，同じ顔画像部分を囲んでいるにも関わらず枠の位置，大きさ等が被写体像ごとに変わってしまうことがあり，被写体像を見ているユーザに不快感を与えることがある。この実施例によるディジタル・スチル・カメラは，枠の位置，大きさ等の変動を抑え，枠の変動によるユーザの不快感を未然に防止するものである。具体的には，最新の被写体像Ｉ４において表示されるべき検出枠Ｆ41，Ｆ42およびＦ43が，以前の被写体像Ｉ１，Ｉ２およびＩ３の検出枠Ｆ11〜Ｆ13，Ｆ21，Ｆ23，Ｆ31，Ｆ32のうち対応する枠の大きさ，位置の平均の大きさ，位置に表示されるものである。 Due to camera shake and the like, the four subject images I1 to I4 are often not completely the same even if the subject is the same. For this reason, when face extraction processing is performed for each subject image and a detection frame is displayed on the face image portion of each subject image, the position of the frame is surrounded even though the same face image portion is surrounded. , The size and the like may change for each subject image, which may cause discomfort to the user viewing the subject image. The digital still camera according to this embodiment suppresses fluctuations in the position and size of the frame and prevents the user from feeling uncomfortable due to the fluctuation of the frame. Specifically, the detection frames F41, F42 and F43 to be displayed in the latest subject image I4 correspond to the detection frames F11 to F13, F21, F23, F31 and F32 of the previous subject images I1, I2 and I3. The size of the frame to be displayed, the average size of the position, and the position are displayed.
図３は，図２（Ａ）に示す最新の被写体像Ｉ４に表示される検出枠（補正対象検出枠）とその補正対象検出枠に用いられる検出枠との関係を示している。 FIG. 3 shows a relationship between a detection frame (correction target detection frame) displayed on the latest subject image I4 shown in FIG. 2A and a detection frame used for the correction target detection frame.
上述のように，最新の被写体像Ｉ４において表示されるべき検出枠Ｆ41，Ｆ42およびＦ43は，以前の被写体像Ｉ１，Ｉ２およびＩ３の検出枠Ｆ11〜Ｆ13，Ｆ21，Ｆ23，Ｆ31，Ｆ32のうち対応する検出枠の位置（顔画像の位置）を用いて補正されるものである。検出枠Ｆ41に対応する検出枠は，Ｆ11，Ｆ21，Ｆ31およびＦ41である。検出枠Ｆ42に対応する検出枠は，Ｆ12，Ｆ32およびＦ42である。検出枠Ｆ43に対応する検出枠は，Ｆ13，Ｆ23およびＦ43である。これらの対応する検出枠を用いて検出枠Ｆ41，Ｆ42およびＦ43の表示位置が補正される。 As described above, the detection frames F41, F42 and F43 to be displayed in the latest subject image I4 correspond to the detection frames F11 to F13, F21, F23, F31 and F32 of the previous subject images I1, I2 and I3. It is corrected using the position of the detection frame to be performed (the position of the face image). The detection frames corresponding to the detection frame F41 are F11, F21, F31 and F41. The detection frames corresponding to the detection frame F42 are F12, F32 and F42. The detection frames corresponding to the detection frame F43 are F13, F23 and F43. The display positions of the detection frames F41, F42 and F43 are corrected using these corresponding detection frames.
図４および図５は，検出枠の表示位置を補正するための処理手順を示すフローチャートである。 4 and 5 are flowcharts showing a processing procedure for correcting the display position of the detection frame.
上述のように，被写体像を表す画像データが連続して与えられるものとする。 As described above, it is assumed that image data representing a subject image is continuously given.
一駒分の画像データが入力すると（ステップ51でＹＥＳ），入力した画像データによって表される被写体像の顔画像検出処理（顔画像抽出処理）が行われる（ステップ52）。顔画像が検出されなければ（ステップ53でＮＯ），次の駒の画像データが入力して顔検出処理が行われる（ステップ51，52）。
When image data for one frame is input (YES in step 51), face image detection processing (face image extraction processing) of the subject image represented by the input image data is performed (step 52). If no face image is detected (NO in step 53), image data of the next frame is input and face detection processing is performed (
顔画像が検出されると（ステップ53でＹＥＳ），変数ｎが０に，変数ｉが１に，変数ｊが０に，それぞれセットされる（ステップ54）。変数ｎは，最新の被写体像内に存在する顔画像の個数についての変数である。変数ｉは，被写体像の駒番号についての変数である。変数ｊは，ｉ駒目の被写体像内に存在する顔画像の個数についての変数である。それぞれの変数ｎ，ｉ，ｊがセットされると，ｉ駒目の被写体像に顔画像が含まれているかどうかが確認される（ステップ55）。含まれていなければ（ステップ55でＮＯ），変数ｉかインクレメントされて（ステップ62），次の駒の被写体像に顔画像が含まれているかどうかが確認される（ステップ55）。 When a face image is detected (YES in step 53), variable n is set to 0, variable i is set to 1, and variable j is set to 0 (step 54). The variable n is a variable for the number of face images present in the latest subject image. The variable i is a variable for the frame number of the subject image. The variable j is a variable regarding the number of face images existing in the subject image of the i-th frame. When each variable n, i, j is set, it is confirmed whether or not a face image is included in the subject image of the i-th frame (step 55). If not included (NO in step 55), the variable i is incremented (step 62), and it is confirmed whether or not a face image is included in the subject image of the next frame (step 55).
ｉ駒目の被写体像に顔画像が含まれていると（ステップ55でＹＥＳ），ｎ個目の顔画像（最新の被写体像に含まれている顔画像の中のｎ個目の顔画像）とｊ個目の顔画像（ｉ駒目の被写体像に含まれている顔画像の中のｊ個目の顔画像）とが比較される（ステップ56）。 If a face image is included in the i-th subject image (YES in step 55), the n-th face image (the n-th face image in the face image included in the latest subject image) And the j-th face image (j-th face image in the face image included in the subject image of the i-th frame) are compared (step 56).
比較された顔画像同士に相関があれば（ステップ57でＹＥＳ），そのｊ個目の顔画像が補正に用いる顔画像として記憶される（ステップ58）。たとえば，ｎ個目の顔画像が，図２（Ａ）に示す最新の被写体像Ｉ４中の人物像41の顔画像（枠Ｆ41で囲まれている顔画像）であり，ｊ個目の顔画像が，図２（Ｄ）に示す一駒目の被写体像Ｉ１中の人物像41の顔画像（枠Ｆ11で囲まれている顔画像）であるとすると，顔同士に相関があると判断されて，枠Ｆ11で囲まれている顔画像が補正に用いられる顔画像（検出枠，位置）として記憶される。 If there is a correlation between the compared face images (YES in step 57), the j-th face image is stored as a face image used for correction (step 58). For example, the nth face image is the face image of the person image 41 (face image surrounded by the frame F41) in the latest subject image I4 shown in FIG. 2A, and the jth face image. Is the face image of the person image 41 (face image surrounded by the frame F11) in the subject image I1 of the first frame shown in FIG. 2D, it is determined that there is a correlation between the faces. , The face image surrounded by the frame F11 is stored as a face image (detection frame, position) used for correction.
比較された顔画像同士に相関が無ければ（ステップ57でＮＯ），変数ｊ（ｉ駒目の被写体像の顔画像の変数）がｉ駒目の被写体像に含まれている顔画像の数となったかどうかが確認される（ステップ59）。変数ｊがｉ駒目の被写体像に含まれている顔画像の数となっていなければ（ステップ59でＮＯ），変数ｊがインクレメントされる（ステップ60）。ｉ駒目の被写体像に含まれている顔画像のうち，次の顔画像について比較処理が行われる（ステップ56）。たとえば，図２（Ａ）に示す最新の被写体像Ｉ４に含まれる人物像41の顔画像（枠Ｆ41で囲まれている）と図２（Ｄ）に示す人駒目の被写体像Ｉ１に含まれる人物像42の顔画像（枠Ｆ12で囲まれている）とが比較されると，顔画像同士に相関が無いと判断され，変数ｊがインクレメントされて次の比較処理が行われる。
If there is no correlation between the compared face images (NO in step 57), the variable j (the variable of the face image of the i-th subject image) is the number of face images included in the i-th subject image. It is confirmed whether it has become (step 59). If the variable j is not the number of face images included in the subject image of the i-th frame (NO in step 59), the variable j is incremented (step 60). Of the face images included in the i-th frame subject image, the next face image is compared (step 56). For example, it is included in the face image (enclosed by a frame F41) of the
補正に用いられる顔画像（検出枠，位置）の登録（ステップ58）または最新の被写体像と比較される被写体像に含まれている顔画像についての比較処理がすべて終了すると（ステップ59でＹＥＳ），変数ｉが以前の駒数分となったかどうかが確認される（ステップ61）。この確認処理は，最新の被写体像以前に撮像された被写体像についての顔画像比較処理がすべて終了したかどうかを確認するものである。以前の駒数分となっていなければ（ステップ61でＮＯ），次の被写体像について顔画像比較処理を行わせるために変数ｉがインクレメントされ，かつ変数ｊが０にセットされる（ステップ62）。 When registration of the face image (detection frame, position) used for correction (step 58) or comparison processing for all face images included in the subject image to be compared with the latest subject image is completed (YES in step 59) , Whether the variable i is equal to the previous number of frames is checked (step 61). This confirmation process is to confirm whether or not all the face image comparison processes for the subject images taken before the latest subject image have been completed. If it is not equal to the previous number of frames (NO in step 61), variable i is incremented and variable j is set to 0 (step 62) in order to perform face image comparison processing for the next subject image. ).
最新の被写体像よりも以前に撮像された被写体像の駒数分となっていると（ステップ61でＹＥＳ），記憶されている顔画像部分を用いて最新の被写体像の顔画像部分の位置が補正される（ステップ63）。たとえば，以前の被写体像の中の顔画像のうち，最新の被写体像の顔画像に対応する顔画像の位置の平均的な位置が，最新の被写体像の顔画像の位置とされる。このようにして補正された位置に枠が表示されることとなる。枠の変動を抑えることができ，ユーザに不快感を与えてしまうことを未然に防止できる。 If the number of frames of the subject image captured before the latest subject image is reached (YES in step 61), the position of the face image portion of the latest subject image is determined using the stored face image portion. It is corrected (step 63). For example, the average position of the face images corresponding to the face image of the latest subject image among the face images in the previous subject image is set as the position of the face image of the latest subject image. A frame is displayed at the position corrected in this way. The fluctuation of the frame can be suppressed, and it is possible to prevent the user from feeling uncomfortable.
最新の被写体像に存在する顔画像のすべてに補正が終了していなければ（ステップ64でＮＯ），次の被写体像について顔画像の比較処理等を行わせるために変数ｎがインクレメントされ，変数ｉは１に，変数ｊは０にそれぞれセットされる（ステップ65）。最新の被写体像に存在する顔画像のすべてに補正が終了すると（ステップ64でＹＥＳ），すべての処理の終了指令が与えられなければ再びステップ51からの処理が繰り返される（ステップ66）。
If correction of all face images existing in the latest subject image has not been completed (NO in step 64), the variable n is incremented to cause the next subject image to be subjected to face image comparison processing, etc. i is set to 1 and variable j is set to 0 (step 65). When the correction is completed for all the face images existing in the latest subject image (YES in step 64), the processing from
図６から図10は，他の実施例を示すものである。 6 to 10 show another embodiment.
この実施例は，２つの顔画像（対象画像）同士が同一かどうかを判定するものである。顔画像同士が同一かどうかは顔画像の大きさの比較，顔画像の中心位置の比較，顔画像の傾きの比較，顔画像の向きの比較にもとづいて行われる。 In this embodiment, it is determined whether or not two face images (target images) are the same. Whether or not the face images are the same is determined based on a comparison of the size of the face images, a comparison of the center positions of the face images, a comparison of the inclinations of the face images, and a comparison of the orientation of the face images.
図６は，抽出された顔画像とその顔画像の大きさおよび中心位置Ｏを示している。顔画像は，正方形の形状のものとして抽出されるものとする。もっとも正方形でなくともよいのはいうまでもない。顔画像の大きさは，顔画像の横幅によって表される。また，顔画像の中心位置Ｏは，その顔画像が含まれている被写体像でのｘ座標とｙ座標とによって表される。 FIG. 6 shows the extracted face image, the size of the face image, and the center position O. It is assumed that the face image is extracted as a square shape. It goes without saying that it need not be square. The size of the face image is represented by the width of the face image. Further, the center position O of the face image is represented by the x coordinate and y coordinate in the subject image including the face image.
図７（Ａ），（Ｂ），（Ｃ）は顔画像の一例である。（Ａ）は反時計回りに傾いた顔画像を，（Ｂ）は正立している顔画像を，（Ｃ）は時計回りに傾いた顔画像をそれぞれ示している。 7A, 7B, and 7C are examples of face images. (A) shows a face image tilted counterclockwise, (B) shows an upright face image, and (C) shows a face image tilted clockwise.
図８（Ａ），（Ｂ），（Ｃ）も顔画像の一例である。（Ａ）は正面から見て左向きの顔画像を，（Ｂ）は正面向きの顔画像を，（Ｃ）は正面から見て右向きの顔画像をそれぞれ示している。 8A, 8B, and 8C are also examples of face images. (A) shows a face image facing left when viewed from the front, (B) shows a face image facing front, and (C) shows a face image facing right when viewed from the front.
図９は，２つの顔画像の大きさ，中心位置，傾き，向きの相違を示している。 FIG. 9 shows the difference in size, center position, inclination, and orientation of the two face images.
一方の顔画像は，大きさｓ１，中心位置（ｘ１，ｙ１），傾きｉ１，向きｄ１であり，他方の顔画像は，大きさｓ２，中心位置（ｘ２，ｙ２），傾きｉ２，向きｄ２である。これらの大きさ等を比較することにより，２つの顔画像が同一かどうかが判定される。 One face image has a size s1, a center position (x1, y1), an inclination i1, and a direction d1, and the other face image has a size s2, a center position (x2, y2), an inclination i2, and a direction d2. is there. By comparing these sizes and the like, it is determined whether the two face images are the same.
図10は，顔比較処理手順を示すフローチャートである。 FIG. 10 is a flowchart showing the face comparison processing procedure.
まず，２つの顔画像の大きさの変化量が所定値以内かどうかが判定される（ステップ71）。たとえば，大きさの比率ｓ１／ｓ２が第１のしきい値と第２のしきい値との間にあれば，大きさの変化量は所定値以内と判定される。大きさの変化量が所定値以内だと（ステップ71でＹＥＳ），一方の顔画像の中心位置と他方の顔画像の中心位置との距離（中心距離）が所定値以内かどうかが判定される（ステップ72）。たとえば，中心距離が２つの大きさの平均の大きさを任意の整数で除した値未満であれば，所定値以内と判定される。 First, it is determined whether or not the amount of change in the size of the two face images is within a predetermined value (step 71). For example, if the magnitude ratio s1 / s2 is between the first threshold value and the second threshold value, it is determined that the magnitude change amount is within a predetermined value. If the amount of change in size is within a predetermined value (YES in step 71), it is determined whether the distance (center distance) between the center position of one face image and the center position of the other face image is within a predetermined value. (Step 72). For example, if the center distance is less than the value obtained by dividing the average size of the two sizes by an arbitrary integer, it is determined to be within a predetermined value.
さらに，角度変化が所定値以内であり（ステップ74でＹＥＳ）かつ向きの変化が所定値以内であれば（ステップ75でＹＥＳ），２つの顔画像は同一と判定される（ステップ75）。 Furthermore, if the angle change is within a predetermined value (YES in step 74) and the change in orientation is within a predetermined value (YES in step 75), it is determined that the two face images are the same (step 75).
大きさの変化，中心間距離，角度変化または向きの変化のうちいずれか一つでも所定値以内でなければ（ステップ71〜74のいずれかでＮＯ），２つの顔画像は同一の顔画像では無いと判定される（ステップ76）。
If any one of the change in size, the distance between centers, the change in angle, or the change in direction is not within a predetermined value (NO in any of
図11は，他の実施例を示すもので，顔位置補正処理手順を示すフローチャートである。 FIG. 11 shows another embodiment and is a flowchart showing a face position correction processing procedure.
補正に用いる顔画像の数が多い場合に，中間的な大きさの顔画像を用いて顔位置を補正するものである。まず，検出された顔画像の大きさの大きい順に補正に用いる顔画像が並び替えられる（ステップ81）。並び替えられた顔画像の数が８よりも多い場合には（ステップ82でＹＥＳ），大きい方の２つの顔画像および小さい方の２つの顔画像が，補正に用いられる顔画像から除かれる（ステップ83）。並び替えられた顔画像の数が５よりも多い場合には（ステップ84でＹＥＳ），もっとも大きい顔画像およびもっとも小さい顔画像が補整に用いられる顔画像から除かれる（ステップ85）。残りの顔画像を用いて顔画像の大きさが平均化される（ステップ86）。平均化された顔画像を囲むように枠が表示される。 When the number of face images used for correction is large, the face position is corrected using a face image having an intermediate size. First, the face images used for correction are rearranged in descending order of the detected face image size (step 81). If the number of rearranged face images is greater than 8 (YES in step 82), the two larger face images and the two smaller face images are excluded from the face images used for correction ( Step 83). When the number of rearranged face images is greater than 5 (YES in step 84), the largest face image and the smallest face image are excluded from the face images used for correction (step 85). The size of the face image is averaged using the remaining face images (step 86). A frame is displayed so as to surround the averaged face image.
並び替えられた顔画像の数が５個以下だと，補正に用いられる顔画像から除く処理は行われずに得られた顔画像を用いて平均化される（ステップ82および84でＮＯ，ステップ86）。たとえば，図２（Ａ）から（Ｄ）に示す被写体像では，図２（Ａ）に示す枠Ｆ41によって囲まれている顔画像に対応する顔画像は，図２（Ｂ），（Ｃ），（Ｄ）に示すように枠Ｆ31，Ｆ21，Ｆ11によって囲まれている顔画像の３つである。この３つの顔画像と枠Ｆ41によって囲まれている顔画像とを合わせて４つの顔画像の数であるから上述したように顔画像を除く処理は行われずに，これらの４つの顔画像の大きさの平均的な大きさが顔画像の大きさとされて，枠が表示される。
If the number of rearranged face images is 5 or less, the face images obtained without performing the process of removing from the face images used for correction are averaged using the face images obtained (NO in
上述の実施例においては，大きさにもとづいて補正に用いられる顔画像を決定しているが，顔画像の中心位置にもとづいて同様に補正に用いられる顔画像を決定するようにしてもよい。中心位置を用いる場合には，被写体像の中心位置に近い順に複数の顔画像を並び替え，並び替えられた顔画像の中間的な位置にある複数の顔画像または被写体像の中心位置に近い方の複数の顔画像を用いて平均化して得られる位置が顔画像位置とされて枠が表示されることとなろう。 In the above-described embodiment, the face image used for correction is determined based on the size, but the face image used for correction may be similarly determined based on the center position of the face image. When the center position is used, the face images are rearranged in the order that is closer to the center position of the subject image, and the face images that are intermediate between the rearranged face images or the subject image that is closer to the center position The position obtained by averaging using the plurality of face images will be the face image position and the frame will be displayed.
図12（Ａ），（Ｂ）から図15は，さらに他の実施例を示すものである。 FIGS. 12A and 12B to FIG. 15 show still another embodiment.
この実施例は，一駒の被写体像の中に複数の顔画像が存在した場合に，顔画像の評価値（顔画像らしさ）のもっとも高い顔画像（代表的な顔画像）の枠とその他の顔画像の枠とを区別して表示するものである。たとえば，顔画像の評価値のもっとも高い顔画像の枠は実線であるが，その他の顔画像の枠は鎖線である。枠の線の種類でなく，枠の色，形状を評価値に応じて変えるようにしてもよいのはいうまでもない。 In this embodiment, when a plurality of face images exist in one frame of the subject image, the frame of the face image (representative face image) having the highest evaluation value (likeness of face image) of the face image and other faces It is displayed separately from the frame of the image. For example, the frame of the face image with the highest evaluation value of the face image is a solid line, while the frames of other face images are chain lines. It goes without saying that the color and shape of the frame may be changed according to the evaluation value instead of the type of the line of the frame.
このように，評価値の高い顔画像の枠とその他の顔画像の枠とを区別する場合において，動画などのように連続して与えられる被写体像のそれぞれにおいて枠が表示されると評価値の変動があった場合に，評価値に変動に応じて枠も変動することとなり，被写体像を見ているユーザに不快感を与えることがある。この実施例においては，代表的な顔画像の枠の変動を未然に防止するものである。 As described above, when a frame of a face image having a high evaluation value is distinguished from a frame of another face image, if the frame is displayed in each of subject images given continuously such as a moving image, the evaluation value When there is a change, the frame also changes in accordance with the change in the evaluation value, which may cause discomfort to the user viewing the subject image. In this embodiment, the variation of the frame of the representative face image is prevented in advance.
図12（Ａ）および（Ｂ）は，被写体像の一例である。 12A and 12B are examples of subject images.
（Ａ）はＬ駒目の被写体像Ｉ６であり，（Ｂ）は（Ｌ−１）駒目の被写体像Ｉ５である。 (A) is the subject image I6 of the Lth frame, and (B) is the subject image I5 of the (L-1) th frame.
（Ｂ）を参照して，（Ｌ−１）駒目の被写体像Ｉ５には，上述した被写体像と同様に人物像41，42，43が含まれている。この被写体像Ｉ５について顔画像の検出処理が行われることにより，人物像41，42および43の顔画像ｉ51，ｉ52およびｉ53がそれぞれ検出され，枠Ｆ51，Ｆ52およびＦ53が表示される。人物像41の顔画像の評価値がもっとも高く，人物像42および43の顔画像の評価値は，人物像41の顔画像の評価値よりも低いものとする。すると，人物像41上に表示される枠Ｆ51は，枠内の顔画像ｉ51の評価値がもっとも高いことを示すように実線となり，人物像42または43の顔画像ｉ42またはｉ43を囲む枠Ｆ52またはＦ53は鎖線となる。枠Ｆ51内の顔画像ｉ51が代表顔画像である。
Referring to (B), the subject image I5 of the (L-1) -th frame includes
（Ａ）を参照して，Ｌ駒目の被写体像Ｉ６は被写体像Ｉ５とほぼ同じ被写体像であり，人物像41，42および43が含まれている。顔検出処理が行われることにより，顔画像ｉ61，ｉ62およびｉ63を示す枠Ｆ61，Ｆ62およびＦ63が表示される。枠Ｆ61，Ｆ62およびＦ63は便宜的にすべて鎖線とされている。被写体像Ｉ６に含まれている枠Ｆ61，Ｆ62またはＦ63のうち，被写体像Ｉ５に表示されている枠Ｆ51に対応する枠は，枠Ｆ61である。上述したように，枠Ｆ62またはＦ63内の顔画像ｉ63の評価値がもっとも高かったとしても枠Ｆ61内の顔画像ｉ61が代表顔画像とされて枠Ｆ61が代表顔画像を表すように実線で表示される。
Referring to (A), the subject image I6 of the L-th frame is substantially the same subject image as the subject image I5, and includes
図13（Ａ）および（Ｂ）は，顔画像と評価値と代表顔画像候補順位等との関係を示す代表顔画像候補順位テーブルである。 FIGS. 13A and 13B are representative face image candidate order tables showing the relationship among face images, evaluation values, representative face image candidate orders, and the like.
（Ａ）は，更新前のテーブルを示している。 (A) shows a table before update.
上述のように，（Ｌ−１）駒目の被写体像Ｉ５に含まれる顔画像のうち，顔画像ｉ51が代表顔画像とされているものとする。Ｌ駒目の被写体像Ｉ６には，顔画像ｉ61，ｉ62およびｉ63が含まれており，評価値は，顔画像ｉ63がもっとも高く，顔画像ｉ61が次に近く，顔画像ｉ62がもっとも低いものとする。すると，これらの顔画像ｉ61，ｉ62およびｉ63の代表顔画像候補順位の１番目は顔画像ｉ63となり，２番目は顔画像ｉ61となり，３番目は顔画像ｉ62となる。評価値にもとづく代表顔画像順位にしたがって決定される代表顔画像ｉ63は，（Ｌ−１）駒目の代表顔画像ｉ51と変わってしまい，上述のように，枠の変動により被写体像を見ているユーザに不快感を与えてしまう。このために，この実施例においては代表顔画像候補順位がすでに登録されている代表顔画像ｉ51に合わせられる。 As described above, it is assumed that the face image i51 is the representative face image among the face images included in the (L-1) -th frame subject image I5. The subject image I6 of the L-th frame includes face images i61, i62, and i63, and the evaluation value is that the face image i63 is the highest, the face image i61 is the next closest, and the face image i62 is the lowest. To do. Then, the first representative face image candidate order of these face images i61, i62 and i63 is the face image i63, the second is the face image i61, and the third is the face image i62. The representative face image i63 determined according to the representative face image order based on the evaluation value is changed from the representative face image i51 of the (L-1) -th frame, and as described above, the subject image is seen by the variation of the frame. The user is uncomfortable. For this reason, in this embodiment, the representative face image candidate ranking is matched with the registered representative face image i51.
（Ｂ）を参照して，Ｌ駒目の被写体像Ｉ６の顔画像ｉ61は，（Ｌ−１）駒目の被写体像Ｉ５の顔画像ｉ51に対応するものである。このために，評価値がもっとも高くないものであっても代表顔画像候補順位が１番目とされている。評価値のもっとも高い顔画像ｉ63は２番目の代表顔画像候補順位とされている。変更された代表顔画像候補順位にしたがって代表顔画像が決定される。決定された代表顔画像の枠が実線とされる。 Referring to (B), the face image i61 of the subject image I6 of the Lth frame corresponds to the face image i51 of the subject image I5 of the (L-1) th frame. For this reason, even if the evaluation value is not the highest, the representative face image candidate ranking is the first. The face image i63 having the highest evaluation value is set as the second representative face image candidate rank. A representative face image is determined in accordance with the changed representative face image candidate order. The frame of the determined representative face image is a solid line.
図14および図15は，代表顔画像候補順位テーブルを生成する処理手順を示すフローチャートである。生成されたテーブルにしたがって代表顔画像の枠が実線で表示される。 14 and 15 are flowcharts showing a processing procedure for generating the representative face image candidate ranking table. The frame of the representative face image is displayed with a solid line according to the generated table.
一駒分の被写体像を表す画像データが入力すると（ステップ91でＹＥＳ），クリア変数Ｎが０にリセットされる（ステップ92）。クリア変数は，所定数駒ごとに代表顔画像をリセットするものである。代表顔画像がリセットされるので，代表顔画像が長い間，固定されてしまうことを未然に防止できる。 When image data representing a subject image for one frame is input (YES in step 91), the clear variable N is reset to 0 (step 92). The clear variable resets the representative face image every predetermined number of frames. Since the representative face image is reset, the representative face image can be prevented from being fixed for a long time.
入力した画像データによって表される被写体像について顔検出処理が行われる（ステップ93）。顔画像が検出されると，検出された顔画像が評価値の高い順に並び替えられる（ステップ94，図13（Ａ）参照）。クリア変数Ｎが所定のクリアしきい値未満であれば（ステップ95でＹＥＳ），クリア変数Ｎがインクレメントされる（ステップ96）。
Face detection processing is performed on the subject image represented by the input image data (step 93). When face images are detected, the detected face images are rearranged in descending order of evaluation values (
クリア変数Ｎが所定のクリアしきい値以上となると（ステップ95でＮＯ），上述したように代表顔画像が長い間，固定されてしまうと考えられるので，代表顔画像がクリアされる（ステップ98）。また，被写体像の中から顔画像が検出されなかった場合には（ステップ97でＹＥＳ），シーンが変わったと考えられるので代表顔画像がクリアされる（ステップ98）。代表顔画像がクリアされると，評価値のもっとも高かった顔画像が代表顔画像となる（ステップ107）。顔画像が存在しない場合には，代表顔画像は設定されないのはいうまでもない。 When the clear variable N is equal to or greater than a predetermined clear threshold (NO in step 95), the representative face image is considered to be fixed for a long time as described above, and thus the representative face image is cleared (step 98). ). If no face image is detected from the subject image (YES in step 97), the scene is considered changed and the representative face image is cleared (step 98). When the representative face image is cleared, the face image having the highest evaluation value becomes the representative face image (step 107). Needless to say, if no face image exists, the representative face image is not set.
顔画像が検出されると（ステップ97でＮＯ），以前の駒の画像データを用いて決定された代表顔画像がすでに登録されているかどうかが確認される（ステップ109）。登録されていなければ，代表顔画像が登録される（ステップ110）。次の駒の画像データが入力し（ステップ91），ステップ92からの処理が繰り返される。以前の駒の画像データを用いて決定される代表顔画像がすでに登録されていると（ステップ109でＹＥＳ），評価値にもとづいて決定される１番目の代表顔画像候補の中心位置と代表顔画像の中心位置との距離（中心距離）が算出される（ステップ99）。算出された中心距離が所定の距離しきい値未満であれば（ステップ100でＹＥＳ），１番目の顔代表顔画像は代表顔画像に対応しているもの（同じ顔画像）と考えられる。このために，評価値のもっとも高い１番目の代表顔画像が代表顔画像として設定される（ステップ107）。
When a face image is detected (NO in step 97), it is confirmed whether the representative face image determined using the image data of the previous frame has already been registered (step 109). If not registered, a representative face image is registered (step 110). The image data of the next frame is input (step 91), and the processing from
中心距離が所定の距離しきい値以上であると（ステップ100でＮＯ），次に評価値の高い顔画像を代表顔画像候補とするために，代表顔画像候補順位の変数ｋが２にセットされる（ステップ101）。ｋ番目の代表顔画像候補の中心位置と代表顔画像の中心位置との距離が算出される（ステップ102）。算出された中心距離が所定の距離しきい値未満であれば（ステップ103でＹＥＳ），そのｋ番目の代表顔画像候補が代表顔画像に対応するものと考えられる。ｋ番目の代表顔画像候補が１番目の代表顔画像候補に登録され，１番目から（ｋ−１）番目の代表顔画像候補が２番目からｋ番目の代表顔画像候補として登録される（ステップ106，図13（Ｂ）参照）。 If the center distance is greater than or equal to a predetermined distance threshold value (NO in step 100), the representative face image candidate rank variable k is set to 2 in order to set the face image with the next highest evaluation value as the representative face image candidate. (Step 101). The distance between the center position of the kth representative face image candidate and the center position of the representative face image is calculated (step 102). If the calculated center distance is less than the predetermined distance threshold value (YES in step 103), the kth representative face image candidate is considered to correspond to the representative face image. The kth representative face image candidate is registered as the first representative face image candidate, and the first to (k−1) th representative face image candidates are registered as the second to kth representative face image candidates (steps). 106, FIG. 13 (B)).
中心距離が所定の距離しきい値以上であると（ステップ103でＮＯ），新たなｋ番目の代表顔画像候補もすでに登録されている代表顔画像に対応するものではないと考えられるため，次の顔画像があれば（ステップ104でＹＥＳ，ｋ＝被写体像の中の顔画像の数），変数ｋがインクレメントされて再びステップ102からの処理が繰り返される。
If the center distance is equal to or greater than the predetermined distance threshold value (NO in step 103), it is considered that the new kth representative face image candidate does not correspond to the already registered representative face image. Is present (YES in
被写体像中に存在するすべての顔画像についてステップ102および103の処理が行われると（ステップ104でＹＥＳ），１番目の代表顔画像候補が代表顔画像として設定される（ステップ107）。
When the processing in
すべての処理の終了指令が与えられなければ（ステップ108でＮＯ），代表顔をユーザが設定するかどうかが判定される（ステップ121）。代表顔がユーザによって設定される場合には（ステップ121でＹＥＳ），ディジタル・スチル・カメラの操作スイッチ11に含まれているカーソル・キー（たとえば，上下左右の矢印が押下可能に形成されているボタンなど）の押下に応じて，代表顔が変わる。ユーザによって選択された顔が代表顔として設定され（ステップ122），ユーザよって選択された顔の枠が他の顔と異なる枠で表示される。ユーザの所望の顔を代表顔とすることができ，ピントを合わせることができるようになる。カーソル・キーを用いて代表顔を指定するだけでなく，表示画面にタッチ・パネルが形成されている場合には，所望の顔の画像部分上をタッチすることにより，代表顔を指定することもできる。その後，再びステップ91からの処理が行われる。
If an end command for all the processes is not given (NO in step 108), it is determined whether or not the user sets a representative face (step 121). When the representative face is set by the user (YES in step 121), the cursor keys included in the operation switch 11 of the digital still camera (for example, the up, down, left, and right arrows are formed so that they can be pressed. The representative face changes in response to pressing of the button. The face selected by the user is set as the representative face (step 122), and the face frame selected by the user is displayed in a different frame from the other faces. The user's desired face can be used as the representative face, and the user can focus. In addition to designating the representative face using the cursor keys, when the touch panel is formed on the display screen, the representative face can be designated by touching the image portion of the desired face. it can. Thereafter, the processing from
このようにして設定された代表顔画像について，他の顔画像と異なるように枠が表示される。代表顔画像の枠が駒ごとに変わってしまうということが未然に防止できるので，枠のちらつきもなく，ユーザに不快感を与えることを防ぐことができる。 For the representative face image set in this way, a frame is displayed differently from other face images. Since it is possible to prevent the frame of the representative face image from being changed for each frame, it is possible to prevent the user from feeling uncomfortable without flickering the frame.
図16は，一駒の画像中に検出された顔画像部分が複数合った場合に，並び替える処理手順を示すフローチャートである。図14のステップ94の処理では，複数の顔画像が検出された場合には評価値の高い順に並び替えられているが，この実施例では，評価値だけでなく，他の要素を利用するものである。
FIG. 16 is a flowchart showing a processing procedure for rearranging a plurality of face image portions detected in one frame image. In the process of
一駒の画像の中に複数の顔画像部分が検出されると（ステップ131でＹＥＳ），式１から複合優先度が算出される（ステップ132）。式１において，ｋ１およびｋ２は重み付け係数であり，中央度は検出された顔画像部分の中心までの距離に関する値であり中心に近いほど値が大きい。
When a plurality of face image portions are detected in one frame image (YES in step 131), a composite priority is calculated from equation 1 (step 132). In
複合優先度＝ｋ１×（中央度）＋ｋ２×（顔画像部分の大きさ）・・・式１
Compound priority = k1 × (centrality) + k2 × (face image part size)
一駒中に存在する複数の顔画像部分が複合優先度の大きい順にソートされる（ステップ133）。 A plurality of face image portions existing in one frame are sorted in descending order of composite priority (step 133).
顔画像部分の大きい順に，複数の顔画像部分がソートされるように設定（この設定は，たとえば，ディジタル・スチル・カメラのセットアップ・メニューを用いてあらかじめ設定されることとなろう）されていると（ステップ134でＹＥＳ），複数の顔画像部分の中に同じ値の複合優先度をもつ顔画像部分が２個以上ある場合には，大きさ順にソートされる（ステップ135）。さらに，同じ大きさの顔画像部分が２個以上あった場合には，画像の中心に近い顔画像部分の順にソートされる（ステップ136）。 Settings are made so that multiple face image parts are sorted in descending order of face image parts (this setting will be set in advance using the setup menu of a digital still camera, for example). (YES in step 134), if there are two or more face image portions having the same composite priority among the plurality of face image portions, they are sorted in order of size (step 135). Further, when there are two or more face image parts having the same size, the face image parts are sorted in the order of the face image parts close to the center of the image (step 136).
また，顔画像部分の大きい順に，複数の顔画像部分がソートされるように設定されていない場合には（ステップ134でＮＯ），複数の顔画像部分の中に同じ値の複合優先度をもつ顔画像部分が２個以上ある場合には，画像の中心に近い顔画像部分の順にソートされる（ステップ137）。さらに，画像の中心からの距離が同じ位置に顔画像部分が２個以上あった場合には，大きさ順にソートされる（ステップ138）。 In addition, when it is not set so that a plurality of face image parts are sorted in descending order of the face image parts (NO in step 134), the plurality of face image parts have the same composite priority. If there are two or more face image parts, they are sorted in the order of the face image parts close to the center of the image (step 137). Furthermore, if there are two or more face image portions at the same distance from the center of the image, they are sorted in order of size (step 138).
同じ値の複合優先度をもち，大きさが同じであり，かつ画像の中心からの距離も同じ位置である顔画像部分が２個以上ある場合には，顔画像部分の評価値の高い順にソートされる（ステップ139）。 If there are two or more face image parts that have the same value of composite priority, the same size, and the same distance from the center of the image, sort in descending order of the evaluation value of the face image part (Step 139).
上述の処理おいては，ソートするための要素（ソーティング要素）の優先順位は，複合優先度＞中央度＞顔画像部分の大きさ＞評価値，または複合優先度＞顔画像部分の大きさ＞中央度＞評価値であるが，他の優先順位にしたがってもよいのは言うまでもない。このようにして，一駒の画像の中に複数の顔画像部分が検出された場合でも所定の順序にソートすることができ，代表顔を決定することができる。 In the processing described above, the priority of sorting elements (sorting elements) is as follows: compound priority> median> face image part size> evaluation value or compound priority> face image part size> It is needless to say that median degree> evaluation value but other priorities may be followed. In this way, even when a plurality of face image portions are detected in one frame image, they can be sorted in a predetermined order, and a representative face can be determined.
１ システム制御回路
２ メモリ
26 顔抽出回路
1
26 Face extraction circuit
Claims (2)
上記対象画像部分検出手段によって検出された対象画像部分を示す位置を記憶する位置記憶手段，
上記対象画像部分検出手段における検出処理および上記位置記憶手段における記憶処理を，連続して与えられる複数駒の画像データについて繰り返すように上記対象画像部分検出手段および上記位置記憶手段を制御する制御手段，
上記位置記憶手段に記憶されている位置の平均的な位置を，上記対象画像部分を示す検出枠の表示位置と決定する表示位置決定手段，ならびに
検出枠を，上記表示位置決定手段によって決定された位置に，上記対象画像部分検出手段に最後に与えられた画像とともに表示するように表示装置を制御する表示制御手段，
を備えた対象画像検出システムにおいて，
上記表示位置決定手段は，
対象画像部分の大きさが大きい順に，または対象画像部分の中心位置が画像の中心に近い順に，上記対象画像部分検出手段によって検出された対象画像部分を並び替える並び替え手段を備え，
上記並び替え手段によって並び替えられた対象画像部分の大きさのうち中間の大きさを含む複数の大きさの平均的な大きさを囲むように上記対象画像部分を示す検出枠の表示位置を決定する，あるいは上記並び替え手段によって並び替えられた対象画像部分の中心位置のうち中間の位置を含む複数の位置の平均的な位置を，上記対象画像部分を示す検出枠の表示位置と決定するものである，
対象画像検出システム。 Target image part detection means for detecting a target image part from an image represented by given image data;
Position storage means for storing a position indicating the target image portion detected by the target image portion detection means;
Control means for controlling the target image portion detection means and the position storage means so as to repeat the detection processing in the target image portion detection means and the storage processing in the position storage means for image data of a plurality of frames that are successively given;
The average position of the positions stored in the position storage means, the display position determining means for determining the display position of the detection frame indicating the image portion, and a detection frame, as determined by the display position determining means Display control means for controlling the display device so as to display the image together with the last image given to the target image portion detection means at a position;
In the target image detection system with
The display position determining means is
Reordering means for reordering the target image portions detected by the target image portion detection means in descending order of the size of the target image portion or in order from the center position of the target image portion close to the center of the image;
The display position of the detection frame indicating the target image portion is determined so as to surround an average size of a plurality of sizes including an intermediate size among the sizes of the target image portion rearranged by the rearranging unit. Or determining an average position of a plurality of positions including an intermediate position among the center positions of the target image portion rearranged by the rearranging means as a display position of the detection frame indicating the target image portion Is,
Target image detection system.
位置記憶手段が，上記対象画像部分検出手段によって検出された対象画像部分を示す位置を記憶し，
制御手段が，上記対象画像部分検出手段における検出処理および上記位置記憶手段における記憶処理を，連続して与えられる複数駒の画像データについて繰り返すように上記対象画像部分検出手段および上記位置記憶手段を制御し，
表示位置決定手段が，上記位置記憶手段に記憶されている位置の平均的な位置を，上記対象画像部分を示す検出枠の表示位置と決定し，
表示制御手段が，検出枠を，上記表示位置決定手段によって決定された位置に，上記対象画像部分検出手段に最後に与えられた画像とともに表示するように表示装置を制御する，
対象画像検出システムの制御方法において，
並び替え手段が，対象画像部分の大きさが大きい順に，または対象画像部分の中心位置が画像の中心に近い順に，上記対象画像部分検出手段によって検出された対象画像部分を並び替え，
上記表示位置決定手段が，上記並び替え手段によって並び替えられた対象画像部分の大きさのうち中間の大きさを含む複数の大きさの平均的な大きさを囲むように上記対象画像部分を示す検出枠の表示位置を決定する，あるいは上記並び替え手段によって並び替えられた対象画像部分の中心位置のうち中間の位置を含む複数の位置の平均的な位置を上記対象画像部分を示す検出枠の表示位置と決定するものである，
対象画像検出システムの制御方法。 A target image portion detecting means detects a target image portion from an image represented by given image data;
A position storage means for storing a position indicating the target image portion detected by the target image portion detection means;
The control means controls the target image portion detection means and the position storage means so as to repeat the detection processing in the target image portion detection means and the storage processing in the position storage means for image data of a plurality of frames that are successively given. ,
Display position determining means, an average position of the positions stored in the position storage means, determines the display position of the detection frame indicating the image portion,
Display control means controls the display device to display the detection frame at the position determined by the display position determining means together with the image last given to the target image portion detecting means;
In the control method of the target image detection system ,
A reordering means for reordering the target image portions detected by the target image portion detecting means in order of increasing size of the target image portion or in the order in which the center position of the target image portion is close to the center of the image;
The display position determining means indicates the target image portion so as to surround an average size of a plurality of sizes including an intermediate size among the sizes of the target image portions rearranged by the rearranging means. The display position of the detection frame is determined, or an average position of a plurality of positions including an intermediate position among the center positions of the target image portion rearranged by the rearranging unit is determined in the detection frame indicating the target image portion. The display position is determined.
Control method of target image detection system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006201782A JP4769653B2 (en) | 2006-05-26 | 2006-07-25 | Target image detection system, target image portion matching determination device, target image portion sorting device, and control method therefor |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006146030 | 2006-05-26 | ||
| JP2006146030 | 2006-05-26 | ||
| JP2006201782A JP4769653B2 (en) | 2006-05-26 | 2006-07-25 | Target image detection system, target image portion matching determination device, target image portion sorting device, and control method therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008004061A JP2008004061A (en) | 2008-01-10 |
| JP4769653B2 true JP4769653B2 (en) | 2011-09-07 |
Family
ID=39008359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006201782A Expired - Fee Related JP4769653B2 (en) | 2006-05-26 | 2006-07-25 | Target image detection system, target image portion matching determination device, target image portion sorting device, and control method therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4769653B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11244186B2 (en) | 2019-03-29 | 2022-02-08 | Canon Kabushiki Kaisha | Information processing apparatus, method and storage medium |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5375744B2 (en) * | 2010-05-31 | 2013-12-25 | カシオ計算機株式会社 | Movie playback device, movie playback method and program |
| JP2014096817A (en) * | 2013-12-20 | 2014-05-22 | Nikon Corp | Focus adjustment device and camera |
| WO2018165912A1 (en) * | 2017-03-15 | 2018-09-20 | SZ DJI Technology Co., Ltd. | Imaging method and imaging control apparatus |
| WO2020209097A1 (en) * | 2019-04-10 | 2020-10-15 | 富士フイルム株式会社 | Image display device, image display method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3906210B2 (en) * | 2004-02-13 | 2007-04-18 | 株式会社東芝 | Vehicle tracking device and program |
| JP4442330B2 (en) * | 2004-06-17 | 2010-03-31 | 株式会社ニコン | Electronic camera and electronic camera system |
-
2006
- 2006-07-25 JP JP2006201782A patent/JP4769653B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11244186B2 (en) | 2019-03-29 | 2022-02-08 | Canon Kabushiki Kaisha | Information processing apparatus, method and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008004061A (en) | 2008-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10742888B2 (en) | Image display device displaying partial areas and positional relationship therebetween | |
| JP4489608B2 (en) | DIGITAL STILL CAMERA, IMAGE REPRODUCTION DEVICE, FACE IMAGE DISPLAY DEVICE, AND CONTROL METHOD THEREOF | |
| US8493477B2 (en) | Image-capturing apparatus with automatically adjustable angle of view and control method therefor | |
| US20050134719A1 (en) | Display device with automatic area of importance display | |
| JP4732303B2 (en) | Imaging device | |
| JPWO2006082967A1 (en) | Imaging device | |
| CN104349051A (en) | Subject detection apparatus and control method of same | |
| US9241100B2 (en) | Portable device with display function | |
| JP2010141849A (en) | Main face selecting device, control method therefor, imaging device, and program | |
| US20100039535A1 (en) | Photographic apparatus | |
| JP4769653B2 (en) | Target image detection system, target image portion matching determination device, target image portion sorting device, and control method therefor | |
| CN104349019A (en) | Image processing apparatus, image processing method, and program | |
| US20110102454A1 (en) | Image processing device, image processing method, image processing program, and imaging device | |
| JP2014126858A (en) | Imaging device and control method therefor | |
| JP2014077994A (en) | Image display device, control method and control program for the same, and imaging device | |
| JP2016219991A (en) | Image processor and control method thereof and program | |
| JP2020107956A (en) | Imaging apparatus, imaging method, and program | |
| US20100045813A1 (en) | Digital image capture device and video capturing method thereof | |
| JP5015121B2 (en) | Imaging device | |
| JP5404172B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP2007241353A (en) | Information processing device, method, and program | |
| US20240196093A1 (en) | Imaging apparatus, imaging apparatus control method, and program | |
| JP6435904B2 (en) | Output device, output control method, and program | |
| US20240179406A1 (en) | Apparatus and method executed by apparatus | |
| KR950007026B1 (en) | Digital zoom function apparatus for camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110502 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110620 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |