JP5807695B2 - Subject detection apparatus, subject detection method, and program - Google Patents

Subject detection apparatus, subject detection method, and program Download PDF

Info

Publication number
JP5807695B2
JP5807695B2 JP2014057828A JP2014057828A JP5807695B2 JP 5807695 B2 JP5807695 B2 JP 5807695B2 JP 2014057828 A JP2014057828 A JP 2014057828A JP 2014057828 A JP2014057828 A JP 2014057828A JP 5807695 B2 JP5807695 B2 JP 5807695B2
Authority
JP
Japan
Prior art keywords
image
similarity
subject
equal
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014057828A
Other languages
Japanese (ja)
Other versions
JP2014123991A (en
Inventor
敬輔 島田
敬輔 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014057828A priority Critical patent/JP5807695B2/en
Publication of JP2014123991A publication Critical patent/JP2014123991A/en
Application granted granted Critical
Publication of JP5807695B2 publication Critical patent/JP5807695B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、被写体検出装置、被写体検出方法及びプログラムに関する。   The present invention relates to a subject detection device, a subject detection method, and a program.

従来、撮像に基づいて逐次取得されたフレーム画像から顔検出を行う技術が知られている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, a technique for performing face detection from frame images sequentially acquired based on imaging is known (see, for example, Patent Document 1).

特開2005−318515号公報JP 2005-318515 A

しかしながら、上記特許文献1の技術では、一度顔ではない領域を検出してしまうと、その後のフレーム画像でも誤検出を継続してしまう虞があった。   However, with the technique disclosed in Patent Document 1, once a region that is not a face is detected, there is a risk that erroneous detection will continue even in subsequent frame images.

そこで、本願発明の課題は、特定の被写体の誤検出を低減することができるので、特定の被写体の検出精度の向上を図ることができる被写体検出装置、被写体検出方法及びプログラムを提供することである。   Accordingly, an object of the present invention is to provide a subject detection device, a subject detection method, and a program capable of reducing the detection error of a specific subject and improving the detection accuracy of the specific subject. .

上記課題を解決するため、請求項1に記載の発明の被写体検出装置は、
フレーム画像を逐次取得する取得手段と、この取得手段により取得された一のフレーム画像における第1の画像領域の画像特定の被写体との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段と、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定する第2の判定手段と、この第2の判定手段により類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記第1の画像領域の画像を、被写体画像として検出する検出手段と、を備え、前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域の画像と前記特定の被写体との類似度が、第1の閾値以上であるか否かを判定し、前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第2の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第2の判定手段により類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域の画像を被写体画像として検出することを特徴としている。
In order to solve the above problem, the subject detection apparatus according to the first aspect of the present invention provides:
Acquisition means for sequentially acquiring the frame images, the image similarity between the specific object in the first image area in one frame image acquired by the acquisition means, whether a first threshold value or more The similarity between the first determination means for determining and the image of the second image region corresponding to the first image region in the frame image acquired before the one frame image and the specific subject is: A second determination unit that determines whether or not the second threshold value is different from the first threshold value, and the second determination unit determines that the similarity is equal to or higher than the second threshold value ; and When the similarity by the first judging means Ru is determined the that the first threshold value or more, the image of the first image region, and a detection means for detecting a subject image, wherein the first The determining means further includes the subject image. After detection, the degree of similarity between the newly acquired first image and the specific object image region in the frame image by the acquisition means determines whether a first threshold value or more, the first The second determination means further includes a second image corresponding to the first image area in the frame image acquired before the newly acquired frame image and acquired after the previous frame image to be determined. It is determined whether or not the similarity between the image of the region and the specific subject is equal to or greater than the second threshold, and the detection unit further determines the similarity by the second determination unit. is determined to be the threshold value or above and the degree of similarity by the first judging means Ru is determined the that the first threshold value or more, the first image region in said newly acquired frame image the image as an object image It is characterized in that out.

請求項2に記載の発明は、請求項1に記載の被写体検出装置において、
前記第2の画像領域の画像と前記特定の被写体との類似度を記憶する記憶手段と、前記記憶手段に記憶された前記類似度を消去する消去手段と、を更に備え、前記第2の判定手段は、更に、前記記憶手段に記憶された前記類似度が第2の閾値以上であるか否かを判定し、前記消去手段は、前記類似度が前記第2の閾値未満であると判定されると、前記記憶手段に記憶された前記類似度を消去することを特徴としている。
請求項3に記載の発明は、請求項1又は2に記載の被写体検出装置において、
前記第2の判定手段は、前記第1の判定手段により前記第1の画像領域の画像と前記特定の被写体との類似度が第1の閾値以上であると判定された場合に、前記第2の画像領域の画像と前記特定の被写体との類似度が前記第2の閾値以上であるか否かを判定することを特徴としている。
According to a second aspect of the present invention, in the subject detection device according to the first aspect,
Storage means for storing the degree of similarity between the image and the specific subject of the second image area, further and a erasure means for erasing the similarity stored in said storage means, said second determination The means further determines whether the similarity stored in the storage means is greater than or equal to a second threshold, and the erasure means determines that the similarity is less than the second threshold. Then, the similarity stored in the storage means is erased.
According to a third aspect of the present invention, in the subject detection apparatus according to the first or second aspect,
The second determination unit, when the image similarity between the specific subject of the first image area by the first determination means is determined to be equal to or greater than the first threshold value, the second It is characterized in that it is determined whether the similarity between the image in the image area and the specific subject is equal to or greater than the second threshold value.

請求項4に記載の発明は、請求項1から3の何れか一項に記載の被写体検出装置において、前記第1の画像領域の画像は、顔が含まれる画像であることを特徴としている。 According to a fourth aspect of the present invention, in the subject detection device according to any one of the first to third aspects, the image of the first image region is an image including a face.

請求項5に記載の発明は、請求項1から4の何れか一項に記載の被写体検出装置におい
て、前記検出手段により検出された被写体画像を識別表示するための指標を設定する設定手段を更に備えることを特徴としている。
According to a fifth aspect of the present invention, in the subject detection device according to any one of the first to fourth aspects, the setting unit that sets an index for identifying and displaying the subject image detected by the detection unit is further provided. It is characterized by providing.

請求項6に記載の発明は、請求項1から5の何れか一項に記載の被写体検出装置において、前記フレーム画像は、撮像画像から生成された画像であることを特徴としている。
請求項7に記載の発明は、請求項1から6の何れか一項に記載の被写体検出装置において、前記第1の判定手段は、前記第1の画像領域の画像の情報と前記特定の被写体を識別するための識別用情報との類似度が、前記第1の閾値以上であるか否かを判定し、前記第2の判定手段は、前記第2の画像領域の画像の情報と前記識別用情報との類似度が、前記第2の閾値以上であるか否かを判定することを特徴としている。
請求項8に記載の発明は、請求項1から7の何れか一項に記載の被写体検出装置において、前記第2の閾値は、前記第1の閾値よりも大きいことを特徴としている。
A sixth aspect of the present invention is the subject detection apparatus according to any one of the first to fifth aspects, wherein the frame image is an image generated from a captured image.
According to a seventh aspect of the present invention, in the subject detection device according to any one of the first to sixth aspects, the first determination means includes information on the image in the first image area and the specific subject. Determining whether or not the similarity with the identification information for identifying the image is equal to or greater than the first threshold, and the second determination means includes the image information of the second image region and the identification It is characterized in that it is determined whether or not the similarity with the business information is greater than or equal to the second threshold value.
According to an eighth aspect of the present invention, in the subject detection apparatus according to any one of the first to seventh aspects, the second threshold value is larger than the first threshold value.

請求項に記載の発明の被写体検出方法は、
被写体検出装置を用いた被写体検出方法であって、フレーム画像を逐次取得するステップと、取得された一のフレーム画像における第1の画像領域の画像特定の被写体との類似度が、第1の閾値以上であるか否かを判定するステップと、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定するステップと、前記第2の画像領域の画像と前記特定の被写体との類似度が前記第2の閾値以上であると判定され、且つ、前記第1の画像領域の画像と前記特定の被写体との類似度が前記第1の閾値以上であると判定されると、前記第1の画像領域の画像を、被写体画像として検出するステップと、を含み、前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第1の画像領域の画像と前記特定の被写体との類似度が、第1の閾値以上であるか否かを判定し、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第2の閾値以上であるか否かを判定し、更に、前記第2の画像領域の画像と前記特定の被写体との類似度が前記第2の閾値以上であると判定され、且つ、前記第1の画像領域の画像と前記特定の被写体との類似度が前記第1の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域の画像を被写体画像として検出することを特徴としている。
The subject detection method of the invention according to claim 9 comprises:
A subject detection method using the subject detection unit, a step of sequentially obtaining the frame image, the similarity between the image of the first image area in one frame image acquired with a particular object, the first A step of determining whether or not the threshold image is greater than or equal to a threshold; and an image of a second image region corresponding to the first image region in the frame image acquired before the one frame image and the specific subject Determining whether or not the similarity is equal to or greater than a second threshold different from the first threshold; and the similarity between the image in the second image region and the specific subject is the second threshold is determined to be equal to or greater than, and, when the similarity between the first image area image with the particular subject is determined to be equal to or larger than the first threshold value, the image of the first image area Detect as subject image Includes a step, and after the detection of the object image, further, whether the image similarity between the specific subject of the first image region in the newly acquired frame image is a first threshold value or more And a second image region corresponding to the first image region in the frame image acquired before the newly acquired frame image and acquired after the previous frame image to be determined. It is determined whether the similarity between the image and the specific subject is equal to or greater than the second threshold, and the similarity between the image in the second image region and the specific subject is the first it is determined to be equal to or greater than second threshold value, and, when the image and the similarity between the specific subject of the first image region Ru is determined to be equal to or greater than the first threshold value, the newly acquired The first image area in the frame image The image is characterized by detecting a target Utsushitai image.

請求項10に記載の発明のプログラムは、
コンピュータを、フレーム画像を逐次取得する取得手段、この取得手段により取得された一のフレーム画像における第1の画像領域の画像特定の被写体との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定する第2の判定手段、この第2の判定手段により類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記第1の画像領域の画像を、被写体画像として検出する検出手段、として機能させ、前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域の画像と前記特定の被写体との類似度が、第1の閾値以上であるか否かを判定し、前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第2の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第2の判定手段により前記類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域の画像を被写体画像として検出することを特徴としている。
The program of the invention according to claim 10 is:
Acquiring means computer, which sequentially obtained frame images, whether the similarity between the image of the first image area in one frame image acquired with a particular subject by the acquisition means is a first threshold value or more First determination means for determining whether a similarity between an image in a second image region corresponding to the first image region in the frame image acquired before the one frame image and the specific subject is Second determination means for determining whether or not the second threshold value is different from the first threshold value, and the second determination means determines that the similarity is equal to or higher than the second threshold value ; and When the similarity by the first judging means Ru is determined the that the first threshold value or more, the image of the first image area, to function as detection means, for detecting a subject image, wherein the first The determination means of , The rear detection object image, the similarity between the newly acquired first image and the specific object image region in the frame image by the acquisition means, determining whether a first threshold value or more The second determination unit further corresponds to the first image area in the frame image acquired before the newly acquired frame image and acquired after the previous frame image to be determined. It is determined whether or not the similarity between the image of the second image region and the specific subject is equal to or greater than the second threshold, and the detection unit further includes the similarity by the second determination unit. There is determined to be equal to or greater than the second threshold value, and, when the degree of similarity by the first judging means Ru is determined the that the first threshold value or more, said in newly acquired frame image image of the first image area The is characterized by detecting a target Utsushitai image.

本発明によれば、特定の被写体の誤検出を低減することができるので、当該特定の被写体の検出精度の向上を図ることができる。   According to the present invention, it is possible to reduce erroneous detection of a specific subject, and therefore it is possible to improve the detection accuracy of the specific subject.

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the imaging device of one Embodiment to which this invention is applied. 図1の撮像装置による被写体検出処理に係る動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to subject detection processing by the imaging apparatus of FIG. 1. 図2の被写体検出処理に係る画像の一例を模式的に示す図である。It is a figure which shows typically an example of the image which concerns on the to-be-photographed object detection process of FIG.

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus 100 according to an embodiment to which the present invention is applied.

本実施形態の撮像装置100は、一のフレーム画像における特定の被写体画像の検出候補領域の画像と、当該特定の被写体画像の判定基準となる所定の基準画像との類似度が第1の閾値以上であるか否かを判定し、当該判定処理にて、検出候補領域Aの画像の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像よりも所定フレーム前の他のフレーム画像における当該検出候補領域に対応する対応領域の画像と、所定の基準画像との類似度が第2の閾値以上であるか否かを判定する。そして、撮像装置100は、類似度が第2の閾値以上であると判定された一のフレーム画像における対応領域に対応する検出候補領域を、特定の被写体画像の画像領域として特定する。
図1に示すように、撮像装置100は、具体的には、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、識別情報設定部6と、記録媒体制御部7と、表示制御部8と、表示部9と、操作入力部10と、中央制御部11とを備えている。
In the imaging apparatus 100 according to the present embodiment, the similarity between an image of a detection candidate area of a specific subject image in one frame image and a predetermined reference image that is a determination criterion for the specific subject image is equal to or greater than a first threshold value. In the determination process, when it is determined that the similarity of the image of the detection candidate area A is equal to or higher than the first threshold, the other frame before the predetermined frame than the one frame image It is determined whether the similarity between the image of the corresponding region corresponding to the detection candidate region in the frame image and the predetermined reference image is equal to or greater than the second threshold value. Then, the imaging apparatus 100 specifies a detection candidate area corresponding to the corresponding area in one frame image for which the similarity is determined to be greater than or equal to the second threshold as the image area of the specific subject image.
As shown in FIG. 1, the imaging apparatus 100 specifically includes an imaging unit 1, an imaging control unit 2, an image data generation unit 3, a memory 4, an image processing unit 5, and an identification information setting unit 6. A recording medium control unit 7, a display control unit 8, a display unit 9, an operation input unit 10, and a central control unit 11.

撮像部1は、撮像手段として、被写体を撮像してフレーム画像Fを生成する。具体的には、撮像部1は、レンズ部1aと、電子撮像部1bとを備えている。   The imaging unit 1 captures a subject and generates a frame image F as an imaging unit. Specifically, the imaging unit 1 includes a lens unit 1a and an electronic imaging unit 1b.

レンズ部1aは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部1bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部1は、レンズ部1aを通過する光の量を調整する絞りを備えていても良い。
The lens unit 1a includes a plurality of lenses such as a zoom lens and a focus lens.
The electronic imaging unit 1b is composed of, for example, an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-oxide Semiconductor), and converts an optical image that has passed through various lenses of the lens unit 1a into a two-dimensional image signal. To do.
In addition, although illustration is abbreviate | omitted, the imaging part 1 may be provided with the aperture_diaphragm | restriction which adjusts the quantity of the light which passes the lens part 1a.

撮像制御部2は、撮像部1による被写体の撮像を制御する。即ち、撮像制御部2は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部2は、タイミング発生器、ドライバにより電子撮像部1bを走査駆動して、所定周期毎に光学像を電子撮像部1bにより二次元の画像信号に変換させ、当該電子撮像部1bの撮像領域から1画面分ずつフレーム画像Fを読み出して画像データ生成部3に出力させる。
また、撮像制御部2は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体の撮像条件の調整制御を行う。
The imaging control unit 2 controls the imaging of the subject by the imaging unit 1. That is, the imaging control unit 2 includes a timing generator, a driver, and the like, although not illustrated. Then, the imaging control unit 2 scans and drives the electronic imaging unit 1b with a timing generator and a driver, converts the optical image into a two-dimensional image signal with the electronic imaging unit 1b at a predetermined period, and the electronic imaging unit 1b. The frame image F is read out from the imaging area for each screen and is output to the image data generation unit 3.
In addition, the imaging control unit 2 performs adjustment control of imaging conditions of the subject such as AF (automatic focusing process), AE (automatic exposure process), and AWB (automatic white balance).

画像データ生成部3は、電子撮像部1bから転送されたフレーム画像Fのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
また、画像データ生成部3は、生成したフレーム画像FのYUVデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度(例えば、VGAやQVGAサイズ等)の画像データを生成する。具体的には、画像データ生成部3は、表示部9によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像FのYUVデータからライブビュー表示用の低解像度の画像データを生成する。
カラープロセス回路から出力されるYUVデータは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
The image data generation unit 3 appropriately adjusts the gain for each RGB color component with respect to the analog value signal of the frame image F transferred from the electronic imaging unit 1b, and then performs sample holding by a sample hold circuit (not shown). The digital data is converted into digital data by an A / D converter (not shown), color processing including pixel interpolation processing and γ correction processing is performed by a color process circuit (not shown), and then a digital luminance signal Y and color difference signal Cb, Cr (YUV data) is generated.
Further, the image data generation unit 3 reduces the YUV data of the generated frame image F at a predetermined magnification in both horizontal and vertical directions, and image data with low resolution (for example, VGA or QVGA size) for live view display. Is generated. Specifically, the image data generation unit 3 has low resolution image data for live view display from YUV data of the frame image F at a predetermined timing according to a predetermined display frame rate of the live view image by the display unit 9. Is generated.
YUV data output from the color process circuit is DMA-transferred to a memory 4 used as a buffer memory via a DMA controller (not shown).

メモリ4は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、画像データ生成部3、画像処理部5、識別情報設定部6、中央制御部11等によって処理されるデータ等を一時記憶する。具体的には、メモリ4は、画像データ生成部3により生成された所定フレーム数分のフレーム画像Fのライブビュー表示用の画像データを一時記憶する。   The memory 4 is configured by, for example, a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores data processed by the image data generation unit 3, the image processing unit 5, the identification information setting unit 6, the central control unit 11, and the like. . Specifically, the memory 4 temporarily stores image data for live view display of frame images F for a predetermined number of frames generated by the image data generation unit 3.

また、メモリ4は、後述する被写体検出処理に係る各種の情報を一時的に格納するための検出結果格納部4aを具備している。
検出結果格納部4aは、例えば、リングバッファから構成され、画像処理部5の類似度算出部5bにより算出された所定フレーム数分のフレーム画像Fにおける特定の被写体画像の候補領域(検出候補領域A;図3(a)参照)の画像と所定の基準画像との類似度をデータ履歴として順次格納する。ここで、一のフレーム画像Fnよりも所定フレーム(例えば、一フレーム)前に画像データ生成部3により生成された他のフレーム画像Fmにおける複数の検出候補領域Aのうち、一のフレーム画像Fnにおける検出候補領域Aの座標(例えば、中心や矩形領域の四隅等の座標)に対応する座標を有する領域は、特定の被写体画像の候補領域(検出候補領域A)に対応する対応領域B(図3(b)参照)となる。
即ち、検出結果格納部4aは、記憶手段として、類似度算出部5bにより予め算出された他のフレーム画像Fmにおける、一のフレーム画像Fnの検出候補領域Aに対応する対応領域Bの画像と所定の基準画像との類似度を記憶する。
Further, the memory 4 includes a detection result storage unit 4a for temporarily storing various types of information related to a subject detection process described later.
The detection result storage unit 4a is composed of, for example, a ring buffer, and a candidate region (detection candidate region A) of a specific subject image in a predetermined number of frame images F calculated by the similarity calculation unit 5b of the image processing unit 5. The similarity between the image of FIG. 3A and a predetermined reference image is sequentially stored as a data history. Here, among the plurality of detection candidate areas A in the other frame image Fm generated by the image data generation unit 3 before the predetermined frame (for example, one frame) before the one frame image Fn, in the one frame image Fn. An area having coordinates corresponding to the coordinates of the detection candidate area A (for example, coordinates such as the center and the four corners of the rectangular area) corresponds to the corresponding area B (FIG. 3) corresponding to the candidate area (detection candidate area A) of the specific subject image. (See (b)).
That is, the detection result storage unit 4a serves as a storage unit with an image of the corresponding region B corresponding to the detection candidate region A of one frame image Fn in another frame image Fm calculated in advance by the similarity calculation unit 5b. The similarity with the reference image is stored.

画像処理部5は、画像取得部5aと、類似度算出部5bと、第1判定部5cと、第2判定部5dと、閾値設定部5eと、画像領域特定部5fとを具備している。   The image processing unit 5 includes an image acquisition unit 5a, a similarity calculation unit 5b, a first determination unit 5c, a second determination unit 5d, a threshold setting unit 5e, and an image region specifying unit 5f. .

画像取得部5aは、フレーム画像Fを逐次取得する。
即ち、画像取得部5aは、画像データ生成部3により表示フレームレートに応じた所定のタイミングで生成されたフレーム画像Fのライブビュー表示用の画像データをメモリ4から逐次取得する。
ここで、画像取得部5aは、フレーム画像Fを逐次取得する取得手段を構成している。
The image acquisition unit 5a sequentially acquires the frame images F.
That is, the image acquisition unit 5a sequentially acquires from the memory 4 image data for live view display of the frame image F generated by the image data generation unit 3 at a predetermined timing according to the display frame rate.
Here, the image acquisition unit 5a constitutes acquisition means for sequentially acquiring the frame images F.

類似度算出部5bは、フレーム画像Fの特定の被写体画像の候補領域の画像と所定の基準画像との類似度を算出する。
即ち、類似度算出部5bは、画像取得部5aにより逐次取得された各フレーム画像Fのライブビュー表示用の画像データの各々に対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を施して、特定の被写体画像の候補となる画像領域(検出候補領域A)を複数抽出する(図3(a)参照)。具体的には、類似度算出部5bは、例えば、画像取得部5aにより所定のタイミングで取得された一のフレーム画像Fnのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ(例えば、24×24画素)の検出候補領域A(例えば、検出候補領域A1〜A3等)を複数生成する。そして、類似度算出部5bは、例えば、各検出候補領域Aの画像データと所定の基準画像の画像データとの類似度をadaboost(アダブースト)出力計算を用いて算出する。
The similarity calculation unit 5b calculates the similarity between the image of the candidate area of the specific subject image of the frame image F and the predetermined reference image.
That is, the similarity calculation unit 5b performs, for example, a face detection process, an edge detection process, a feature extraction process, etc. on each of the image data for live view display of each frame image F acquired sequentially by the image acquisition unit 5a. A plurality of image regions (detection candidate regions A) that are candidates for a specific subject image are extracted (see FIG. 3A). Specifically, the similarity calculation unit 5b, for example, from the image data for live view display of one frame image Fn acquired at a predetermined timing by the image acquisition unit 5a, as a candidate area for a specific subject image. A plurality of detection candidate areas A (for example, detection candidate areas A1 to A3, etc.) having a predetermined size (for example, 24 × 24 pixels) are generated. And the similarity calculation part 5b calculates the similarity of the image data of each detection candidate area | region A and the image data of a predetermined | prescribed reference image using adaboost (adaboost) output calculation, for example.

なお、類似度算出部5bによる類似度の算出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、所定の基準画像の画像データは、例えば、画像処理部5の一時記憶手段(図示略)に記憶された情報であり、検出候補領域Aについて特定の被写体であるか否かを判定するための各種の識別用情報である。識別用情報としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、明度や彩度が高く鮮やかな(派手な)色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、画角全体の画像に対する割合(例えば、半分以上であるか)などの大きさを基準とするもの等が挙げられる。
また、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
Note that the similarity calculation method by the similarity calculation unit 5b is an example and is not limited to this, and can be arbitrarily changed as appropriate.
The image data of the predetermined reference image is, for example, information stored in a temporary storage unit (not shown) of the image processing unit 5 and is used to determine whether the detection candidate area A is a specific subject. Are various kinds of identification information. The identification information includes, for example, information based on shapes such as “human face” and “animal”, whether the color is bright or bright with high brightness and saturation, and whether it is skin color. Examples include those based on the color tone such as “no”, and those based on the size such as the ratio (for example, half or more) of the entire angle of view.
Further, the face detection process, the edge detection process, and the feature extraction process are known techniques, and thus detailed description thereof is omitted here.

第1判定部5cは、一のフレーム画像Fnにおける検出候補領域Aの画像データと所定の基準画像の画像データとの類似度が第1の閾値以上であるか否かを判定する。
即ち、第1判定部5cは、類似度算出部5bにより算出された一のフレーム画像Fnにおける特定の被写体画像の候補領域としての各検出候補領域Aの画像データと所定の基準画像の画像データとの類似度が、閾値設定部5eにより設定された第1の閾値以上であるか否かを判定する。また、第1判定部5cは、類似度が第1の閾値以上であると判定された各検出候補領域A(特定の被写体画像の候補領域)の所定位置(例えば、中心等)の座標に基づいて、一のフレーム画像Fnのライブビュー表示用の画像データ内で、当該検出候補領域Aの位置を示す類似度マップを生成しても良い。
ここで、第1判定部5cは、画像取得部5aにより取得された一のフレーム画像Fnにおける特定の被写体画像の候補領域(検出候補領域A)の画像と、当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段を構成している。
The first determination unit 5c determines whether or not the similarity between the image data of the detection candidate area A and the image data of the predetermined reference image in one frame image Fn is equal to or greater than a first threshold value.
That is, the first determination unit 5c includes the image data of each detection candidate area A as the candidate area of the specific subject image in the one frame image Fn calculated by the similarity calculation unit 5b, and the image data of the predetermined reference image. Is determined to be greater than or equal to the first threshold set by the threshold setting unit 5e. In addition, the first determination unit 5c is based on the coordinates of a predetermined position (for example, the center) of each detection candidate area A (candidate area of a specific subject image) for which the similarity is determined to be equal to or greater than the first threshold. Thus, a similarity map indicating the position of the detection candidate region A may be generated in the image data for live view display of one frame image Fn.
Here, the first determination unit 5c includes the image of the candidate area (detection candidate area A) of the specific subject image in the one frame image Fn acquired by the image acquisition unit 5a, and the determination reference of the specific subject image. A first determination unit configured to determine whether the similarity with the predetermined reference image is equal to or higher than a first threshold value.

第2判定部5dは、他のフレーム画像Fmにおける対応領域Bの画像データと所定の基準画像の画像データとの類似度が第2の閾値以上であるか否かを判定する。
即ち、第2判定部5dは、第1判定部5cにより検出候補領域A(特定の被写体画像の候補領域)の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像Fnよりも所定フレーム(例えば、一フレーム)前に生成された他のフレーム画像Fmにおける対応領域Bの画像データと所定の基準画像の画像データとの類似度が、閾値設定部5eにより設定された第1の閾値よりも大きい第2の閾値以上であるか否かを判定する。具体的には、第2判定部5dは、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmに係る類似度マップに基づいて、当該他のフレーム画像Fmにおける複数の検出候補領域Aのうち、一のフレーム画像Fnにおける類似度が第1の閾値以上である検出候補領域Aの座標に対応する座標を有する領域(対応領域B)を特定する。そして、第2判定部5dは、特定した対応領域Bの画像データと所定の基準画像の画像データとの類似度をメモリ4の検出結果格納部4aから取得する。そして、第2判定部5dは、取得した類似度が第2の閾値以上であるか否かを判定する。
このように、第2判定部5dは、第1判定部5cにより特定の被写体画像の候補領域の画像の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにおける当該特定の被写体画像の候補領域に対応する対応領域Bの画像と、所定の基準画像との類似度が、第2の閾値以上であるか否かを判定する第2の判定手段を構成している。
The second determination unit 5d determines whether or not the similarity between the image data of the corresponding region B in the other frame image Fm and the image data of the predetermined reference image is equal to or greater than the second threshold value.
That is, when the first determination unit 5c determines that the similarity of the detection candidate area A (candidate area of the specific subject image) is equal to or higher than the first threshold, the second determination unit 5d The threshold value setting unit 5e sets the similarity between the image data of the corresponding region B and the image data of the predetermined reference image in another frame image Fm generated before a predetermined frame (for example, one frame) before Fn. It is determined whether or not the second threshold value is greater than or equal to the first threshold value. Specifically, the second determination unit 5d determines a plurality of detection candidate areas A in the other frame image Fm based on the similarity map related to another frame image Fm that is a predetermined frame before the one frame image Fn. Among these, the region (corresponding region B) having coordinates corresponding to the coordinates of the detection candidate region A whose similarity in the one frame image Fn is equal to or higher than the first threshold is specified. Then, the second determination unit 5 d acquires the similarity between the image data of the specified corresponding region B and the image data of the predetermined reference image from the detection result storage unit 4 a of the memory 4. And the 2nd determination part 5d determines whether the acquired similarity is more than a 2nd threshold value.
As described above, when the first determination unit 5c determines that the similarity of the image of the candidate area of the specific subject image is equal to or higher than the first threshold value, the second determination unit 5d uses the one frame image Fn. Whether the similarity between the image of the corresponding region B corresponding to the candidate region of the specific subject image in the other frame image Fm before the predetermined frame and the predetermined reference image is equal to or greater than the second threshold value. It constitutes a second determination means for determining.

閾値設定部5eは、第1判定部5c及び第2判定部5dによる判定基準に係る第1の閾値及び第2の閾値を設定する。
即ち、閾値設定部5eは、第1判定部5cによる特定の被写体画像の候補領域(検出候補領域A)の画像と所定の基準画像との類似度の判定基準となる第1の閾値を設定する。また、閾値設定部5eは、第2判定部5dによる検出候補領域A(特定の被写体画像の候補領域)に対応する対応領域Bの画像と所定の基準画像との類似度の判定基準となる第2の閾値を設定する。
具体的には、閾値設定部5eは、第1の閾値や第2の閾値として、ユーザによる操作入力部10の所定操作に基づいて入力された所定の値、或いは、予めデフォルトとして設定されている所定の値等を設定する。
The threshold value setting unit 5e sets the first threshold value and the second threshold value according to the determination criteria by the first determination unit 5c and the second determination unit 5d.
In other words, the threshold setting unit 5e sets a first threshold value that serves as a criterion for determining the similarity between the image of the candidate area (detection candidate area A) of the specific subject image and the predetermined reference image by the first determination unit 5c. . In addition, the threshold setting unit 5e serves as a determination criterion for the similarity between the image of the corresponding region B corresponding to the detection candidate region A (candidate region of a specific subject image) by the second determination unit 5d and the predetermined reference image. A threshold of 2 is set.
Specifically, the threshold setting unit 5e is set as a first value or a second threshold as a predetermined value input based on a predetermined operation of the operation input unit 10 by the user, or as a default in advance. A predetermined value or the like is set.

画像領域特定部5fは、一のフレーム画像Fn内で特定の被写体画像の画像領域Cを特定する。
即ち、画像領域特定部5fは、第2判定部5dにより他のフレーム画像Fmのライブビュー表示用の画像データにおける対応領域Bの画像データと所定の基準画像の画像データとの類似度が第2の閾値以上であると判定された場合に、一のフレーム画像Fnにおける対応領域B(例えば、対応領域B1、B2等)に対応する検出候補領域A(例えば、検出候補領域A1、A2等)を、特定の被写体画像の画像領域Cとして特定する。
ここで、画像領域特定部5fは、第2判定部5dにより類似度が第2の閾値以上であると判定された一のフレーム画像Fnにおける対応領域Bに対応する特定の被写体画像の候補領域(検出候補領域A)を、特定の被写体画像の画像領域Cとして特定する特定手段を構成している。
The image area specifying unit 5f specifies an image area C of a specific subject image in one frame image Fn.
That is, the image area specifying unit 5f uses the second determination unit 5d to determine that the similarity between the image data of the corresponding area B in the image data for live view display of the other frame image Fm and the image data of the predetermined reference image is the second. If it is determined that it is equal to or greater than the threshold value, a detection candidate area A (for example, detection candidate areas A1, A2, etc.) corresponding to a corresponding area B (for example, corresponding areas B1, B2, etc.) in one frame image Fn is selected. The image area C of the specific subject image is specified.
Here, the image region specifying unit 5f is a candidate region for a specific subject image (corresponding to the corresponding region B in the one frame image Fn whose similarity is determined to be greater than or equal to the second threshold by the second determination unit 5d). The detection candidate area A) constitutes a specifying means for specifying the image area C of the specific subject image.

識別情報設定部6は、特定の被写体画像を識別表示するための識別情報を設定する。
即ち、識別情報設定部6は、画像領域特定部5fにより特定の被写体画像の画像領域Cが特定されると、当該特定の被写体画像を識別表示する識別情報として、特定の被写体画像の画像領域Cの縁部に重畳して表示部9に表示される検出枠Wを設定する。
なお、特定の被写体画像の識別情報として、当該特定の被写体画像の画像領域Cの縁部に重畳して表示される検出枠Wを例示したが、一例であってこれに限られるものではなく、所定の識別標識など当該特定の被写体画像を識別表示するものであれば適宜任意に変更可能である。
ここで、識別情報設定部6は、画像領域特定部5fにより特定された特定の被写体画像を識別表示するための識別情報を設定する設定手段を構成している。
The identification information setting unit 6 sets identification information for identifying and displaying a specific subject image.
That is, when the image area C of the specific subject image is specified by the image area specifying unit 5f, the identification information setting unit 6 uses the image area C of the specific subject image as identification information for identifying and displaying the specific subject image. The detection frame W displayed on the display unit 9 is set so as to be superimposed on the edge of the.
In addition, as the identification information of the specific subject image, the detection frame W displayed by being superimposed on the edge of the image area C of the specific subject image is illustrated, but it is an example and is not limited thereto. As long as the specific subject image is identified and displayed, such as a predetermined identification mark, it can be arbitrarily changed.
Here, the identification information setting unit 6 constitutes setting means for setting identification information for identifying and displaying a specific subject image specified by the image region specifying unit 5f.

記録媒体制御部7は、記録媒体Mが着脱自在に構成され、装着された記録媒体Mからのデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。
即ち、記録媒体制御部7は、画像処理部5の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
The recording medium control unit 7 is configured so that the recording medium M is detachable, and controls reading of data from the loaded recording medium M and writing of data to the recording medium M.
That is, the recording medium control unit 7 causes the recording medium M to record the recording image data encoded in a predetermined compression format (eg, JPEG format) by the encoding unit (not shown) of the image processing unit 5. .
The recording medium M is composed of, for example, a non-volatile memory (flash memory) or the like. However, the recording medium M is an example and is not limited to this, and can be arbitrarily changed as appropriate.

表示制御部8は、メモリ4に一時的に記憶されている表示用の画像データを読み出して表示部9に表示させる制御を行う。
具体的には、表示制御部8は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部11の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部9に出力する。
The display control unit 8 performs control for reading display image data temporarily stored in the memory 4 and displaying the read image data on the display unit 9.
Specifically, the display control unit 8 includes a VRAM (Video Random Access Memory), a VRAM controller, a digital video encoder, and the like. The digital video encoder reads the luminance signal Y and the color difference signals Cb and Cr read from the memory 4 and stored in the VRAM (not shown) under the control of the central control unit 11 via the VRAM controller. Are periodically read out, and a video signal is generated based on these data and output to the display unit 9.

表示部9は、例えば、液晶表示パネルであり、表示制御部8からのビデオ信号に基づいて電子撮像部1bにより撮像された画像などを表示画面に表示する。具体的には、表示部9は、静止画撮像モードや動画撮像モードにて、撮像部1及び撮像制御部2による被写体の撮像により生成された複数のフレーム画像Fを所定の表示フレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部9は、静止画として記録される画像のレックビュー画像を表示したり、動画として記録中の画像を表示する。   The display unit 9 is, for example, a liquid crystal display panel, and displays an image captured by the electronic imaging unit 1b based on a video signal from the display control unit 8 on a display screen. Specifically, the display unit 9 sequentially selects a plurality of frame images F generated by imaging the subject by the imaging unit 1 and the imaging control unit 2 at a predetermined display frame rate in the still image capturing mode and the moving image capturing mode. Display live view image while updating. The display unit 9 displays a rec view image of an image recorded as a still image or an image being recorded as a moving image.

操作入力部10は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部10は、被写体の撮像指示に係るシャッタボタン10a(図3(c)参照)、撮像モードや機能等の選択指示に係る選択決定ボタン10b(図3(c)参照)、ズーム量の調整指示に係るズームボタン(図示略)等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部11に出力する。   The operation input unit 10 is for performing a predetermined operation of the imaging apparatus 100. Specifically, the operation input unit 10 includes a shutter button 10a (see FIG. 3C) related to an imaging instruction of a subject, and a selection determination button 10b (refer to FIG. 3C) related to a selection instruction such as an imaging mode and a function. ), And a zoom button (not shown) related to the zoom amount adjustment instruction, and outputs a predetermined operation signal to the central control unit 11 in accordance with the operation of these buttons.

中央制御部11は、撮像装置100の各部を制御するものである。具体的には、中央制御部11は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。   The central control unit 11 controls each unit of the imaging device 100. Specifically, although not shown, the central control unit 11 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and includes various processing programs for the imaging apparatus 100 ( Various control operations are performed according to (not shown).

次に、撮像装置100による被写体検出処理について、図2及び図3を参照して説明する。
図2は、被写体検出処理に係る動作の一例を示すフローチャートである。また、図3は、被写体検出処理に係る画像の一例を模式的に示す図である。
なお、以下に説明する被写体検出処理は、ユーザによる操作入力部10の所定操作に基づいて被写体検出モードが設定されている場合に、中央制御部11の制御下にて実行される処理である。また、以下の説明にあっては、フレーム画像F内に特定の被写体画像としての顔画像が含まれているフレーム画像Fを用いるものとする。
Next, subject detection processing by the imaging apparatus 100 will be described with reference to FIGS.
FIG. 2 is a flowchart illustrating an example of an operation related to the subject detection process. FIG. 3 is a diagram schematically illustrating an example of an image related to subject detection processing.
The subject detection process described below is a process executed under the control of the central control unit 11 when the subject detection mode is set based on a predetermined operation of the operation input unit 10 by the user. In the following description, a frame image F in which a face image as a specific subject image is included in the frame image F is used.

図2に示すように、先ず、中央制御部11は、撮像部1による被写体の撮像により画像データ生成部3により逐次生成されたフレーム画像Fのライブビュー表示用の画像データをメモリ4に逐次格納して一時記憶させる(ステップS1)。
続けて、画像処理部5の画像取得部5aは、表示部9による表示フレームレートに応じた所定のタイミングで、処理対象となる一のフレーム画像Fnのライブビュー表示用の画像データをメモリ4から取得する(ステップS2)。
As shown in FIG. 2, first, the central control unit 11 sequentially stores, in the memory 4, image data for live view display of the frame images F that are sequentially generated by the image data generation unit 3 by imaging the subject by the imaging unit 1. And temporarily stored (step S1).
Subsequently, the image acquisition unit 5a of the image processing unit 5 receives image data for live view display of one frame image Fn to be processed from the memory 4 at a predetermined timing according to the display frame rate by the display unit 9. Obtain (step S2).

次に、類似度算出部5bは、画像取得部5aにより取得された一のフレーム画像Fnにおける特定の被写体画像の検出候補領域Aと所定の基準画像との類似度を算出する(ステップS3)。
具体的には、類似度算出部5bは、一のフレーム画像Fnのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ(例えば、24×24画素)の検出候補領域A1〜A3(図3(a)参照)を複数生成し、各検出候補領域A1〜A3の画像データと所定の基準画像の画像データとの類似度をadaboost(アダブースト)出力計算を用いて算出する。
なお、算出された各検出候補領域A1〜A3の類似度は、メモリ4の検出結果格納部4aに一時的に格納される。
Next, the similarity calculation unit 5b calculates the similarity between the detection candidate area A of the specific subject image and the predetermined reference image in the one frame image Fn acquired by the image acquisition unit 5a (step S3).
Specifically, the similarity calculation unit 5b detects a candidate area of a predetermined size (for example, 24 × 24 pixels) as a candidate area of a specific subject image from image data for live view display of one frame image Fn. A plurality of A1 to A3 (see FIG. 3A) are generated, and the similarity between the image data of each detection candidate region A1 to A3 and the image data of a predetermined reference image is calculated using adaboost output calculation. .
Note that the calculated similarities of the detection candidate areas A1 to A3 are temporarily stored in the detection result storage unit 4a of the memory 4.

続けて、第1判定部5cは、各検出候補領域A1〜A3について類似度算出部5bにより算出された類似度、即ち、一のフレーム画像Fnのライブビュー表示用の画像データにおける検出候補領域A1〜A3の画像データと所定の基準画像の画像データとの類似度が第1の閾値以上であるか否かを判定する(ステップS4)。
ここで、検出候補領域A1〜A3の類似度が第1の閾値以上であると判定されると(ステップS4;YES)、第1判定部5cは、一のフレーム画像Fnのライブビュー表示用の画像データ内で、類似度が第1の閾値以上であると判定された各検出候補領域A1〜A3の位置を示す類似度マップを生成して、メモリ4の検出結果格納部4aに一時的に格納する(ステップS5)。一方、ステップS4にて、検出候補領域Aの類似度が第1の閾値以上でないと判定されると(ステップS4;NO)、中央制御部11は、メモリ4の検出結果格納部4aに一時的に格納されている当該検出候補領域Aの類似度、即ち、類似度が第1の閾値以上でないと判定された検出候補領域Aの類似度のデータ履歴を消去する(ステップS6)。
Subsequently, the first determination unit 5c calculates the similarity calculated by the similarity calculation unit 5b for each detection candidate region A1 to A3, that is, the detection candidate region A1 in the image data for live view display of one frame image Fn. It is determined whether or not the similarity between the image data of .about.A3 and the image data of the predetermined reference image is greater than or equal to the first threshold (step S4).
Here, if it is determined that the similarity between the detection candidate areas A1 to A3 is equal to or higher than the first threshold (step S4; YES), the first determination unit 5c is for live view display of one frame image Fn. In the image data, a similarity map indicating the positions of the detection candidate areas A1 to A3 determined to have a similarity greater than or equal to the first threshold is generated and temporarily stored in the detection result storage unit 4a of the memory 4. Store (step S5). On the other hand, when it is determined in step S4 that the similarity of the detection candidate area A is not equal to or higher than the first threshold (step S4; NO), the central control unit 11 temporarily stores the detection result storage unit 4a of the memory 4 in the detection result storage unit 4a. Is deleted from the data history of the similarity of the detection candidate area A, that is, the similarity of the detection candidate area A determined that the similarity is not equal to or higher than the first threshold (step S6).

ステップS5における類似度マップの生成後、第2判定部5dは、一のフレーム画像Fnよりも所定フレーム(例えば、一フレーム)前の他のフレーム画像Fmにおける複数の検出候補領域A、…のうち、一のフレーム画像Fnにおける類似度が第1の閾値以上である検出候補領域A1〜A3の座標に対応する座標を有する領域を対応領域B1〜B3として特定する(ステップS7)。続けて、第2判定部5dは、特定した対応領域B1〜B3の画像データと所定の基準画像の画像データとの類似度をメモリ4の検出結果格納部4aから取得する(ステップS8)。   After the generation of the similarity map in step S5, the second determination unit 5d includes a plurality of detection candidate areas A in other frame images Fm that are a predetermined frame (for example, one frame) before the one frame image Fn. The regions having the coordinates corresponding to the coordinates of the detection candidate regions A1 to A3 whose similarity in the one frame image Fn is greater than or equal to the first threshold are specified as the corresponding regions B1 to B3 (step S7). Subsequently, the second determination unit 5d acquires the similarity between the image data of the specified corresponding regions B1 to B3 and the image data of the predetermined reference image from the detection result storage unit 4a of the memory 4 (Step S8).

そして、第2判定部5dは、各対応領域B1〜B3に係る類似度、即ち、他のフレーム画像Fmのライブビュー表示用の画像データにおける各検出候補領域A1〜A3に対応する対応領域B1〜B3の各々の画像データと所定の基準画像の画像データとの類似度が第2の閾値以上であるか否かを判定する(ステップS9)。
ここで、対応領域Bの類似度が第2の閾値以上であると判定されると(ステップS9;YES)、画像領域特定部5fは、類似度が第2の閾値以上であると第2判定部5dにより判定された対応領域B(例えば、対応領域B1、B2等)について、一のフレーム画像Fnにおける当該対応領域Bに対応する検出候補領域A(例えば、検出候補領域A1、A2等)を、特定の被写体画像の画像領域Cとして特定する(ステップS10)。その後、識別情報設定部6は、特定された特定の被写体画像の画像領域Cの縁部に重畳表示される検出枠Wを設定して、当該検出枠Wの表示制御に係る指示信号を表示制御部8に出力する(図3(c)参照)。
一方、ステップS9にて、対応領域Bの類似度が第2の閾値以上でないと判定されると(ステップS9;NO)、中央制御部11は、処理をステップS6に移行して、メモリ4の検出結果格納部4aに一時的に格納されている当該対応領域B(例えば、対応領域B3等)に対応する検出候補領域A(例えば、検出候補領域A3等)の類似度、即ち、類似度が第2の閾値以上でないと判定された対応領域Bに対応する検出候補領域Aの類似度のデータ履歴を消去する(ステップS6)。
Then, the second determination unit 5d uses the corresponding regions B1 to A3 corresponding to the detection candidate regions A1 to A3 in the image data for live view display of the other frame images Fm, that is, the similarity related to the corresponding regions B1 to B3. It is determined whether or not the similarity between each image data of B3 and the image data of the predetermined reference image is equal to or greater than the second threshold (step S9).
Here, when it is determined that the similarity of the corresponding region B is equal to or greater than the second threshold (step S9; YES), the image region specifying unit 5f performs the second determination that the similarity is equal to or greater than the second threshold. For the corresponding area B (for example, corresponding areas B1, B2, etc.) determined by the unit 5d, a detection candidate area A (for example, detection candidate areas A1, A2, etc.) corresponding to the corresponding area B in one frame image Fn is selected. Then, it is specified as an image area C of a specific subject image (step S10). Thereafter, the identification information setting unit 6 sets a detection frame W to be displayed superimposed on the edge of the image region C of the specified specific subject image, and performs display control of an instruction signal related to display control of the detection frame W. It outputs to the part 8 (refer FIG.3 (c)).
On the other hand, if it is determined in step S9 that the similarity of the corresponding region B is not equal to or greater than the second threshold (step S9; NO), the central control unit 11 moves the process to step S6, The similarity of the detection candidate area A (for example, the detection candidate area A3) corresponding to the corresponding area B (for example, the corresponding area B3) temporarily stored in the detection result storage unit 4a, that is, the similarity is The data history of the similarity of the detection candidate area A corresponding to the corresponding area B determined not to be greater than or equal to the second threshold is deleted (step S6).

その後、中央制御部11は、被写体検出処理の終了指示が入力されたか否かを判定する(ステップS11)。具体的には、中央制御部11は、例えば、ユーザによる操作入力部10のシャッタボタン10aの所定操作(例えば、全押し操作等)に基づいて被写体の撮像指示が入力されたか否かや、選択決定ボタン10bの所定操作に基づいて被写体検出モードとは異なるモードが設定されたか否か等に応じて、被写体検出処理の終了指示が入力されたか否かを判定する。
ここで、被写体検出処理の終了指示が入力されていないと判定されると(ステップS11;NO)、中央制御部11は、処理をステップS2に移行して、画像取得部5aは、処理対象となる新たな一のフレーム画像Fのライブビュー表示用の画像データをメモリ4から取得する(ステップS2)。その後、中央制御部11は、ステップS3以降の各処理を上記と同様にして実行する。
一方、ステップS11にて、被写体検出処理の終了指示が入力されたと判定されると(ステップS11;YES)、中央制御部11は、被写体検出処理を終了する。
Thereafter, the central control unit 11 determines whether or not an instruction to end the subject detection process has been input (step S11). Specifically, the central control unit 11 selects whether or not a subject imaging instruction has been input based on, for example, a predetermined operation (for example, full pressing operation) of the shutter button 10a of the operation input unit 10 by the user. Based on a predetermined operation of the determination button 10b, it is determined whether or not an instruction to end the subject detection process has been input depending on whether or not a mode different from the subject detection mode has been set.
Here, if it is determined that an instruction to end the subject detection process has not been input (step S11; NO), the central control unit 11 moves the process to step S2, and the image acquisition unit 5a determines that the process target is to be processed. The image data for live view display of the new one frame image F is acquired from the memory 4 (step S2). Thereafter, the central control unit 11 executes each processing after step S3 in the same manner as described above.
On the other hand, when it is determined in step S11 that an instruction to end the subject detection process has been input (step S11; YES), the central control unit 11 ends the subject detection process.

以上のように、本実施形態の撮像装置100によれば、撮像された画像から生成された一のフレーム画像Fnにおける特定の被写体画像(例えば、顔画像)の検出候補領域Aの画像と所定の基準画像との類似度が第1の閾値以上であると判定されると、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにおける当該検出候補領域Aに対応する対応領域Bの類似度が第1の閾値よりも大きい第2の閾値以上であるか否かを判定するので、特定の被写体画像である可能性のある検出候補領域Aについて、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにて、より厳しい判定値を用いて特定の被写体画像であるか否かを判定することができる。
そして、類似度が第2の閾値以上であると判定された一のフレーム画像Fnにおける対応領域Bに対応する検出候補領域Aを、特定の被写体画像の画像領域Cとして特定するので、特定の被写体の誤検出を低減することができ、当該特定の被写体の検出精度の向上を図ることができる。
As described above, according to the imaging apparatus 100 of the present embodiment, the image of the detection candidate region A of the specific subject image (for example, a face image) in the one frame image Fn generated from the captured image and the predetermined image When it is determined that the similarity with the reference image is equal to or higher than the first threshold, the similarity of the corresponding region B corresponding to the detection candidate region A in another frame image Fm before the predetermined frame from the one frame image Fn. Since it is determined whether or not the degree is equal to or greater than a second threshold value that is greater than the first threshold value, a predetermined frame before the one frame image Fn is detected for the detection candidate region A that may be a specific subject image. In other frame images Fm, it is possible to determine whether or not the image is a specific subject image using a stricter determination value.
And since the detection candidate area | region A corresponding to the corresponding | compatible area | region B in the one frame image Fn determined with the similarity being more than a 2nd threshold value is specified as the image area C of a specific subject image, a specific subject Detection errors can be reduced, and the detection accuracy of the specific subject can be improved.

また、第2判定部5dは、予め算出されてメモリ4に記憶された他のフレーム画像Fmにおける対応領域Bの画像と所定の基準画像との類似度を取得して、当該類似度が第2の閾値以上であるか否かを判定するので、類似度が第1の閾値以上であると判定された検出候補領域Aに対応する対応領域Bについて所定の基準画像との類似度を改めて算出する必要がなくなって当該被写体検出処理の高速化を図ることができる。   In addition, the second determination unit 5d acquires the similarity between the image of the corresponding region B in the other frame image Fm calculated in advance and stored in the memory 4, and the predetermined reference image, and the similarity is the second Since it is determined whether or not the threshold value is equal to or greater than the threshold value, the similarity level of the corresponding region B corresponding to the detection candidate region A determined to be equal to or greater than the first threshold value is calculated again. This eliminates the need for speeding up the subject detection process.

さらに、特定の被写体画像の画像領域Cを識別表示するための識別情報(例えば、検出枠W等)を設定するので、検出された特定の被写体を識別情報によってユーザに容易に認識させることができる。   Furthermore, since identification information (for example, the detection frame W) for identifying and displaying the image area C of the specific subject image is set, the detected specific subject can be easily recognized by the user based on the identification information. .

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、被写体検出処理(図2参照)にて、フレーム画像F内の特定の被写体画像として人の顔画像を検出するようにしたが、一例であってこれに限られるものではなく、特定の被写体画像は適宜任意に変更可能である。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, in the subject detection process (see FIG. 2), a human face image is detected as a specific subject image in the frame image F. However, the human face image is not limited to this example. The image can be arbitrarily changed as appropriate.

また、上記実施形態にあっては、識別情報設定部6を備え、特定された特定の被写体画像の画像領域Cを識別表示するための識別情報(例えば、検出枠W等)を設定するようにしたが、識別情報設定部6を備えるか否か、即ち、画像領域特定部5fにより特定された特定の被写体画像を識別表示するための識別情報を設定するか否かは適宜任意に変更可能である。   In the above embodiment, the identification information setting unit 6 is provided to set identification information (for example, a detection frame W) for identifying and displaying the image area C of the specified specific subject image. However, whether the identification information setting unit 6 is provided, that is, whether the identification information for identifying and displaying the specific subject image specified by the image region specifying unit 5f can be arbitrarily changed as appropriate. is there.

さらに、上記実施形態にあっては、予め算出された他のフレーム画像Fmにおける対応領域Bの画像と所定の基準画像との類似度をメモリ4に記憶しておき、第2判定部5dが、所定の判定タイミングにて、メモリ4から類似度を取得するようにしたが、類似度の判定方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、例えば、所定の判定タイミングにて、他のフレーム画像Fmにおける対応領域Bの画像と所定の基準画像との類似度を新たに算出するようにしても良い。   Furthermore, in the above embodiment, the similarity between the image of the corresponding region B and the predetermined reference image in the other frame image Fm calculated in advance is stored in the memory 4, and the second determination unit 5d Although the similarity is acquired from the memory 4 at a predetermined determination timing, the similarity determination method is an example and is not limited to this, and can be arbitrarily changed as appropriate. That is, for example, the degree of similarity between the image of the corresponding region B in the other frame image Fm and the predetermined reference image may be newly calculated at a predetermined determination timing.

また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体検出装置として、撮像装置100を例示したが、これに限られるものではない。即ち、処理対象となるフレーム画像Fとして、撮像画像から生成された画像を例示したが、撮像装置100とは異なる装置から被写体検出装置を構成する場合、所定の取得手段により逐次取得されるフレーム画像であれば良い。   In addition, the configuration of the imaging apparatus 100 is merely an example illustrated in the above embodiment, and is not limited thereto. For example, the imaging device 100 is illustrated as the subject detection device, but the subject detection device is not limited thereto. That is, the image generated from the captured image is exemplified as the frame image F to be processed. However, when the subject detection device is configured from a device different from the imaging device 100, the frame image sequentially acquired by a predetermined acquisition unit. If it is good.

加えて、上記実施形態にあっては、取得手段、第1の判定手段、第2の判定手段、特定手段としての機能を、中央制御部11の制御下にて、画像処理部5の画像取得部5a、第1判定部5c、第2判定部5d、画像領域特定部5fが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、第1の判定処理ルーチン、第2の判定処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部11のCPUを、フレーム画像Fを逐次取得する取得手段として機能させるようにしても良い。また、第1の判定処理ルーチンにより中央制御部11のCPUを、取得手段により取得された一のフレーム画像Fnにおける特定の被写体画像の候補領域の画像と当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段として機能させるようにしても良い。また、第2の判定処理ルーチンにより中央制御部11のCPUを、第1の判定手段により特定の被写体画像の候補領域の画像の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにおける当該特定の被写体画像の候補領域に対応する対応領域Bの画像と所定の基準画像との類似度が、第1の閾値よりも大きい第2の閾値以上であるか否かを判定する第2の判定手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部11のCPUを、第2の判定手段により類似度が第2の閾値以上であると判定された一のフレーム画像Fnにおける対応領域Bに対応する特定の被写体画像の候補領域を、特定の被写体画像の画像領域Cとして特定する特定手段として機能させるようにしても良い。
In addition, in the above embodiment, the functions of the acquisition unit, the first determination unit, the second determination unit, and the identification unit are acquired by the image processing unit 5 under the control of the central control unit 11. The configuration is realized by driving the unit 5a, the first determination unit 5c, the second determination unit 5d, and the image area specifying unit 5f. However, the configuration is not limited to this, and the CPU of the central control unit 11 performs predetermined processing. A configuration realized by executing a program or the like may be employed.
That is, a program memory (not shown) that stores a program stores a program including an acquisition processing routine, a first determination processing routine, a second determination processing routine, and a specific processing routine. Then, the CPU of the central control unit 11 may function as an acquisition unit that sequentially acquires the frame images F by an acquisition process routine. Further, the CPU of the central control unit 11 in the first determination processing routine causes the image of the candidate area of the specific subject image in the one frame image Fn acquired by the acquisition unit and the predetermined reference serving as the determination reference for the specific subject image. You may make it function as a 1st determination means which determines whether the similarity with reference image of this is more than a 1st threshold value. Further, when the CPU of the central control unit 11 is determined by the second determination processing routine and the similarity of the image of the candidate area of the specific subject image is determined by the first determination unit to be equal to or higher than the first threshold, The similarity between the image of the corresponding region B corresponding to the candidate region of the specific subject image in the other frame image Fm before the predetermined frame from the one frame image Fn and the predetermined reference image is higher than the first threshold value. You may make it function as a 2nd determination means to determine whether it is more than a big 2nd threshold value. Further, the CPU of the central control unit 11 by the specific processing routine, the specific subject image corresponding to the corresponding region B in the one frame image Fn determined by the second determination means that the similarity is equal to or higher than the second threshold value. These candidate areas may be made to function as specifying means for specifying as an image area C of a specific subject image.

同様に、設定手段についても、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。   Similarly, the setting means may be realized by executing a predetermined program or the like by the CPU of the central control unit 11.

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。   Furthermore, as a computer-readable medium storing a program for executing each of the above processes, a non-volatile memory such as a flash memory or a portable recording medium such as a CD-ROM is applied in addition to a ROM or a hard disk. Is also possible. A carrier wave is also used as a medium for providing program data via a predetermined communication line.

100 撮像装置
4 メモリ
4a 検出結果格納部
5 画像処理部
5a 画像取得部
5b 類似度算出部
5c 第1判定部
5d 第2判定部
5e 閾値設定部
5f 画像領域特定部
6 識別情報設定部
11 中央制御部
DESCRIPTION OF SYMBOLS 100 Imaging device 4 Memory 4a Detection result storage part 5 Image processing part 5a Image acquisition part 5b Similarity calculation part 5c 1st determination part 5d 2nd determination part 5e Threshold setting part 5f Image area specific | specification part 6 Identification information setting part 11 Central control Part

Claims (10)

フレーム画像を逐次取得する取得手段と、
この取得手段により取得された一のフレーム画像における第1の画像領域の画像特定の被写体との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段と、
前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定する第2の判定手段と、
この第2の判定手段により類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記第1の画像領域の画像を、被写体画像として検出する検出手段と、
を備え、
前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域の画像と前記特定の被写体との類似度が、第1の閾値以上であるか否かを判定し、
前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第2の閾値以上であるか否かを判定し、
前記検出手段は、更に、前記第2の判定手段により類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域の画像を被写体画像として検出する
ことを特徴とする被写体検出装置。
Acquisition means for sequentially acquiring frame images;
Similarity between the image of the first image area in one frame image acquired with a particular subject by the acquisition means includes first determining means for determining a whether a first threshold value or more,
A second degree of similarity between the image of the second image region corresponding to the first image region in the frame image acquired before the one frame image and the specific subject is different from the first threshold value. Second determination means for determining whether or not the threshold is equal to or greater than
The second similarity by determining means is determined to be equal to or greater than the second threshold value, and, when the degree of similarity by the first judging means Ru is determined to be equal to or greater than the first threshold value, the second an image of the first image region, and detecting means for detecting a subject image,
With
It said first judging means further after the detection of the object image, the similarity between the newly acquired frame image the first image and the specific subject of the image regions in by the acquisition means, first Determine whether it is above the threshold,
The second determination means further includes a second image corresponding to the first image area in the frame image acquired before the newly acquired frame image and acquired after the previous frame image to be determined. Determining whether the similarity between the image in the image region and the specific subject is equal to or greater than the second threshold;
The detection means further determines that the similarity is greater than or equal to the second threshold by the second determination means , and the similarity is greater than or equal to the first threshold by the first determination means. If the decision is Ru, subject detection unit and detecting an image of said first image region in said newly acquired frame image as the subject image.
前記第2の画像領域の画像と前記特定の被写体との類似度を記憶する記憶手段と、
前記記憶手段に記憶された前記類似度を消去する消去手段と、
を更に備え、
前記第2の判定手段は、更に、
前記記憶手段に記憶された前記類似度が第2の閾値以上であるか否かを判定し、
前記消去手段は、前記類似度が前記第2の閾値未満であると判定されると、前記記憶手段に記憶された前記類似度を消去することを特徴とする請求項1に記載の被写体検出装置。
Storage means for storing the degree of similarity between the image and the specific object of the second image region,
Erasing means for erasing the similarity stored in the storage means;
Further comprising
The second determination means further includes:
Determining whether the similarity stored in the storage means is greater than or equal to a second threshold;
The subject detection apparatus according to claim 1, wherein when the similarity is determined to be less than the second threshold, the erasure unit erases the similarity stored in the storage unit. .
前記第2の判定手段は、前記第1の判定手段により前記第1の画像領域の画像と前記特定の被写体との類似度が第1の閾値以上であると判定された場合に、前記第2の画像領域の画像と前記特定の被写体との類似度が前記第2の閾値以上であるか否かを判定することを特徴とする請求項1又は2に記載の被写体検出装置。 It said second determination unit, when the image similarity between the specific subject of the first image area by the first determination means is determined to be equal to or greater than the first threshold value, the second 3. The subject detection apparatus according to claim 1, wherein a similarity between the image in the image area and the specific subject is determined to be greater than or equal to the second threshold value. 4. 前記第1の画像領域の画像は、顔が含まれる画像であることを特徴とする請求項1から3の何れか一項に記載の被写体検出装置。 The subject detection apparatus according to claim 1, wherein the image in the first image region is an image including a face. 前記検出手段により検出された被写体画像を識別表示するための指標を設定する設定手段を更に備えることを特徴とする請求項1から4の何れか一項に記載の被写体検出装置。   5. The subject detection apparatus according to claim 1, further comprising a setting unit that sets an index for identifying and displaying the subject image detected by the detection unit. 前記フレーム画像は、撮像画像から生成された画像であることを特徴とする請求項1から5の何れか一項に記載の被写体検出装置。   The subject detection apparatus according to claim 1, wherein the frame image is an image generated from a captured image. 前記第1の判定手段は、前記第1の画像領域の画像の情報と前記特定の被写体を識別するための識別用情報との類似度が、前記第1の閾値以上であるか否かを判定し、The first determination unit determines whether the similarity between the image information of the first image region and the identification information for identifying the specific subject is equal to or greater than the first threshold. And
前記第2の判定手段は、前記第2の画像領域の画像の情報と前記識別用情報との類似度が、前記第2の閾値以上であるか否かを判定するThe second determination means determines whether or not the similarity between the image information of the second image region and the identification information is equal to or greater than the second threshold.
ことを特徴とする請求項1から6の何れか一項に記載の被写体検出装置。The subject detection apparatus according to any one of claims 1 to 6, wherein
前記第2の閾値は、前記第1の閾値よりも大きいことを特徴とする請求項1から7の何れか一項に記載の被写体検出装置。The subject detection apparatus according to claim 1, wherein the second threshold is larger than the first threshold. 被写体検出装置を用いた被写体検出方法であって、
フレーム画像を逐次取得するステップと、
取得された一のフレーム画像における第1の画像領域の画像特定の被写体との類似度が、第1の閾値以上であるか否かを判定するステップと、
前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定するステップと、
前記第2の画像領域の画像と前記特定の被写体との類似度が前記第2の閾値以上であると判定され、且つ、前記第1の画像領域の画像と前記特定の被写体との類似度が前記第1の閾値以上であると判定されると、前記第1の画像領域の画像を、被写体画像として検出するステップと、
を含み、
前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第1の画像領域の画像と前記特定の被写体との類似度が、第1の閾値以上であるか否かを判定し、
更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第2の閾値以上であるか否かを判定し、
更に、前記第2の画像領域の画像と前記特定の被写体との類似度が前記第2の閾値以上であると判定され、且つ、前記第1の画像領域の画像と前記特定の被写体との類似度が前記第1の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域の画像を被写体画像として検出する
ことを特徴とする被写体検出方法。
A subject detection method using a subject detection device,
Sequentially acquiring frame images;
A first image region image in the obtained one frame image similarity between a particular subject and determining whether a first threshold value or more,
A second degree of similarity between the image of the second image region corresponding to the first image region in the frame image acquired before the one frame image and the specific subject is different from the first threshold value. Determining whether it is greater than or equal to a threshold value;
It is determined that the similarity between the image in the second image region and the specific subject is equal to or greater than the second threshold , and the similarity between the image in the first image region and the specific subject is If it is determined that the at first threshold value or more, the image of the first image region, a step of detecting a subject image,
Including
After the detection of the subject image, it is further determined whether the similarity between the image of the first image region in the newly acquired frame image and the specific subject is equal to or greater than a first threshold value,
Furthermore, the image of the second image area corresponding to the first image area in the frame image acquired before the newly acquired frame image and acquired after the previous frame image to be determined and the identification Determining whether the similarity with the subject is equal to or greater than the second threshold,
Furthermore, it is determined that the similarity between the image in the second image area and the specific subject is equal to or greater than the second threshold , and the similarity between the image in the first image area and the specific subject is determined. When degree is Ru is determined to be equal to or greater than the first threshold value, the object detecting method and detecting an image of said first image region in said newly acquired frame image as an object to be Utsushitai image .
コンピュータを、
フレーム画像を逐次取得する取得手段、
この取得手段により取得された一のフレーム画像における第1の画像領域の画像特定の被写体との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段、
前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定する第2の判定手段、
この第2の判定手段により類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記第1の画像領域の画像を、被写体画像として検出する検出手段、
として機能させ、
前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域の画像と前記特定の被写体との類似度が、第1の閾値以上であるか否かを判定し、
前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記特定の被写体との類似度が、前記第2の閾値以上であるか否かを判定し、
前記検出手段は、更に、前記第2の判定手段により前記類似度が前記第2の閾値以上であると判定され、且つ、前記第1の判定手段により類似度が前記第1の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域の画像を被写体画像として検出する
ことを特徴とするプログラム。
Computer
Acquisition means for sequentially acquiring frame images;
Similarity between the image of the first image area in one frame image acquired with a particular subject by the acquisition means, first determining means for determining a whether a first threshold value or more,
A second degree of similarity between the image of the second image region corresponding to the first image region in the frame image acquired before the one frame image and the specific subject is different from the first threshold value. Second determination means for determining whether or not the threshold value is greater than or equal to
The second similarity by determining means is determined to be equal to or greater than the second threshold value, and, when the degree of similarity by the first judging means Ru is determined to be equal to or greater than the first threshold value, the second an image of the first image area, detecting means for detecting a subject image,
Function as
It said first judging means further after the detection of the object image, the similarity between the newly acquired frame image the first image and the specific subject of the image regions in by the acquisition means, first Determine whether it is above the threshold,
The second determination means further includes a second image corresponding to the first image area in the frame image acquired before the newly acquired frame image and acquired after the previous frame image to be determined. Determining whether the similarity between the image in the image region and the specific subject is equal to or greater than the second threshold;
The detecting means further determines that the similarity is equal to or higher than the second threshold by the second determining means , and the similarity is equal to or higher than the first threshold by the first determining means. When Ru is determined that a program and detects an image of the first image region in said newly acquired frame image as an object to be Utsushitai image.
JP2014057828A 2014-03-20 2014-03-20 Subject detection apparatus, subject detection method, and program Active JP5807695B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014057828A JP5807695B2 (en) 2014-03-20 2014-03-20 Subject detection apparatus, subject detection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014057828A JP5807695B2 (en) 2014-03-20 2014-03-20 Subject detection apparatus, subject detection method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010260028A Division JP5510287B2 (en) 2010-11-22 2010-11-22 Subject detection apparatus, subject detection method, and program

Publications (2)

Publication Number Publication Date
JP2014123991A JP2014123991A (en) 2014-07-03
JP5807695B2 true JP5807695B2 (en) 2015-11-10

Family

ID=51404093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014057828A Active JP5807695B2 (en) 2014-03-20 2014-03-20 Subject detection apparatus, subject detection method, and program

Country Status (1)

Country Link
JP (1) JP5807695B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6425995B2 (en) * 2014-12-24 2018-11-21 富士フイルム株式会社 Endoscope system and method of operating the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4831623B2 (en) * 2007-03-29 2011-12-07 Kddi株式会社 Moving image face index creation apparatus and face image tracking method thereof
WO2010032298A1 (en) * 2008-09-17 2010-03-25 富士通株式会社 Image processing device, image processing method, and image processing program
JP5441151B2 (en) * 2008-12-22 2014-03-12 九州日本電気ソフトウェア株式会社 Facial image tracking device, facial image tracking method, and program

Also Published As

Publication number Publication date
JP2014123991A (en) 2014-07-03

Similar Documents

Publication Publication Date Title
JP5939705B2 (en) Subject determination device, subject determination method, and program
JP4862930B2 (en) Image processing apparatus, image processing method, and program
JP5510287B2 (en) Subject detection apparatus, subject detection method, and program
US20130033618A1 (en) Image processing apparatus detecting quadrilateral region from picked-up image
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
JP5625995B2 (en) Subject tracking device, subject tracking method and program
JP4947136B2 (en) Image processing apparatus, image processing method, and program
JP4868046B2 (en) Image processing apparatus, image processing method, and program
JP4894708B2 (en) Imaging device
JP5807695B2 (en) Subject detection apparatus, subject detection method, and program
JP5740934B2 (en) Subject detection apparatus, subject detection method, and program
JP5131399B2 (en) Image processing apparatus, image processing method, and program
JP2017092544A (en) Output control device, output control method and program
JP6003974B2 (en) Image processing apparatus, image processing method, and program
JP5287965B2 (en) Image processing apparatus, image processing method, and program
JP2012060292A (en) Image processor, image selection method, and program
JP6601062B2 (en) Imaging control apparatus, imaging control method, and program
JP6668646B2 (en) Image processing apparatus, image processing method, and program
JP2016039513A (en) Image generation apparatus, image generation method, and program
JP5732773B2 (en) Image identification device, image identification method, and program
JP5565227B2 (en) Image processing apparatus, image processing method, and program
JP2017130134A (en) Image processing apparatus, image processing method, and program
JP2012009980A (en) Image processing apparatus, image processing method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150824

R150 Certificate of patent or registration of utility model

Ref document number: 5807695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150