JPH10162118A - Device and method for image processing - Google Patents

Device and method for image processing

Info

Publication number
JPH10162118A
JPH10162118A JP31989196A JP31989196A JPH10162118A JP H10162118 A JPH10162118 A JP H10162118A JP 31989196 A JP31989196 A JP 31989196A JP 31989196 A JP31989196 A JP 31989196A JP H10162118 A JPH10162118 A JP H10162118A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
image data
predetermined
limiting
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP31989196A
Other languages
Japanese (ja)
Inventor
Toshiaki Kondo
俊明 近藤
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To detect a specified image from one sheet of image data speedily with a simple constitution without using any background information.
SOLUTION: Image data from an image data supply part 10 is divided by a band division part 20 into fHL including a horizontal high-frequency component and a vertical low-frequency component, fLH including a vertical high-frequency component and a horizontal low-frequency component, and fLL consisting of a low-frequency component. An edge detection part 30 detects a part, where an edge is present in a T shape by using fLH and fHL. Further, a symmetry axis detection part 40 calculates the degree of symmetry as to the part detected by the edge detection part 30 and a matching part 50 matches the part which is thus limited against a face standard pattern to detect the position of the face.
COPYRIGHT: (C)1998,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は画像データから人の顔等の所定像の位置を自動的に検出する画像処理装置及び方法に関するものである。 The present invention relates to relates to an image processing apparatus and method for automatically detecting a position of a predetermined image such as a human face from the image data. 更に詳しくは、本発明は、 More particularly, the present invention is,
画像データから人の顔等の所定像の位置を自動的に検出し、人の顔の追尾機能や、伝送、圧縮する画像の特定、 Detected from the image data a position of a predetermined image such as a face of a person automatically, tracking function and a human face, a transmission, a particular image to be compressed,
或いは焦点合わせや肌色調節の自動化等の機能で、監視カメラ、テレビ会議システム、ビデオフォン、ビデオカメラ、ビデオデータ編集装置等に適用可能な画像処理方法及び装置に関するものである。 Or a feature of automation such as focusing and skin color regulation, monitoring cameras, video conferencing systems, video phone, to a video camera, an image processing method and apparatus applicable to the video data editing apparatus and the like.

【0002】 [0002]

【従来の技術】従来、顔の自動検出方法及び装置では、 BACKGROUND OF THE INVENTION Conventionally, automatic detection method and apparatus of the face,
以下に示す手法が取られている。 Method shown in the following have been taken. すなわち、 既知の背景との差分を求め、この差分値の大きい位置に顔が存在するものとして顔の自動検出を行う、 テレビ映像のフレームあるいはフィールド間差を求め、差の大きい部分に顔が存在するものとして顔の自動検出を行う、 カラー映像信号から肌色の領域を探すことで顔の自動検出を行う、 パターンとして何らかの顔に関する何らかの知識(例えば、輪郭モデルや統計的特徴)に基づいて類似パターンを探索することで顔の自動検出を行う、 無地な背景を前提として、画像データの水平、垂直方向への投影値を求めて、この投影値に基づいて顔の自動検出を行う、といった手法が一般的である。 That is, obtains a difference between the known background, performs automatic face detection as being present a face position greater of the difference values, obtains a difference between frames or fields of the television image, there is a face in the large portion of the difference for automatic detection of the face as being, for automatic detection of the face by looking for the region of skin color from the color video signal, similar patterns based on some knowledge of some face (e.g., contour model and statistical characteristics) as a pattern for automatic detection of a face by searching the, subject to plain background, horizontal image data, seeking projection value in the vertical direction, for automatic detection of the face based on the projection values, techniques such as it is common.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、上記従来例の〜の手法では、次に述べるような課題がある。 [SUMMARY OF THE INVENTION However, in the method of ~ the above prior art, there are problems as described below. すなわち、の手法では、背景情報を既知としているため、応用範囲がテレビ会議や監視カメラ等、所定の場所に設置されたものに限られてしまう、の手法では、映像信号の時間差を求めるために高価な画像メモリが必要となる。 That is, in the technique, since the known background information, application range videoconferencing and surveillance camera or the like, is limited to those installed in place, the technique, in order to determine the time difference between the video signal expensive image memory is required. また、人以外の動物体や移動体が画面に含まれたり、映像入力装置(例えばカメラ)本体が動くような場合は、正しい検出が困難となる、の手法では、照明条件によって肌色も多様に変化するので、照明に厳しい条件が課せられることになる、の手法では、 You can also be included in the moving object and the moving body is screen other than human, when the video input device (e.g., a camera) as the body moves, it is difficult correctly detected, in the method, also variously skin color by lighting conditions since changes, severe conditions the illumination would be imposed, in the technique,
顔パターンと類似した領域を例えば相関演算により画像の広い範囲で探索することが必要となる。 It is necessary to search a similar area and the face pattern in a wide range of image by correlation calculation, for example. このため演算量が多く、低速であったり大規模な装置が必要となってしまう、の手法では背景が無地な場合に応用が限られてしまい、汎用性に乏しい、といった問題がある。 Therefore a large number of arithmetic operations, becomes necessary large apparatus or a low speed, the approach would be limited to be applied when the background is plain, poor versatility, there is a problem.

【0004】本発明は、上記問題に鑑みてなされたものであり、背景情報を用いずに、一枚の画像データからの特定像の検出を、簡易な構成でかつ高速に行うことを可能とする画像処理方法及び装置を提供することを目的とする。 [0004] The present invention has been made in view of the above problems, without using the background information, and allows the detection of specific image from one image data, and high-speed and simple structure and an object thereof is to provide an image processing method and apparatus for.

【0005】また、本発明の他の目的は、照明条件の変化による影響を受けにくく、安定した像検出を行える画像処理方法及び装置を提供することを目的とする。 [0005] Another object of the present invention is hardly affected by changes in lighting conditions, and an object thereof is to provide an image processing method and apparatus capable of performing stable image detection.

【0006】また、本発明の他の目的は、簡易なエッジ検出、及びエッジ処理により素早く画像情報の乏しい無地の領域、低コントラストな領域を顔探索の対象領域から除去することを可能とし、高速な顔検出を可能とする画像処理方法及び装置を提供することにある。 [0006] Another object of the present invention, a simple edge detection, and poor solid area quickly image information by an edge treatment, make it possible to remove low contrast region from the target region of the face search, fast It is to provide an image processing method and apparatus which enables a face detection.

【0007】また、本発明の他の目的は、複雑な背景から左右対称の領域を抽出することにより、後段の顔探索の負担を大幅に減ずることを可能とし、高速な顔検出を可能とする画像処理方法及び装置を提供することにある。 Another object of the present invention, by extracting a region symmetric from complex background, make it possible to reduce significantly the burden of the subsequent face search, which enables high-speed face detection It is to provide an image processing method and apparatus.

【0008】 [0008]

【課題を解決するための手段】上記目的を達成するための本発明の画像処理方法は以下の工程を備える。 Means for Solving the Problems An image processing method of the present invention for achieving the above object comprises the following steps. すなわち、画像データから自動的に所定像を検出する画像処理方法であって、前記画像データを帯域分割する分割工程と、前記分割工程によって帯域分割された画像データに基づいて、前記所定像を探索すべき領域を限定する限定工程と、前記限定工程で限定された領域において前記所定像の位置検出を行う検出工程とを備える。 That is, an image processing method for detecting automatically a predetermined image from the image data, a dividing step of band-dividing the image data, on the basis of the band-divided image data by said dividing step, searching for the predetermined image comprising a limited step of limiting should do region, and a detection step of detecting a position of the predetermined image in a region defined by the limiting step.

【0009】また、上記目的を達成する本発明の画像処理装置は、画像データから自動的に所定像を検出する画像処理装置であって、前記画像データを帯域分割する分割手段と、前記分割手段によって帯域分割された画像データに基づいて、前記所定像を探索すべき領域を限定する限定手段と、前記限定手段で限定された領域において前記所定像の位置検出を行う検出手段とを備える。 Further, the image processing apparatus of the present invention to achieve the above object, an image processing device for detecting automatically a predetermined image from the image data, dividing means for band-dividing the image data, said dividing means based on the image data is band-divided by comprises a limiting means for limiting an area to be searched for the predetermined image, and detection means for detecting the position of the predetermined image in a region defined by said limiting means.

【0010】 [0010]

【発明の実施の形態】以下に説明する実施形態によれば、帯域分割手段が処理対象の画像データを、水平・垂直方向の高周波成分、低周波成分へ分割する。 According to the embodiment of the invention] embodiments described below, the band dividing means the image data to be processed, high-frequency components in the horizontal and vertical directions is divided into low frequency components. そして、 And,
顔領域限定手段が、当該帯域分割手段によって分割された画像データを利用して、顔の存在する可能性のある領域(顔領域)を限定していく。 Face area limiting means, by using the image data divided by the band dividing means, it will limit the area that may be present in the face (face region). ここで、帯域分割手段においては、画像の解像度もしくはサンプリングプレートを落とす処理が行われる。 Here, the band dividing means, the process of dropping the resolution or sampling plate of the image is performed. そして、顔領域限定手段が当該帯域分割手段の出力信号を直接利用して顔領域を限定する。 Then, to limit the facial area by directly using the output signal of the face area restriction unit said band dividing means. このため、高速で簡便な顔の検出方法及び装置を提供できる。 Therefore, it is possible to provide a detection method and apparatus of simplified face at high speed.

【0011】また、顔領域限定手段により、エッジがT [0011] In addition, by the face area limited means, edge T
字型に分布する部分が抽出される。 Portions distributed in shape is extracted. このため、エッジ数の乏しい低コントラストな領域とT字型にエッジが分布しない無地な背景上の物体の輪郭域が顔領域から除去される。 Therefore, poor low contrast region and the T-shaped with the edge of the edge number contour region of the object on the plain background, not distribution is removed from the face area. よって、比較的平坦な背景を持った画像からの顔検出を容易に行える。 Therefore, it facilitated the face detection from an image having a relatively flat background. また、エッジ検出には、上記帯域分割手段の出力のうちの、水平方向の高周波成分及び垂直方向の高周波成分が直接利用されるので極めて高速な処理ができる。 Also, the edge detection of the output of said band division means, it is very fast processing since the high-frequency components in the horizontal direction of the high-frequency component and the vertical direction are utilized directly.

【0012】更に、顔領域限定手段によれば、左・右対称の度合の強い領域が抽出される。 Furthermore, according to the facial area limiting means, strong areas of the degree of left-right symmetry is extracted. 複雑な背景を持った画像でも、左・右対称という特異な領域を抽出することにより、顔の存在領域を効果的に限定することができる。 Be an image having complex background, by extracting a specific area of ​​the left-right symmetry, it is possible to effectively limit the existence region of the face. また、対称形探索には、上記帯域分割手段の出力を直接利用するので、極めて効率的な処理が可能である。 In addition, the symmetrical search, since the direct use of the output of said band division means, it is possible very efficient process.

【0013】以下、添付の図面を参照して本発明の好適な実施形態をより具体的に説明する。 [0013] Hereinafter will be described a preferred embodiment of the present invention with reference to the accompanying drawings in more detail.

【0014】(第1の実施形態)図1は本実施形態の画像処理装置の概略の構成を示すブロック図である。 [0014] (First Embodiment) FIG. 1 is a block diagram showing the schematic structure of an image processing apparatus of this embodiment. 同図において、101はCPUであり、ROM102等に格納された制御プログラムを実行することにより、本画像処理装置の各種処理を実現する。 In the figure, 101 is a CPU, by executing a control program stored in the ROM102 etc., to implement the various processes of the image processing apparatus. 102はROMであり、CPU101が実行する制御プログラムや各種データを格納する。 102 is a ROM, stores a control program and various data CPU101 executes. 103はRAMであり、CPU101が各種制御を実行する際の作業領域を提供する。 103 is a RAM, and provides a work area for executing a CPU101 various control. 104は外部記憶装置であり、例えばハードディスク、フロッピーディスク等で構成される。 104 denotes an external storage device, for example, a hard disk, and a floppy disk or the like. 外部記憶装置104には、 The external storage device 104,
アプリケーションプログラムや画像データ等を格納することができる。 It may store an application program and image data. 105は入力部であり、キーボードやマウス等を備える。 105 denotes an input unit, and a keyboard and a mouse. 106はディスプレイであり、CPU 106 is a display, CPU
101の制御により各種表示を行う。 It performs various displays under the control of the 101.

【0015】107はカメラインターフェースであり、 [0015] 107 is a camera interface,
カメラ108より取り込まれた映像データをディジタルデータに変換してバス109へ出力する。 It converts the image data captured by the camera 108 into digital data to output to the bus 109. 108はカメラであり、CCD等の撮像素子を備える。 108 denotes a camera, an imaging element such as a CCD. 109はバスであり、上述の各構成を接続する。 109 is a bus for connecting the above-described configuration. なお、上記説明において、CPU101はROM102に格納されたプログラムを実行するとしたが、外部記憶装置104に格納されたプログラムをRAMU103にロードして、これをCPU104によって実行するように構成してもよい。 In the above description, CPU 101 is set to execute a program stored in the ROM 102, loads the program stored in the external storage device 104 to RAMU103, which may be configured to executed by CPU 104.
また、カメラ108によって得られた画像データは外部記憶装置104或いはRAM103に格納される。 The image data obtained by the camera 108 is stored in the external storage device 104 or RAM 103. また、画像を入力するための装置としては、上述のカメラ108に限らず、例えばスキャナ等であってもよい。 Further, as a device for inputting an image is not limited to a camera 108 described above, may be, for example, a scanner or the like. 1
10は画像データから顔の位置を検出する顔位置検出部である。 10 is a face position detecting unit for detecting a position of a face from the image data.

【0016】図2は第1の実施形態の画像処理装置における顔位置検出部に関る機能構成を示すブロック図である。 [0016] FIG. 2 is a block diagram showing a Sekiru functional configuration in the face position detection unit in the image processing apparatus of the first embodiment. 同図において、10は画像データ供給部であり、当該システムへ画像データを供給する。 In the figure, 10 is an image data supply unit supplies the image data to the system. なお、画像データ供給部10は、カメラ108(或いはスキャナ等)によって構成される画像データ入力部であってもよいし、画像データを格納する外部記憶装置104、RAM103 Incidentally, the image data supply unit 10 may be an image data input unit constituted by the camera 108 (or a scanner), an external storage device for storing image data 104, RAM 103
によって構成される画像データ格納部であってもよい。 Or it may be composed of the image data storage unit by.
20は帯域分割部、30はエッジ検出部、40は対称軸検出部、50は顔の位置を決定するマッチング部である。 20 band dividing unit, 30 edge detection unit, 40 is symmetrical axis detection unit, 50 is a matching portion that determines the position of the face. 各部の機能の詳細は後述する。 For more information on the function of each section will be described later. マッチング部50の出力は、顔の位置を示すデータとして出力される。 The output of the matching unit 50 is output as data indicating the position of the face.

【0017】次に、図3を参照し、図2の機能構成の動作を信号の流れに沿って詳しく説明する。 Next, with reference to FIG. 3, described in detail along with the operation of the signal flow of the functional configuration of FIG. 図3は第1の実施形態による顔位置検出の手順を示すフローチャートである。 Figure 3 is a flow chart showing the procedure of a face position detection according to the first embodiment. 画像入力部あるいは画像データ格納部等の画像データ供給部10から画像データが入力される(ステップS10)。 Image data is inputted from the image data supply unit 10 such as the image input unit or the image data storage unit (step S10). なお、帯域分割部20は、画像を各空間周波数帯に分割し、更にダウンサンプリング(間引き)により、画像サイズを縮小する。 Incidentally, the band division section 20 divides the image into the spatial frequency band, the further down-sampling (decimation), reducing the image size. これは、ダウンサンプリングにより処理すべき画像データの量を減少させ、以後の処理をより高速にするためである。 This reduces the amount of image data to be processed by the down-sampling is to the subsequent processing at a higher speed.

【0018】以後、簡単のため、入力画像をf(x,y)、 [0018] Thereafter, for the sake of simplicity, the input image f (x, y),
ダウンサンプリングされたサブ画像をfLL,fLH,fH Downsampled sub image fLL, fLH, fH
L,fHHと表記する。 L, referred to as fHH. ここで、fLLはf(x,y)の水平垂直方向の低周波成分から成るサブ画像、fLHはf(x,y)の水平方向の低周波成分と垂直方向の高周波成分から成るサブ画像、fHLはf(x,y)の水平方向の高周波成分と垂直方向の低周波成分から成るサブ画像、fHHはf(x,y) Here, fLL the f (x, y) the horizontal and vertical directions of the sub-images of low frequency components of, FLH is f (x, y) of the horizontal low-frequency component and a vertical sub-image consisting of the high-frequency component, fHL is f (x, y) of the horizontal high-frequency component and a vertical sub-images consisting of the low-frequency component, fHH is f (x, y)
の水平垂直方向の高周波成分から成るサブ画像である。 A sub-image consisting of horizontal and vertical directions of the high-frequency component.
図4はサブ画像の1例を示す図である。 Figure 4 is a view showing an example of a sub-image. 図4で左上がf Figure 4 in the upper left is f
LL、右上がfLH、左下がfHL、右下がfHHにそれぞれ対応する。 LL, upper right fLH, lower left is fHL, bottom right correspond to fHH. fLH,fHLは共に、エッジ検出部30と対称軸検出40へと入力される。 FLH, fHL are both input to the edge detector 30 and the symmetry axis detection 40. また、fLLは顔の位置を決定するマッチング部50へと入力される。 Further, fLL is inputted to the matching section 50 for determining the position of the face. なお、fHHは画像情報が乏しいので本実施形態では使用しない。 Incidentally, fHH is not used in the present embodiment since the image information is poor.

【0019】さて、以上のようにして得られたfHL及びfLHはエッジ検出部30に供給されて、エッジ検出が行われ、処理を行うべき領域として有効ブロックが抽出される(ステップS11)。 [0019] Now, the fHL and fLH obtained as described above is supplied to the edge detection unit 30, the edge detection is performed, the effective blocks are extracted as a region to be processed (step S11). 図5はエッジ検出部30内での処理の概要を示すフローチャートである。 Figure 5 is a flow chart showing an outline of processing in the edge detector 30. また、図6 In addition, FIG. 6
はエッジ検出部30による処理のより詳細な手順を示すフローチャートである。 Is a flowchart showing a detailed procedure of the processing by the edge detection section 30. 70はエッジ検出処理であり、 70 is an edge detection process,
入力されたサブ画像fHL,fLHよりエッジ画像を獲得する。 Input sub-images fHL, to acquire an edge image from FLH. 図5のフローチャートに従って説明すると、まず、 When described with reference to the flowchart of FIG. 5, first,
サブ画像fHL,fLHを入力し(ステップS701)、これらサブ画像に対して閾値処理を施して2値化を行い、 Sub image fHL, enter the FLH (step S701), binarized by performing threshold processing on these sub-images,
f'HL及びf'LHを得る(ステップS702)。 Obtaining f'HL and F'LH (step S702). 続いて、ステップS703において、以上のようにして2値化されたf'HL,f'LHの論理和(OR)を演算する。 Subsequently, in step S703, 2 digitized f'HL as described above, it calculates the logical sum of f'LH (OR).
こうして得られた画像がエッジ画像である。 Thus obtained image is an edge image.

【0020】図7はエッジ検出処理70の処理例を具体的に示す図である。 [0020] FIG. 7 is a diagram illustrating an example of processing of the edge detection process 70 in detail. 左上のサブ画像はfLL、右上のサブ画像はfLHを所定の閾値で2値化して得られたサブ画像f'LHである。 Upper left subimage fLL, top right sub-image is a sub image f'LH obtained by binarizing the fLH a predetermined threshold. また、右下のサブ画像はfLHを所定の閾値で2値化して得られたサブ画像f'HL、そして右下がこれら2つのサブ画像(f'LH及びf'HL)の論理和、 The logical sum of the sub-image of the lower right sub-image F'HL obtained by binarizing the fLH a predetermined threshold and the lower right of these two sub-images, (F'LH and F'HL),
即ち、エッジ画像を表している。 That represents an edge image.

【0021】続いて、エッジ検出処理70によって得られたエッジ画像は、エッジブロック抽出処理80に供給される。 [0021] Then, the edge image obtained by edge detection processing 70 is supplied to the edge block extraction processing 80. エッジブロック抽出処理80では、前記エッジ画像を小さいブロック(例えば、1ブロック当たり8× At the edge block extraction processing 80, a small block (for example, the edge image, 8 × per block
8画素)に細かく分割し(ステップS801)、各ブロックに含まれるエッジ数をカウントする(ステップS8 Finely divided into 8 pixels) (step S801), counts the number of edges in each block (step S8
02)。 02). そして、カウントされたエッジ数に対して閾値処理を施すことにより、一定数以上のエッジを含むブロックを抽出する(ステップS803)。 Then, by performing threshold processing on the counted number of edges, and extracts a block including a predetermined number or more edge (step S803). こうして抽出されたブロックをエッジブロックと呼ぶ。 The thus extracted block is referred to as an edge block.

【0022】図8はエッジ画像とエッジブロックの対応を説明する図である。 [0022] FIG. 8 is a view for explaining the correspondence of the edge image and the edge blocks. 図8の(a)は図7で示したエッジ画像であり、図8の(b)は図8の(a)のエッジ画像からエッジ部の画素を所定個数以上含むブロックを抽出した結果である。 (A) in FIG. 8 is an edge image shown in FIG. 7, (b) in FIG. 8 is a result of extracting the block including the pixel of the edge portion a predetermined number or more from the edge image of FIG. 8 (a) . なお、本例では、ブロックサイズは8×8画素で、1ブロックの総計64画素中8画素以上がエッジである場合に、当該ブロックをエッジブロックとして黒く表示させている。 In this example, the block size is 8 × 8 pixels, if 8 pixels or more in total 64 pixels in one block is an edge, and black is displayed the block as the edge block. 図8より明らかなように、 As it is apparent from FIG. 8,
この時点で既に無地の背景は除外されることになる。 Already solid background at this point will be excluded.

【0023】次に、顔エッジ抽出処理90では、前記処理80で抽出されたエッジブロックからT字型に分布したエッジブロックを抽出する(ステップS901)。 Next, the face in the edge extraction processing 90 extracts the edge blocks distributed in a T-shape from the extracted edge block in the processing 80 (step S901). 顔エッジ抽出処理90内の処理を図9、図10を用いて更に詳しく説明する。 The process of the face edge extraction processing 90 9 will be described in more detail with reference to FIG. 10.

【0024】図9はT字型に分布したエッジブロックを表わす図である。 FIG. 9 is a diagram illustrating an edge block distributed in a T-shape. 顔から検出されるエッジはT字型に分布するので、このようなT字型に分布しているエッジブロックのみを選択的に抽出し、顔の検出対象領域を制限する。 Since the edge to be detected from the face are distributed in a T-shape, the only such edge blocks are distributed in a T-shape and the selectively extracted, limiting the detection target area of ​​the face. 以下、このようにして抽出されたエッジブロックを有効エッジブロックという。 Hereinafter, this manner the edge blocks extracted by that valid edge block. こうして抽出された有効エッジブロックは、対称軸検出部40へ出力される。 Thus extracted valid edge block is output to the axis of symmetry detector 40.

【0025】図10は顔エッジ抽出処理90の出力例を示す図である。 [0025] FIG. 10 is a diagram showing an example of the output of the face edge extracting process 90. T字型にエッジブロックが分布する領域のみを選択することにより、孤立したブロック、平坦な背景を持つ物体の輪郭部に位置するブロックが除去され、以後の処理(対称軸検出部40による処理、マッチング部50による処理)で、処理対象とすべき領域を大幅に制限することができる。 By T-shape edge blocks to select only a region distributed, isolated blocks, is block located removal to the contour of the object having a flat background, subsequent processing (processing by the symmetry axis detector 40, in the process) by the matching unit 50, the area to be processed can be significantly restricted.

【0026】なお、本例では注目とするブロックを中心に左・右・下方向に2個ずつのブロックから成るT字型(図9)を用いたが、当設定は予想される顔のサイズ、 [0026] Although using the T-shaped comprising a block of two by two to the left, right, down around the block of interest (Fig. 9) in this example, the size of the face those settings are expected ,
用いるブロックのサイズに応じて変更されるものである。 It is intended to be changed in accordance with the block size to be used. また、注目するT字型の近隣ブロック(本例の場合、注目ブロックと6個のブロック)全てがエッジブロックである必要はない。 Furthermore, (in this example, the subject block and six blocks) neighboring blocks T-shaped of interest need not all have the edge block. 例えば、注目ブロックと注目すべき近隣ブロックの内、一定数以上がエッジブロックであるならば有効エッジブロックであるとして、対応するエッジブロックを選択するというように、緩い基準設定をしても良い。 For example, among the neighboring blocks notable block of interest, as more than a certain number is valid edge block if an edge block, and so on to select a corresponding edge blocks may be loose standard setting. なお、これらの基準設定は、入力部10 Note that these criteria settings, input unit 10
5より行う。 5 carried out from.

【0027】更に、入力する顔のサイズが全く不明の場合に備え、例えば画面サイズから12×12画素の最少サイズまでの間で何段階かの異なるサイズで、エッジ検出処理70,エッジブロック抽出処理80,顔エッジ抽出処理90を実行することも可能である。 Furthermore, the size of the face to be entered in case of completely unknown, for example, in several stages of different size between the screen size to minimum size of 12 × 12 pixels, the edge detection process 70, the edge block extraction process 80, it is also possible to perform the face edge extraction processing 90. このように、 in this way,
複数段階のサイズで各々の処理を行い、各サイズの処理で求められる対称性の度合と相関係数σの値が高いサイズが、その時の入力画像に適切なサイズとして選択され、その後の処理に用いられる。 Performs each processing in the size of the plurality of stages, the value of the degree of symmetry required in the processing of the size correlation coefficient σ is high size is selected as the appropriate size in the input image at that time, the subsequent processing used. 以上のようなエッジ検出部30の出力は、引続く処理で対象とする領域を示すマップとして、対称軸検出部40の演算領域を制御する。 The output of the edge detection unit 30 as described above, as a map showing the area of ​​interest in the subsequent process, and controls the operation area of ​​the symmetry axis detecting unit 40.

【0028】さて、ステップS12(図3)では、以上のようにして抽出された有効ブロックの領域の各部において対称性の度合を検出する。 [0028] Now, in step S12 (FIG. 3), to detect the degree of symmetry in each part of the region of the effective blocks extracted as described above. 以下、対称軸検出部40 Hereinafter, symmetry axis detector 40
の処理を説明する。 To explain the process. 図11は対称軸検出部40の処理手順を説明するフローチャートである。 Figure 11 is a flowchart for explaining the processing procedure of the symmetry axis detecting unit 40. 対称軸検出部40 Symmetry axis detector 40
では、上記エッジ検出部30によって有効とされた領域でのみ実行される。 In is performed only in a region which is enabled by the edge detection section 30.

【0029】まず、帯域分離部20よりfHL及びfLHを入力するとともに、エッジ検出部30より有効エッジブロックを入力する(ステップS401)。 Firstly, it inputs the fHL and fLH than the band separation unit 20, and inputs the valid edge blocks from the edge detection unit 30 (step S401). そして、これらのデータに基づいて対称軸を検出する(ステップS4 Then, to detect the symmetry axis on the basis of these data (step S4
02)。 02). 対称軸の検出は画像データの勾配(グラディエント)の方向性に基づいて行われる。 Detection axis of symmetry is based on the direction of the gradient of the image data (gradient). 勾配ベクトルの方向θは次の(1)式で表わされる。 The direction θ of the gradient vector represented by the following equation (1).

【0030】 [0030]

【数1】 [Number 1]

【0031】ここで、上記(1)式の右辺の勾配は、画像の高周波成分と等価であり、以下の(2)式が成立する。 [0031] Here, the slope of the right side of the above equation (1) is equivalent to the high frequency component of the image, the following equation (2) is satisfied.

【0032】 [0032]

【数2】 [Number 2]

【0033】従って、本実施形態では、勾配ベクトルの方向θを、帯域分割部20の出力fLH,fHLを直接利用して、(1)式の替わりに、以下の(3)式を実行して求める。 [0033] Thus, in the present embodiment, the direction θ of the gradient vector, the output fLH band dividing section 20, by directly utilizing the fHL, (1) instead of expression, by executing the following equation (3) Ask.

【0034】 [0034]

【数3】 [Number 3]

【0035】上記の(3)式は、ソフトウェアで実行しても良いし、ルックアップテーブルを利用してハードウェアで実行しても良い。 [0035] of the above equation (3), may be implemented in software, may be performed in hardware by using a look-up table.

【0036】次に、ステップS403において、画像の各位置(x、y)における対称性の度合γを求める。 Next, in step S403, the position of the image (x, y) determining the degree of symmetry γ in. γ γ
(x、y)は、θ(x、y)を用いて次の(4)式のように定義される。 (X, y) is, theta (x, y) using the defined as the following equation (4).

【0037】 [0037]

【数4】 [Number 4]

【0038】ここで、(4)式は当ブロック内の左・右のθ差を演算する。 [0038] Here, (4) calculates the left and right θ differences in those blocks. なお、演算ブロック範囲は検出すべき顔のサイズとほぼ一致させる。 The calculation block ranges almost match the size of the face to be detected. 顔のサイズが未知の場合には何段階か異なるサイズのBを用いても良い。 It may be used several stages of different sizes B in the case where the size of the face is unknown. 図1 Figure 1
2は帯域分離された画像データfLL(a)と対称性の度合γ(b)との対応関係を示す図である。 2 is a diagram showing the correspondence between the band separation image data fLL (a) and the degree of symmetry gamma (b). 対称性が高い場合、(4)式の第1項、第2項は共に、項内の相殺により小さい値を取る。 If high symmetry (4) The first term of the equation, the second term together, takes a smaller value to offset the term. また、(4)式は、絶対値を更に2乗したものであるが、対称性の度合γは、単に絶対値和であってもよい。 Further, (4), which is obtained by the absolute value and further squares, the degree of symmetry gamma, may be simply an absolute value sum.

【0039】図12の(b)の暗い垂直方向のストライプが顔の対称軸を示している。 The dark vertical stripes of the (b) Figure 12 shows the symmetry axis of the face. 図12の(b)では説明のため画像全域でγを演算し表示しているが、実際には対象性の度合を求めるための演算はエッジ検出部30で有効エッジブロックが抽出された領域でのみ実行される。 While calculating the γ in the entire image area for (b) in the description of FIG. 12 displayed actually in operation valid edge block by the edge detection unit 30 are extracted area for determining the degree of symmetry only it is executed. 図13は有効エッジブロックにおいて対象性の度合γを算出した状態を示す図である。 Figure 13 is a diagram showing a state of calculation of the degree of symmetry γ in the effective edge block. すなわち、図13は図10と図12の論理積に等しくなる。 That is, FIG. 13 is equal to the logical product of FIGS. 10 and 12.

【0040】さて、以上のようにして対象性の度合γを算出すると、ステップS404(図10)に進み、算出されたγが所定の閾値以上の値を有する部分を抽出する。 [0040] Now, when calculating the degree of symmetry gamma as described above, the process proceeds to step S404 (FIG. 10), gamma is calculated to extract a portion having a value equal to or greater than a predetermined threshold value. 図13はγに閾値処理を施し、顔である可能性の高い領域(顔候補領域)をより限定した結果を示す図である。 Figure 13 is a graph showing the results of performing threshold processing, a more limited likely region is a face (face candidate region) gamma. 図14中の黒い島の部分において、マッチング部5 In the black island portion in FIG. 14, the matching unit 5
0(図2)による最終的な処理が実行され、顔の位置が決定される(ステップS13、S14)。 0 final treatment with (FIG. 2) is executed, the position of the face is determined (step S13, S14).

【0041】マッチング部50は、エッジ検出部30、 The matching unit 50 includes an edge detecting unit 30,
対称軸検出部40による処理の結果、限定された顔候補領域内(図14)で最も顔らしい位置を決定する。 Results of processing by the symmetry axis detecting unit 40, determines the most face-like position limiting face candidate region (Figure 14). 具体的には典型的な顔をテンプレートとして保持しておき、 More specifically, it holds the typical face as a template,
当該テンプレートと最も類似した場所を探索する。 To explore the most similar location as the template.

【0042】類似度判定の基準は照明条件の変化に強い正規化相互相関係数を用いる。 The criterion of similarity determination using a strong normalized cross-correlation coefficient to changing lighting conditions. 当係数σ(x,y)は次の(5)式で定義される。 Those coefficients sigma (x, y) is defined by the following equation (5).

【0043】 [0043]

【数5】 [Number 5]

【0044】但し、f(x,y)は画像、w(x,y)はテンプレート、fバーはω(x,y)と重なっているf(x,y) [0044] However, f (x, y) is image, w (x, y) is the template, f bar is ω (x, y) and the overlapping is f (x, y)
の平均値、wバーはw(x,y)の平均値である。 Mean value of, w bar is the average of w (x, y).

【0045】図15は図14の領域の内、上記正規化相互相関係数σが0.35以上である領域を示す図である(σは(5)式により−1〜+1にスケーリングされており、1に近い程、類似)。 [0045] Figure 15 is of the region of FIG. 14, the normalized cross-correlation coefficient sigma is a diagram showing a region is 0.35 or more (sigma is scaled to -1 to +1 by (5) cage, the closer to 1, similar).

【0046】図15に示される黒い島は、上記(5)式によって処理を行った結果、顔である可能性が極めて高い領域を示している。 The black island shown in Figure 15, the (5) result of processing by the expression, potentially face indicates a very high region. そして、図16の白い四角はσが最大の場所を前記fLL上に重ねて表示させた図である。 The white square of FIG. 16 is a diagram σ has displayed superimposed maximum location on the fLL.
ベストマッチング点が顔の位置(両目の間)を正しく検出していることがわかる。 It can be seen that the best matching point is correctly detect the position of the face (between the eyes).

【0047】マッチング部50による顔の判定処理は、 The determination process of the face by the matching unit 50,
上述したコリレーション(相関演算)の他に顔パターンの多少の変形を許容する弾性マッチング、フーリエ変換法等、既存のいかなる方法であっても良く、特に上記実施形態に限定されるものではない。 Some elastic matching Deformable other face pattern of the above-mentioned correlation (correlation calculation), Fourier transform method, etc., it may be any existing method, not particularly limited to the above embodiment.

【0048】以上説明したように、上記実施形態によれば、有効エッジブロックを抽出することで対象性の検出処理の処理量を低減し、更に、対象性の度合の高い部分のみにパターンマッチングを施して顔の位置を決定することで、パターンマッチングの処理量を大幅に低減している。 [0048] As described above, according to the above embodiment, to reduce the processing amount of the target of the detection process by extracting the valid edge block, further, the pattern matching only in portions of high degree of symmetry subjected to to determine the position of the face, which greatly reduce the amount of processing of the pattern matching. このため、高速な顔位置検出が可能となる。 This enables high-speed face position detection.

【0049】更に、第1の実施形態によれば、 1. [0049] Further, according to the first embodiment, 1. 帯域分割部20(図2)の活用によりサンプリングレートを落としているので、顔探索を効率的に実行できる、 2. Since dropping the sampling rate by use of the band division portion 20 (FIG. 2), you can perform a face search efficiently, 2. 帯域分割部20の出力を、後段のエッジ検出部3 The output of the band division portion 20, the subsequent edge detection unit 3
0,対称軸検出部40(図2)で直接的に利用するので、演算が高速でハードウェア化も容易となる。 0, since directly utilized in symmetry axis detecting unit 40 (FIG. 2), it is easy hardware implementation operation at high speed. 特に無地の背景、低コントラスト領域除去に効果がある、 3. Especially plain background, is effective in low contrast regions removed, 3. 対称軸検出部40は、画像データの勾配の方向を利用しているので、照明条件の変化に影響を受けにくく、 Symmetry axis detector 40, the use of the direction of the gradient of the image data, less susceptible to changes in lighting conditions,
安定した対称軸検出ができる。 It is stable symmetry axis detection. また、左・右対称形という特異な領域を探索するので、複雑な背景であっても顔領域を大幅に限定できるという効果がある。 Moreover, since searches for a specific region of the left-right symmetry, there is an effect that the face area even complex background can be greatly limited.

【0050】また、帯域分割部20による処理を繰り返し適用することにより、一つの入力画像に対する解像度の異なる画像を生成することができる。 [0050] Further, by applying repeated treatment with band division portion 20, it is possible to generate images with different resolutions with respect to one input image. これらの解像度の異なる画像各々にエッジ検出部30及び対称軸検出部40の処理を実行し、この中から、適切な情報を選択することにより、先に述べた、複数段階のブロックサイズを用いてスケーリングの異なる画像が入力される場合に対処するのと同様の効果が得られる。 Executing the processing of edge detection section 30 and the symmetry axis detecting unit 40 to the image each these different resolutions, from this, by selecting the appropriate information, previously described, using the block size of the plurality of stages the same effect as to cope with the case where scaling different image is input is obtained.

【0051】(第2の実施形態)上記第1の実施形態では、顔領域を限定する手法として、エッジ検出部30 [0051] (Second Embodiment) In the first embodiment, as a method of limiting a face region, the edge detection unit 30
(図2)と対称軸検出部40(図2)を設けた。 Provided (FIG. 2) and the axis of symmetry detector 40 (FIG. 2). しかしながら、背景が無地であるような環境下では、エッジ検出部30単独で顔領域の限定を行うこともできる。 However, the background is in an environment such that plain, may be performed to limit the facial area by the edge detection unit 30 alone. また、逆に複雑な背景を対象とする場合には、対称軸検出部単独で顔領域の限定を行っても良い。 Further, when the target complex background Conversely, may be performed to limit the facial area symmetry axis detecting unit alone. このように、第2の実施形態によれば、取り扱う背景環境に応じて、不必要な処理を取り除くことが可能となり、より効率的で高速な顔検出が実現できる。 Thus, according to the second embodiment, in response to the background environment of handling, it is possible to eliminate unnecessary processing can be realized more efficient and fast face detection.

【0052】図17は第2の実施形態の画像処理装置における顔位置検出部に関る機能構成を示すブロック図である。 [0052] Figure 17 is a block diagram showing a Sekiru functional configuration in the face position detection unit in the image processing apparatus of the second embodiment. 同図において第1の実施形態(図2)と同様の構成には同じ参照番号を付し、ここでは説明を省略する。 The same reference numerals are used for the same configuration as the first embodiment in FIG. (FIG. 2), and a description thereof will be omitted.
第2の実施形態では、顔の位置検出に際して、モード In the second embodiment, when the position detection of the face, mode
1、2、3の3通りを設定できる。 Can be set to three different 1, 2, and 3. モード1は第1の実施形態と同様に、エッジ検出部30によって抽出された有効ブロックの領域に対して対称軸検出部40が対称性の度合γを検出し、所定値以上のγ値を有する領域についてマッチング部50がマッチング処理を実行する。 Mode 1, as in the first embodiment, the symmetry axis detecting unit 40 detects the degree of symmetry γ to a region of effective blocks extracted by the edge detection section 30 has a predetermined value or more γ value matching unit 50 performs the matching processing for the area. モード2では、エッジ検出部30によって検出された有効ブロックの領域についてマッチング部50によるマッチング処理を実行する。 In mode 2, it executes the matching processing by the matching unit 50 for the area of ​​the valid blocks detected by the edge detection section 30. また、モード3では、対称軸検出部40が入力画像の全領域にわたって対称性の度合γを算出し、マッチング部50が所定値以上のγ値を有する部分にマッチング処理を実行する。 Further, in the mode 3, calculates the degree of symmetry γ symmetry axis detector 40 over the entire region of the input image, the matching unit 50 performs the matching processing portions having a γ value of more than a predetermined value.

【0053】図17において、100は切換器であり、 [0053] In FIG. 17, 100 is a switcher,
対称軸検出部40が対称軸の検出(対称性の度合の検出)を行う領域を指定する信号を切り換える。 Symmetry axis detecting unit 40 switches the signal that specifies the area for detecting the symmetry axis (detection of symmetry degree). モード1 Mode 1
では、、エッジ検出部30よりの有効ブロックの領域について対称軸検出部40が処理を行うので、エッジ検出部30の出力を対称軸検出部40に供給するべくスイッチはa側に切り換える。 In ,, Since the region of the effective blocks from the edge detecting unit 30 symmetry axis detecting unit 40 performs the processing, the switch in order to supply the output of edge detector 30 to the symmetry axis detector 40 switches to a side. また、モード3では対称軸検出部40が全領域について対称性の度合γを算出するので、切換器100のスイッチはb側に切り換えられる。 Moreover, since the symmetry axis detecting unit 40 in the mode 3 calculates the degree of symmetry γ for the entire region, the switch of the switching unit 100 is switched to side b.

【0054】切換器110もモードに応じて切り換えが制御される。 [0054] switcher 110 also switching is controlled according to the mode. すなわち、モード2では、エッジ検出部3 That is, in mode 2, the edge detection unit 3
0によって抽出された有効ブロックの領域についてマッチング部50が処理を施すので切換器110のスイッチはc側に切り換えられる。 0 switch switcher 110 since matching unit 50 performs processing for the area of ​​the valid blocks extracted by is switched to c side. 一方、モード1、3においては、対称軸検出部40によって対称性の度合γが所定値以上となった部分を処理するので、切換器110のスイッチはd側に切り換えられる。 On the other hand, in the mode 1, 3, since the degree of symmetry by the symmetry axis detecting unit 40 gamma processes the portion becomes equal to or greater than a predetermined value, switch the switching unit 110 is switched to d side.

【0055】図18は第2の実施形態の処理の流れを説明するフローチャートである。 [0055] Figure 18 is a flow chart for explaining the flow of processing in the second embodiment. 同図において、図3と同じ処理ステップには同一のステップ番号を付してある。 In the figure, the same processing steps as in FIG. 3 are denoted by the same step numbers.
同図に示されるように、モード1が指定された場合(モードの指定は入力部105より行うものとする)は、切換器100がa側に、切換器110がd側に切り換えられる。 As shown in the figure, (the mode specification shall be made from the input unit 105) When the mode 1 is specified, switching unit 100 is in a side, switcher 110 is switched to d side. この結果、ステップS21、S22の分岐を経由して図3の手順と同様の処理が実行されることになる。 As a result, the same processing as steps in FIG. 3 by way of the branch of step S21, S22 is executed.
モード2の場合は、切換器110がc側に切り換えられるので、ステップS22よりステップS23へ処理が進み、マッチング部50がエッジ検出部30で抽出された有効ブロックの領域についてマッチング処理を実行する。 For mode 2, since the switcher 110 is switched to c side, the process to step S23 advances from step S22, the matching unit 50 performs the matching process for the region of the effective blocks extracted by the edge detection section 30. そして、ステップS14で、マッチング度のもっとも高い部分(ベストマッチング点)を顔の位置として決定する。 Then, in step S14, to determine the highest part of the matching degree (best matching point) as the position of the face. 更に、モード3が指定された場合は、切換器1 Further, if the mode 3 is specified, switching equipment 1
00がb側に、切換器110がd側に切り換えられる。 00 to side b, switcher 110 is switched to d side.
このため、処理はステップS21からステップS24へ進み、画像全域についてfLH及びfHLから対称性の度合γが算出される。 Therefore, the process proceeds from step S21 to step S24, the degree of symmetry γ is calculated for the entire image from fLH and fHL. そして、ステップS13では、マッチング部50が、度合γが所定値以上の部分についてマッチングを行い、ステップS14でベストマッチング点を顔の位置として決定する。 Then, in step S13, the matching unit 50, the degree γ performs matching for the part of the predetermined value or more, it determines the best matching point as a position of the face in the step S14.

【0056】以上のように、第2の実施形態によれば、 [0056] As described above, according to the second embodiment,
顔位置検出のためのマッチング処理の実行範囲を限定する処理の内容を背景等の状態に応じて設定できる。 The details of a process to limit the execution range of the matching process for the face position detection can be set in accordance with the state of the background or the like. このため、より効率的で高速な顔位置検出処理が実現する。 Therefore, more efficient and fast face position detection process can be realized.

【0057】なお、上記各実施形態で説明した顔位置検出処理は、専用のハードウエアで実現してもよいし、上述の制御を実現するためのソフトウエアをCPU101 [0057] Incidentally, the face position detecting processing described in the embodiments may be realized by dedicated hardware, the software for realizing the above-described control CPU101
が実行することで実現されてもよいし、ソフトウエアとハードウエアを適切に混在させることで実現されてもよい。 There may be realized by executing, it may be realized by causing proper mix of software and hardware. なお、ソフトウエアはROM102に格納されてもよいし、外部記憶装置104よりRAM103にロードされてもよい。 Incidentally, the software may be stored in the ROM 102, may be loaded in RAM103 from the external memory device 104.

【0058】(第3の実施形態)第1の実施形態では対称軸検出部40(図2)の対称性の指標として、画像勾配の方向性を用いた。 [0058] As symmetry index of Third Embodiment symmetry axis detecting unit in the first embodiment 40 (FIG. 2), was used directionality of the image gradient. しかしながら、対称軸検出の方法は、このような方法に限られるものではない。 However, the method of the symmetry axis detection is not limited to this method. 例えば、 For example,
勾配の絶対値の左・右差を求める(6)式及び勾配値そのもの左・右差を求める(7)式により画像勾配値そのものを直接用いて、ブロック内の左・右差を演算しても良いし、より簡単には、左・右差の絶対値和を求める(8)式或いは(9)式、また、或いは左右のクロスコリレーション(相関演算)の(10)式により、画像値(輝度値)を用いて対称性を演算しても良い。 Determining left and right difference of the absolute value of the slope (6) and the gradient value itself determine the left-right difference (7) using the image gradient values ​​themselves directly by equation calculates the left-right difference in the block it may also, more simply, the absolute value sum of the left and right difference (8) or (9), also or (10) below the left and right cross-correlation (correlation operation), the image value it may be calculated symmetry with (luminance value).

【0059】 [0059]

【数6】 [6]

【0060】 [0060]

【数7】 [Equation 7]

【0061】 [0061]

【数8】 [Equation 8]

【0062】 [0062]

【数9】 [Equation 9]

【0063】 [0063]

【数10】 [Number 10]

【0064】以上のように第3の実施形態によれば、画像勾配値を直接用いることにより、当該勾配値の方向θ [0064] According to the third embodiment as described above, by using the image gradient values ​​directly, the direction of the gradient value θ
を演算するプロセスを省くことができ、より簡潔な回路構成(或いはプログラム構成)とすることが可能となる。 It is possible to omit the process of calculating, and it becomes possible to more concise circuit configuration (or program structure). 画像値を用いる方法では、例えば前記ブロック内の左・右間でクロスコリレーションを行うとすれば、相関演算に必要なブロック内の平均値と分散値を最終段のマッチング部50(図2)と共有することが可能である。 In the method using the image values, for example, the if performing cross-correlation between the left and right in the block, the matching unit of the last stage and the average value in the block needs to correlation calculation a variance value 50 (FIG. 2) it is possible to share with.
従って、計算量の多い相関演算量の負担を減らす効果がある。 Therefore, the effect of reducing the burden of the computationally intensive correlation calculation amount.

【0065】なお、本発明は、複数の機器(例えばホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用してもよい。 [0065] The present invention is a plurality of devices (eg, host computer, interface, reader, printer) or to an apparatus comprising a single device (e.g., a copying machine, a facsimile or to an apparatus, etc.).

【0066】また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPU [0066] Another object of the present invention, a storage medium storing software program codes for realizing the functions of the above embodiments is supplied to a system or an apparatus and a computer (or CPU
やMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。 Or MPU) also by reading out and executing the program code stored in the storage medium, it is needless to say that is achieved.

【0067】この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 [0067] In this case, the program codes read from the storage medium realizes the functions of the embodiments and the storage medium storing the program code constitutes the present invention.

【0068】プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD [0068] As the storage medium for supplying the program codes, a floppy disk, hard disk, optical disk, magnetooptical disk, CD-ROM, CD
−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。 -R, magnetic tape, nonvolatile memory card, ROM, and the like.

【0069】また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 [0069] Further, by a computer executing the read program code, as well as functions of the above embodiments are realized on the basis of the instructions of the program code, OS (operating system running on the computer ) performs a part or all of the processing but also to a case where the functions of the above-described embodiments are realized by those processes like.

【0070】さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 [0070] Furthermore, the program code read from the storage medium are written in a memory of a function expansion unit connected to a function expansion board inserted into the computer or on the basis of the instructions of the program code, its function expansion board or function expansion unit CPU performs a part or all of the processing but also to a case where the functions of the above embodiments are realized by those processes.

【0071】本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図19のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。 [0071] When the present invention is applied to the storage medium, the storage medium when it will store the program codes corresponding to the flowcharts described in the embodiments will be briefly described, as an example of a memory map in FIG. 19 It will store the respective modules shown in the storage medium.

【0072】すなわち、少なくとも「分割処理モジュール」「限定処理モジュール」および「検出処理モジュール」の各モジュールのプログラムコードを記憶媒体に格納すればよい。 [0072] That is, it may be stored in at least "division processing module" "limitation processing module" and stores the program code of each module in the "detecting process module" medium. ここで、コレラモジュールは、画像データから自動的に顔画像の位置を検出するための制御プログラムを構成するものであり、分割処理モジュールは当該画像データを帯域分割する分割処理を実現する。 Here, cholera module, constitutes the control program for detecting the position of the automatic face image from the image data, dividing processing module implements a division process for band division of the image data. また、限定処理モジュールは、分割処理によって帯域分割された画像データを用いて顔画像を探索すべき領域を限定する限定処理を実現する。 Also, limited processing module implements the limiting process to limit the area to be searched and the face image using the image data that has been band-split by the splitting process. そして、検出処理モジュールは、限定処理で限定された領域において顔の位置検出を行う検出処理を実現する。 The detection processing module implements the detection process detecting a position of a face in a region defined by limiting process.

【0073】以上説明したように、上記各実施形態によれば、高速で効率的な顔の検出をすることができる。 [0073] As described above, according to the above embodiments, it is possible to efficiently face detection at high speed. また、エッジ検出部30の処理により、低コントラストな領域や無地領域を高速に除去することができる。 Further, the processing of the edge detection unit 30, it is possible to remove low-contrast areas and solid area at high speed. 更に、 In addition,
対称軸検出部40を設けたことにより、複雑な背景の中でも、左・右対称形という特異な領域を抽出することができ、顔の存在領域を大幅に限定することができる。 By providing the axis of symmetry detection unit 40, even in a complex background, it is possible to extract the unique region of the left-right symmetric, it is possible to greatly limit the existence region of the face. 特に、上記実施形態によれば、対称軸検出部40による対称軸の検出が画像データの勾配の方向を利用しているので、照明条件の変化に影響を受けにくく、左・右対称領域をより確実に抽出することができる。 In particular, according to the above embodiment, since the detection of the symmetry axis by axis of symmetry detection unit 40 utilizes the direction of the gradient of the image data, less susceptible to changes in lighting conditions, a left-right symmetric region more it can be reliably extracted.

【0074】また、本発明を監視カメラやテレビ会議システム、ビデオフォンに適用することにより、自動追尾機能を実現させたり、或いは所定画像のみの伝送、圧縮を可能とし、伝送能力を向上させることができる。 [0074] Further, the present invention surveillance cameras and videoconferencing systems, by applying a videophone, or to realize the automatic tracking function, or the transmission of the predetermined image only allow compression and then, to improve the transmission capability it can.

【0075】また、本発明をビデオカメラに適用することにより、所定像への自動焦点合わせや肌色自動調節を実現できる。 [0075] Further, by applying the present invention to a video camera, it can realize automatic focusing and skin color automatic adjustment to a given image.

【0076】また、本発明をビデオ編集装置に適用することで、膨大なデータの中から人の顔等の所定像だけを自動的に検出でき、編集作業の大幅な短縮が可能となる。 [0076] Further, by applying the present invention to the video editing apparatus, a predetermined image such as a face of a person from a large amount of data can be automatically detected, it is possible to greatly shorten the editing work.

【0077】更に、本発明は、セキュリティが求められるビル、オフィス、ATMや端末への不法なアクセスの阻止、税関でのパスポート写真と本人の照合、顔のデータベースの検索等の自動化を可能とし、マンマシンインタフェースへの応用も可能である。 [0077] In addition, the present invention is, building security is required, office, prevention of illegal access to an ATM or terminal, verification of passport photos and the principal at the customs, and enables the automation of the search, such as the database of face, application to the man-machine interface is also possible.

【0078】 [0078]

【発明の効果】以上説明したように本発明によれば、背景情報を用いずに、一枚の画像データからの所定像の検出を、簡易な構成でかつ高速に行うことが可能となる。 According to the present invention as described in the foregoing, without using the background information, the predetermined image detection from one image data, it is possible to perform a and a high-speed simple configuration.

【0079】また、本発明によれば、照明条件の変化による影響を受けにくく、安定した像検出が行える。 Further, according to the present invention, less affected by changes in lighting conditions, enabling stable image detection.

【0080】また、本発明によれば、簡易なエッジ検出、及びエッジ処理により素早く画像情報の乏しい無地の領域、低コントラストな領域を顔探索の対象領域から除去することが可能となる。 [0080] Further, according to the present invention, a simple edge detection, and poor solid area quickly image information by edge processing, it is possible to remove low contrast region from the target region of the face search. このため、顔検出の対象となる領域が限定され、高速な顔検出が可能となる。 Thus, a limited region of interest of the face detection, high speed face detection is enabled.

【0081】また、本発明によれば、複雑な背景から左右対称の領域を抽出することにより、後段の顔探索処理の負担を大幅に減ずることが可能となり、高速な顔検出が実現される。 [0081] Further, according to the present invention, by extracting a region symmetric from complex background, it is possible to reduce significantly the burden of the subsequent face search processing, high speed face detection is realized.

【0082】 [0082]

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本実施形態の画像処理装置の概略の構成を示すブロック図である。 1 is a block diagram showing the schematic structure of an image processing apparatus of this embodiment.

【図2】第1の実施形態の画像処理装置における顔位置検出部に関る機能構成を示すブロック図である。 2 is a block diagram showing a Sekiru functional configuration in the face position detection unit in the image processing apparatus of the first embodiment.

【図3】第1の実施形態による顔位置検出の手順を示すフローチャートである。 3 is a flowchart showing a procedure of face position detection according to the first embodiment.

【図4】サブ画像の1例を示す図である。 4 is a diagram showing an example of a sub-image.

【図5】エッジ検出部30内での処理の概要を示すフローチャートである。 5 is a flowchart showing the outline of processing in the edge detector 30.

【図6】エッジ検出部30による処理のより詳細な手順を示すフローチャートである。 6 is a flowchart showing a detailed procedure of the processing by the edge detection section 30.

【図7】エッジ検出処理70の処理例を具体的に示す図である。 7 is a diagram specifically illustrating a processing example of the edge detection process 70.

【図8】エッジ画像とエッジブロックの対応を説明する図である。 8 is a diagram explaining the correspondence of the edge image and the edge blocks.

【図9】T字型に分布したエッジブロックを表わす図である。 9 is a diagram representing the edge blocks distributed in a T-shape.

【図10】顔エッジ抽出処理90の出力例を示す図である。 10 is a diagram showing an output example of the face edge extracting process 90.

【図11】対称軸検出部40の処理手順を説明するフローチャートである。 11 is a flowchart illustrating a processing procedure of the symmetry axis detecting unit 40.

【図12】帯域分離された画像データfLLと対称性の度合γとの対応関係を示す図である。 12 is a diagram showing the correspondence between the degree of band separation image data fLL and symmetry gamma.

【図13】γに閾値処理を施し、顔である可能性の高い領域(顔候補領域)をより限定した結果を示す図である。 [13] The threshold processing to the gamma, is a diagram showing a result of more limited areas likely a face (face candidate region).

【図14】図13に示した状態より、対象性の度合γが所定値以上の部分を抽出した状態を示す図である。 [14] than the state shown in FIG. 13, the degree of symmetry γ is a diagram showing a state obtained by extracting a portion of the predetermined value or more.

【図15】図14に示した部分より、顔の標準パターンとのマッチング度の高い部分を抽出した状態を示す図である。 Than the portion shown in FIG. 15 FIG. 14 is a diagram showing a state obtained by extracting a portion with high degree of matching with the standard patterns of the face.

【図16】図15に示した部分において、最もマッチングどの高い部分と元画像との対応を示す図である。 In the portion shown in FIG. 16 FIG. 15 is a diagram showing correspondence between the most matching any high part and the original image.

【図17】第2の実施形態の画像処理装置における顔位置検出部に関る機能構成を示すブロック図である。 17 is a block diagram showing a Sekiru functional configuration in the face position detection unit in the image processing apparatus of the second embodiment.

【図18】第2の実施形態の処理の流れを説明するフローチャートである。 18 is a flowchart for explaining the flow of processing in the second embodiment.

【図19】本発明に係る制御プログラムを格納した記憶媒体のメモリマップ例を示す図である。 19 is a diagram showing a memory map of the storage medium storing a control program according to the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

10 画像データ供給部 20 帯域分割部 30 エッジ検出部 40 対称軸検出部 50 マッチング部 60 出力端子 10 the image data supply unit 20 band dividing unit 30 the edge detector 40 symmetry axis detector 50 matching unit 60 output terminal

Claims (13)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 画像データから自動的に所定像を検出する画像処理方法であって、 前記画像データを帯域分割する分割工程と、 前記分割工程によって帯域分割された画像データに基づいて、前記所定像を探索すべき領域を限定する限定工程と、 前記限定工程で限定された領域において前記所定像の位置検出を行う検出工程とを備えることを特徴とする画像処理方法。 1. An image processing method for detecting automatically a predetermined image from the image data, a dividing step of band-dividing the image data, based on the image data is band-divided by the dividing step, the predetermined an image processing method characterized in that it comprises a limitation step of limiting the area to be searched to an image, and a detection step in a region defined by the limiting process performing position detection of the predetermined image.
  2. 【請求項2】 前記所定像は、人間の顔であることを特徴とする請求項1に記載の画像処理方法。 Wherein said predetermined image, an image processing method according to claim 1 which is a human face.
  3. 【請求項3】 前記限定工程は、前記画像データより、 Wherein the limiting step, from the image data,
    エッジがT字型に分布した領域を選択的に抽出することを特徴とする請求項2に記載の画像処理方法。 The image processing method according to claim 2, characterized in that the edge is selectively extracts regions distributed in a T-shape.
  4. 【請求項4】 前記限定工程は、帯域分割された画像データに基づいて画像のエッジ部分を抽出し、該画像を所定個数の画素からなる複数のブロックに分割し、抽出された前記エッジ部分の画素を所定数以上含むブロックを前記所定像を探索すべき領域として決定することを特徴とする請求項2に記載の画像処理方法。 Wherein said limiting step, an edge portion of the image is extracted based on the image data band division, the image is divided into a plurality of blocks having a predetermined number of pixels, the extracted the edge portion the image processing method according to claim 2, characterized in that determining the block including the pixels more than a predetermined number as a region to be searched the predetermined image.
  5. 【請求項5】 前記限定工程は、前記エッジ部分の画素を所定数以上含むブロックがほぼT字状に連なる部分を抽出し、これを前記所定像を探索すべき領域とすることを特徴とする請求項4に記載の画像処理方法。 Wherein said limiting step, said block including a pixel over a predetermined number of edge portion extracting a portion connected to the substantially T-shape, characterized in that the area to be searched the predetermined image so the image processing method according to claim 4.
  6. 【請求項6】 前記限定工程は、当該画像の各部における左右の対称の度合に基づいて前記所定像を探索すべき領域を限定することを特徴とする請求項2に記載の画像処理方法。 Wherein said limiting step is the image processing method according to claim 2, characterized in that to limit the area to be searched the predetermined image based on the degree of symmetry of the left and right in each part of the image.
  7. 【請求項7】 前記対象の度合は、画像データ値、画像データの勾配値、画像データの勾配の方向の少なくとも一つを用いて検出されることを特徴とする請求項6に記載の画像処理方法。 7. The degree of the subject image data value, the gradient value of the image data, the image processing according to claim 6, characterized in that it is detected using at least one direction of the gradient of the image data Method.
  8. 【請求項8】 前記限定工程は、前記画像データより、 Wherein said limiting step, from the image data,
    エッジがT字型に分布した領域を選択的に抽出し、該抽出された領域の各部について左右の対称の度合を検出し、該検出された度合に基づいて前記所定像を探索すべき領域を限定することを特徴とする請求項2に記載の画像処理方法。 Edge selectively extracts a region distributed in a T-shape, to detect the degree of left-right symmetry about each part of the extracted area, the region to be searched to the predetermined image based on the degree issued 該検the image processing method according to claim 2, characterized in that limiting.
  9. 【請求項9】 前記分割手段は、前記画像データを所定の空間周波数帯に分割することを特徴とする請求項2に記載の画像処理方法。 Wherein said dividing means is an image processing method according to claim 2, characterized by dividing the image data into a predetermined spatial frequency band.
  10. 【請求項10】 前記分割手段は、前記画像データを、 Wherein said dividing means, said image data,
    水平方向の高周波成分と垂直方向の低周波成分を含む第1の画像データと、垂直方向の高周波成分と水平方向の低周波成分を含む第2の画像データに分割することを特徴とする請求項8に記載の画像処理方法。 Claims, characterized in that dividing the first image data including the low-frequency component in the horizontal direction of the high-frequency component and a vertical direction, the second image data including the low-frequency component in the vertical direction of the high-frequency components in the horizontal direction the image processing method according to 8.
  11. 【請求項11】 前記分割手段は、更に、前記分割された画像データに間引き処理を行い、分割された画像データの画像サイズを減少することを特徴とする請求項8に記載の画像処理方法。 Wherein said dividing means further performs thinning processing on the divided image data, the image processing method according to claim 8, characterized in that to reduce the image size of the divided image data.
  12. 【請求項12】 画像データから自動的に所定像を検出する画像処理装置であって、 前記画像データを帯域分割する分割手段と、 前記分割手段によって帯域分割された画像データに基づいて、前記所定像を探索すべき領域を限定する限定手段と、 前記限定手段で限定された領域において前記所定像の位置検出を行う検出手段とを備えることを特徴とする画像処理装置。 12. An image processing apparatus for automatically detect predetermined image from the image data, dividing means for band-dividing the image data, on the basis of the band-divided image data by the dividing means, the predetermined the image processing apparatus according to claim and limiting means for limiting an area to be searched to an image, that in a region defined by said limiting means and detection means detecting the position of the predetermined image.
  13. 【請求項13】 画像データから自動的に所定像を検出するための制御プログラムを格納したコンピュータ可読メモリであって、前記制御プログラムがコンピュータを、 前記画像データを帯域分割する分割手段と、 前記分割手段によって帯域分割された画像データに基づいて、前記所定像を探索すべき領域を限定する限定手段と、 前記限定手段で限定された領域において前記所定像の位置検出を行う検出手段として機能させることを特徴とするコンピュータ可読メモリ。 13. A computer readable memory storing a control program to detect automatically a predetermined image from the image data, and dividing means for the control program to the computer, to band dividing said image data, the divided based on the image data is band-divided by the means, limiting means for limiting an area to be searched for the given image, to function as detection means for detecting the position of the predetermined image in a region defined by said limiting means a computer-readable memory according to claim.
JP31989196A 1996-11-29 1996-11-29 Device and method for image processing Withdrawn JPH10162118A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31989196A JPH10162118A (en) 1996-11-29 1996-11-29 Device and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31989196A JPH10162118A (en) 1996-11-29 1996-11-29 Device and method for image processing

Publications (1)

Publication Number Publication Date
JPH10162118A true true JPH10162118A (en) 1998-06-19

Family

ID=18115393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31989196A Withdrawn JPH10162118A (en) 1996-11-29 1996-11-29 Device and method for image processing

Country Status (1)

Country Link
JP (1) JPH10162118A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175538A (en) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp Device and method for portrait generation, recording medium with portrait generating program recorded thereon, terminal for communication, and communication method by terminal for communication
US6937773B1 (en) 1999-10-20 2005-08-30 Canon Kabushiki Kaisha Image encoding method and apparatus
JP2006508462A (en) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッドSony United Kingdom Limited Face detection
JP2009140423A (en) * 2007-12-10 2009-06-25 Panasonic Electric Works Co Ltd Face centerline detecting device
US7672580B2 (en) 2005-03-17 2010-03-02 Canon Kabushiki Kaisha Imaging apparatus and method for controlling display device
JP2010170179A (en) * 2009-01-20 2010-08-05 Konica Minolta Opto Inc Image data transmission apparatus, image data receiving apparatus and image data transmission and receiving system
US7826639B2 (en) 2006-01-31 2010-11-02 Canon Kabushiki Kaisha Method for displaying an identified region together with an image, program executable in a computer apparatus, and imaging apparatus
JP2011114769A (en) * 2009-11-30 2011-06-09 Nikon Corp Imaging device
US8189090B2 (en) 2008-08-06 2012-05-29 Canon Kabushiki Kaisha Image pick-up apparatus and control method therefor
WO2013146206A1 (en) * 2012-03-28 2013-10-03 株式会社メガチップス Object detection device and program
WO2013161407A1 (en) * 2012-04-26 2013-10-31 株式会社メガチップス Object detection device and program
WO2013161417A1 (en) * 2012-04-27 2013-10-31 株式会社メガチップス Object detection device and program
WO2014157386A1 (en) * 2013-03-29 2014-10-02 Kddi株式会社 Video encoding device and video decoding device

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937773B1 (en) 1999-10-20 2005-08-30 Canon Kabushiki Kaisha Image encoding method and apparatus
JP2002175538A (en) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp Device and method for portrait generation, recording medium with portrait generating program recorded thereon, terminal for communication, and communication method by terminal for communication
JP2006508462A (en) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッドSony United Kingdom Limited Face detection
US7672580B2 (en) 2005-03-17 2010-03-02 Canon Kabushiki Kaisha Imaging apparatus and method for controlling display device
US7826639B2 (en) 2006-01-31 2010-11-02 Canon Kabushiki Kaisha Method for displaying an identified region together with an image, program executable in a computer apparatus, and imaging apparatus
EP2448249A2 (en) 2006-01-31 2012-05-02 Canon Kabushiki Kaisha Method for displaying an identified region together with an image, and imaging apparatus
EP2448250A2 (en) 2006-01-31 2012-05-02 Canon Kabushiki Kaisha Method for displaying an identified region together with an image, and imaging apparatus
JP2009140423A (en) * 2007-12-10 2009-06-25 Panasonic Electric Works Co Ltd Face centerline detecting device
US8189090B2 (en) 2008-08-06 2012-05-29 Canon Kabushiki Kaisha Image pick-up apparatus and control method therefor
JP2010170179A (en) * 2009-01-20 2010-08-05 Konica Minolta Opto Inc Image data transmission apparatus, image data receiving apparatus and image data transmission and receiving system
JP2011114769A (en) * 2009-11-30 2011-06-09 Nikon Corp Imaging device
JP2013228995A (en) * 2012-03-28 2013-11-07 Mega Chips Corp Object detection device and program
WO2013146206A1 (en) * 2012-03-28 2013-10-03 株式会社メガチップス Object detection device and program
US9514545B2 (en) 2012-03-28 2016-12-06 Megachips Corporation Object detection apparatus and storage medium
WO2013161407A1 (en) * 2012-04-26 2013-10-31 株式会社メガチップス Object detection device and program
US9330318B2 (en) 2012-04-26 2016-05-03 Megachips Corporation Object detection apparatus and storage medium
JP2013228901A (en) * 2012-04-26 2013-11-07 Mega Chips Corp Object detection device and program
WO2013161417A1 (en) * 2012-04-27 2013-10-31 株式会社メガチップス Object detection device and program
JP2013232023A (en) * 2012-04-27 2013-11-14 Mega Chips Corp Object detection device and program
US9245184B2 (en) 2012-04-27 2016-01-26 Megachips Corporation Object detection apparatus and storage medium
WO2014157386A1 (en) * 2013-03-29 2014-10-02 Kddi株式会社 Video encoding device and video decoding device
JP2014200021A (en) * 2013-03-29 2014-10-23 Kddi株式会社 Dynamic image encoder and dynamic image decoder

Similar Documents

Publication Publication Date Title
US7003135B2 (en) System and method for rapidly tracking multiple faces
US5650828A (en) Method and apparatus for detecting and thinning a contour image of objects
US8369652B1 (en) Visual attention system for salient regions in imagery
US20100128927A1 (en) Image processing apparatus and image processing method
US6088137A (en) Specified image-area extracting method and device
US7738015B2 (en) Red-eye filter method and apparatus
EP0967574A2 (en) Method for robust human face tracking in presence of multiple persons
Celenk A color clustering technique for image segmentation
US5940145A (en) Method and apparatus for motion compensated image processing using two separate motion measurement techniques
US6229578B1 (en) Edge-detection based noise removal algorithm
US6714689B1 (en) Image synthesizing method
US6504942B1 (en) Method of and apparatus for detecting a face-like region and observer tracking display
US7680323B1 (en) Method and apparatus for three-dimensional object segmentation
US8139896B1 (en) Tracking moving objects accurately on a wide-angle video
US20100271494A1 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
US20050147304A1 (en) Head-top detecting method, head-top detecting system and a head-top detecting program for a human face
Kondo et al. Automatic human face detection and recognition under non-uniform illumination
US6411339B1 (en) Method of spatio-temporally integrating/managing a plurality of videos and system for embodying the same, and recording medium for recording a program for the method
US20110081087A1 (en) Fast Hysteresis Thresholding in Canny Edge Detection
JP2007058634A (en) Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon
JPH10233929A (en) Image processor and image processing method
Kawato et al. Two-step approach for real-time eye tracking with a new filtering technique
JP2003070742A (en) Device and method to detect visual line
US20030052971A1 (en) Intelligent quad display through cooperative distributed vision
JPH1115979A (en) Face detection and method and device for tracing face

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20040203