JPH07271989A - Boundary detecting method of background and object area, contour extracting method of object and object contour extracting device - Google Patents

Boundary detecting method of background and object area, contour extracting method of object and object contour extracting device

Info

Publication number
JPH07271989A
JPH07271989A JP6064001A JP6400194A JPH07271989A JP H07271989 A JPH07271989 A JP H07271989A JP 6064001 A JP6064001 A JP 6064001A JP 6400194 A JP6400194 A JP 6400194A JP H07271989 A JPH07271989 A JP H07271989A
Authority
JP
Japan
Prior art keywords
contour
background
person
boundary
control point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6064001A
Other languages
Japanese (ja)
Inventor
Kenichi Ide
賢一 井手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP6064001A priority Critical patent/JPH07271989A/en
Publication of JPH07271989A publication Critical patent/JPH07271989A/en
Pending legal-status Critical Current

Links

Abstract

PURPOSE:To drastically shorten the time till when a contour is converged by providing a background/object area decision process successively performing a decision on a background or an object area for the plural sections of the strip area generated in a division process. CONSTITUTION:The analog image signal photographed by a CCD camera 21 is converted into a digital signal in an A/D conversion part 22 and the signal is stored as an original image in an image storage part 23. The inside of the strip area set at the both sides of the input image stored in the image storage part 23 is investigated, a decision on a background or a person area is performed and the boundary is detected by a background/person boundary location detection part 25. By using the detected background, the boundary location of a person and the Y coordinate of the top part detected in a top part location detection part 26, the contour is set by an initial contour setting part 27 to be used in a person contour search part 28. The person contour extracted in the person contour search part 28 is displayed by overlapping it with the original image stored in the image storage part 23. Therefore, the contour of the person can be automatically extraced.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は例えば背景を背にした人
物の輪郭を自動的に求めることができる背景と物体領域
の境界検出方法及び物体の輪郭抽出方法及び物体輪郭抽
出装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a background / object region boundary detection method, an object contour extraction method, and an object contour extraction apparatus, which are capable of automatically obtaining the contour of a person against a background.

【0002】ある物体が写っている画像中から、物体領
域と背景領域の境界である物体の輪郭線を抽出するため
の手法として、例えば図15に示すようなものがある。
これは、輪郭の抽出に先立ちオペレータが粗輪郭線と呼
ばれる大まかな輪郭線を手動で指定する。この粗輪郭線
は真の輪郭線を含むような輪郭に沿った太い帯状の領域
として指定され、画素の連結性を保津ように粗輪郭線の
細線化を行ない連結した輪郭線を抽出している。
As a method for extracting the contour line of an object, which is the boundary between the object region and the background region, from an image showing a certain object, for example, there is one shown in FIG.
In this method, an operator manually specifies a rough outline called a rough outline before extracting the outline. This rough contour line is specified as a thick strip-shaped area along the contour that includes the true contour line, and the coarse contour line is thinned to preserve the connectivity of the pixels and the connected contour lines are extracted. .

【0003】また、弾性輪郭モデルと呼ばれる手法で
は、抽出しようとする物体の輪郭線の近傍に図16に示
すように初期閉輪郭aを設定し、輪郭線の形状、画像中
の位置などによって決まるエネルギ関数を最適化するよ
うに輪郭を移動していき、最終的に物体の輪郭bを求め
るものがある。
In the method called elastic contour model, an initial closed contour a is set in the vicinity of the contour line of the object to be extracted as shown in FIG. 16, and it is determined by the shape of the contour line, the position in the image and the like. There is a method in which the contour is moved so as to optimize the energy function, and the contour b of the object is finally obtained.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、粗輪郭
線の細線化による手法の場合、オペレータによる粗輪郭
線指定の操作が必要であるため手間がかかり、大量の異
なるデータに対して処理を行なわねばならない場合は、
負担が大きいという問題がある。
However, in the case of the method of thinning the rough contour line, it is troublesome because the operator needs to specify the rough contour line, and a large amount of different data must be processed. If not,
There is a problem that the burden is heavy.

【0005】また、弾性輪郭モデルを用いた、閉輪郭の
エネルギ最適化手法の場合は、初期輪郭の設定と共に、
エネルギ最適化に要する計算量が大きくなり、初期輪郭
から最終的な物体の輪郭を収束するまでには時間がかか
るという問題があった。
In the case of a closed contour energy optimization method using an elastic contour model, the initial contour is set and
There is a problem that the amount of calculation required for energy optimization becomes large, and it takes time to converge the contour of the final object from the initial contour.

【0006】本発明は上記の点に鑑みてなされたもの
で、その目的はオペレ−タによる操作を不要とし、しか
も輪郭を収束させるまでの時間を大幅に短縮することが
できる背景と物体領域の境界検出方法及び物体の輪郭抽
出方法及び物体輪郭抽出装置を提供することにある。
The present invention has been made in view of the above points, and an object thereof is to eliminate the need for operation by an operator and to significantly reduce the time until the contour is converged. An object is to provide a boundary detection method, an object contour extraction method, and an object contour extraction device.

【0007】[0007]

【課題を解決するための手段】請求項1に係わる背景と
物体領域の境界検出方法は、背景と物体領域との境界線
を横切るように設定された帯状領域内の画素についてエ
ッジ値の投影波形を算出するエッジ値投影波形算出工程
と、上記エッジ値投影波形算出工程で算出されたエッジ
値の投影波形が第1の基準値を境に上記帯状領域を複数
の区間に分割する分割工程と、この分割工程で発生した
複数の区間に対して順次背景か物体領域であるかの判定
を行う背景・物体領域判定工程とを具備したことを特徴
とする。
A method for detecting a boundary between a background and an object area according to a first aspect of the present invention is a projection waveform of an edge value for a pixel in a band-shaped area set so as to cross a boundary line between the background and the object area. An edge value projection waveform calculating step of calculating a projection waveform of the edge value calculated in the edge value projection waveform calculating step, and a dividing step of dividing the strip-shaped region into a plurality of sections with a first reference value as a boundary; The present invention is characterized by further comprising a background / object region determination process of sequentially determining whether a background or an object region is generated for a plurality of sections generated in this division process.

【0008】請求項2に係わる背景と物体領域の境界検
出方法は、請求項1の背景・物体領域判定工程は上記各
区間内の平均輝度が基準輝度の許容範囲内でかつ該区間
内でのエッジ値の平均値が第2の基準値より小さい場合
には背景と判定し、その他の場合は物体領域であると判
定することを特徴とする。
In the background / object region boundary detecting method according to claim 2, in the background / object region determining step according to claim 1, the average brightness in each section is within the allowable range of the reference brightness and within the section. When the average value of the edge values is smaller than the second reference value, it is determined to be the background, and in other cases, it is determined to be the object region.

【0009】請求項3に係わる背景と物体領域の境界検
出方法は、請求項2の背景・物体領域判定工程により背
景と判定された場合には、その判定された区間の平均輝
度を次の区間の基準輝度として更新することを特徴とす
る。
In the background / object region boundary detection method according to the third aspect, when the background / object region determination step of the second aspect determines the background, the average brightness of the determined section is changed to the next section. It is characterized in that it is updated as the reference luminance of.

【0010】請求項4に係わる輪郭抽出方法は、物体領
域の外側に予め設定された初期輪郭上のエッジ強度から
評価値を算出する評価値算出工程と、上記初期輪郭を物
体領域方向に狭める方向に移動させる輪郭移動工程と、
この輪郭移動工程で得られた輪郭上にほぼ等間隔で配置
されている制御点のそれぞれのエッジ強度からその輪郭
の評価値を算出する評価値算出工程と、前回の評価値と
今回の評価値を比較することにより輪郭が収束している
かを判定する収束判定工程と、この収束判定工程により
輪郭が収束していないと判定した場合には、さらに輪郭
を物体領域方向に狭める方向に移動させて再度評価値算
出工程によりその輪郭の評価値を算出して上記収束判定
工程により輪郭が収束するまで繰り返すことを特徴とす
る。
According to a fourth aspect of the present invention, there is provided a contour extracting method, wherein an evaluation value calculating step of calculating an evaluation value from an edge strength on an initial contour preset outside the object area, and a direction of narrowing the initial contour toward the object area. Contour movement process to move to
An evaluation value calculation step of calculating the evaluation value of the contour from each edge strength of the control points arranged at substantially equal intervals on the contour obtained in this contour movement step, the previous evaluation value and the present evaluation value And the convergence determination step for determining whether the contour is converged, and if the convergence determination step determines that the contour is not converged, move the contour further in the direction of narrowing the object area. It is characterized in that the evaluation value of the contour is calculated again by the evaluation value calculation step, and is repeated until the contour converges by the convergence determination step.

【0011】請求項5に係わる輪郭抽出方法は、請求項
4の輪郭移動工程は輪郭上の制御点近傍のエッジ強度最
大位置へ向かう第1のベクトルと、該制御点から張力を
受けたと考えた場合に、制御点の釣り合い位置へ向かう
第2のベクトルと、制御点を強制的に人物方向に動かす
第3のベクトルの加重和により制御点の移動先を決定し
ていることを特徴とする。
In the contour extraction method according to the fifth aspect, it is considered that the contour moving step of the fourth aspect receives the tension from the first vector toward the maximum edge strength position near the control point on the contour and the control point. In this case, the destination of the control point is determined by the weighted sum of the second vector that moves toward the equilibrium position of the control point and the third vector that forcibly moves the control point toward the person.

【0012】請求項6の物体輪郭抽出装置は、背景を背
にした物体の映像を取る撮像手段と、この撮像手段で取
られた物体の映像デ−タを記憶する記憶手段と、上記記
憶手段に記憶されている背景と物体領域との境界線を横
切るように設定された帯状領域内の画素についてエッジ
値の投影波形を算出し、背景と物体との境界を検出する
背景物体境界検出手段と、この背景物体境界検出部で検
出された境界に基づいて物体の初期輪郭を設定する初期
輪郭設定手段と、この初期輪郭設定手段で設定された物
体の初期輪郭を制御点上の制御点近傍のエッジ強度最大
位置へ向かう第1のベクトルと、該制御点から張力を受
けたと考えた場合に、制御点の釣り合い位置へ向かう第
2のベクトルと、制御点を強制的に人物方向に動かす第
3のベクトルの加重和により制御点の移動先を決定する
物体輪郭探索手段と、上記物体輪郭探索手段で探索した
輪郭の制御点の評価値から輪郭の収束を判定する収束判
定手段とから構成される。
According to a sixth aspect of the present invention, there is provided an object contour extracting device, an image pickup means for taking an image of an object with a background in the background, a storage means for storing image data of the object taken by the image pickup means, and the storage means. A background object boundary detection means for calculating the projection waveform of the edge value for the pixels in the strip-shaped area set so as to cross the boundary line between the background and the object area stored in, and detecting the boundary between the background and the object. , An initial contour setting means for setting an initial contour of the object based on the boundary detected by the background object boundary detection section, and an initial contour of the object set by the initial contour setting means for controlling the vicinity of the control point on the control point. A first vector heading to the maximum edge strength position, a second vector heading to a balance position of the control points when it is considered that tension is applied from the control point, and a third vector forcibly moving the control point toward the person. Vector addition And the object contour searching means for determining the destination of the control points by the sum, constituted by a determining convergence determining means for converging the evaluation value of the contour of the control points of the contour of searching by the object outline search means.

【0013】[0013]

【作用】請求項1において、背景と物体領域との境界線
を横切るように設定された領域内の画素についてエッジ
値の投影波形を求め、投影波形のピーク値の位置で区分
される各区間を、原画像の画素値および原画像のエッジ
値の特徴を用いて順次評価を行ない、背景または物体領
域のどちらであるかを識別し、背景と物体領域の境界を
検出するようにしている。
According to the present invention, the projection waveform of the edge value is obtained for the pixels in the area set so as to cross the boundary line between the background and the object area, and each section divided by the position of the peak value of the projection waveform is determined. , The pixel value of the original image and the feature of the edge value of the original image are sequentially evaluated to identify whether it is the background or the object region, and detect the boundary between the background and the object region.

【0014】請求項4において、人物領域の外側にあら
かじめ定めた初期輪郭から、移動規則にしたがって人物
輪郭の探索を繰り返し行ないながら輪郭を更新していく
ことによって人物の輪郭を抽出するようにしている。
According to a fourth aspect of the present invention, the outline of the person is extracted by updating the outline while repeatedly searching for the outline of the person in accordance with the movement rule from the initial outline determined outside the area of the person. .

【0015】請求項6において、撮像手段で撮像した背
景を背にした物体の映像から背景と物体領域の境界を自
動的に検出し、その境界を基に初期輪郭を設定し、初期
輪郭を制御点上の制御点近傍のエッジ強度最大位置へ向
かう第1のベクトルと、該制御点から張力を受けたと考
えた場合に、制御点の釣り合い位置へ向かう第2のベク
トルと、制御点を強制的に人物方向に動かす第3のベク
トルの加重和により制御点の移動先を決定し、輪郭の制
御点の評価値から輪郭の収束を判定するようにしてい
る。
According to a sixth aspect of the present invention, the boundary between the background and the object area is automatically detected from the image of the object with the background imaged by the imaging means, the initial contour is set based on the boundary, and the initial contour is controlled. The first vector heading to the maximum edge strength position in the vicinity of the control point on the point, the second vector heading to the balanced position of the control point and the control point are forced when the tension from the control point is considered. Further, the moving destination of the control point is determined by the weighted sum of the third vector moved toward the person, and the convergence of the contour is determined from the evaluation value of the control point of the contour.

【0016】[0016]

【実施例】以下図面を参照して本発明の一実施例に係わ
る物体輪郭抽出装置について説明する。図1はCCDカ
メラを用いてほぼ均一な背景の下で人物の上半身を撮影
し、撮影した画像中の人物領域の輪郭線を自動的に抽出
する装置のブロック図である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An object contour extracting apparatus according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of an apparatus for photographing an upper half of a person under a substantially uniform background using a CCD camera and automatically extracting a contour line of a person region in the photographed image.

【0017】図1において、20は本装置を統括して制
御する制御部であり、例えばマイクロコンピュ−タ及び
その周辺回路により構成されており、後述する各処理部
に制御信号を出力する。
In FIG. 1, reference numeral 20 denotes a control unit which controls the apparatus as a whole, and is composed of, for example, a microcomputer and its peripheral circuits, and outputs a control signal to each processing unit described later.

【0018】また、21は画像入力用のCCDカメラで
ある。このCCDカメラ21で撮影されたアナログ画像
信号はA/D変換部22で被写体の明るさに応じて例え
ば256段階の階調値を持つデジタル信号に変換された
後、画像蓄積部23に原画像として記憶される。
Reference numeral 21 is a CCD camera for image input. The analog image signal photographed by the CCD camera 21 is converted by the A / D converter 22 into a digital signal having, for example, 256 gradation levels according to the brightness of the subject, and then the original image is stored in the image storage 23. Is stored as

【0019】エッジ画像作成部24は、画像蓄積部23
に保存された原画像からエッジ画像を作成し、画像蓄積
部23に記憶する。本実施例で述べる手法で使用するエ
ッジ画像としては様々なものが使用可能であるが、本実
施例ではエッジ抽出フィルタの一つであるSobel フィル
タを画像蓄積部23に記憶されている入力画像に作用さ
せたものを用いた。
The edge image creating section 24 is an image storage section 23.
An edge image is created from the original image stored in the image storage unit 23 and stored in the image storage unit 23. Although various types of edge images can be used in the method described in the present embodiment, in the present embodiment, the Sobel filter, which is one of the edge extraction filters, is used as the input image stored in the image storage unit 23. What was made to act was used.

【0020】背景・人物境界位置検出部25は、画像蓄
積部23に記憶されている入力画像の両脇に設定した帯
状領域内を調べて背景と人物領域の境界を検出する。こ
の背景・人物境界位置検出部25の詳細な機能は図2を
参照して後述する。
The background / person boundary position detecting section 25 detects the boundary between the background and the person area by examining the strip-shaped areas set on both sides of the input image stored in the image storage section 23. Detailed functions of the background / person boundary position detection unit 25 will be described later with reference to FIG.

【0021】頭頂部位置検出部26は画像蓄積部23に
記憶されている入力画像中の頭頂部のY座標を検出す
る。初期輪郭設定部27は、背景・人物境界位置検出部
25で検出された背景と人物の境界位置、及び頭頂部位
置検出部26で検出された頭頂部のY座標を用いて、人
物領域の外側に次の人物輪郭探索部28で用いる初期輪
郭を設定する。
The crown position detecting unit 26 detects the Y coordinate of the crown in the input image stored in the image storage unit 23. The initial contour setting unit 27 uses the boundary position between the background and the person detected by the background / person boundary position detection unit 25, and the Y coordinate of the crown detected by the crown position detection unit 26 to determine the outside of the person region. Then, the initial contour used in the next person contour search unit 28 is set.

【0022】人物輪郭探索部28は、初期輪郭設定部2
7で設定された初期輪郭をもとにエッジの探索と輪郭の
移動を繰り返し行ないながら、最終的に人物の輪郭線を
抽出する。
The person contour search unit 28 is provided with an initial contour setting unit 2
Based on the initial contour set in step 7, edge search and contour movement are repeated, and the contour line of the person is finally extracted.

【0023】人物輪郭出力部29は人物輪郭探索部28
で抽出した人物輪郭を画像蓄積部23に蓄積されている
原画像に重ね合わせてディスプレイ(図示しない)に表
示する。
The person contour output unit 29 is a person contour search unit 28.
The person outline extracted in step 3 is superimposed on the original image stored in the image storage unit 23 and displayed on a display (not shown).

【0024】次に、上記のように構成された本発明の一
実施例の動作について説明する。CCDカメラ21で撮
影された後A/D変換されたある時刻の人物上半身の画
像はディジタル画像であり、各画素は被写体の明るさ
(輝度)に応じて256段階の階調値を持つ。この原画
像は画像蓄積部23に記憶される。そして、エッジ画像
作成部24は画像蓄積部23に記憶されている原画像か
らエッジ抽出用のSobelフィルタを作用させてエッジ画
像を作成し、画像蓄積部23に記憶させる。
Next, the operation of the embodiment of the present invention constructed as above will be described. The image of the upper half of the body of the person captured at a certain time after being photographed by the CCD camera 21 is a digital image, and each pixel has 256 gradation values according to the brightness (luminance) of the subject. This original image is stored in the image storage unit 23. Then, the edge image creation unit 24 creates an edge image by applying a Sobel filter for edge extraction from the original image stored in the image storage unit 23, and stores it in the image storage unit 23.

【0025】以下、背景・人物境界検出部25で行われ
る背景と人物との境界を検出する処理について図2のフ
ロ−チャ−トを参照して説明する。まず、図2の帯状領
域内投影計算(ステップ30)で用いる帯状領域は、図
3に示すように画像の両脇にあらかじめ設定されてお
り、右側の帯状領域を帯状領域R42、左側を帯状領域
L43とする。帯状領域42,43の向きは位置を検出
しようとする境界を横切る様に設定するが、本実施例の
場合は主な境界としてX方向40に延びる肩の位置の境
界を検出しようとしているため、帯状領域R42,L4
3の向きY方向41に設定した。
The process of detecting the boundary between the background and the person performed by the background / person boundary detecting section 25 will be described below with reference to the flowchart of FIG. First, as shown in FIG. 3, the strip areas used in the projection calculation in the strip area of FIG. 2 (step 30) are set in advance on both sides of the image. The strip area on the right side is the strip area R42 and the strip area on the left side is the strip area R42. L43. The orientations of the band-shaped regions 42 and 43 are set so as to cross the boundary for which the position is to be detected, but in the case of the present embodiment, since the boundary of the shoulder position extending in the X direction 40 is to be detected as the main boundary, Band regions R42, L4
The direction of 3 was set in the Y direction 41.

【0026】そして、これらの帯状領域R42,L43
内の画素について、同一Y座標を持つ画素値の和を各Y
座標に対して求めることによって投影波形を求める。こ
こで、投影波形は帯状領域R42,L43をY方向41
に複数の区間に分割するための境界候補を求めたり、分
割した各区間が背景あるいは人物かを識別するための特
徴を導き出すために求められる。
Then, these strip regions R42, L43
For each pixel, the sum of pixel values with the same Y coordinate is calculated for each Y
The projected waveform is obtained by obtaining the coordinates. Here, the projected waveform is such that the strip regions R42 and L43 are projected in the Y direction 41.
In order to obtain a boundary candidate for dividing into a plurality of sections, or to derive a feature for identifying whether each divided section is a background or a person.

【0027】本実施例では前者にY方向41の画素値の
変化が大きいエッジに対して高い感度を持つ、エッジの
Y方向成分画像(エッジ画像作成部26で作成され、画
像蓄積部23に記憶されているもの)を、後者に輝度画
像すなわち原画像を用いた。
In the present embodiment, the former Y direction component image having high sensitivity to an edge having a large change in pixel value in the Y direction 41 (created by the edge image creating unit 26 and stored in the image storage unit 23). The original image was used for the latter.

【0028】そして、エッジ画像の投影波形には適当な
スケールの平滑化(ステップ31)を行なう。この結
果、原画像すなわち輝度画像の投影波形は44、エッジ
のY方向成分画像の平滑化後の投影波形(エッジ画像の
投影波形という)は45に示すようになる。
Then, the projected waveform of the edge image is smoothed by an appropriate scale (step 31). As a result, the projected waveform of the original image, that is, the luminance image is 44, and the projected waveform of the Y-direction component image of the edge after smoothing (referred to as the projected waveform of the edge image) is 45.

【0029】次に、境界候補点の選定処理(ステップ3
2)においては、エッジ画像の投影波形45の値があら
かじめ定めた第1のしきい値TH1以上である極大点を
抽出し、これらの極大点の位置を背景と人物領域の境界
候補位置46とされる。
Next, processing for selecting a boundary candidate point (step 3)
In 2), local maxima whose values of the projected waveform 45 of the edge image are equal to or larger than the first threshold TH1 determined in advance are extracted, and the positions of these maxima are designated as the boundary candidate positions 46 of the background and the human area. To be done.

【0030】ここで、境界候補位置46で分割される各
区間をレベル1の区間48と呼ぶ。次に、境界候補位置
46で分割される各区間をレベル1の区間48が背景が
人物領域かを判定する区間判定処理(ステップ33)に
ついて図4のフロ−チャ−トを参照しながら説明する。
ここの区間判定処理は境界候補点の選定処理(ステップ
32)で分割されたレベル1の各区間を画像の上側の区
間から順に区間判定処理を行なうようにしている。
Here, each section divided at the boundary candidate position 46 is referred to as a level 1 section 48. Next, each section divided at the boundary candidate position 46 will be described with reference to the flowchart of FIG. 4 regarding the section determination processing (step 33) for determining whether the section 48 of level 1 is a human area. .
In the section determination processing here, the section determination processing is performed for each section of level 1 divided in the boundary candidate point selection processing (step 32) in order from the section above the image.

【0031】図4において、まず、レベル1の区間長が
規定値LENより大きいかを判定する。そして、この判
定で「NO」と判定された場合、つまりレベル1の区間
長がLEN未満の場合は当該区間に対して区間判定処理
(ステップ50)を行なう。
In FIG. 4, first, it is determined whether the section length of level 1 is larger than the specified value LEN. If it is determined to be "NO" in this determination, that is, if the section length of level 1 is less than LEN, the section determination process (step 50) is performed on the section.

【0032】この区間判定処理(ステップ50)は図5
のフロ−チャ−トに示す判定処理が行われる。つまり、
区間の評価値、本実施例の場合は区間内の輝度およびエ
ッジの平均値が、次の条件を満たしている場合に当該区
間を背景区間と判定する。その条件とは、図5のフロ−
チャ−トに示すように、輝度平均値が基準輝度値を中心
とする、あらかじめ定めた許容範囲内に入っており、か
つ、エッジの平均値があらかじめ定めた第2のしきい値
TH2未満であることである。ここで、基準輝度値の初
期値は画像上端部の間違いなく背景である部分の平均輝
度となるように設定されている。
This section determination process (step 50) is shown in FIG.
The determination process shown in the flowchart of FIG. That is,
If the evaluation value of the section, the brightness in the section and the average value of the edges in this embodiment satisfy the following conditions, the section is determined as the background section. The condition is the flow of FIG.
As shown in the chart, the average brightness value is within the predetermined allowable range centered on the reference brightness value, and the average edge value is less than the second threshold value TH2 set in advance. There is. Here, the initial value of the reference luminance value is set so as to be the average luminance of the background upper portion without fail.

【0033】該当区間が上記条件以外の場合には、人物
区間であることを出力する。図4のフロ−チャ−トに戻
って、区間判定処理(ステップ50)での区間判定が背
景区間であるかが判定され、背景区間であると判定され
た場合にはレベル1の区間の基準輝度が更新される(ス
テップ50a)。この基準輝度は前述した図5のフロ−
チャ−トの判定に用いられる。この更新処理において、
基準輝度値は区間が背景区間と判定されるごとに、同区
間の輝度の標準偏差があらかじめ定めた値以下の場合、
すなわち背景部分が滑らかな場合に平均輝度値が基準輝
度値として信頼できると判断し、基準輝度値がその平均
輝度値に更新される。
If the applicable section is other than the above conditions, it is output that it is a person section. Returning to the flow chart of FIG. 4, it is determined whether the section determination in the section determination processing (step 50) is a background section, and if it is determined that it is a background section, the level 1 section reference The brightness is updated (step 50a). This reference luminance is the flow of FIG.
Used for chart determination. In this update process,
Each time the interval is determined to be the background interval, the standard brightness value is equal to or less than the predetermined standard deviation of the brightness of the interval,
That is, when the background portion is smooth, it is determined that the average luminance value is reliable as the reference luminance value, and the reference luminance value is updated to the average luminance value.

【0034】このように、基準輝度値の更新を行なうこ
とによって、背景部分の特徴量すなわち本実施例の場合
は輝度が緩やかに変化している場合でも、正確な判定を
行なうことができる。
By thus updating the reference luminance value, accurate determination can be performed even if the characteristic amount of the background portion, that is, in the case of the present embodiment, the luminance is gradually changing.

【0035】以上のようにして、レベル1の区間が背景
区間であるか否かを判定し、レベル1の区間判定で用い
る基準値を更新するようにしている。前述したレベル1
の区間長が規定値LENより大きいかの判定で「YE
S」と判定された場合、つまり、レベル1の区間で区間
長が既定値LEN以上の場合には、図3(B)の47に
示すように長さがほぼ規定値LENになるように小区間
に分割し、これらをレベル2の区間とする処理がなされ
る。
As described above, it is determined whether or not the level 1 section is the background section, and the reference value used in the level 1 section determination is updated. Level 1 mentioned above
If the section length of is greater than the specified value LEN, then "YE
S ”, that is, when the section length in the section of level 1 is equal to or greater than the predetermined value LEN, the length is reduced to almost the specified value LEN as shown by 47 in FIG. 3B. Processing is performed by dividing the sections into sections and setting these sections as Level 2 sections.

【0036】そして、このレベル2の各区間について区
間判定処理(ステップ51)を行う。この区間判定処理
(ステップ51)の判定処理は前述した図5のフロ−チ
ャ−トの判定処理と基本的には同じである。この区間判
定処理(ステップ51)は前述のレベル1の区間に対す
る区間判定処理50と基本的には同じであるが、使用す
る基準輝度値はレベル2の区間判定中だけに使用するも
のである。
Then, a section determination process (step 51) is performed for each level 2 section. The determination processing of this section determination processing (step 51) is basically the same as the above-described flowchart determination processing of FIG. This section determination processing (step 51) is basically the same as the section determination processing 50 for the section of level 1 described above, but the reference luminance value to be used is used only during section determination of level 2.

【0037】そして、すべてのレベル2の区間に対して
区間判定処理がなされたかどうかを判定し(ステップ5
1a)、区間判定処理がなされていないレベル2の区間
があると判定された場合には、レベル2の区間が背景区
間であると判定され、かつその区間での輝度の標準偏差
が一定値以下であると判定された場合には、レベル2の
区間判定で用いる基準輝度値の更新を行なう(ステップ
51b)。
Then, it is judged whether or not the section judgment processing has been performed for all the level 2 sections (step 5).
1a), if it is determined that there is a level 2 section for which the section determination processing has not been performed, it is determined that the level 2 section is a background section, and the standard deviation of the luminance in that section is a certain value or less. If it is determined that the reference luminance value used in the level 2 section determination is updated (step 51b).

【0038】そして、すべてのレベル2の区間に対して
区間判定処理(ステップ51)が行なわれると、ステッ
プ51aにおいて「NO」と判定され、背景と判定され
たレベル2の小区間数が一定の割合を越えたかが判定さ
れる。
When the section determination processing (step 51) is performed for all the level 2 sections, the number of small sections of level 2 which is determined to be "NO" in step 51a and which is determined to be the background is constant. It is determined whether the ratio is exceeded.

【0039】このステップ51aの判定で背景と判定さ
れたレベル2の小区間数が一定の割合を越えたと判定さ
れた場合には、対応するレベル1の区間を背景区間とす
ると共に、レベル1の区間判定で用いる基準値へ更新す
る(ステップ50a)。
When it is determined in step 51a that the number of small sections of level 2 which are determined to be background exceeds a certain ratio, the corresponding section of level 1 is set as the background section and The value is updated to the reference value used in the section determination (step 50a).

【0040】この更新する値としては、最後から二番目
の小区間の平均輝度レベルを用いる。これは、レベル1
の区間の境界での輝度変化が必ずしもはっきりしていな
いため、最後の小区間の輝度値は、隣接するレベル1の
区間の輝度値を変化していく部分を含んでいる場合があ
るためである。
As the value to be updated, the average brightness level of the penultimate small section is used. This is level 1
This is because the luminance change at the boundary of the section is not always clear, and the luminance value of the last small section may include a portion where the luminance value of the adjacent level 1 section changes. .

【0041】このように、背景・人物境界位置検出部2
5では、背景区間であるかを判定する場合に使用する基
準値を更新するようにしているので、光線の具合により
陰影がついて背景の明るさが一様でなく滑らかに変化し
ているような場合でも、背景と物体の境界を検出するこ
とができる。このため、実施例に示したようなシステム
において、入力画像を撮影する際の照明条件の自由度が
大きくなる。一般に均一な照明を行なうためには多くの
ライトを用いたりするなどの工夫が必要であるが、簡易
な照明下で撮影した場合でも安定して背景と物体の境界
位置を検出することができる。また、検出した境界の位
置の信頼性が高いので、たとえば画像内の人物の位置検
出の基準点として用いる場合に後段の処理への負担が少
なくなる。
In this way, the background / person boundary position detection unit 2
In No. 5, since the reference value used when determining whether it is the background section is updated, it seems that the background brightness is not uniform and changes smoothly due to shading depending on the condition of the light rays. Even in this case, the boundary between the background and the object can be detected. Therefore, in the system as shown in the embodiment, the degree of freedom of the illumination condition when capturing the input image is increased. Generally, in order to perform uniform illumination, it is necessary to devise such as using many lights, but the boundary position between the background and the object can be stably detected even when the image is taken under simple illumination. In addition, since the detected position of the boundary is highly reliable, the burden on the subsequent processing is reduced when the position is used as a reference point for detecting the position of the person in the image.

【0042】次に、頭頂部位置検出部26で行われる頭
の頂部を検出する処理について説明する。この頭頂部位
置検出部26では頭頂部のY座標を検出するが、帯状領
域を頭部が存在する、図3(A)の43aに示すように
画像のほぼ中央部に配置して、背景・人物境界位置検出
部とほぼ同様の処理を行なうことによって検出すること
ができる。
Next, the processing for detecting the top of the head performed by the top position detecting section 26 will be described. The parietal position detecting unit 26 detects the Y coordinate of the parietal region, but the band-shaped region is arranged at approximately the center of the image as shown by 43a in FIG. It can be detected by performing a process substantially similar to that of the person boundary position detection unit.

【0043】次に、初期輪郭設定部27での処理につい
て説明する。この初期輪郭設定部27では後述する人物
輪郭探索部28で人物輪郭を探索する際の初期輪郭を設
定する。初期輪郭は、背景・人物境界位置検出部25で
求めた画像両脇部分での背景と人物領域の境界位置、頭
頂部位置検出部26で求めた頭頂部の位置に従い、人物
領域の外側に図6に示すように設定する。初期輪郭では
図6中Aのようなタイプ70とBの様なタイプ71があ
る。ここで、Aのタイプは頭頂部の位置、および画像両
脇での背景と人物の境界位置で決定され、Bのタイプは
境界位置から決定される。
Next, the processing in the initial contour setting section 27 will be described. The initial contour setting unit 27 sets an initial contour for searching a human contour by a human contour searching unit 28, which will be described later. The initial contour is drawn outside the person area according to the boundary position between the background and the person area on both sides of the image obtained by the background / person boundary position detecting section 25 and the position of the crown obtained by the crown position detecting section 26. Set as shown in 6. In the initial contour, there are a type 70 like A in FIG. 6 and a type 71 like B. Here, the type A is determined by the position of the crown and the boundary positions of the background and the person on both sides of the image, and the type B is determined by the boundary positions.

【0044】次に、人物輪郭探索部28の処理について
図7のフローチャートを参照して説明する。まず、各制
御点を移動させることによって初期輪郭を移動させて、
収束判定を図8のフロ−チャ−トに示す判定論理に従っ
て行う(ステップ80)。
Next, the processing of the person contour searching unit 28 will be described with reference to the flowchart of FIG. First, move the initial contour by moving each control point,
The convergence judgment is performed according to the judgment logic shown in the flowchart of FIG. 8 (step 80).

【0045】この収束の判定(ステップ80)は図8の
フローチャートに示すように各時点での輪郭の評価値の
変化状況を調べることによって行なう。つまり、輪郭上
のエッジ強度から評価値を求め、前回判定時の評価値と
の差が一定値以下で、しかも変化量が一定値以下の状態
が規定回数続いた場合には、輪郭が収束したことを出力
する。
The determination of the convergence (step 80) is made by checking the change state of the evaluation value of the contour at each time point as shown in the flowchart of FIG. That is, when the evaluation value is obtained from the edge strength on the contour and the difference from the evaluation value at the time of the previous determination is equal to or less than a certain value and the change amount is less than the certain value for a predetermined number of times, the contour converges. To output that.

【0046】そして、図7に示す収束判定処理の結果収
束したかを判定し、収束していないは判定された場合に
は、制御点を更新する処理が行われる(ステップ8
1)。そして、制御点の移動先の探索が行われ(ステッ
プ82)、制御点が移動され、初めに戻って制御点間の
補間がなされる。このような、輪郭の探索は探索にとも
ない移動していく輪郭が人物領域の輪郭線と一致して収
束するまで繰り返し行なわれる。
Then, it is determined whether or not the result of the convergence determination process shown in FIG. 7 has converged. If it is determined that the result has not converged, a process for updating the control point is performed (step 8).
1). Then, the destination of the control point is searched for (step 82), the control point is moved, and the process returns to the beginning and interpolation between the control points is performed. Such contour search is repeatedly performed until the contour that moves along with the search matches the contour of the human region and converges.

【0047】次に、図7のフロ−チャ−トの制御点移動
先の探索(ステップ82)について説明する。まず、図
9を参照して輪郭の移動方法を説明する。輪郭の移動は
輪郭を構成している制御点を移動することによって行な
う。輪郭の両端の制御点の移動は行なわない。輪郭の両
端以外の制御点kは3種類のベクトルによって移動先が
決められる。第1のベクトル100は制御点近傍のエッ
ジ強度最大の点へ向かうベクトルである。第2のベクト
ル101は制御点が近傍の制御点から張力を受けると考
えた場合に、制御点の釣り合い位置へ向かうベクトルで
ある。第3のベクトル102は制御点が人物輪郭から遠
く離れていて、第1のベクトル100の大きさがゼロで
ある場合と、人物輪郭に起因しない不要なエッジが存在
した場合に制御点を強制的に人物輪郭に向かう方向に動
かすため、人物方向に向かうベクトルである。これら3
種のベクトル加重和によって制御点の移動先が決定され
る。
Next, the search for the control point movement destination of the flow chart of FIG. 7 (step 82) will be described. First, a contour moving method will be described with reference to FIG. The contour is moved by moving the control points forming the contour. The control points at both ends of the contour are not moved. The destinations of the control points k other than the both ends of the contour are determined by three types of vectors. The first vector 100 is a vector toward a point having the maximum edge strength near the control point. The second vector 101 is a vector that goes to the equilibrium position of the control points when it is considered that the control points receive the tension from the neighboring control points. The third vector 102 forces the control point when the control point is far away from the human contour and the size of the first vector 100 is zero and when there is an unnecessary edge that is not caused by the human contour. It is a vector that moves toward the person because it moves in the direction toward the person outline. These 3
The destination of the control point is determined by the vector weighted sum of the seeds.

【0048】ところで、初期輪郭の端点の位置が背景と
人物の境界にない場合などに、図10の様に輪郭が移動
していき、輪郭が画像外にはみ出そうとする場合があ
る。これを防ぐため、第1のベクトル100を求める際
に使用するエッジ画像は、図111に示すように輪郭の
端点から画像最下部へ向かう直線上にエッジ値をあらか
じめ十分強いエッジ値に設定しておく場合がある。これ
をバリア110と呼ぶ。このようにすると、輪郭が上記
直線上に達した後はエッジが強いため輪郭はバリア付近
にとどまり、画像外にはみ出すことがない。この場合、
抽出される輪郭は人物輪郭だけでなくバリアに沿った部
分を含むことになるが、バリア以外の部分を用いること
で所望の人物輪郭を抽出できる。
By the way, when the position of the end point of the initial contour is not on the boundary between the background and the person, the contour may move as shown in FIG. 10 and the contour may try to extend outside the image. In order to prevent this, the edge image used to obtain the first vector 100 has an edge value set in advance to a sufficiently strong edge value on a straight line from the end point of the contour to the bottom of the image as shown in FIG. You may leave it. This is called a barrier 110. In this case, since the edge is strong after the contour reaches the straight line, the contour stays in the vicinity of the barrier and does not extend outside the image. in this case,
The contour to be extracted includes not only the person contour but also a portion along the barrier, but a desired person contour can be extracted by using a portion other than the barrier.

【0049】次に、図12のフロ−チャ−トを参照して
制御点の移動先を決める処理について説明する。重み付
けの係数は制御点近傍の画素のエッジ平均値によって変
化する。エッジ平均値が大きくなると第3のベクトルの
重み付け係数は小さくなる。この近傍領域の範囲を適当
な大きさに設定することによって、制御点が人物輪郭の
十分近くにある場合には第1のベクトルの重みを大きく
し、背景中の局所的な輝度変化によって生じたエッジの
部分では第3のベクトルの重みを大きくなるようにする
ことができる。このような機構によって、背景部分の不
要なエッジに捕らわれることなく速やかに人物輪郭近傍
へ収束させることができる。
Next, referring to the flow chart of FIG. 12, the processing for determining the destination of the control point will be described. The weighting coefficient changes depending on the edge average value of pixels near the control point. When the edge average value increases, the weighting coefficient of the third vector decreases. By setting the range of this neighborhood area to an appropriate size, the weight of the first vector is increased when the control point is sufficiently close to the human contour, and it is caused by the local luminance change in the background. The weight of the third vector can be increased at the edge portion. With such a mechanism, it is possible to quickly converge the vicinity of the human contour without being caught by an unnecessary edge of the background portion.

【0050】次に、図13を参照して制御点の更新処理
(ステップ81)について説明する。この処理では、背
景部分に存在する不要な物体像に起因するエッジに制御
点が捕らわれてしまうことをさけるために、各探索毎に
位置が前回と同一にならないように、輪郭の端点付近以
外はほぼ等間隔で輪郭上から点を選び新しい制御点列と
する。N回目の更新を行なう前の制御点が図13中13
0に示すようであった場合、N回目の更新では131の
様に制御点が輪郭上で異なる位置になるように選択す
る。なお、制御点の間隔はほぼ等間隔になるように選択
するため、輪郭の長さに応じて制御点の個数は変化す
る。この処理によって、背景部分に多少のエッジが存在
してもこれらのエッジに輪郭が捕らわれることなく、人
物輪郭まで移動していくことができる。
Next, the control point updating process (step 81) will be described with reference to FIG. In this process, in order to avoid trapping the control points at the edges caused by unnecessary object images existing in the background part, in order to avoid the position being the same as the previous time for each search, except for the vicinity of the end points of the contour. A new control point sequence is selected by selecting points from the contour at approximately equal intervals. The control point before the Nth update is 13 in FIG.
When it is as shown in 0, the control point is selected so as to be at a different position on the contour like 131 in the Nth update. Since the intervals between the control points are selected to be substantially equal, the number of control points changes depending on the length of the contour. By this processing, even if there are some edges in the background portion, it is possible to move to the person outline without the outline being caught by these edges.

【0051】以上のようにして、図14に示すように初
期輪郭x1から輪郭が移動していき、探索・移動中の輪
郭x2を介して人物輪郭yまで収束し、人物の輪郭を抽
出することができる。
As described above, the contour moves from the initial contour x1 as shown in FIG. 14, converges to the person contour y through the contour x2 being searched / moved, and extracts the person's contour. You can

【0052】次に抽出輪郭出力部29について説明す
る。ここでは、人物輪郭探索部28で探索された人物輪
郭yを原画像中に原画像と区別できる色で重ね合わせて
ディスプレイ(図示しない)に表示する処理が行われ
る。
Next, the extracted contour output unit 29 will be described. Here, processing is performed in which the person contour y searched by the person contour searching unit 28 is superimposed on the original image in a color that can be distinguished from the original image and displayed on a display (not shown).

【0053】以上のようにして、自動的に設定した初期
輪郭をもとにエッジの探索と移動を繰り返し、人物輪郭
を抽出するようにしたので、オペレータによる概略位置
の指定などの作業を行なわずに、自動的に人物の輪郭を
抽出できる。多数の入力画像に対して処理を行なう必要
がある場合、たとえわずかでもオペレータの処理が必要
であると非常に手間がかかり実用的ではない。この点、
本装置は自動的に人物輪郭を抽出できるので、抽出した
輪郭を用いる様々なシステムを構成することができるよ
うになる。
As described above, the edge search and movement are repeated based on the automatically set initial contour to extract the human contour, so that the operator does not have to perform work such as specifying a rough position. Moreover, the outline of the person can be automatically extracted. When it is necessary to process a large number of input images, even a slight amount of processing by an operator is very troublesome and impractical. In this respect,
Since this apparatus can automatically extract a person's contour, various systems using the extracted contour can be configured.

【0054】なお、上記背景・人物境界位置検出部25
で行われる分割した各区間が背景あるいは人物かを識別
するための特徴を導き出すため処理に輝度画像を用いた
が、この輝度画像の代わりに例えばカラー画像の各成分
画像を用いても良い。さらに、帯状領域R42,L43
をY方向41に複数の区間に分割するため、エッジのY
方向成分の画像の投影波形を求めたが、エッジのX方向
成分画像、X方向成分とY方向成分の和を用いるように
しても良い。
The background / person boundary position detecting unit 25
Although the luminance image is used for the processing for deriving the feature for identifying whether each divided section performed in step 1 is a background or a person, each component image of, for example, a color image may be used instead of this luminance image. Furthermore, the strip regions R42 and L43
Is divided into a plurality of sections in the Y direction 41, the edge Y
Although the projection waveform of the image of the direction component is obtained, the X direction component image of the edge, or the sum of the X direction component and the Y direction component may be used.

【0055】なお、上記実施例では、帯状領域内での、
物体と背景の境界位置を検出する処理を、画像の両脇付
近で背景と人物の肩の境界位置を求めるために行った
が、この処理は一様な背景中に存在する、背景と色や明
るさが異なる物体と、背景との境界位置を検出するため
に一般的に適用できることは言うまでもない。
In the above embodiment, in the strip area,
The process of detecting the boundary position between the object and the background was performed in order to find the boundary position between the background and the shoulders of the person near both sides of the image. It goes without saying that it can be generally applied to detect the boundary position between an object having different brightness and the background.

【0056】さらに、上記実施例では人物輪郭出力部2
9での出力方法はディスプレイ以外にも、プリンタで紙
やフィルムの形で出力したり、計算機のデータファイル
の形式で出力たり、ビデオ信号の形式で出力するなど様
々な方法で出力することが可能である。
Further, in the above embodiment, the human contour output unit 2
In addition to the display, the output method of 9 can be output in various ways such as output in the form of paper or film with a printer, output in the form of computer data file, output in the form of video signal, etc. Is.

【0057】さらに、上記実施例ではCCDカメラを用
いてほぼ均一な背景の下で人物の上半身を撮影し、撮影
した画像中の人物領域の輪郭線を自動的に抽出するよう
にしたが、人物の輪郭線を人物の上半身が写っている画
像中から抽出し、抽出した輪郭を用いて、別に用意した
背景画像中に人物部分だけを合成して表示するようにし
ても良い。
Furthermore, in the above embodiment, the upper half of the body of a person is photographed using a CCD camera under a substantially uniform background, and the contour line of the person region in the photographed image is automatically extracted. It is also possible to extract the contour line of the above from the image showing the upper half of the person, and use the extracted contour to synthesize and display only the person portion in the separately prepared background image.

【0058】本実施例のシステムで得られた人物輪郭を
用いる応用例としては様々なものが考えられる。例え
ば、抽出した人物輪郭を用いて原画像中の人物領域を切
り出し、別に用意した風景画像中にはめ込み合成するシ
ステム、また、樹脂や金属板の加工装置と組み合わせ
て、人物上半身の形状をしたキーホルダーを自動的に作
成するシステムなど、様々な応用形態が可能である。
Various applications are conceivable as application examples using the human contour obtained by the system of the present embodiment. For example, a system that cuts out a person area from the original image using the extracted person outline and inserts it into a separately prepared landscape image, and also combines it with a resin or metal plate processing device to form a keychain in the shape of the upper body of the person. Various application forms are possible such as a system for automatically creating.

【0059】[0059]

【発明の効果】以上詳述したように本発明によれば、自
動的に設定した初期輪郭をもとにエッジの探索と移動を
繰り返し、人物輪郭を抽出するようにしたので、オペレ
ータによる概略位置の指定などの作業を行なわずに、自
動的に人物の輪郭を抽出することができる。
As described above in detail, according to the present invention, the outline of the person is extracted by repeating the search and movement of the edge based on the automatically set initial outline, and thus the outline position by the operator is extracted. The outline of a person can be automatically extracted without performing work such as specifying.

【0060】さらに、背景か人物かを判定する基準値を
更新するようにしているので、光線の具合により陰影が
ついて背景の明るさが一様でなく滑らかに変化している
ような場合でも、背景と物体の境界を検出することがで
きる。さらに、移動する場合に3つのベクトルの重みづ
けの変化する加重和によって制御点を移動させているの
で、輪郭の収束を早く行うことができる。
Further, since the reference value for judging whether the background or the person is updated, even when the background brightness is not uniform and changes smoothly due to the shading of the light rays, The boundary between the background and the object can be detected. Furthermore, since the control point is moved by the weighted sum of weighting of the three vectors that changes when moving, the contour can be converged quickly.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例に係わる物体輪郭抽出装置の
ブロック図。
FIG. 1 is a block diagram of an object contour extraction apparatus according to an embodiment of the present invention.

【図2】背景・人物境界位置検出部25の動作を説明す
るためのフローチャート。
FIG. 2 is a flowchart for explaining the operation of a background / person boundary position detection unit 25.

【図3】背景・人物境界位置検出部25の処理を説明す
るための説明図。
FIG. 3 is an explanatory diagram for explaining processing of a background / person boundary position detection unit 25.

【図4】背景・人物境界位置検出部25の処理を説明す
るためののフローチャート。
FIG. 4 is a flowchart for explaining processing of a background / person boundary position detection unit 25.

【図5】背景・人物境界位置検出部25の区間判定処理
を説明するためのフローチャート。
FIG. 5 is a flowchart illustrating a section determination process of a background / person boundary position detection unit 25.

【図6】初期輪郭設定部27の説明図。FIG. 6 is an explanatory diagram of an initial contour setting unit 27.

【図7】人物輪郭探索部28の動作を説明するためのフ
ローチャート。
FIG. 7 is a flowchart for explaining the operation of the person contour search unit 28.

【図8】人物輪郭探索部28の収束判定処理を説明する
ためのフローチャート。
FIG. 8 is a flowchart for explaining a convergence determination process of a person contour search unit 28.

【図9】人物輪郭探索部28の制御点の移動量を決める
処理の説明図。
FIG. 9 is an explanatory diagram of a process of determining a movement amount of a control point of the human contour search unit 28.

【図10】人物輪郭探索部28の輪郭の画像外へのはみ
出しを防ぐ処理の説明図。
FIG. 10 is an explanatory diagram of a process of preventing the contour of the person contour search unit 28 from protruding outside the image.

【図11】人物輪郭探索部28の輪郭の画像外へのはみ
出しを防ぐ処理の説明図。
FIG. 11 is an explanatory diagram of a process of preventing the contour of the person contour search unit 28 from protruding outside the image.

【図12】人物輪郭探索部28の制御点の移動量を求め
る処理のフローチャート。
FIG. 12 is a flowchart of a process for obtaining a movement amount of a control point of the human contour search unit 28.

【図13】人物輪郭探索部28の制御点の更新処理の説
明図。
FIG. 13 is an explanatory diagram of control point update processing of the human contour search unit 28.

【図14】人物輪郭探索部28の人物輪郭が抽出される
過程の説明図。
FIG. 14 is an explanatory diagram of a process of extracting a person outline by the person outline search unit 28.

【図15】従来の手法の説明図。FIG. 15 is an explanatory diagram of a conventional method.

【図16】従来の手法の説明図。FIG. 16 is an explanatory diagram of a conventional method.

【符号の説明】[Explanation of symbols]

20…制御部、21…CCDカメラ、22…A/D変換
部、23…画像蓄積部、24…エッジ画像作成部、25
…背景・人物境界位置検出部、26…頭頂部位置検出
部、27…初期輪郭設定部、28…人物輪郭探索部、2
9…人物輪郭出力部。
20 ... Control unit, 21 ... CCD camera, 22 ... A / D conversion unit, 23 ... Image storage unit, 24 ... Edge image creation unit, 25
... background / person boundary position detection unit, 26 ... crown position detection unit, 27 ... initial contour setting unit, 28 ... person contour search unit, 2
9 ... Human contour output unit.

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 背景と物体領域との境界線を横切るよう
に設定された帯状領域内の画素についてエッジ値の投影
波形を算出するエッジ値投影波形算出工程と、 上記エッジ値波形算出工程で算出されたエッジ値の投影
波形が第1の基準値によって定まる波形の極大点を境に
上記帯状領域を複数の区間に分割する分割工程と、 この分割工程で発生した複数の区間に対して順次背景か
物体領域であるかの判定を行う背景・物体領域判定工程
とを具備したことを特徴とする背景と物体領域の境界検
出方法。
1. An edge value projection waveform calculation step of calculating a projection waveform of an edge value for a pixel in a band-shaped area set so as to cross a boundary line between a background and an object area, and calculation in the edge value waveform calculation step. A dividing step of dividing the band-shaped area into a plurality of sections with a maximum point of the waveform of the projected waveform of the edge value determined by the first reference value as a boundary; A background / object region boundary detection method comprising: a background / object region determination step of determining whether the object region is an object region.
【請求項2】 上記背景・物体領域判定工程は上記各区
間内の平均輝度が基準輝度の許容範囲内でかつ該区間内
でのエッジ値の平均値が第2の基準値より小さい場合に
は背景と判定し、その他の場合は物体領域であると判定
することを特徴とする請求項1記載の背景と物体領域の
境界検出方法。
2. The background / object region determination step is performed when the average brightness in each section is within an allowable range of reference brightness and the average edge value in the section is smaller than a second reference value. 2. The method for detecting the boundary between a background and an object area according to claim 1, wherein the method determines that it is a background, and otherwise determines that it is an object area.
【請求項3】 上記背景・物体領域判定工程により背景
と判定された場合には、その判定された区間の平均輝度
を次の区間の基準輝度として更新することを特徴とする
請求項2記載の背景と物体領域の境界検出方法。
3. When the background / object region determination step determines that the background is the background, the average luminance of the determined section is updated as the reference luminance of the next section. Boundary detection method between background and object area.
【請求項4】 物体領域の外側に予め設定された初期輪
郭上のエッジ強度から評価値を算出する評価値算出工程
と、 上記初期輪郭を物体領域方向に狭める方向に移動させる
輪郭移動工程と、 この輪郭移動工程で得られた輪郭上にほぼ等間隔で配置
されている制御点のそれぞれのエッジ強度からその輪郭
の評価値を算出する評価値算出工程と、 前回の評価値と今回の評価値を比較することにより輪郭
が収束しているかを判定する収束判定工程と、 この収束判定工程により輪郭が収束していないと判定し
た場合には、さらに輪郭を物体領域方向に狭める方向に
移動させて再度評価値算出工程によりその輪郭の評価値
を算出して上記収束判定工程により輪郭が収束するまで
繰り返すことを特徴とする輪郭抽出方法。
4. An evaluation value calculating step of calculating an evaluation value from an edge strength on an initial contour set outside the object area in advance, and a contour moving step of moving the initial contour in a direction narrowing the object area direction. An evaluation value calculation process that calculates the evaluation value of the contour from the edge strengths of the control points that are arranged at approximately equal intervals on the contour obtained in this contour movement process, the previous evaluation value and the current evaluation value And the convergence determination step for determining whether the contour has converged, and if the convergence determination step determines that the contour has not converged, move the contour further in the direction of narrowing the object region. A contour extraction method characterized in that the evaluation value of the contour is calculated again by the evaluation value calculation step, and repeated until the contour converges in the convergence determination step.
【請求項5】 上記輪郭移動工程は輪郭上の制御点近傍
のエッジ強度最大位置へ向かう第1のベクトルと、該制
御点から張力を受けたと考えた場合に、制御点の釣り合
い位置へ向かう第2のベクトルと、制御点を強制的に人
物方向に動かす第3のベクトルの加重和により制御点の
移動先を決定していることを特徴とする請求項4記載の
輪郭抽出方法。
5. The contour moving step moves to a balanced position of control points when it is considered that a first vector is directed to a maximum edge strength position near a control point on the contour and tension is applied from the control point. 5. The contour extraction method according to claim 4, wherein the destination of the control point is determined by a weighted sum of the second vector and a third vector for forcibly moving the control point toward the person.
【請求項6】 背景を背にした物体の映像を取る撮像手
段と、 この撮像手段で取られた物体の映像デ−タを記憶する記
憶手段と、 上記記憶手段に記憶されている背景と物体領域との境界
線を横切るように設定された帯状領域内の画素について
エッジ値の投影波形を算出し、背景と物体との境界を検
出する背景物体境界検出手段と、 この背景物体境界検出部で検出された境界に基づいて物
体の初期輪郭を設定する初期輪郭設定手段と、 この初期輪郭設定手段で設定された物体の初期輪郭を制
御点上の制御点近傍のエッジ強度最大位置へ向かう第1
のベクトルと、該制御点から張力を受けたと考えた場合
に、制御点の釣り合い位置へ向かう第2のベクトルと、
制御点を強制的に人物方向に動かす第3のベクトルの加
重和により制御点の移動先を決定する物体輪郭探索手段
と、 上記物体輪郭探索手段で探索した輪郭の制御点の評価値
から輪郭の収束を判定する収束判定手段とを具備したこ
とを特徴とする物体輪郭抽出装置。
6. An image pickup means for picking up an image of an object against a background, a storage means for storing image data of the object taken by the image pickup means, and a background and an object stored in the storage means. The background object boundary detection unit that calculates the projection waveform of the edge value for the pixels in the band-shaped area set to cross the boundary with the area and detects the boundary between the background and the object, and this background object boundary detection unit First contour setting means for setting an initial contour of the object based on the detected boundary, and first initial contour of the object set by the initial contour setting means to the edge strength maximum position near the control point on the control point
Of the control point and a second vector heading toward the equilibrium position of the control point when it is considered that the tension is applied from the control point,
An object contour search means for determining the destination of the control point by the weighted sum of the third vector for forcibly moving the control point toward the person, and an outline of the contour based on the evaluation value of the control point of the contour searched by the object contour search means. An object contour extracting device, comprising: convergence determining means for determining convergence.
JP6064001A 1994-03-31 1994-03-31 Boundary detecting method of background and object area, contour extracting method of object and object contour extracting device Pending JPH07271989A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6064001A JPH07271989A (en) 1994-03-31 1994-03-31 Boundary detecting method of background and object area, contour extracting method of object and object contour extracting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6064001A JPH07271989A (en) 1994-03-31 1994-03-31 Boundary detecting method of background and object area, contour extracting method of object and object contour extracting device

Publications (1)

Publication Number Publication Date
JPH07271989A true JPH07271989A (en) 1995-10-20

Family

ID=13245541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6064001A Pending JPH07271989A (en) 1994-03-31 1994-03-31 Boundary detecting method of background and object area, contour extracting method of object and object contour extracting device

Country Status (1)

Country Link
JP (1) JPH07271989A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250221A (en) * 1998-03-04 1999-09-17 Toshiba Corp Method and device for photographing facial picture
JP2007139535A (en) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd Face end detection device and method, and program
JP2009205173A (en) * 2009-06-15 2009-09-10 Toshiba Corp Photographic device and photographic method
CN111524151A (en) * 2020-04-29 2020-08-11 深圳市铭特科技有限公司 Object detection method and system based on background recognition

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250221A (en) * 1998-03-04 1999-09-17 Toshiba Corp Method and device for photographing facial picture
JP2007139535A (en) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd Face end detection device and method, and program
JP2009205173A (en) * 2009-06-15 2009-09-10 Toshiba Corp Photographic device and photographic method
CN111524151A (en) * 2020-04-29 2020-08-11 深圳市铭特科技有限公司 Object detection method and system based on background recognition

Similar Documents

Publication Publication Date Title
US6493465B2 (en) Matching point extracting method and apparatus therefor
JP4328286B2 (en) Face area estimation device, face area estimation method, and face area estimation program
JP5087614B2 (en) Improved foreground / background separation in digital images
US7826659B2 (en) Image processing apparatus and method, computer program, and storage medium dividing an input image into band images
US20160330369A1 (en) Face tracking for controlling imaging parameters
JP3684017B2 (en) Image processing apparatus and method
JP4373840B2 (en) Moving object tracking method, moving object tracking program and recording medium thereof, and moving object tracking apparatus
JPH09322192A (en) Detection and correction device for pink-eye effect
CN110264493A (en) A kind of multiple target object tracking method and device under motion state
JP2004288156A (en) Evaluation of definition of eye iris image
KR20100124738A (en) Automatic redeye detection
JP2007067559A (en) Image processing method, image processing apparatus, and control method of imaging apparatus
JP2004301607A (en) Moving object detection device, moving object detection method, and moving object detection program
JP2002150287A (en) Image detector, image detection method, digital camera and printer
JP2004062393A (en) Method and device for determining attention
JP3774495B2 (en) Image information extracting apparatus and method
JPH07271989A (en) Boundary detecting method of background and object area, contour extracting method of object and object contour extracting device
JP4628851B2 (en) Object detection method and object detection apparatus
JP2018049559A (en) Image processor, image processing method, and program
JP4789526B2 (en) Image processing apparatus and image processing method
CN113992904A (en) Information processing method and device, electronic equipment and readable storage medium
JPH10336506A (en) Image-processing system, system and method for tracking and storage medium
JPH06153047A (en) Video camera system
JP2004288157A (en) Determination of definition score of digital image
JP4380308B2 (en) Face area detection method and apparatus, program, and computer-readable storage medium storing face area detection program