JP3428166B2 - Clustering method and apparatus - Google Patents

Clustering method and apparatus

Info

Publication number
JP3428166B2
JP3428166B2 JP20204894A JP20204894A JP3428166B2 JP 3428166 B2 JP3428166 B2 JP 3428166B2 JP 20204894 A JP20204894 A JP 20204894A JP 20204894 A JP20204894 A JP 20204894A JP 3428166 B2 JP3428166 B2 JP 3428166B2
Authority
JP
Japan
Prior art keywords
image
object
shape model
pixels
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20204894A
Other languages
Japanese (ja)
Other versions
JPH0863599A (en
Inventor
ヤーリントン ダグラス
健一 萩尾
Original Assignee
松下電工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下電工株式会社 filed Critical 松下電工株式会社
Priority to JP20204894A priority Critical patent/JP3428166B2/en
Publication of JPH0863599A publication Critical patent/JPH0863599A/en
Application granted granted Critical
Publication of JP3428166B2 publication Critical patent/JP3428166B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、カメラで撮像した画像から移動物体などの対象物の画像だけを抽出して画像中の各画素がどの対象物を表すのかを調べ、同一対象物を表す画素を統合するクラスタリング方法およびその装置に関する。 BACKGROUND OF THE INVENTION [0001] FIELD OF THE INVENTION The present invention, from the image captured by the camera to extract only the image of an object such as a moving object pixel is any object in the image It represents the either the examined document clustering method and apparatus for integrating pixels representing the same object. 【0002】 【従来の技術】カメラで撮像した画像内の対象物の計数や位置の認識、移動経路の認識を行う場合は、その前処理として、一定の画素の塊がどの対象物を表すものであるかという意味付けを行う処理、即ち、画像中の各画素がどの対象物を表すのかを調べ、同一対象物を表す画素を統合する処理であるクラスタリング処理を行う必要がある。 [0002] Recognition of the counting and positions of objects in images captured by the Prior Art In a camera, when performing recognition of the movement path, as a pretreatment, represent any object mass of certain pixels meaning processing for that or is, i.e., examines whether each pixel in the image represents what the object, it is necessary to perform the clustering process is a process of integrating the pixels representing the same object. また、対象物の位置の認識などクラスタリング処理の後に続く処理においては、対象物を表す全ての画素を扱って処理を行ってもよいが、対象物の形状や位置などの対象物を表す特徴量を代表値として該代表値に対して処理を行う方が扱いやすい。 In the process following the recognition such as clustering processing of the position of the object may be subjected to a treatment deals with all the pixels representing an object, but the feature value representing the object, such as shape and position of the object the is easier to handle for the processing is performed on the representative value as the representative value. そこで、一般的にクラスタリング装置においては、対象物を表す画素を統合して対象物を長方形や多角形などに置き換えて、画像から抽出した対象物の特徴量を出力する。 Therefore, in general, the clustering apparatus replaces the object in such as a rectangle or a polygon by integrating the pixels representing an object, and outputs the feature amount of an object extracted from the image. 【0003】従来の技術を図11〜図16を用いて説明する。 [0003] will be described with reference to FIGS. 11 to 16 conventional techniques. 図11は、クラスタリング装置を示すブロック図である。 Figure 11 is a block diagram showing the clustering apparatus. 図12は、前記クラスタリング装置のクラスタリング処理を説明するイメージ図であり、図12(a) Figure 12 is an image diagram illustrating clustering processing of the clustering apparatus, FIG. 12 (a)
は実際の対象物の輪郭と二値画像上の対象物を示す画素とを表すイメージ図であり、図12(b)は対象物を示す画素の塊の周囲に画素を追加した場合の二値画像のイメージ図であり、図12(c)は前記画素の塊の周囲に画素を追加した後、周囲の画素を取り除いた場合の二値画像のイメージ図である。 Actual is an image diagram showing a pixel indicating the object on the contour and the binary image of the object, FIG. 12 (b) of adding a pixel around a cluster of pixels representing an object binary image is an image view of FIG. 12 (c) after adding a pixel around the mass of the pixels is an image diagram of a binary image in the case of removal of the surrounding pixels. 図13は、他のクラスタリング装置を示すブロック図である。 Figure 13 is a block diagram showing another clustering apparatus. 図14は、前記他のクラスタリング装置のクラスタリング処理を説明するイメージ図であり、図14(a)は二値画像上の対象物を示す画素を表すイメージ図であり、図14(b)は二値画像内においてモデルを移動させていることを示すイメージ図であり、図14(c)は二値画像上の画素の塊とモデルとの類似度が一定以上である場合を示すイメージ図である。 Figure 14 is a is an image diagram illustrating clustering processing other clustering apparatus, FIG. 14 (a) is an image diagram illustrating a pixel indicating the object on the binary image, FIG. 14 (b) binary image it is an image diagram showing that moves the model in the inner, FIG. 14 (c) is an image diagram showing a case where the similarity between the masses and the model of the pixels on the binary image is constant or more. 図15は従来のクラスタリング装置の問題点を説明するイメージ図であり、図15(a)は画素の塊が2つ存在する二値画像を示すイメージ図であり、図15 Figure 15 is an image diagram for explaining a problem of the conventional clustering apparatus 15 (a) is an image diagram showing a binary image cluster of pixels is two, 15
(b)は2つの画素の塊が併合され1つの画素の塊となった二値画像を示すイメージ図である。 (B) is an image diagram showing a binary image lumps of the two pixels becomes the mass of one pixel are merged. 図16も従来のクラスタリング装置の問題点を説明するイメージ図であり、図16(a)は現在の撮像画像を示すイメージ図であり、図16(b)は所定時間後の撮像画像を示すイメージ図であり、図16(c)は現在の撮像画像を二値化した二値画像を示すイメージ図であり、図16(d)は所定時間後の撮像画像を二値化した二値画像を示すイメージ図であり、図16(e)は現在の二値画像とモデルとのマッチングを示すイメージ図であり、図16(f) Figure 16 is also an image diagram illustrating a problem of the conventional clustering apparatus 16 (a) is an image diagram showing a current captured image, and FIG. 16 (b) is an image diagram showing a captured image after a predetermined time FIG. 16 (c) is an image diagram showing a binary image binarizing the current captured image, FIG. 16 (d) is an image diagram showing a binary image obtained by binarizing the captured image after a predetermined time FIG 16 (e) is an image diagram showing a matching between the current binary image and the model, FIG. 16 (f)
は所定時間後の二値画像とモデルとのマッチングを示すイメージ図である。 Is an image diagram showing a matching of the binary image and the model after a predetermined time. 【0004】図11において、1はカメラ、2はA/D [0004] In FIG. 11, 1 denotes a camera, 2 A / D
変換手段、3は背景画像生成手段、4は背景画像記憶用RAM、5は前景抽出手段、6は画素併合手段、7はラベリング手段を表す。 Conversion means 3 is the background image generation means, background image storing RAM 4, 5 is the foreground extracting means, pixel merging means 6, 7 represents a labeling unit. 前景抽出手段5は、差分部5aと二値化部5bとを含んで構成されている。 Foreground extraction unit 5 is configured to include a differential portion 5a and the binarization unit 5b. 【0005】カメラ1は対象領域を撮像し、撮像画像をアナログ映像信号として出力し、A/D変換手段2は該アナログ映像信号をデジタル画像に変換する。 [0005] The camera 1 captures the target area, and outputs the captured image as an analog video signal, A / D converter 2 converts the analog video signal into a digital image. 背景画像生成手段3はあらかじめ対象物の存在しない対象領域を撮像し、撮像画像を背景画像として背景画像記憶用RA Imaging a non-existent target area of ​​the background image generating means 3 is previously object, RA background image storing captured image as a background image
M4に格納する。 And stores it in the M4. 【0006】差分部5aは、前記背景画像とA/D変換手段2が出力する現在のデジタル画像とについて、画像を構成する各画素毎に輝度の差の絶対値演算を行い、演算結果である差分画像を出力する。 [0006] difference portion 5a, the for the current digital image background image and the A / D converter 2 outputs, performs an absolute value calculation of the difference in luminance for each pixel constituting an image, it is the operation result and it outputs a difference image. 【0007】次に二値化部5bは、差分画像を構成する各画素毎に先程演算して求めた輝度差の絶対値と所定のしきい値とを比較し、しきい値より大きい場合にはその画素を「1」とし、しきい値より小さい場合にはその画素を「0」とする。 [0007] Next binarization unit 5b compares the absolute value of the luminance difference obtained by calculating just for each pixel constituting the differential image with a predetermined threshold value, if the threshold is greater than is the pixel as "1", when less than the threshold value for that pixel to "0". これを差分画像全体に対して施し二値画像を得る。 This is obtained a binary image subjected to the entire difference image. 前景抽出手段5は前景画像として最終的に対象物を表す画素だけの二値画像を出力する。 Foreground extraction unit 5 outputs only the binary image pixels representing the final object as the foreground image. 【0008】該二値画像の写り具合が良好な場合は、1 [0008] When the reflected condition of the binary image is good, 1
つの対象物は画素の1つの塊で示される領域に対応するが、二値画像の状態が悪いと、1つの対象物が複数の画像の塊に分かれる場合がある。 One is the object is corresponding to an area represented by a single cluster of pixels, the bad state of the binary image, there is a case where one object is divided into chunks of the plurality of images. つまり、図12(a)に示すように、本来は一つの物体である対象物B1が画素の塊A1と画素の塊A2との二つに分かれた二値画像となる場合がある。 That is, as shown in FIG. 12 (a), originally there is a case where the object B1 is one of the objects is binary image that is divided into two lumps A2 mass A1 and the pixel of the pixel. この状態でラベリング処理を行うと、 Doing labeling process in this state,
画素の塊が2つあるために各々にラベリング番号が付けられ、本来1つの対象物であるものが2つの対象物であるかのごとくにラベリングされる。 Each labeling are numbered in the order cluster of pixels there are two, those which are inherent one object is labeled in as if it were two objects. 【0009】そこで従来のクラスタリング装置では、画像併合手段6が、本来1つの対象物を表すが二値画像上では分かれている画素の塊A1,A2を以下の方法で併合する。 [0009] Therefore, in conventional clustering apparatus, an image merging unit 6, represents the original one object merging mass A1, A2 of the pixels are divided in the binary image by the following method. まず図12(b)に示すように、画素の塊A First, as shown in FIG. 12 (b), the mass of the pixel A
1,A2の全周囲に画素D1を追加すると、画素の塊A 1, adding the entire circumference of the A2 pixels D1, cluster of pixels A
1と画素の塊A2との間に存在する隙間は画素D1により埋められて、画素の塊A1,A2は1つの画素の塊A Gap existing between the 1 and the cluster of pixels A2 is filled with the pixel D1, cluster of pixels A1, A2 lumps of one pixel A
3となる。 3 become. 次に、新たに生成された画素の塊A3の全周囲から画素D1を取り除くと、先ほど隙間に埋められた画素D1は画素の塊A3の周囲ではないので取り除かれることなく、図12(c)に示すように、最初の状態から隙間が取り除かれた状態になり、単一の塊A4が生成される。 Then, when removing the pixel D1 from the entire periphery of the mass A3 of pixels newly generated, without being removed since it is not around the pixel D1 is cluster of pixels A3 buried in earlier gaps, FIG. 12 (c) as shown in, ready to clearance has been removed from the initial state, a single mass A4 are generated. 【0010】ラベリング手段7は、画像併合手段6が出力する画素の塊が併合された二値画像について、画素が「1」であり隣接しているもの同士は同一の対象物を表す画素であるとして、画素に同一のラベリング番号を付与し、ラベリング画像を得る。 [0010] labeling unit 7, the binary image cluster of pixels the image merging unit 6 outputs are merged, is among those pixels are adjacent is "1" is a pixel that represents the same object as, given the same labeling number in pixels, obtaining a labeling image. そして、該ラベリング画像内のラベル付けされた画素の塊の位置、面積、形状を表す特徴値等の情報を記述した対象物情報テーブルを作成し、該対象物情報テーブルに記述されている全てのデータを出力する。 The position of the mass of labeled pixels in the labeling image, the area, to create an object information table describes information of feature values ​​such as representing the shape, all described in the object information table and it outputs the data. 【0011】以上の処理によりクラスタリング処理は完了する。 [0011] The clustering process by the above process is completed. クラスタリング処理の後に続く処理では、該対象物情報テーブルのデータをもとに処理を行う。 In the subsequent process after the clustering process, processing is performed based on the data of the object information table. 例えば、対象物を人間であるとする場合では、対象物情報テーブル内の画素の塊の大きさや形から人間であるか否かを判断し、また対象物情報テーブルに記述された対象物の数から人数を数えるといった処理を行う。 For example, number objects in the case of a a human, it is determined whether the human from the size and shape of the cluster of pixels in the object information table, and from the number of objects described in the object information table performing a process such as counting. 【0012】図13に示す他のクラスタリング装置では、上記した画素の塊の併合を、モデルを用いて行っている。 [0012] In another clustering apparatus shown in FIG. 13, the combined mass of the pixels as described above, it is performed by using the model. 図13において、カメラ1、A/D変換手段2、 13, the camera 1, A / D converter 2,
背景画像生成手段3、背景画像記憶用RAM4、前景抽出手段5は前述のクラスタリング装置と同様であるので説明を省略する。 Background image generation unit 3, a background image storing RAM 4, since the foreground extraction unit 5 is the same as the above-described clustering apparatus omitted. 【0013】図13において、8はマッチング手段、9 [0013] In FIG. 13, the matching means 8, 9
はモデル記憶手段を示す。 It shows the model storage means. マッチング手段8は、図14 Matching means 8, FIG. 14
(a)に示すように画素の塊A5と画素の塊A6とが存在する二値画像があると、図14(b)に示すように所定の順序にてあらかじめモデル記憶手段9に記憶しているモデルT1を二値画像内において移動させ、モデルと重なる画像の部分パターンとモデルとの類似度を測定する。 When a lump of mass A5 and the pixels of the pixel as shown in (a) A6 is binary image present, is stored in advance in the model storage unit 9 in a predetermined order so shown in FIG. 14 (b) moving the model T1 which are in the binary image, it measures the degree of similarity between the partial patterns and the model of the image overlapping with the model. 【0014】類似度が一定以上であれば(図14(c) [0014] If the degree of similarity is predetermined or higher (FIG. 14 (c)
に示す)、その位置にモデルに対応する対象物が存在するものとし、対象物情報テーブルに位置および対応するモデルの情報等を記述して、該対象物情報テーブルの全てのデータを出力する。 Shown), it is assumed that there are objects corresponding to the model at that position, describes information of model position and corresponding to the object information table, and outputs all the data of the object information table. 【0015】クラスタリング処理の後に続く処理では、 [0015] In the subsequent processing after the clustering process,
前述のクラスタリング装置同様に該対象物情報テーブルに記述されたデータをもとに処理を行う。 Above it performs processing based on the data described in the clustering apparatus likewise the object information table. 【0016】 【発明が解決しようとする課題】しかしながら、上述の図11に示すクラスタリング装置にあっては、対象物の知識を利用していないので、図15(a)に示す二値画像において画素の塊A7とA8とが存在し各々の画素の塊が別の対象物を示すものである場合に、クラスタリング処理を行うと図15(b)に示すように画素の塊A [0016] The present invention is, however, in the clustering apparatus 11 described above, because does not utilize knowledge of the object, pixel in the binary image shown in FIG. 15 (a) If the mass of the pixels of each there is a lump A7 and A8 of illustrates an alternative object, a mass of pixels as performed clustering process shown in FIG. 15 (b) a
7,A8は併合されて画素の塊A9一つになることがある。 7, A8 is sometimes are merged become one mass A9 pixel. つまり、近傍にある画素の塊を全て併合するため、 In other words, in order to merge all the cluster of pixels in the vicinity,
本来2つの物体であるものが接近しており2つの物体を表す2つの画素の塊の隙間が小さいために2つの画素の塊は併合されて一つの物体とみなされ、正確にクラスタリングできない場合がある。 Mass of the two pixels for the clearance of the mass of two pixels inherently a two objects representing the two objects are close small is considered merged with one object, may not be accurately clustering is there. 【0017】また、図13に示すようなクラスタリング装置にあっては、対象物の知識としてモデルを利用しているので前述した図11に示すクラスタリング装置における問題はないが、対象物のカメラからの見え方が変化し二値画像での形状も変化すると、変化前に用いていたモデルによりマッチングを行っても対象物を見つけることができず、反対に全く別の対象物として認識される可能性がある。 [0017] In the clustering apparatus as shown in FIG. 13, there is no problem in the clustering apparatus shown in FIG. 11 described above because it uses the model as knowledge of the object, from the object camera If the appearance is also changed shape in the changed binary image, you can not find the object even through matching model that has been used before the change, likely to be recognized as completely different objects in the opposite there is. 【0018】例えば、カメラで撮像した図16(a)に示す撮像画像において、対象物である人間B2が一定時間後に再びカメラで撮像したところ図16(b)に示す撮像画像で示される位置と大きさで人間B3のように見えるとすると、図16(a)に示す撮像画像は前景画像抽出手段により図16(c)に示す二値画像になり、図16(b)に示す撮像画像は前景画像抽出手段により図16(d)に示す二値画像となる。 [0018] For example, in the captured image shown in FIG. 16 taken by the camera (a), the position and human B2 is represented by the captured image shown in FIG. 16 (b) was imaged again camera after a certain time, which is the object When looks like a human B3 in size, the captured image shown in FIG. 16 (a) becomes a binary image shown in FIG. 16 (c) by the foreground image extracting unit, the captured image shown in FIG. 16 (b) the foreground image extraction means becomes a binary image shown in FIG. 16 (d). ここで、図16 Here, FIG. 16
(c)に示す二値画像内の画素の塊A10を発見するためにモデルT2を用いてマッチングしたとすると、同様にモデルT2を用いて図16(d)に示す二値画像の画素の塊A11をマッチングしても、A11とモデルT2 When matched with the model T2 to discover mass A10 of the pixels in the binary image (c), the mass of the pixels of the binary image shown in FIG. 16 (d) using the model T2 similarly even if it is matching the A11, A11 and model T2
との一致度は低く、従って対象物とは認識されない。 Degree of coincidence between the low and therefore not recognized the object. 【0019】このため、正確にクラスタリングすることができず、後に続く処理においても正しく人数をカウントできない等の影響を及ぼすという問題点があった。 [0019] For this reason, it is not possible to accurately clustering, a problem that affects the like are also not able to count the number of people correctly in the process followed there was. 【0020】本発明は、上記問題点を改善するために成されたもので、その目的とするところは、対象物の見え方が変化した場合でも、正確にクラスタリングできるクラスタリング方法およびクラスタリング装置を提供することにある。 [0020] The present invention has been made to improve the above problems, and an object, even if the appearance of the object is changed, provides the clustering method and the clustering apparatus can accurately clustering It is to. 【0021】 【課題を解決するための手段】本発明は上記の問題を解決するために、請求項1記載の発明にあっては、対象領域を撮像した撮像画像とあらかじめ撮像し記憶しておいた背景画像とから対象物のみを表示する前景画像を抽出し、該前景画像内の相互に隣接した画像の集合について画素の塊を示す対象物画像領域を生成し、撮像画像の各画素がどの対象物を表すのかを調べ同一対象物を表す画素を統合するクラスタリング方法において、所定の順序により前記前景画像内の前記対象物画像領域が形状モデル生成の起点となるか否かを判断し、前記形状モデルの起点となる場合は対象物画像領域を起点としてあらかじめ記憶している対象物モデルを参照し起点の位置に対応して大きさを変えた具体的な形状モデルを作成し、形状モデ [0021] According to an aspect of the present invention is to solve the above problems, in the invention of claim 1, you in advance captured and stored with the captured image obtained by capturing an image of a target area by extracting the foreground image to be displayed only object from the had background image, and generates an object image region indicating a cluster of pixels for a set of adjacent images to each other in the front scene image, which pixels of the captured image in the clustering method to integrate pixel representing the same object determine represent an object, determines whether the object image region in the foreground image according to a predetermined sequence as a starting point of the shape model generation, the If the starting point of the shape model to create a specific shape model having different sizes corresponding to the reference of the force point position of an object model stored in advance starting from the object image area, the shape model ルの起点とならない場合は既に作成されているどの形状モデルに属するのかを判断し、前記形状モデルが正しい位置に生成されているかを検証することを特徴とする方法である。 If not a start point Le to determine already belong to which shape model is created, a method characterized by verifying whether the shape model is produced in the correct position. 【0022】また、請求項2記載の発明にあっては、対象領域を撮像し撮像画像を出力する撮像手段と、前記対象領域の背景画像を記憶する背景画像記憶手段と、前記撮像手段の出力する撮像画像とあらかじめ前記背景画像記憶手段に蓄えておいた背景画像とから前景画像を抽出し出力する前景抽出手段と、前記前景画像内の相互に隣接した画素の集合について画素の塊を示す対象物画像領域を生成する対象物画像領域生成手段とを有し、撮像画像から対象物の画像だけを抽出して各画素がどの対象物を表すのかを調べ同一対象物を表す画素を統合するクラスタリング装置において、所定の順序により前記前景画像内の前記対象物画像領域が形状モデル生成の起点となるか否かを判断し前記形状モデルの起点となる場合は対象物画像領域を起 Further, in the second aspect of the invention, an imaging means for outputting a captured image by imaging the target area, and the background image storage means for storing a background image of the target area, an output of said image pickup means subjects presenting foreground extracting means for extracting outputs foreground image and a background image that has been stored in advance in the background image storage means with the captured image, a cluster of pixels for a set of pixels adjacent to each other in the foreground image to be clustering integrating pixels representing an object image region and an object image region generating means for generating an identical object Determine represent only extracted and each pixel which object image of the object from the captured image in the device, if it is determined whether the object image region in the foreground image according to a predetermined sequence as a starting point of the shape model generation as the starting point of the shape model cause the object image area としてあらかじめ記憶している対象物モデルを参照し起点の位置に対応して大きさを変えた Changing the magnitude corresponding to the reference of the force point position of an object model stored in advance as
具体的な形状モデルを作成し形状モデルの起点とならない場合は既に作成されているどの形状モデルに属するのかを判断する形状モデル生成手段と、前記形状モデルが正しい位置に生成されているかを検証する形状モデル検証手段とを有することを特徴とするものである。 Verifying the shape model generation means for determining whether if not a starting point of created shape model specific shape model belongs to which shape models have been created already, whether the shape model is produced in the correct position it is characterized in that it has a shape model validation means. 【0023】 【作用】以上のように構成したことにより、請求項1記載の発明にあっては、対象領域を撮像した画像とあらかじめ撮像し記憶して蓄えておいた背景画像との差分画像である前景画像を抽出し、前景画像内の相互に隣接する画素の塊を塊毎に統合して一つとして取り扱えるように画素の塊を示すものとして対象物画像領域を生成し、全ての画素の塊について対象物画像領域を生成した後、全ての対象物画像領域についてその対象物画像領域が形状モデルを生成する起点になるか否かを判定し、起点になる条件を備えている対象物画像領域を発見すれば、該対象物画像領域を起点としてあらかじめ記憶している対象物モデルを参照して形状モデルを生成し、起点になる条件を備えておらず既に作成されている形状モデルに属する対 By [0023] [action] by being configured as described above, in the invention of claim 1, wherein the difference image between the background image that has been stored in advance captured and stored with the image of the captured target region extracting some foreground image, to generate an object image region as indicating a cluster of pixels to be handled a mass of pixels adjacent to each other in the foreground image as one integrated into each mass of all the pixels after generating the object image area for mass, whether the object image area is the starting point for generating a shape model for all object image area, the object image and a condition that a starting point if discovered regions, by referring to the object model stored in advance the object image area starting to generate a shape model belongs to a shape model is created already not provided with a condition that a starting point versus 象物画像領域であればその形状モデルに含まれるものとして分類し、生成された形状モデルが正しい位置に生成されているかを検証し、正しいと認められた形状モデルの位置と大きさをクラスタリング処理の結果として出力する。 If elephant product image region classified as being included in the geometric model, the generated shape model is verified whether the generated correct position, the clustering the position and size of the right and accepted shape model It is output as a result of. 【0024】また、請求項2記載の発明にあっては、前景抽出手段は、撮像手段が撮像した画像とあらかじめ背景画像記憶手段に蓄えておいた背景画像との差分画像である前景画像を得て、対象物画像領域生成手段は前景画像内の相互に隣接する画素の塊を塊毎に統合して一つとして取り扱えるように画素の塊を示すものとして対象物画像領域を生成し、全ての画素の塊について対象物画像領域を生成した後、形状モデル生成手段は全ての対象物画像領域についてその対象物画像領域が形状モデルを生成する起点になるか否かを判定し、起点になる条件を備えている対象物画像領域を発見すれば、該対象物画像領域を起点としてあらかじめ記憶している対象物モデルを参照して形状モデルを生成し、起点になる条件を備えておらず既に作成さ Further, in the invention of claim 2, wherein, the foreground extracting means, to obtain a foreground image which is a difference image between the background image imaging means had been stored in advance in the background image storage means with an image captured Te, the object image area generation unit generates the object image region as indicating a cluster of pixels to be handled as a single integrated chunks of pixels adjacent to each other in the foreground image for each chunk, all after generating the target image region for cluster of pixels, the shape model generation means determines whether the object image area is the starting point for generating a shape model for all object image area, the origin condition if found object image area and a, with reference to the object model stored in advance the object image area starting to generate a shape model, already not provided with a condition that a starting point to create ている形状モデルに属する対象物画像領域であればその形状モデルに含まれるものとして分類し、形状モデル検証手段は形状モデルが正しい位置に生成されているかを検証し、該形状モデル検証手段が正しいと認めた形状モデルの位置と大きさをクラスタリング処理の結果として出力する。 Classified as being included in the geometric model if the object image regions belonging to it has a shape model, the shape model verification means verifies whether the generated shape model is correct position, the correct shape-model validation means and outputs as the result of the clustering process the position and size of the recognized shape model. 【0025】 【実施例】本発明の実施例を図1〜図10を用いて説明する。 [0025] will be described with reference to FIGS. 1-10 an embodiment of EXAMPLES The invention. 図1は、本発明のクラスタリング装置の一実施例を示すブロック図である。 Figure 1 is a block diagram showing an embodiment of a clustering apparatus of the present invention. 図2は、本実施例のカメラで撮像した撮像画像を示すイメージ図である。 Figure 2 is an image view showing a captured image captured by the camera of the present embodiment. 図3は、本実施例の前景抽出手段が出力する二値画像の例を示すイメージ図である。 Figure 3 is an image diagram illustrating an example of a binary image output from the foreground extraction means of the present embodiment. 図4は、本実施例の対象物画像領域生成手段が出力する外接長方形を説明するイメージ図である。 Figure 4 is an image diagram illustrating a bounding rectangle for outputting the object image area generation unit of the present embodiment. 図5は、本実施例の外接長方形テーブルを示すイメージ図である。 Figure 5 is an image diagram showing a circumscribing rectangle table of the present embodiment. 図6は、本実施例の対象物モデルを説明するイメージ図であり、図6(a)は撮像画像を示すイメージ図であり、図6(b)は対象物モデルから撮像画像内の前景に対応した形状に形状モデルを生成するイメージを表すイメージ図である。 Figure 6 is an image diagram illustrating an object model of the present embodiment, FIG. 6 (a) is an image diagram showing a captured image, FIG. 6 (b) corresponding to the foreground in the captured image from the object model it is a conceptual diagram representing an image to generate a shape model to the shape. 図7は、本実施例の形状モデルの生成過程を説明するを示すイメージ図であり、 Figure 7 is an image diagram showing a illustrating a process of generating a shape model of this embodiment,
図7(a)は画像に中心から外接長方形を螺旋状に検索する処理を示すイメージ図であり、図7(b)は最初に検出した外接長方形について形状モデルを生成することを示すイメージ図であり、図7(c)はさらに外接長方形を螺旋状に検索する処理の続行を示すイメージ図であり、図7(d)は新たな外接長方形を検出し形状モデルを生成することを示すイメージ図である。 7 (a) is an image diagram showing processing for searching around the bounding rectangle spirally from the image, and FIG. 7 (b) is an image diagram showing generating a shape model for the first circumscribed rectangle detected, FIG. 7 (c) is an image diagram showing the continuation of the process to further search the bounding rectangle helically, FIG. 7 (d) is an image diagram showing generating a shape model to detect a new circumscribed rectangle. 図8は、本実施例の形状モデルテーブルを示すイメージ図である。 Figure 8 is an image view showing a shape model table of the present embodiment. 図9は、本実施例の形状モデルを説明するイメージ図である。 Figure 9 is an image view illustrating the shape model of the present embodiment. 図10は、撮像画像に本実施例の形状モデルを重ね合わせたイメージ図である。 Figure 10 is an image diagram obtained by superimposing the shape model of this embodiment in the captured image. 【0026】図1において、10は撮像手段に相当するカメラを、11はA/D変換手段を示す。 [0026] In FIG. 1, 10 a camera corresponding to the image pickup means, 11 denotes an A / D converter. カメラ10は天井等の人間の頭上に設置されており、上方より対象領域を撮像し、アナログ映像信号をA/D変換手段11へ出力する。 The camera 10 is installed in the overhead of the human ceiling or the like, and images the target region from above, and outputs an analog video signal to the A / D converter 11. A/D変換手段11は該アナログ映像信号を図2に示すデジタル画像に変換し、該デジタル画像を前景抽出手段14に出力する。 A / D converter 11 converts the digital image showing the analog video signal in FIG. 2, and outputs the digital image to the foreground extracting section 14. 【0027】背景画像生成手段12は、初期設定時等にあらかじめ撮像した対象物の存在しない背景のみの画像である背景画像を、A/D変換手段11の出力するデジタル画像から生成し、背景画像記憶手段13に格納する。 The background image generation unit 12, a background image is an image of only non-existent background object previously captured at the time of initial setting or the like, generated from the digital image outputted from the A / D conversion unit 11, a background image stored in the storage unit 13. 【0028】前景抽出手段14は差分部14aと二値化部14bとを含んで構成されており、カメラ10で撮像した画像から背景を取り除き移動物体等の対象物の画像を抽出する処理を行う。 The foreground extraction unit 14 is configured to include a differential portion 14a and the binarization unit 14b, it performs a process of extracting an image of an object such as a moving object removed the background from the image captured by the camera 10 . 【0029】差分部14aは、背景画像とA/D変換手段11が出力する現在のデジタル画像とについて、画像を構成する各画素毎に輝度の差の絶対値演算を行い、演算結果である差分画像を出力する。 The difference unit 14a, for the current digital image background image and the A / D converter 11 outputs, performs an absolute value calculation of the difference in luminance for each pixel constituting an image, a calculation result difference and outputs the image. 【0030】二値化部14bは、前述の差分画像を構成する各画素毎に先程演算して求めた輝度差の絶対値と所定のしきい値とを比較し、しきい値より大きい場合にはその画素を「1」とし、しきい値より小さい場合にはその画素を「0」とする。 The binarization unit 14b compares the absolute value with a predetermined threshold value of the luminance difference obtained by calculating just for each pixel constituting the difference image described above, if the threshold is greater than is the pixel as "1", when less than the threshold value for that pixel to "0". これを差分画像全体に対して施し図3に示す二値画像を得て、対象物画像領域生成手段15に該二値画像を出力する。 To obtain a binary image shown in subjecting Figure 3 this for the entire differential image, and outputs the binary image with the object image area generation unit 15. 【0031】対象物画像領域生成手段15は、前記二値画像内の画素の塊を構成する画素を統合して1つのものとして扱うために対象物画像領域に相当する外接長方形を生成するものであり、ノイズ除去部15aとラベリング部15bと外接長方形作成部15cとを含んで構成されている。 The object image area generation unit 15 is for generating a bounding rectangle corresponding to the object image region to deal with the pixels constituting the cluster of pixels in said binary image as to the one integrated There, it is configured to include a noise removing unit 15a and the labeling unit 15b and the bounding rectangle creation unit 15c. 【0032】前記二値画像内には、対象物の画像と何ら関連を持たない画素の結合であるノイズ領域が含まれている可能性がある。 [0032] The said binary image, which may contain a noise region is the binding of the pixel that has no any connection with the image of the object. そこで、ノイズ除去部15aは二値画像に含まれるノイズの画素を除去するため、まず、画素の塊の周囲を構成する画素を除去する収縮処理を一度行って孤立画素や細い線状の画素の塊を除去し、その後に、元の大きさに戻すために画素の塊の周囲に画素をつけ加える膨張処理を一度行う。 Therefore, since the noise removing unit 15a for removing pixels of noise included in the binary image, first, once performed by isolated pixels and thin linear pixel erosion processing of removing the pixels constituting the periphery of the cluster of pixels to remove lumps, subsequently performed, an expansion processing for adding the pixel around the cluster of pixels in order to return to its original size once. 【0033】ラベリング部15bは、前記ノイズ除去をした二値画像について同一の画素の塊を構成する画素に同一のラベリング番号を付与し、ラベリング画像として外接長方形作成部15cに出力する。 The labeling unit 15b, the the binary image in which the noise removal given the same labeling number pixels constituting the mass of the same pixel, and outputs it as the labeling image bounding rectangle creation unit 15c. 【0034】外接長方形作成部15cは、図4に示すように前記同一番号を付与された画素の塊について外接長方形を作成し、外接長方形の面積が一定以下のものを除去し、外接長方形が含んでいる画素に付与されているラベリング番号を外接長方形番号として外接長方形に付与する。 The bounding rectangle creation unit 15c creates a bounding rectangle for the mass of the same number of pixels that are granted, as shown in FIG. 4, the area of ​​the bounding rectangle is removed as a constant less circumscribed rectangle contains labeling number given to Dale pixel applied to bounding rectangle as a bounding rectangle numbers. 即ち、ラベリング画像内の画素の塊は全て外接長方形に置き換えられて、面積の条件を満たした外接長方形が図5に示す外接長方形テーブルにフィレ座標形式で外接長方形番号と共に記録される。 That is, it replaced all bounding rectangle cluster of pixels in the labeling image bounding rectangle satisfying the condition of the area is recorded together with the bounding rectangle numbers in the filet coordinates format bounding rectangle table shown in FIG. 【0035】形状モデル生成手段16は、形状モデル生成手段16内に有する対象物モデルから対象物の輪郭を示す多角形である形状モデルを作成する。 The shape model generation means 16 generates a shape model is a polygon outlining the object from the object model having a shape model generating unit 16. 【0036】対象物モデルとは、対象物の形状を記述したものであり、画像上での位置を指定するとその位置における対象物の大きさ、向きなどを具体的にした形状モデルを生成するためのものである。 [0036] The object model, which describes the shape of the object, specifying a position on the image size of the object at that position, for generating a shape model in which the orientation, etc. Specific belongs to. 本実施例では、形状モデル生成手段16は対象物モデルとして人間のモデルを有している。 In this embodiment, the shape model generation means 16 includes a human model as object model. 【0037】ここでカメラ10を、前述のように天井等に設置して上方から人間を撮像した場合、図6(a)に示すように人間の身長はカメラ画像の中心から周辺に向けて伸び、カメラ画像の中心付近では人間B4を真上から見ることになるので、身長は短く見える。 [0037] The camera 10 here, when a photographic humans from above was placed on the ceiling or the like as described above, toward the periphery from the center of the human body height camera image as shown in FIG. 6 (a) elongation , so will see the human B4 from directly above in the vicinity of the center of the camera image, stature looks short. 一方、カメラ画像の周辺部に人間B5が撮像されたときは、カメラ10は斜め上方から人間を撮像することになるので身長が前述の場合より長く見える。 Meanwhile, when the human B5 is captured in the peripheral portion of the camera image, the camera 10 it means for imaging the human from diagonally upward height look longer than in the previous case. つまり、カメラ10に対しての人間の立つ位置により、カメラ画像上での人間の見え方は変化し、人間の立つ位置と見え方との間には一定の関係がある。 That is, by man's standing position of the camera 10, the human appearance on the camera image is changed, there is a relationship between the appearance and the man's standing position. 【0038】そこで、形状モデル生成手段16は、図6 [0038] Therefore, the shape model generation means 16, FIG. 6
(b)に示すように、形状モデル生成手段16があらかじめ保持している対象物モデルM0から、カメラ画像の中心付近にいる人間B4の形状モデルM1は小さく、カメラ画像の周辺部にいる人間B5の形状モデルM2は大きくなるように、対象物である人間の位置に対応して形状モデルを生成する。 (B), the from the object model M0 shape model generating unit 16 is held in advance, the shape model M1 of human B4 which are near the center of the camera image is small, the human being in the periphery of the camera image B5 shape model M2 as increases of generating a shape model corresponding to the human position as an object. 【0039】次に、形状モデル生成手段16が図4に示す外接長方形で表現される画像から対象物の存在を示す形状モデルを生成する方法を説明する。 Next, a method of geometric model generation unit 16 generates a shape model that indicates the presence of an object from the image represented by the bounding rectangle shown in FIG. 【0040】まず形状モデル生成手段16は、図7 Firstly shape model generating unit 16, FIG. 7
(a)に示すように、外接長方形テーブルに記録されている外接長方形の中から、外接長方形テーブルに記述された外接長方形の座標をもとに、座標が画像の中心Cに近い順に中心から螺旋状に外側に向けて順次検索し外接長方形を選択する。 (A), the helix from the bounding rectangle that is recorded in the bounding rectangle table, based on the bounding rectangle coordinates described in the bounding rectangle table, the center coordinates in the order closer to the center C of the image selecting a sequential search circumscribed rectangle outward to Jo. 【0041】処理対象の外接長方形は、先に生成した形状モデルの中に含まれる場合(外接長方形の一部分が形状モデルと重なる場合を含む)と、形状モデルに含まれない場合とがある。 The processing target bounding rectangle may or may if included in the shape model generated previously which (including the case where part of the bounding rectangle overlaps the shape model), not included in the geometric model. 【0042】最初に検索された外接長方形R1は、まだ形状モデルが存在しないので、外接長方形R1の重心の位置を起点として対象物モデルを参照して形状モデルを生成する(図7(b))。 The bounding rectangle R1 which is searched first because there is no still shape model, the position of the center of gravity of the bounding rectangle R1 with reference to the object model as the starting point for generating a shape model (FIG. 7 (b)) . そして、図8に示す形状モデルテーブルに、何番目に生成した形状モデルであるのかを示す「形状モデル番号」として最初に生成した形状モデルであるので1番を、形状モデル生成の「起点の座標」として外接長方形R1の重心位置を、「形状」として多角形の形状を、そして「形状モデル内に含まれる外接長方形」として起点となった外接長方形R1の外接長方形番号を記述し、再び前述の螺旋状に外接長方形を検索する処理を続ける。 Then, the shape model table shown in FIG. 8, No. 1 since it is initially formed shape model as "shape model number" indicating whether a shape model generated in ordinal number, the shape model generation "origin of coordinates the center of gravity of the bounding rectangle R1 as "," a polygonal shape as a shape ", and describes the bounding rectangle numbers of the enclosing rectangle R1 with the starting point as a" bounding rectangle contained within the shape model ", again described above Continue processing for searching circumscribed rectangles in a spiral shape. 【0043】図7(c)に示すように外接長方形R2が形状モデルに含まれる場合および部分的に含まれる場合は、形状モデルテーブル内の外接長方形R2を含む形状モデルの「形状モデル内に含まれる外接長方形」の項目に外接長方形R2の外接長方形番号を書き込み、再び螺旋状に外接長方形を検索する処理を継続する。 [0043] If a bounding rectangle R2 as shown in FIG. 7 (c) is contained in the case and partially included in the shape model, contained in the "shape model of the shape model including the bounding rectangle R2 in the shape model table in the item of the circumscribed rectangle "writes the bounding rectangle numbers of the enclosing rectangle R2 which continues the process of searching the bounding rectangle again spirally. 【0044】さらに螺旋状に検索を行うと形状モデル生成手段16は外接長方形R3を選択し、 外接長方形R3 [0044] Further to search in a spiral shape model generating unit 16 selects the bounding rectangle R3, bounding rectangle R3
は先に生成した形状モデルM1に含まれないので、新た Since it is not included in the geometric model M1 generated earlier, new
に形状モデルM2を生成する。 Generating a shape model M2 in. そして、形状モデルテー The shape Moderute
ブルに、何番目に生成した形状モデルであるのかを示す In Bull, indicates whether the a shape model generated in what number
「形状モデル番号」として2番を、形状モデル生成の No. 2 as "shape model number", the shape model generation
「起点の座標」として外接長方形R3の重心位置を、 The center of gravity of the bounding rectangle R3 as "starting point coordinate",
「形状」として多角形の形状を、「形状モデル内に含ま A polygonal shape as a "shape", included in the "shape model
れる外接長方形」として起点となった外接長方形R3の The bounding rectangle "as the bounding rectangle R3, which became the starting point
外接長方形番号を記述する。 Describing the bounding rectangle number. 以後同様にして、全ての外接長方形について形状モデルを生成するかまたは他の形状モデルに含まれるものとして形状モデルテーブルの「形状モデルに含まれる外接長方形」の項目に外接長方形番号を書き込む処理を行い、処理終了後に形状モデルテーブルの全データを形状モデル検証手段17に出力する。 Thereafter in the same manner, it performs a process of writing the bounding rectangle numbers in the item "bounding rectangle that is included in the shape model" of the shape model table as being included in or otherwise shape model for generating a shape model for all of the circumscribed rectangle , and outputs all the data of the shape model table shape model verification unit 17 after the process is completed. 【0045】形状モデル検証手段17は形状モデル生成手段16の生成する形状モデルテーブルに記述された「形状」から求められる形状モデルの面積と形状モデルに含まれる外接長方形の面積の合計との割合を計算し、 The shape model verification unit 17 the ratio of the total area of ​​a circumscribed rectangle included in the area and the shape model of the shape model obtained from written in a shape model table to generate a shape model generating unit 16 "shape" calculated,
該割合が所定の割合以上あることと、形状モデルからはみ出している外接長方形についての縦横の長さが所定の長さ以下であることを条件として形状モデルが正しい位置に生成されているかを検証する。 To verify the that the proportion is more than the predetermined ratio, or length and width of the bounding rectangle that protrudes from the shape model is produced in a shape model correct position condition that is less than a predetermined length . 条件が満たされない場合は、形状モデル検証手段17は、その形状モデルは誤生成されたものであるとして削除する。 If the condition is not satisfied, the shape model verification unit 17 deletes the shape model as those that have been erroneously generated. 【0046】例えば、図9に示す形状モデルM1内には、形状モデルM1の外接長方形R1とR2とR4とが存在する。 [0046] For example, in the shape model M1 shown in FIG. 9, there is a bounding rectangle R1 geometric model M1 and R2 and R4. この場合、形状モデル検証手段17は形状モデルM1の面積と外接長方形R1,R2,R4の面積の合計が略等しく、外接長方形のはみ出している部分も小さいので形状モデルM1の位置には対象物が存在し、また形状モデルM1の生成は適切であったと判断する。 In this case, the shape model verification means 17 area as the bounding rectangle R1 of the shape model M1, R2, sum substantially equal to the area of ​​R4, the object at the position of the bounding rectangle of the protrusion and is partially because even small geometric model M1 is exist, also generates a shape model M1 is judged to be appropriate. しかし、形状モデルM4について考えると、形状モデル検証手段17は、形状モデルM4内には外接長方形R5のみしか存在せず形状モデルM4の面積と外接長方形R5 However, considering the shape model M4, the shape model validation means 17 is in the shape model M4 circumscribing the area of ​​the shape model M4 only exists only bounding rectangle R5 rectangle R5
との面積も全く違うため、形状モデルM4を生成した位置に対象物が存在しないと判断する。 The area also completely different with, it is determined that the object in a position to generate a shape model M4 is absent. 【0047】形状モデル検証手段17は、誤生成の形状モデルのデータを削除した後、形状モデルテーブルの全データを出力し、クラスタリング処理を完了する。 The shape model verification unit 17, after deleting the data of the geometric model of erroneous generation, and outputs all the data of the shape model table completes the clustering process. クラスタリング処理終了後は、図2に示すカメラ画像と形状モデル生成手段16が生成した形状モデルを重ね合わせると図10に示すようなイメージになり、3人の人間の上に重なるように形状モデルである多角形が生成されている。 After the clustering process is completed, when superimposing the camera image and the shape model shape model generating unit 16 has generated as shown in FIG. 2 will image as shown in FIG. 10, in the shape model to overlie the 3 person there polygons are generated. 【0048】クラスタリング処理の後に続く処理では、 [0048] In the subsequent processing after the clustering process,
この形状モデルテーブルのデータを用いて対象物の位置の認識や移動経路の認識を行う。 To recognize the recognition and movement path of the position of the object using the data of the shape model table. 【0049】なお、実施例では対象物画像領域として外接長方形を用いているが、画素の塊にアクセスできる方法であれば、長方形でなく多角形や円、画素の塊の輪郭を対象物画像領域として使用する方法や、画素そのものをデータとして保持する方法等を用いても可能である。 [0049] Incidentally, although the embodiment uses the bounding rectangle as the object image area, as long as the method can access the cluster of pixels, a polygon or a circle rather than rectangular, the object image area outline of the cluster of pixels a method of use as a possible by using a method such as to hold the pixel itself as data.
このような方法を用いた場合は処理が複雑になるが、形状モデル検証手段はより正確な形状モデルの検証を行うことが可能となる。 Such method processing in the case of using is complicated, the shape model validation means making it possible to verify the more precise shape model. 【0050】また、本実施例ではカメラ10を対象物である人間の上方に設置して撮像するが、カメラ10の設置位置は対象物である人間の上方のみに限られるものではなく、例えば人間の側方にカメラ10を設置して側方から撮像してもよい。 Further, in the present embodiment will be imaged by installing above a human as an object the camera 10, the installation position of the camera 10 is not limited only to the above the human as an object, for example human the camera 10 on the side may be captured from the side and installation. 対象物はカメラ10の設置位置から離れるに従って、カメラ画像上に写る対象物の画像は消失無限遠点に近づくので、例えばカメラ画像中央付近に消失無限遠点がある場合は、カメラ画像の底辺付近に人間の足を表す画像がある対象物はカメラ10に近く、 Accordance object away from the installation position of the camera 10, the image of the object taken on the camera image approaches a vanishing point at infinity, for example, when the near camera image center is lost infinity point, near the bottom of the camera image close to the object the camera 10 there is an image representing a human foot,
カメラ画像の中央付近に人間の足を表す画像がある対象物はカメラ10から離れて立っているということができる。 Object is an image representing a human foot in the vicinity of the center of the camera image can be said that stands apart from the camera 10. そこで、本実施例のようにカメラ10を人間の上方に設置した場合は形状モデル生成手段はカメラ画像の周辺部にいる人間には大きな形状モデルを生成し、またカメラ画像の中心の近くにいる人間には小さな形状モデルを生成するが、カメラ10を対象物の側方に設置した場合は、カメラ10の近くにいる人間には大きな形状モデルを生成し、カメラ10から離れた位置にいる人間には小さな形状モデルを生成するようにされる。 Therefore, the shape model generation means when installed the camera 10 above the human as in this embodiment generates a larger shape model to the human being in the periphery of the camera image, also are near the center of the camera image human to human but generates a small shape model, the case of installing the camera 10 to the side of the object, which generates a large shape model to the human in the vicinity of the camera 10, in a position away from the camera 10 is to generate a small shape model. 【0051】外接長方形作成部15cは、外接長方形が含んでいる画素に付与されているラベリング番号を外接長方形番号として外接長方形に付与するが、幾つかの外接長方形は面積の大きさの条件を満たさず削除されているため、外接長方形番号は必ずしも通し番号とはならず一部欠落する部分がある。 The bounding rectangle creation unit 15c is applied to the circumscribing rectangle labeling number assigned to a pixel that contains the bounding rectangle as the bounding rectangle numbers, some of the circumscribed rectangle satisfy the condition of the size of the area because they are removed without circumscribing rectangle number is always part of the missing portion does not become serial. 本実施例ではラベリング番号をそのまま外接長方形番号として用いているが、このような場合には必要に応じて外接長方形番号を通し番号となるように付け直す処理を行ってもよい。 In the present embodiment uses a labeling number as it bounding rectangle number, such processing may be performed reattached such that the serial numbers of the bounding rectangle numbers as required in the case. 外接長方形番号を通し番号とすることにより、形状モデル生成手段1 By the bounding rectangle number and serial number, the shape model generation means 1
6内での繰り返し処理や外接長方形の計数が容易になる。 Counting iteration and bounding rectangle becomes easy in the 6. 【0052】また、形状モデル生成手段16では形状モデルの生成の起点を検出した外接長方形の重心位置としているが、該起点は外接長方形の重心位置に限るものではなく、例えば外接長方形の包含する画素の塊の重心位置や、外接長方形の輪郭上で画像の中心位置に最も近い点、外接長方形の包含する画素の塊の輪郭上で画像の中心位置に最も近い点を形状モデル生成の起点としてもよい。 [0052] Further, although the starting point of generation of the shape model generation means 16 in the shape model is a gravity center position of the detected bounding rectangle, the standing points is not limited to the center of gravity of the bounding rectangle, for example, the pixel includes the circumscribed rectangle and the center of gravity of the mass, a point closest to the center position of the image on the bounding rectangle of the contour, also the point closest to the center position of the image on the contour of the cluster of pixels including the bounding rectangle as a starting point of the shape model generation good. この場合、処理は実施例と比較して複雑になるがより正確な形状モデルの生成が期待できる。 In this case, the process becomes complicated compared with Example expected generation of more accurate shape model. 【0053】 【発明の効果】本発明のクラスタリング装置は上述のように構成してあるから、請求項1記載の発明にあっては、対象物画像領域を起点として大きさを変えた具体的 [0053] Since the clustering apparatus of the present invention, according to the present invention are constituted as described above, specifically In the invention of claim 1, wherein, for changing the size of starting the object image area
形状モデルを生成するので、対象物の見え方が変わっても、正確にクラスタリングできるクラスタリング方法を提供することができるという効果を奏する。 Since generating a shape model, even if the appearance of the object is changed, an effect that it is possible to provide a clustering method that can accurately clustering. 【0054】請求項2記載の発明にあっては、前記の請求項1の発明を具現化して、対象物の見え方が変わっても、正確にクラスタリングできるクラスタリング装置を提供することができるという効果を奏する。 [0054] In the second aspect of the invention, embodying the invention of claim 1, even if the appearance of the object is changed, the effect that it is possible to provide a clustering apparatus capable of accurately clustering achieve the.

【図面の簡単な説明】 【図1】本発明のクラスタリング装置の一実施例を示すブロック図である。 Is a block diagram showing an embodiment of a clustering apparatus BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] present invention. 【図2】上記実施例のカメラで撮像した撮像画像を示すイメージ図である。 Figure 2 is an image diagram showing a captured image captured by the camera of the above embodiments. 【図3】上記実施例の前景抽出手段が出力する二値画像の例を示すイメージ図である【図4】上記実施例の対象物画像領域生成手段が出力する対象物画像領域を説明するイメージ図である。 [3] In an image diagram illustrating an object image region foreground extracting means is an image diagram illustrating an example of a binary image is output [4] object image area generation unit of the above embodiment is the output of the above-described embodiment is there. 【図5】上記実施例の対象物画像領域テーブルを示すイメージ図である。 Figure 5 is an image diagram showing an object image area table in the above embodiment. 【図6】上記実施例の対象物モデルを説明するイメージ図である。 6 is a conceptual diagram illustrating an object model of the above embodiment. 【図7】上記実施例の形状モデルの生成過程を説明するを示すイメージ図である。 7 is an image diagram showing a illustrating a process of generating a shape model of the above embodiment. 【図8】上記実施例の形状モデルテーブルを示すイメージ図である。 8 is an image diagram showing a shape model table of the above embodiment. 【図9】上記実施例の形状モデルを説明するイメージ図である。 9 is a conceptual diagram illustrating a shape model of the above embodiment. 【図10】上記実施例の形状モデルと撮像画像を重ね合わせたイメージ図である。 Figure 10 is an image diagram obtained by superimposing the shape model and the captured image in the above embodiment. 【図11】従来例のクラスタリング装置のブロック図である。 11 is a block diagram of a conventional example of clustering apparatus. 【図12】上記従来例のクラスタリング処理を説明するイメージ図である。 12 is an image diagram illustrating clustering process of the prior art. 【図13】従来のクラスタリング装置の他の例を示すブロック図である。 13 is a block diagram showing another example of conventional clustering apparatus. 【図14】上記従来の他の例のクラスタリング処理を説明するイメージ図である。 14 is an image diagram illustrating clustering process of another conventional example. 【図15】従来のクラスタリング装置の問題点を説明するイメージ図である。 15 is a conceptual diagram of the problem will be described in the conventional clustering apparatus. 【図16】従来のクラスタリング装置の問題点を説明するイメージ図である。 16 is a conceptual diagram illustrating a problem of the conventional clustering apparatus. 【符号の説明】 10 撮像手段13 背景画像記憶手段14 前景抽出手段15 対象画像領域生成手段16 形状モデル生成手段17 形状モデル検証手段 [Description of reference numerals] 10 imaging unit 13 the background image storage means 14 foreground extraction unit 15 target image area generation unit 16 geometric model generation means 17 shape model verification means

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平7−296162(JP,A) 特開 平3−35399(JP,A) 特開 平7−49950(JP,A) 特開 平6−20049(JP,A) (58)調査した分野(Int.Cl. 7 ,DB名) G06T 7/60 JICSTファイル(JOIS) ────────────────────────────────────────────────── ─── of the front page continued (56) reference Patent flat 7-296162 (JP, a) JP flat 3-35399 (JP, a) JP flat 7-49950 (JP, a) JP flat 6- 20049 (JP, a) (58 ) investigated the field (Int.Cl. 7, DB name) G06T 7/60 JICST file (JOIS)

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 対象領域を撮像した撮像画像とあらかじめ撮像し記憶しておいた背景画像とから対象物のみを表示する前景画像を抽出し、該前景画像内の相互に隣接した画像の集合について画素の塊を示す対象物画像領域を生成し、撮像画像の各画素がどの対象物を表すのかを調べ同一対象物を表す画素を統合するクラスタリング方法において、所定の順序により前記前景画像内の前記対象物画像領域が形状モデル生成の起点となるか否かを判断し、前記形状モデルの起点となる場合は対象物画像領域を起点としてあらかじめ記憶している対象物モデルを参照し起点の位置に対応して大きさを変えた具体的な形状モデルを作成し、形状モデルの起点とならない場合は既に作成されているどの形状モデルに属するのかを判 (57) Patent Claims 1. A pre-imaged and captured image obtained by capturing an image of a target area by extracting the foreground image to be displayed only object from the background image that has been stored, the front scene image mutually generates an object image region indicating a cluster of pixels for a set of adjacent images, in the clustering method to integrate pixel representing the same object Determine represent each pixel which object of the captured image, predetermined object the object image region in the foreground image by the order of determining whether the starting point of the shape model generation, if the starting point of the shape model stored in advance starting from the object image area Referring things model corresponding to the position of the force point to create a specific shape model with different size, determine whether if not a starting point of the shape model belongs to which shape model has already been created し、前記形状モデルが正しい位置に生成されているかを検証することを特徴とするクラスタリング方法。 Clustering method characterized by, and to verify whether the shape model is produced in the correct position. 【請求項2】 対象領域を撮像し撮像画像を出力する撮像手段と、前記対象領域の背景画像を記憶する背景画像記憶手段と、前記撮像手段の出力する撮像画像とあらかじめ前記背景画像記憶手段に蓄えておいた背景画像とから前景画像を抽出し出力する前景抽出手段と、前記前景画像内の相互に隣接した画素の集合について画素の塊を示す対象物画像領域を生成する対象物画像領域生成手段とを有し、撮像画像から対象物の画像だけを抽出して各画素がどの対象物を表すのかを調べ同一対象物を表す画素を統合するクラスタリング装置において、所定の順序により前記前景画像内の前記対象物画像領域が形状モデル生成の起点となるか否かを判断し前記形状モデルの起点となる場合は対象物画像領域を起点としてあらかじめ記憶している対象物 An imaging unit wherein imaging the target area and outputs the captured image, and the background image storage means for storing a background image of the target region, the output advance the background image storing means and the captured image to the image pickup means foreground extraction means and a stored keep background image and extracts and outputs the foreground image, another object image area generation for generating an object image region indicating a cluster of pixels for a set of adjacent pixels in the foreground image and means, in the clustering apparatus for integrating pixels representing the same object checks whether the captured image to represent the only extracted and each pixel which object image of the object, the foreground image according to a predetermined order the object image area the object if it is determined whether or not the starting point of the shape model generation as the starting point of the shape model stored in advance starting from the object image area モデルを参照し起点の位置に対応し Referring to the model corresponding to the position of the raised points
    て大きさを変えた具体的な形状モデルを作成し形状モデルの起点とならない場合は既に作成されているどの形状モデルに属するのかを判断する形状モデル生成手段と、 A shape model generation means if not a starting point of created shape model specific shape model with different sizes to determine already belong to which shape model is created Te,
    前記形状モデルが正しい位置に生成されているかを検証する形状モデル検証手段とを有することを特徴とするクラスタリング装置。 Clustering apparatus characterized by having a shape model verification means for verifying whether the shape model is produced in the correct position.
JP20204894A 1994-08-26 1994-08-26 Clustering method and apparatus Expired - Fee Related JP3428166B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20204894A JP3428166B2 (en) 1994-08-26 1994-08-26 Clustering method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20204894A JP3428166B2 (en) 1994-08-26 1994-08-26 Clustering method and apparatus

Publications (2)

Publication Number Publication Date
JPH0863599A JPH0863599A (en) 1996-03-08
JP3428166B2 true JP3428166B2 (en) 2003-07-22

Family

ID=16451075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20204894A Expired - Fee Related JP3428166B2 (en) 1994-08-26 1994-08-26 Clustering method and apparatus

Country Status (1)

Country Link
JP (1) JP3428166B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
JP4799910B2 (en) * 2005-06-02 2011-10-26 ノルベルト・リンク Apparatus and method for detecting a person in the investigation zone

Also Published As

Publication number Publication date
JPH0863599A (en) 1996-03-08

Similar Documents

Publication Publication Date Title
Barnes et al. The generalized patchmatch correspondence algorithm
US8587668B2 (en) Method and apparatus for detecting near duplicate videos using perceptual video signatures
Goferman et al. Context-aware saliency detection
US7415165B2 (en) Red-eye detection device, red-eye detection method, and red-eye detection program
CN101681424B (en) Sequential image alignment
US7184100B1 (en) Method of selecting key-frames from a video sequence
JP3822468B2 (en) Image processing apparatus and method
JP4636064B2 (en) Image processing apparatus and image processing method, and program
CN1790342B (en) Method and apparatus for representing and searching for an object in an image
JP4267475B2 (en) Drawing comparison apparatus
JP4976608B2 (en) How to automatically classify the image in the event
JP3308032B2 (en) Skew correction method and the skew angle detection method and the skew correction device and a skew angle detecting device
US7929765B2 (en) Video text processing apparatus
JP4482778B2 (en) Image processing apparatus and image processing method, and recording medium
JP4580183B2 (en) Generation of visually representative to the video thumbnail
US7813554B2 (en) Method and apparatus of extracting text from document image with complex background, computer program and storage medium thereof
US8170368B2 (en) Correcting device and method for perspective transformed document images
WO2000045604A1 (en) Signal processing method and video/voice processing device
JP2006011978A (en) Image processing method and image processor
JP2013513167A (en) Prune, image scaling, and improvement of the performance of the image recognition algorithms due to the space-constrained feature matching
JPH0823890B2 (en) Method and apparatus for automatically verifying the signature
JP4241709B2 (en) Image processing apparatus
CN101609506B (en) Method and device for recognizing model object in image
JP4928310B2 (en) License plate recognition device, a control method, computer program
US8588466B2 (en) Object area detection system, device, method, and program for detecting an object

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees