JPH0729081A - Device for recognizing traveling object - Google Patents
Device for recognizing traveling objectInfo
- Publication number
- JPH0729081A JPH0729081A JP5174338A JP17433893A JPH0729081A JP H0729081 A JPH0729081 A JP H0729081A JP 5174338 A JP5174338 A JP 5174338A JP 17433893 A JP17433893 A JP 17433893A JP H0729081 A JPH0729081 A JP H0729081A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- area
- image
- extracting
- distance sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、監視領域内における移
動物体の監視を行なう画像監視装置において、監視領域
内の移動物体を認識する移動物体認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object recognition apparatus for recognizing a moving object in a monitoring area in an image monitoring apparatus for monitoring a moving object in the monitoring area.
【０００２】[0002]
【従来の技術】この種の移動物体認識装置として、たと
えば、次のようなものが知られている。すなわち、監視
領域内の画像をＩＴＶカメラによって撮像して、電気信
号に変換する。ＩＴＶカメラからの画像信号は、デジタ
ルデータに変換した後、画像メモリに順次入力する。こ
のようにして、時系列に入力された複数枚の画像に対し
て、差分演算および２値化演算処理を行なうことにより
移動物体領域を切出す。そして、この切出された移動物
体領域を辞書メモリに登録してある辞書データと照合す
ることにより、監視領域内の移動物体を認識するもので
ある。2. Description of the Related Art As a moving object recognition apparatus of this type, for example, the following is known. That is, the image in the monitoring area is captured by the ITV camera and converted into an electric signal. The image signal from the ITV camera is converted into digital data and then sequentially input to the image memory. In this way, the moving object region is cut out by performing the difference calculation and the binarization calculation processing on the plurality of images input in time series. Then, the cut-out moving object area is collated with dictionary data registered in the dictionary memory to recognize the moving object in the monitoring area.
【０００３】すなわち、たとえば、図５に示すように、
道路１を乗用車２が走行しているものとする。つまり、
ｔ＝ｔ0 ，ｔ1 ，ｔ2 と時間が経過するにしたがって、
乗用車２は２0 ，２1 ，２2 と移動していく。その画像
は、画像メモリに記憶されているので、ｔ＝ｔ0 のとき
の画像とｔ＝ｔ1 のときの画像との差分演算処理を行な
い、さらに、２値化処理を行なうことにより、図７
（ａ）に示す画像が得られる。同様に、ｔ＝ｔ1 とｔ＝
ｔ2 の場合には図７（ｂ）に示す画像が得られる。そし
て、これらの共通領域を求めることにより、図７（ｃ）
に示す画像（つまり、移動物体領域）が得られる。That is, for example, as shown in FIG.
It is assumed that the passenger car 2 is traveling on the road 1. That is,
As time goes by t = t0, t1, t2,
Passenger car 2 moves 20, 21 and 22. Since the image is stored in the image memory, the difference calculation process between the image at t = t0 and the image at t = t1 is performed, and further the binarization process is performed.
The image shown in (a) is obtained. Similarly, t = t1 and t =
In the case of t2, the image shown in FIG. 7 (b) is obtained. Then, by obtaining these common areas, FIG.
The image (that is, the moving object area) shown in is obtained.
【０００４】このようにして、移動物体領域を抽出する
と、次に移動物体の認識を行なう。これにはパターン認
識の手法が用いられる。その一例を図１８に示す。抽出
した移動物体領域を、照合を行なう辞書データのサイズ
に正規化して、その輝度値を縦×横次元のベクトルとし
て辞書データとのマッチング処理を行なう。図１８の例
では、縦４×横８＝３２次元のベクトル演算を行なう。After the moving object area is extracted in this way, the moving object is recognized next. For this, a pattern recognition method is used. An example thereof is shown in FIG. The extracted moving object area is normalized to the size of dictionary data to be collated, and its brightness value is used as a vector of vertical × horizontal dimension to perform matching processing with the dictionary data. In the example of FIG. 18, vertical 4 × horizontal 8 = 32-dimensional vector operation is performed.
【０００５】抽出された移動物体領域のベクトルをＩ
ｉ、辞書データのベクトルをＤｉとすると、このベクト
ル間の距離を評価値Ｍとしてマッチング処理を行なう。 Ｍ＝Σ（Ｉｉ−Ｄｉ）2 図１８（ａ）は、取込んだ画像（抽出した移動物体）４
と、乗用車の辞書データ５とのマッチング処理を行なっ
た様子を示している。このように、移動物体領域が完全
な状態で抽出された場合は、マッチング処理の値は
「０」に近くなり、また、異なった辞書データとのマッ
チング処理においては、図１８（ｂ）に示すように評価
値が大きくなり、目的の移動物体と良好にマッチング処
理を行なうことができる。The vector of the extracted moving object area is I
When i is the vector of the dictionary data and Di is the distance, the matching process is performed with the distance between the vectors as the evaluation value M. M = Σ (Ii-Di) 2 FIG. 18A shows a captured image (extracted moving object) 4
And the matching process with the dictionary data 5 of the passenger car are performed. As described above, when the moving object region is extracted in a perfect state, the value of the matching process becomes close to “0”, and in the matching process with different dictionary data, it is shown in FIG. Thus, the evaluation value becomes large, and the matching process with the target moving object can be performed well.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、移動物
体の時間的な移動距離が図６に示すように少ないとき
は、ｔ＝ｔ0 の画像とｔ＝ｔ1 の画像との差、あるい
は、ｔ＝ｔ1 の画像とｔ＝ｔ2 の画像との差が少ないた
めに、移動物体を忠実に抽出できない。その様子を図８
に示す。この場合、抽出した移動物体４と辞書データ５
とを比較すると、図１８（ｃ）に示すように、目的とす
る移動物体の辞書データとであっても、マッチング処理
の評価値が大きくなってしまうので、マッチング処理に
失敗するときがある。However, when the moving distance in time of the moving object is small as shown in FIG. 6, the difference between the image at t = t0 and the image at t = t1, or t = t1. The moving object cannot be faithfully extracted because there is little difference between the image of t and the image of t = t2. Figure 8
Shown in. In this case, the extracted moving object 4 and dictionary data 5
18C, even if it is the dictionary data of the target moving object, the evaluation value of the matching process becomes large as shown in FIG. 18C, and therefore the matching process may fail.
【０００７】このように、従来の移動物体認識装置で
は、縦×横のデータのマッチング処理を行なうために処
理時間がかかる。また、画像取込みの外乱や画像取込み
タイミングによっては、移動物体領域が忠実に抽出でき
ない場合があり、そのときに認識に誤りを生じるという
問題があった。As described above, in the conventional moving object recognition apparatus, it takes a long processing time to perform the matching processing of the vertical and horizontal data. Further, depending on the disturbance of the image capture or the image capture timing, the moving object region may not be faithfully extracted, and there is a problem in that recognition error occurs at that time.
【０００８】そこで、本発明は、処理時間の短縮化が図
れるとともに、画像取込みの外乱や画像取込みタイミン
グによって移動物体領域が忠実に抽出できない場合にも
正しい認識が可能となる移動物体認識装置を提供するこ
とを目的とする。Therefore, the present invention provides a moving object recognizing device which can shorten the processing time and can perform correct recognition even when the moving object region cannot be faithfully extracted due to the disturbance of the image capturing or the image capturing timing. The purpose is to do.
【０００９】[0009]
【課題を解決するための手段】本発明の移動物体認識装
置は、監視領域内の画像を撮像する撮像手段と、この撮
像手段で撮像された画像を連続的に取込み、この取込ん
だ複数の画像間で所定の演算処理を行なうことにより、
前記監視領域内における移動物体領域を抽出する移動物
体領域抽出手段と、この移動物体領域抽出手段で抽出さ
れた移動物体領域の少なくとも一方端の境界曲線値を求
め、この求めた境界曲線値をあらかじめ登録された辞書
データと照合することにより前記監視領域内の移動物体
を認識する認識手段とを具備している。A moving object recognition apparatus of the present invention continuously captures an image captured by the image capturing means and an image capturing means for capturing an image in a monitoring area, and acquires a plurality of captured images. By performing predetermined arithmetic processing between images,
Moving object area extracting means for extracting a moving object area in the monitoring area, and a boundary curve value of at least one end of the moving object area extracted by the moving object area extracting means is obtained, and the obtained boundary curve value is set in advance. A recognition means for recognizing a moving object in the monitoring area by collating with registered dictionary data is provided.
【００１０】また、本発明の移動物体認識装置は、監視
領域内の画像を撮像する撮像手段と、この撮像手段で撮
像された画像を連続的に取込み、この取込んだ複数の画
像間で所定の演算処理を行なうことにより、前記監視領
域内における移動物体領域を抽出する移動物体領域抽出
手段と、この移動物体領域抽出手段で抽出された移動物
体領域の外接矩形を求める外接矩形算出手段と、この外
接矩形算出手段で算出された外接矩形の各辺から移動物
体領域の外側にある直線あるいは曲線までの距離列を算
出する距離列算出手段と、この距離列算出手段で求めた
距離列をあらかじめ登録された基準距離列と照合するこ
とにより前記監視領域内の移動物体を認識する認識手段
とを具備している。Further, the moving object recognition apparatus of the present invention continuously captures the image captured by the image capturing means and the image capturing means for capturing the image in the monitoring area, and determines a predetermined interval between the plurality of captured images. Moving object area extracting means for extracting a moving object area in the monitoring area by performing the arithmetic processing of, and circumscribing rectangle calculating means for obtaining a circumscribing rectangle of the moving object area extracted by the moving object area extracting means, The distance sequence calculating means for calculating the distance sequence from each side of the circumscribing rectangle calculated by the circumscribing rectangle calculating means to the straight line or the curve outside the moving object region, and the distance sequence calculated by the distance sequence calculating means are set in advance. It is provided with a recognition means for recognizing a moving object in the monitoring area by collating with a registered reference distance sequence.
【００１１】また、本発明の移動物体認識装置は、監視
領域内の画像を撮像する撮像手段と、この撮像手段で撮
像された前記監視領域内の背景画像、および、その背景
画像を含む移動物体画像をそれぞれ取込み、この取込ん
だ両画像間で所定の演算処理を行なうことにより、前記
監視領域内における移動物体領域を抽出する移動物体領
域抽出手段と、この移動物体領域抽出手段で抽出された
移動物体領域の少なくとも一方端の境界曲線値を求め、
この求めた境界曲線値をあらかじめ登録された辞書デー
タと照合することにより前記監視領域内の移動物体を認
識する認識手段とを具備している。Further, the moving object recognition apparatus of the present invention includes an image pickup means for picking up an image in the monitoring area, a background image in the monitoring area picked up by the image pickup means, and a moving object including the background image. The moving object region extracting means for extracting the moving object region in the monitoring area by capturing each image and performing a predetermined arithmetic processing between the captured images, and the moving object region extracting means. Obtain the boundary curve value of at least one end of the moving object area,
A recognition means is provided for recognizing the moving object in the monitoring area by collating the obtained boundary curve value with dictionary data registered in advance.
【００１２】さらに、本発明の移動物体認識装置は、監
視領域内の画像を撮像する撮像手段と、この撮像手段で
撮像された前記監視領域内の背景画像、および、その背
景画像を含む移動物体画像をそれぞれ取込み、この取込
んだ両画像間で所定の演算処理を行なうことにより、前
記監視領域内における移動物体領域を抽出する移動物体
領域抽出手段と、この移動物体領域抽出手段で抽出され
た移動物体領域の外接矩形を求める外接矩形算出手段
と、この外接矩形算出手段で算出された外接矩形の各辺
から移動物体領域の外側にある直線あるいは曲線までの
距離列を算出する距離列算出手段と、この距離列算出手
段で求めた距離列をあらかじめ登録された基準距離列と
照合することにより前記監視領域内の移動物体を認識す
る認識手段とを具備している。Further, the moving object recognition apparatus of the present invention comprises an image pickup means for picking up an image in the surveillance area, a background image in the surveillance area picked up by the image pickup means, and a moving object including the background image. The moving object region extracting means for extracting the moving object region in the monitoring area by capturing each image and performing a predetermined arithmetic processing between the captured images, and the moving object region extracting means. A circumscribing rectangle calculating means for obtaining a circumscribing rectangle of the moving object area, and a distance sequence calculating means for calculating a distance sequence from each side of the circumscribing rectangle calculated by the circumscribing rectangle calculating means to a straight line or a curve outside the moving object area. And a recognition means for recognizing a moving object within the monitoring area by collating the distance sequence obtained by the distance sequence calculation means with a reference distance sequence registered in advance. To have.
【００１３】[0013]
【作用】撮像した監視領域内の画像から移動物体領域を
抽出して、その移動物体領域の少なくとも一方端の境界
曲線値を求め、この求めた境界曲線値をあらかじめ登録
された辞書データと照合して監視領域内の移動物体を認
識することにより、移動物体の情報量を２次元から１次
元に落すことができるので、処理時間が非常に短くな
る。また、画像の取込みタイミングによって移動物体領
域の抽出がうまくいかない場合や、取込み画像の外乱に
よって移動物体領域の抽出がうまくいかない場合にも、
正しい移動物体の認識が可能となる。The moving object area is extracted from the captured image in the monitoring area, the boundary curve value at least at one end of the moving object area is obtained, and the obtained boundary curve value is collated with the dictionary data registered in advance. By recognizing the moving object in the monitoring area by using the above method, the information amount of the moving object can be reduced from two-dimensional to one-dimensional, so that the processing time becomes very short. Also, if the extraction of the moving object area is not successful due to the capture timing of the image, or if the extraction of the moving object area is not successful due to the disturbance of the captured image,
It is possible to correctly recognize a moving object.
【００１４】[0014]
【実施例】以下、本発明の一実施例について図面を参照
して説明する。図１は、本実施例に係る移動物体認識装
置の構成を示すものである。図において、撮像手段とし
てのＩＴＶカメラ１１は監視領域内の画像を撮像し、電
気信号に変換する。ＩＴＶカメラ１１から出力される画
像信号は、Ａ／Ｄ変換器１２によってデジタルデータに
変換される。以後は、このデジタルデータで処理が行な
われる。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows the configuration of a moving object recognition apparatus according to this embodiment. In the figure, an ITV camera 11 as an image pickup means picks up an image in a monitoring area and converts it into an electric signal. The image signal output from the ITV camera 11 is converted into digital data by the A / D converter 12. After that, processing is performed with this digital data.
【００１５】すなわち、Ａ／Ｄ変換された画像データ
は、取込み画像メモリ１３に順次入力され、格納され
る。差分演算部・２値化演算部１４は、この時系列に入
力された複数枚の画像に対して、差分演算および２値化
演算処理を行なうことにより、移動物体領域が２値化画
像メモリ１５に格納される。That is, the A / D converted image data is sequentially input and stored in the captured image memory 13. The difference calculation unit / binarization calculation unit 14 performs a difference calculation and a binarization calculation process on the plurality of images input in time series, so that the moving object region is a binarized image memory 15. Stored in.
【００１６】共通領域生成部１６は、２値化画像メモリ
１５に格納された連続する移動物体領域の共通部（共通
領域）を求める。検出切出部１７は、共通領域生成部１
６で求められた共通領域に対して移動物体領域を切出
す。The common area generator 16 obtains the common part (common area) of the continuous moving object areas stored in the binarized image memory 15. The detection / cutout unit 17 includes the common area generation unit 1
The moving object area is cut out from the common area obtained in 6.
【００１７】ペリフェラル特徴算出部１８は、検出切出
部１７で切出された移動物体領域に対して、そのペリフ
ェラル特徴データを算出する。なお、ここで用いられる
ペリフェラル特徴データとは、図９に示すように、移動
物体４の外部にある１直線から移動物体４までの距離列
のことであり、詳細は後述する。The peripheral feature calculation unit 18 calculates peripheral feature data for the moving object region cut out by the detection cutout unit 17. The peripheral feature data used here is a distance sequence from a straight line outside the moving object 4 to the moving object 4, as shown in FIG. 9, and will be described in detail later.
【００１８】認識部１９は、ペリフェラル特徴算出部１
８で求められたペリフェラル特徴データと、辞書メモリ
２０にあらかじめ登録（記憶）してある基準のペリフェ
ラル特徴データ（辞書データ）とを照合することによ
り、移動物体の認識を行なう。The recognition unit 19 includes a peripheral feature calculation unit 1
The moving object is recognized by collating the peripheral feature data obtained in 8 with the reference peripheral feature data (dictionary data) registered (stored) in the dictionary memory 20 in advance.
【００１９】次に、図２に示すフローチャートを参照し
て移動物体の認識処理について詳細に説明する。図５、
図６は、監視領域内に移動物体としての乗用車２が道路
１を移動していく画像列である。図５に比べて、図６が
移動物体の速度が遅い例となっている。図７、図８は、
これらの画像列より移動物体を抽出する手法を示してい
る。すなわち、ｔ＝ｔ0 ，ｔ1 ，ｔ2 と時間が経過する
にしたがって乗用車２は２0 ，２1 ，２2 と移動してい
く。その画像は、取込み画像メモリ１３に記憶されてい
るので、差分演算部・２値化演算部１４は、ｔ＝ｔ0 の
ときの画像とｔ＝ｔ1 のときの画像との差分演算処理を
行ない、さらに２値化処理を行なうことにより、図７
（ａ）の画像が得られる。同様に、ｔ＝ｔ1 とｔ＝ｔ2
の場合には図７（ｂ）の画像が得られる。そして、共通
領域生成部１６がこれらの共通領域を求めることによ
り、図７（ｃ）の移動物体領域が得られる。Next, the moving object recognition processing will be described in detail with reference to the flowchart shown in FIG. Figure 5,
FIG. 6 is an image sequence in which the passenger car 2 as a moving object moves on the road 1 in the monitoring area. As compared with FIG. 5, FIG. 6 shows an example in which the speed of the moving object is slow. 7 and 8 show
A method for extracting a moving object from these image sequences is shown. That is, the passenger vehicle 2 moves to 20, 21 and 22 as time passes with t = t0, t1 and t2. Since the image is stored in the captured image memory 13, the difference calculation unit / binarization calculation unit 14 performs difference calculation processing between the image at t = t0 and the image at t = t1, By further performing the binarization processing, as shown in FIG.
The image of (a) is obtained. Similarly, t = t1 and t = t2
In the case of, the image of FIG. 7B is obtained. Then, the common area generation unit 16 obtains these common areas to obtain the moving object area in FIG. 7C.
【００２０】図８（ａ）（ｂ）（ｃ）も、同様にして図
６の場合の移動物体領域を抽出したものであるが、移動
物体の速度によって画像間の差が異なるために、抽出結
果に差がでる。図９、図１０は、この抽出結果からペリ
フェラル特徴データを計算する手法を示している。8A, 8B, and 8C also show the moving object region extracted in the same manner as in FIG. 6, but the difference between the images varies depending on the speed of the moving object. The results are different. 9 and 10 show a method of calculating peripheral feature data from this extraction result.
【００２１】以下、この抽出された移動物体領域の画像
から、その移動物体のペリフェラル特徴データを求める
処理について、図３に示すフローチャートおよび図９、
図１０を参照して説明する。まず、移動物体４の外接矩
形７を求める。これは、移動物体４のＸ，Ｙ座標の最大
値、最小値で求めることができる。この求めた外接矩形
７の各辺から移動物体４までの距離列３１，３２，３
３，３４をペリフェラル特徴データと呼ぶ。The process of obtaining peripheral feature data of a moving object from the extracted image of the moving object region will be described below with reference to the flowchart shown in FIG. 3 and FIG.
This will be described with reference to FIG. First, the circumscribed rectangle 7 of the moving object 4 is obtained. This can be obtained by the maximum and minimum values of the X and Y coordinates of the moving object 4. Distance sequences 31, 32, 3 from each side of the obtained circumscribed rectangle 7 to the moving object 4
3, 34 are called peripheral feature data.
【００２２】次に、以下の方法でペリフェラル特徴デー
タを求める。外接矩形７の各辺から移動物体４の方向に
画素が「０」か「１」かを探索して、「１」ならばそこ
までを距離とする。しかしながら、一般的な取込み画像
には雑音が含まれているので、そのようにして求めた距
離列を曲線近似することにより、より雑音の影響を受け
にくくする。近似する曲線は、２次元や３次元などがあ
るが、ここでは一例として２次のスプライン曲線を用い
る。この処理を上下左右より行なうことにより、その移
動物体４に対するペリフェラル特徴データ３１，３２，
３３，３４が求まる。図５の移動物体から求められたペ
リフェラル特徴データを図９に示す。また、図６のよう
な移動物体から求められたペリフェラル特徴データを図
１０に示す。Next, peripheral feature data is obtained by the following method. From each side of the circumscribing rectangle 7, the pixel is searched for "0" or "1" in the direction of the moving object 4, and if it is "1", the distance is determined. However, since a general captured image contains noise, the distance sequence thus obtained is approximated to a curve to make it less susceptible to noise. Although there are two-dimensional and three-dimensional curves to be approximated, a quadratic spline curve is used here as an example. By performing this processing from above, below, left and right, the peripheral feature data 31, 32,
33 and 34 are obtained. FIG. 9 shows peripheral feature data obtained from the moving object shown in FIG. Further, FIG. 10 shows peripheral feature data obtained from a moving object as shown in FIG.
【００２３】図１１、図１２は、あらかじめ辞書メモリ
２０に登録（記憶）されている辞書データ３５，３６の
ペリフェラル特徴データ３７，３８，３９，４０を示し
ている。認識部１９では、この辞書データのペリフェラ
ル特徴データと移動物体のペリフェラル特徴データとに
より、図４に示すフローチャートにしたがって認識処理
が行なわれる。11 and 12 show the peripheral characteristic data 37, 38, 39, 40 of the dictionary data 35, 36 registered (stored) in the dictionary memory 20 in advance. The recognition unit 19 performs a recognition process according to the peripheral feature data of the dictionary data and the peripheral feature data of the moving object according to the flowchart shown in FIG.
【００２４】本実施例では、４方向からのペリフェラル
特徴の距離列Ｉｉと辞書データの距離列Ｄｉとの絶対値
の和をマッチングの評価値として、それぞれマッチング
処理を行なうもので、図１３にその手法を示す。In this embodiment, the matching process is performed using the sum of the absolute values of the distance sequence Ii of the peripheral features from four directions and the distance sequence Di of the dictionary data as the matching evaluation value. The method is shown.
【００２５】すなわち、下記数１の評価式で、あらかじ
め辞書メモリ２０に登録されている辞書データと評価を
行ない、最も小さいものを認識結果とする。図９で求ま
ったペリフェラル特徴データに関しては、図１１の辞書
データとの評価値が小さい。また、図１０のペリフェラ
ル特徴データに関しても、同様に図１１の辞書データと
の評価値が小さい。That is, the evaluation formula of the following expression 1 is used to evaluate the dictionary data registered in the dictionary memory 20 in advance, and the smallest one is used as the recognition result. Regarding the peripheral feature data obtained in FIG. 9, the evaluation value with the dictionary data in FIG. 11 is small. Similarly, the peripheral feature data of FIG. 10 also has a small evaluation value with the dictionary data of FIG.
【００２６】[0026]
【数１】 [Equation 1]
【００２７】次に、本発明の他の実施例について、図１
４のブロック図および図１５のフローチャートを参照し
て説明する。この実施例では、移動物体領域を抽出する
ために背景画像を用いるものである。すなわち、最初
に、図１６に示すような背景画像をＡ／Ｄ変換器１２か
ら取込み、背景画像メモリ２１に記憶する。そして、新
たに画像を取込み、取込み画像メモリ１３に記憶すると
同時に、差分演算部・２値化演算部１４において、背景
画像メモリ２１内の画像（図１７ａ参照）から取込み画
像メモリ１３内の画像（図１７ｂ参照）を減算する演算
を行ない、２値化することにより、図１７（ｃ）に示す
画像（つまり、移動物体領域）が抽出される。Next, another embodiment of the present invention will be described with reference to FIG.
4 will be described with reference to the block diagram of FIG. In this embodiment, the background image is used to extract the moving object area. That is, first, the background image as shown in FIG. 16 is fetched from the A / D converter 12 and stored in the background image memory 21. Then, a new image is captured and stored in the captured image memory 13, and at the same time, in the difference calculation unit / binarization calculation unit 14, from the image in the background image memory 21 (see FIG. 17a), the image in the captured image memory 13 ( The image shown in FIG. 17C (that is, the moving object region) is extracted by performing a calculation for subtracting (see FIG. 17b) and performing binarization.
【００２８】ただし、この場合、背景画像の取込みから
時間が経過していると、背景画像が微妙に変化している
場合が多く、図１７のように抽出された移動物体４にノ
イズ６を生じ、従来方式のマッチング処理がうまくいか
ない。そこで、前記実施例と同様にペリフェラル特徴デ
ータを用いる。However, in this case, when the time has elapsed since the background image was captured, the background image often changes subtly, and noise 6 is generated in the extracted moving object 4 as shown in FIG. , The conventional matching process does not work. Therefore, the peripheral feature data is used as in the above embodiment.
【００２９】ペリフェラル特徴データを求める処理は前
記実施例と同様である。求めたペリフェラル特徴の距離
列ＩｉをベクトルＩ＝［Ｉ1 ，Ｉ2 ，Ｉ3 ，…，Ｉｎ］
T とし、辞書データの距離列ＤｉをベクトルＤ＝［Ｄ1
，Ｄ2 ，Ｄ3 ，…，Ｄｎ］Tとして、そのベクトル間の
距離あるいは角度を用いてマッチング処理（認識処理）
を行なう。すなわち、下記数２あるいは数３の評価式
で、あらかじめ辞書メモリ２０に登録されている辞書デ
ータと評価を行ない、最も小さいものを認識結果とす
る。The process for obtaining the peripheral feature data is the same as that in the above embodiment. The calculated distance sequence Ii of the peripheral features is a vector I = [I1, I2, I3, ..., In]
Let T be the distance sequence Di of the dictionary data and the vector D = [D1
, D2, D3, ..., Dn] T , the matching process (recognition process) using the distance or angle between the vectors
Do. That is, the evaluation formula of the following formula 2 or formula 3 is used to evaluate with the dictionary data registered in the dictionary memory 20 in advance, and the smallest one is used as the recognition result.
【００３０】[0030]
【数２】 [Equation 2]
【００３１】[0031]
【数３】 [Equation 3]
【００３２】このような処理で移動物体を認識すること
により、雑音に強い移動物体の認識が可能となる。な
お、この方式は、車両のような剛体ばかりでなく、動物
のような非剛体にも適用できる。By recognizing a moving object by such processing, it is possible to recognize a moving object that is resistant to noise. This system can be applied not only to a rigid body such as a vehicle but also to a non-rigid body such as an animal.
【００３３】[0033]
【発明の効果】以上詳述したように本発明によれば、移
動物体の情報量を２次元から１次元に落すことができる
ので、処理時間が非常に短くなり、さらに、画像の取込
みタイミングによって移動物体領域の抽出がうまくいか
ない場合や、取込み画像の外乱によって移動物体領域の
抽出がうまくいかない場合にも、正しい移動物体の認識
が可能となる移動物体認識装置を提供できる。As described above in detail, according to the present invention, since the information amount of a moving object can be reduced from two-dimensional to one-dimensional, the processing time becomes very short, and further, depending on the image capture timing. It is possible to provide a moving object recognition device capable of correctly recognizing a moving object even when extraction of the moving object region is not successful or when extraction of the moving object region is not successful due to disturbance of the captured image.
【図１】本発明の一実施例に係る移動物体認識装置の構
成を示すブロック図。FIG. 1 is a block diagram showing the configuration of a moving object recognition apparatus according to an embodiment of the present invention.
【図２】同実施例の動作を説明するためのフローチャー
ト。FIG. 2 is a flowchart for explaining the operation of the embodiment.
【図３】同実施例におけるペリフェラル特徴データの算
出処理を説明するためのフローチャート。FIG. 3 is a flowchart for explaining processing for calculating peripheral feature data according to the embodiment.
【図４】同実施例における認識処理を説明するためのフ
ローチャート。FIG. 4 is a flowchart for explaining a recognition process in the embodiment.
【図５】移動物体としての乗用車が横方向に走行してい
るときの画面例を示す図。FIG. 5 is a diagram showing an example of a screen when a passenger car as a moving object is traveling laterally.
【図６】図５よりも低速に乗用車が走行しているときの
画面例を示す図。6 is a diagram showing an example of a screen when a passenger car is traveling at a speed lower than that in FIG.
【図７】図５の画面から移動物体領域を抽出する手法を
説明する図。7 is a diagram illustrating a method of extracting a moving object region from the screen of FIG.
【図８】図６の画面から移動物体領域を抽出する手法を
説明する図。8 is a diagram illustrating a method of extracting a moving object region from the screen of FIG.
【図９】図７で抽出した移動物体領域からペリフェラル
特徴データを求める手法を説明する図。9 is a diagram illustrating a method for obtaining peripheral feature data from the moving object region extracted in FIG. 7.
【図１０】図８で抽出した移動物体領域からペリフェラ
ル特徴データを求める手法を説明する図。FIG. 10 is a diagram illustrating a method of obtaining peripheral feature data from the moving object region extracted in FIG.
【図１１】あらかじめ登録されている辞書データのペリ
フェラル特徴データの一例を示す図。FIG. 11 is a diagram showing an example of peripheral feature data of dictionary data registered in advance.
【図１２】あらかじめ登録されている辞書データのペリ
フェラル特徴データの他の例を示す図。FIG. 12 is a diagram showing another example of peripheral feature data of dictionary data registered in advance.
【図１３】ペリフェラル特徴データのマッチング手法を
説明する図。FIG. 13 is a diagram illustrating a matching method of peripheral feature data.
【図１４】本発明の他の実施例に係る移動物体認識装置
の構成を示すブロック図。FIG. 14 is a block diagram showing the configuration of a moving object recognition apparatus according to another embodiment of the present invention.
【図１５】同実施例の動作を説明するためのフローチャ
ート。FIG. 15 is a flowchart for explaining the operation of the embodiment.
【図１６】同実施例において移動物体領域を抽出する場
合の背景画像例を示す図。FIG. 16 is a diagram showing an example of a background image when a moving object region is extracted in the same embodiment.
【図１７】背景画像を用いて移動物体領域を抽出する手
法を説明する図。FIG. 17 is a diagram illustrating a method of extracting a moving object region using a background image.
【図１８】従来の移動物体認識方法でマッチング処理を
行なうときの手法を説明する図。FIG. 18 is a diagram illustrating a method when performing matching processing by a conventional moving object recognition method.
１…道路、２…乗用車（移動物体）、４…抽出された移
動物体、５…辞書データ、６…抽出時のノイズ、７…抽
出された移動物体の外接矩形、１１…ＩＴＶカメラ、１
２…Ａ／Ｄ変換器、１３…取込み画像メモリ、１４…差
分演算部・２値化演算部、１５…２値化画像メモリ、１
６…共通領域生成部、１７…検出切出部、１８…ペリフ
ェラル特徴算出部、１９…認識部、２０…辞書メモリ、
２１…背景画像メモリ、３１…ｙ軸正方向のペリフェラ
ル特徴データ、３２…ｙ軸負方向のペリフェラル特徴デ
ータ、３３…ｘ軸正方向のペリフェラル特徴データ、３
４…ｘ軸負方向のペリフェラル特徴データ、３５，３６
…辞書データ、３７…辞書データｙ軸正方向のペリフェ
ラル特徴データ、３８…辞書データｙ軸負方向のペリフ
ェラル特徴データ、３９…辞書データｘ軸正方向のペリ
フェラル特徴データ、４０…辞書データｘ軸負方向のペ
リフェラル特徴データ。1 ... Road, 2 ... Passenger car (moving object), 4 ... Extracted moving object, 5 ... Dictionary data, 6 ... Noise at extraction, 7 ... Rectangle of extracted moving object, 11 ... ITV camera, 1
2 ... A / D converter, 13 ... Captured image memory, 14 ... Difference calculation unit / binarization calculation unit, 15 ... Binary image memory, 1
6 ... Common area generation unit, 17 ... Detection / cutout unit, 18 ... Peripheral feature calculation unit, 19 ... Recognition unit, 20 ... Dictionary memory,
21 ... Background image memory, 31 ... Y-axis positive direction peripheral feature data, 32 ... Y-axis negative direction peripheral feature data, 33 ... X-axis positive direction peripheral feature data, 3
4 ... Peripheral feature data in negative x-axis direction, 35, 36
... dictionary data, 37 ... dictionary data y-axis positive direction peripheral feature data, 38 ... dictionary data y-axis negative direction peripheral feature data, 39 ... dictionary data x-axis positive direction peripheral feature data, 40 ... dictionary data x-axis negative Directional peripheral feature data.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/20 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location G06T 7/20
Claims (4)
と、 この撮像手段で撮像された画像を連続的に取込み、この
取込んだ複数の画像間で所定の演算処理を行なうことに
より、前記監視領域内における移動物体領域を抽出する
移動物体領域抽出手段と、 この移動物体領域抽出手段で抽出された移動物体領域の
少なくとも一方端の境界曲線値を求め、この求めた境界
曲線値をあらかじめ登録された辞書データと照合するこ
とにより前記監視領域内の移動物体を認識する認識手段
とを具備したことを特徴とする移動物体認識装置。1. An image pickup means for picking up an image in a monitoring area, and images picked up by the image pickup means are continuously taken in, and a predetermined arithmetic processing is performed between the plural picked-up images, Moving object area extracting means for extracting a moving object area in the monitoring area, and a boundary curve value of at least one end of the moving object area extracted by the moving object area extracting means, and the obtained boundary curve value is registered in advance. A moving object recognition device, comprising: a recognition unit that recognizes a moving object in the monitoring area by collating the generated dictionary data.
と、 この撮像手段で撮像された画像を連続的に取込み、この
取込んだ複数の画像間で所定の演算処理を行なうことに
より、前記監視領域内における移動物体領域を抽出する
移動物体領域抽出手段と、 この移動物体領域抽出手段で抽出された移動物体領域の
外接矩形を求める外接矩形算出手段と、 この外接矩形算出手段で算出された外接矩形の各辺から
移動物体領域の外側にある直線あるいは曲線までの距離
列を算出する距離列算出手段と、 この距離列算出手段で求めた距離列をあらかじめ登録さ
れた基準距離列と照合することにより前記監視領域内の
移動物体を認識する認識手段とを具備したことを特徴と
する移動物体認識装置。2. An image pickup means for picking up an image in a surveillance area, and images picked up by the image pickup means are continuously taken in, and a predetermined arithmetic processing is performed between the plural picked-up images, Moving object area extracting means for extracting a moving object area in the monitoring area, circumscribing rectangle calculating means for determining a circumscribing rectangle of the moving object area extracted by the moving object area extracting means, and circumscribing rectangle calculating means Distance sequence calculating means for calculating a distance sequence from each side of the circumscribed rectangle to a straight line or a curved line outside the moving object area, and the distance sequence calculated by this distance sequence calculating means is collated with a reference distance sequence registered in advance. A moving object recognition apparatus, comprising: a recognition unit that recognizes a moving object in the monitoring area.
と、 この撮像手段で撮像された前記監視領域内の背景画像、
および、その背景画像を含む移動物体画像をそれぞれ取
込み、この取込んだ両画像間で所定の演算処理を行なう
ことにより、前記監視領域内における移動物体領域を抽
出する移動物体領域抽出手段と、 この移動物体領域抽出手段で抽出された移動物体領域の
少なくとも一方端の境界曲線値を求め、この求めた境界
曲線値をあらかじめ登録された辞書データと照合するこ
とにより前記監視領域内の移動物体を認識する認識手段
とを具備したことを特徴とする移動物体認識装置。3. An image pickup means for picking up an image in the surveillance area, and a background image in the surveillance area picked up by the image pickup means,
And a moving object region extracting means for extracting a moving object region in the monitoring region by respectively capturing moving object images including the background image and performing a predetermined calculation process between the captured images. Recognizing a moving object in the monitoring area by obtaining a boundary curve value at least at one end of the moving object area extracted by the moving object area extraction means and collating the obtained boundary curve value with previously registered dictionary data. A moving object recognition device, comprising:
と、 この撮像手段で撮像された前記監視領域内の背景画像、
および、その背景画像を含む移動物体画像をそれぞれ取
込み、この取込んだ両画像間で所定の演算処理を行なう
ことにより、前記監視領域内における移動物体領域を抽
出する移動物体領域抽出手段と、 この移動物体領域抽出手段で抽出された移動物体領域の
外接矩形を求める外接矩形算出手段と、 この外接矩形算出手段で算出された外接矩形の各辺から
移動物体領域の外側にある直線あるいは曲線までの距離
列を算出する距離列算出手段と、 この距離列算出手段で求めた距離列をあらかじめ登録さ
れた基準距離列と照合することにより前記監視領域内の
移動物体を認識する認識手段とを具備したことを特徴と
する移動物体認識装置。4. An image pickup means for picking up an image in the surveillance area, and a background image in the surveillance area picked up by the image pickup means,
And a moving object region extracting means for extracting a moving object region in the monitoring region by respectively capturing moving object images including the background image and performing a predetermined calculation process between the captured images. A circumscribing rectangle calculating means for obtaining a circumscribing rectangle of the moving object area extracted by the moving object area extracting means, and a straight line or a curve outside the moving object area from each side of the circumscribing rectangle calculated by the circumscribing rectangle calculating means. A distance sequence calculating means for calculating the distance sequence and a recognition means for recognizing a moving object in the monitoring area by collating the distance sequence obtained by the distance sequence calculating means with a reference distance sequence registered in advance are provided. A moving object recognition device characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5174338A JPH0729081A (en) | 1993-07-14 | 1993-07-14 | Device for recognizing traveling object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5174338A JPH0729081A (en) | 1993-07-14 | 1993-07-14 | Device for recognizing traveling object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0729081A true JPH0729081A (en) | 1995-01-31 |
Family
ID=15976896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5174338A Pending JPH0729081A (en) | 1993-07-14 | 1993-07-14 | Device for recognizing traveling object |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0729081A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9104980B2 (en) | 2011-03-31 | 2015-08-11 | Sony Corporation | Information processing device, information processing method, and program |
| US9111172B2 (en) | 2012-03-15 | 2015-08-18 | Sony Corporation | Information processing device, information processing method, and program |
-
1993
- 1993-07-14 JP JP5174338A patent/JPH0729081A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9104980B2 (en) | 2011-03-31 | 2015-08-11 | Sony Corporation | Information processing device, information processing method, and program |
| US9111172B2 (en) | 2012-03-15 | 2015-08-18 | Sony Corporation | Information processing device, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100322982B1 (en) | Facial Image Processing Equipment | |
| JPH052635A (en) | Individual identification device | |
| CN117011341A (en) | Vehicle track detection method and system based on target tracking | |
| JPH10269365A (en) | Characteristic extracting method, and object recognition device using the method | |
| JP3465531B2 (en) | Object recognition method and apparatus | |
| JP2962799B2 (en) | Roadside detection device for mobile vehicles | |
| JPH0729081A (en) | Device for recognizing traveling object | |
| Tu et al. | Robust vehicle tracking based on scale invariant feature transform | |
| CN110363192A (en) | Object image identification system and object image discrimination method | |
| JP3230509B2 (en) | Moving image processing device | |
| CN111127311B (en) | Image registration method based on micro-coincident region | |
| JP3679958B2 (en) | License plate recognition device | |
| JP3331095B2 (en) | In-vehicle image processing device | |
| JPH11219435A (en) | White line detector for automobile | |
| JP2004145592A (en) | Motion vector extraction device, method and program, and its recording medium | |
| JP2000194861A (en) | Method and device for recognizing image | |
| JPH01271884A (en) | Detecting system for center of fingerprint | |
| JPH09178855A (en) | Method of detecting obstruction | |
| JPH10283478A (en) | Method for extracting feature and and device for recognizing object using the same method | |
| JPH0969162A (en) | On-vehicle image processor | |
| Lalonde et al. | Unconstrained license plate detection using the hausdorff distance | |
| JPH09147113A (en) | Fingerprint collating method and device therefor | |
| JPH0883393A (en) | Vehicle speed measuring instrument | |
| JPH0933216A (en) | Image processor carried on vehicle | |
| JP2959017B2 (en) | Circular image discrimination method |