JP2988383B2 - Moving object detection system - Google Patents

Moving object detection system

Info

Publication number
JP2988383B2
JP2988383B2 JP8205120A JP20512096A JP2988383B2 JP 2988383 B2 JP2988383 B2 JP 2988383B2 JP 8205120 A JP8205120 A JP 8205120A JP 20512096 A JP20512096 A JP 20512096A JP 2988383 B2 JP2988383 B2 JP 2988383B2
Authority
JP
Japan
Prior art keywords
image
moving object
plane
distance value
emmetropic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP8205120A
Other languages
Japanese (ja)
Other versions
JPH1049656A (en
Inventor
慎一 大中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP8205120A priority Critical patent/JP2988383B2/en
Publication of JPH1049656A publication Critical patent/JPH1049656A/en
Application granted granted Critical
Publication of JP2988383B2 publication Critical patent/JP2988383B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、車両などの移動体
をカメラなどの撮像機により撮像し、その画面において
特定部分の画像を選択的に検出するための移動体の検出
システムに関し、特に、進行中の車両を所定範囲内の融
通性を持って検出し、かつ斜めの角度から捕らえたナン
バープレートなどを正面から正視した画像に補正できる
移動体の検出システムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object detection system for picking up an image of a moving object such as a vehicle by an image pickup device such as a camera and selectively detecting an image of a specific portion on a screen thereof. The present invention relates to a moving object detection system capable of detecting an on-going vehicle with flexibility within a predetermined range and correcting a license plate or the like captured from an oblique angle into an image viewed straight from the front.

【0002】[0002]

【従来の技術】従来、道路上の交通違反の監視や交通量
の計測、有料道路や駐車場の料金徴収などにおいて必要
な画像による車両の自動検出技術がある。これには車両
を前後から眺めた際の左右対称性が最適な手掛かりとし
て利用されており、また、複数の車両に対する識別につ
いてはナンバープレートの自動認識技術もある。
2. Description of the Related Art Conventionally, there is an automatic vehicle detection technology based on images necessary for monitoring traffic violations on roads, measuring traffic volume, and collecting tolls on toll roads and parking lots. For this purpose, the right and left symmetry when the vehicle is viewed from the front and rear is used as an optimal clue, and there is also an automatic license plate recognition technology for identifying a plurality of vehicles.

【0003】しかし、実際上、車両前後のナンバープレ
ートを正面から正視した画像を得ることは困難であり何
らかの配慮が必要になる。その際、カメラは交通を妨げ
ない道路わきに設置し、進行方向とは斜めの角度から撮
像した画像を画像処理技術により補正することが重要で
あり、このための移動体の検出システムが種々提案され
ている。
However, in practice, it is difficult to obtain an image in which the license plate in front of and behind the vehicle is viewed straight from the front, and some consideration is required. At that time, it is important to install the camera on the side of the road where traffic is not obstructed and to correct the image taken at an oblique angle to the traveling direction by image processing technology. For this purpose, various detection systems for moving objects have been proposed. Have been.

【0004】図7は、スケールによる第1従来例を説明
する構成図である。第1従来例は、等間隔の目盛り付き
L型スケール101が配されたワーク102をCCDカ
メラ103で撮像し、得られた画像情報を画像処理ユニ
ット104により補正し、車体表面などの検査に使用さ
れる光学式形状認識装置である。また、ワーク102表
面が斜め方向から撮像されるため、スケール101上の
目盛りによる画像が画像処理ユニット104により参照
されて歪み画面が補正され、垂直上方から正視したと同
様の画像情報が形成される。
FIG. 7 is a configuration diagram illustrating a first conventional example using a scale. In the first conventional example, a work 102 on which an L-shaped scale 101 with graduations at equal intervals is arranged is imaged by a CCD camera 103, and the obtained image information is corrected by an image processing unit 104 and used for inspection of a body surface or the like. Is an optical shape recognition device. Further, since the surface of the work 102 is imaged in an oblique direction, the image on the scale 101 is referred to by the image processing unit 104 to correct the distorted screen, and the same image information as when viewed straight from above vertically is formed. .

【0005】従って、既知のスケール101を予め画面
内に配置することにより、撮像すべき表面が既に計測済
であることと等価になり、得られた画面のみから求めら
れる歪み量によりカメラパラメータを一義的に決定して
いる。つまり、ワーク102表面に既知の目盛りを付す
ことにより、カメラパラメータの決定因子である表面寸
法が、撮像される画面において予め設定されカメラパラ
メータが決定付けられ、このカメラパラメータにより歪
み量が補正される。
Therefore, by arranging the known scale 101 in the screen in advance, it becomes equivalent to the surface to be imaged being already measured, and the camera parameters are unambiguously determined by the distortion amount obtained only from the obtained screen. Has been decided. In other words, by giving a known scale to the surface of the work 102, the surface dimension, which is a determinant of the camera parameter, is set in advance on the screen to be imaged and the camera parameter is determined, and the distortion amount is corrected by the camera parameter. .

【0006】図8は、光センサによる第2従来例を説明
する構成図である。第2従来例は、道路121上を進入
してくる車両122に光軸が遮られる瞬間を光センサ1
23により検知し、この車両122の前面をカメラ12
4などの撮像機により撮像し、得られた画像情報を画像
処理装置125により補正し、ナンバープレートの検出
に使用されるナンバープレート読み取り装置である。従
って、カメラパラメータの決定因子はカメラ124と車
両122前面の位置関係であり、光センサ123の光軸
までの距離として予め設定される。
FIG. 8 is a configuration diagram illustrating a second conventional example using an optical sensor. In the second conventional example, a moment when an optical axis is blocked by a vehicle 122 entering on a road 121 is determined by an optical sensor 1.
23, and the front of the vehicle 122 is
4 is a license plate reading device which is used for detecting a license plate by taking an image with an image pickup device such as 4 and correcting the obtained image information by an image processing device 125. Therefore, the determinant of the camera parameter is the positional relationship between the camera 124 and the front of the vehicle 122, and is set in advance as the distance to the optical axis of the optical sensor 123.

【0007】[0007]

【発明が解決しようとする課題】しかし、従来の移動体
の検出システムを使用し、進行中の車両を任意の位置に
おいて検出しようとする際、次に述べる問題点があっ
た。第1従来例のように目盛り付きスケールを使用する
には、このスケールを各車両に配置することが必要であ
るが、不特定の車両を次々に撮像する場合には現実的と
は言えず、ましてや進行中の車両に固定するのは極めて
困難である。
However, there are the following problems when trying to detect a moving vehicle at an arbitrary position using a conventional moving object detection system. In order to use a scale with a scale as in the first conventional example, it is necessary to arrange this scale on each vehicle. However, it is not realistic when imaging unspecified vehicles one after another. Furthermore, it is extremely difficult to fix it to a moving vehicle.

【0008】第2従来例のように光センサの光軸を使用
するのは、不特定の車両との位置関係を決定することは
できても、カメラと車両の位置関係は車両の移動ととも
に時々刻々に変化することを前提とする場合、道路に対
するカメラの設置位置や撮像方向は予め設定できても、
この位置関係が特定できないため予め用意されたカメラ
パラメータを使用できず、また、光センサを設置するた
めの余計な設備が必要になる。
The use of the optical axis of the optical sensor as in the second conventional example can determine the positional relationship with an unspecified vehicle, but the positional relationship between the camera and the vehicle sometimes changes as the vehicle moves. If it is assumed that it changes every moment, even if the installation position and imaging direction of the camera with respect to the road can be set in advance,
Since this positional relationship cannot be specified, camera parameters prepared in advance cannot be used, and extra equipment for installing an optical sensor is required.

【0009】本発明は、上記の問題点にかんがみてなさ
れたものであり、車両をカメラにより撮像した画面から
特定部分を検出する際に、進行中の車両を所定範囲内の
融通性を持って検出し、かつ斜めの角度から捕らえたナ
ンバープレートなどを正面から正視した画像に補正でき
る移動体の検出システムの提供を目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has an advantage that a moving vehicle can be flexibly within a predetermined range when detecting a specific portion from a screen imaged by the camera. It is an object of the present invention to provide a moving object detection system that can detect and correct a license plate or the like captured from an oblique angle into an image viewed straight from the front.

【0010】[0010]

【課題を解決するための手段】上記の課題を解決するた
め本発明の移動体の検出システムは、進行する移動体を
撮像機により斜め方向から撮像して斜方撮像画面を記憶
し、この斜方撮像画面から移動体の正視画像を検出する
ための移動体の検出システムにおいて、前記撮像から
移動体までの所定範囲内における距離値を生成して指定
するための距離値設定手段と、この距離値における2次
元座標を一義的に決定するためのカメラパラメータを生
成し、このカメラパラメータにより斜方撮像画面におけ
る移動体の画像情報を処理し、移動体の表面を撮像
視線方向に補正させた正視画像を形成するための正視画
像生成手段と、形成された正視画像を記憶するための画
像記憶手段と、記憶された正視画像における対称性のあ
る領域を抽出するための対象領域抽出手段とを設ける構
成とする。
SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, a moving object detection system of the present invention captures an image of a moving object in an oblique direction by an image pickup device, stores an oblique image pickup screen, and stores the oblique image pickup screen. in the moving body detection system for detecting emmetropia image of the moving body from the rectangular imaging plane, and the distance value setting means for designating to generate distance values within a predetermined range to the mobile from the imaging device, the Quadratic in distance value
Generate camera parameters to uniquely determine the original coordinates
On the oblique imaging screen with this camera parameter.
That the image information of the movable body to process, and en-face image generating means for forming an en-face image with corrected surface of the moving object in the viewing direction of the imaging device, image storage means for storing an en-face images formed And a target area extracting means for extracting a symmetrical area in the stored stereoscopic image.

【0011】この検出システムによれば、撮像機から移
動体までの所定範囲内における距離値が距離値設定手段
により指定され、この距離値におけるカメラパラメータ
が正視画像生成手段に設定されて距離値設定手段の指示
により画像検出が開始され、斜方撮像画面における移動
体の画像情報が読み出されて処理され、移動体の表面が
正視画像に形成されて画像記憶手段に記憶され、この正
視画像における対称性のある領域が対象領域抽出手段で
抽出される。
According to this detection system, a distance value within a predetermined range from the image pickup device to the moving body is designated by the distance value setting means, and the camera parameter at this distance value is set in the stereoscopic image generating means to set the distance value. The image detection is started by the instruction of the means, the image information of the moving body on the oblique imaging screen is read and processed, the surface of the moving body is formed into a stereoscopic image, stored in the image storage unit, and the A region having symmetry is extracted by the target region extracting means.

【0012】請求項2記載の移動体の検出システムは、
前記距離値設定手段により、所定範囲内における複数の
距離値を設定し、前記正視画像生成手段により、それぞ
れの距離値毎に正視画像を形成し、前記正視画像記憶手
段により、それぞれの正視画像を距離値毎に記憶する構
成とする。
[0012] According to a second aspect of the present invention, there is provided a moving object detection system.
The distance value setting unit sets a plurality of distance values within a predetermined range, the stereoscopic image generation unit forms a stereoscopic image for each distance value, the stereoscopic image storage unit, each stereoscopic image, It is configured to store for each distance value.

【0013】この検出システムによれば、前記距離値設
定手段により、所定範囲内における複数の距離値が設定
され、前記正視画像生成手段により、それぞれの距離値
毎に正視画像が形成されて、前記正視画像記憶手段によ
り、それぞれの正視画像が距離値毎に記憶される。
According to this detection system, a plurality of distance values within a predetermined range are set by the distance value setting means, and a stereoscopic image is formed for each distance value by the stereoscopic image generating means. Each of the stereoscopic images is stored for each distance value by the standard image storage means.

【0014】請求項3記載の移動体の検出システムは、
進行する移動体を撮像機により斜め方向から撮像して斜
方撮像画面を記憶し、この斜方撮像画面から移動体の正
視画像を検出するための移動体の検出システムにおい
て、撮像から移動体までの所定範囲内における距離値
を生成し、この距離値における2次元座標を一義的に決
定するためのカメラパラメータを生成して指定するため
の2次元平面設定手段と、この2次元平面設定手段によ
って生成したカメラパラメータを用いて斜方撮像画面に
おける移動体の画像情報を処理し、移動体の表面を3次
元座標系において撮像の視線方向に補正させ、2次元
座標系における正視平面を形成するための部分正視画像
生成手段と、この形成された正視平面を記憶するための
部分正視画像記憶手段と、記憶された正視平面における
対称性を算出するための対称性算出手段とを設ける構成
とする。
According to a third aspect of the present invention, there is provided a moving object detection system.
Mobile traveling imaged obliquely stores oblique imaging screen by the imaging device, the moving body detection system for detecting emmetropia image of the moving body from the oblique imaging screen, the mobile from the imaging device Two-dimensional plane setting means for generating a distance value within a predetermined range up to and generating and specifying a camera parameter for uniquely determining two-dimensional coordinates at the distance value; and a two-dimensional plane setting means. By
On the oblique imaging screen using the camera parameters generated by
Processing means for processing image information of a moving object in the three-dimensional coordinate system, correcting a surface of the moving object in a line-of-sight direction of the image pickup apparatus , and forming a partial normal-view image generating means for forming a normal-view plane in a two-dimensional coordinate system; A partial emmetropic image storage means for storing the obtained emmetropic plane and a symmetry calculating means for calculating the symmetry in the stored emmetropic plane are provided.

【0015】この検出システムによれば、撮像機から移
動体までの所定範囲内における距離値が2次元平面設定
手段により生成され、この距離値における2次元座標の
カメラパラメータが指定され、2次元平面設定手段の指
示により、このカメラパラメータが部分正視画像生成手
段に設定されて画像検出が開始され、斜方撮像画面にお
ける移動体の画像情報が読み出されて処理され、移動体
の表面が3次元座標系において撮像機の視線方向に補正
され、2次元座標系の正視平面が形成されて部分正視画
像記憶手段に記憶され、この正視平面における対称性が
対称性算出手段で算出される。
According to this detection system, a distance value within a predetermined range from the image pickup device to the moving object is generated by the two-dimensional plane setting means, a camera parameter of two-dimensional coordinates at this distance value is designated, and a two-dimensional plane is specified. In accordance with an instruction from the setting unit, the camera parameters are set in the partial emmetropic image generating unit, image detection is started, image information of the moving body on the oblique imaging screen is read and processed, and the surface of the moving body is three-dimensionally read. In the coordinate system, the correction is made in the direction of the line of sight of the image pickup device, a two-dimensional coordinate system emmetropic plane is formed and stored in the partial emmetropic image storage means.

【0016】請求項4記載の移動体の検出システムは、
前記2次元平面設定手段により、所定範囲内における複
数の距離値を設定して、それぞれの距離値におけるカメ
ラパラメータ群を生成し、前記部分正視画像生成手段に
より、それぞれのカメラパラメータにおける正視平面群
を形成し、前記部分正視画像記憶手段により、それぞれ
の正視平面を距離値毎に記憶し、前記対称性算出手段に
より、対称性のある正視平面を選択する構成とする。
According to a fourth aspect of the present invention, there is provided a moving object detection system.
The two-dimensional plane setting unit sets a plurality of distance values within a predetermined range to generate a camera parameter group at each distance value, and the partial stereoscopic image generation unit sets a standard viewing plane group at each camera parameter. The partial emmetropic image storage means stores each emmetropic plane for each distance value, and selects a symmetric emmetropic plane by the symmetry calculating means.

【0017】この検出システムによれば、所定範囲内に
おける複数の距離値が2次元平面設定手段に設定されて
カメラパラメータ群が生成され、各カメラパラメータに
おける正視平面群が部分正視画像生成手段に形成され、
各正視平面が部分正視画像記憶手段に距離値毎に記憶さ
れ、対称性のある正視平面が選択される。
According to this detection system, a plurality of distance values within a predetermined range are set in the two-dimensional plane setting means to generate a camera parameter group, and a normal viewing plane group in each camera parameter is formed in the partial normal viewing image generating means. And
Each emmetropic plane is stored in the partial emmetropic image storage means for each distance value, and a symmetric emmetropic plane is selected.

【0018】[0018]

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。なお、従来例と同一の符号を付し
て示す各部は同様の機能を有する部分であり詳しい説明
を省略する。図1は、本発明による第1実施形態を説明
する構成図である。この実施形態は、図8におけるカメ
ラ124などにより得られる画面を入力するための画面
入力装置1と、入力された画面などを記憶するための第
1記憶装置2と、第1記憶装置2における画面を処理し
必要な画像情報を得るための第1画像処理装置3と、第
1画像処理装置3による画像情報を表示するためのディ
スプレイなどの出力装置4からなる移動体の検出システ
ムである。
Embodiments of the present invention will be described below with reference to the drawings. In addition, each part denoted by the same reference numeral as the conventional example is a part having the same function, and the detailed description is omitted. FIG. 1 is a configuration diagram illustrating a first embodiment according to the present invention. This embodiment includes a screen input device 1 for inputting a screen obtained by the camera 124 or the like in FIG. 8, a first storage device 2 for storing the input screen, and the like, and a screen in the first storage device 2. This is a moving object detection system including a first image processing device 3 for processing image data and obtaining necessary image information, and an output device 4 such as a display for displaying image information by the first image processing device 3.

【0019】第1記憶装置2は、画面入力装置1から導
入された斜方撮像画面を記憶するための斜方撮像画面記
憶手段21と、画像処理装置3から導入された正視画像
34群を記憶するための正視画像群記憶手段22からな
る。正視画像群記憶手段22では、正視画像34群を距
離値毎に記憶する。なお、斜方撮像画面は移動体を斜め
方向から撮像した画面であり、正視画像34群は補正に
より移動体を正面から正視した画像群である。
The first storage device 2 stores an oblique imaging screen storage unit 21 for storing an oblique imaging screen introduced from the screen input device 1 and a group of normal-view images 34 introduced from the image processing device 3. And a normal-view image group storage unit 22 for performing the operation. The standard-view image group storage unit 22 stores the standard-view image group 34 for each distance value. Note that the oblique imaging screen is a screen in which the moving object is imaged from an oblique direction, and the group of stereoscopic images 34 is an image group in which the moving object is directly viewed from the front by correction.

【0020】第1画像処理装置3は、距離値を設定する
ための距離値設定手段31と、正視画像34を生成する
ための正視画像生成手段32と、対称性のある領域を抽
出するための対象領域抽出手段33からなる。距離値設
定手段31では、撮像機から移動体までの複数の距離を
所定範囲内に設定する。
The first image processing device 3 includes a distance value setting unit 31 for setting a distance value, a standard image generation unit 32 for generating a standard image 34, and a symmetric region for extracting a symmetric region. The target area extracting means 33 is provided. The distance value setting means 31 sets a plurality of distances from the imaging device to the moving object within a predetermined range .

【0021】正視画像生成手段32では、距離値設定手
段31で形成されたカメラパラメータを用いて斜方撮像
画面における移動体の画像情報を処理して、移動体の表
面を撮像機の視線方向に補正させた正視画像34を各距
離値毎に形成する。対象領域抽出手段33では、それぞ
れの正視画像34毎に対称領域を抽出する。
In the stereoscopic image generating means 32, a distance value setting
The image information of the moving object on the oblique imaging screen is processed using the camera parameters formed in the step 31 to form a stereoscopic image 34 in which the surface of the moving object is corrected in the line-of-sight direction of the imaging device for each distance value. I do. The target area extracting means 33 extracts a symmetric area for each of the stereoscopic images 34.

【0022】続いて、第1実施形態の作用について説明
する。図2は、図1における2つの3次元座標系の関係
を説明する図である。撮像機設置位置θは、図8におけ
るカメラ124内の撮像面に設けた3次元固定座標系θ
−XYZの第1原点であって、X軸は道路121に向か
い路面と平行に、Y軸は道路121路面の延長面と直交
し、Z軸は図8における車両122に対向し道路121
と平行にそれぞれ設ける。
Next, the operation of the first embodiment will be described. FIG. 2 is a diagram illustrating the relationship between two three-dimensional coordinate systems in FIG. The imaging device installation position θ is a three-dimensional fixed coordinate system θ provided on the imaging surface in the camera 124 in FIG.
The first origin of XYZ, the X axis is parallel to the road surface facing the road 121, the Y axis is orthogonal to the extension of the road surface of the road 121, and the Z axis is opposite to the vehicle 122 in FIG.
Are provided in parallel with.

【0023】また、3次元座標系θ−XYZをY軸の回
りに傾き角αだけ回転させ、X′軸としたX軸の回りに
傾き角βだけ回転させ、第1原点θを自らの原点として
共有し、カメラ124の視線方向、すなわちレンズの光
軸をZ′軸として車両122に向けた3次元回転座標系
θ−X′Y′Z′を設ける。
Further, the three-dimensional coordinate system θ-XYZ is rotated by a tilt angle α around the Y axis, and rotated by a tilt angle β around the X axis which is the X ′ axis, and the first origin θ is set to its own origin. And a three-dimensional rotation coordinate system θ-X′Y′Z ′ directed toward the vehicle 122 with the line of sight of the camera 124, that is, the optical axis of the lens as the Z ′ axis.

【0024】通常、道路121に沿ってカメラ124方
向に走行する車両122では、その前部ナンバープレー
トがXY軸平面と平行になるため、3次元固定座標系θ
−XYZは、正視画像34としてのナンバープレートを
最も容易に数値化できる空間であるといえる。他方、
X′Y′軸平面がカメラ124の撮像面と平行になるた
め、3次元回転座標系θ−X′Y′Z′は、ナンバープ
レートを視野に納めた斜方撮像画面の数値化に最適な空
間である。
Normally, a vehicle 122 traveling in the direction of a camera 124 along a road 121 has a three-dimensional fixed coordinate system θ since its front license plate is parallel to the XY axis plane.
It can be said that -XYZ is a space in which the license plate as the stereoscopic image 34 can be most easily digitized. On the other hand,
Since the X'Y 'axis plane is parallel to the imaging plane of the camera 124, the three-dimensional rotational coordinate system θ-X'Y'Z' is optimal for digitizing an oblique imaging screen with a license plate in the field of view. Space.

【0025】以上において、車両122の斜方撮像画面
が画像入力装置1から斜方撮像画面記憶手段21に入力
され、複数の距離が距離値設定手段31で設定される。
複数の距離は、カメラ124から移動体までの所定範囲
内において3次元固定座標系θ−XYZに対応させて求
められ、所定の間隔Dz 毎に生成されるn個の距離値Z
i(i=1,2,・・・,n)である。
In the above, the oblique imaging screen of the vehicle 122 is input from the image input device 1 to the oblique imaging screen storage means 21, and a plurality of distances are set by the distance value setting means 31.
The plurality of distances are obtained in a predetermined range from the camera 124 to the moving object in correspondence with the three-dimensional fixed coordinate system θ-XYZ, and n distance values Z generated at predetermined intervals Dz
i (i = 1, 2,..., n).

【0026】それぞれの距離値Ziは、最小値をZmin
とし最大値をZmax とすれば次の式1の関係にあり、各
距離値Zi毎に正視画像生成手段32に導入され補正に
供される。 Zmin ≦Z1<Z2<・・・<Zn<Zmax ・・・式1
For each distance value Zi, the minimum value is Zmin.
Assuming that the maximum value is Zmax, there is a relationship represented by the following expression 1, and the distance value Zi is introduced into the stereoscopic image generating means 32 and subjected to correction. Zmin ≦ Z1 <Z2 <... <Zn <Zmax...

【0027】正視画像生成手段32では、斜方撮像画面
記憶手段21から斜方撮像画面を導入し、補正を施して
正視画像34に逆変換し正視画像群記憶手段22に記憶
する。
The stereoscopic image generation means 32 introduces the oblique imaging screen from the oblique imaging screen storage means 21, corrects it, reverse-converts it into a stereoscopic image 34, and stores it in the stereoscopic image group storage means 22.

【0028】ここで、カメラパラメータとして2aをカ
メラ124の水平方向の画角(IX軸に沿って視野がな
す角度)、2bを垂直方向の画角(IY軸に沿って視野
がなす角度)とし、縦isx(画素)×横isy(画素)を
カメラ124のデジタル画像における原画像1画面有効
サイズとする。また、このデジタル画像の2次元表示座
標系θ″−IXIYにおける画素位置を変数IXとIY
とすれば、2次元表示座標系θ″−IXIYの斜方撮像
画面を次の式2により3次元固定座標系θ−XYZの正
視画像34に逆変換できる。
Here, as camera parameters, 2a is the horizontal angle of view of the camera 124 (the angle formed by the visual field along the IX axis), and 2b is the vertical angle of view (the angle formed by the visual field along the IY axis). , Vertical isx (pixels) × horizontal isy (pixels) is defined as the effective size of one screen of the original image in the digital image of the camera 124. The pixel positions of the digital image in the two-dimensional display coordinate system θ ″ -IXIY are defined as variables IX and IY.
Then, the oblique imaging screen of the two-dimensional display coordinate system θ ″ -IXIY can be inversely transformed into the stereoscopic image 34 of the three-dimensional fixed coordinate system θ-XYZ by the following Expression 2.

【0029】 IX={1+(X cosα−Z sinα)/(X sinα cosβ−Y sinβ+ Z cosα cosβ) tana}isx/2 IY={1+(X sinα sinβ+Y cosβ+Z cosα sinβ)/ (X sinα cosβ−Y sinβ+Z cosα cosβ) tanb}isy/2 ・・・ 式2 なお、3次元座標系から2次元座標系へ写像する過程に
ついては後で詳しく説明する。
IX = {1+ (X cos α−Z sin α) / (X sin α cos β−Y sin β + Z cos α cos β) tana} isx / 2 IY = {1+ (X sin α sin β + Y cos β + Z cos α sin β) / (X sin α cos β-Y sinβ + Z cosα cosβ) tanb} isy / 2 Expression 2 The process of mapping from the three-dimensional coordinate system to the two-dimensional coordinate system will be described later in detail.

【0030】式2における各パラメータのうち、これら
画角a,bと原画像一画面有効サイズisx ,isy は、カ
メラ124の光学系および光電変換回路に固有である。
また、視線の傾き角α,βも、既に述べたとおりカメラ
124の設置状態による固定値であって、全て撮像の際
には決定されている定数である。
Of the parameters in Equation 2, the angles of view a and b and the effective size of the original image one screen arex and isy are specific to the optical system of the camera 124 and the photoelectric conversion circuit.
Also, the inclination angles α and β of the line of sight are fixed values depending on the installation state of the camera 124 as described above, and are all constants determined at the time of imaging.

【0031】従って、距離値Ziを変数Zと置けば斜方
撮像画面の遠近歪みが補正され正視画像34における画
素位置である変数X,Yを求めることができる。つま
り、変数Zを所定範囲内で複数個だけ与えることによ
り、3次元固定座標系θ−XYZにおけるナンバープレ
ートの表面が2次元表示座標系θ″−IX・IYから式
2により一義的に決定され正視画像34として表示され
る。
Accordingly, if the distance value Zi is set as the variable Z, the perspective distortion of the oblique image pickup screen is corrected, and the variables X and Y, which are the pixel positions in the normal-view image 34, can be obtained. In other words, by giving a plurality of variables Z within a predetermined range, the surface of the license plate in the three-dimensional fixed coordinate system θ-XYZ is uniquely determined from the two-dimensional display coordinate system θ ″ -IX · IY according to Expression 2. The image is displayed as the stereoscopic image 34.

【0032】ここで、以上の作用に対する理解を容易に
するため、3次元座標系から2次元座標系に写像する過
程について述べ、斜方撮像画面を正視画像34に逆変換
するため画像情報の補正に必要なカメラパラメータにつ
いて具体的に説明する。先ず、3次元固定座標系θ−X
YZにおける実際のナンバープレートが、3次元回転座
標系θ−X′Y′Z′における斜方撮像画面に写像され
る際には、カメラ124の傾き角α,βを使用する次の
式3により座標変換を行うことができる。
Here, in order to facilitate understanding of the above operation, a process of mapping from a three-dimensional coordinate system to a two-dimensional coordinate system will be described. The camera parameters required for will be described specifically. First, the three-dimensional fixed coordinate system θ-X
When the actual license plate in YZ is mapped on the oblique imaging screen in the three-dimensional rotation coordinate system θ-X′Y′Z ′, the following Expression 3 using the inclination angles α and β of the camera 124 is used. Coordinate transformation can be performed.

【0033】[0033]

【数1】 (Equation 1)

【0034】図3は、図2における3次元回転座標系と
2次元表示座標系の関係を説明する図である。3次元回
転座標系θ−X′Y′Z′をZ′軸に沿って平行移動
し、第1原点θから距離fだけ離れた第2原点θ′に3
次元移動座標系θ′−x′y′z′を設ける。
FIG. 3 is a diagram for explaining the relationship between the three-dimensional rotation coordinate system and the two-dimensional display coordinate system in FIG. The three-dimensional rotating coordinate system θ-X′Y′Z ′ is translated along the Z ′ axis, and is moved to the second origin θ ′ which is separated from the first origin θ by a distance f.
A dimensional movement coordinate system θ′-x′y′z ′ is provided.

【0035】つまり、次の式4による3次元移動座標系
θ′−x′y′z′への変換は、カメラ124に達した
車両122の映像を焦点距離fにある撮像面に結ぶこと
と等価である。 〔x′,y′,z′〕=〔X′×(f/Z′),Y′×(f/Z′),0〕 ・・・式4
That is, the conversion to the three-dimensional moving coordinate system θ'-x'y'z 'according to the following equation 4 is performed by connecting the image of the vehicle 122 that has reached the camera 124 to the image pickup plane at the focal length f. Are equivalent. [X ′, y ′, z ′] = [X ′ × (f / Z ′), Y ′ × (f / Z ′), 0] Equation 4

【0036】また、3次元移動座標系θ′−x′y′
z′のx′y′軸平面上に前記2次元表示座標系θ″−
IX・IYを設け、この2次元表示座標系θ″−IX・
IYはx′y′軸平面の第3象限に第3原点θ″を有す
る。ここで、前記画角2a,2bおよび原画像1画面有
効サイズisx ,isy を使用すれば、画素の分解能(g
x ,gy )は次の式5であるため式6が得られる。 gx =2ftan a/isx gy =2ftan b/isy ・・・ 式5
Further, the three-dimensional moving coordinate system θ'-x'y '
the two-dimensional display coordinate system θ ″ − on the x′y ′ axis plane of z ′.
IX · IY, and the two-dimensional display coordinate system θ ″ −IX ·
IY has a third origin θ ″ in the third quadrant of the x′y ′ axis plane. Here, if the angles of view 2a and 2b and the effective size of one original image isx and isy are used, the resolution of the pixel (g
x , g y ) is the following Expression 5, and Expression 6 is obtained. g x = 2ftan a / isx g y = 2ftan b / isy Equation 5

【0037】[0037]

【数2】 (Equation 2)

【0038】さらに、前記の式4および式5を式6に代
入すると次の式7となる。 IX=(1+X′/Z′tan a)isx/2 IY=(1+Y′/Z′tan b)isy/2 ・・・ 式7
Further, when the above equations 4 and 5 are substituted into equation 6, the following equation 7 is obtained. IX = (1 + X ′ / Z′tan a) isx / 2 IY = (1 + Y ′ / Z′tan b) isy / 2 Equation 7

【0039】以上より、3次元固定座標系θ−XYZか
ら2次元表示座標系θ″−IX・IYへの写像は、式3
を式7に代入した前記の式2として求められる。なお、
座標(isx/2,isy/2) は3次元移動座標系θ′−x′y′
z′における第3原点θ″のオフセット値といえる。
From the above, the mapping from the three-dimensional fixed coordinate system θ-XYZ to the two-dimensional display coordinate system θ ″ -IX · IY is expressed by the following equation (3).
Is substituted into Equation 7 to obtain Equation 2. In addition,
The coordinates (isx / 2, isy / 2) are in the three-dimensional moving coordinate system θ'-x'y '
It can be said that this is an offset value of the third origin θ ″ at z ′.

【0040】図4は、図1における対象領域抽出手段の
作用を説明する図である。対象領域抽出手段33では、
正視画像群記憶手段22から正視画像34を読み出し、
この正視画像34上に左右対称の図4に示すウィンドー
35が設定される。ウィンドー35の中央には対称軸t
を設け、この対称軸tから等距離にある左右の画素ペア
を全て選択し、これら画素ペアについて互いの輝度差を
算出して所定の基準値δTと比較する。また、この基準
値δTより小さな輝度差の画素ペアの数を求めてNpair
とし左右の対称性を検証する。
FIG. 4 is a diagram for explaining the operation of the target area extracting means in FIG. In the target area extraction means 33,
Read the emmetropic image 34 from the emmetropic image group storage means 22,
On this emmetropic image 34, a window 35 shown in FIG. At the center of window 35 is the axis of symmetry t
Is selected, all the left and right pixel pairs equidistant from the symmetry axis t are selected, and the luminance difference between these pixel pairs is calculated and compared with a predetermined reference value δT. In addition, the number of pixel pairs having a luminance difference smaller than the reference value δT is calculated to obtain Npair.
And verify the left-right symmetry.

【0041】しかし、Npairを求めるだけでは、車両1
22の背景や道路121などの左右対称の領域であれば
含まれてしまうため、車両122の画像が有する特徴に
注目し、全体的に輝度差が一様な不要領域を排除し、輪
郭などを多く含む領域に絞って抽出してNpairが大きく
なりすぎるのを防止すべきである。
However, the vehicle 1 can be obtained by simply obtaining Npair.
If it is a left-right symmetric area such as the background of the road 22 or the road 121, the image is included in the image of the vehicle 122. It is necessary to extract by narrowing down to a region that includes a large amount and prevent Npair from becoming too large.

【0042】そこで、Npairを求めるとともに、正視画
像34に対してエッジ検出と2値化を行って2値エッジ
画像36を形成し、同様のウィンドー35中に存在する
“1”の輝度値を有する画素数をNedgeとし、次の式8
により対称性の度合いをはかるための対称度Sを求め
る。 S=Npair×Nedge ・・・ 式8
Therefore, Npair is obtained, and the edge image 34 is subjected to edge detection and binarization to form a binary edge image 36, which has a luminance value of "1" existing in the same window 35. The number of pixels is N edge , and the following equation 8
To determine the degree of symmetry S for measuring the degree of symmetry. S = N pair × N edge Equation 8

【0043】続いて、対称軸tの位置とウィンドー35
の幅および高さを変化させ、また、得られた複数の正視
画像34に対し以上のようにして全ての対称度Sを求
め、算出された対称度群〔S〕について各々を相互に比
較し、最も大きな対称度Sを有するウィンドー35に対
応する正視画像34中の領域を検出結果として出力装置
4に供給する。
Subsequently, the position of the symmetry axis t and the window 35
Are varied, and all the degrees of symmetry S are obtained for the plurality of obtained stereoscopic images 34 as described above, and each of the calculated degrees of symmetry [S] is compared with each other. The region in the stereoscopic image 34 corresponding to the window 35 having the largest degree of symmetry S is supplied to the output device 4 as a detection result.

【0044】図5は、本発明による第2実施形態を説明
する構成図である。第2実施形態は、図1における第1
記憶装置2を第2記憶装置5と置き換え、第1画像処理
装置3を第2画像処理装置6と置き換える他は、第1実
施形態と同様である。
FIG. 5 is a configuration diagram illustrating a second embodiment according to the present invention. The second embodiment corresponds to the first embodiment in FIG.
The second embodiment is the same as the first embodiment except that the storage device 2 is replaced with the second storage device 5 and the first image processing device 3 is replaced with the second image processing device 6.

【0045】第2記憶装置5は、前記の斜方撮像画面記
憶手段21と、処理された部分正視画像34群を記憶す
るための部分正視画像群記憶手段52からなる。部分正
視画像群記憶手段52では、形成された部分正視画像3
4群を距離値毎に記憶する。
The second storage device 5 comprises the above-described oblique imaging screen storage means 21 and a partial stereoscopic image group storage means 52 for storing the processed partial stereoscopic image group 34. In the partial emmetropic image group storage means 52, the formed partially emmetropic image 3
Four groups are stored for each distance value.

【0046】第2画像処理装置6は、2次元座標系のカ
メラパラメータを生成するための2次元平面設定手段6
1と、2次元座標系における正視平面を形成するための
部分正視画像生成手段62と、この正視平面における対
称性を算出するための対称性算出手段63からなる。
The second image processing device 6 includes a two-dimensional plane setting means 6 for generating camera parameters of a two-dimensional coordinate system.
1, a partial stereoscopic image generating means 62 for forming a standard viewing plane in a two-dimensional coordinate system, and a symmetry calculating means 63 for calculating symmetry in the standard viewing plane.

【0047】2次元平面設定手段61は、所定範囲内に
おける複数の距離値に対しそれぞれのカメラパラメータ
生成する。
The two-dimensional plane setting means 61 generates respective camera parameters for a plurality of distance values within a predetermined range .

【0048】部分正視画像群生成手段62は、2次元平
面設定手段61において生成されたカメラパラメータを
用いて斜方撮像画面における移動体の画像情報を補正
し、移動体における特定の平面を3次元座標において撮
像機の視線方向に回転させ、2次元座標系における正視
平面を形成する。
The partial emmetropic image group generating means 62 includes a two-dimensional flat
The camera parameters generated by the plane setting means 61 are
The image information of the moving object on the oblique imaging screen is corrected using the image data, and a specific plane of the moving object is rotated in three-dimensional coordinates in the direction of the line of sight of the imaging device to form a normal viewing plane in a two-dimensional coordinate system.

【0049】図6は、図5における2次元平面設定手段
の作用を説明する図であり、図6(a)は正視平面を示
し、図6(b)は図6(a)をY軸に沿って上から視た
ものである。正視平面は、X軸方向の幅が2B(半幅
B)でZ軸方向の高さがCの格子状であり、3次元固定
座標系θ−XYZのXY軸平面と平行に設けてある。ま
た、格子の各交点を画素位置とし、格子中央の線分上に
XZ軸平面と垂直な中心軸Aを有する。通常、第1実施
形態と同様に車両122のナンバープレートが正視平面
と平行になる。
FIG. 6 is a diagram for explaining the operation of the two-dimensional plane setting means in FIG. 5. FIG. 6 (a) shows a normal view plane, and FIG. 6 (b) shows FIG. Viewed from above along. The emmetropic plane has a lattice shape having a width of 2B (half width B) in the X-axis direction and a height of C in the Z-axis direction, and is provided in parallel with the XY-axis plane of the three-dimensional fixed coordinate system θ-XYZ. Each intersection of the grid is a pixel position, and has a center axis A perpendicular to the XZ-axis plane on a line segment at the center of the grid. Usually, as in the first embodiment, the license plate of the vehicle 122 is parallel to the normal viewing plane.

【0050】2次元平面設定手段61では、正視平面6
4を数値化し決定付けるためのカメラパラメータが予め
設定されている。つまり、中心軸Aの座標はXZ軸平面
における(Xa,Za)となり、以上の座標(Xa,Za)、半
幅B、高さCが、それぞれの最大値および最小値からな
る所定範囲内で所定間隔毎に少しずつ変化させ、複数の
カメラパラメータセットとして予め決定されている。続
いて、複数のカメラパラメータセットを生成して部分正
視画像生成手段62に転送し、それぞれの転送毎に部分
正視画像生成手段62の起動を指示する。
In the two-dimensional plane setting means 61, the emmetropic plane 6
Camera parameters for numerically determining 4 are set in advance. That is, the coordinates of the center axis A are (Xa, Za) on the XZ axis plane, and the coordinates (Xa, Za), the half width B, and the height C are within a predetermined range including the maximum value and the minimum value. It is changed little by little at intervals, and predetermined as a plurality of camera parameter sets. Subsequently, a plurality of camera parameter sets are generated and transferred to the partial stereoscopic image generation means 62, and the activation of the partial stereoscopic image generation means 62 is instructed for each transfer.

【0051】部分正視画像生成手段62では、与えられ
たカメラパラメータセット〔XaZa B C〕を使用
し、前記の式2における変数ZをZ=Za と置き、第1
実施形態と同様に2次元表示座標系θ″−IX・IYか
ら3次元固定座標系θ−XYZに逆変換し、それぞれの
XY座標を求める。また、得られたXY座標を前記格子
状の画素位置とする画素群からなる正視平面を形成し、
複数の正視平面群を各カメラパラメータセット毎に部分
正視画像群記憶手段52に記憶する。
The partial emmetropic image generation means 62 uses the given camera parameter set [XaZaBC], sets the variable Z in the above equation 2 to Z = Za,
In the same manner as in the embodiment, the two-dimensional display coordinate system θ ″ -IX · IY is inversely converted to the three-dimensional fixed coordinate system θ-XYZ to determine the respective XY coordinates. Form a standard viewing plane consisting of a group of pixels to be positioned,
A plurality of emmetropic plane groups are stored in the partial emmetropic image group storage means 52 for each camera parameter set.

【0052】対称性算出手段63では、部分正視画像群
記憶手段52から各正視平面を読み出し、中心軸Aを前
記対称軸tとし正視平面を前記ウィンドー35として第
1実施形態の対称領域抽出手段33と同様に対称度S群
〔S〕を算出する。また、算出された〔S〕について相
互に比較し、最大の対称度Sを有する正視平面を検出結
果として出力装置4に供給する。
The symmetry calculating means 63 reads out each emmetropic plane from the partial emmetropic image group storage means 52, and sets the central axis A as the symmetry axis t, the emmetropic plane as the window 35, and the symmetric region extracting means 33 of the first embodiment. In the same manner as in the above, the degree of symmetry S group [S] is calculated. Further, the calculated [S] is compared with each other, and the emmetropic plane having the maximum degree of symmetry S is supplied to the output device 4 as a detection result.

【0053】なお、本発明は前述の実施例にのみ限定さ
れるものではなく、例えば車両122の前部または前方
ナンバープレートのみならず、後部または後方ナンバー
プレートを同様に撮像するものであってもよい。
The present invention is not limited to the above-described embodiment. For example, the present invention may be applied not only to the front or front license plate of the vehicle 122 but also to the rear or rear license plate. Good.

【0054】また、2次元座標系や正視平面は必ずしも
道路121に直交または垂直でなくても、車両122の
走行方向に直交またはナンバープレート面に平行なもの
であればよく、その他、本発明の要旨を逸脱しない範囲
で種々の変更を加え得ることは勿論である。
The two-dimensional coordinate system and the emmetropic plane are not necessarily orthogonal or perpendicular to the road 121, but may be orthogonal to the running direction of the vehicle 122 or parallel to the license plate surface. Of course, various changes can be made without departing from the gist.

【0055】[0055]

【発明の効果】以上述べたように、本発明による移動体
の検出システムには次の効果がある。第1に、所定範囲
内の複数の距離を生成するか、または、これらの距離に
対応する複数のカメラパラメータを生成し予め用意して
おくため、光センサなどの撮像する瞬間を指示する設備
やレンジセンサなどの距離を計測する設備を道路わきに
必要としない。
As described above, the moving object detection system according to the present invention has the following effects. First, in order to generate a plurality of distances within a predetermined range, or to generate a plurality of camera parameters corresponding to these distances and prepare them in advance, equipment such as an optical sensor that indicates the moment of imaging is used. No equipment for measuring distance such as a range sensor is required beside the road.

【0056】第2に、カメラから移動体までの複数の距
離において正視画像または正視平面を形成し移動体の検
出を行うため、移動体自体に寸法表示のスケールなどを
付す必要がなく、また、不特定の車両を次々に撮像する
場合に、その車両が進行中であっても容易に検出でき現
実的であるといえる。
Secondly, since a mobile object is detected by forming a stereoscopic image or a stereoscopic plane at a plurality of distances from the camera to the mobile object, it is not necessary to attach a scale for dimension display to the mobile object itself. In the case where an unspecified vehicle is successively imaged, it can be said that even if the vehicle is in progress, it can be easily detected and is realistic.

【0057】第3に、複数の距離またはカメラパラメー
タにより得られた複数の正視画像などから最も大きな対
称性のある領域などを抽出するため、移動体の予期でき
ない微妙な撮像位置の変位に対しても融通性のある検出
が行える。
Third, in order to extract a region having the greatest symmetry from a plurality of stereoscopic images obtained from a plurality of distances or camera parameters, an unexpected subtle displacement of the moving position of the moving object is detected. Also allows flexible detection.

【0058】従って、車両をカメラにより撮像した画面
から特定部分を検出する際に、進行中の車両を所定範囲
内の融通性を持って検出し、かつ斜めの角度から捕らえ
たナンバープレートなどを正面から正視した画像に補正
できる移動体の検出システムを提供できるようになっ
た。
Therefore, when detecting a specific portion from a screen imaged by a camera, a moving vehicle is detected with flexibility within a predetermined range, and a license plate or the like captured from an oblique angle is detected in front of the vehicle. This makes it possible to provide a moving object detection system that can correct an image viewed from the front.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による第1実施形態を説明する構成図で
ある。
FIG. 1 is a configuration diagram illustrating a first embodiment according to the present invention.

【図2】図1における2つの3次元座標系の関係を説明
する図である。
FIG. 2 is a diagram illustrating a relationship between two three-dimensional coordinate systems in FIG.

【図3】図2における3次元回転座標系と2次元表示座
標系の関係を説明する図である。
FIG. 3 is a diagram illustrating a relationship between a three-dimensional rotation coordinate system and a two-dimensional display coordinate system in FIG. 2;

【図4】図1における対象領域抽出手段の作用を説明す
る図である。
FIG. 4 is a diagram illustrating an operation of a target area extracting unit in FIG. 1;

【図5】本発明による第2実施形態を説明する構成図で
ある。
FIG. 5 is a configuration diagram illustrating a second embodiment according to the present invention.

【図6】図2における2次元平面設定手段の作用を説明
する図である。
FIG. 6 is a diagram illustrating the operation of a two-dimensional plane setting unit in FIG. 2;

【図7】スケールによる第1従来例を説明する構成図で
ある。
FIG. 7 is a configuration diagram illustrating a first conventional example using a scale.

【図8】光センサによる第2従来例を説明する構成図で
ある。
FIG. 8 is a configuration diagram illustrating a second conventional example using an optical sensor.

【符号の説明】[Explanation of symbols]

1 画面入力装置 2 第1記憶装置 3 第1画像処理装置 4 出力装置 21 斜方撮像画面記憶手段 22 正視画像群記憶手段 31 距離値設定手段 32 正視画像生成手段 33 対象領域検出手段 5 第2記憶装置 6 第2画像処理装置 52 部分正視画像群記憶手段 61 2次元平面設定手段 62 部分正視画像生成手段 63 対象性算出手段 REFERENCE SIGNS LIST 1 screen input device 2 first storage device 3 first image processing device 4 output device 21 oblique imaging screen storage means 22 normal view image group storage means 31 distance value setting means 32 normal view image generation means 33 target area detection means 5 second storage Apparatus 6 Second image processing apparatus 52 Partial emmetropic image group storage means 61 Two-dimensional plane setting means 62 Partial emmetropic image generating means 63 Symmetry calculating means

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 進行する移動体を撮像機により斜め方向
から撮像して斜方撮像画面を記憶し、この斜方撮像画面
から移動体の正視画像を検出するための移動体の検出シ
ステムにおいて、前記 撮像から移動体までの所定範囲内における距離値
を生成して指定するための距離値設定手段と、 この距離値における2次元座標を一義的に決定するため
のカメラパラメータを生成し、このカメラパラメータに
より斜方撮像画面における移動体の画像情報を処理し、
移動体の表面を撮像の視線方向に補正させた正視画像
を形成するための正視画像生成手段と、 形成された正視画像を記憶するための画像記憶手段と、 記憶された正視画像における対称性のある領域を抽出す
るための対象領域抽出手段とを設けることを特徴とする
移動体の検出システム。
1. A moving object detection system for imaging a moving object that travels in an oblique direction by an image pickup device and storing an oblique imaging screen, and detecting a stereoscopic image of the moving object from the oblique imaging screen. a distance value setting means for designating to generate distance values within a predetermined range to the mobile from the imaging device, to uniquely determine the two-dimensional coordinates in the distance value
Generate camera parameters for this camera parameter
Processing the image information of the moving object on the oblique imaging screen,
A stereoscopic image generating means for forming a stereoscopic image in which the surface of the moving object is corrected in the direction of the line of sight of the imaging device ; an image storage means for storing the formed stereoscopic image; and a symmetry in the stored stereoscopic image. And a target area extracting means for extracting a certain area.
【請求項2】 前記距離値設定手段により、所定範囲内
における複数の距離値を設定し、 前記正視画像生成手段により、それぞれの距離値毎に正
視画像を形成し、 前記正視画像記憶手段により、それぞれの正視画像を距
離値毎に記憶する請求項1記載の移動体の検出システ
ム。
2. The distance value setting means sets a plurality of distance values within a predetermined range, the stereoscopic image generation means forms a stereoscopic image for each distance value, and the stereoscopic image storage means The moving object detection system according to claim 1, wherein each emmetropic image is stored for each distance value.
【請求項3】 進行する移動体を撮像機により斜め方向
から撮像して斜方撮像画面を記憶し、この斜方撮像画面
から移動体の正視画像を検出するための移動体の検出シ
ステムにおいて、 撮像から移動体までの所定範囲内における距離値を生
成し、この距離値における2次元座標を一義的に決定す
るためのカメラパラメータを生成して指定するための2
次元平面設定手段と、 この2次元平面設定手段によって生成したカメラパラメ
ータを用いて斜方撮像画面における移動体の画像情報を
処理し、移動体の表面を3次元座標系において撮像
視線方向に補正させ、2次元座標系における正視平面を
形成するための部分正視画像生成手段と、 この形成された正視平面を記憶するための部分正視画像
記憶手段と、 記憶された正視平面における対称性を算出するための対
称性算出手段とを設けることを特徴とする移動体の検出
システム。
3. A moving object detection system for capturing an oblique imaging screen by imaging an advancing moving object from an oblique direction with an imager, and detecting a stereoscopic image of the moving object from the oblique imaging screen. A distance value for generating a distance value within a predetermined range from the image pickup device to the moving body and generating and specifying a camera parameter for uniquely determining two-dimensional coordinates at this distance value.
Two-dimensional plane setting means , and camera parameters generated by the two-dimensional plane setting means .
Image information of the moving object on the oblique imaging screen
Processing , correcting the surface of the moving body in the direction of the line of sight of the image pickup device in the three-dimensional coordinate system, and forming a partial stereoscopic image generating means for forming a normal viewing plane in the two-dimensional coordinate system; and storing the formed normal viewing plane. A moving object detection system, comprising: a partial emmetropic image storage unit for calculating a symmetry in a stored emmetropic plane;
【請求項4】 前記2次元平面設定手段により、所定範
囲内における複数の距離値を設定して、それぞれの距離
値におけるカメラパラメータ群を指定し、 前記部分正視画像生成手段により、それぞれのカメラパ
ラメータにおける正視平面群を形成し、 前記部分正視画像記憶手段により、それぞれの正視平面
を記憶し、 前記対称性算出手段により、対称性のある正視平面を選
択する請求項3記載の移動体の検出システム。
4. A plurality of distance values within a predetermined range are set by the two-dimensional plane setting means, a camera parameter group at each distance value is designated, and each camera parameter is set by the partial stereoscopic image generation means. 4. The moving object detection system according to claim 3, wherein the emmetropic plane group is formed, and the partial emmetropic image storage means stores each emmetropic plane, and the symmetry calculating means selects a symmetric emmetropic plane. .
JP8205120A 1996-08-02 1996-08-02 Moving object detection system Expired - Lifetime JP2988383B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8205120A JP2988383B2 (en) 1996-08-02 1996-08-02 Moving object detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8205120A JP2988383B2 (en) 1996-08-02 1996-08-02 Moving object detection system

Publications (2)

Publication Number Publication Date
JPH1049656A JPH1049656A (en) 1998-02-20
JP2988383B2 true JP2988383B2 (en) 1999-12-13

Family

ID=16501760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8205120A Expired - Lifetime JP2988383B2 (en) 1996-08-02 1996-08-02 Moving object detection system

Country Status (1)

Country Link
JP (1) JP2988383B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4260634B2 (en) 2002-02-15 2009-04-30 富士通株式会社 Image conversion method and apparatus, image recognition apparatus, robot control apparatus, and image projection apparatus
JP5298991B2 (en) * 2009-03-18 2013-09-25 富士通株式会社 Vehicle recognition apparatus and program

Also Published As

Publication number Publication date
JPH1049656A (en) 1998-02-20

Similar Documents

Publication Publication Date Title
JP3728900B2 (en) Calibration method and apparatus, and calibration data generation method
JP2874710B2 (en) 3D position measuring device
EP1343332A2 (en) Stereoscopic image characteristics examination system
JP3349121B2 (en) Stereo camera mounting structure
JP5070435B1 (en) Three-dimensional relative coordinate measuring apparatus and method
EP1580523A1 (en) Three-dimensional shape measuring method and its device
WO2014142669A1 (en) Method for generating a panoramic image
US20020029127A1 (en) Method and apparatus for measuring 3-D information
CN113884519B (en) Self-navigation X-ray imaging system and imaging method
JP3709879B2 (en) Stereo image processing device
JPH05303629A (en) Method for synthesizing shape
JPH10122819A (en) Method and device for calibration
JP3696336B2 (en) How to calibrate the camera
CN111131801A (en) Projector correction system and method and projector
US20090087013A1 (en) Ray mapping
JP3862402B2 (en) 3D model generation apparatus and computer-readable recording medium on which 3D model generation program is recorded
JP2988383B2 (en) Moving object detection system
JPH0766436B2 (en) 3D model construction device using continuous silhouette images
JP3501841B2 (en) Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement method
JP4262830B2 (en) Three-dimensional object image analysis method and related technology
JP3340599B2 (en) Plane estimation method
JPH09229648A (en) Input/output method and device for image information
JP2010205040A (en) Road surface shape recognition apparatus
JPH07122895B2 (en) Stereo image processing method
JP2686664B2 (en) Three-dimensional measuring method and device