JPH08255245A - Landmark recognizing device and landmark recognizing method - Google Patents

Landmark recognizing device and landmark recognizing method

Info

Publication number
JPH08255245A
JPH08255245A JP7059270A JP5927095A JPH08255245A JP H08255245 A JPH08255245 A JP H08255245A JP 7059270 A JP7059270 A JP 7059270A JP 5927095 A JP5927095 A JP 5927095A JP H08255245 A JPH08255245 A JP H08255245A
Authority
JP
Japan
Prior art keywords
image
landmark
area
search
identification processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7059270A
Other languages
Japanese (ja)
Other versions
JP3437671B2 (en
Inventor
Kazunori Onoguchi
一則 小野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP05927095A priority Critical patent/JP3437671B2/en
Publication of JPH08255245A publication Critical patent/JPH08255245A/en
Application granted granted Critical
Publication of JP3437671B2 publication Critical patent/JP3437671B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: To stably segment the landmark in a complicated and fluctuating image from the inside of the image and to accurately recognize the class of the landmark in this area. CONSTITUTION: This device is provided with means 1a and 1b defining the measured surface area such as a road area continuously changing in three-dimensional space, etc., as a visual field and supplying a pair of images having at least parallax in the visual field as an identifying object image (P), a means 9 holding the feature information on a reference landmark (LM) including the images of practical various kinds of landmarks, a means 3 projecting the each of P on the plane of projection set in three-dimensional space by utilizing the information on the parallax that the image has and converting the P into image data (D), a means 6 extracting the contact part of a memory (M) 5 storing D and the surface in which the LM is defined as the reference from each D of the M, knowing an LM existing area in the P when the inverse conversion from the location in the partial M to the original P is performed and defining the LM existing area as a search area (S) and a means 7 collating the P within the S pertinent area in the P and the feature information on the reference LM and identifying the class of the LM.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、道路標識、信号機、及
び電柱等の如き、道路脇に立っているランドマークを画
像中から抽出し、認識するランドマーク認識装置に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a landmark recognition device for extracting and recognizing landmarks such as road signs, traffic lights, utility poles, etc. standing on the side of a road from an image.

【0002】[0002]

【従来の技術】人工衛星(GPS衛星)から送られてく
る信号や、車載の内界センサ(車両自身に装備され、自
身の状態を検知したり、制御したりするためのセンサ
で、タコジェネレータやポテンショメータ、エンコーダ
等の如きもの)で得た移動距離や操舵角等の情報を用い
て、自己位置を計測するGPS(Global Pos
itioning System)はナビゲーションシ
ステム等として良く知られており、近年、広く用いられ
ている。
2. Description of the Related Art A signal sent from an artificial satellite (GPS satellite) or an internal sensor installed in a vehicle (a sensor mounted on the vehicle itself for detecting and controlling its own state. GPS (Global Pos) that measures its own position by using information such as moving distance and steering angle obtained by a computer, potentiometer, encoder, etc.)
The Lighting System is well known as a navigation system and has been widely used in recent years.

【0003】しかし、このような車載用のナビゲーショ
ンシステムに用いられるGPS衛星を用いる自己位置計
測手法は、細かい補正を施さない限り、精度が低く、得
られた計測結果には200m程度の計測誤差が生じる。
そして、細かい補正を施すにはシステムが大掛かりとな
り、大幅なコストアップにもなるため、通常、この種の
装置では200m程度の計測誤差を含むことを前提とし
たシステムとなっている。このため、人間が車を運転す
る場合の経路案内程度には十分使えるが、車を自動運転
する際の位置確認には、計測精度を高めるための他の手
法が必要である。
However, the self-position measuring method using GPS satellites used in such a vehicle-mounted navigation system is low in accuracy unless fine correction is made, and the obtained measurement result has a measurement error of about 200 m. Occurs.
Since a system requires a large amount of correction to make a fine correction, and the cost is greatly increased, the system of this type is usually designed to include a measurement error of about 200 m. For this reason, it can be used enough for route guidance when a person drives a vehicle, but other methods for improving measurement accuracy are necessary for position confirmation when the vehicle is automatically driven.

【0004】また、GPS衛星を用いる方式では、地下
道や屋内あるいはトンネル内等のような電波の届かない
場所での利用ができないという問題も抱える。一方、車
を自動運転制御するような用途に利用する場合には、い
かなる状況下においても精度の高い位置計測、位置同定
が必要である。そこで、このような用途に対しても利用
できるようにした位置計測同定技術として、外界の映像
をとらえ、この映像から画像認識により特徴的な風景を
認識して、位置を知るようにした技術が提案されてい
る。
The system using GPS satellites also has a problem that it cannot be used in places where radio waves do not reach, such as underpasses, indoors, or in tunnels. On the other hand, when the vehicle is used for automatic driving control, highly accurate position measurement and position identification are required under any circumstances. Therefore, as a position measurement and identification technology that can be used for such purposes, there is a technology that captures an image of the outside world and recognizes a characteristic landscape from this image by image recognition to know the position. Proposed.

【0005】すなわち、この技術は自律走行車両等の移
動体が走行路を走行するにあたり、撮像装置例えば、T
Vカメラで進行方向の画像を撮像し、風景をとらえて、
その風景の特徴から位置を知るようにするものであり、
風景は場所々々に応じた特徴があるので、その風景的特
徴、すなわち、ランドマークを手掛かりにすることで、
位置を知ろうというものである。
That is, according to this technique, when a moving body such as an autonomous vehicle travels on a traveling path, an imaging device such as T
Take an image of the direction of travel with a V camera, capture the scenery,
The location is known from the characteristics of the scenery,
Since the scenery has characteristics depending on each place, by using that scenery characteristic, that is, the landmark, as a clue,
It is to know the position.

【0006】この技術においては、TVカメラから得た
画像を処理して、テクスチャー情報・色情報・形状情報
等を抽出し、ランドマークが存在する領域を画像中から
切り出す。次いで、切り出された領域内で予め登録して
おいた道路標識、信号機、電柱等ランドマークのモデル
と照合し、識別を行なう。このような処理を施すこと
で、その土地々々の固有の風景を基準とした位置の同定
ができる。
In this technique, an image obtained from a TV camera is processed to extract texture information, color information, shape information, etc., and a region where a landmark exists is cut out from the image. Then, the model is compared with the landmarks such as road signs, traffic lights, telephone poles, etc., which have been registered in advance in the cut-out area, to perform identification. By performing such processing, it is possible to identify the position based on the unique landscape of each land.

【0007】[0007]

【発明が解決しようとする課題】ところで、このような
外界の映像をとらえ、この映像から画像認識により特徴
的な風景を認識し、照合することにより、位置を知るよ
うにした技術の場合、つぎのような問題がある。
By the way, in the case of a technique in which an image of such an external world is captured, a characteristic landscape is recognized from this image by image recognition, and the position is known by collation, the following is given. There is such a problem.

【0008】すなわち、自律走行車両等の移動体が走行
路を走行しながら自己に搭載したTVカメラにより、逐
次とらえる外界の自然画像を入力映像として用いること
から、画像の内容が複雑であり、特に屋外の場合、樹
木、建物、歩行者、及び車両等が存在して、背景が非常
に複雑で込み入っているという点である。また、天候の
変動(晴天、曇天、雨天)等により、同一の場所で撮像
した場合でも画像の色情報が異なってしまい、また、樹
木の成長や風等により、背景の形状情報やテクスチャー
情報(模様等)も時々刻々変化してしまうという点であ
る。
That is, since a moving body such as an autonomous vehicle uses a TV camera mounted therein while traveling on a traveling road, a natural image of the outside world, which is successively captured, is used as an input image, so that the content of the image is complicated, particularly In the case of outdoors, there are trees, buildings, pedestrians, vehicles, etc., and the background is very complicated and complicated. Also, due to changes in the weather (clear, cloudy, rainy weather, etc.), the color information of the image will differ even when taken at the same place, and due to the growth of trees and wind, background shape information and texture information ( (Patterns etc.) also change every moment.

【0009】このため、TVカメラによりとらえた画像
を、2次元画像処理によりランドマークの存在領域を切
り出そうとした場合に、誤ったランドマーク領域候補が
多数出現したり、正しい存在領域が見落とされたりし、
ランドマーク領域を安定的に切り出すことが困難であ
る。
Therefore, when an attempt is made to cut out a landmark existing region from an image captured by a TV camera by two-dimensional image processing, many erroneous landmark region candidates will appear or a correct existing region will be overlooked. Sometimes,
It is difficult to stably cut out the landmark area.

【0010】また、画像上に撮像されるランドマークの
サイズは、ランドマークとカメラ間の距離により変化す
る。そして、従来の技術においては、ランドマークとカ
メラとの間の距離は考慮していないため、ランドマーク
サイズが特定できないことになる。このため、従来の手
法ではサイズを様々に変化させて照合を行なう等の処理
をしなければならず、この照合処理に多大な計算量を必
要とするという問題点があった。
The size of the landmark imaged on the image changes depending on the distance between the landmark and the camera. In the conventional technique, the distance between the landmark and the camera is not taken into consideration, so the landmark size cannot be specified. For this reason, in the conventional method, it is necessary to perform collation by changing the size in various ways, and this collation requires a large amount of calculation.

【0011】そこで、この発明の目的とするところは、
画像中のランドマーク領域を複雑で変動の激しい画像内
から安定的に切り出すことができて、しかも、少ない計
算量でランドマークの照合処理を実施でき、効率良く短
時間で照合処理を実施できるようにしたランドマーク認
識装置を提供することにある。
Therefore, the object of the present invention is to
The landmark area in the image can be stably cut out from the complicated and highly variable image, and the landmark matching processing can be performed with a small amount of calculation, so that the matching processing can be efficiently performed in a short time. To provide the landmark recognition device.

【0012】[0012]

【課題を解決するための手段】上記目的を達成するた
め、本発明はつぎのように構成する。すなわち、基準と
なる面上に立つランドマークの存在する3次元空間内を
視野としてこの視野中の画像を少なくとも視差のある一
対の識別処理対象画像として取得する画像入力手段と、
実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、前
記画像入力手段から得られる識別処理対象画像を画像の
持つ視差の情報を利用することにより、3次元空間中で
設定した投影面へそれぞれ投影し、画像データに変換す
る変換手段と、この変換手段より得られた画像データを
蓄積する領域メモリと、この領域メモリのそれぞれのデ
ータの中からランドマークが前記基準となる面と接触し
ている部分を抽出し、その部分の当該領域メモリ中の位
置から、もとの画像に逆変換した際の前記識別処理対象
画像中でのランドマーク存在領域を知り、そのランドマ
ーク存在領域を探索領域として求める探索空間算出手段
と、前記識別処理対象画像における前記探索空間算出手
段の求めた探索領域に該当する領域内の画像と、この探
索領域の位置に配置した際の寸法に正規化し、かつ、当
該探索領域内に投影した前記基準のランドマークの像情
報およびその特徴情報とを照合し、一致する度合いから
ランドマーク種別を識別する認識手段とを具備して構成
した。
In order to achieve the above object, the present invention is configured as follows. That is, image input means for taking a field of view in a three-dimensional space in which a landmark standing on a reference plane is present, and acquiring an image in the field of view as a pair of identification processing target images having at least parallax,
By using the landmark information holding means that holds the characteristic information of the reference landmark including the images of the actual various landmarks, and the parallax information that the image has the identification processing target image obtained from the image input means, A conversion means for projecting onto a projection plane set in a three-dimensional space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a land from the respective data in this area memory The area where the mark is in contact with the reference surface is extracted, and the position of the area in the area memory is converted into the original image. And a search space calculation unit that obtains the landmark existing region as a search region, and a search region that is obtained by the search space calculation unit in the identification processing target image. The image in the area corresponding to, and normalized to the dimensions when placed in the position of the search area, and, collate the image information of the reference landmark projected in the search area and its characteristic information, A recognition means for identifying the landmark type from the degree of coincidence is provided.

【0013】[0013]

【作用】この発明は、“目標とするランドマークは道路
上に細長く立っているものである”という知識を利用し
て画像中のランドマーク領域を複雑で変動の激しい画像
内から安定に切り出し、さらに、ランドマークまでの距
離を用いてランドマークサイズを特定することにより、
少ない計算量で照合処理が実現でき、ランドマーク認識
を効率良く実施するもので、ランドマークは単純な形状
であり、しかも、道路上に細長く立っているものである
という前提を利用している。そして、画像中に埋もれる
ランドマークの像を、高さの方向に分布するこれらの情
報を利用することにより、複雑で変動の激しい画像内か
らランドマーク像の含まれる領域を安定に切り出し、ま
た、実際の各種ランドマークの像を含む照合のための情
報を用意して、これを基準となるランドマークとして用
い、正規化して画像中に投影し、これと上記切り出した
画像とを照合して両者の重なる部分での一致度を調べ、
複数種ある照合基準のランドマークから一致度の高いも
のを選定してこれを画像中の上記領域におけるランドマ
ークの種別として認識する。
The present invention utilizes the knowledge that "the target landmark is an elongated object standing on the road" and stably cuts out the landmark region in the image from the complicated and rapidly changing image. Furthermore, by specifying the landmark size using the distance to the landmark,
The collation process can be realized with a small amount of calculation, the landmark recognition is efficiently performed, and the assumption is that the landmark has a simple shape and that it stands on the road in a slender shape. Then, the image of the landmark buried in the image, by utilizing these pieces of information distributed in the height direction, it is possible to stably cut out the area including the landmark image from within the complicated and rapidly changing image, and Prepare information for collation including images of various actual landmarks, use this as a reference landmark, normalize and project it into the image, collate this with the image cut out, and both Check the degree of coincidence in the overlapping part of
A landmark with a high degree of coincidence is selected from a plurality of landmarks of the matching reference, and this is recognized as the landmark type in the area in the image.

【0014】本発明のランドマーク認識装置は、3次元
空間中で連続的に変化する平面または曲面の道路領域等
の測定面領域を有する画像を視差のある一対の画像とし
て入力する立体像撮像用の撮像手段(TVカメラ)と、
この入力された画像を3次元空間中で設定した投影面へ
それぞれ変換する変換部と、この変換部より得られた投
影面におけるそれぞれの投影データを蓄積する領域メモ
リと、この領域メモリのそれぞれの投影データの中から
ランドマークが道路面と接触している部分を抽出し、そ
の領域メモリ中の位置から画像に逆変換した際の画像中
のランドマーク探索領域を算出する探索空間算出部と、
探索領域中で画像と照合の基準となる各種ランドマーク
のモデルとを照合し、ランドマークを識別する認識部と
を有しており、撮像手段が、3次元空間中で連続的に変
化する平面または曲面の道路領域などの測定領域を有す
る視差のある一対の画像を入力すると、この画像を変換
部は3次元空間中で設定した投影面にそれぞれ投影し、
領域メモリには、この変換部より得られた投影面におけ
るそれぞれの投影データを蓄積する。探索空間算出部
は、領域メモリ中でランドマークが道路面と接触してい
る位置を抽出し、画像中に逆変換した際の画像中のラン
ドマーク探索領域を算出する。そして、認識部は、画像
中の探索空間において対象物モデルと画像との間の照合
を行い、ランドマークの種別を識別する。対象物管理部
は対象物モデルを検索して、予め対象物モデルに蓄積し
てある対象物の情報を認識部に出力する。
The landmark recognition apparatus of the present invention is for stereoscopic image pickup in which an image having a measurement surface area such as a flat or curved road area that continuously changes in a three-dimensional space is input as a pair of images with parallax. Image pickup means (TV camera) of
A conversion unit that converts each of the input images into a projection surface set in a three-dimensional space, an area memory that stores each projection data on the projection surface obtained by the conversion unit, and each of the area memories. A search space calculation unit that calculates the landmark search area in the image when the landmark is in contact with the road surface from the projection data and is inversely converted into the image from the position in the area memory,
The image pickup means includes a recognition unit that matches an image with a model of various landmarks serving as a reference for matching in the search area to identify the landmark, and the imaging unit continuously changes in a three-dimensional space. Alternatively, when a pair of parallax images having a measurement region such as a curved road region is input, the conversion unit projects each of the images on a projection plane set in the three-dimensional space,
In the area memory, each projection data on the projection plane obtained by this conversion unit is stored. The search space calculation unit extracts the position where the landmark is in contact with the road surface in the region memory and calculates the landmark search region in the image when the image is inversely transformed into the image. Then, the recognition unit performs matching between the object model and the image in the search space in the image to identify the type of landmark. The object management unit searches for the object model and outputs the information of the object accumulated in the object model in advance to the recognition unit.

【0015】以上のように、道路標識、信号、電柱等道
路面上に立ち上がっているランドマークの存在位置を、
3次元空間中に設定した道路面に画像を投影することで
求めるため、2次元の画像処理のみでは問題となる天候
の変動等にともなう画像の変化の影響が少ない。特に道
路面上に立ち上がっている対象物の領域をランドマーク
を探索する画像領域候補として選ぶため、探索すべき候
補領域の数を絞ることができる。また、3次元空間中の
投影面の情報からランドマークまでの距離が獲得できる
ため、画像中で撮像されているランドマークのサイズが
算出できる。このため、ランドマークを識別するのに必
要なモデルとの照合処理の回数を減らすことができる。
As described above, the existence positions of the landmarks standing on the road surface such as road signs, signals, telephone poles,
Since the image is obtained by projecting the image on the road surface set in the three-dimensional space, the two-dimensional image processing alone does not significantly affect the change in the image due to the change in the weather. In particular, since the area of the target object standing on the road surface is selected as the image area candidate for searching the landmark, the number of candidate areas to be searched can be narrowed down. Further, since the distance to the landmark can be obtained from the information on the projection plane in the three-dimensional space, the size of the landmark imaged in the image can be calculated. Therefore, it is possible to reduce the number of times of the matching process with the model necessary for identifying the landmark.

【0016】[0016]

【実施例】以下、本発明の一実施例を図面に従い説明す
る。本実施例は、道路標識、信号機、及び電柱等、道路
脇に垂直に立っている細長い形状の対象物をランドマー
クとしてカメラ画像中から抽出し、認識することを想定
している。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. In the present embodiment, it is assumed that a long and slender object such as a road sign, a traffic signal, and a utility pole standing vertically beside the road is extracted as a landmark from the camera image and recognized.

【0017】図1は本発明によるランドマーク認識装置
の概略的構成例を示すブロック図であり、TVカメラ1
a、TVカメラ1b、画像メモリ2a、画像メモリ2
b、変換部3、面パラメータ4、領域メモリ5、探索空
間算出部6、認識部7、対象物モデル管理部8、対象物
モデル記憶部9から構成されている。
FIG. 1 is a block diagram showing a schematic configuration example of a landmark recognition apparatus according to the present invention.
a, TV camera 1b, image memory 2a, image memory 2
b, a conversion unit 3, a surface parameter 4, an area memory 5, a search space calculation unit 6, a recognition unit 7, an object model management unit 8, and an object model storage unit 9.

【0018】これらのうち、TVカメラ1aとTVカメ
ラ1bは同一視野の風景を視差のある像、すなわち、左
右像としてとらえるためのステレオ撮像装置(ステレオ
カメラ)を構成しており、これらTVカメラ1a、TV
カメラ1bはカラーTVカメラであって互いのカメラ光
軸が平行になるように近接し並設配置されている。ここ
では、TVカメラ1aにて例えば左像、TVカメラ1b
にて例えば右像を時系列的に得るようにしてある。
Of these, the TV camera 1a and the TV camera 1b constitute a stereo image pickup device (stereo camera) for capturing a scene of the same field of view as an image with parallax, that is, a left and right image. , TV
The cameras 1b are color TV cameras and are arranged in close proximity to each other so that their optical axes are parallel to each other. Here, for example, the left image of the TV camera 1a, the TV camera 1b
For example, the right image is obtained in time series.

【0019】画像メモリ2a,2bはそれぞれ対応する
TVカメラ1a,1bより入力されたカラー画像を保持
するためのものであり、変換部3は、画像メモリ2a,
2bに蓄積されている画像を3次元空間中に予め設定し
ておいた座標系において、面パラメータ記憶部4に記憶
されたデータを用いて生成した面上に投影し、領域メモ
リ5に投影結果を書き込む処理をするものである。
The image memories 2a and 2b are for holding the color images input from the corresponding TV cameras 1a and 1b, respectively, and the conversion unit 3 includes the image memories 2a and 1b.
The image stored in 2b is projected on the surface generated by using the data stored in the surface parameter storage unit 4 in the coordinate system preset in the three-dimensional space, and the projection result is stored in the area memory 5. Is to write.

【0020】面パラメータ記憶部4に記憶されている面
パラメータは画像メモリ2a,2b上の画像を投影する
平面Pを与えるに必要なパラメータであり、カメラ位置
やカメラの光学的特性等を含め、システムで定まるパラ
メータであって、これは実際にシステムを動作させてみ
て最適値を探し、この最適値を面パラメータとする。
The surface parameters stored in the surface parameter storage unit 4 are parameters necessary for giving a plane P on which the images on the image memories 2a and 2b are projected, and include the camera position and the optical characteristics of the camera. This is a parameter that is determined by the system. This is the parameter that is determined by actually operating the system to find the optimum value.

【0021】領域メモリ5は、変換部3が画像メモリ2
a,2bに蓄積されている画像を3次元空間中に予め設
定しておいた座標系において、面パラメータ記憶部4に
記憶してある面パラメータのデータを用いて生成した平
面P上に投影した結果の情報を保持するものである。
In the area memory 5, the conversion unit 3 uses the image memory 2
The images accumulated in a and 2b are projected onto the plane P generated using the surface parameter data stored in the surface parameter storage unit 4 in the coordinate system preset in the three-dimensional space. It holds the result information.

【0022】探索空間算出部6は領域メモリ5上を走査
して、ランドマークが道路面上に立ち上がっている部分
を抽出し、その領域メモリ5上の位置から、画像メモリ
2a,2b中の位置を逆射影により求め、ランドマーク
の探索空間を算出する機能を有する。
The search space calculation unit 6 scans the area memory 5 to extract the portion where the landmark stands on the road surface, and from the position on the area memory 5 to the position in the image memories 2a and 2b. Has a function of obtaining a landmark search space by inverse projection.

【0023】また、認識部7は対象物管理部8を通し
て、対象物モデルに格納されたデータを取り出し、探索
空間算出部6で求めた画像メモリ2a,2bの画像領域
中で、画像データと照合し、ランドマークの識別を行な
うといった機能を有する。
Further, the recognition section 7 takes out the data stored in the object model through the object management section 8 and collates it with the image data in the image areas of the image memories 2a and 2b obtained by the search space calculation section 6. However, it has a function of identifying landmarks.

【0024】つぎに上記構成の本装置の作用を説明す
る。TVカメラ1aとTVカメラ1bは同一視野の風景
を視差のあるカラー像、すなわち、立体視のためのカラ
ー左右像としてとらえ、それぞれ画像を時系列的に出力
する。
Next, the operation of the present apparatus having the above configuration will be described. The TV camera 1a and the TV camera 1b perceive a landscape of the same field of view as a color image with a parallax, that is, a color left and right image for stereoscopic viewing, and output the images in time series.

【0025】TVカメラ1a,1bより入力されたカラ
ー画像はそれぞれ対応して設けられている画像メモリ2
a,2bに蓄積される。そして、変換部3は、画像メモ
リ2a,2bに蓄積されている画像を3次元空間中に予
め設定しておいた座標系において、面パラメータ記憶部
4に記憶してある面パラメータのデータを用いて生成し
た平面P上に投影し、その投影結果を領域メモリ5に書
き込む。
The color images inputted from the TV cameras 1a and 1b are respectively provided in the image memory 2 provided correspondingly.
It is stored in a and 2b. Then, the conversion unit 3 uses the surface parameter data stored in the surface parameter storage unit 4 in the coordinate system in which the images stored in the image memories 2a and 2b are preset in the three-dimensional space. It is projected on the plane P generated by the above, and the projection result is written in the area memory 5.

【0026】探索空間算出部6はこの領域メモリ5上を
走査して、ランドマークが道路面上に立ち上がっている
部分を抽出し、その抽出した部分の位置する領域メモリ
5上の位置を求めると共に、この求めた領域メモリ5上
の位置から、画像メモリ2a中の位置を逆射影により求
め、ランドマークの探索空間(ランドマークを探索しよ
うとする対象となる画像メモリ空間の領域)を算出す
る。
The search space calculation unit 6 scans the area memory 5 to extract the portion where the landmark stands on the road surface, and finds the position on the area memory 5 where the extracted portion is located. From the obtained position on the area memory 5, the position in the image memory 2a is obtained by inverse projection, and the landmark search space (the area of the image memory space to be searched for the landmark) is calculated.

【0027】認識部7では対象物管理部8を通して、対
象物モデル記憶部9に格納された各対象物モデルのデー
タを取り出し、探索空間算出部6で求めた探索空間に該
当する画像メモリ1a,1bの画像領域中で、これら画
像メモリ1a,1b内の画像データと照合し、ランドマ
ークの識別を行なう。
In the recognition unit 7, the data of each object model stored in the object model storage unit 9 is taken out through the object management unit 8 and the image memory 1a corresponding to the search space obtained by the search space calculation unit 6 is obtained. In the image area of 1b, the image data in the image memories 1a and 1b are collated to identify the landmark.

【0028】本システムの概要は以上の通りである。こ
こで、本システムを構成している上記各構成要素の機能
や動作について、もう少し詳細に触れておく。上記各構
成要素のうち、変換部3は上述したように、画像メモリ
2a,2bの画像を、面パラメータ記憶部4に記憶され
ているデータを用いて算出した平面P上に投影するが、
ここで用いている投影手法について、図4を参照して説
明する。
The outline of this system is as described above. Here, the function and operation of each of the above-described constituent elements of the system will be described in more detail. Of the above components, the conversion unit 3 projects the images in the image memories 2a and 2b on the plane P calculated using the data stored in the surface parameter storage unit 4, as described above.
The projection method used here will be described with reference to FIG.

【0029】[変換部3の投影手法]変換部3による画
像メモリ2a,2bの画像の平面P上への投影手法はつ
ぎの通りである。
[Projection Method of Converter 3] The method of projecting the images of the image memories 2a and 2b on the plane P by the converter 3 is as follows.

【0030】図4に示すように、今、ステレオカメラ
(TVカメラ1a,1b)の座標系をO−X,Y,Z、
左画像中心をOl 、右画像中心をOr 、ステレオカメラ
における左および右カメラ1a,1bの焦点位置をそれ
ぞれCl ,Cr 、そして、左および右画像面上の点q
l ,qr を平面P上へ投影した点をQl ,Qr 、左右画
像上の画像中心を原点とする座標系をそれぞれ、xl
l ,xr −yr とする。
As shown in FIG. 4, the stereo camera (TV cameras 1a and 1b) coordinate systems are now OX, Y, Z, and
The left image center is O l , the right image center is O r , the focus positions of the left and right cameras 1a and 1b in the stereo camera are C l and C r , respectively, and a point q on the left and right image planes.
A coordinate system in which points l and q r are projected on the plane P is Q l and Q r , and the image center on the left and right images is the origin is x l
Let y l , x r −y r .

【0031】また、左右画像中心Ol ,Or をそれぞれ
起点としてxl ,xr 軸上で長さが画像面のx軸方向の
画素サイズに相当するベクトルをそれぞれnlx,nrx
し、そして、Ol ,Or をそれぞれ起点とし、yl ,y
r 軸上で長さが画像面のy軸方向の画素サイズに相当す
るベクトルをnly,nryとする。
Further, the left and right image center O l, O r x the starting each l, x r of the image plane length on the axis x-axis direction of the respective n lx the corresponding vector pixel size, n rx, Then, with O l and O r as the starting points, respectively, y l and y
Vectors whose length on the r- axis corresponds to the pixel size in the y-axis direction on the image plane are n ly and n ry .

【0032】また、点ql ,qr の画像面上の位置をそ
れぞれ(klx,kly)、(krx,kry)とする。そし
て、点ql ,qr を平面P上へ投影した点Ql ,Qr
ステレオカメラ座標系での位置を以下の式より求める。
まず、点ql に対しては次の関係が成り立つ。
The positions of the points q l and q r on the image plane are (k lx , k ly ) and (k rx , k ry ), respectively. Then, the positions in the stereo camera coordinate system of the points Q l and Q r , which are the points q l and q r projected onto the plane P, are determined by the following formula.
First, the following relation holds for the point q l .

【0033】[0033]

【数1】 ステレオカメラのキャリブレーションにより[Equation 1] Calibration of the stereo camera

【0034】[0034]

【数2】 は既知であるとすると、点Ql と点ql を結ぶ直線の方
程式は x=xol+klxnlx +klynly +t(xcl−xol−klx
nlx −klynly ) y=yol+klxnlx +klynly +t(ycl−yol−klx
nlx −klynly ) z=zol+klxnlx +klynly +t(zcl−zol−klx
nlx −klynly ) として表される。このx,y,zを平面式P:ax+b
y+cz+d=0に代入し、tを求めることにより、点
l の平面P上での投影点Ql の位置(Qlx,Qly,Q
lz)を算出することができる。点qr に対しても同様に
次の関係が成り立つ。
[Equation 2] Is known, the equation of the line connecting the points Q l and q l is x = x ol + k lx x nlx + k ly x nly + t (x cl −x ol −k lx
x nlx −k ly x nly ) y = y ol + k lx y nlx + k ly y nly + t (y cl −y ol −k lx
y nlx −k ly y nly ) z = z ol + k lx z nlx + k ly z nly + t (z cl −z ol −k lx
z nlx −k ly z nly ). This x, y, z is expressed by the plane formula P: ax + b
By substituting y + cz + d = 0 into t and finding t, the position (Q lx , Q ly , Q) of the projection point Q l on the plane P of the point q l is obtained.
lz ) can be calculated. Similarly, the following relation holds for the point q r .

【0035】[0035]

【数3】 ステレオカメラのキャリブレーションにより(Equation 3) Calibration of the stereo camera

【0036】[0036]

【数4】 は既知であるとすると、点Qr と点qr を結ぶ直線の方
程式は x=xor+krxnrx +krynry +t(xcr−xor−krx
nrx −krynry ) y=yor+krxnrx +krynry +t(ycr−yor−krx
nrx −krynry ) z=zor+krxnrx +krynry +t(zcr−zor−krx
nrx −krynry ) として表される。このx,y,zを平面式P:ax+b
y+cz+d=0に代入し、tを求めることにより、点
r の平面P上での投影点Qr の位置(Qrx,Qry,Q
rz)を算出することができる。なお、平面式P:ax+
by+cz+d=0において、a,b,cが面パラメー
タである。
[Equation 4] Is known, the equation of the straight line connecting the points Q r and q r is x = x or + k rx x nrx + k ry x nry + t (x cr −x or −k rx
x nrx −k ry x nry ) y = y or + k rx y nrx + k ry y nry + t (y cr −y or −k rx
y nrx −k ry y nry ) z = z or + k rx z nrx + k ry z nry + t (z cr −z or −k rx
z nrx −k ry z nry ). This x, y, z is expressed by the plane formula P: ax + b
By substituting y + cz + d = 0 into t and finding t, the position (Q rx , Q ry , Q r) of the projection point Q r on the plane P of the point q r is obtained.
rz ) can be calculated. In addition, plane expression P: ax +
When by + cz + d = 0, a, b, and c are surface parameters.

【0037】以上の処理により、変換部3は画像メモリ
2aに格納されている左画像上の点ql を、面パラメー
タより求めた平面P上での点Ql へ投影し、また、画像
メモリ2bに格納されている右画像上の点qr を上記平
面P上の点Qr へ投影する。
Through the above processing, the conversion unit 3 projects the point q l on the left image stored in the image memory 2a onto the point Q l on the plane P obtained from the surface parameters, and also the image memory The point q r on the right image stored in 2b is projected onto the point Q r on the plane P.

【0038】このようにして変換部3は、画像メモリ2
a,2bの画像の平面P上への投影を行なう。 [領域メモリ5の説明]つぎに領域メモリ5について説
明する。領域メモリ5は、図5(a)に示すようなm×
nの2次元配列である。そして、これは画像メモリ2
a,2bの記憶画像の画素配列より少ない配列である。
そして、領域メモリ5における各メモリ位置には図5
(b)に示すように、x,y,z座標値、左,右画像の
R値、左,右画像のG値、左,右画像のB値、左,右画
像の近傍エッジ密度、左,右画像の近傍テクスチャー情
報、点ql の画像中の画素位置(xl ,yl )、点qr
の画像中の画素位置(xr ,yr )などの情報が格納さ
れる構成である。
In this way, the conversion unit 3 operates the image memory 2
The images of a and 2b are projected onto the plane P. [Description of Area Memory 5] Next, the area memory 5 will be described. The area memory 5 has m × m as shown in FIG.
It is a two-dimensional array of n. And this is the image memory 2
This is an array smaller than the pixel arrays of the stored images of a and 2b.
Then, in each memory position in the area memory 5,
As shown in (b), x, y, z coordinate values, R values of left and right images, G values of left and right images, B values of left and right images, neighboring edge densities of left and right images, left , Neighborhood texture information of the right image, pixel position (x l , y l ) in the image of point q l , point q r
The information such as the pixel position (x r , y r ) in the image is stored.

【0039】領域メモリ5の配列はm×nであり、これ
は画像メモリの一画面の画素数の配列に1対1で対応し
ているわけではないことから、上記情報の格納はつぎの
ようにして行なう。
The array of the area memory 5 is m × n, and this does not correspond to the array of the number of pixels of one screen of the image memory on a one-to-one basis. Therefore, the above information is stored as follows. Do it.

【0040】道路領域の探索範囲をXmin <X<X
max 、Ymin <Y<Ymax とすると、Xmin からXmax
までをm等分に、またYmin からYmax までをn等分に
サンプリングして変換部3の結果をこの領域メモリ5に
書き込む。つまり、領域メモリ5上の(i,j)には射
影点Ql ,Qr のX座標値、Y座標値が
The search range of the road region is X min <X <X
If max and Y min <Y <Y max , then X min to X max
Are sampled into m equal parts, and from Y min to Y max are sampled into n equal parts, and the result of the conversion unit 3 is written in the area memory 5. That is, the X coordinate value and the Y coordinate value of the projection points Q l and Q r are stored in (i, j) on the area memory 5.

【0041】[0041]

【数5】 の範囲内にあるものを書き込むようにする。この結果、
図6に示すように、平面P上の点Qが領域メモリ5の要
素(i,j)に対応付けられるとき、この領域メモリ5
には図5(b)に示すデータが(i,j)に書き込まれ
ることになる。ただし、点Qは左画像上の点ql 、右画
像上の点qr が同時に投影される点である。
(Equation 5) Be sure to write anything within the range. As a result,
As shown in FIG. 6, when the point Q on the plane P is associated with the element (i, j) of the area memory 5, this area memory 5
The data shown in FIG. 5B will be written in (i, j). However, the point Q is a point on which the point q l on the left image and the point q r on the right image are simultaneously projected.

【0042】このようにして、平面P上の点Qが領域メ
モリ5の要素(i,j)に対応つけられるとき、領域メ
モリ5にはその(i,j)の位置に、点Qの(x,y,
z)座標値、点ql ,qr のカラー情報(RGB値)、
点ql ,qr 近傍のエッジ密度、点ql ,qr 近傍のテ
クスチャー情報、点ql ,qr の左右画像中の画素位置
(xl ,yl ),(xr ,yr )がそれぞれ蓄積される
ことになる。
In this way, when the point Q on the plane P is associated with the element (i, j) of the area memory 5, the area memory 5 is located at the position (i, j) of the point Q ( x, y,
z) coordinate values, color information (RGB values) of points q l , q r ,
Point q l, q r near the edge density, a point q l, texture information of the vicinity q r, the point q l, pixel position in the left and right images of q r (x l, y l ), (x r, y r) Will be accumulated respectively.

【0043】上述したように、変換部3は画像メモリ2
a,2bに格納された左画像及び右画像の全画素ql
r に対して、平面P上の投影位置Ql ,Qr を求め、
上記探索範囲に含まれるもののみを選択した後、領域メ
モリ5の対応する位置のメモリ内に、図5(b)に示す
如き内容のデータを書き込む結果、領域メモリ5内には
画像メモリ2a,2bに格納された画像のうちの、上記
探索範囲に含まれる投影位置Ql ,Qr の画像について
のみのR値,G値,B値、近傍エッジ密度、近傍テクス
チャー情報、画素位置情報、座標値が保持されることに
なる。
As described above, the conversion unit 3 uses the image memory 2
all pixels q l of the left and right images stored in a and 2b,
For q r , the projection positions Q l , Q r on the plane P are obtained,
After selecting only those included in the search range, as a result of writing the data having the content shown in FIG. 5B into the memory at the corresponding position of the area memory 5, the area memory 5 stores the image memory 2a, Of the images stored in 2b, R values, G values, B values, near edge densities, near texture information, pixel position information, and coordinates only for the images at projection positions Q l and Q r included in the search range. The value will be retained.

【0044】[探索空間算出部6]探索空間算出部6は
領域メモリ5に蓄積されたデータからランドマークが道
路面と接触している位置を求め、画像上の撮像位置に逆
変換した後、ランドマークを探索する画像中の領域位置
を算出する。
[Search space calculation unit 6] The search space calculation unit 6 obtains the position where the landmark is in contact with the road surface from the data stored in the area memory 5, and after inversely converting it to the image pickup position on the image, Calculate the area position in the image to search for a landmark.

【0045】すなわち、探索空間算出部6はまず、領域
メモリ5を走査して、データが書き込まれていない位置
のメモリについては、その周囲の位置のメモリに記憶さ
れいるデータを用いて線形補間によりデータを求めてこ
れを記憶させることで補間する。この際、図5(a)に
示す各メモリ位置に補間により記憶させるデータは、
(X,Y,Z)座標値を除き、左画像に対するものは左
画像同士、右画像に対するものは右画像同士で補間する
ようにする。
That is, the search space calculating section 6 first scans the area memory 5 and, for the memory at the position where no data is written, by linear interpolation using the data stored in the memory at the peripheral position. Interpolation is performed by obtaining data and storing it. At this time, the data stored by interpolation at each memory position shown in FIG.
Except for the (X, Y, Z) coordinate values, left images are interpolated between left images, and right images are interpolated between right images.

【0046】次いで、探索空間算出部6は画像のRGB
値より求めた色情報、近傍のエッジ密度、及び近傍のテ
クスチャー情報が左画像と右画像で異なっている領域を
領域メモリ5上で抽出する。すなわち、領域メモリ5に
対しての上記補間が済んだ後に、探索空間算出部6は領
域メモリ5を走査して色情報、近傍のエッジ密度、及び
近傍のテクスチャー情報が左画像と右画像で異なってい
る領域を領域メモリ5上で抽出する。そして、これより
ランドマークの像における道路平面から上に立ち上がっ
ている点を見付ける。そして、これよりランドマークの
像の平面投影記述を得る。
Next, the search space calculation unit 6 determines the RGB of the image.
An area in which the color information obtained from the values, the edge density in the vicinity, and the texture information in the vicinity are different between the left image and the right image is extracted on the area memory 5. That is, after the above interpolation for the area memory 5 is completed, the search space calculation unit 6 scans the area memory 5 and the color information, the edge density in the vicinity, and the texture information in the vicinity differ between the left image and the right image. The area which is present is extracted on the area memory 5. Then, from this point, find a point rising above the road plane in the landmark image. Then, the plane projection description of the landmark image is obtained from this.

【0047】すなわち、図7に示すように、道路平面か
ら上に立ち上がっている点Aはそれぞれ異なる点として
平面P上に射影される。このため、領域メモリ5の各要
素(i,j)に書き込まれている左右画像の色情報、エ
ッジ情報、テクスチャー情報が異なる領域は、道路平面
から上に立ち上がっている部分であると判定できる。
That is, as shown in FIG. 7, points A rising from the road plane are projected on the plane P as different points. Therefore, it is possible to determine that the areas in which the color information, the edge information, and the texture information of the left and right images written in the respective elements (i, j) of the area memory 5 are different are the portions rising from the road plane.

【0048】図8(a)に示すように、道路面81から
立ち上がっているランドマーク82を道路平面上に投影
すると、図8(b)に符号82aを付して示すように、
道路面81と接触しているランドマーク82の根元Aか
らTVカメラ1から見て前方方向に倒れ込んだ形で当該
ランドマーク82の像が投影される。
As shown in FIG. 8A, when the landmark 82 rising from the road surface 81 is projected on the road plane, as shown by reference numeral 82a in FIG. 8B,
An image of the landmark 82 is projected from the root A of the landmark 82 that is in contact with the road surface 81 in a form in which the landmark 82 falls forward as viewed from the TV camera 1.

【0049】このため、領域メモリ5上で求めた色情
報、近傍のエッジ密度、及び近傍のテクスチャー情報が
左右画像で異なっている領域もカメラを中心にして、放
射状に倒れ込んだ領域となる。カメラの前方H(Hはラ
ンドマークの高さ寸法)、左右W/2(Wはランドマー
クの最大幅寸法)の範囲において、これらの領域をプロ
ットし、平面投影記述を作成する。
Therefore, an area in which the color information obtained on the area memory 5, the edge density in the vicinity, and the texture information in the vicinity are different between the left and right images is also an area that is radially collapsed around the camera. These areas are plotted in a range of front H of the camera (H is the height of the landmark) and left and right W / 2 (W is the maximum width of the landmark) to create a plane projection description.

【0050】道路91の両端に標識92と電柱93が立
っている図9(a)の如き画像の場合、標識92及び電
柱93がそれぞれ道路面と接触している点B、Cから放
射状に倒れ込んだ形で図9(b)の如き平面投影記述が
得られる。
In the case of an image as shown in FIG. 9A in which a sign 92 and a utility pole 93 are standing on both ends of a road 91, the sign 92 and the utility pole 93 fall radially from points B and C where the sign 92 and the utility pole 93 are in contact with the road surface, respectively. The plane projection description as shown in FIG.

【0051】このような平面投影記述を得たならば、つ
ぎに探索空間算出部6は、この平面投影記述について、
カメラの位置を中心として放射状にこの平面投影記述を
走査し、倒れ込んだ形の投影領域の根元にあたる点B,
Cの当該平面投影記述上の位置の座標(xb ,yb ),
(xc ,yc )を求める。
When such a plane projection description is obtained, the search space calculation unit 6 then obtains
This plane projection description is scanned radially centering on the position of the camera, and the point B, which is the base of the collapsed projection area,
The coordinates of the position of C on the plane projection description (x b , y b ),
Find (x c , y c ).

【0052】次いで、探索空間算出部6は領域メモリ5
を走査して、この領域メモリ5における当該座標(x
b ,yb ),(xc ,yc )位置対応のアドレス(メモ
リ位置)をそれぞれ求め、それらのアドレスに格納され
ている左画像中の画素位置データおよび右画像中の画素
位置データから、画像上でのランドマークが道路面から
立ち上がっている根元の点の左右画像中での画素位置
(ixb ,iyb ),(ixc ,iyc )を求める。
Next, the search space calculation unit 6 determines the area memory 5
To scan the coordinate (x
b , y b ), (x c , y c ) The addresses (memory positions) corresponding to the positions are respectively obtained, and from the pixel position data in the left image and the pixel position data in the right image stored at these addresses, Pixel positions (ix b , iy b ) and (ix c , iy c ) in the left and right images of the root point where the landmark on the image stands up from the road surface are obtained.

【0053】画像メモリ2a,2bにおける左右画像中
で、ランドマークはこれらの点よりも上方にあるため、
図10に示すように(ixb ,iyb ),(ixc ,i
c)を最下部とする探索領域を設定する。図10にお
いて、ウインドウの横幅wd、
Since the landmarks are above these points in the left and right images in the image memories 2a and 2b,
As shown in FIG. 10, (ix b , iy b ), (ix c , i
y c ) is set as the lowermost search area. In FIG. 10, the width wd of the window,

【0054】[0054]

【数6】 (Equation 6)

【0055】より定める。ここで、WSは対象物モデル
記憶部9に格納されているランドマークの中で横幅が最
大であるランドマークの幅である。図9に示すように、
対象物モデル記憶部9に登録されているランドマークが
道路標識と電柱である場合、この中で横幅が最も広い方
のランドマークの幅をWSとして用いる。
Determined from Here, WS is the width of the landmark having the largest width among the landmarks stored in the object model storage unit 9. As shown in FIG.
When the landmarks registered in the object model storage unit 9 are road signs and utility poles, the width of the landmark having the widest width is used as WS.

【0056】また、カメラからランドマークまでの距離
をdとすると、この距離dは図9における道路標識の場
合、平面投影記述での道路標識の根元の座標値(xb
b)から
If the distance from the camera to the landmark is d, this distance d is, in the case of the road sign in FIG. 9, the coordinate value of the root of the road sign in the plane projection description (x b ,
from y b )

【0057】[0057]

【数7】 として求めることができる。fはカメラの焦点距離であ
る。カメラからランドマークまでの距離dだけカメラ位
置から離した位置にランドマークの根元があり、ここよ
り上方の上記求めた探索領域内が目指すランドマークの
探索領域となる。これで探索領域の設定ができる。
(Equation 7) Can be obtained as f is the focal length of the camera. There is the root of the landmark at a position separated from the camera position by the distance d from the camera to the landmark, and the above-obtained search area above this is the desired search area for the landmark. The search area can now be set.

【0058】但し、これは図10に示す画像のように、
遮蔽物に隠されることなく、ランドマーク101a,1
01bの道路面102との接触位置が画像中ではっきり
確認できる場合の探索領域の設定方式であるが、図12
(a)に示すように、ランドマーク121の道路122
との接触点Aがガードレール123等により隠されてい
るような場合もある。
However, this is like the image shown in FIG.
The landmarks 101a, 1 are not hidden by the shield.
This is a search area setting method when the contact position of 01b with the road surface 102 can be clearly confirmed in the image.
As shown in (a), the road 122 of the landmark 121.
In some cases, the contact point A with is hidden by the guardrail 123 or the like.

【0059】このような場合、上述の手法により求めた
平面投影記述(図12の(b)図)上の倒れ込んだ形状
の根元の点Bは、標識が道路面と接触している真の根元
位置Aと異なってくる。
In such a case, the point B of the root of the collapsed shape on the plane projection description (FIG. 12 (b)) obtained by the above method is the true root where the sign is in contact with the road surface. It is different from position A.

【0060】このため、このようなケースでは探索空間
設定部6は、標識の立っている位置と道路端との間の距
離dを用いて点Bを真の位置Aに変換する。この変換は
つぎのようにして行なう。まず、図12の(b)図に示
すように、移動車Vから倒れ込んだ標識形状の中心線方
向へ引いた直線VKを求める。
Therefore, in such a case, the search space setting unit 6 converts the point B into the true position A using the distance d between the position where the sign is standing and the road edge. This conversion is performed as follows. First, as shown in FIG. 12B, a straight line VK drawn from the moving vehicle V in the direction of the center line of the marker shape that has fallen down is obtained.

【0061】次いで、点Bから道路端に平行に、距離d
だけ外側に離れた直線ln を求め、この直線ln と上記
直線VKとの交点Aを、標識が倒れ込んでいる真の根元
の点とする。
Next, parallel to the road edge from point B, the distance d
A straight line l n distant only by the outside is obtained, and an intersection point A between the straight line l n and the straight line VK is set as a true root point at which the marker falls.

【0062】道路端と標識の間の距離dは走行経路にお
いて予め求めておく。通常、距離dは走行経路において
ほぼ固定していると考えられるが、不定な場合には、走
行地図上に個々にその情報を記述しておく。
The distance d between the road edge and the sign is obtained in advance on the traveling route. Normally, it is considered that the distance d is almost fixed on the traveling route, but when it is indefinite, the information is individually described on the traveling map.

【0063】このようにして、図12の(b)図の平面
投影記述のように、道路端にガードレールのような帯状
の障害物が検出された場合には、以上の手法で平面投影
記述上で求めた倒れ込んだ形状のランドマークにおける
根元の点への変換を行なう。
In this way, when a belt-shaped obstacle such as a guardrail is detected at the road edge as in the plane projection description of FIG. 12B, the plane projection description is performed by the above method. Convert to the root point in the collapsed landmark obtained in.

【0064】そして、この変換後の根元の点より上方の
上記求めた探索領域内が、目指すランドマークの探索領
域となる。これで根元が遮蔽物により遮蔽されたランド
マークについても根元の位置を特定して探索領域の設定
を行なうことが可能になる。
Then, the inside of the above-obtained search area above the converted root point becomes the search area for the desired landmark. This makes it possible to specify the position of the root of a landmark whose base is shielded by a shield and set the search area.

【0065】[認識部7]認識部7による画像中のラン
ドマークの識別の詳細を説明する。認識部7では、画像
メモリ2a,2b内の画像それぞれについて、探索空間
設定部6で設定した探索領域内に該当する部分の画像を
走査し、対象物モデル記憶部9に登録されているランド
マークのモデルと照合し、特徴の合致するものがあれば
その照合のモデルとなった種別のランドマークであると
認識することで、画像中のランドマークを識別する。
[Recognition Section 7] Details of the recognition section 7 for identifying landmarks in an image will be described. The recognition unit 7 scans each of the images in the image memories 2a and 2b for the image of the corresponding portion within the search area set by the search space setting unit 6, and the landmark registered in the object model storage unit 9 is scanned. The landmarks in the image are identified by matching with the model of (1) and recognizing that there is a landmark of the type used as the model of the matching if there is a matching feature.

【0066】対象物モデル記憶部9には、登録されてい
る各ランドマーク毎にランドマーク全体を写した濃淡画
像(すなわち、モノトーンの階調画像)、ランドマーク
の寸法(外接長方形サイズ等)、画像に投影した時の主
要な特徴図形及び色等のデータが格納されており、対象
物モデル管理部8を通してアクセスされる。従って、認
識部7ではこの対象物モデル管理部8を通して、対象物
モデル記憶部9に登録されているランドマークのモデル
を照合の基準として取得して、これと画像メモリ2a,
2b内の画像それぞれの探索空間設定部6で設定した探
索領域内に該当する部分の画像を照合することで、探索
領域内の画像がどのようなランドマークであるかを識別
できる。
In the object model storage unit 9, a grayscale image (that is, a monotone gradation image) of the entire landmark for each registered landmark, the dimension of the landmark (circumscribing rectangle size, etc.), Data such as main characteristic figures and colors when projected on an image are stored and accessed through the object model management unit 8. Therefore, the recognition unit 7 acquires the model of the landmark registered in the target object model storage unit 9 as a reference for matching through the target object model management unit 8 and compares it with the image memory 2a,
It is possible to identify what kind of landmark the image in the search area is by collating the image of the portion corresponding to the search area set by the search space setting unit 6 of each image in 2b.

【0067】図11に、駐車禁止の標識及び電柱をラン
ドマークとして登録した際の対象物モデル記憶部9中の
データ例を示す。図に示すように、これらのランドマー
クはその姿そのものを濃淡画像と、その寸法情報、その
ランドマークの持つ色、特徴形状等の情報からなる。色
情報としては駐車禁止標識の場合、標識部分は紺地に赤
色の輪と斜め線、そして、支柱は白色ポールであるか
ら、“赤”、“紺”、“白”の情報となり、電柱はコン
クリート柱の場合灰色であるから、“灰”の色情報とな
る。
FIG. 11 shows an example of data in the object model storage unit 9 when a parking prohibited sign and a telephone pole are registered as landmarks. As shown in the figure, these landmarks consist of a grayscale image of the figure itself, size information thereof, and information such as the color and characteristic shape of the landmark. As for color information, in the case of a parking prohibition sign, since the sign part is a dark blue background with a red ring and diagonal lines, and the pillar is a white pole, it becomes the information of “red”, “navy blue”, and “white”, and the utility pole is concrete. In the case of a pillar, the color information is "ash" because it is gray.

【0068】また、特徴図形としては、駐車禁止標識の
場合、標識部分は円形、そして、支柱はポールであるか
ら平行線であり、“円”と“平行線”が特徴図形として
登録されている。電柱は柱であるからこの場合、平行線
であり、従って、“平行線”が特徴図形として登録され
ている。
As a characteristic figure, in the case of a parking prohibition sign, since the sign portion is circular and the pillar is a pole, it is a parallel line, and "circle" and "parallel line" are registered as characteristic figures. . Since the telephone pole is a pole, it is a parallel line in this case, and therefore, "parallel line" is registered as a characteristic figure.

【0069】従って、これらの情報から合致するものを
見付けることで、ランドマークの種別を特定することが
できることになる。 [認識部7の機能を実現する具体的構成例]つぎに認識
部7の機能を実現するための構成例について触れてお
く。
Therefore, the type of landmark can be specified by finding a match from these pieces of information. [Specific Configuration Example for Realizing Function of Recognition Unit 7] Next, a configuration example for realizing the function of the recognition unit 7 will be described.

【0070】図2に示すように、認識部7は粗照合部1
0、密照合部11、スケール変換部12とから構成する
ことにより実現できる。これらのうち、粗照合部10
は、探索空間算出部6で設定した探索領域内で色抽出
や、特徴(円、楕円、四角形、菱形、平行線等)抽出を
行ない、対象物モデル記憶部9に記憶されている対象物
モデルと照合することにより、各画像メモリ2a,2b
内の画像中における探索領域内に存在するランドマーク
の候補を選択するといった機能を有する。
As shown in FIG. 2, the recognizing unit 7 is a rough collating unit 1.
0, the fine matching unit 11, and the scale conversion unit 12 can be used. Of these, the coarse matching unit 10
Performs color extraction and feature (circle, ellipse, quadrangle, rhombus, parallel line, etc.) extraction within the search area set by the search space calculation unit 6, and the target object model stored in the target object model storage unit 9 And the image memories 2a and 2b
It has a function of selecting a landmark candidate existing in the search area in the image inside.

【0071】また、密照合部11は、画像中の探索領域
内にあるランドマークの種別に該当すると思われるこの
粗照合部10が選定した各ランドマークの候補それぞれ
に該当するランドマーク濃淡画像を、対象物モデル管理
部8を通して、対象物モデル記憶部9中の対象物モデル
から取り出してスケール変換部12に参照画像として与
えるように制御するものであり、また、スケール変換部
12により正規化されて得られた参照画像を画像中の上
記探索領域内にあるランドマークに投影して一致度を調
べ、一致度の最も高い参照画像の種別を上記探索領域内
にあるランドマークの種別として認識してその情報を出
力する機能を有する。
Further, the fine matching unit 11 selects the landmark grayscale image corresponding to each of the landmark candidates selected by the rough matching unit 10 which is considered to correspond to the type of the landmark in the search area in the image. , Is controlled by the object model management unit 8 so that the object model stored in the object model storage unit 9 is extracted and given to the scale conversion unit 12 as a reference image. The reference image thus obtained is projected onto the landmark in the search area in the image to check the degree of coincidence, and the type of the reference image with the highest degree of coincidence is recognized as the type of the landmark in the search area. Function to output the information.

【0072】また、スケール変換部12は密照合部11
から与えられる参照画像について、画像中に投影した時
のランドマークサイズとなるように正規化し、密照合部
11に出力する機能を有する。具体的には、対象物モデ
ル記憶部9に対象物モデルとして格納さているランドマ
ークの寸法と、ランドマークまでの距離dから、画像中
に投影された時のランドマークサイズを算出し、参照画
像に対してその横,縦サイズをこの算出した値に対応し
て補正し、正規化参照画像を作成して密照合部11に出
力するといったことを行なう機能を有している。
Further, the scale conversion unit 12 is the fine matching unit 11
It has a function of normalizing the reference image given by the above so that it becomes the landmark size when projected in the image, and outputting it to the fine matching unit 11. Specifically, the landmark size when projected in the image is calculated from the dimension of the landmark stored as the object model in the object model storage unit 9 and the distance d to the landmark, and the reference image is calculated. On the other hand, it has a function of correcting its horizontal and vertical sizes according to the calculated values, creating a normalized reference image and outputting it to the fine matching unit 11.

【0073】このような構成の認識部7は、まず、粗照
合部10では、探索空間算出部6で設定した探索領域内
で色抽出、特徴(円、楕円、四角形、菱形、平行線等)
抽出を行ない、対象物モデル記憶部9に記憶されている
対象物モデルと照合することにより、探索領域内に存在
するランドマークの種別に該当するものであろう種別の
ランドマーク候補を、当該対象物モデル中から選択す
る。
The recognizing unit 7 having the above-described structure firstly, in the coarse matching unit 10, performs color extraction and features (circle, ellipse, quadrangle, rhombus, parallel line, etc.) within the search area set by the search space calculating unit 6.
By extracting and matching the target object model stored in the target object model storage unit 9, a landmark candidate of a type that may correspond to the type of the landmark existing in the search area is extracted as the target object. Select from the physical models.

【0074】すなわち、探索領域内で色抽出、特徴抽出
された、その色及びその特徴を保持するランドマーク
を、対象物モデル記憶部9内の多数の対象物モデル中か
ら選び出し、これをその探索領域内に存在するランドマ
ークの種別に該当するランドマーク候補とするわけであ
る。大雑把な粗照合をする粗照合部10での処理だけ
に、該当すると思われるランドマーク候補は複数に及
び、従って、一つの探索領域内に存在するランドマーク
の種別に該当するランドマーク候補は複数選出されるこ
とは珍しくない。そこで、このようにして選出されたラ
ンドマーク候補を以下の説明ではそれぞれを区別するた
めにLi (i=0,1,…,t)とする。
That is, the landmarks that retain the color and the feature extracted in the search area and that retain the color and the feature are selected from a large number of object models in the object model storage unit 9, and the landmark is searched for. The landmark candidates correspond to the types of landmarks existing in the area. There are a plurality of landmark candidates that are considered to correspond only to the processing in the rough matching unit 10 that performs rough rough matching, and accordingly, there are a plurality of landmark candidates that correspond to the types of landmarks existing in one search area. It is not uncommon to be elected. Therefore, in the following description, the landmark candidates selected in this way are designated as L i (i = 0, 1, ..., T) in order to distinguish them.

【0075】粗照合部10による粗照合ではランドマー
ク候補Li が多数選出されているので、これを一つに絞
り込む必要がある。そこでこの絞り込みの処理を密照合
部11で行なう。
Since a large number of landmark candidates L i have been selected in the rough matching by the rough matching unit 10, it is necessary to narrow them down to one. Therefore, the narrowing-down process is performed by the fine matching unit 11.

【0076】密照合部11では、このようにして粗照合
部10により選出されて各探索領域毎の1つ以上のラン
ドマーク候補Li それぞれに対して、正確に照合して候
補を一つに絞り込む処理を行なう。
In the fine matching unit 11, the coarse matching unit 10 thus selects the one or more landmark candidates L i for each search area, and accurately matches them into one candidate. Perform the process of narrowing down.

【0077】これはつぎのようにして行なう。密照合部
11は、まず、ランドマーク候補Li それぞれに該当す
るランドマークの濃淡画像を、対象物モデル管理部8を
通して、対象物モデル記憶部9中の対象物モデルから順
次取り出し、スケール変換部12に渡すように制御す
る。スケール変換部12は、これによって対象物モデル
記憶部9中から取り出されたランドマーク候補Li に該
当するランドマークの濃淡画像を参照画像Ib として受
取る。
This is performed as follows. The fine matching unit 11 first sequentially extracts the grayscale image of the landmark corresponding to each of the landmark candidates L i from the target object model in the target object model storage unit 9 through the target object model management unit 8, and the scale conversion unit. Control to pass to 12. The scale conversion unit 12 receives the grayscale image of the landmark corresponding to the landmark candidate L i extracted from the object model storage unit 9 as the reference image I b .

【0078】そして、スケール変換部12では、この参
照画像Ib を画像メモリ2a,2bの画像中に投影した
場合でのランドマークサイズを算出し、そのサイズにス
ケール変換して密照合部11に渡す。スケール変換部1
2によるスケール変換はつぎのようにして行なう。
Then, the scale conversion unit 12 calculates the landmark size when the reference image I b is projected in the images of the image memories 2a and 2b, and scale-converts it to the size, and the fine matching unit 11 calculates it. hand over. Scale conversion unit 1
Scale conversion by 2 is performed as follows.

【0079】すなわち、対象物モデル記憶部9に対象物
モデルとして格納さている前記ランドマーク候補Li
当のランドマークの寸法と、画像中における上述の探索
領域にあるランドマークまでの距離dから、この参照画
像Ib が画像メモリ2a,2b内の画像中における前記
探索領域内のランドマークの位置に投影された場合での
サイズを算出する。この算出はつぎのようにして行な
う。
That is, from the dimension of the landmark corresponding to the landmark candidate L i stored as the object model in the object model storage unit 9 and the distance d to the landmark in the above-mentioned search area in the image, The size when this reference image I b is projected at the position of the landmark in the search area in the images in the image memories 2a and 2b is calculated. This calculation is performed as follows.

【0080】今、ランドマークに外接する長方形の寸法
がWl ×Hl であるとする。この時、画像メモリ2a,
2b内の画像中における前記ランドマークの位置に、ラ
ンドマーク候補Li を投影した際のこのランドマーク候
補Li に外接する長方形の概略寸法IWl ×IHl
Now, it is assumed that the size of the rectangle circumscribing the landmark is W l × H l . At this time, the image memory 2a,
When the landmark candidate L i is projected at the position of the landmark in the image in 2b, the approximate size IW l × IH l of the rectangle circumscribing the landmark candidate L i is

【0081】[0081]

【数8】 と表すことができ、従って、この式から画像中(画像メ
モリ2a,2b内の画像中における前記ランドマークの
位置)に投影された時のランドマーク候補Li のサイズ
(ランドマークサイズ)を算出することができる。
(Equation 8) Therefore, the size (landmark size) of the landmark candidate L i when projected onto the image (the position of the landmark in the image in the image memories 2a and 2b) is calculated from this equation. can do.

【0082】従って、例えばランドマーク候補Li の濃
淡画像である参照画像Ib のサイズがIWb ×IHb
あるとすると、スケール変換部12は当該参照画像Ib
に対してその横,縦サイズをそれぞれIWl /IWs
IHl /IHb 倍にした正規化参照画像Is を作成し、
これを密照合部11へ送ることになる。
[0082] Thus, for example, if the size of the reference image I b is a gray-scale image of the landmark candidate L i is assumed to be IW b × IH b, scale converter 12 the reference image I b
And its horizontal and vertical sizes are IW l / IW s ,
IH l / IH b times the normalized reference image I s is created,
This is sent to the fine matching unit 11.

【0083】密照合部11では、探索空間算出部6より
得られた探索領域位置に対応する画像Ia を、画像メモ
リ2aから切り出し、この切り出した探索領域対応の画
像Ia 上で正規化参照画像Is を走査し、像の重なって
いるIs 及びIa の各画素I1 ,I2 に対して、以下の
式により濃度相関sを求める。
In the fine matching unit 11, the image I a corresponding to the search area position obtained by the search space calculating unit 6 is cut out from the image memory 2 a and the normalized reference is made on the cut out image I a corresponding to the search area. The image I s is scanned, and for each pixel I 1 and I 2 of the images I s and I a where the images overlap, the density correlation s is obtained by the following formula.

【0084】[0084]

【数9】 [Equation 9]

【0085】つまり、切り出した探索領域対応の画像I
a 上で正規化参照画像Is を走査するということは両画
像を重ねてみることを意味する。そして、この切り出し
た探索領域対応の画像Ia と正規化参照画像Is を重ね
てみることで、両者の像の重なっている部分がわかるの
で、多数のランドマーク候補Liの中から像の形状、濃
淡の状態(カラー画像情報としてある場合は色情報の状
態)の一致するランドマークを見付けるために画像Ia
とIs の各画素I1 ,I2 に対して、それぞれが重なっ
ている部分を見付け、その重なり部分での像の一致度を
求める。
That is, the image I corresponding to the cut-out search area
means to take a superposed both images that scan the normalized reference image I s on a. Then, by superimposing the cut-out search region-corresponding image I a and the normalized reference image I s , it is possible to see the overlapping portion of the images, so that the shape of the image can be selected from a large number of landmark candidates Li. , The image I a in order to find a landmark whose gray shade state (color information state, if present) matches.
For each of the pixels I 1 and I 2 of I and I s , the overlapping portion is found, and the degree of coincidence of the images at the overlapping portion is obtained.

【0086】これは重なり部分における濃度状態(カラ
ー画像ならば同一色合い、あるいは色情報)の一致する
画素の占める割合を求めることなどで実現できるが、こ
こでは、正規化参照画像Is の全ての画素I1 に対し
て、重なっているIa 内の画素I2 との間で濃度相関s
を求め、その加算値SS=Σsを求め、SSが最大とな
るランドマーク候補を、本命のランドマークとすること
で、多数の候補の中から一致度の高いランドマークとし
て選定することができる。
This can be realized by, for example, obtaining the proportion of pixels having the same density state (same hue or color information in the case of color images) in the overlapping portion, but here, all of the normalized reference image I s to the pixel I 1, concentration correlation s between the pixel I 2 in overlapping and I a
Then, the added value SS = Σs is obtained, and the landmark candidate having the maximum SS is set as the favorite landmark, so that a landmark with a high degree of coincidence can be selected from a large number of candidates.

【0087】このように、画像メモリ内の画像中から切
り出したランドマーク候補の画像Ia 内で正規化参照画
像Is をラスター走査しながら重なっている部分での加
算値SSを求め、この加算値SSが最大となる位置、及
び最大値maxs(a)を求める。この加算値SSは同
一濃度値(あるいは同一色合い、同一色情報)を持つ画
素の数に対応しており、この加算値SSが最大となる位
置、及び最大値maxs(a)を求めることは、探索領
域対応の画像Ia と正規化参照画像Is を重ねた場合に
おける両者の像の重なっている部分の類似度が最大であ
ることを意味する。
As described above, the added value SS is obtained in the overlapping portion while rasterizing the normalized reference image I s in the landmark candidate image I a cut out from the image in the image memory, and this addition is performed. The position where the value SS is maximum and the maximum value maxs (a) are obtained. The added value SS corresponds to the number of pixels having the same density value (or the same hue and the same color information), and the position where the added value SS is maximum and the maximum value maxs (a) are obtained. This means that when the image I a corresponding to the search area and the normalized reference image I s are overlapped, the similarity between the overlapping portions of the images is maximum.

【0088】ゆえにこれは一致度が最大であることにな
り、これに使用した正規化参照画像Is のランドマーク
が当該探索領域対応の画像Ia におけるランドマークの
種別であることが分かる。
Therefore, this means that the degree of coincidence is the maximum, and the landmark of the normalized reference image I s used for this is the type of the landmark in the image I a corresponding to the search area.

【0089】画像メモリ2bにおける画像に対しても同
様の処理を行ない、最大値maxs(b)を求める。そ
して、maxs=max(maxs(a),maxs
(b))を求める。
Similar processing is performed on the image in the image memory 2b to obtain the maximum value maxs (b). Then, maxs = max (maxs (a), maxs
(B)) is calculated.

【0090】以上の処理を各探索領域毎にその領域での
候補として選定された各ランドマーク候補Li (i=
0,1,…,t)に対してそれぞれ行ない、それぞれに
ついてmaxsが最大となるランドマーク候補Li をそ
の探索領域でのランドマークの種別として選択する。こ
れにより、各探索領域毎に該領域でのランドマークの候
補として粗照合で多数選定されたランドマーク候補中か
ら、一致度の高い一つを選定してその種別を当該領域の
ランドマークの種別として絞り込むことができる。
The above processing is performed for each search area for each landmark candidate L i (i =
0, 1, ..., T), and the landmark candidate L i having the maximum maxs is selected as the type of landmark in the search area. Thus, for each search area, one having a high degree of coincidence is selected from among a large number of landmark candidates selected by rough matching as landmark candidates in that area, and the type thereof is the type of the landmark of the area. Can be narrowed down as.

【0091】なお、図2の構成例では、対象物モデルに
格納されているランドマークの濃淡画像をスケール変換
部12が変換する、つまり、参照画像の方を正規化して
いたが、図3に示す構成例のように、画像メモリ2a、
2bから切り出してくる走査画像の方をスケール変換部
12で正規化し、密照合部14で相関による照合処理を
行なう構成とすることも考えられる。この場合の変換倍
率も、図2の構成例と同様に算出できる。
In the configuration example of FIG. 2, the scale converter 12 converts the grayscale image of the landmark stored in the object model, that is, the reference image is normalized, but in FIG. As in the configuration example shown, the image memory 2a,
It is also conceivable that the scan image cut out from 2b is normalized by the scale conversion unit 12 and the fine matching unit 14 performs the matching process by the correlation. The conversion magnification in this case can also be calculated in the same manner as the configuration example of FIG.

【0092】また、本実施例では、密照合部11、14
において相関により照合を行なったが、画素間の差の2
乗和等を用いたSSD手法等、他の照合手法を用いるこ
ともできる。
Further, in this embodiment, the fine matching units 11 and 14 are
The correlation was performed by using the
It is also possible to use another matching method such as the SSD method using the sum of multiplications.

【0093】本実施例では、投影点を領域メモリへ書き
込む際、等間隔にサンプリングしたが、通常、ステレオ
カメラ座標系の原点よりも遠い領域は画像上で小さく写
るため、解像度は粗くなる。逆に近い領域は画像上で大
きく写るため解像度が高くなる。このため、例えば、Y
min に近い点程、X、Yのサンプル間隔を細かくし、Y
max に近い点程、X、Yのサンプル間隔を大きくするこ
とにより、情報量を減少させることなく領域メモリ5の
容量を減少させることができる。
In this embodiment, when the projection points are written in the area memory, they are sampled at equal intervals. However, the area far from the origin of the stereo camera coordinate system is usually small in the image, so the resolution becomes coarse. On the contrary, the near region has a large resolution on the image because the image is enlarged. Therefore, for example, Y
The closer to min , the finer the X and Y sample intervals,
The capacity of the area memory 5 can be reduced without reducing the amount of information by increasing the X, Y sample interval at a point closer to max .

【0094】また、本実施例では道路面として平面を仮
定して説明したが、ステレオカメラ座標系で方程式が既
知である曲面であれば、平面の場合と同様に道路領域を
抽出することができる。
Although the present embodiment has been described on the assumption that a plane is used as the road surface, a road area can be extracted as in the case of a plane if the surface is a curved surface whose equation is known in the stereo camera coordinate system. .

【0095】また、本実施例においては、道路標識、電
柱、及び信号機等、屋外道路環境のランドマークに関し
ての識別を主体に記述したが、これに限るものではない
こととはもちろんであって、地面や床面から立ち上がっ
ている物であるならば適用可能である。例えば、室内環
境における柱の列、消火器、ドア、及び什器等のランド
マークも本実施例と同様の手法で認識できる。
Further, in the present embodiment, the description was made mainly about the identification of the landmarks of the outdoor road environment such as road signs, telephone poles, traffic lights, etc., but it goes without saying that the invention is not limited to this. It is applicable as long as it is an object rising from the ground or floor. For example, landmarks such as a row of pillars, a fire extinguisher, a door, and furniture in an indoor environment can be recognized by the same method as in this embodiment.

【0096】以上、本装置は画像中のランドマークの認
識を行なうにあたり、照合基準となる実際の各種のラン
ドマークの像情報を含むランドマークの情報を用意し、
これとランドマークの映っている画像中のランドマーク
領域を切り出して照合するようにして識別するものであ
る。
As described above, the present apparatus prepares landmark information including image information of various actual landmarks serving as a collation reference when recognizing landmarks in an image,
A landmark area in an image in which the landmark is reflected is cut out and collated for identification.

【0097】すなわち、本装置ではランドマークは単純
な形状であり、しかも、道路上に細長く立っているもの
であるという前提を利用しており、画像中に埋もれるラ
ンドマークの像を、高さの方向に分布するこれらの前提
に合う条件の画素情報が分布する領域を切り出して照合
する対象領域を特定することで、複雑で変動の激しい画
像内からランドマーク像の含まれる領域を安定に切り出
し、また、用意した実際の各種ランドマークの像を含む
照合のための情報を基準となるランドマークとして用
い、これを正規化して画像中に投影し、これと上記切り
出した画像とを照合して両者の重なる部分での一致度を
調べ、複数種ある照合基準のランドマークから一致度の
高いものを選定してこれを画像中の上記領域におけるラ
ンドマークの種別として認識する。
That is, this apparatus uses the premise that the landmark has a simple shape and that it stands on the road in a slender shape, and the image of the landmark buried in the image is By cutting out the area where the pixel information of the conditions that match these assumptions distributed in the direction is distributed and specifying the target area to be collated, it is possible to stably cut out the area containing the landmark image from within the complicated and rapidly changing image, In addition, the information for collation including the images of various actual landmarks prepared is used as a reference landmark, which is normalized and projected into the image, and this is collated with the cut out image and both are compared. Check the degree of coincidence in the overlapping area, select the one with a high degree of coincidence from the landmarks of the multiple matching criteria, and use this as the type of landmark in the above area in the image. It recognizes Te.

【0098】特に外界の像を視差のある画像つまり左像
および右像としてそれぞれ取得する立体視用の撮像装置
を用い、その画像を利用するもので、撮像装置の撮影点
がわかり、しかも、左像および右像の持つ視差からラン
ドマークが立っている所までの距離を求めることができ
るため、この求めた距離を用いて画像中に撮像されたラ
ンドマークのサイズと位置が特定でき、これに合うよう
に、照合基準のランドマークの像を正規化して上記画像
に投影し、画像中のランドマークとの一致度を調べるよ
うにしたことから、少ない計算量でしかも精度良く画像
中のランドマークの種別が認識できる。
Particularly, by using an image pickup device for stereoscopic vision that acquires an image of the external world as a parallax image, that is, a left image and a right image, the image is used, and the photographing point of the image pickup device can be known and Since the distance to the place where the landmark stands can be calculated from the parallax of the image and the right image, the size and position of the landmark captured in the image can be specified using this calculated distance. In order to match, the image of the landmark of the collation reference is normalized and projected on the above image, and the degree of coincidence with the landmark in the image is checked, so the landmark in the image can be calculated with a small amount of calculation and with high accuracy. The type of can be recognized.

【0099】[0099]

【発明の効果】以上、詳述したように本発明は、ランド
マークは道路上に細長く立っているものであるという高
さの情報を利用するようにしたものであり、この情報を
利用することにより、画像中のランドマーク領域を、複
雑で変動の激しい画像内から安定に切り出すことができ
る。さらに、ランドマークが立っている所までの距離を
求めることができるため、この距離を用いて画像中に撮
像されたランドマークのサイズが特定でき、少ない計算
量で照合処理の実現ができる。
As described above in detail, according to the present invention, the information on the height that the landmark is standing on the road in a slender shape is used, and this information is used. With this, it is possible to stably cut out the landmark area in the image from within the image that is complicated and has large fluctuations. Further, since the distance to the place where the landmark stands can be obtained, the size of the landmark imaged in the image can be specified using this distance, and the matching process can be realized with a small amount of calculation.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施例を説明するための図であって、
本発明の一実施例の概略構成を示すブロック図。
FIG. 1 is a diagram for explaining an embodiment of the present invention,
The block diagram which shows the schematic structure of one Example of this invention.

【図2】本発明の実施例を説明するための図であって、
本発明の一実施例としての認識部7の構成例を示すブロ
ック図。
FIG. 2 is a diagram for explaining an embodiment of the present invention,
The block diagram which shows the structural example of the recognition part 7 as one Example of this invention.

【図3】本発明の実施例を説明するための図であって、
本発明の別の実施例としての認識部7の構成例を示すブ
ロック図。
FIG. 3 is a diagram for explaining an embodiment of the present invention,
The block diagram which shows the structural example of the recognition part 7 as another Example of this invention.

【図4】本発明の実施例を説明するための図であって、
本発明の一実施例としての変換部3による画像メモリ2
a,2bの画像の平面P上への投影方法を説明する図。
FIG. 4 is a diagram for explaining an embodiment of the present invention,
Image memory 2 by conversion unit 3 as one embodiment of the present invention
The figure explaining the projection method on the plane P of the image of a, 2b.

【図5】本発明の実施例を説明するための図であって、
本発明の一実施例としての領域メモリを説明する図。
FIG. 5 is a diagram for explaining an embodiment of the present invention,
FIG. 3 is a diagram illustrating an area memory as an embodiment of the present invention.

【図6】本発明の実施例を説明するための図であって、
本発明の一実施例としての対応領域を説明する図。
FIG. 6 is a diagram for explaining an embodiment of the present invention,
The figure explaining the corresponding area | region as one Example of this invention.

【図7】本発明の実施例を説明するための図であって、
本発明の一実施例としての道路面上に立ち上がっている
対象物を説明する図。
FIG. 7 is a diagram for explaining an embodiment of the present invention,
The figure explaining the target object standing up on the road surface as one Example of this invention.

【図8】本発明の実施例を説明するための図であって、
本発明の一実施例としての投影像を説明する図。
FIG. 8 is a diagram for explaining an embodiment of the present invention,
The figure explaining the projection image as one Example of this invention.

【図9】本発明の実施例を説明するための図であって、
本発明の一実施例としての平面投影記述を説明する図。
FIG. 9 is a diagram for explaining an embodiment of the present invention,
The figure explaining the plane projection description as one Example of this invention.

【図10】本発明の実施例を説明するための図であっ
て、本発明の一実施例としての探索領域の設定方法を説
明する図。
FIG. 10 is a diagram for explaining the embodiment of the present invention and is a diagram for explaining a method of setting a search area as one embodiment of the present invention.

【図11】本発明の実施例を説明するための図であっ
て、本発明の一実施例としての対象物モデルの内容を説
明する図。
FIG. 11 is a diagram for explaining the embodiment of the present invention, and is a diagram for explaining the contents of the object model as one embodiment of the present invention.

【図12】本発明の実施例を説明するための図であっ
て、画像中から探索領域を設定する一例を説明する図。
FIG. 12 is a diagram for explaining the embodiment of the present invention and is a diagram for explaining an example of setting a search region in an image.

【符号の説明】[Explanation of symbols]

1a,1b…TVカメラ 3…変換部 4…面パラメータ記憶部 5…領域メモリ 6…探索空間算出部 7…認識部 8…対象物モデル管理部 9…対象物モデル記憶部 10…粗照合部 11…密照合部 12…スケール変換部 1a, 1b ... TV camera 3 ... Conversion unit 4 ... Surface parameter storage unit 5 ... Area memory 6 ... Search space calculation unit 7 ... Recognition unit 8 ... Object model management unit 9 ... Object model storage unit 10 ... Coarse matching unit 11 … Dense matching unit 12… Scale conversion unit

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と前記ランドマ
ーク情報保持手段の保持する基準のランドマークの特徴
情報とを照合し、ランドマーク種別を識別する認識手段
と、を具備することを特徴とするランドマーク認識装
置。
1. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane exists and acquiring an image in the visual field as a pair of identification processing target images having at least parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification processing when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area A landmark recognition device, comprising: a recognition unit that collates the image with the reference landmark feature information held by the landmark information holding unit to identify the landmark type.
【請求項2】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを照合し、一致する度合いからラン
ドマーク種別を識別する認識手段と、を具備することを
特徴とするランドマーク認識装置。
2. An image inputting means for taking a three-dimensional space in which a landmark standing on a reference plane is present as a visual field and acquiring an image in this visual field as at least a pair of discrimination processing target images having parallax, and an actual image inputting means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification processing when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area The image is normalized to the size when placed at the position of this search area, and the image information of the reference landmark and its characteristic information projected in the search area are collated, and the landmark is determined from the degree of coincidence. A landmark recognition device comprising: a recognition unit that identifies a type.
【請求項3】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
四角形、菱形、平行線等の図形特徴を含む基準のランド
マークの特徴情報を保持したランドマーク情報保持手段
と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と前記ランドマ
ーク情報保持手段の保持する基準のランドマークの特徴
情報とを照合し、ランドマーク種別を識別する認識手段
と、を具備することを特徴とするランドマーク認識装
置。
3. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane is present, and acquiring an image in the visual field as at least a pair of identification processing target images having parallax, and an actual image input means. Images of various landmarks, dimensions of the landmarks, colors that the landmarks have, and circles and ellipses that represent the outline shape,
A landmark information holding unit that holds characteristic information of a reference landmark including a graphic feature such as a quadrangle, a rhombus, and parallel lines, and parallax information that an image of an image to be subjected to identification processing obtained from the image input unit is used As a result, the conversion means for projecting on the projection plane set in the three-dimensional space and converting into the image data, the area memory for accumulating the image data obtained by the conversion means, and the respective data of the area memory From the inside, extract the part where the landmark is in contact with the reference surface, and from the position in the area memory of that part, the land in the identification processing target image when converted back to the original image. A search space setting unit that knows a mark existing region and finds the landmark existing region as a search region, and a search space setting unit in the identification processing target image And a recognition unit for identifying the landmark type by collating the image in the region corresponding to the search region with the characteristic information of the reference landmark held by the landmark information holding unit. Landmark recognition device.
【請求項4】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
四角形、菱形、平行線等の図形特徴を含む基準のランド
マークの特徴情報を保持したランドマーク情報保持手段
と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを照合し、一致する度合いからラン
ドマーク種別を識別する認識手段と、を具備することを
特徴とするランドマーク認識装置。
4. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane is present and acquiring an image in the visual field as a pair of identification processing target images having at least parallax, and an actual image input means. Images of various landmarks, dimensions of the landmarks, colors that the landmarks have, and circles and ellipses that represent the outline shape,
A landmark information holding unit that holds characteristic information of a reference landmark including a graphic feature such as a quadrangle, a rhombus, and parallel lines, and parallax information that an image of an image to be subjected to identification processing obtained from the image input unit is used As a result, the conversion means for projecting on the projection plane set in the three-dimensional space and converting into the image data, the area memory for accumulating the image data obtained by the conversion means, and the respective data of the area memory From the inside, extract the part where the landmark is in contact with the reference surface, and from the position in the area memory of that part, the land in the identification processing target image when converted back to the original image. A search space setting unit that knows a mark existing region and finds the landmark existing region as a search region, and a search space setting unit in the identification processing target image The image in the area corresponding to the search area and the image information of the reference landmark and its characteristic information which are normalized to the dimensions when arranged at the position of the search area and which are projected in the search area are displayed. A landmark recognition device, comprising: a recognition unit that collates and recognizes a landmark type from the degree of matching.
【請求項5】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触して立ち上がる部分を抽出
し、その部分の当該領域メモリ中の位置から、もとの画
像に逆変換した際の前記識別処理対象画像中でのランド
マーク存在領域を知り、そのランドマーク存在領域を探
索領域として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを照合し、一致する度合いからラン
ドマーク種別を識別するものであって、前記探索領域内
に投影した前記基準のランドマークの像情報は、前記探
索空間設定手段にて得たランドマークの前記基準面から
の立ち上がり点までの距離を求め、この求めた距離を用
いて、画像中で撮像されるランドマークの画像サイズを
求め、対象物モデルの画像サイズを正規化してこれを投
影するものである認識手段と、を具備することを特徴と
するランドマーク認識装置。
5. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane exists and acquiring an image in this visual field as at least a pair of identification processing target images having parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The part that rises in contact with the reference surface is extracted, and the position of the part in the area memory is converted back to the original image. A search space setting unit that knows a landmark existing region in another image to be processed and finds the landmark existing region as a search region, and a region corresponding to the search region found by the search space setting unit in the identification processing target image The image inside the image is normalized to the size when it is placed at the position of this search area, and the image information of the reference landmark projected in the search area and its characteristic information are collated, and from the degree of coincidence The image information of the reference landmark projected into the search area is used to identify the landmark type, and the distance from the reference plane to the rising point of the landmark obtained by the search space setting means is the distance. The image size of the landmark imaged in the image is calculated using this calculated distance, the image size of the object model is normalized, and this is projected. Landmark recognition apparatus characterized by comprising the in which recognition means which, a.
【請求項6】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と前記ランドマ
ーク情報保持手段の保持する基準のランドマークの特徴
情報とを粗照合し、候補となる基準のランドマークを少
なくとも1つ以上選択する粗照合処理を行ない、得られ
た候補を前記識別処理対象画像における前記探索空間設
定手段の求めた探索領域に該当する領域内の画像とを密
に照合してランドマーク種別を識別する認識手段と、を
具備することを特徴とするランドマーク認識装置。
6. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane is present, and acquiring an image in the visual field as at least a pair of identification processing target images having parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification processing when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area The image is roughly matched with the characteristic information of the reference landmark held by the landmark information holding means, a rough matching process of selecting at least one or more reference landmarks to be candidates is performed, and the obtained candidates are described above. Landmark recognition, which comprises: a recognition unit that closely matches the image in an area corresponding to the search area obtained by the search space setting unit in the identification processing target image to identify the landmark type. apparatus.
【請求項7】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを粗照合し、候補となる基準のラン
ドマークを少なくとも1つ以上選択する粗照合処理を行
ない、得られた候補を前記識別処理対象画像における前
記探索空間設定手段の求めた探索領域に該当する領域内
の画像と密に照合してランドマーク種別を識別する認識
手段と、を具備することを特徴とするランドマーク認識
装置。
7. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane exists and acquiring an image in this visual field as at least a pair of identification processing target images having parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification processing when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area The image is normalized to the dimensions when placed at the position of this search area, and the image information of the reference landmark and its characteristic information projected in the search area are roughly collated, and the candidate reference A coarse matching process for selecting at least one or more landmarks is performed, and the obtained candidates are closely matched with the image in the region corresponding to the search region obtained by the search space setting means in the image to be subjected to the identification process to perform land matching. A landmark recognition device comprising: a recognition unit that identifies a mark type.
【請求項8】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
四角形、菱形、平行線等の図形特徴を含む基準のランド
マークの特徴情報を保持したランドマーク情報保持手段
と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、前記識別処
理対象画像内におけるこの探索領域の位置に配置した際
の前記基準のランドマークの像の縮尺が互いに等しくな
るようにいずれか一方の像を正規化し、当該探索領域内
に投影した前記基準のランドマークの像情報および特徴
情報と前記識別処理対象画像における前記探索領域に該
当する領域内の画像とを照合し、一致する度合いからラ
ンドマーク種別を識別する認識手段と、を具備すること
を特徴とするランドマーク認識装置。
8. An image input means for taking a three-dimensional space in which a landmark standing on a reference plane is present as a visual field and acquiring an image in this visual field as at least a pair of identification processing target images having parallax, and an actual image input means. Images of various landmarks, dimensions of the landmarks, colors that the landmarks have, and circles and ellipses that represent the outline shape,
A landmark information holding unit that holds characteristic information of a reference landmark including a graphic feature such as a quadrangle, a rhombus, and parallel lines, and parallax information that an image of an image to be subjected to identification processing obtained from the image input unit is used As a result, the conversion means for projecting on the projection plane set in the three-dimensional space and converting into the image data, the area memory for accumulating the image data obtained by the conversion means, and the respective data of the area memory From the inside, extract the part where the landmark is in contact with the reference surface, and from the position in the area memory of that part, the land in the identification processing target image when converted back to the original image. A search space setting unit that knows a mark existing region and finds the landmark existing region as a search region, and a search space setting unit in the identification processing target image The image in the area corresponding to the search area and one of the images so that the scales of the images of the reference landmarks when arranged at the position of the search area in the image to be identified are equal to each other. The image information and the characteristic information of the reference landmark, which is normalized and projected in the search area, is collated with the image in the area corresponding to the search area in the identification processing target image, and the landmark type is determined from the degree of matching. A landmark recognition device, comprising:
【請求項9】 基準となる面上に立つランドマークの存
在する3次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力ステップと、 前記画像入力ステップから得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、3次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップより得られた画像データを蓄積し、こ
の蓄積したそれぞれのデータの中からランドマークが前
記基準となる面と接触している部分を抽出し、その部分
の当該領域メモリ中の位置から、もとの画像に逆変換し
た際の前記識別処理対象画像中でのランドマーク存在領
域を知り、そのランドマーク存在領域を探索領域として
求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合し、ランドマーク種別を識別する認識ステ
ップと、を具備することを特徴とするランドマーク認識
方法。
9. An image inputting step, wherein a three-dimensional space in which a landmark standing on a reference plane is present is used as a visual field, and an image in the visual field is acquired as at least a pair of identification processing target images having parallax. By using the parallax information of the image, the identification processing target image obtained from the input step is projected onto each projection plane set in the three-dimensional space and converted into image data. The image data is stored, the part where the landmark is in contact with the reference surface is extracted from the stored data, and the original image is extracted from the position of the part in the area memory. Search space setting that finds the landmark existing area in the image to be subjected to the identification processing when the image is inversely converted into Step, the image in the area corresponding to the search area obtained by the search space setting step in the image to be identified, and the characteristic information of the reference landmark including the images of various actual landmarks are compared, A landmark recognition method, comprising: a recognition step of identifying a mark type.
【請求項10】 基準となる面上に立つランドマークの
存在する3次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 前記画像入力ステップにて得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、3次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップにより得られた画像データを蓄積し、
この蓄積したそれぞれのデータの中からランドマークが
前記基準となる面と接触している部分を抽出し、その部
分の当該領域メモリ中の位置から、もとの画像に逆変換
した際の前記識別処理対象画像中でのランドマーク存在
領域を知り、そのランドマーク存在領域を探索領域とし
て求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合すると共に、この照合にあたっては前記基
準のランドマークの像の縮尺を前記識別処理対象画像内
における前記探索領域の位置に配置した際の寸法に正規
化し、かつ、当該探索領域内に投影した前記基準のラン
ドマークの像情報および特徴情報とを照合し、一致する
度合いからランドマーク種別を識別する認識ステップ
と、を具備することを特徴とするランドマーク認識方
法。
10. An image inputting step, in which a three-dimensional space in which a landmark standing on a reference surface is present is used as a visual field, and an image in the visual field is acquired as at least a pair of identification processing target images having parallax. By using the information of the parallax that the image has in the identification process target image obtained in the input step, each is projected onto the projection plane set in the three-dimensional space, and is converted into image data. Accumulate the obtained image data,
From each of the accumulated data, the part where the landmark is in contact with the reference surface is extracted, and the position of the part in the area memory concerned is converted to the original image and the identification is performed. In the area corresponding to the search area obtained by the search space setting step in the image to be processed, the step of setting a search space for knowing the existence area of the landmark in the processing target image and obtaining the landmark existence area as a search area Image and the reference landmark characteristic information including the images of various actual landmarks are collated, and in this collation, the scale of the reference landmark image is set to the search area in the discrimination processing target image. The image information and the characteristic information of the reference landmark projected on the search area are normalized to the dimension when the object is placed at And a recognition step of identifying the landmark type from the degree of matching.
【請求項11】 基準となる面上に立つランドマークの
存在する3次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 この画像入力ステップにて得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、3次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
リ中に蓄積してこの蓄積したそれぞれのデータの中から
ランドマークが前記基準となる面と接触して立ち上がる
部分を抽出し、その部分の当該領域メモリ中の位置か
ら、もとの画像に逆変換した際の前記識別処理対象画像
中でのランドマーク存在領域を知り、そのランドマーク
存在領域を探索領域として求める探索空間設定ステップ
と、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合すると共に、この照合にあたっては前記基
準のランドマークの像または前記識別処理対象画像にお
ける前記探索領域に該当する領域内画像の縮尺が前記識
別処理対象画像内における前記探索領域の位置に配置し
た際に合うように寸法の正規化を施し、かつ、前記探索
領域内に投影した前記基準のランドマークの像情報およ
びその特徴情報と前記識別処理対象画像における前記探
索領域に該当する領域内画像とを照合し、一致する度合
いからランドマーク種別を識別する認識ステップと、を
具備することを特徴とするランドマーク認識方法。
11. An image input step for obtaining an image in a three-dimensional space in which a landmark standing on a reference plane is present as an image in the three-dimensional space as at least a pair of identification processing images having parallax, and this image By using the information of the parallax that the image has in the identification process target image obtained in the input step, each is projected onto the projection plane set in the three-dimensional space, and is converted into image data. The obtained image data is stored in the area memory, and the portion where the landmark comes in contact with the reference surface is extracted from each of the accumulated data, and the portion that rises from the position in the area memory is extracted. , Know the landmark existing area in the image to be identified when the image is inversely converted to the original image, and search the landmark existing area. And a search space setting step to be obtained, an image in an area corresponding to the search area obtained in the search space setting step in the image to be identified, and reference landmark characteristic information including images of various actual landmarks In addition, the scale of the image of the reference landmark or the in-region image corresponding to the search region in the identification processing target image is arranged at the position of the search region in the identification processing target image. The image of the reference landmark image information projected in the search area and its characteristic information and the image in the area corresponding to the search area in the identification processing target image And a recognition step of identifying the landmark type from the degree of coincidence. Over-click recognition method.
【請求項12】 基準となる面上に立つランドマークの
存在する3次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、3次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
リに蓄積し、この領域メモリのそれぞれのデータの中か
らランドマークが前記基準となる面と接触している部分
を抽出し、その部分の当該領域メモリ中の位置から、も
との画像に逆変換した際の前記識別処理対象画像中での
ランドマーク存在領域を知り、そのランドマーク存在領
域を探索領域として求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを粗照合し、候補となる基準のラン
ドマークを少なくとも1つ以上選択する粗照合処理を行
ない、得られた候補を前記識別処理対象画像における前
記探索空間設定手段の求めた探索領域に該当する領域内
の画像と密に照合してランドマーク種別を識別する認識
ステップと、を具備することを特徴とするランドマーク
認識方法。
12. An image inputting step, wherein an image in a three-dimensional space in which a landmark standing on a reference surface is present is used as a field of view, and an image in the field of view is acquired as a pair of images to be subjected to identification processing having at least parallax. By using the information of the parallax of the image, the identification processing target image obtained from the input means is projected on each projection plane set in the three-dimensional space and converted into image data. Accumulated image data is stored in the area memory, and from each of the data in the area memory, the part where the landmark is in contact with the reference surface is extracted, and from the position of the part in the area memory, Knowing the landmark existing area in the image to be subjected to the discrimination processing when the original image is inversely converted, the landmark existing area is obtained as a search area. A search space setting step, an image in an area corresponding to the search area obtained by the search space setting means in the identification processing target image, and a dimension when the image is arranged at the position of the search area, and The image information of the reference landmarks projected in the search area and the characteristic information thereof are roughly collated, and a coarse collation process of selecting at least one or more reference landmarks to be candidates is performed to obtain the obtained candidates. A recognition step for recognizing a landmark type by closely collating with an image in an area corresponding to the search area obtained by the search space setting means in the image for identification processing. .
【請求項13】 基準となる面上に立つランドマークの
存在する3次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 前記画像入力ステップから得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、3次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
リ中に蓄積してこの蓄積したそれぞれのデータの中から
ランドマークが前記基準となる面と接触して立ち上がる
部分を抽出し、その部分の当該領域メモリ中の位置か
ら、もとの画像に逆変換した際の前記識別処理対象画像
中でのランドマーク存在領域を知り、そのランドマーク
存在領域を探索領域として求める探索空間設定ステップ
と、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合すると共に、この照合にあたっては前記基
準のランドマークの像または前記識別処理対象画像にお
ける前記探索領域に該当する領域内画像の縮尺が前記識
別処理対象画像内における前記探索領域の位置に配置し
た際に合うように寸法の正規化を施し、かつ、前記探索
領域内に投影した前記基準のランドマークの像情報およ
び特徴情報と前記識別処理対象画像における前記探索領
域に該当する領域内画像とを照合し、一致する度合いか
らランドマーク種別を識別する処理を行なうものであっ
て、前記探索領域内に投影した前記基準のランドマーク
の像情報は、前記探索空間設定ステップにて得たランド
マークの前記基準面からの立ち上がり点までの距離を求
め、この求めた距離を用いて、画像中で撮像されるラン
ドマークの画像サイズを求め、画像サイズの正規化に利
用するようにした認識ステップと、を具備することを特
徴とするランドマーク認識方法。
13. An image inputting step, in which a three-dimensional space in which a landmark standing on a reference surface is present is used as a visual field, and an image in the visual field is acquired as at least a pair of identification processing target images having parallax, the image input step. By using the information of the parallax of the image, the identification processing target image obtained from the input step is projected onto each projection plane set in the three-dimensional space and converted into image data. The image data obtained is stored in the area memory, and a portion where the landmark comes into contact with the reference surface is extracted from each of the accumulated data, and from the position of the portion in the area memory, Know the landmark existing area in the image to be identified when the image is inversely converted to the original image, and search the landmark existing area. And a search space setting step to be obtained, an image in an area corresponding to the search area obtained in the search space setting step in the image to be identified, and reference landmark characteristic information including images of various actual landmarks In addition, the scale of the image of the reference landmark or the in-region image corresponding to the search region in the identification processing target image is arranged at the position of the search region in the identification processing target image. When subjected to normalization of dimensions so as to match, and the image information and the characteristic information of the reference landmark projected in the search area and the image in the area corresponding to the search area in the identification processing target image For identifying the landmark type from the degree of coincidence, which is before the projection in the search area. The image information of the reference landmark is obtained by obtaining the distance from the reference plane to the rising point of the landmark obtained in the search space setting step, and using the obtained distance, the landmark imaged in the image. And a recognition step adapted to obtain the image size of the image and use it for normalization of the image size.
JP05927095A 1995-03-17 1995-03-17 Landmark recognition device and landmark recognition method Expired - Fee Related JP3437671B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05927095A JP3437671B2 (en) 1995-03-17 1995-03-17 Landmark recognition device and landmark recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05927095A JP3437671B2 (en) 1995-03-17 1995-03-17 Landmark recognition device and landmark recognition method

Publications (2)

Publication Number Publication Date
JPH08255245A true JPH08255245A (en) 1996-10-01
JP3437671B2 JP3437671B2 (en) 2003-08-18

Family

ID=13108523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05927095A Expired - Fee Related JP3437671B2 (en) 1995-03-17 1995-03-17 Landmark recognition device and landmark recognition method

Country Status (1)

Country Link
JP (1) JP3437671B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003502745A (en) * 1999-06-11 2003-01-21 ダイムラークライスラー・アクチェンゲゼルシャフト A method for detecting objects near road vehicles up to a considerable distance
JP2004326264A (en) * 2003-04-22 2004-11-18 Matsushita Electric Works Ltd Obstacle detecting device and autonomous mobile robot using the same and obstacle detecting method and obstacle detecting program
JP2007265038A (en) * 2006-03-28 2007-10-11 Pasuko:Kk Road image analysis device and road image analysis method
JP2008003941A (en) * 2006-06-23 2008-01-10 Nissan Motor Co Ltd Road end recognition device, automobile and road end recognition method
JP2008269264A (en) * 2007-04-19 2008-11-06 Central Res Inst Of Electric Power Ind Method, device and program for tracking multiconductor cable by image processing, and method, device and program for detecting abnormality of multiconductor cable using the same
WO2010078738A1 (en) * 2008-12-29 2010-07-15 东软集团股份有限公司 An obstacle detecting method and device
WO2011043275A1 (en) 2009-10-06 2011-04-14 株式会社 トプコン Three-dimensional data creating method and three-dimensional data creating device
JP2012018654A (en) * 2010-07-08 2012-01-26 Masaru Bessho Car and vehicle automatic driving system
JP2012099010A (en) * 2010-11-04 2012-05-24 Aisin Aw Co Ltd Image processing apparatus and image processing program
CN113408534A (en) * 2020-03-17 2021-09-17 株式会社理光 Method, apparatus and storage medium for recognizing landmark in panoramic image

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003502745A (en) * 1999-06-11 2003-01-21 ダイムラークライスラー・アクチェンゲゼルシャフト A method for detecting objects near road vehicles up to a considerable distance
JP2004326264A (en) * 2003-04-22 2004-11-18 Matsushita Electric Works Ltd Obstacle detecting device and autonomous mobile robot using the same and obstacle detecting method and obstacle detecting program
JP2007265038A (en) * 2006-03-28 2007-10-11 Pasuko:Kk Road image analysis device and road image analysis method
JP4632987B2 (en) * 2006-03-28 2011-02-16 株式会社パスコ Road image analysis apparatus and road image analysis method
JP2008003941A (en) * 2006-06-23 2008-01-10 Nissan Motor Co Ltd Road end recognition device, automobile and road end recognition method
JP2008269264A (en) * 2007-04-19 2008-11-06 Central Res Inst Of Electric Power Ind Method, device and program for tracking multiconductor cable by image processing, and method, device and program for detecting abnormality of multiconductor cable using the same
WO2010078738A1 (en) * 2008-12-29 2010-07-15 东软集团股份有限公司 An obstacle detecting method and device
WO2011043275A1 (en) 2009-10-06 2011-04-14 株式会社 トプコン Three-dimensional data creating method and three-dimensional data creating device
JP2011080845A (en) * 2009-10-06 2011-04-21 Topcon Corp Method and apparatus for creating three-dimensional data
JP2012018654A (en) * 2010-07-08 2012-01-26 Masaru Bessho Car and vehicle automatic driving system
JP2012099010A (en) * 2010-11-04 2012-05-24 Aisin Aw Co Ltd Image processing apparatus and image processing program
CN113408534A (en) * 2020-03-17 2021-09-17 株式会社理光 Method, apparatus and storage medium for recognizing landmark in panoramic image

Also Published As

Publication number Publication date
JP3437671B2 (en) 2003-08-18

Similar Documents

Publication Publication Date Title
US11604076B2 (en) Vision augmented navigation
CN111882612B (en) Vehicle multi-scale positioning method based on three-dimensional laser detection lane line
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
JP4380838B2 (en) Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program
CN110443898A (en) A kind of AR intelligent terminal target identification system and method based on deep learning
US6205242B1 (en) Image monitor apparatus and a method
CN105358937A (en) Positioning method for a surveying instrument and said surveying instrument
KR101261409B1 (en) System for recognizing road markings of image
CN106871906B (en) Navigation method and device for blind person and terminal equipment
AU2007355942A2 (en) Arrangement and method for providing a three dimensional map representation of an area
JP2002157576A (en) Device and method for processing stereo image and recording medium for recording stereo image processing program
JP2003123197A (en) Recognition device for road mark or the like
JP2006119591A (en) Map information generation method, map information generation program and map information collection apparatus
JP3437671B2 (en) Landmark recognition device and landmark recognition method
Manandhar et al. Vehicle-borne laser mapping system (VLMS) for 3-D GIS
JP4517003B2 (en) Automatic road sign recognition system
CN114969221A (en) Method for updating map and related equipment
CN116030194A (en) Air-ground collaborative live-action three-dimensional modeling optimization method based on target detection avoidance
KR20200142315A (en) Method and apparatus of updating road network
CN110223223A (en) Street scan method, device and scanner
JPH09218955A (en) Method and device for recognizing position
JP3419968B2 (en) Image recognition device and method
KR102249380B1 (en) System for generating spatial information of CCTV device using reference image information
KR102356162B1 (en) Mobile mapping system transformating layer automatically according to collecting information of specific zone
CN115909183B (en) Monitoring system and monitoring method for external environment of fuel gas delivery

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090606

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090606

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100606

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100606

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees