JP5177579B2 - Image processing system and positioning system - Google Patents
Image processing system and positioning system Download PDFInfo
- Publication number
- JP5177579B2 JP5177579B2 JP2010084679A JP2010084679A JP5177579B2 JP 5177579 B2 JP5177579 B2 JP 5177579B2 JP 2010084679 A JP2010084679 A JP 2010084679A JP 2010084679 A JP2010084679 A JP 2010084679A JP 5177579 B2 JP5177579 B2 JP 5177579B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image feature
- feature point
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Navigation (AREA)
Description
本発明は、画像処理システム、特に風景画像認識処理用参照データの作成ための画像処理システム、及びその参照データを用いた位置測位システムに関する。 The present invention relates to an image processing system, and more particularly to an image processing system for creating reference data for landscape image recognition processing, and a position positioning system using the reference data.
従来から、カーナビゲーション装置では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法(自律航法)、GPS衛星からの信号を利用する方法、あるいは自律航法とGPSとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、測位衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系(自動車座標系)における道路標示の特徴点の座標(自動車座標系特徴点)を算出し、算出した自動車座標系特徴点と、記憶している道路標示の特徴点の座標(ワールド座標系で示した座標)とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている(例えば、特許文献1参照)。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。 Conventionally, in a car navigation apparatus, as a method of calculating the current position of a vehicle, a method using information acquired from a sensor such as a gyroscope or a geomagnetic sensor (autonomous navigation), a method using a signal from a GPS satellite, or an autonomous vehicle A method of combining navigation and GPS is adopted. Furthermore, in order to calculate the current position with high accuracy, the provisional current position is obtained using a signal from a positioning satellite, and the provisional current position is used as a reference using the captured image in front of the vehicle. The coordinate of the feature point of the road marking (automotive coordinate system feature point) in the coordinate system (car coordinate system) is calculated, and the calculated coordinate point of the car coordinate system and the coordinate of the feature point of the stored road sign (world 2. Description of the Related Art Position positioning devices configured to calculate the current position of a vehicle using a coordinate system) are known (for example, see Patent Document 1). In this apparatus, even if positioning based on signals from positioning satellites and signals from various sensors includes an error, it is possible to calculate a current position with high accuracy.
しかし、上記特許文献1による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。
However, in the positioning device according to
そこで、道路標識のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくてもよい位置決めとして風景画像認識技術の利用が考えられる。その際、風景画像認識技術に利用される効果的な参照用画像データである参照データの作成が重要となるので、そのような効果的な参照データの作成に適した画像処理システム及びそのような参照データを用いた位置測位システムの実現が望まれる。 Therefore, it is possible to use the landscape image recognition technique as a positioning that can be used on a road without a road sign or in a specific site, and does not have to calculate the spatial coordinates of each feature point for each position calculation. At that time, since it is important to create reference data that is effective reference image data used in landscape image recognition technology, an image processing system suitable for creating such effective reference data and such Realization of a positioning system using reference data is desired.
本発明に係る画像処理システムの特徴構成は、車両からの風景を撮影した撮影画像を入力するデータ入力部と、入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記画像特徴点に重み係数を割り当てる重み付け部と、前記重み付け係数に基づいて前記画像特徴点から前記撮影画像毎の画像特徴点データを生成する画像特徴点データ生成部と、前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置を含む撮影属性情報と関係付けて、風景画像認識のために利用される参照データとしてデータベース化する参照データデータベース化部と、前記撮影画像中における前記画像特徴点データの分布状態に応じて前記画像特徴点に与えられる重み係数を調整する調整係数を設定する調整係数設定部とを備えている点にある。 A feature configuration of the image processing system according to the present invention includes a data input unit that inputs a captured image obtained by capturing a landscape from a vehicle, a feature point extraction unit that extracts an image feature point from the input captured image, and the image A weighting unit for assigning a weighting factor to a feature point; an image feature point data generating unit for generating image feature point data for each captured image from the image feature point based on the weighting factor; and the image feature point data for the image A reference data database creation unit that creates a database as reference data used for landscape image recognition in association with photographing attribute information including a photographing position of the photographed image corresponding to feature point data; and An adjustment coefficient setting unit for setting an adjustment coefficient for adjusting a weighting coefficient given to the image feature point according to a distribution state of the image feature point data. It lies in the fact that.
この特徴構成によれば、車両からの風景である撮影画像から撮影画像毎に抽出された画像特徴点からなる画像特徴点データに、その撮影時点の自車位置でもある撮影位置が関係付けられデータベース化されるので、この画像特徴点データは風景画像認識のための参照データとして利用される。その際に、抽出された画像特徴点に対して当該画像特徴点の重要度に応じて異なる重み係数が割り当てられる。画像特徴点に対する重要度は、撮影対象となっている風景の種類や、走行レーンとの位置関係などによって異なるものであり、正確に決定することは難しい。そのため、本来は重要度が高い画像特徴点に対して低い重み係数を割り当ててしまう可能性がある。この特徴構成によれば、重み付け部によって割り当てられる重み係数が、調整係数設定部によって、撮影画像中における前記画像特徴点データの分布状態に応じて調整される。つまり、重要度の高い画像特徴点のうちのいくつかは撮影画像中内においてランダムに位置している可能性が高いという、本願発明者の知見から、重要度が高いことから重みが大きくなる重み係数を割り当てられた画像特徴点が偏在してしまうことによる不都合を抑制するため、画像特徴点の撮影画像中における分布状態に応じてその重み係数が調整される。そして、調整係数で調整された重み係数に基づいて前記画像特徴点が整理され前記撮影画像毎の画像特徴点データが生成される。さらにこの画像特徴点データを当該画像特徴点データに対応する撮影画像の撮影位置を含む撮影属性情報が関係付けられ、風景画像認識のために利用される参照データが作成される。これにより、効果的な風景画像認識を実現するための参照データ群からなる参照データデータベースの構築が実現する。 According to this feature configuration, the image feature point data composed of the image feature points extracted for each photographed image from the photographed image that is a landscape from the vehicle is associated with the photographing position that is also the own vehicle position at the time of photographing. Therefore, the image feature point data is used as reference data for landscape image recognition. At that time, different weighting factors are assigned to the extracted image feature points according to the importance of the image feature points. The degree of importance for image feature points varies depending on the type of landscape being photographed and the positional relationship with the traveling lane, and it is difficult to determine accurately. Therefore, there is a possibility that a low weighting coefficient is assigned to an image feature point that is originally highly important. According to this feature configuration, the weighting coefficient assigned by the weighting unit is adjusted by the adjustment coefficient setting unit according to the distribution state of the image feature point data in the captured image. In other words, from the knowledge of the present inventor that some of the image feature points with high importance are likely to be randomly located in the captured image, the weight that increases the weight because of the high importance. In order to suppress inconvenience due to the uneven distribution of image feature points to which coefficients are assigned, the weight coefficients are adjusted according to the distribution state of the image feature points in the captured image. Then, the image feature points are organized based on the weighting coefficient adjusted by the adjustment coefficient, and image feature point data for each captured image is generated. Further, the image feature point data is associated with shooting attribute information including the shooting position of the shot image corresponding to the image feature point data, and reference data used for landscape image recognition is created. As a result, the construction of a reference data database composed of reference data groups for realizing effective landscape image recognition is realized.
画像特徴点に重み係数を割り当てる処理を簡単化するためには、画像特徴点に対して個別に重み係数を与えるのではなく、撮影画像を複数の区画に分割して、その区画単位で重み係数を与えることで、その各区画に属する画像特徴点は同じ重み係数を有するようにするとよい。これを実現するために、本発明の好適な実施形態の1つでは、さらに、前記撮影画像の撮影領域が複数の画像区画に分割され、前記画像特徴点の分布状態が前記画像区画を最小単位として評価されるように構成されている。つまり、同一画像区画に属する前記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、グループ化された画像特徴点群ができるだけ全ての画像区画に存在することが意図される。 In order to simplify the process of assigning weighting factors to image feature points, instead of assigning weighting factors individually to image feature points, the captured image is divided into a plurality of sections, and the weighting coefficients for each section It is preferable that the image feature points belonging to each section have the same weight coefficient. In order to achieve this, in one of the preferred embodiments of the present invention, the shooting area of the shot image is further divided into a plurality of image sections, and the distribution state of the image feature points is the minimum unit of the image sections. It is configured to be evaluated as That is, it is intended that the image feature points belonging to the same image section are grouped as an image feature point group and handled in a unified manner, and the grouped image feature point group exists in all image sections as much as possible.
重要度が高いことから重みが大きくなる重み係数を割り当てられた画像特徴点が偏在してしまうことを回避する具体的な実施形態の1つとして、前記調整係数による調整後の前記重み係数が所定値以上である前記画像特徴点データの分布が一様化するように、前記調整係数設定部が前記調整係数を設定することが提案される。この構成により、所定以上の重み係数を有する画像特徴点を撮影画像に対応する領域において偏在なくできるだけ一様に散布させることが可能となる。 As one specific embodiment for avoiding uneven distribution of image feature points to which weighting factors that increase in weight due to high importance are assigned, the weighting factor after adjustment by the adjustment factor is predetermined. It is proposed that the adjustment coefficient setting unit sets the adjustment coefficient so that the distribution of the image feature point data that is greater than or equal to the value becomes uniform. With this configuration, it is possible to disperse image feature points having a weighting coefficient equal to or larger than a predetermined value as uniformly as possible without being unevenly distributed in a region corresponding to a captured image.
さらに、なお画像特徴点は、画像の上にある点で安定して検出できるものが好ましいので、一般にはエッジ検出フィルタやハリスオペレータなどを用いて検出できるエッジ点が用いられる。本発明では、風景画像における特徴点という点を考慮すれば、ビルの輪郭やビル窓、各種看板の輪郭を示す直線上につながっていくエッジ点群が適している。このため、本発明の好適な実施形態では、前記特徴点抽出部によって抽出される前記画像特徴点がエッジ点であり、前記エッジ点が直線を形成する直線成分エッジ点である場合、当該直線成分エッジ点には前記直線成分エッジ点以外のエッジ点より高い重み係数が与えられるように構成されている。この構成によれば、風景を特徴付ける建物や看板などの特定の人工物などを正確かつ簡素に認識するための参照データを作成することができる。その際、前記直線成分エッジ点のうち二つの直線成分の交点としての交点エッジ点には前記交点エッジ点以外の直線成分エッジ点に比べさらに高い重み係数が与えられるようにすることが好適である。これにより、参照データに含まれる画像特徴点を建物や橋や看板などの最も重要な特徴点であるコーナ点、つまり上記交点エッジ点だけに限定して、画像認識における演算負担を減らすことが可能となる。コーナ点の検出にはハリスオペレータなどを用いることができる。 Furthermore, since image feature points that can be stably detected at points on the image are preferable, generally edge points that can be detected using an edge detection filter or a Harris operator are used. In the present invention, considering points of feature points in a landscape image, a group of edge points connected on a straight line indicating the outline of a building, the window of a building, and the outlines of various signs are suitable. Therefore, in a preferred embodiment of the present invention, when the image feature point extracted by the feature point extraction unit is an edge point, and the edge point is a linear component edge point forming a straight line, the linear component The edge point is configured to be given a higher weighting coefficient than edge points other than the linear component edge point. According to this configuration, it is possible to create reference data for accurately and simply recognizing a specific artifact such as a building or a signboard that characterizes a landscape. At this time, it is preferable that an intersection edge point as an intersection of two linear components among the linear component edge points is given a higher weighting factor than linear component edge points other than the intersection edge point. . As a result, the image feature points included in the reference data can be limited to only the corner points, which are the most important feature points of buildings, bridges, signboards, etc., that is, the intersection edge points, thereby reducing the computational burden in image recognition. It becomes. A Harris operator or the like can be used to detect a corner point.
重み付け部により画像特徴点に割り与えられた重み係数は、画像特徴点データの生成時に画像特徴点の整理のために用いられた後は、破棄することができる。しかしながら、この画像処理システムによってデータベースとして構築される参照データを用いて、リアルタイムで取得された撮影画像から抽出される画像特徴点データとのマッチング処理を通じて風景画像認識を行う際には、その参照データの利用形態によっては参照データに重み係数を付属、つまり関係付けておいた方が便利な場合がある。そのため、本発明の実施形態の1つでは、前記参照データを構成する前記画像特徴点のそれぞれには当該画像特徴点に与えられた重み係数が関係付けられている。 The weighting coefficient assigned to the image feature points by the weighting unit can be discarded after being used for organizing the image feature points when generating the image feature point data. However, when performing landscape image recognition through matching processing with image feature point data extracted from captured images acquired in real time using reference data constructed as a database by this image processing system, the reference data Depending on the usage form, it may be more convenient to attach a weighting coefficient to the reference data, that is, to associate them with each other. For this reason, in one embodiment of the present invention, each of the image feature points constituting the reference data is associated with a weighting factor given to the image feature point.
最終的に画像特徴点データに関係付けられる、当該画像特徴点の抽出元である撮影画像の撮影位置を含む撮影属性情報に、撮影方位も含ませると、撮影方位を特定することでマッチング対象となる画像特徴点データを絞り込むことができて好都合である。
さらに、本発明は、上述した画像処理システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムも権利範囲としている。そのような位置測位システムは、前記参照データを格納している参照データデータベースと、車両からの風景を撮影した撮影画像を入力するデータ入力部と、入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部と、を備えている。この位置測位システムでは、上述したように、風景マッチングに効果的な参照データを用いているので、良好に自車位置を決定することができる。
When the shooting direction is included in the shooting attribute information including the shooting position of the shot image from which the image feature point is extracted and finally related to the image feature point data, the shooting direction is specified and It is convenient that the image feature point data can be narrowed down.
Furthermore, the present invention also includes a position positioning system that determines the vehicle position through matching processing using reference data created by the above-described image processing system. Such a positioning system includes a reference data database storing the reference data, a data input unit for inputting a photographed image obtained by photographing a landscape from a vehicle, and extracting image feature points from the inputted photographed image. A feature point extraction unit, a captured image processing unit that generates image feature point data for each captured image from the image feature points, and outputs the image feature point data as matching data; reference data extracted from the reference data database; A scenery matching unit that performs matching with data and determines a vehicle position based on a shooting position related to the reference data that has been successfully matched. In this position positioning system, as described above, since the reference data effective for landscape matching is used, the vehicle position can be determined satisfactorily.
また、このような位置測位システムにおいて、前記風景マッチング部は、前記調整係数による調整後の重み係数に基づいて前記抽出した参照データを選択し、前記マッチング用データとのマッチングに用いるようにすれば好適である。この調整係数によって、撮影画像中における画像特徴点データの分布に応じて適切に重み係数が調整されているので、この調整係数による調整後の重み係数を用いて、参照データからマッチングに適した画像特徴点データを選択することができる。これにより、より効率のよいマッチング処理が実現する。 Further, in such a position positioning system, the landscape matching unit may select the extracted reference data based on the weighting coefficient after adjustment by the adjustment coefficient and use it for matching with the matching data. Is preferred. With this adjustment coefficient, the weight coefficient is appropriately adjusted according to the distribution of the image feature point data in the photographed image. Therefore, using the weight coefficient after adjustment by this adjustment coefficient, an image suitable for matching from the reference data Feature point data can be selected. Thereby, more efficient matching processing is realized.
以下、図面を用いて本発明を詳しく説明する。図1は、車載カメラからの風景画像を、本発明による画像処理システムによって作成される参照データを用いたマッチング処理を通じて画像認識することで、その風景画像が撮影される位置、つまり自車位置を決定する、位置測位技術の基本概念を模式的に示している。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 shows a position where a landscape image is photographed by recognizing a landscape image from an in-vehicle camera through a matching process using reference data created by the image processing system according to the present invention, that is, the position of the vehicle. The basic concept of the positioning technology to be determined is schematically shown.
まず、参照データデータベース92(以下単に参照データDBと略称する)の構築手順を説明する。図1に示すように、走行途中における車両からの風景を撮影した撮影画像とその撮影時の撮影位置や撮影方位を含む撮影属性情報が入力される(#01)。入力された撮影画像に対して画像特徴点を検出するための特徴点検出処理、例えばエッジ検出処理が実行される(#02)。ここでは、1つの画素ないしは複数の画素に対応させたエッジ点が輪郭のような一本の線分を構成している部分をエッジと呼び、複数のエッジが交差している交点をコーナと呼ぶことにするが、画像特徴点の一例がこのエッジとコーナである。エッジ検出処理によって得られるエッジ検出画像から、コーナを含むエッジが画像特徴点として抽出される(#03)。 First, the construction procedure of the reference data database 92 (hereinafter simply referred to as “reference data DB”) will be described. As shown in FIG. 1, a shooting image obtained by shooting a landscape from a vehicle in the middle of traveling and shooting attribute information including a shooting position and shooting direction at the time of shooting are input (# 01). A feature point detection process for detecting an image feature point, for example, an edge detection process is performed on the input photographed image (# 02). Here, an edge point corresponding to one pixel or a plurality of pixels constitutes a line segment such as an outline is called an edge, and an intersection point where a plurality of edges intersect is called a corner. However, an example of the image feature point is the edge and the corner. An edge including a corner is extracted as an image feature point from the edge detection image obtained by the edge detection process (# 03).
風景画像認識のために用いられることを考慮すると、抽出された全ての画像特徴点は、同じ重要度をもっているとは限らない。例えば、その対応する撮影画像における座標位置によって各画像特徴点の重要度が異なる場合がある。このため、そのような条件情報が含まれている撮影状況情報を取得して(#04)、風景画像認識にふさわしくない画像特徴点の重要性を低くすることや、風景画像認識にとって重要となる画像特徴点の重要性を高くするといったルールを撮影状況情報に基づいて選択し、選択されたルールを用いて各画像特徴点の重要度が決定する(#05)。各画像特徴点の重要度が決定されると、その重要度に応じた各画像特徴点への重み係数の割り当てを規定している重み係数マトリックスが生成される(#06a)。さらに、この重み係数マトリックスに設定されている重み係数を調整するための調整係数が、先の重要度を決定するルールとは異なる観点から作成されている別なルールによって設定される(#06b)。 In consideration of being used for landscape image recognition, not all extracted image feature points have the same importance. For example, the importance of each image feature point may differ depending on the coordinate position in the corresponding captured image. For this reason, it is important for obtaining image capturing information including such condition information (# 04) to reduce the importance of image feature points that are not suitable for landscape image recognition and for landscape image recognition. A rule for increasing the importance of the image feature point is selected based on the shooting situation information, and the importance of each image feature point is determined using the selected rule (# 05). When the importance of each image feature point is determined, a weighting coefficient matrix that defines the assignment of the weighting coefficient to each image feature point according to the importance is generated (# 06a). Further, the adjustment coefficient for adjusting the weighting coefficient set in this weighting coefficient matrix is set by another rule created from a viewpoint different from the rule for determining the importance level (# 06b). .
続いて、重み係数マトリックスが調整係数に基づいて調整されることによって重み係数が調整され(#06c)、このように調整された重み係数を用いて画像特徴点を整理して撮影画像毎の画像特徴点データが生成される(#07)。この画像特徴点データの生成過程において、所定しきい値レベル以下の重み係数をもつ画像特徴点を破棄したり、所定しきい値レベル以上の重み係数をもつ画像特徴点とその周辺の画像特徴点以外を破棄したりする取捨選択処理が行われる。ここで生成された画像特徴点データは、風景画像認識の目的でパターンマッチングが採用されるときには、そのパターンとして用いられるので、風景画像のパターンマッチングにおいて効果的な画像特徴点だけを備えることがマッチングの高速性と正確さにとって重要である。生成された画像特徴点データはこの画像特徴点データに対応する撮影画像の撮影位置や撮影方位をと関係付けることで、撮影位置や撮影方位を検索キーとして可能なデータベース用データとなる(#08)。つまり、この画像特徴点データは、風景画像認識のために利用される参照データ、例えばパターンマッチングのパターンとして参照データDB92に格納される(#09)。
Subsequently, the weighting coefficient matrix is adjusted based on the adjustment coefficient to adjust the weighting coefficient (# 06c), and the image feature points are organized using the weighting coefficient adjusted in this way, so that an image for each captured image is obtained. Feature point data is generated (# 07). In this image feature point data generation process, image feature points having a weighting factor equal to or lower than a predetermined threshold level are discarded, or image feature points having a weighting factor equal to or higher than a predetermined threshold level and surrounding image feature points Sorting process to discard other than is performed. Since the image feature point data generated here is used as a pattern when pattern matching is adopted for the purpose of landscape image recognition, it is necessary to provide only image feature points effective in pattern matching of landscape images. Important for speed and accuracy. The generated image feature point data is associated with the shooting position and shooting direction of the shot image corresponding to the image feature point data, and becomes database data that can use the shooting position and shooting direction as a search key (# 08). ). That is, the image feature point data is stored in the
次に、上述したような手順で構築された参照データDB92を用いて、実際の車両走行時にその車両の位置(自車位置)を決定する手順を説明する。図1に示すように、車載カメラで風景を撮影して得られた実撮影画像と、参照データDB92から参照データを抽出するために用いられる、その撮影位置と撮影方位が入力される(#11)。ここでの撮影位置は、GPS測定ユニットなどを用いて推定された推定自車位置である。入力された撮影画像から、上記ステップ#02〜#07の処理手順を経て画像特徴点データであるマッチング用データが生成される(#12)。同時的に、入力された撮影位置と撮影方位を検索条件として、該当する撮影位置(推定自車位置)の参照データ及びその撮影位置(推定自車位置)の前後の参照データがマッチング候補参照データとして抽出される(#13)。
Next, a procedure for determining the position of the vehicle (vehicle position) during actual vehicle travel using the
抽出されたマッチング候補参照データセットから1つずつ参照データをパターンとして設定し、今生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される(#14)。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され(#15)、この撮影位置が推定自車位置に代わる正式な自車位置として決定される(#16)。 Reference data is set as a pattern one by one from the extracted matching candidate reference data sets, and pattern matching processing with the matching data generated now is executed as landscape image recognition (# 14). If the matching is successful, the shooting position associated with the reference data that is the target is read (# 15), and this shooting position is determined as the official vehicle position that replaces the estimated vehicle position (#). 16).
次に、上述した位置測位技術の基本概念に基づいて撮影画像から参照データを作り出す、本発明による画像処理システムの一例を説明する。図2の機能ブロック図には、そのような画像処理システムの特に本発明に関係する機能が模式的に示されている。
この画像処理システムは、データ入力部51、特徴点抽出部52、特徴点重要度決定部53と、重み付け部55、調整係数設定部54、画像特徴点データ生成部56、参照データデータベース化部57、などの機能部を備えているおり、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。
Next, an example of an image processing system according to the present invention that creates reference data from a captured image based on the basic concept of the positioning technique described above will be described. The function block diagram of FIG. 2 schematically shows functions of such an image processing system, particularly related to the present invention.
This image processing system includes a
データ入力部51には、参照データ作成目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報が入力される。画像処理システムが走行車両に搭載されている形態においては、この入力部51にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報が入力することになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像と撮影属性情報と撮影状況情報が一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。撮影画像や撮影属性情報の生成方法は周知であるのでその説明は省略する。
The
撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。
なお、撮影状況情報で取り扱われる被写体は、公知の種々の方法で認識することが可能であるが、例えば、撮影画像から画像認識処理を通じて検知すること、各種車載センサ(距離センサ、障害物検出センサなど)からのセンサ信号を処理して検知すること、あるいはVICS (登録商標)(Vehicle Information and Communication System:道路交通情報通信システム)などを利用して外部からの信号を処理して検知することが知られている。
The shooting situation information is information indicating the possibility that a specific subject is included in the shot image, and the contents included in the shooting situation information of this embodiment include travel lane data, moving object data, and area attribute data. It is. The traveling lane data is data indicating the traveling lane region of the own vehicle and the region outside the road in the photographed image obtained from the recognition result of the white line, the guide rail, and the safety zone obtained through image processing on the photographed image. The moving object data is data indicating an existing area in a captured image of a moving object present around the vehicle that is recognized by an in-vehicle sensor that detects an obstacle such as a radar. Area attribute data is data indicating area attributes such as mountain area, suburban area, urban area, high-rise city area, etc. is there.
The subject handled in the shooting situation information can be recognized by various known methods. For example, it can be detected from a shot image through an image recognition process, and various in-vehicle sensors (distance sensors, obstacle detection sensors). To process and detect the sensor signal from VICS (registered trademark) (Vehicle Information and Communication System), etc. Are known.
特徴点抽出部52は、適当な演算子を使用して撮影画像から画像特徴点としてエッジ点を抽出する。特徴点重要度決定部53は、特徴点抽出部52によって抽出された画像特徴点の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対して前記走行レーン内の領域に付与される重要度より高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して前記移動物体が存在しない領域に付与される重要度より低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対してその中心領域以外の領域に比べ高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。
The feature
重み付け部55は、特徴点重要度決定部53によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識(パターンマッチング)を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。
調整係数設定部54は、重み付け部55によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部52によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部55によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部54は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される。
The
The adjustment
画像特徴点データ生成部56は、重み付け部55によって割り当てられた重み係数、及び場合によっては付与されている調整係数に基づいて各画像特徴点を整理して記撮影画像毎の画像特徴点データを生成する。その際、所定しきい値以下の重み係数をもつ画像特徴点を削除することでマッチング処理が効率よく行われるように画像特徴点を絞り込むことができる。また、この重み係数をそのまま参照データにおいても各画像特徴点に関係付けられるように画像特徴点データに付属させておき、その重み係数付き参照データを用いたマッチング処理時における重み付け類似度演算のために用いられるようにしてもよい。
The image feature point
ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図3に示された模式的説明図を用いて説明する。撮影画像(図3(a)から画像特徴点を抽出することで特徴点画像(図3(b))が生成される。この特徴点画像の各画像特徴点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図3(c)では特徴点画像に対応する重要度レイヤの形で各画像特徴点に対応する重要度が示されている。この重要度レイヤを用いて、各画像特徴点に重み係数が割り当てられる。図3(d)では、大きな重み係数をもつほど大きい点となるように画像特徴点を描いた特徴点画像の形で重み係数を割り当てたれた画像特徴点が示されている。ここで、所定しきい値以下の重み係数を割り当てられた画像特徴点が除去されるような画像特徴点の整理が行われると、例えば、図3(d)で大きな点となっている画像特徴点だけが選別されると、特徴点画像の下方領域に位置している画像特徴点は排除され、残った画像特徴点の分布に大きな偏在が生じる。この偏在を回避するため、特徴点画像における画像特徴点の散布度を算出し、結果的に選別される画像特徴点の密度が低くなる領域の画像特徴点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図3(e)では調整係数群を特徴点画像に対応するようにマトリックス的に(ここでは複数の画素領域からなる区画単位で)配置した調整係数レイヤの形で示されている。画像特徴点データ生成部56は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図3(f)で示されたような画像特徴点データを撮影画像毎に生成する。
Here, a process of spreading image feature points as widely as possible over the entire photographed image area using the above-described adjustment coefficient will be described with reference to a schematic explanatory diagram shown in FIG. A feature point image (FIG. 3B) is generated by extracting image feature points from the photographed image (FIG. 3A), and importance is given to each image feature point of the feature point image. 3C, the importance corresponding to each image feature point is shown in the form of the importance layer corresponding to the feature point image so that the degree to which the degree is given can be schematically understood. 3D, a weighting factor is assigned to each image feature point, and in FIG.3 (d), the weighting factor is in the form of a feature point image in which image feature points are drawn such that the larger the weighting factor, the larger the point. Here, when image feature points are arranged such that image feature points assigned weighting factors equal to or less than a predetermined threshold are removed, for example, FIG. Only image feature points that are large in 3 (d) are selected. Then, the image feature points located in the lower region of the feature point image are excluded, and the distribution of the remaining image feature points is greatly uneven. The adjustment coefficient is set so as to increase the weighting coefficient of the image feature points in the region where the density of the image feature points to be selected is reduced as a result. As can be understood, in FIG. 3 (e), the adjustment coefficient group is shown in the form of an adjustment coefficient layer arranged in a matrix (here, in units of a plurality of pixel areas) so as to correspond to the feature point image. The image feature point
ここで、調整係数の設定について説明する。この調整係数は、画像特徴点の分布に大きな偏在が生じた場合の救済措置であり、この偏在を少なくするために、画像特徴点が集中している領域に属する画像特徴点の重み係数の値を相対的に小さくし、画像特徴点がまばらな領域に属する画像特徴点の重み係数の値を相対的に大きくする。重み係数が所定しきい値以上の画像特徴点が残され、所定しきい値を下回る画像特徴点が捨てられるような、画像特徴点の選別が行われる場合には調整係数による調整後の重み係数が所定値以上である画像特徴点の分布が一様化するようにしなければならない。このため、まばらな領域に属する画像特徴点はできるだけ残るように重み係数の値を増加させる調整係数を与え、また、画像特徴点が集中している領域に属する画像特徴点の重み係数の値を減少させる調整係数を与える。画像特徴点の集中度あるいは画像特徴点の閑散度を算定するには、統計学的な値である散布度を利用することができる。散布度には分散、平均偏差などが含まれており、この散布度が大きくなって、画像特徴点がばらつくように、各画像特徴点の取捨選択と散布度演算を繰り返す、繰り返し演算が効果的である。画像特徴点の局所的な集中度あるいは画像特徴点の局所的な閑散度をなくすためのより簡単な方法としては、画像特徴点が散布している領域、つまり撮影画像領域を複数の小領域に分割し、その各小領域における画像特徴点の密度が等しくなるように画像特徴点の取捨選択処理ができるように重み係数を調整することが提案される。 Here, the setting of the adjustment coefficient will be described. This adjustment coefficient is a remedy in the case where a large distribution of image feature points occurs, and in order to reduce this uneven distribution, the value of the weight coefficient of the image feature points belonging to the region where the image feature points are concentrated Is made relatively small, and the value of the weight coefficient of the image feature point belonging to the region where the image feature points are sparse is made relatively large. When image feature points are selected such that image feature points with a weight coefficient equal to or greater than a predetermined threshold are left and image feature points below the predetermined threshold are discarded, the weight coefficient after adjustment with the adjustment coefficient is performed. It is necessary to make the distribution of image feature points having a value equal to or greater than a predetermined value uniform. For this reason, an adjustment coefficient for increasing the value of the weighting factor is given so that image feature points belonging to the sparse region remain as much as possible, and the weighting factor value of the image feature point belonging to the region where the image feature points are concentrated is given. Gives the adjustment factor to decrease. In order to calculate the degree of concentration of image feature points or the degree of quietness of image feature points, it is possible to use a scatter degree that is a statistical value. Scattering degree includes variance, average deviation, etc. Iterative calculation is effective by repeating selection of each image feature point and scattering degree calculation so that this spreading degree increases and the image feature point varies. It is. A simpler method for eliminating the local concentration of image feature points or the local quietness of image feature points is to divide the area where image feature points are scattered, that is, the captured image area into multiple small areas. It is proposed to divide and adjust the weighting coefficient so that the image feature points can be selected so that the density of the image feature points in each small region is equal.
参照データデータベース化部57は、画像特徴点データ生成部56によって生成された画像特徴点データを、この画像特徴点データに対応する撮影画像の撮影属性情報と関係付けて、風景画像認識のために利用される参照データとしてデータベース化する。データベース化された参照データは参照データDB92に格納されていく。
The reference
以上の説明では、画像特徴点毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像の撮影領域である撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部53が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部55も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する1画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。従って、本発明では、画像区画は1つ又は複数の画素から構成されることになる。
In the above description, the degree of importance is determined for each image feature point, and as a result, a weighting factor is set for each image feature point. However, these processes can be performed in units of groups. is there. In that case, for example, the captured image area that is the captured area of the captured image is divided into a plurality of image sections, and the feature point
次に、上述した画像処理システムで作成された参照データDB92を用いて風景画像認識(画像特徴点パターンマッチング)で自車位置を修正する車載用カーナビゲーションシステムを説明する。図3には、そのようなカーナビゲーションシステムを車載LANに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール21、ナビ制御モジュール3、自車位置検出モジュール4、撮影状況情報生成部7、上記の参照データDB92とカーナビ用道路地図データを収納した道路地図データベース91(以下単に道路地図DBと略称する)とを有するデータベース9を備えている。
Next, an in-vehicle car navigation system that corrects the vehicle position by landscape image recognition (image feature point pattern matching) using the
ナビ制御モジュール3は、経路設定部31、経路探索部32、経路案内部33を備えている。経路設定部31は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件(高速道路の使用有無など)を設定する。経路探索部32は、経路設定部31によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部33は、経路探索部32により探索された出発地から目的地までの経路に従って、モニタ12の表示画面による案内表示やスピーカ13による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。
The
自車位置検出モジュール4は、従来のGPSによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール4は、GPS処理部41、推測航法処理部42、自車位置座標算定部43、マップマッチング部44、自車位置決定部45、撮影画像処理部5、風景マッチング部6を備えている。GPS処理部41にはGPS衛星からのGPS信号を受信するGPS測定ユニット15が接続されている。GPS処理部41はGPS測定ユニット15で受信されたGPS衛星からの信号を解析し、車両の現在位置(緯度及び経度)を算定し、GPS位置座標データとして自車位置座標算定部43に送る。推測航法処理部42には距離センサ16と方位センサ17が接続されている。距離センサ16は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Cの加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。距離センサ16は、その検出結果としての車速及び移動距離の情報を推測航法処理部42へ出力する。方位センサ17は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部42へ出力する。推測航法処理部42は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部43に送る。自車位置座標算定部43は、GPS位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部44により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部45に送られる。
The own vehicle position detection module 4 corrects the estimated own vehicle position obtained by the conventional position calculation by GPS and the position calculation by dead reckoning with the own vehicle position determined by landscape image recognition using the estimated own vehicle position. It has the function to do. The own vehicle position detection module 4 includes a
撮影画像処理部5は、実質的には図2で示された画像処理システムを構成していた大部分の機能部を備えている。この撮影画像処理部5は、データ入力部51、特徴点抽出部52、特徴点重要度決定部53と、重み付け部55、調整係数設定部54、画像特徴点データ生成部56を備えている。車載カメラ14によって撮影された車両からの前方風景撮影画像がデータ入力部51に入力されると、特徴点抽出部52は、入力された前方風景撮影画像から画像特徴点を抽出する。画像特徴点データ生成部56は、画像特徴点から前方風景撮影画像毎の画像特徴点データを生成して、当該画像特徴点データをマッチング用データとして風景マッチング部6へ出力する。なお、特徴点重要度決定部53で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部7によって生成され、撮影画像処理部5に送られる。撮影状況情報生成部7は、上記走行レーンデータを作成するために、車載カメラ14と接続されており、撮影画像処理部5に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部7は、上記移動物体データを作成するために障害物検出用のセンサ群18と接続されている。このセンサ群18からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部7は、上記エリア属性データを作成するために、自車位置決定部45及びデータベース9と接続されている。撮影状況情報生成部7は、自車位置決定部45からの自車位置座標と検索キーとしてデータベース9を検索して、現在走行している場所のエリア属性(山間部や市街地など)を取得し、それに基づいてエリア属性データを作成する。
The photographed
風景マッチング部6は、参照データDB92から抽出した参照データと画像特徴点データ生成部56から出力された画像特徴点データとのマッチングを行う。つまり、風景マッチング部6は、自車位置決定部45から送られてきた推定自車位置に基づいて参照データDB92から抽出された参照データをパターンとして、撮影画像処理部5から送られてきた画像特徴点データに対するパターンマッチング処理を行う。この際、風景マッチング部6は、調整係数によって調整された調整後の重み係数に基づいて抽出した参照データを選択し、マッチング用データとしての画像特徴点データとのパターンマッチング処理に用いる。調整後の重み係数は、撮影画像中における画像特徴点データの分布に応じて調整係数により適切に調整されているので、このような調整後の重み係数を用いて参照データからパターンマッチング処理に適した画像特徴点データを選択することで、より効率的なマッチング処理が可能となっている。
The
パターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として決定され、自車位置決定部45に転送される。自車位置決定部45は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。このように、本実施形態に係るカーナビゲーションシステムは、参照データDB92、データ入力部51、特徴点抽出部52、画像特徴点データ生成部56、及び風景マッチング部6を備え、上述した画像処理システムによって作成される参照データを用いたパターンマッチング処理を通じて自車位置を決定する位置測位システムとなっている。この位置測位システムでは、上記のとおり効率的なマッチング処理が可能となっているので、良好に自車位置を決定することができる。
When the pattern matching is successful, the photographing position associated with the reference data that is the matching pattern is read out. This photographing position is determined as the own vehicle position and transferred to the own vehicle
このカーナビゲーションシステムは、また、周辺装置として、タッチパネル11やスイッチなどの入力デバイス11とそれらの入力デバイス11を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部21aを有する入力操作モジュール21、モニタ12にカーナビゲーションに必要な画像情報を表示するための表示モジュール22、スピーカ13やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール23、制動や加速や操舵などといった車両の種々の挙動を車載LANを通じて送られてくる挙動データに基づいて検知する車両挙動検知モジュール24を備えている。
This car navigation system also includes an
上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われる。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点(円なら円周上の3点など)あるいは幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点はそれ以外のエッジ点に比べ重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点などもそれ以外のエッジ点に比べ重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。
In the above-described embodiment, the image feature point is an edge point obtained by edge detection processing, particularly a line segment edge constituting one line segment or an intersection point where such a line segment intersects, preferably approximately orthogonally. A corner edge is treated as an effective image feature point. However, the present invention is not limited to such edge points as image feature points. For example, typical edge points that form geometric shapes such as circles and quadrilaterals (three points on the circumference if circles) or the center of gravity of a geometric shape and the point as the center of gravity are also effective depending on the landscape. Since it becomes a typical image feature point, it is used. It is also preferable to adopt edge strength as a factor for calculating importance. For example, if a line segment consists of strong edges, the start point and end point of the line segment are more important than other edge points. Can be handled as high image feature points. In addition, a specific point in a characteristic geometric shape, for example, an end point of a bilaterally symmetric object, can be handled as an image feature point having higher importance than other edge points.
Furthermore, in addition to the edge points obtained by the edge detection process, it is also possible to regard a captured image as a change in hue or saturation and to employ a point with a large change as an image feature point. Similarly, an end point of an object having a high color temperature can be handled as a highly important image feature point based on color information.
That is, the image feature points handled in the present invention are all used if they are effective for similarity determination between the reference data and the image feature amount data generated from the actual captured image, for example, pattern matching. It becomes.
上述した実施形態では、その重要度に応じて算定された重み係数を各画像特徴点に割り当てていたが、この重み係数は重要度に対応する係数であり、この重み係数を導入せずに、重要度をそのまま重み係数として用いてもよい。
上述した実施形態では、参照データDB92に格納される参照データには、撮影位置と撮影方位(カメラ光軸方位)が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、1つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。
In the above-described embodiment, the weighting coefficient calculated according to the importance is assigned to each image feature point, but this weighting coefficient is a coefficient corresponding to the importance, and without introducing this weighting coefficient, The importance level may be used as it is as a weighting factor.
In the above-described embodiment, the reference data stored in the
The photographing position may be two-dimensional data such as latitude / longitude data at least, but may be three-dimensional data in addition to height data.
Further, it is not essential to relate the shooting direction to the reference data. For example, when creating reference data and when recognizing a landscape image using this reference data, the shooting direction is not required if it is guaranteed that the road is shot with substantially the same shooting direction. It becomes.
Conversely, in the case where reference data in which the shooting direction is appropriately shifted from the reference data in one basic shooting direction can be prepared, based on the traveling direction of the vehicle calculated from information such as a direction sensor, It is also possible to set only the reference data suitable for the traveling direction as the object of landscape image recognition.
The on-vehicle camera handled in the present invention is most suitable for photographing a landscape in front of the vehicle traveling direction. However, the camera may be a camera that takes a landscape oblique to the front, or may be a camera that captures a landscape of the side or rear. That is, the photographed image handled in the present invention is not limited to only a photograph of a front landscape in the vehicle traveling direction.
上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、1つの機能部をさらに区分けしたりすることが可能である The functional units shown in the functional block diagrams used in the description of the above-described embodiments are for easy understanding, and the present invention is not limited to the divisions shown here. It is possible to freely combine function parts or further divide one function part
本発明の画像処理システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。 The image processing system of the present invention can be applied not only to car navigation but also to a technical field that measures the current position and orientation by landscape image recognition.
3:ナビ制御モジュール
4:自車位置検出モジュール
41:GPS処理部
42:推測航法処理部
43:自車位置座標算定部
44:マップマッチング部
45:自車位置決定部
5:撮影画像処理部
51:データ入力部
52:特徴点抽出部
53:特徴点重要度決定部
54:重み付け部
55:調整係数設定部
56:画像特徴点データ生成部
57:参照データデータベース化部
6:風景マッチング部
3: navigation control module 4: own vehicle position detection module 41: GPS processing unit 42: dead reckoning processing unit 43: own vehicle position coordinate calculation unit 44: map matching unit 45: own vehicle position determination unit 5: captured image processing unit 51 : Data input unit 52: feature point extraction unit 53: feature point importance determination unit 54: weighting unit 55: adjustment coefficient setting unit 56: image feature point data generation unit 57: reference data database creation unit 6: landscape matching unit
Claims (9)
入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、
前記画像特徴点に重み係数を割り当てる重み付け部と、
前記重み係数に基づいて前記画像特徴点から前記撮影画像毎の画像特徴点データを生成する画像特徴点データ生成部と、
前記画像特徴点データを当該画像特徴点データに対応する前記撮影画像の撮影位置を含む撮影属性情報と関係付けて、風景画像認識のために利用される参照データとしてデータベース化する参照データデータベース化部と、
前記撮影画像中における前記画像特徴点データの分布状態に応じて前記画像特徴点に与えられる重み係数を調整する調整係数を設定する調整係数設定部と、
を備える画像処理システム。 A data input unit for inputting a photographed image of a landscape from a vehicle;
A feature point extraction unit that extracts image feature points from the input captured image;
A weighting unit that assigns weighting factors to the image feature points;
An image feature point data generation unit that generates image feature point data for each captured image from the image feature points based on the weighting factor;
A reference data database generating unit that associates the image feature point data with shooting attribute information including a shooting position of the shot image corresponding to the image feature point data, and forms a database as reference data used for landscape image recognition When,
An adjustment coefficient setting unit that sets an adjustment coefficient for adjusting a weight coefficient given to the image feature point according to a distribution state of the image feature point data in the captured image;
An image processing system comprising:
前記参照データを格納している参照データデータベースと、
車両からの風景を撮影した撮影画像を入力するデータ入力部と、
入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、
前記画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、
前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部と、を備えた位置測位システム。 In the position measurement system which determines the own vehicle position through the matching process using the reference data created by the image processing system according to any one of claims 1 to 7,
A reference data database storing the reference data;
A data input unit for inputting a photographed image of a landscape from a vehicle;
A feature point extraction unit that extracts image feature points from the input captured image;
A photographed image processing unit that generates image feature point data for each photographed image from the image feature points and outputs the data as matching data;
A scenery matching unit that performs matching between the reference data extracted from the reference data database and the matching data, and determines a vehicle position based on a shooting position related to the reference data that has been successfully matched. Positioning system equipped.
9. The position positioning system according to claim 8, wherein the landscape matching unit selects the extracted reference data based on the weighting coefficient after adjustment by the adjustment coefficient and uses it for matching with the matching data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084679A JP5177579B2 (en) | 2010-03-31 | 2010-03-31 | Image processing system and positioning system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084679A JP5177579B2 (en) | 2010-03-31 | 2010-03-31 | Image processing system and positioning system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215972A JP2011215972A (en) | 2011-10-27 |
JP5177579B2 true JP5177579B2 (en) | 2013-04-03 |
Family
ID=44945612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010084679A Expired - Fee Related JP5177579B2 (en) | 2010-03-31 | 2010-03-31 | Image processing system and positioning system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5177579B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7257770B2 (en) * | 2018-10-12 | 2023-04-14 | パイオニア株式会社 | Information processing equipment |
JP2020060501A (en) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | Information processing device |
WO2024127480A1 (en) * | 2022-12-13 | 2024-06-20 | 三菱電機株式会社 | Location estimation device, location estimation method, and location estimation program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4577153B2 (en) * | 2005-08-24 | 2010-11-10 | 株式会社デンソー | Environment recognition device |
JP2009037062A (en) * | 2007-08-02 | 2009-02-19 | Xanavi Informatics Corp | Map data updating apparatus and map data updating system |
JP5032415B2 (en) * | 2008-08-06 | 2012-09-26 | 株式会社豊田中央研究所 | Motion estimation apparatus and program |
-
2010
- 2010-03-31 JP JP2010084679A patent/JP5177579B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011215972A (en) | 2011-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5435306B2 (en) | Image processing system and positioning system | |
JP5057184B2 (en) | Image processing system and vehicle control system | |
JP5505723B2 (en) | Image processing system and positioning system | |
JP5057183B2 (en) | Reference data generation system and position positioning system for landscape matching | |
JP5168601B2 (en) | Own vehicle position recognition system | |
JP5062498B2 (en) | Reference data generation system and position positioning system for landscape matching | |
JP5062497B2 (en) | Vehicle position detection system using landscape image recognition | |
JP5333860B2 (en) | Vehicle position detection system using landscape image recognition | |
JP5333862B2 (en) | Vehicle position detection system using landscape image recognition | |
JP5182594B2 (en) | Image processing system | |
JP5177579B2 (en) | Image processing system and positioning system | |
JP5333861B2 (en) | Vehicle position detection system using landscape image recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5177579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |