JP5188429B2 - Environment recognition device - Google Patents
Environment recognition device Download PDFInfo
- Publication number
- JP5188429B2 JP5188429B2 JP2009072100A JP2009072100A JP5188429B2 JP 5188429 B2 JP5188429 B2 JP 5188429B2 JP 2009072100 A JP2009072100 A JP 2009072100A JP 2009072100 A JP2009072100 A JP 2009072100A JP 5188429 B2 JP5188429 B2 JP 5188429B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- group
- template
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 80
- 230000010354 integration Effects 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 75
- 230000008569 process Effects 0.000 description 56
- 230000000694 effects Effects 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000003702 image correction Methods 0.000 description 9
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 8
- 239000010931 gold Substances 0.000 description 8
- 229910052737 gold Inorganic materials 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、環境認識装置に係り、特に、撮像した画像に対してテンプレートマッチングを行って有意情報を認識する環境認識装置に関する。 The present invention relates to an environment recognition device, and more particularly to an environment recognition device that recognizes significant information by performing template matching on a captured image.
従来から、例えばCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラ等で撮像した画像中から、最高速度制限や車両進入禁止等の有意情報が表示された規制標識等の道路標識を検出する標識検出装置や標識の認識方法が知られている。 Conventionally, for example, road signs such as a restriction sign on which significant information such as maximum speed limit and vehicle entry prohibition is displayed from an image captured by a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera, etc. A label detection device for detecting and a method for recognizing a label are known.
例えば、特許文献1に記載の標識の認識方法では、カラー画像を撮像するカメラで撮像された各画素の赤(R)、緑(G)、青(B)の色情報を色相(H)、彩度(S)、明度(I)の情報に変換し、閾値により画像データを2値化して画像中の赤色の領域を標識候補として抽出する。そして、標識候補として抽出された画像部分の形状の縦横比や、画像部分中における赤領域の面積比、円形か三角形状かの形状、形状における中心の位置等に基づいて、標識候補が、一時停止や徐行、車両通行止、駐車禁止、追越し禁止等の禁止標識、最高速度制限標識等であると特定するようになっている。
For example, in the sign recognition method described in
また、例えば、特許文献2に記載の標識検出装置では、例えば、赤い標識を抽出する場合には、カラー画像のR(赤)、G(緑)、B(青)の各値のうちR以外の値を0とし、閾値によりRの値を2値化して画像中から特定色領域を切り出す。そして、特定色(R)を有する画素の数の、画像の水平方向および垂直方向のヒストグラムを作成し、領域の水平方向の位置座標と垂直方向の位置座標を検出する。
For example, in the label detection apparatus described in
道路標識の有意情報が表示された部分では、各色の境界がはっきりしており、色の濃淡がほとんどないという特色がある。そこで、特許文献2に記載の標識検出装置等ではその特色を利用して、検出した領域内の各値の最大値やその近傍の値を有する画素の数と、最小値やその近傍の値を有する画素の数とを計数し、それらの画素数の和が領域内の画素数に占める割合が予め設定した閾値よりも大きい場合に、その領域を標識が撮像された領域であると判定する。そして、領域中から有意情報を抽出してディスプレイに表示して、使用者(運転者)に道路標識を報知するようになっている。
In the portion where the significant information of the road sign is displayed, there is a feature that the boundary of each color is clear and there is almost no color shading. Therefore, in the sign detection device described in
しかし、これらの方法や装置では、撮像された画像中から道路標識が撮像された領域を抽出し、特に特許文献1に記載の標識の認識方法では、道路標識が一時停止や最高速度制限標識等であることを特定することができるようにもなっているが、例えば、最高速度制限が実際に時速何km/hに制限されているかまでは検出できず、道路標識の有意情報の具体的な内容を装置自体が認識することができない。
However, in these methods and apparatuses, the area where the road sign is imaged is extracted from the captured image. In particular, in the sign recognition method described in
そのため、特許文献2に記載された装置のように、画像中から抽出した有意情報をディスプレイに表示する等して使用者に報知して、その具体的な内容を使用者に認識させるしかないが、それでは、上記の技術を、例えば検出した道路標識の有意情報に表示されている最高速度制限等の具体的な内容に基づいて装置自らが自車両の速度や進行方向を自動的に、すなわち運転者による認識や操作を介さずに制御する車両の自動制御技術等に応用することができない。
Therefore, like the device described in
一方、画像中の有意情報を抽出する技術としては、従来から、テンプレートを用いたテンプレートマッチングの技術が知られている。テンプレートマッチングの技術では、例えば、画像に対して例えば図24に示すような画素配列を有するテンプレートTeを移動させながら画像中の各画素領域の画素配列とテンプレートTeの画素配列とを比較し、最も一致度が高い画素領域を画像中から抽出する。 On the other hand, as a technique for extracting significant information from an image, a template matching technique using a template is conventionally known. In the template matching technique, for example, the pixel Te of the pixel region in the image is compared with the pixel Te of the template Te while moving the template Te having the pixel arrangement as shown in FIG. A pixel region having a high degree of coincidence is extracted from the image.
そして、例えば「30」、「40」、「60」等の最高速度の表示に対応する画素配列をそれぞれ有する数種類のテンプレートについても同様の処理を行い、その中で、抽出した画素領域との一致度が最も高いものを選択することで、装置は、画像中に撮像された道路標識の有意情報の具体的な内容を、選択したテンプレートに予め対応付けられた最高速度等の内容として認識することができる。 The same processing is performed for several types of templates each having a pixel array corresponding to the maximum speed display such as “30”, “40”, “60”, etc., and matches with the extracted pixel region. By selecting the one with the highest degree, the device recognizes the specific content of the significant information of the road sign imaged in the image as the content such as the maximum speed associated with the selected template in advance. Can do.
しかし、このような従来のテンプレートマッチング技術では、画面全体からテンプレートTeの画素配列と一致度が高い画素領域を、各画素を総当りして探すため、検索すべき画素数が非常に多く、しかも、それを複数の種類のテンプレートについて行わなければならず、検索に非常に時間がかかるという問題があった。 However, in such a conventional template matching technique, the pixel area having a high degree of coincidence with the pixel arrangement of the template Te is searched from the entire screen, and the number of pixels to be searched is very large. However, it has to be performed for a plurality of types of templates, and there is a problem that the search takes a very long time.
そこで、上記の特許文献1や特許文献2に記載された手法を用いて画像中に道路標識が撮像された領域を特定することが考えられるが、それらの手法では、画像に対して煩雑な処理を種々行わなければならず、結局、処理に時間がかかってしまう。また、画像データの2値化や圧縮処理等を伴うため、もともと画像データが有している豊富な情報量を有効に使うことができないといった問題もあった。
Therefore, it is conceivable to specify an area in which an image of a road sign is imaged in the image using the methods described in
また、撮像された道路標識の画像中での見かけ上の大きさはカメラと道路標識との距離に応じて変わるため、画像に当てるテンプレートTeの大きさをカメラと道路標識との距離に対応させて変化させる必要があるが、上記の特許文献1や特許文献2に記載された手法では、道路標識までの距離が検出されない。そのため、画像に当てるべきテンプレートの大きさを特定できないといった問題もある。
Further, since the apparent size of the captured road sign in the image varies depending on the distance between the camera and the road sign, the size of the template Te applied to the image is made to correspond to the distance between the camera and the road sign. However, in the methods described in
例えば、走行している車両に搭載されたカメラから道路脇に設置された道路標識を撮像すると、道路標識の画像中での見かけ上の大きさが時々刻々変化する。そして、通常、カメラからは毎秒数フレームから数十フレームの画像が送信されてくるが、それに対応して、各フレームごとに画像中から道路標識等を的確に抽出し、それに表示された有意情報の内容を的確に認識することが可能な技術の開発が望まれる。 For example, when a road sign installed on the side of a road is picked up from a camera mounted on a traveling vehicle, the apparent size in the road sign image changes every moment. Normally, images from several frames to several tens of frames are transmitted from the camera every second. Correspondingly, road signs and the like are accurately extracted from the images for each frame, and the significant information displayed on them is displayed. The development of technology that can accurately recognize the contents of this is desired.
また、認識した有意情報の内容を、前述した車両の自動制御技術等に応用するためには、それをリアルタイムで処理することが望まれる。 Further, in order to apply the contents of the recognized significant information to the above-described vehicle automatic control technology or the like, it is desired to process it in real time.
本発明は、このような事情に鑑みてなされたものであり、画像中から道路標識等における有意情報を抽出し、その内容をリアルタイムで的確に認識することが可能な環境認識装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an environment recognition device capable of extracting significant information on a road sign or the like from an image and accurately recognizing the content in real time. With the goal.
前記の問題を解決するために、第1の発明は、
環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において隣接する複数の画素について、当該複数の画素の各画像データに基づいて当該複数の画素を1つのグループに統合する統合処理手段と、
前記グループに属する画素に対応する前記実空間上の距離に基づいて、前記グループの実空間上の大きさを算出する算出手段と、
前記実空間上の大きさが所定の大きさである前記グループに対して、前記グループと予め用意されたテンプレートのいずれかを正規化してテンプレートマッチングを行うことで、前記グループの有意情報を認識するマッチング処理手段と、
を備え、
前記統合処理手段は、一の前記画素の画像データが所定の閾値以上であり、かつ、前記一の画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データが前記所定の閾値以上である場合には、当該一の画素および前記隣接する画素を1つのグループに統合することを特徴とする。
In order to solve the above problem, the first invention provides:
In the environment recognition device,
Imaging means for imaging an image having image data for each pixel;
Distance detecting means for detecting a distance in real space for each pixel of the image;
Integration processing means for integrating the plurality of pixels into one group based on the image data of the plurality of pixels for a plurality of adjacent pixels in the image;
Calculating means for calculating the size of the group in the real space based on the distance in the real space corresponding to the pixels belonging to the group;
The group having a predetermined size in the real space is subjected to template matching by normalizing one of the group and a template prepared in advance, thereby recognizing significant information of the group. Matching processing means;
Equipped with a,
The integration processing means is a pixel in which the image data of one pixel is equal to or more than a predetermined threshold and the image data is transmitted before the one pixel in the same image as the one pixel. Te, the image data of pixels adjacent to the one pixel when the it is greater than the predetermined threshold value, characterized by federating pixels pixel and the adjacent the one to one group.
第2の発明は、第1の発明の環境認識装置において、前記統合処理手段は、一の前記画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって前記一の画素に隣接する画素の前記画像データと前記一の画素の画像データとの差分が所定の第1閾値未満であり、かつ、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記グループに属する全画素の前記画像データの平均値と前記一の画素の画像データとの差分が所定の第2閾値未満である場合に、前記一の画素および前記隣接する画素を1つのグループに統合することを特徴とする。 According to a second aspect of the present invention, in the environment recognition apparatus according to the first aspect, the integration processing means is a pixel to which the image data is transmitted before the one pixel in the same image as the one pixel. The difference between the image data of the pixel adjacent to the one pixel and the image data of the one pixel is less than a predetermined first threshold, and the image data is transmitted before the one pixel. When the difference between the average value of the image data of all the pixels belonging to the group to which the adjacent pixel belongs and the image data of the one pixel is less than a predetermined second threshold, the one pixel and the adjacent pixel Are integrated into one group.
第3の発明は、第1又は第2の発明の環境認識装置において、前記算出手段は、前記画像上で接していない複数の前記グループについて、前記各グループに属する各画素の前記画像データの平均値同士の差、前記各グループの前記実空間上の距離の差、前記複数のグループを統合した場合の統合されたグループの実空間上の大きさ、形状、実空間上の高さ、および実空間上の傾きの少なくとも1つを算出し、それに基づいて前記複数のグループを統合するか否かを判定し、統合すべきと判定した場合、当該1つのグループに統合して前記テンプレートマッチングの対象とすることを特徴とする。 According to a third aspect of the present invention, in the environment recognition apparatus according to the first or second aspect , the calculation means calculates the average of the image data of each pixel belonging to each group with respect to the plurality of groups that are not in contact with each other on the image. A difference between values, a difference in distance between the groups in the real space, a size, a shape, a height in the real space, and a real space of the integrated group when the plurality of groups are integrated Calculate at least one of the inclinations in the space, and determine whether or not to integrate the plurality of groups based on the calculated slope. If it is determined that the group should be integrated, the template matching target is integrated into the one group It is characterized by.
第4の発明は、第3の発明の環境認識装置において、前記算出手段は、前記グループの実空間上の大きさを、前記グループに属する画素の前記画像上の位置および前記画素に対応する前記実空間上の距離に基づいて算出することを特徴とする。 According to a fourth aspect of the present invention, in the environment recognition device according to the third aspect , the calculating means determines the size of the group in real space, the position of the pixel belonging to the group on the image and the pixel corresponding to the pixel. It is calculated based on the distance in real space.
第5の発明は、第3の発明の環境認識装置において、前記算出手段は、前記グループの形状を、前記グループの前記画像上で占める画素領域の縦方向の1列ごとの画素数または横方向の1行ごとの画素数を算出し、その横方向または縦方向の変化量に基づいて算出することを特徴とする。 According to a fifth aspect of the present invention, in the environment recognition apparatus according to the third aspect , the calculating means sets the shape of the group to the number of pixels in one column in the vertical direction of the pixel region occupied on the image of the group or the horizontal direction. The number of pixels for each row is calculated and calculated based on the amount of change in the horizontal or vertical direction.
第6の発明は、第5の発明の環境認識装置において、前記算出手段は、前記グループに属する画素の中に、前記グループに属する他の画素に対応する前記距離との差が所定の閾値以上である画素が存在する場合には、前記グループの形状の算出を中止することを特徴とする。 According to a sixth aspect of the present invention, in the environment recognition apparatus according to the fifth aspect , the calculating means has a difference between the pixel corresponding to the group and the distance corresponding to another pixel belonging to the group equal to or greater than a predetermined threshold value. When there is a pixel that is, the calculation of the shape of the group is stopped.
第7の発明は、第3の発明の環境認識装置において、
前記画像を処理して道路面を検出する路面検出手段を備え、
前記算出手段は、前記グループに属する画素に対応する前記実空間上の距離に基づいて
前記画素に対応する実空間上の高さを算出し、前記実空間上の高さと前記路面検出手段が検出した前記道路面の高さとの差分に基づいて、前記グループの実空間上の高さを算出することを特徴とする。
The seventh invention is the environment recognition device of the third invention,
Road surface detection means for detecting the road surface by processing the image,
The calculation means calculates a height in the real space corresponding to the pixel based on a distance in the real space corresponding to the pixel belonging to the group, and the road surface detection means detects the height in the real space. The height of the group in the real space is calculated based on the difference with the height of the road surface.
第8の発明は、第1から第7のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループの実空間上の大きさに基づいて、前記グループに対する前記テンプレートの適用位置を特定することを特徴とする。 An eighth invention is the environment recognition device according to any one of the first to seventh inventions, wherein the matching processing means determines an application position of the template with respect to the group based on a size of the group in real space. It is characterized by specifying.
第9の発明は、第1から第8のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループに属する画素の画像データに基づいて前記テンプレートにおける2点とそれぞれ一致する画素エッジを検出し、それに基づいて当該グループと前記テンプレートのいずれかを正規化することを特徴とする。 According to a ninth aspect of the present invention, in the environment recognition device according to any one of the first to eighth aspects, the matching processing means includes pixel edges that respectively match two points in the template based on image data of pixels belonging to the group. , And normalizing one of the group and the template based on the detected one.
第10の発明は、第1から第9のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループに属する画素の画像データに基づいて前記テンプレートの2点とそれぞれ一致する画素エッジを検出し、それに基づいて前記グループに対する前記テンプレートの適用位置を特定することを特徴とする。 A tenth aspect of the present invention is the environment recognition device according to any one of the first to ninth aspects, wherein the matching processing means is a pixel edge that respectively matches two points of the template based on image data of pixels belonging to the group. , And an application position of the template with respect to the group is specified based on the detected position.
第11の発明は、第1から第10のいずれかの発明の環境認識装置において、前記マッチング処理手段は、実空間上の高さが所定の高さである前記グループに対してテンプレートマッチングを行うことを特徴とする。 An eleventh invention is the environment recognition device according to any one of the first to tenth inventions, wherein the matching processing means performs template matching for the group whose height in the real space is a predetermined height. It is characterized by that.
第12の発明は、第1から第11のいずれかの発明の環境認識装置において、前記マッチング処理手段は、形状が所定の形状である前記グループに対してテンプレートマッチングを行うことを特徴とする。 According to a twelfth aspect , in the environment recognition device according to any one of the first to eleventh aspects, the matching processing unit performs template matching on the group having a predetermined shape.
第13の発明は、第1から第12のいずれかの発明の環境認識装置において、前記マッチング処理手段は、実空間上の傾きが所定の傾きである前記グループに対してテンプレートマッチングを行うことを特徴とする。 According to a thirteenth aspect of the present invention, in the environment recognition device according to any one of the first to twelfth aspects, the matching processing means performs template matching on the group whose inclination in the real space is a predetermined inclination. Features.
第14の発明は、第1から第13のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループの実空間上の傾きに基づいて、当該グループと前記テンプレートのいずれかを正規化してテンプレートマッチングを行うことを特徴とする。 According to a fourteenth aspect of the present invention, in the environment recognition device according to any one of the first to thirteenth aspects, the matching processing unit normalizes either the group or the template based on an inclination of the group in real space. And template matching is performed.
第15の発明は、第1から第14のいずれかの発明の環境認識装置において、
前記テンプレートは、予め複数種類用意されており、
前記マッチング処理手段は、前記テンプレートマッチングを、前記複数種類のテンプレートについてそれぞれ行い、その中で、算出した一致度が最も良く、かつ、前記一致度が所定の閾値より良い前記テンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする。
A fifteenth aspect of the invention is the environment recognition device according to any one of the first to fourteenth aspects of the invention,
A plurality of templates are prepared in advance,
The matching processing means performs the template matching for each of the plurality of types of templates, and among them, the calculated matching degree is the best and the matching degree is associated with the template having a better than predetermined threshold value. Information is recognized as the significant information.
第16の発明は、第15の発明の環境認識装置において、
前記テンプレートは、当該テンプレートを構成する画素に、前記画像の画素が取り得る前記画像データの数値の全範囲を区分する所定個数の数値範囲のいずれかが割り当てられて形成されており、
前記マッチング処理手段は、前記テンプレートマッチングを行う際に、前記グループまたは正規化された前記グループの画素の前記画像データが、前記テンプレートまたは正規化された前記テンプレートの対応する画素に割り当てられた前記数値範囲内の値であるか否かに基づいて前記一致度を算出することを特徴とする。
A sixteenth aspect of the invention is the environment recognition device of the fifteenth aspect of the invention,
The template is formed by assigning, to the pixels constituting the template, any of a predetermined number of numerical ranges that divide the entire range of numerical values of the image data that can be taken by the pixels of the image.
The matching processing means, when performing the template matching, the numerical value assigned to the pixel corresponding to the template or the normalized template is the image data of the pixel of the group or the normalized group The degree of coincidence is calculated based on whether or not the value is within a range.
第17の発明は、第1から第16のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループに対応する前記撮像対象が移動物と判断された場合には、当該撮像対象に対応する前記グループを前記テンプレートマッチングの対象から除外することを特徴とする。 According to a seventeenth aspect of the present invention, in the environment recognition device according to any one of the first to sixteenth aspects, the matching processing unit is configured to detect the imaging target when the imaging target corresponding to the group is determined to be a moving object. The group corresponding to is excluded from the template matching target.
第18の発明は、第1から第17のいずれかの発明の環境認識装置において、
前記テンプレートは、予め複数種類用意されており、
前記マッチング処理手段は、サンプリング周期ごとに同一の撮像対象として連続して検出された前記グループに対して前記テンプレートごとにそれぞれ算出された一致度をサンプリング周期ごとに加算し、
前記サンプリング周期ごとの加算値に基づいて最も一致する前記テンプレートを選定し、当該選定されたテンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする。
An eighteenth invention is the environment recognition device according to any one of the first to seventeenth inventions,
A plurality of templates are prepared in advance,
The matching processing means adds the degree of coincidence calculated for each template to the group continuously detected as the same imaging target for each sampling period, for each sampling period,
The template that most closely matches is selected based on the added value for each sampling period, and information associated with the selected template is recognized as the significant information.
第19の発明は、第1の発明の環境認識装置において、
前記画像データは、カラーの画像データであり、
前記所定の閾値は、前記画素ごとのカラーの画像データから赤色の画素を抽出するように設定されていることを特徴とする。
A nineteenth aspect of the invention is the environment recognition device of the first aspect of the invention,
The image data is color image data,
The predetermined threshold is set so as to extract red pixels from color image data for each pixel.
第20の発明は、第19の発明の環境認識装置において、前記テンプレートは、前記有意情報に対応する部分は青色に、その他の地の部分は白色に形成されていることを特徴とする。 According to a twentieth aspect , in the environment recognition apparatus according to the nineteenth aspect , the template is formed such that a portion corresponding to the significant information is formed in blue, and other portions of the ground are formed in white.
第1の発明によれば、撮像手段により撮像された画像の各画素の画像データに基づいて各画素を各グループに統合し、統合された各グループまたはテンプレートを正規化してテンプレートマッチングを行う。従来のテンプレートマッチング技術では、各画素を総当りして画面全体からテンプレートの画素配列と一致度が高い画素領域を検索するため、検索すべき画素数が非常に多く、検索に非常に時間がかかったが、第1の発明によれば、画像中に統合されて検出された各グループのみに対してテンプレートマッチングを行うだけであるため、テンプレートマッチングに要する時間を格段に短縮することが可能となる。 According to the first invention, the pixels are integrated into the groups based on the image data of the pixels of the image captured by the imaging unit, and the integrated group or template is normalized to perform template matching. In the conventional template matching technique, each pixel is breached and a pixel area having a high degree of coincidence with the template pixel arrangement is searched from the entire screen, so the number of pixels to be searched is very large, and the search takes a very long time. However, according to the first invention, only the template matching is performed for each group detected in an integrated manner in the image, so that the time required for the template matching can be significantly reduced. .
しかも、第1の発明では、画像の各画素について実空間上の距離を算出してグループの実空間上の大きさを算出し、実空間上の大きさが所定の大きさであるグループのみに対してテンプレートマッチングを行うため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となる。そして、例えば撮像手段から毎秒数フレームから数十フレームの画像が送信されてきても、各フレームごとに画像中から道路標識等を的確に抽出することが可能となり、リアルタイムで処理を行うことが可能となる。 In addition, in the first invention, the distance in the real space is calculated for each pixel of the image to calculate the size in the real space of the group, and only the group having the predetermined size in the real space is calculated. On the other hand, since template matching is performed, the time required for template matching is further shortened, and it is possible to further increase the speed of template matching. For example, even if an image of several frames to several tens of frames per second is transmitted from the imaging means, it is possible to accurately extract road signs and the like from the image for each frame, and processing can be performed in real time. It becomes.
さらに、第1の発明では、テンプレートを用いたテンプレートマッチングで画像から有意情報を抽出するため、画像中に有意情報が撮像されているか否かを的確に判定し、有意情報が撮像されている場合には、使用者による認識や操作等を介さずに有意情報の内容を環境認識装置自体が的確に認識することが可能となる。そのため、例えば環境認識装置が車両に搭載されており、道路標識を認識するように構成されている場合には、環境認識装置自体が道路標識に標示された有意情報の内容を自動的に認識することが可能となり、車両の自動制御技術等に応用することが可能となる。 Furthermore, in the first invention, since significant information is extracted from an image by template matching using a template, it is accurately determined whether significant information is captured in the image, and significant information is captured Therefore, the environment recognition apparatus itself can accurately recognize the content of significant information without the user's recognition or operation. Therefore, for example, when an environment recognition device is mounted on a vehicle and configured to recognize a road sign, the environment recognition device itself automatically recognizes the content of significant information marked on the road sign. This makes it possible to apply to automatic vehicle control technology and the like.
また、第1の発明によれば、前記発明の効果に加え、撮像手段から送信されてきた一の画素の画像データと、より以前に画像データが送信された一の画素に隣接する画素の画像データとが所定の閾値以上である場合に、それらの画素を1つのグループに統合するため、統合処理手段に1画像分の全画素の画像データの入力を待たずに各画素の画像データが順次入力されるのと同時並行で各画素の画像データの値に基づいて処理を行うことが可能となり、統合処理手段等における処理をリアルタイムで行うことが可能となる。 Further, according to the first invention, in addition to the effect of the invention, the image data of one pixel which is transmitted from the imaging means, the pixels adjacent to one pixel of image data is sent to the earlier image When the data is greater than or equal to a predetermined threshold value, the pixels are integrated into one group, so that the image data of each pixel is sequentially received without waiting for the integration processing means to input image data of all pixels for one image. Simultaneously with the input, it is possible to perform processing based on the value of the image data of each pixel, and the processing in the integrated processing means or the like can be performed in real time.
第2の発明によれば、前記各発明の効果に加え、撮像手段から送信されてきた一の画素の画像データと、より以前に画像データが送信された一の画素に隣接する画素の画像データとが所定の閾値以上である場合に、それらの画素を1つのグループに統合するため、統合処理手段に1画像分の全画素の画像データの入力を待たずに各画素の画像データが順次入力されるのと同時並行で各画素の画像データの値に基づいて処理を行うことが可能となるため、統合処理手段等における処理をリアルタイムで行うことが可能となる。 According to the second invention, in addition to the effects of the respective inventions, the image data of one pixel transmitted from the imaging means and the image data of the pixel adjacent to the one pixel to which image data has been transmitted earlier. In order to integrate the pixels into one group when the threshold value is equal to or greater than a predetermined threshold, the image data of each pixel is sequentially input without waiting for the input of the image data of all pixels for one image to the integration processing means. Since it is possible to perform processing based on the value of the image data of each pixel simultaneously and in parallel, processing in the integrated processing means or the like can be performed in real time.
また、画像に撮像された1つの撮像対象を一体的に1つのグループとして統合して抽出した後に、それらのグループに対してテンプレートマッチングを行うことが可能となるため、例えば曲面上に有意情報が表示されているような場合にも的確に有意情報の内容を認識することが可能となる。 In addition, since one imaging target captured in an image is integrated and extracted as one group, template matching can be performed on those groups. For example, significant information is displayed on a curved surface. Even when displayed, it is possible to accurately recognize the contents of significant information.
第3の発明によれば、画像上で接していない複数のグループを、各グループに属する各画素の画像データの平均値同士の差等に基づいてさらに1つのグループに統合してマッチング処理手段におけるテンプレートマッチングの対象とすることで、画像中に撮像されている撮像対象に対応して1つのグループに統合されるべきグループがノイズ等により複数のグループに分割されてしまっているような場合に、ノイズ等の影響を排除して、分割された複数のグループを本来の1つのグループに統合することが可能となり、前記各発明の効果がより的確に発揮される。 According to the third invention, a plurality of groups that are not in contact with each other in the image are further integrated into one group based on the difference between the average values of the image data of the pixels belonging to each group. By making it a template matching target, a group that should be integrated into one group corresponding to the imaging target imaged in the image has been divided into a plurality of groups due to noise or the like, By eliminating the influence of noise and the like, it becomes possible to integrate a plurality of divided groups into one original group, and the effects of the above-described inventions can be exhibited more accurately.
第4の発明によれば、前記各発明の効果に加え、各グループや統合されたグループの実空間上の大きさを各画素の画像上の画素位置と各画素に対応する実空間上の距離に基づいて算出することで、三角測量の原理に基づいてそれらのグループの空間上の大きさを的確に算出することが可能となる。 According to the fourth invention, in addition to the effects of the respective inventions, the size of each group or the integrated group in the real space is set to the pixel position on the image of each pixel and the distance in the real space corresponding to each pixel. By calculating based on the above, it is possible to accurately calculate the size of these groups in space based on the principle of triangulation.
第5の発明によれば、前記各発明の効果に加え、各グループや統合されたグループの形状を画像上で占める画素領域の縦方向の1列ごとまたは横方向の1行ごとに算出された画素数の横方向または縦方向の変化量に基づいて算出することで、変化量が一旦増加した後、減少に転じるように変化した場合に、グループの形状が少なくとも円形状や三角形状、方形状であることを把握することが可能となり、グループの形状を的確に把握することが可能となる。 According to the fifth invention, in addition to the effects of the respective inventions, the shape of each group or the integrated group is calculated for each vertical column or horizontal row of the pixel area occupying the image. By calculating based on the amount of change in the number of pixels in the horizontal or vertical direction, when the amount of change once increases and then changes to decrease, the shape of the group is at least circular, triangular, or rectangular Therefore, it becomes possible to accurately grasp the shape of the group.
第6の発明によれば、各グループや統合されたグループに属する各画素の中に、グループ中の他の画素に対応する実空間上の距離との差が大きい画素が存在する場合には、1つのグループとして統合された各画素の中に複数の異なる撮像対象が撮像された画素が混在する状態であると考えられるため、そのようなグループの形状を1つの撮像対象に対応する形状と見なすべきではない。そして、このような場合に、グループの形状の算出を中止することで、当該グループをテンプレートマッチングの対象から除外されるようにすることが可能となり、前記各発明の効果が的確に発揮される。 According to the sixth invention, when there is a pixel having a large difference from the distance in the real space corresponding to the other pixels in the group among the pixels belonging to each group or the integrated group, Since it is considered that pixels obtained by imaging a plurality of different imaging targets are mixed in each pixel integrated as one group, the shape of such a group is regarded as a shape corresponding to one imaging target. Should not. In such a case, by canceling the calculation of the shape of the group, it becomes possible to exclude the group from the template matching target, and the effects of the respective inventions can be exhibited accurately.
第7の発明によれば、路面検出手段で道路面を検出し、それに基づいて画像の各画素に対応する実空間上の各点の道路面からの高さを算出することが可能となり、例えば道路面から1m程度の高さに設置されるようになっている道路標識とそれ以外の撮像対象とを道路面からの高さに基づいて的確に判別することが可能となる。そのため、実空間上の道路面からの高さが抽出すべき認識対象の高さと異なるグループをテンプレートマッチングの
対象から除外することが可能となり、無駄なテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。
According to the seventh aspect, it is possible to detect the road surface by the road surface detection means, and to calculate the height from the road surface of each point on the real space corresponding to each pixel of the image based on the road surface, for example, It becomes possible to accurately discriminate a road sign that is installed at a height of about 1 m from the road surface and other imaging objects based on the height from the road surface. For this reason, it is possible to exclude from the template matching target a group whose height from the road surface in the real space is different from the height of the recognition target to be extracted, eliminating the need for unnecessary template matching. The required time can be further shortened, the template matching can be further speeded up, and the effects of the respective inventions can be exhibited more accurately.
第8の発明によれば、所定の大きさを有する撮像対象において有意情報が表示されている位置が予め分かっている場合に、グループの実空間上の大きさに基づいてテンプレートの適用位置を特定してテンプレートマッチングを行うことで、テンプレートを適用する画像上の範囲を限定することが可能となり、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングの高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。 According to the eighth invention, when the position where the significant information is displayed in the imaging target having a predetermined size is known in advance, the application position of the template is specified based on the size of the group in the real space. By performing template matching, the range on the image to which the template is applied can be limited, the time required for template matching can be further shortened, and template matching can be speeded up. The effect of is demonstrated more accurately.
第9の発明によれば、グループ内に各画素エッジを検出して、それらにテンプレートにおける2点を一致させるようにグループやテンプレートを正規化することで、画像上に撮像されたグループの各画素エッジ間の画素数に即してテンプレート等を正規化することが可能となり、テンプレートマッチングを的確に行うことが可能となり、前記各発明の効果がより的確に発揮される。 According to the ninth aspect , by detecting each pixel edge in the group and normalizing the group or template so that two points in the template coincide with each other, each pixel of the group imaged on the image Templates and the like can be normalized according to the number of pixels between edges, template matching can be performed accurately, and the effects of the above-described inventions can be exhibited more accurately.
第10の発明によれば、グループ内の各画素エッジとテンプレートの2点とを一致させるようにテンプレートを適用すればよいため、テンプレートを適用する画像上の範囲を限定することが可能となり、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングの高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。 According to the tenth invention, since it is sufficient to apply the template so that each pixel edge in the group matches the two points of the template, it is possible to limit the range on the image to which the template is applied. The time required for the matching is further shortened, the speed of template matching can be increased, and the effects of the above-described inventions can be exhibited more accurately.
第11、第12および第13の各発明によれば、有意情報を認識する対象の実空間上の高さや形状や傾きが予め分かっている場合に、それらが所定の高さ、形状、傾きであるグループのみに対してテンプレートマッチングを行うことで、無駄なテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。 According to each of the eleventh, twelfth and thirteenth inventions, when the height, shape and inclination of the real space for which significant information is recognized are known in advance, they have a predetermined height, shape and inclination. By performing template matching only for a certain group, it is not necessary to perform useless template matching, so that the time required for template matching can be further shortened and template matching can be further speeded up. The effect of is demonstrated more accurately.
第14の発明によれば、前記各発明の効果に加え、グループやテンプレートを正規化する際に、グループの実空間上の傾きに基づいて縦方向や横方向の画素数の変換比率をそれぞれ独立に変えて正規化して適用するように構成することで、有意情報の認識対象が撮像手段に対して傾きを有する場合でも、グループやテンプレートを的確に正規化して適用してテンプレートマッチングを行うことが可能となり、テンプレートマッチングをより的確に行うことが可能となる。 According to the fourteenth invention, in addition to the effects of the above inventions, when normalizing a group or template, the conversion ratio of the number of pixels in the vertical direction and the horizontal direction is independently determined based on the inclination of the group in the real space. If the recognition target of significant information has a tilt with respect to the imaging means, template matching can be performed by properly normalizing and applying the group or template. Thus, template matching can be performed more accurately.
第15の発明によれば、テンプレートを複数種類用意し、その中で、算出した一致度が最も良く、かつ、一致度が所定の閾値より良いテンプレートに対応付けられた情報を有意情報として認識することで、有意情報の内容を一致度が最も良いテンプレートに対応付けられた情報として認識することが可能となるとともに、最も一致度が良い場合でもその一致度が所定の閾値より悪い場合には、テンプレートマッチングで認識すべき有意情報が表示された撮像対象が画像中に撮像されていないと的確に判定することが可能となり、前記各発明の効果が的確に発揮されるとともに、テンプレートマッチングの確実性や安定性を向上させることが可能となる。 According to the fifteenth invention, a plurality of types of templates are prepared, and among them, information associated with a template having the best degree of coincidence calculated and having a degree of coincidence better than a predetermined threshold is recognized as significant information. Thus, it becomes possible to recognize the content of significant information as information associated with the template having the best matching degree, and even when the matching degree is the best, if the matching degree is worse than a predetermined threshold, It is possible to accurately determine that the imaging target on which significant information to be recognized by template matching is displayed is not captured in the image, and the effects of each of the inventions can be accurately demonstrated, and the certainty of template matching And stability can be improved.
第16の発明によれば、テンプレートまたは正規化されたテンプレートの各画素ごとにグループまたは正規化されたグループの対応する画素の画像データが数値範囲内にあるか否かを判定して所定値を加算するだけで一致度を算出することが可能となるため、一致度
の計算処理の処理負荷が格段に軽減されるとともに、より迅速に一致度を算出することが可能となり、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。
According to the sixteenth aspect , for each pixel of the template or normalized template, it is determined whether the image data of the corresponding pixel of the group or normalized group is within the numerical range, and the predetermined value is set. Since the degree of coincidence can be calculated by simply adding, the processing load of the degree of coincidence calculation processing is greatly reduced, and the degree of coincidence can be calculated more quickly, and the time required for template matching Is further shortened, and it is possible to further increase the speed of template matching, and the effects of the above-described inventions can be exhibited more accurately.
第17の発明によれば、例えば、道路標識のように道路に設置された撮像対象中から有意情報を認識する際に、同一の撮像対象が連続して撮像されたグループとして検出されたグループに対応する撮像対象が道路面に対して移動する移動物である場合には、テンプレートマッチングの対象とする必要がない。そのため、このような場合に、移動物である撮像対象に対応する前記グループをテンプレートマッチングの対象から除外することで、無駄なテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。 According to the seventeenth aspect , for example, when recognizing significant information from an imaging target installed on a road such as a road sign, the group detected as a group in which the same imaging target is continuously captured When the corresponding imaging target is a moving object that moves with respect to the road surface, it is not necessary to be a template matching target. Therefore, in such a case, by excluding the group corresponding to the imaging target that is a moving object from the target of template matching, it is not necessary to perform useless template matching, and thus the time required for template matching is further shortened. Further, it is possible to further increase the speed of template matching, and the effects of the respective inventions can be more accurately exhibited.
第18の発明によれば、前回以前のサンプリング周期で、テンプレートとグループとの一致度が悪く、加算値が低ければ、今回のサンプリング周期で誤検出等により同一の撮像対象が連続して撮像されたグループに対して当該テンプレートの一致度が最も良く、かつ、一致度が所定の閾値より良い場合でも、当該テンプレートがただちに検出されることがなくなる。そのため、今回のサンプリング周期で何らかの原因で誤ってグループに対して一致度が最も良く検出され、かつ、一致度が所定の閾値より良いと判定されたテンプレートが検出されたとしても、その誤検出されたテンプレートに対応付けられた情報を有意情報の内容として誤認識することを確実に防止することが可能となり、前記各発明の効果がより的確に発揮される。 According to the eighteenth aspect of the present invention, if the degree of coincidence between the template and the group is poor and the added value is low in the sampling period before the previous time, the same imaging target is continuously imaged by erroneous detection or the like in the current sampling period. Even when the matching degree of the template is the best for a given group and the matching degree is better than a predetermined threshold, the template is not detected immediately. Therefore, even if a template is detected that has the best matching score for the group by some reason during the current sampling cycle, and the matching score is determined to be better than the predetermined threshold, the erroneous detection is performed. It is possible to reliably prevent the information associated with the template from being erroneously recognized as the content of significant information, and the effects of the above-described inventions can be exhibited more accurately.
第19の発明によれば、例えば、道路標識の中でも赤色の部分を多く含む最高速度制限や一時停止、徐行、車両通行止、駐車禁止、追越し禁止等の規制標識が撮像された画素を的確に抽出してグループとすることが可能となり、規制標識を的確に抽出してその有意情報を有効に認識することが可能となる。そのため、規制標識に標示された有意情報を認識するために本発明の環境認識装置を用いる場合等に、前記各発明の効果が的確に発揮される。 According to the nineteenth aspect of the present invention, for example, a pixel on which a restriction sign such as a maximum speed limit, a temporary stop, a slowing, a vehicle traffic prohibition, a parking prohibition, an overtaking prohibition including a lot of a red portion among road signs is imaged accurately. It becomes possible to extract and make a group, and it becomes possible to accurately extract the regulation sign and effectively recognize the significant information. Therefore, when the environment recognition apparatus of the present invention is used for recognizing significant information marked on the regulation sign, the effects of the above-described inventions are accurately exhibited.
第20の発明によれば、例えば、道路標識の中でも赤色の部分を多く含む規制標識に標示された有意情報を認識する際に、有意情報が青色で標示され、その他の地の部分が白色で標示された最高速度制限を表す規制標識を的確に抽出することが可能となる。そのため、特に最高速度制限を表す規制標識に標示された有意情報を認識するために本発明の環境認識装置を用いる場合等に、前記各発明の効果が的確に発揮される。 According to the twentieth invention, for example, when recognizing significant information marked on a restriction sign including many red portions among road signs, significant information is marked in blue, and other ground portions are white. It is possible to accurately extract the restriction mark indicating the maximum speed limit that is indicated. Therefore, particularly when the environment recognition apparatus of the present invention is used for recognizing significant information marked on a restriction sign indicating the maximum speed limit, the effects of the above-described inventions are exhibited accurately.
以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。 Hereinafter, an embodiment of an environment recognition apparatus according to the present invention will be described with reference to the drawings.
なお、以下では、環境認識装置を自動車等の車両に搭載し、道路脇に設置された道路標識を撮像して最高速度等の有意情報を認識する場合について説明するが、これに限定されず、種々の用途に用いることができる。 In the following description, the environment recognition device is mounted on a vehicle such as an automobile, and a case where significant information such as the maximum speed is recognized by imaging a road sign installed on the side of the road is not limited to this. It can be used for various applications.
[第1の実施の形態]
第1の実施形態に係る環境認識装置1は、図1に示すように、撮像手段2や距離検出手段6、統合処理手段10や算出手段11、マッチング処理手段12等を有する処理部9等を備えて構成されている。
[First Embodiment]
As shown in FIG. 1, the
なお、距離検出手段6等を含む処理部9の上流側の構成については、本願出願人により先に提出された特開2006−72495号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
The upstream configuration of the
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ2aおよびサブカメラ2bからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
In the present embodiment, the image pickup means 2 includes a built-in image sensor such as a CCD or a CMOS sensor that is synchronized with each other. For example, a pair of
一対のカメラのうち、メインカメラ2aは運転者に近い側のカメラであり、例えば図2に示すような画像Tを撮像するようになっている。なお、以下では、このメインカメラ2aで撮像された画像Tについて各画素pの統合処理等を行う場合について説明する。また、サブカメラ2bで撮像された画像と区別するために、以下、メインカメラ2aで撮像された画像Tを基準画像T、サブカメラ2bで撮像された画像を比較画像という。
Of the pair of cameras, the
なお、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bでは、それぞれモノクロの画像データDが取得されるようになっているが、RGB値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
In the present embodiment, the
また、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bで基準画像Tや比較画像を撮像する場合、図2に示すように、基準画像T等の各水平ラインjの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインjを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像Tと比較画像の各画像データDがそれぞれ変換手段3に順次送信されるようになっている。
In the present embodiment, when the reference image T or the comparison image is picked up by the
変換手段3は、一対のA/Dコンバータ3a、3bで構成されており、撮像手段2のメインカメラ2aおよびサブカメラ2bで各画素ごとに撮像された基準画像Tと比較画像の各画像データDがそれぞれ順次送信されてくると、各画像データDをそれぞれ例えば256階調のグレースケールの輝度としてのデジタル値の画像データDに変換して画像補正部4に出力するようになっている。
The conversion unit 3 includes a pair of A /
画像補正部4は、送信されてきた基準画像Tと比較画像の各画像データDに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Tと比較画像の各画像データDを画像データメモリ5に順次格納するとともに、処理部9に順次送信するようになっている。また、画像補正部4は、画像補正した基準画像Tと比較画像の各画像データDを距離検出手段6にも順次送信するようになっている。
The image correction unit 4 sequentially performs image corrections such as displacement and noise removal, brightness correction, etc. on the transmitted reference image T and each image data D of the comparison image, and compares them with the reference image T after image correction. Each image data D of the image is sequentially stored in the
距離検出手段6のイメージプロセッサ7では、基準画像Tと比較画像の各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差dpを基準画像Tの各画素ごとに順次算出するようになっている。
In the
イメージプロセッサ7におけるステレオマッチング処理では、基準画像Tと比較画像Tcの各画像データDが送信されてくると、図3に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像Tc中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBcについて、下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBcを特定するようになっている。
SAD=Σ|D1s,t−D2s,t| …(1)
In the stereo matching process in the
SAD = Σ | D1s, t−D2s, t | (1)
なお、上記(1)式において、D1s,tは基準画素ブロックPB中の各画素の画像データDを表し、D2s,tは比較画素ブロックPBc中の各画素の画像データDを表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。 In the above equation (1), D1s, t represents the image data D of each pixel in the reference pixel block PB, and D2s, t represents the image data D of each pixel in the comparison pixel block PBc. Further, the above sum is obtained when the reference pixel block PB and the comparison pixel block PBc are set as a 3 × 3 pixel region, for example, a range of 1 ≦ s ≦ 3, 1 ≦ t ≦ 3, and 4 × 4 pixels. When set as a region, calculation is performed for all pixels in the range of 1 ≦ s ≦ 4 and 1 ≦ t ≦ 4.
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBcの比較画像Tc上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを順次算出するようになっている。以下、基準画像Tの各画素に視差dpを割り当てた画像を距離画像という。また、このようにして各画素ごとに算出された視差dpの情報すなわち距離画像は、距離検出手段6の距離データメモリ8に順次格納されるとともに、処理部9に順次送信されるようになっている。
For each reference pixel block PB of the reference image T in this way, the
なお、実空間上で、前記一対のカメラ2a、2bの中央真下の道路面上の点を原点とし、自車両の車幅方向(すなわち水平方向)をX軸方向、車高方向(すなわち高さ方向)をY軸方向、車長方向(すなわち距離方向)をZ軸方向とした場合、実空間上の点(X,Y,Z)と、距離画像上の画素の座標(i,j)および視差dpとは、下記(2)〜(4)式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
In real space, a point on the road surface directly below the center of the pair of
X = CD / 2 + Z * PW * (i-IV) (2)
Y = CH + Z × PW × (j−JV) (3)
Z = CD / (PW × (dp−DP)) (4)
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の距離画像上のi座標およびj座標、DPは消失点視差を表す。 In each of the above formulas, CD is the distance between the pair of cameras, PW is the viewing angle per pixel, CH is the mounting height of the pair of cameras, and IV and JV are i coordinates on the distance image at the infinity point in front of the host vehicle. And j coordinate and DP represent vanishing point parallax.
また、イメージプロセッサ7は、視差dpの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差dpに対してフィルタリング処理を施し、有効とされた視差dpのみを出力するようになっている。
Further, for the purpose of improving the reliability of the parallax dp, the
例えば、道路面の映像のみからなる特徴に乏しい4×4画素の基準画素ブロックPBに対して、比較画像Tc上でステレオマッチング処理を行っても、比較画像Tcの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックPBcが特定されて視差dpが算出されてもその視差dpの信頼性は低い。そのため、そのような視差dpはフィルタリング処理を施して無効とし、視差dpの値として0を出力するようになっている。 For example, even if a stereo matching process is performed on the reference image block PB of 4 × 4 pixels having poor features consisting only of a road surface image, the road surface of the comparison image Tc is captured. Since all the correlations are high, the reliability of the parallax dp is low even if the corresponding comparison pixel block PBc is specified and the parallax dp is calculated. Therefore, the parallax dp is invalidated by performing a filtering process, and 0 is output as the value of the parallax dp.
したがって、基準画像Tの各画素に、有効に算出された視差dpを割り当てて(すなわち対応付けて)距離画像Tzを作成すると、距離画像Tzは、例えば図4に示すように、基準画像T上で有意な特徴を有する部分である撮像対象の辺縁部分(エッジ部分)等に有効な視差dpが算出された画像となる。なお、距離画像Tzの作成においては、上記(4)式等に従って予め視差dpを距離Z等に換算し、距離Z等を基準画像Tの各画素に割り当てて作成するように構成することも可能である。 Therefore, when the distance image Tz is created by assigning (that is, associating) effectively calculated parallax dp to each pixel of the reference image T, the distance image Tz is, for example, on the reference image T as shown in FIG. Thus, an image in which the effective parallax dp is calculated for the edge portion (edge portion) of the imaging target, which is a portion having a significant feature, is obtained. In creating the distance image Tz, the parallax dp can be converted into the distance Z or the like in advance according to the above equation (4) and the like, and the distance Z or the like can be assigned to each pixel of the reference image T. It is.
本実施形態では、処理部9の統合処理手段10や算出手段11、マッチング処理手段12等における各処理では、必要に応じて上記(4)式等に従って距離画像Tzの各画素における視差dpが実空間上の距離Zに変換されて用いられる。
In the present embodiment, in each process in the
なお、本実施形態では、上記のように、撮像手段2としてメインカメラ2aとサブカメラ2bとを備え、距離検出手段6は、それらで撮像された基準画像Tおよび比較画像Tcに対するステレオマッチング処理により基準画像Tの各画素について実空間上の距離Z(すなわち視差dp)を算出するように構成されているが、これに限定されず、撮像手段2は例えば単眼のカメラのように1枚の画像Tのみを出力するものであってもよい。
In the present embodiment, as described above, the
また、距離検出手段6は、当該画像Tの各画素について実空間上の距離Zを算出又は測定して画像Tの各画素に割り当てる機能を有していればよく、例えば自車両前方にレーザ光等を照射してその反射光の情報に基づいて画像Tに撮像された撮像対象までの距離Zを測定するレーダ装置等で構成することも可能であり、検出の手法は特定の手法に限定されない。 Further, the distance detection means 6 only needs to have a function of calculating or measuring the distance Z in the real space for each pixel of the image T and assigning it to each pixel of the image T. Or the like, and a radar apparatus that measures the distance Z to the imaging target imaged on the image T based on the reflected light information can be used, and the detection method is not limited to a specific method. .
処理部9は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部9は、統合処理手段10や算出手段11、マッチング処理手段12を備えているが、さらに、路面検出手段13や追跡手段14を備えている。
In this embodiment, the
なお、処理部9において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部9に、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成することも可能である。
Note that the
ここで、本実施形態の処理部9の統合処理手段10や算出手段11、マッチング処理手段12等における処理について説明する前に、路面検出手段13における処理について説明する。
Here, before describing the processing in the integration processing means 10, the calculation means 11, the matching processing means 12, and the like of the
なお、以下の説明において、車線とは、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、路面検出手段13は、道路面に標示された車線を検出し、その検出結果に基づいて道路面を検出するように構成されているが、道路面を検出することができるものであれば以下に説明する形態に限定されない。 In the following description, the lane refers to a continuous line or a broken line marked on a road surface such as an overtaking prohibition line or a lane marking that divides the roadside zone and the roadway. Further, in the present embodiment, as described below, the road surface detection means 13 is configured to detect a lane marked on the road surface and detect the road surface based on the detection result. The present invention is not limited to the form described below as long as the road surface can be detected.
路面検出手段13は、撮像手段2により撮像された基準画像T中から自車両の左側および右側の車線を検出するようになっている。具体的には、路面検出手段13は、図5に示すように、基準画像Tを用いて、その1画素幅の水平ラインj上を例えば基準画像Tの中央から左右方向に探索し、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点cr、clとして検出する。 The road surface detection means 13 detects the left and right lanes of the host vehicle from the reference image T imaged by the imaging means 2. Specifically, as shown in FIG. 5, the road surface detection means 13 searches the horizontal line j having a width of 1 pixel using the reference image T in the horizontal direction from the center of the reference image T, for example. Pixels that greatly change from the brightness of adjacent pixels to a set threshold value or more are detected as lane candidate points cr and cl.
そして、基準画像T上の水平ラインjを1画素分ずつ上方にシフトさせながら、同様にして各水平ラインj上に車線候補点を検出していく。その際、路面検出手段13は、検出した車線候補点の視差dp等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。なお、この場合の道路面は、前回のサンプリング周期で検出した道路面に基づいてその後の自車両の挙動等から今回のサンプリング周期における道路面の位置が推定される。そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の左右にそれぞれ検出する。 Then, while shifting the horizontal line j on the reference image T upward by one pixel, lane candidate points are detected on each horizontal line j in the same manner. At that time, if the road surface detection means 13 determines that the lane candidate point is not on the road surface based on the detected parallax dp of the lane candidate point, the road surface detection means 13 excludes the lane candidate point from the lane candidate point. In this case, the position of the road surface in the current sampling cycle is estimated from the behavior of the host vehicle and the like based on the road surface detected in the previous sampling cycle. Then, of the remaining lane candidate points, the lane is approximated by a straight line by Hough transformation or the like based on the lane candidate point closer to the own vehicle, and detected on the left and right sides of the own vehicle, respectively.
その際、ハフ変換では種々の直線が候補として算出されるが、例えば自車両の一方の側(例えば右側)に複数の車線が検出される場合には、自車両の他方(例えば左側)に検出した車線との整合性がある車線や、前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の左右にそれぞれ直線を選別する。 At that time, in the Hough transform, various straight lines are calculated as candidates. For example, when a plurality of lanes are detected on one side (for example, the right side) of the host vehicle, the other line (for example, the left side) of the host vehicle is detected. A straight line is selected on each of the left and right sides of the host vehicle, for example, by selecting a lane that is consistent with the selected lane or a lane that is consistent with the lane detected in the previous sampling cycle.
このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図6に示すように自車両の左側および右側にそれぞれ車線LR、LLを検出するようになっている。なお、以上の路面検出手段13の処理構成については、本願出願人が先に提出した特開2006−331389号公報等に詳述されており、詳細な説明は同公報等を参照されたい。 In this way, when the lanes are respectively detected in a straight line on the side close to the host vehicle, the lane candidate points are selected and connected based on the positional relationship with the straight line based on the straight line on the far side, thereby FIG. As shown in the figure, lanes LR and LL are detected on the left side and the right side of the host vehicle, respectively. The processing configuration of the road surface detection means 13 described above is described in detail in Japanese Patent Laid-Open No. 2006-331389 previously filed by the applicant of the present application, and the detailed description should be referred to the same publication.
路面検出手段13は、このようにして検出した左右の車線位置LR、LLや車線候補点cr、cl等の情報を図示しないメモリに保存するようになっている。 The road surface detection means 13 stores information such as the left and right lane positions LR and LL and lane candidate points cr and cl detected in this manner in a memory (not shown).
また、路面検出手段13は、検出した左右の車線位置LR、LLや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、路面検出手段13は、図7(A)、(B)に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図7(A)は、Z−X平面上の車線モデルすなわち水平形状モデル、図7(B)は、Z−Y平面上の車線モデルすなわち道路高モデルを表す。 Further, the road surface detection means 13 is configured to form a lane model three-dimensionally based on the detected left and right lane positions LR, LL and lane candidate point information. In the present embodiment, as shown in FIGS. 7A and 7B, the road surface detection means 13 approximates the left and right lanes of the host vehicle with a three-dimensional linear equation for each predetermined section, and forms them in a broken line shape. It is designed to form a connected lane model. 7A shows a lane model on the Z-X plane, that is, a horizontal shape model, and FIG. 7B shows a lane model on the Z-Y plane, that is, a road height model.
路面検出手段13は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。また、路面検出手段13は、このようにして形成した車線モデルの情報をそれぞれメモリに保存するようになっている。 The road surface detection means 13 forms a lane model in this way and detects a road surface in real space. The road surface detection means 13 stores information on the lane model formed in this way in a memory.
次に、統合処理手段10や算出手段11、マッチング処理手段12等における処理について説明する。
Next, processing in the
統合処理手段10は、撮像手段2の一方のカメラから画像補正部4等を介して画像の各画素の画像データDが順次送信されてくると、隣接する複数の画素について、当該隣接する複数の画素の各画像データDに基づいて1つのグループに統合するか否かを判定し、統合すべきと判定した場合に1つのグループに統合するようになっている。
When the image data D of each pixel of the image is sequentially transmitted from one camera of the
なお、本実施形態では、処理を行う対象として、撮像手段2のメインカメラ2aで撮像された基準画像Tを用いるように構成されているが、撮像手段2のサブカメラ2bで撮像された比較画像Tcを用いるように構成することも可能であり、また、その両方を用いるように構成することも可能である。
In the present embodiment, the reference image T captured by the
また、本実施形態では、統合処理手段10は、撮像手段2のメインカメラ2aから基準画像Tの各画素の画像データDが順次送信されてくると、入力された一の画素(以下、注目画素という。)の画像データDが所定の閾値Dth以上であり、かつ、注目画素と同一の画像中の、注目画素より以前に画像データDが送信された画素であって、注目画素に隣接する画素の画像データDも前記閾値Dth以上である場合に、注目画素と隣接する画素とを1つのグループに統合すべきと判定して統合するようになっている。
In this embodiment, when the image data D of each pixel of the reference image T is sequentially transmitted from the
そして、統合処理手段10は、このように、基準画像T中で統合可能な隣接画素同士を統合していくようになっている。なお、上記の閾値Dthは、検出すべき道路標識の種類に応じて変更してもよく、また、道路標識の種類にかかわらず一定値に設定するように構成することも可能であり、適宜設定される。 Then, the integration processing means 10 integrates adjacent pixels that can be integrated in the reference image T in this way. The threshold value Dth may be changed according to the type of road sign to be detected, and may be configured to be set to a constant value regardless of the type of road sign. Is done.
以下、この統合処理手段10および算出手段11における処理を、図8および図9に示すフローチャートに従って説明する。 Hereinafter, the processing in the integration processing means 10 and the calculation means 11 will be described with reference to the flowcharts shown in FIGS.
なお、本実施形態では、前述したように、撮像手段2から各画素の画像データDが順次出力され、変換手段3や画像補正部4でそれぞれ処理が行われ、処理された各画像データDが、順次、処理部9に送信されるが、処理部9では、各画像データDが順次入力するのと同時並行的に以下の処理が行われる。そのため、1画像分の全画素の画像データDの入力を待たずに入力と同時並行で処理を行うことが可能となるため、統合処理手段10や算出手段11における処理をリアルタイムで行うことが可能となる。
In the present embodiment, as described above, the image data D of each pixel is sequentially output from the
また、以下の説明では、例えば図2に示した基準画像Tにおける画素について、基準画像Tの左下隅の画素を原点とし、右向きにi軸、上向きにj軸をとった場合の画素の座標(i,j)を用いて、画素pi,jのように表す。また、画素pi,jの画像データDをDi,jのように表す。 Further, in the following description, for the pixels in the reference image T shown in FIG. 2, for example, the coordinates of the pixels when the pixel at the lower left corner of the reference image T is the origin, the i-axis is directed rightward, and the j-axis is upward ( i, j) is used to represent a pixel pi, j. The image data D of the pixel pi, j is represented as Di, j.
統合処理手段10は、まず、撮像手段2により撮像が開始されると(図8のステップS1)、iおよびjの値をそれぞれ0に設定する(ステップS2)。前述したように、撮像手段2で撮像された水平ライン0(すなわちj座標が0の各画素からなる水平ラインj)上の左端の画素p0,0(すなわち原点の画素)の画像データD0,0の処理部9への入力が開始されると(ステップS3)、続いて、画素p1,0、p2,0、p3,0、…の画像データD1,0、D2,0、D3,0、…が順次入力される。
First, when the
そして、統合処理手段10は、水平ラインjの右端の画素まで処理を完了していなければ(ステップS4;NO)、処理が繰り返されるごとにi座標を1ずつインクリメントして(ステップS5)、設定した注目画素pi,j(ステップS6)を水平ラインj上の右隣の画素に移動させながら処理を続ける。 Then, if the processing has not been completed up to the rightmost pixel of the horizontal line j (step S4; NO), the integration processing means 10 increments the i coordinate by 1 each time the processing is repeated (step S5) and sets it. The processing is continued while moving the noticed pixel pi, j (step S6) to the right adjacent pixel on the horizontal line j.
また、水平ラインjの右端の画素まで処理を完了すると(ステップS4;YES)、基準画像Tの最上段の水平ラインまで処理が終了していなければ(ステップS7;NO)、処理を行う水平ラインjを1行上方の水平ラインj+1に移行させ、注目画素のi座標を0に設定して(ステップS8)、画素p0,j+1を注目画素として(ステップS6)処理を行い、注目画素を画素p0,j+1から順に右側に移動させながら処理を続行する。
When the process is completed up to the rightmost pixel of the horizontal line j (step S4; YES), if the process has not been completed up to the uppermost horizontal line of the reference image T (step S7; NO), the horizontal line to be processed j is moved to the horizontal line j + 1 one row above, the i coordinate of the pixel of interest is set to 0 (step S8), the pixel p0, j + 1 is set as the pixel of interest (step S6), and the pixel of interest is selected. The processing is continued while moving to the right side in order from the pixel p0,
次に、注目画素を画素pi,jに設定(ステップS6)した後の統合処理手段10における処理(図9のステップS9以降)について説明する。 Next, the processing (after step S9 in FIG. 9) in the integration processing means 10 after setting the pixel of interest to the pixel pi, j (step S6) will be described.
統合処理手段10は、まず、注目画素pi,jの画像データDi,jが前記閾値Dth以上であるか否かの判定を行い(ステップS9)、注目画素pi,jの画像データDi,jが閾値Dth未満であると判定すると(ステップS9;NO)、以下の各処理をスキップして図8のステップS4の判定処理に戻る。 First, the integration processing means 10 determines whether or not the image data Di, j of the pixel of interest pi, j is equal to or greater than the threshold value Dth (step S9), and the image data Di, j of the pixel of interest pi, j is determined. If it is determined that it is less than the threshold value Dth (step S9; NO), the following processes are skipped and the process returns to the determination process of step S4 in FIG.
また、注目画素pi,jの画像データDi,jが閾値Dth以上であると判定すると(ステップS9;YES)、統合処理手段10は、続いて、図10に示すように、注目画素pi,jが入力されるより以前に入力されており、注目画素pi,jの左に隣接する画素pi-1,jについて、その画像データDi-1,jが閾値Dth以上であるか否かの判定を行う(ステップS10)。 If it is determined that the image data Di, j of the pixel of interest pi, j is greater than or equal to the threshold value Dth (step S9; YES), the integration processing means 10 continues to display the pixel of interest pi, j as shown in FIG. Whether or not the image data Di-1, j is greater than or equal to the threshold value Dth for the pixel pi-1, j that has been input before the input, and is adjacent to the left of the target pixel pi, j. It performs (step S10).
そして、統合処理手段10は、左に隣接する画素pi-1,jの画像データDi-1,jも閾値Dth以上であると判定した場合には(ステップS10;YES)、続いて、図11に示すように、注目画素pi,jが入力されるより以前に入力されており、注目画素pi,jの下に隣接する画素pi,j-1について、その画像データDi,j-1が閾値Dth以上であるか否かの判定を行う(ステップS11)。 If the integration processing means 10 determines that the image data Di-1, j of the pixel pi-1, j adjacent to the left is also greater than or equal to the threshold value Dth (step S10; YES), then FIG. As shown in FIG. 4, the pixel data Pi, j-1 is input before the target pixel pi, j is input and the pixel data pi, j-1 adjacent to the target pixel pi, j is the threshold value. It is determined whether or not it is greater than or equal to Dth (step S11).
統合処理手段10は、下に隣接する画素pi,j-1の画像データDi,j-1が閾値Dth未満であると判定した場合には(ステップS11;NO)、注目画素pi,jを、下に隣接する画素pi,j-1とは統合しないが、ステップS10の判定処理で左に隣接する画素pi-1,jの画像データDi-1,jは閾値Dth以上であると判定しているため、注目画素pi,jと左に隣接する画素pi-1,jとを1つのグループに統合すべきと判定して統合する(ステップS12)。 When the integrated processing means 10 determines that the image data Di, j-1 of the pixel pi, j-1 adjacent below is less than the threshold value Dth (step S11; NO), the integration pixel pi, j is Although it is not integrated with the pixel pi, j-1 that is adjacent to the lower side, it is determined in the determination process in step S10 that the image data Di-1, j of the pixel pi-1, j that is adjacent to the left is greater than or equal to the threshold value Dth. Therefore, the pixel of interest pi, j and the pixel pi-1, j adjacent to the left are determined to be integrated into one group and integrated (step S12).
なお、上記のステップS10やS11の判定処理や、後述するステップS14の判定処理において、注目画素pi,jの視差dpに基づいて上記(4)式に従って算出される実空間上の距離Zi,jと、隣接する画素pの視差dpに基づいて算出される実空間上の距離Zpとが例えば予め設定された閾値以上であり、注目画素pi,jや隣接する画素pに対応する実空間上の各点が大きく離れている場合には、各ステップの判定基準をクリアしても1つのグループに統合しないように構成することも可能である。 It should be noted that the distance Zi, j in the real space calculated according to the above equation (4) based on the parallax dp of the pixel of interest pi, j in the determination processing in steps S10 and S11 and the determination processing in step S14 described later. And the distance Zp in the real space calculated based on the parallax dp of the adjacent pixel p is equal to or larger than a preset threshold, for example, on the real space corresponding to the pixel of interest pi, j and the adjacent pixel p. If the points are far apart, it is possible to configure so that even if the criteria for each step are cleared, they are not integrated into one group.
一方、統合処理手段10は、ステップS11の判定処理で、下に隣接する画素pi,j-1の画像データDi,j-1が閾値Dth以上であると判定した場合には(ステップS11;YES)、注目画素pi,jと、下に隣接する画素pi,j-1と、左に隣接する画素pi-1,jとを1つのグループに統合する(ステップS13)。 On the other hand, if the integration processing means 10 determines that the image data Di, j-1 of the adjacent pixel pi, j-1 is equal to or greater than the threshold value Dth in the determination processing in step S11 (step S11; YES) ), The target pixel pi, j, the pixel pi, j-1 adjacent to the lower side, and the pixel pi-1, j adjacent to the left are integrated into one group (step S13).
その際、例えば図12(A)に示すように、下に隣接する画素pi,j-1がグループg1に属し、左に隣接する画素pi-1,jが他のグループg2に属している場合、注目画素pi,jと下に隣接する画素pi,j-1と左に隣接する画素pi-1,jとを統合すると(ステップS13)、図12(B)に示すように、注目画素pi,jを介してグループg1とグループg2とが1つのグループgに統合される。 In this case, for example, as shown in FIG. 12A, the pixel pi, j-1 adjacent to the lower side belongs to the group g1, and the pixel pi-1, j adjacent to the left side belongs to the other group g2. When the target pixel pi, j, the lower adjacent pixel pi, j-1 and the left adjacent pixel pi-1, j are integrated (step S13), as shown in FIG. 12B, the target pixel pi , j, the group g1 and the group g2 are integrated into one group g.
一方、統合処理手段10は、ステップS10の判定処理で、左に隣接する画素pi-1,jの画像データDi-1,jは閾値Dth未満であると判定した場合には(ステップS10;NO)、ステップS14の判定処理に進み、上記と同様に、注目画素pi,jの下に隣接する画素pi,j-1の画像データDi,j-1が閾値Dth以上であるか否かの判定を行う(ステップS14)。 On the other hand, when the integration processing means 10 determines that the image data Di-1, j of the pixel pi-1, j adjacent to the left is less than the threshold value Dth in the determination processing in step S10 (step S10; NO) ), The process proceeds to the determination process in step S14, and it is determined whether or not the image data Di, j-1 of the pixel pi, j-1 adjacent below the target pixel pi, j is equal to or greater than the threshold value Dth, as described above. Is performed (step S14).
そして、統合処理手段10は、下に隣接する画素pi,j-1の画像データDi,j-1が閾値Dth以上であると判定した場合には(ステップS14;YES)、ステップS10の判定処理で左に隣接する画素pi-1,jの画像データDi-1,jは閾値Dth未満であると判定しているため(ステップS10;NO)、注目画素pi,jを、左に隣接する画素pi-1,jとは統合せず、下に隣接する画素pi,j-1のみと統合して1つのグループとする(ステップS15)。 If the integration processing means 10 determines that the image data Di, j-1 of the pixel pi, j-1 adjacent below is equal to or greater than the threshold value Dth (step S14; YES), the determination processing in step S10 Since the image data Di-1, j of the pixel pi-1, j adjacent to the left is determined to be less than the threshold value Dth (step S10; NO), the pixel of interest pi, j is the pixel adjacent to the left. It is not integrated with pi-1, j, but is integrated with only the adjacent pixel pi, j-1 to form one group (step S15).
統合処理手段10は、ステップS12、S13、S15の処理で、注目画素pi,jを隣接する画素と統合すると、拡大したグループgの画素数を更新し、グループgの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。また、例えば図12(B)に示したように、複数のグループが統合されて1つのグループとされた場合には、1つに統合されたグループgのグループ番号を、統合の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択して更新する(ステップS16)。 The integration processing means 10 updates the number of pixels of the enlarged group g by integrating the pixel of interest pi, j with the adjacent pixels in the processes of steps S12, S13, and S15, and updates each of the leftmost and rightmost pixels of the group g. If there is a change in the coordinates and coordinates of the upper and lower pixels, it is updated. Also, for example, as shown in FIG. 12B, when a plurality of groups are integrated into one group, the group number of the group g integrated into one is the target of integration. For example, the smallest number among the group numbers of the plurality of groups is selected and updated (step S16).
また、統合処理手段10は、注目画素pi,jを追加して拡大したグループgや、複数のグループを統合して1つとしたグループgに属する全画素の画像データDの平均値Daveを算出して更新し、また、グループgに属する各画素の視差dpに基づいて上記(4)式に従ってそれぞれ実空間上の距離Zを算出し、その平均値Zave(以下、平均距離Zaveという。)を算出して更新する(ステップS17)。 Further, the integration processing means 10 calculates an average value Dave of the image data D of all the pixels belonging to the group g expanded by adding the pixel of interest pi, j or the group g obtained by integrating a plurality of groups. The distance Z in the real space is calculated according to the above equation (4) based on the parallax dp of each pixel belonging to the group g, and the average value Zave (hereinafter referred to as the average distance Zave) is calculated. And update (step S17).
なお、距離検出手段6におけるフィルタリング処理で視差dpが無効とされ、視差dpの値として0が割り当てられている画素については、実空間上の距離Zを算出できないため、平均距離Zaveの算出には用いられない。また、統合処理手段10は、ステップS17の処理を終了すると、ステップS4の判定処理以降の処理を続行する。
It should be noted that the disparity dp is invalidated by the filtering process in the
一方、統合処理手段10は、ステップS14の判定処理で、注目画素pi,jの下に隣接する画素pi,j-1の画像データDi,j-1が閾値Dth未満であると判定した場合には(ステップS14;NO)、注目画素pi,jを、左に隣接する画素pi-1,jとも下に隣接する画素pi,j-1とも統合せず、注目画素pi,jのみが属する新たなグループとして登録する(ステップS18)。そして、この新規のグループに新たなグループ番号を付し、グループの画素数を1とし、左右端、上下端の画素の各座標をそれぞれ注目画素pi,jの座標(i,j)として記録する。 On the other hand, when the integration processing means 10 determines in the determination process in step S14 that the image data Di, j-1 of the pixel pi, j-1 adjacent below the target pixel pi, j is less than the threshold value Dth. (Step S14; NO), the target pixel pi, j is not integrated with the pixel pi-1, j adjacent to the left or the pixel pi, j-1 adjacent below, and only the target pixel pi, j belongs. Is registered as a secure group (step S18). Then, a new group number is assigned to this new group, the number of pixels in the group is set to 1, and the coordinates of the pixels at the left and right ends and the upper and lower ends are recorded as the coordinates (i, j) of the pixel of interest pi, j, respectively. .
また、統合処理手段10は、ステップS14の判定処理で下に隣接する画素pi,j-1の画像データDi,j-1が閾値Dth未満であると判定し(ステップS14;NO)、注目画素pi,jを下に隣接する画素pi,j-1と統合しなかった結果、今後の処理で新たな画素が追加される可能性がなくなり、基準画像T上で孤立した状態となったグループgが発生したか否かを判定する(ステップS19)。 Further, the integration processing means 10 determines that the image data Di, j-1 of the pixel pi, j-1 adjacent below in the determination processing in step S14 is less than the threshold value Dth (step S14; NO), and the pixel of interest As a result of not integrating pi, j with the adjacent pixel pi, j-1 below, there is no possibility that a new pixel will be added in the future processing, and the group g that is in an isolated state on the reference image T Whether or not has occurred is determined (step S19).
例えば、図13に示すようなグループgの場合、今後の処理で、注目画素が同じ水平ラインj上のさらに右側に設定されても、或いは、処理される水平ラインjが1行上方の水平ラインj+1に移行されても、もはや注目画素がグループgに統合される可能性はない。そのため、図13に示したようなグループgが、基準画像T上で孤立した状態となったグループgとなる。 For example, in the case of group g as shown in FIG. 13, even if the pixel of interest is set further to the right on the same horizontal line j in the future processing, or the horizontal line j to be processed is the horizontal line one row above Even if the transition is made to j + 1, the pixel of interest can no longer be integrated into the group g. Therefore, the group g as illustrated in FIG. 13 becomes the group g that is in an isolated state on the reference image T.
統合処理手段10は、このように、基準画像T上で孤立した状態となったグループgが発生したと判定すると(ステップS19;YES)、続いて、そのグループgに属する全画素の画素数が予め設定された閾値以下か否かを判定し(ステップS20)、画素数が閾値以下であると判定すると(ステップS20;YES)、そのグループgを登録されたグループの中から削除する(ステップS21)。このような画素数が小さい孤立したグループは、基準画像T中に生じたノイズ等のように無視してよいグループであるからである。 If the integrated processing means 10 determines that a group g that has become isolated on the reference image T has occurred in this way (step S19; YES), then the number of pixels of all the pixels belonging to the group g is determined. It is determined whether or not it is equal to or less than a preset threshold value (step S20), and if it is determined that the number of pixels is equal to or less than the threshold value (step S20; YES), the group g is deleted from the registered groups (step S21). ). This is because such an isolated group having a small number of pixels is a group that can be ignored, such as noise generated in the reference image T.
また、統合処理手段10は、孤立したグループgが発生していないと判定した場合や(ステップS19;NO)、孤立したグループgが発生してもその画素数が閾値より多く、比較的大きなグループである場合には(ステップS20;NO)には、そのグループgを登録されたグループの中から削除せず、ステップS4の判定処理以降の処理を続行する。 When the integrated processing means 10 determines that no isolated group g has occurred (step S19; NO), even if an isolated group g has occurred, the number of pixels is larger than the threshold value and a relatively large group. If it is (step S20; NO), the group g is not deleted from the registered groups, and the processing after the determination processing in step S4 is continued.
そして、統合処理手段10は、水平ラインjの右端の画素まで処理を完了し(図8のステップS4;YES)、基準画像Tの最上段の水平ラインまで処理が終了すると(ステップS7;YES)、基準画像Tの1画像分の処理を終了し、各グループに属する各画素の各座標(i,j)や画素数、左右端の画素の各座標、上下端の画素の各座標等の情報を図示しない記憶手段に保存する。 Then, the integrated processing means 10 completes the processing up to the rightmost pixel of the horizontal line j (step S4 in FIG. 8; YES), and when the processing is completed up to the uppermost horizontal line of the reference image T (step S7; YES). The processing for one image of the reference image T is finished, and information such as the coordinates (i, j) of each pixel belonging to each group, the number of pixels, the coordinates of the pixels on the left and right ends, the coordinates of the pixels on the upper and lower ends, etc. Is stored in a storage means (not shown).
また、その際、例えば、各グループの左右端の画素位置の中間点をi座標とし、上限端の画素位置の中間点をj座標とする中心点を各グループごとに算出して記憶手段に保存するように構成することも可能である。 At that time, for example, a center point having an intermediate point between the pixel positions at the left and right ends of each group as an i coordinate and an intermediate point at the upper limit pixel position as a j coordinate is calculated for each group and stored in the storage means. It is also possible to configure so as to.
次に、処理部9の算出手段11では、統合処理手段10で統合して得られた各グループgについて、それらのグループgに属する各画素pの視差dpに基づき上記(4)式に従って各画素pに対応する実空間上の距離Zpを算出し、さらに、各画素pの基準画像T上での画素位置(ip,jp)と算出した距離Zpに基づき上記(2)、(3)式に従って実空間上のX座標XpおよびY座標Ypを算出する。すなわち、各画素pに対応する実空間上の位置(Xp,Yp,Zp)をそれぞれ算出する。
Next, in the
そして、グループgに属する各画素pの実空間上の各位置(Xp,Yp,Zp)に基づいて、グループgの実空間上のX軸方向の大きさ(すなわちX軸方向の幅)およびY軸方向の大きさ(すなわちY軸方向の幅)を算出する(図8のステップS22)。そして、算出手段11は、この処理を、得られた全てのグループgについて行い、算出した実空間上の大きさを各グループgにそれぞれ対応付けて記憶手段に保存するようになっている。
Then, based on each position (Xp, Yp, Zp) in the real space of each pixel p belonging to the group g, the size in the X axis direction (that is, the width in the X axis direction) in the real space of the group g and the Y The size in the axial direction (that is, the width in the Y-axis direction) is calculated (step S22 in FIG. 8). The calculating
また、本実施形態では、算出手段11は、各グループgの実空間上の大きさのほか、各グループgの形状や実空間上の高さ、実空間上の傾きを算出するようになっている。 In the present embodiment, the calculation means 11 calculates the shape of each group g, the height in real space, and the inclination in real space, in addition to the size of each group g in real space. Yes.
各グループgの形状については、本実施形態では、算出手段11は、各グループgが基準画像T上で占める画素領域の形状に基づいて特定するようになっている。そして、グループgの基準画像T上の縦方向の1列ごとの画素数または横方向の1行ごとの画素数を算出し、その横方向または縦方向の変化量に基づいて各グループgの形状を特定するようになっている。
In the present embodiment, the
すなわち、例えば最高速度制限を表す道路標識が撮像されたグループgの場合、道路標識は円形状であるため、グループgが基準画像T上で占める画素領域の形状も円形状になる。そのため、例えばグループgが占める画素領域の基準画像T上の横方向の1行ごとの画素数を、各行を例えば基準画像Tの縦方向に移動させながら順次算出していき、各行ごとの画素数が増加する状態が続いた後、減少に転じるように変化した場合には、グループgの形状が円形状であると特定される。 That is, for example, in the case of the group g in which a road sign indicating the maximum speed limit is imaged, the road sign has a circular shape, and thus the shape of the pixel region that the group g occupies on the reference image T also has a circular shape. Therefore, for example, the number of pixels for each row in the horizontal direction on the reference image T in the pixel area occupied by the group g is sequentially calculated while moving each row in the vertical direction of the reference image T, for example. After the state of increasing increases, the shape of the group g is specified to be circular when it changes to decrease.
なお、少なくとも道路標識に関しては、その形状が、上記のような円形状(○)である場合だけでなく、三角形状(△、▽)や方形状(◇、□)である場合もあり、それらの場合も、上記のようにグループgが占める画素領域の横方向(または縦方向)の1行(または1列)ごとの画素数の分布は、基準画像Tの縦方向(または横方向)に見た場合、増加する状態が続いた後、減少に転じる。 In addition, at least for road signs, the shape may be triangular (△, ▽) or square (◇, □) as well as the circular shape (◯) as described above. In this case, as described above, the distribution of the number of pixels for each row (or one column) in the horizontal direction (or vertical direction) of the pixel region occupied by the group g is in the vertical direction (or horizontal direction) of the reference image T. If you look at it, it will continue to increase and then turn down.
そのため、グループgの形状をさらに円形状等に限定するために、より詳しい解析を行うように構成することも可能である。しかし、本実施形態では、処理の迅速化を図る目的から、少なくとも、上記のような画素数の分布形状を有するグループgを、後述するマッチング処理手段12におけるテンプレートマッチングの対象となる形状を有するグループとして特定し、各グループgに処理の対象とすることを表すラベルを付して記憶手段に保存するようになっている。
Therefore, in order to further limit the shape of the group g to a circular shape or the like, it is possible to perform a more detailed analysis. However, in the present embodiment, for the purpose of speeding up the processing, at least the group g having the distribution shape of the number of pixels as described above is selected as a group having a shape to be subjected to template matching in the
また、例えば瓢箪状の形状等のように、上記のような画素数の分布形状を有しないグループgについては、テンプレートマッチングの対象としないグループとして特定するようになっている。その際、各グループgに処理の対象としないことを表すラベルを付して記憶手段に保存するように構成してもよい。 Further, for example, a group g that does not have a distribution shape of the number of pixels as described above, such as a bowl-like shape, is specified as a group that is not a template matching target. At that time, a label indicating that each group g is not to be processed may be attached and stored in the storage unit.
なお、本実施形態では、算出手段11は、各グループgに属する各画素の中に、当該グループgに属する他の画素に対応する距離Zとの差が、所定の閾値以上に離れている実空間上の距離Zpを有する画素pが存在する場合には、そのグループgについては形状の算出を中止するようになっている。この場合、当該グループgには、処理の対象とすることを表すラベルは付さない。 In the present embodiment, the calculation means 11 has an actual difference that among the pixels belonging to each group g, the difference from the distance Z corresponding to the other pixels belonging to the group g is more than a predetermined threshold. When there is a pixel p having a spatial distance Zp, the calculation of the shape of the group g is stopped. In this case, the group g is not attached with a label indicating that it is to be processed.
このような場合、1つのグループgとして統合された各画素pの中に、複数の異なる撮像対象が撮像された画素pが混在する状態であると考えられるため、グループgの形状は例えば1つの道路標識の形状を表すものではなく、テンプレートマッチングの対象とすべきでないためである。 In such a case, each pixel p integrated as one group g is considered to be in a state where pixels p obtained by imaging a plurality of different imaging targets are mixed. This is because it does not represent the shape of the road sign and should not be the target of template matching.
各グループgの実空間上の高さについては、本実施形態では、算出手段11は、上記のようにして算出したグループgに属する各画素pに対応する実空間上の各点の高さYpと、路面検出手段13が検出した距離Zpにおける道路面の高さY*の差分を算出して、各点の道路面からの高さYp−Y*を算出する。そして、各点の道路面からの高さYp−Y*の平均値や最小値を算出し、それらをグループgの高さとして各グループgにそれぞれ対応付けて記憶手段に保存するようになっている。
Regarding the height of each group g in the real space, in the present embodiment, the calculating
なお、実空間上の距離Zにおける道路面の高さY*は、図7(B)に示したように、各区間ごとの上記の車線モデルから線形補間する等して求めることができる。また、車線モデルは、路面検出手段13によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルが検出されていなければ、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。 Note that the height Y * of the road surface at the distance Z in the real space can be obtained by linear interpolation from the above lane model for each section, as shown in FIG. 7B. The lane model is detected if the lane model in the current sampling cycle is detected by the road surface detection means 13, and is detected in the previous sampling cycle if the lane model in the current sampling cycle is not detected. Based on the lane model, the lane model in the current sampling period is estimated and used from the behavior of the host vehicle thereafter.
各グループgの実空間上の傾きについては、本実施形態では、算出手段11は、上記のようにして算出したグループgに属する各画素pに対応する実空間上の各点の分布の水平方向に対する距離方向の傾きや高さ方向に対する距離方向の傾きとして算出するようになっている。
Regarding the inclination of each group g in the real space, in this embodiment, the
具体的には、グループgに属する各画素pに対応する実空間上の各点(Xp,Yp,Zp)をX−Z平面にプロットすると、例えば図14に示すようにプロットすることができ、この各点の分布を直線近似する等して、各点の分布の水平方向(X軸方向)に対する距離方向(Z軸方向)の傾きθを算出することができる。 Specifically, when each point (Xp, Yp, Zp) in the real space corresponding to each pixel p belonging to the group g is plotted on the XZ plane, it can be plotted as shown in FIG. The slope θ in the distance direction (Z-axis direction) with respect to the horizontal direction (X-axis direction) of the distribution of each point can be calculated by linearly approximating the distribution of each point.
また、グループgに属する各画素に対応する実空間上の各点をY−Z平面にプロットすると、例えば図15に示すようにプロットすることができ、各点の分布を直線近似する等して、各点の分布の高さ方向(Y軸方向)に対する距離方向(Z軸方向)の傾きφを算出することができる。 Further, when each point on the real space corresponding to each pixel belonging to the group g is plotted on the YZ plane, it can be plotted as shown in FIG. 15, for example, by linearly approximating the distribution of each point. The slope φ in the distance direction (Z-axis direction) with respect to the height direction (Y-axis direction) of the distribution of each point can be calculated.
算出手段11は、このようにして算出した実空間上の傾きθ、φを各グループgにそれぞれ対応付けて記憶手段に保存するようになっている。 The calculating means 11 stores the inclinations θ and φ in the real space thus calculated in the storage means in association with each group g.
一方、統合処理手段10で上記のようにして隣接する画素pを統合してグループgを得る場合、基準画像T中にノイズ等が入っていると、1つの道路標識等の撮像対象に対応して本来1つのグループに統合されるべき画素領域が、そのノイズ等の影響で複数のグループg1、g2、…に分割されてしまう場合がある。 On the other hand, when the integration processing means 10 integrates adjacent pixels p as described above to obtain a group g, if the reference image T contains noise or the like, it corresponds to an imaging target such as one road sign. In other words, the pixel region that should originally be integrated into one group may be divided into a plurality of groups g1, g2,.
そこで、この問題を解消するためには、本実施形態では、算出手段11は、統合処理手段10が上記のようにして隣接する画素を統合して各グループgを得た後、必要に応じて、統合処理手段10での統合処理により得られた各グループgのうち複数のグループg1、g2、…を1つのグループgに統合するようになっている(図8のステップS23)。
Therefore, in order to solve this problem, in the present embodiment, the
複数のグループg1、g2、…を統合する処理としては、例えば、得られた各グループg1、g2、…の中から2つのグループg1、g2を選出して統合できるか否かを判定し、統合した場合には、統合して1つのグループとされたグループgについても他のグループとさらに統合できるか否かを判定するようにして、各グループg1、g2、…を統合していくように構成することができる。 As a process of integrating a plurality of groups g1, g2,..., For example, it is determined whether or not two groups g1, g2 can be selected from the obtained groups g1, g2,. In such a case, the group g that is integrated into one group is determined whether or not it can be further integrated with other groups, and the groups g1, g2,... Are integrated. can do.
また、複数のグループg1、g2、…を統合する基準として、本実施形態では、基準画像T上で接していない複数のグループg1、g2、…について、各グループg1、g2、…に属する各画素pの画像データD(本実施形態では輝度)や、各グループg1、g2、…に属する各画素pに対応する実空間上の距離Zp等に基づいて、複数のグループg1、g2、…を1つのグループに統合するか否かを判定し、統合すべきと判定した場合に1つのグループgに統合して、マッチング処理手段12におけるテンプレートマッチングの対象とするようになっている。 Further, as a reference for integrating the plurality of groups g1, g2,..., In the present embodiment, for each of the groups g1, g2,. Based on the image data D of p (luminance in this embodiment), the distance Zp in the real space corresponding to each pixel p belonging to each group g1, g2,. It is determined whether or not to be integrated into one group, and when it is determined that they should be integrated, they are integrated into one group g and set as a template matching target in the matching processing means 12.
具体的には、例えば、複数のグループg1、g2、…について、各グループg1、g2、…に属する各画素pの画像データDのグループg1、g2、…ごとの平均値Daveの差が所定の閾値以下で、差が小さい場合には、複数のグループg1、g2、…を1つのグループに統合すべきである可能性が高い。また、各グループg1、g2、…に属する各画素pに対応する実空間上の距離Zpのグループg1、g2、…ごとの平均距離Zaveの差が所定の閾値以下で、差が小さい場合にも、複数のグループg1、g2、…を1つのグループgに統合すべきである可能性が高い。 Specifically, for example, for a plurality of groups g1, g2,..., A difference in average value Dave for each group g1, g2,... Of image data D of each pixel p belonging to each group g1, g2,. If the difference is small below the threshold value, there is a high possibility that a plurality of groups g1, g2,... Should be integrated into one group. Also, when the difference in the average distance Zave for each group g1, g2,... Of the distance Zp in the real space corresponding to each pixel p belonging to each group g1, g2,. It is highly likely that a plurality of groups g1, g2,... Should be integrated into one group g.
また、最高速度制限を表す道路標識が撮像されたグループgを抽出する場合、円形状の道路標識の直径は60cm程度であるから、仮に複数のグループg1、g2、…を統合した場合の統合されたグループgの実空間上の大きさが直径60cmの円内に収まる場合にも、複数のグループg1、g2、…を1つのグループgに統合すべきである可能性が高い。 In addition, when extracting the group g in which the road sign representing the maximum speed limit is imaged, the diameter of the circular road sign is about 60 cm. Therefore, if a plurality of groups g1, g2,. Even when the size of the group g in the real space falls within a circle having a diameter of 60 cm, there is a high possibility that a plurality of groups g1, g2,.
さらに、仮に複数のグループg1、g2、…を統合した場合の統合されたグループgの実空間上の形状が直径60cmの円内に収まる場合にも、複数のグループg1、g2、…を1つのグループgに統合すべきである可能性が高い。 Further, even when a plurality of groups g1, g2,... Are integrated and the shape of the integrated group g in the real space is within a circle having a diameter of 60 cm, the plurality of groups g1, g2,. It is likely that they should be integrated into group g.
また、最高速度制限を表す道路標識は道路面から1m程度の高さに設置されるから、仮に複数のグループg1、g2、…を統合した場合の統合されたグループgの実空間上での道路面からの高さが1m程度である場合にも、複数のグループg1、g2、…を1つのグループgに統合すべきである可能性が高い。なお、グループの実空間上の高さは、グループの中心点またはグループ中の最も低い位置について算出される。 Since the road sign indicating the maximum speed limit is set at a height of about 1 m from the road surface, the road in the real space of the integrated group g when a plurality of groups g1, g2,. Even when the height from the surface is about 1 m, there is a high possibility that a plurality of groups g1, g2,... Should be integrated into one group g. The height of the group in the real space is calculated for the center point of the group or the lowest position in the group.
また、道路標識の有意情報(例えば最高速度)が標示される面は平面状であるから、複数のグループg1、g2、…の水平方向(X軸方向)に対する距離方向(Z軸方向)の傾きθ(図14参照)や高さ方向(Y軸方向)に対する距離方向(Z軸方向)の傾きφ(図15参照)が互いに大きく異なる場合には統合すべきではないが、傾きθや傾きφが互いに近接する値である場合には、複数のグループg1、g2、…を1つのグループgに統合すべきである可能性が高い。 In addition, since the plane on which significant information (for example, the maximum speed) of the road sign is marked is a flat surface, the slope of the distance direction (Z-axis direction) with respect to the horizontal direction (X-axis direction) of the plurality of groups g1, g2,. When the inclination φ (see FIG. 15) in the distance direction (Z-axis direction) with respect to θ (see FIG. 14) and the height direction (Y-axis direction) is greatly different from each other, they should not be integrated. Is a value close to each other, there is a high possibility that a plurality of groups g1, g2,... Should be integrated into one group g.
算出手段11は、上記のような基準に従い、それぞれ予め設定された閾値に基づいて、複数のグループg1、g2、…を1つのグループgに統合するか否かを判定し、統合すべきと判定した場合に1つのグループgに統合して、マッチング処理手段12におけるテンプレートマッチングの対象とするようになっている。 The calculation means 11 determines whether or not to integrate a plurality of groups g1, g2,... Into one group g based on a preset threshold value according to the above-described criteria, and determines that they should be integrated. In such a case, it is integrated into one group g to be a template matching target in the matching processing means 12.
なお、複数のグループg1、g2、…を統合した場合の統合されたグループgの大きさは、複数のグループが例えば図16に示したグループg1、g2である場合、図8のステップS22における処理と同様に、グループg1、g2に属する全画素pの実空間上の各位置(Xp,Yp,Zp)のうち、最も右側にある位置のX座標Xmaxと最も左側にある位置のX座標Xminとの差すなわちX軸方向の幅が統合されたグループgの実空間上のX軸方向の大きさとして算出され、最も上側にある位置のY座標Ymaxと最も下側にある位置のY座標Yminの差すなわちY軸方向の幅が統合されたグループgの実空間上のY軸方向の大きさとして算出される。 When the plurality of groups g1, g2,... Are integrated, the size of the integrated group g is, for example, the process in step S22 of FIG. 8 when the plurality of groups are the groups g1 and g2 shown in FIG. Similarly, among the positions (Xp, Yp, Zp) in the real space of all the pixels p belonging to the groups g1 and g2, the X coordinate Xmax of the rightmost position and the X coordinate Xmin of the leftmost position are Difference, that is, the width in the X-axis direction is calculated as the size in the X-axis direction in the integrated real space of the group g, and the Y-coordinate Ymax at the uppermost position and the Y-coordinate Ymin at the lowermost position are calculated. The difference, that is, the width in the Y-axis direction is calculated as the size in the Y-axis direction on the real space of the group g.
また、複数のグループg1、g2、…を統合した場合の統合されたグループgの形状も、図8のステップS22における処理と同様にして、仮に統合された場合のグループgが基準画像T上で占める画素領域の形状に基づいて算出される。そして、統合されたグループgの基準画像T上の縦方向の1列ごとの画素数または横方向の1行ごとの画素数を算出し、その横方向または縦方向の変化量に基づいてグループgの形状が特定される。 Further, the shape of the integrated group g when the plurality of groups g1, g2,... Are integrated is the same as the process in step S22 of FIG. It is calculated based on the shape of the occupied pixel region. Then, the number of pixels per column in the vertical direction or the number of pixels per row in the horizontal direction on the reference image T of the integrated group g is calculated, and the group g is calculated based on the amount of change in the horizontal direction or the vertical direction. The shape is specified.
さらに、算出手段11における各グループgについての形状等の算出や、複数のグループg1、g2、…を1つのグループgに統合するか否かの判定において、各グループgや統合されたグループgの形状や実空間上の高さ、実空間上の傾き等の全てを算出するように構成すると、演算負荷が重くなり、処理の高速化を図ることができなくなる場合があるため、上記の演算処理のうちいずれかの演算処理を行うかは適宜選択して設定される。 Further, in calculating the shape or the like for each group g in the calculation means 11 and determining whether or not to integrate a plurality of groups g1, g2,... Into one group g, each group g and the integrated group g If all the shapes, height in the real space, inclination in the real space, etc. are calculated, the calculation load becomes heavy and the processing speed may not be increased. Any one of the calculation processes is appropriately selected and set.
算出手段11は、上記のように、複数のグループg1、g2、…を1つのグループgに統合した場合には、統合処理手段10における統合処理のステップS16、S17の処理と同様に、統合して形成されたグループgの画素数やグループ番号を更新し、グループgの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。
When the plurality of groups g1, g2,... Are integrated into one group g as described above, the
また、算出手段11は、統合して形成されたグループgに属する全画素の画像データDの平均値Daveを算出して更新し、グループgに属する各画素の視差dpに基づいて上記(4)式に従ってそれぞれ算出した実空間上の距離Zの平均値Zaveすなわち平均距離Zaveを算出して更新するようになっている。 Further, the calculating means 11 calculates and updates the average value Dave of the image data D of all the pixels belonging to the group g formed in an integrated manner, and the above (4) based on the parallax dp of each pixel belonging to the group g. The average value Zave of the distance Z in the real space calculated according to the equation, that is, the average distance Zave is calculated and updated.
次に、本実施形態におけるマッチング処理手段12でのテンプレートマッチングについて説明する。
Next, template matching in the
マッチング処理手段12には、例えば図17に示すようなテンプレートTeが予め用意されている。本実施形態では、基準画像T中から、最高速度制限標識における有意情報を抽出して有意情報の内容である最高速度を認識するために、「30」、「40」、「50」、「60」、「80」の各有意情報(最高速度)に対応する複数種類の各テンプレートTeが用意されている。 For example, a template Te as shown in FIG. 17 is prepared in advance in the matching processing means 12. In the present embodiment, “30”, “40”, “50”, “60” is extracted from the reference image T in order to extract the significant information in the maximum speed limit sign and recognize the maximum speed that is the content of the significant information. A plurality of types of templates Te corresponding to significant information (maximum speed) of “80” and “80” are prepared.
なお、この他にも、一時停止や徐行、車両通行止、駐車禁止、追越し禁止等の道路標識における有意情報の内容を認識する場合には、それらの道路標識における有意情報に対応するテンプレートが用意され、また、その他の物体等における有意情報の内容を認識する場合には、それらの物体等における有意情報に対応するテンプレートが用意されることは言うまでもない。 In addition to this, when recognizing the contents of significant information on road signs such as temporary stop, slow travel, vehicle closure, parking prohibition, and overtaking prohibition, templates corresponding to the significant information on those road signs are prepared. In addition, when recognizing the contents of significant information in other objects, it goes without saying that templates corresponding to the significant information in those objects are prepared.
そして、マッチング処理手段12は、本実施形態では、統合処理手段10での統合処理により得られた各グループgや、算出手段11で複数のグループg1、g2、…が統合されて形成されたグループgの全てのグループgに対してテンプレートマッチングを行うのではなく、所定の条件を満たすグループgについてのみテンプレートマッチングを行うようになっている。 In this embodiment, the matching processing means 12 is a group formed by integrating each group g obtained by the integration processing in the integration processing means 10 or a plurality of groups g1, g2,. Instead of performing template matching for all the groups g in g, template matching is performed only for the group g that satisfies a predetermined condition.
本実施形態では、まず、グループgの実空間上の大きさが、所定の大きさ、すなわち例えば縦横の大きさがそれぞれ60cm以下(或いは多少余裕を持たせて80cm以下等としてもよい。)のグループgのみをテンプレートマッチングの対象とし、大きさがそれより大きなグループgに対してはテンプレートマッチングを行わないようになっている。なお、大きさの範囲に下限を設けてもよい。 In the present embodiment, first, the size of the group g in the real space is a predetermined size, that is, for example, the vertical and horizontal sizes are each 60 cm or less (or 80 cm or less with some allowance). Only group g is targeted for template matching, and template matching is not performed for group g having a larger size. Note that a lower limit may be provided in the size range.
また、実空間上の高さYp−Y*が、所定の高さ、すなわち例えば1m以上(或いは多少余裕を持たせて0.8m以上等としてもよい。)のグループgのみをテンプレートマッチングの対象とし、高さがそれより低いグループgに対してはテンプレートマッチングを行わないように構成してもよい。なお、高さの範囲に上限を設けてもよい。 Further, only a group g having a height Yp−Y * in the real space of a predetermined height, for example, 1 m or more (or 0.8 m or more with some allowance) may be subjected to template matching. The template matching may not be performed for the group g having a lower height. An upper limit may be set in the height range.
また、形状が、所定の形状、すなわち例えば円形状であるグループgのみをテンプレートマッチングの対象とし、円形状でないグループgに対してはテンプレートマッチングを行わないように構成してもよい。なお、前述したように、本実施形態では、グループgの形状に関しては、算出手段11における処理で、テンプレートマッチングの対象となる形状を有するグループgにはラベルが付されているため、マッチング処理手段12は、少なくともグループgの形状に関してはそのラベルを参照して判断するようになっている。
Alternatively, only a group g having a predetermined shape, that is, for example, a circular shape may be subjected to template matching, and template matching may not be performed on a group g that is not circular. As described above, in this embodiment, the group g having the shape to be subjected to template matching is labeled in the processing in the
また、実空間上の水平方向(X軸方向)や高さ方向(Y軸方向)に対する距離方向(Z軸方向)の傾きθ、φが、所定の傾き、すなわち傾きθ、φ(図14、図15参照)がそれぞれ0°近傍の値を有するグループgのみをテンプレートマッチングの対象とし、傾きθ、φがその範囲を越えるグループgに対してはテンプレートマッチングを行わないように構成してもよい。 Further, the inclinations θ and φ in the distance direction (Z-axis direction) with respect to the horizontal direction (X-axis direction) and the height direction (Y-axis direction) in the real space are predetermined inclinations, that is, inclinations θ and φ (FIG. 14, Only a group g having a value in the vicinity of 0 ° can be used as a template matching target, and template matching may not be performed for a group g having inclinations θ and φ exceeding the range. .
このように構成すれば、例えば、自車両の進行方向に略平行に設けられた壁等に描かれた模様等に対応するグループgの水平方向(X軸方向)に対する距離方向(Z軸方向)の傾きθは90°に近い値として検出されるが、このような場合には、少なくとも自車両に対して最高速度制限を標示する道路標識ではないからテンプレートマッチングを行う必要はない。そのため、そのような場合にテンプレートマッチングを行わないように構成すれば、テンプレートマッチングに要する時間を短縮することが可能となり、テンプレートマッチングの高速化を図ることが可能となる。 If comprised in this way, the distance direction (Z-axis direction) with respect to the horizontal direction (X-axis direction) of the group g corresponding to the pattern etc. which were drawn on the wall etc. which were provided substantially parallel to the advancing direction of the own vehicle, for example Is detected as a value close to 90 °. In such a case, it is not necessary to perform template matching because it is not a road sign that indicates at least the maximum speed limit for the host vehicle. Therefore, if it is configured not to perform template matching in such a case, the time required for template matching can be shortened, and the speed of template matching can be increased.
次に、マッチング処理手段12は、上記のようにして処理の対象としたグループgに対してグループgごとにテンプレートマッチングを行う。その際、前述したように、基準画像T中に撮像された道路標識等の処理対象の画像中での見かけ上の大きさは、撮像手段2と処理対象との実空間上の距離に応じて変わるため、グループgごとに、当該グループgまたはテンプレートTeのいずれかを正規化して適用してテンプレートマッチングを行うようになっている。
Next, the matching
なお、正規化とは、グループgやテンプレートTeを互いに比較できる形にすることをいい、例えば、一方が縦横10×10画素であり他方が20×30画素であるとき、後者を正規化する場合、縦方向には2画素を1画素とするように変換し、横方向には3画素を1画素とするように変換して10×10画素にすることをいう。 The normalization means that the group g and the template Te can be compared with each other. For example, when one is 10 × 10 pixels in length and width and the other is 20 × 30 pixels, the latter is normalized. In the vertical direction, two pixels are converted into one pixel, and in the horizontal direction, three pixels are converted into one pixel to form 10 × 10 pixels.
また、以下では、グループgにあわせてテンプレートTeを正規化する場合について説明するが、テンプレートTeにあわせてグループg側を正規化するように構成することも可能であり、同様に説明される。 In the following, the case where the template Te is normalized according to the group g will be described. However, it is also possible to configure so that the group g side is normalized according to the template Te, which will be described in the same manner.
さらに、本実施形態では、テンプレートマッチングとして、正規化したテンプレートTeにおける各画素(m,n)における正規化されたデータ値をTm,n、それと比較されるグループgの画素領域の各画素(m,n)における画像データDをDm,nと表す場合に、比較位置での一致度Mを、
M=Σ(Dm,n−Tm,n)2 …(5)
で計算する一般的なテンプレートマッチングを行うように構成されているが、グループgに対してテンプレートTeを適用して一致度を算出し得る手法であれば、後述するように、他の改良されたテンプレートマッチングの手法等を用いることも可能である。
Furthermore, in the present embodiment, as template matching, the normalized data value in each pixel (m, n) in the normalized template Te is Tm, n, and each pixel (m in the group g pixel area to be compared with the normalized data value) , N), when the image data D is represented as Dm, n, the matching degree M at the comparison position is
M = Σ (Dm, n−Tm, n) 2 (5)
Although it is configured to perform general template matching calculated in (4), as long as the method can calculate the degree of matching by applying the template Te to the group g, other improvements have been made as described later. It is also possible to use a template matching method or the like.
本実施形態では、テンプレートTeを正規化する場合、マッチング処理手段12は、テンプレートマッチングを行う対象であるグループgの実空間上の距離Zすなわちグループgの平均距離Zaveに基づいて、テンプレートTeを正規化して適用するようになっている。
In this embodiment, when normalizing the template Te, the matching
この場合、例えば、最高速度制限を表す直径60cmの円形状の道路標識の中に、最高速度を表す有意情報としての数字は、横幅で30cm程度に標示される。そのため、図17に示したテンプレートTeでは横方向の2点Ps、Pe(以下、開始点Psおよび終了点Peという。)間の画素数が20であるが、この画素数を、グループgの平均距離Zaveにおける横幅30cmに相当する画素数Δiに変換して正規化する。 In this case, for example, in a circular road sign having a diameter of 60 cm indicating the maximum speed limit, a number as significant information indicating the maximum speed is indicated by about 30 cm in width. Therefore, in the template Te shown in FIG. 17, the number of pixels between the two horizontal points Ps and Pe (hereinafter referred to as the start point Ps and the end point Pe) is 20, but this number of pixels is the average of the group g. Normalization is performed by converting into the number of pixels Δi corresponding to a lateral width of 30 cm at the distance Zave.
ここで、グループgの平均距離Zaveにおける横幅30cmに相当する画素数Δiは、以下のようにして算出される。すなわち、正規化した後のテンプレートTeの開始点Psと終了点Peの横方向の座標を仮にiPs、iPeとすると、求めるべき画素数Δiは、
Δi=iPe−iPs …(6)
と表される。
Here, the number of pixels Δi corresponding to a lateral width of 30 cm at the average distance Zave of the group g is calculated as follows. That is, if the horizontal coordinates of the start point Ps and end point Pe of the template Te after normalization are iPs and iPe, the number of pixels Δi to be obtained is
Δi = iPe−iPs (6)
It is expressed.
また、iPs、iPeに対応する実空間上の各点のX座標をXPs、XPeとした場合、上記(2)式から、
XPs=CD/2+Zave×PW×(iPs−IV) …(7)
XPe=CD/2+Zave×PW×(iPe−IV) …(8)
の関係が成り立ち、差XPe−XPsが30cmになる。
Further, when the X coordinate of each point on the real space corresponding to iPs and iPe is XPs and XPe, from the above equation (2),
XPs = CD / 2 + Zave × PW × (iPs−IV) (7)
XPe = CD / 2 + Zave × PW × (iPe−IV) (8)
Thus, the difference XPe−XPs becomes 30 cm.
そこで、(6)式〜(8)式から、
30cm=Pe−XPs
=Zave×PW×(iPe−iPs)
=Zave×PW×Δi
すなわち、
Δi=30cm/(Zave×PW) …(9)
が成り立つため、図17に示した横方向の開始点Psから終了点Peまでの画素数が20のテンプレートTeを、横方向の画素数がΔiになるように変換する。
Therefore, from the equations (6) to (8),
30cm = Pe-XPs
= Zave x PW x (iPe-iPs)
= Zave × PW × Δi
That is,
Δi = 30 cm / (Zave × PW) (9)
Therefore, the template Te having 20 pixels from the start point Ps in the horizontal direction to the end point Pe shown in FIG. 17 is converted so that the number of pixels in the horizontal direction becomes Δi.
また、図17に示したテンプレートTeのように、テンプレートTeが最高速度制限を表す道路標識に標示される最高速度の数字の表示と縦横比が同じになるように予め形成されていれば、テンプレートTeを縦方向についても横方向と同じ比率で変換する。本実施形態では、マッチング処理手段12は、このようにしてテンプレートTeの縦方向および横方向の画素数を変換してテンプレートTeを正規化するようになっている。 If the template Te is formed in advance so that the aspect ratio is the same as that of the numerical value of the maximum speed marked on the road sign indicating the maximum speed limit, like the template Te shown in FIG. Te is also converted in the vertical direction at the same ratio as in the horizontal direction. In the present embodiment, the matching processing means 12 normalizes the template Te by converting the number of pixels in the vertical direction and the horizontal direction of the template Te in this way.
なお、最高速度制限を表す道路標識が撮像手段2に正対するように設置されておらず、図14や図15に示したように、道路標識が撮像されたグループgの実空間上での水平方向(X軸方向)に対する距離方向(Z軸方向)の傾きθや高さ方向(Y軸方向)に対する距離方向(Z軸方向)の傾きφが0°でない有意な値を有するように検出される場合もある。 It should be noted that the road sign indicating the maximum speed limit is not installed so as to face the imaging means 2, and as shown in FIGS. 14 and 15, the horizontal in the real space of the group g where the road sign is imaged. The slope θ in the distance direction (Z-axis direction) with respect to the direction (X-axis direction) and the slope φ in the distance direction (Z-axis direction) with respect to the height direction (Y-axis direction) are detected to have significant values other than 0 °. There is also a case.
そこで、テンプレートTeを正規化する際に、グループgの実空間上の傾きθ、φに基づいて縦方向や横方向の画素数の変換比率をそれぞれ独立に変えて、テンプレートTeを正規化して適用するように構成することも可能である。このように構成すれば、何らかの原因で自車両に搭載された撮像手段2に対して傾きを有するように設置された道路標識の最高速度等の有意情報に対してテンプレートTeを的確に適用することが可能となり、テンプレートマッチングをより的確に行うことが可能となる。 Therefore, when normalizing the template Te, the template Te is normalized and applied by independently changing the conversion ratio of the number of pixels in the vertical and horizontal directions based on the inclinations θ and φ in the real space of the group g. It is also possible to configure so as to. If comprised in this way, template Te is correctly applied with respect to significant information, such as the maximum speed of the road sign installed so that it may have inclination with respect to the imaging means 2 mounted in the own vehicle for some reason. Thus, template matching can be performed more accurately.
マッチング処理手段12では、上記のようにして正規化したテンプレートTeを、テンプレートマッチングの対象として選択した各グループgが例えば図18に示すような基準画像T上で占める画素領域のみに適用して、テンプレートマッチングを行うように構成することが可能である。この場合、テンプレートマッチングを行う画素領域が、グループgの画素領域のみに限定されるため、テンプレートマッチングを迅速に行うことが可能となる。 In the matching processing means 12, the template Te normalized as described above is applied only to the pixel region that each group g selected as the template matching target occupies on the reference image T as shown in FIG. It can be configured to perform template matching. In this case, since the pixel region for performing template matching is limited to only the pixel region of group g, template matching can be performed quickly.
しかし、本実施形態では、さらに、算出されているグループgの実空間上の大きさに基づいて、グループgに対して正規化されたテンプレートTeを適用する位置を算出し、その画素領域にテンプレートTeを1回だけ適用してテンプレートマッチングを行うようになっている。このように構成することで、1つのテンプレートTeにつき各グループgに1回ずつ適用してテンプレートマッチングを行うことが可能となり、テンプレートマッチングを非常に高速に行うことが可能となる。 However, in this embodiment, based on the calculated size of the group g in the real space, a position to apply the normalized template Te to the group g is calculated, and the template area is subjected to the template. Template matching is performed by applying Te only once. With this configuration, it is possible to perform template matching by applying once to each group g per template Te, and it is possible to perform template matching very quickly.
そして、マッチング処理手段12は、上記のようにして、基準画像T上で得られたグループgのうち、テンプレートマッチングの対象とした全グループgについて、各テンプレートTeを適用してテンプレートマッチングを行う。
Then, the matching
その際、グループgごとにグループgの実空間上の距離Zすなわちグループgの平均距離Zaveが異なるため、マッチング処理手段12は、まず、テンプレートマッチングを行う1つのグループgaを選択して、そのグループgaについて上記(9)式から変換比率を算出する。
At that time, since the distance g in the real space of the group g, that is, the average distance Zave of the group g is different for each group g, the matching
そして、図17に示した「50」のテンプレートTeや「30」、「40」、「60」、「80」等の他のテンプレートTeをそれぞれ変換し正規化して当該グループgaに適用してテンプレートマッチングを行い、上記(5)式に従って各テンプレートTeの当該グループgaに対する一致度Mga(30)、Mga(40)、Mga(50)、Mga(60)、Mga(80)をそれぞれ計算する。 Then, the template Te of “50” shown in FIG. 17 and other templates Te such as “30”, “40”, “60”, “80” are converted, normalized, and applied to the group ga to obtain the template. Matching is performed, and the degree of coincidence Mga (30), Mga (40), Mga (50), Mga (60), and Mga (80) of each template Te with respect to the group ga is calculated according to the above equation (5).
また、テンプレートマッチングを行うグループgを変え、そのグループgに対する変換比率を算出し、各テンプレートTeをそれぞれ変換し正規化してグループgに適用してテンプレートマッチングを行い、各テンプレートTeのグループgに対する各一致度Mを計算する処理を、テンプレートマッチングの対象とした全グループgについて行う。 Further, the group g for performing template matching is changed, the conversion ratio for the group g is calculated, each template Te is converted and normalized, applied to the group g, and template matching is performed. The process of calculating the degree of coincidence M is performed for all groups g targeted for template matching.
そして、マッチング処理手段12は、テンプレートマッチングの対象とした各グループgに対して計算した各テンプレートTeの全ての一致度Mの中から、最良の一致度Mbest、すなわち上記(5)式で一致度Mを計算する場合には、最小の一致度Mbestを抽出する。 Then, the matching processing means 12 selects the best matching degree Mbest from all the matching degrees M of each template Te calculated for each group g as a template matching target, that is, the matching degree according to the above equation (5). When calculating M, the minimum matching degree Mbest is extracted.
このようにして各テンプレートTeを適用してテンプレートマッチングを行うと、いずれかのテンプレートTeで最良の一致度Mbestが算出されるが、そもそも基準画像T中に最高速度制限を表す道路標識が撮像されていない場合には、最良の一致度Mbestはさほど良い値にはならない。 When template matching is performed by applying each template Te in this way, the best matching degree Mbest is calculated for any one of the templates Te, but a road sign indicating the maximum speed limit is captured in the reference image T in the first place. If not, the best match Mbest will not be a very good value.
そこで、本実施形態では、予め最良の一致度Mbestに所定の閾値を設けておき、算出した最良の一致度Mbestが閾値より良い値ではない場合、すなわち上記(5)式で一致度Mを計算する場合には閾値より小さい値でない場合には、マッチング処理手段12は、基準画像T中に最高速度制限を表す道路標識が撮像されていないと判定し、算出した最良の一致度Mbestが閾値以下の良い値である場合には、基準画像T中に最高速度制限を表す道路標識が撮像されていると判定するようになっている Therefore, in the present embodiment, a predetermined threshold value is provided in advance for the best matching score Mbest, and when the calculated best matching score Mbest is not a value better than the threshold value, that is, the matching score M is calculated by the above equation (5). If the value is not smaller than the threshold value, the matching processing means 12 determines that the road sign indicating the maximum speed limit is not captured in the reference image T, and the calculated best matching degree Mbest is equal to or less than the threshold value. If the value is good, it is determined that a road sign representing the maximum speed limit is captured in the reference image T.
そして、マッチング処理手段12は、算出した最良の一致度Mbestが閾値以下の良い値である場合には、最良の一致度Mbestを算出したテンプレートTeを選定し、そのテンプレートTeに対応付けられた情報、すなわち例えば図17に示したテンプレートTeを検出した場合には50km/hを、現在検出の対象としている最高速度制限を表す道路標識に標示された有意情報の内容として認識するようになっている。
When the calculated best matching degree Mbest is a good value equal to or less than the threshold, the matching
また、マッチング処理手段12は、最良の一致度Mbestが算出されたグループgをその有意情報の内容が標示された道路標識が基準画像T上に撮像された画素領域であると判定して、その有意情報の内容とともに、そのグループgのグループ番号や基準画像T上での左右端、上下端の画素の各座標、グループgの実空間上の平均距離Zave等の情報を、有意情報と対応付けて記憶手段に保存するようになっている。 Further, the matching processing means 12 determines that the group g for which the best matching degree Mbest is calculated is a pixel region in which the road sign indicating the content of the significant information is imaged on the reference image T, and Along with the content of the significant information, information such as the group number of the group g, the coordinates of the left and right edges on the reference image T, the upper and lower pixel coordinates, and the average distance Zave in the real space of the group g are associated with the significant information. Are stored in the storage means.
なお、上記のように、本実施形態では、グループgの実空間上の距離Zすなわちグループgの平均距離Zaveに基づいてテンプレートTeを正規化して適用する場合について説明したが、グループgおよびその内部の画素領域に属する各画素pの画像データD(例えば輝度)に基づいてテンプレートTeを正規化し、グループgに対してテンプレートTeを適用する画素位置を特定するように構成することも可能である。 As described above, in the present embodiment, the case where the template Te is normalized and applied based on the distance Z in the real space of the group g, that is, the average distance Zave of the group g has been described. It is also possible to normalize the template Te based on the image data D (for example, luminance) of each pixel p belonging to the pixel region, and specify a pixel position to which the template Te is applied to the group g.
ここで、グループgの内部の画素領域とは、例えば、図16に示したようにグループg1、g2が統合されて1つのグループとされた場合の元のグループg1、g2の間隙部分の画素領域rinや、図18に示したように、グループgに周囲を包囲された画素領域rinをいう。そして、この場合、内部の画素領域rinに属する各画素pの画像データDについても、グループgに属する各画素pの画像データDと同等に扱う。 Here, the pixel area inside the group g is, for example, the pixel area of the gap portion of the original groups g1 and g2 when the groups g1 and g2 are integrated into one group as shown in FIG. rin or a pixel region rin surrounded by the group g as shown in FIG. In this case, the image data D of each pixel p belonging to the internal pixel region rin is also handled in the same manner as the image data D of each pixel p belonging to the group g.
具体的には、グループgおよびその内部の画素領域rinに属する各画素pを横方向に探索し、各画素pの画像データDに基づいて、テンプレートTeの開始点Psおよび終了点Pe(図17参照)と一致する各画素エッジps、peをそれぞれ検出する。 More specifically, each pixel p belonging to the group g and the pixel region rin inside thereof is searched in the horizontal direction, and based on the image data D of each pixel p, the start point Ps and end point Pe of the template Te (FIG. 17). Each pixel edge ps and pe that coincides with (see) is detected.
そして、例えば図17に示したテンプレートTeでは、左側の画素から探索した場合、開始点Psは最初にデータ値(輝度)が例えば255から0に変化する画素として表され、終了点Peは最後にデータ値(輝度)が例えば0から255に変化する画素として表されるため、例えば図18に示したグループgにおいても、左側の画素pから探索した際に、画像データDが左に隣接する画素pの画像データDから所定の閾値以上に小さくなった最初の画素を一方の画素エッジpsとし、さらに右方向に探索していき、画像データDが左に隣接する画素pの画像データDから所定の閾値以上に大きくなった最後の画素を他方の画素エッジpeとして検出する。 For example, in the template Te shown in FIG. 17, when searching from the left pixel, the start point Ps is first represented as a pixel whose data value (luminance) changes from, for example, 255 to 0, and the end point Pe is the last. Since the data value (brightness) is expressed as a pixel that changes from 0 to 255, for example, in the group g shown in FIG. 18, for example, when searching from the left pixel p, the image data D is adjacent to the left The first pixel that has become smaller than a predetermined threshold value from the image data D of p is set as one pixel edge ps, and further searching is performed in the right direction, and the image data D is determined from the image data D of the pixel p adjacent to the left. The last pixel that has become larger than the threshold value is detected as the other pixel edge pe.
そして、図17に示した横方向の開始点Psから終了点Peまでの画素数が20のテンプレートTeを、20画素がグループgの各画素エッジps、pe間の画素数になるように変換する。 Then, the template Te having 20 pixels from the horizontal start point Ps to the end point Pe shown in FIG. 17 is converted so that 20 pixels become the number of pixels between the pixel edges ps and pe of the group g. .
また、テンプレートTeの縦方向も同じ比率で変換するように構成してもよく、或いは、図示を省略するが、横方向の探索の場合と同様に、グループgおよびその内部の画素領域rinに属する各画素pを、縦方向にも探索して各画素エッジをそれぞれ検出し、縦方向の変換比率を算出するように構成してもよい。 Also, the vertical direction of the template Te may be converted at the same ratio, or although not shown, it belongs to the group g and the pixel region rin inside thereof as in the case of the horizontal search. Each pixel p may also be searched in the vertical direction to detect each pixel edge, and the vertical conversion ratio may be calculated.
そして、変換され正規化されたテンプレートTeを、グループgが基準画像T上で占める画素領域内で移動させてテンプレートマッチングを行うように構成することも可能であり、また、正規化したテンプレートTeを、テンプレートTeの開始点Psと終了点Pe(なお、開始点Psや終了点Peも画素位置が正規化されている。)とグループgの各画素エッジps、peとが一致するようにグループgに対してテンプレートTeを適用する位置を特定して、グループgに対してテンプレートTeを1回だけ適用してテンプレートマッチングを行うように構成してもよい。 Then, the template Te that has been converted and normalized can be moved within the pixel region that the group g occupies on the reference image T, and template matching can be performed. The group g so that the start point Ps and the end point Pe of the template Te (the pixel positions of the start point Ps and the end point Pe are also normalized) and the pixel edges ps and pe of the group g match. The template Te may be applied to the group g, and the template Te may be applied only once to the group g to perform template matching.
なお、本実施形態では、テンプレートTeとして、図17に示したように、最高速度制限を表す道路標識における有意情報である最高速度の数字部分のみを画素表示したテンプレートを用いる場合について説明したが、最高速度制限を表す道路標識において、最高速度が標示された部分の周囲に標示される赤枠の部分を含めてテンプレートを構成してもよい。 In the present embodiment, as shown in FIG. 17, the template Te is described using a template in which only the numerical part of the maximum speed that is significant information in the road sign indicating the maximum speed limit is displayed as a pixel. In the road sign indicating the maximum speed limit, the template may be configured to include a red frame part marked around the part where the maximum speed is marked.
また、本実施形態では、テンプレートTeとして、有意情報に対応する部分(図17の例では「50」の文字の部分)の各画素に例えば輝度0のデータ値を割り当て、その他の地の部分の各画素に例えば輝度255のデータ値を割り当てて形成されたテンプレートTeを用いる場合について説明した。そして、その場合、テンプレートTeとグループgとの一致度Mは、例えば上記(5)式に従って計算された。しかし、テンプレートTeを改良することで、一致度Mの計算処理の処理負荷をより軽減することが可能となる。 In the present embodiment, as the template Te, for example, a data value of 0 brightness is assigned to each pixel of the portion corresponding to the significant information (the portion of the character “50” in the example of FIG. 17), and the other portions of the ground. The case where the template Te formed by assigning a data value of luminance 255 to each pixel has been described, for example. In this case, the degree of coincidence M between the template Te and the group g is calculated according to, for example, the above equation (5). However, by improving the template Te, it is possible to further reduce the processing load of the calculation process of the matching degree M.
例えば、図17に示したようなテンプレートTeの、有意情報が標示された部分(例えば「50」の文字の部分)の各画素に、0〜255の輝度階調のうちの例えば0〜100の輝度の数値範囲を割り当て、その他の地の部分の各画素に、0〜255の輝度階調のうち例えば200〜255の輝度の数値範囲を割り当てる。 For example, for each pixel of a portion (for example, a character portion of “50”) where significant information is marked in the template Te as shown in FIG. A numerical value range of luminance is assigned, and a numerical value range of luminance of, for example, 200 to 255 is assigned to each pixel in the other ground portions, for example, among luminance gradations of 0 to 255.
そして、上記のようにグループgまたはテンプレートTeのいずれかを正規化して適用してテンプレートマッチングを行う際、グループgまたは正規化されたグループgの各画素の画像データDが、テンプレートTeまたは正規化されたテンプレートTeの対応する各画素にそれぞれ割り当てられた数値範囲内の値であるか否かを判定する。 Then, when performing template matching by normalizing and applying either the group g or the template Te as described above, the image data D of each pixel of the group g or the normalized group g is converted to the template Te or the normalized It is determined whether or not the value is within a numerical range assigned to each corresponding pixel of the template Te.
そして、例えば、画像データDが数値範囲内にあれば所定値(例えば1)を加算していき、画像データDが数値範囲内になければ加算しないようにして、一致度Mを計算するように構成することが可能である。なお、この場合は、一致度Mが大きい方がより良い一致度ということになる。 Then, for example, if the image data D is within the numerical range, a predetermined value (for example, 1) is added, and if the image data D is not within the numerical range, it is not added, and the degree of coincidence M is calculated. It is possible to configure. In this case, the higher the matching degree M is the better the matching degree.
このように構成すれば、テンプレートTe(または正規化されたテンプレートTe)の各画素ごとに、グループg(または正規化されたグループg)の対応する画素の画像データDが数値範囲内にあるか否かを判定して所定値を加算するだけで一致度Mを算出することが可能となるため、一致度Mを例えば上記(5)式に従って計算する場合に比べて、一致度Mの計算処理の処理負荷が格段に軽減される。 With this configuration, for each pixel of the template Te (or normalized template Te), whether the image data D of the corresponding pixel of the group g (or normalized group g) is within the numerical range. Since the degree of coincidence M can be calculated simply by determining whether or not and adding a predetermined value, the degree of coincidence M is calculated in comparison with the case where the degree of coincidence M is calculated according to, for example, the above equation (5). The processing load is greatly reduced.
以上のように、本実施形態に係る環境認識装置1によれば、撮像手段2により撮像された一対の基準画像Tおよび比較画像Tcのうち、少なくとも基準画像T(画像T)の各画素pの画像データDに基づいて各画素pを各グループgに統合し、統合された各グループgまたはテンプレートTeを正規化して適用してテンプレートマッチングを行う。
As described above, according to the
そのため、従来のテンプレートマッチング技術では、各画素を総当りして画面全体からテンプレートTeの画素配列と一致度Mが高い画素領域を検索するため、検索すべき画素数が非常に多く、検索に非常に時間がかかったが、本実施形態に係る環境認識装置1では、基準画像T中で統合されて検出された各グループgのみに対してテンプレートマッチングを行うだけであるため、テンプレートマッチングに要する時間を格段に短縮することが可能となる。
For this reason, in the conventional template matching technique, each pixel is breached and a pixel region having a high degree of coincidence M with the pixel array of the template Te is searched from the entire screen. However, since the
しかも、本実施形態に係る環境認識装置1では、基準画像Tと比較画像Tcとを用いて基準画像Tの各画素について実空間上の距離を算出してグループgの実空間上の大きさを算出し、実空間上の大きさが所定の大きさであるグループgのみに対してテンプレートマッチングを行う。
Moreover, in the
そのため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となる。そして、例えば撮像手段2から毎秒数フレームから数十フレームの画像が送信されてきても、各フレームごとに画像中から道路標識等を的確に抽出することが可能となり、リアルタイムで処理を行うことが可能となる。 Therefore, the time required for template matching is further shortened, and it is possible to further increase the speed of template matching. For example, even if an image of several frames to several tens of frames per second is transmitted from the imaging means 2, it becomes possible to accurately extract road signs and the like from the image for each frame, and processing can be performed in real time. It becomes possible.
さらに、本実施形態に係る環境認識装置1では、テンプレートTeを用いたテンプレートマッチングで基準画像Tから有意情報を抽出するため、基準画像T中に有意情報が撮像されているか否かを的確に判定し、有意情報が撮像されている場合には、使用者(或いは運転者)による認識や操作等を介さずに有意情報の内容を環境認識装置1自体が的確に認識することが可能となる。そのため、例えば環境認識装置1が車両に搭載されており、道路標識を認識するように構成されている場合には、環境認識装置1自体が道路標識に標示された有意情報の内容を自動的に認識することが可能となり、車両の自動制御技術等に応用することが可能となる。
Furthermore, in the
なお、上記の本実施形態の構成から分かるように、本実施形態に係る環境認識装置1が認識し得る対象は、最高速度制限を表す道路標識に限定されず、一時停止や徐行、車両通行止、駐車禁止、追越し禁止等の道路標識や、大きさを特定でき、それに表示される有意情報が撮像された画像T(基準画像T)の各画素の画像データD(例えば輝度)の値の大小等の違いにより把握できるものであれば、それらの対象にも適用でき、対象に表示された有意情報の内容を有効に認識することができる。
As can be seen from the configuration of the present embodiment, the
また、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bによりモノクロの画像データDが取得される場合について説明したが、RGB値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能である。
In the present embodiment, the case where the monochrome image data D is acquired by the
その場合、統合処理手段10における各画素pをグループgに統合する処理において、その閾値を、基準画像T中から例えば赤色の画素を抽出するように設定すれば、例えば道路標識の中でも赤色の部分を多く含む最高速度制限や一時停止、徐行、車両通行止、駐車禁止、追越し禁止等の規制標識が撮像された画素pを的確に抽出してグループgとすることが可能となり、規制標識を的確に抽出してその有意情報を有効に認識することが可能となる。 In that case, if the threshold value is set so that, for example, red pixels are extracted from the reference image T in the process of integrating each pixel p into the group g in the integration processing means 10, for example, a red portion in a road sign. It is possible to accurately extract the pixel p on which the control sign such as the maximum speed limit including a lot of stoppages, slow stop, slowing down, vehicle prohibition, parking prohibition, overtaking prohibition, etc. is imaged, and to make the group g. And the significant information can be recognized effectively.
すなわち、RGB値で表されるカラーの画像データDがR(赤)、G(緑)、B(青)の各色成分につきそれぞれ例えば0〜255の輝度で表されるとした場合、例えば、閾値を、R成分に対しては200以上、かつ、G成分およびB成分に対してはそれぞれ100未満等のように設定することで、基準画像T中から例えば赤色の画素pを抽出するように設定することができる。 That is, when the color image data D represented by RGB values is represented by a luminance of, for example, 0 to 255 for each color component of R (red), G (green), and B (blue), for example, a threshold value Is set so that, for example, a red pixel p is extracted from the reference image T by setting it to 200 or more for the R component and less than 100 for the G component and the B component, respectively. can do.
また、上記のように統合処理手段10では基準画像T中から例えば赤色の画素を抽出してグループgに統合するように構成し、テンプレートTe(図17参照)を、有意情報(例えば「50」等の数字)に対応する部分が青色、その他の地の部分が白色になるように形成してテンプレートマッチングを行うように構成すれば、規制標識である道路標識の中から、特に最高速度制限を表す道路標識を的確に抽出して、その有意情報を有効に認識することが可能となる。
Further, as described above, the
さらに、図1に示したように、今回のサンプリング周期で統合処理手段10により統合されたグループgnew(複数のグループが統合されて1つのグループとされたグループgnewを含む。以下同じ。)を、前回のサンプリング周期で統合処理手段10により統合されたいずれかのグループgoldに対応付けられるか否かを判定して、グループgnewがグループgoldに対応付けられると判定した場合には当該グループgnewを同一の撮像対象が連続して撮像されたグループとして検出して追跡する追跡手段14を処理部9に設けるように構成することも可能である。
Further, as shown in FIG. 1, the group gnew integrated by the integration processing means 10 in this sampling cycle (including a group gnew in which a plurality of groups are integrated into one group. The same applies hereinafter). When it is determined whether or not the group gold is associated with any group gold integrated by the integration processing means 10 in the previous sampling cycle, and it is determined that the group gnew is associated with the group gold, the group gnew is the same. It is also possible to provide the
今回のサンプリング周期で検出されたグループgnewが前回のサンプリング周期で検出されたいずれかのグループgoldに対応付けられるか否かの判定は、例えば、今回のサンプリング周期で検出されたグループgnewの実空間上の位置(Xnew,Ynew,Znew)や大きさ、平均距離Zave、グループgnewに属する全画素の画像データDの平均値Dave等と前回のサンプリング周期で検出されていたグループgoldの位置(Xold,Yold,Zold)や大きさ、平均距離Zave、グループgoldに属する全画素の画像データDの平均値Dave等とを比較して、それらの整合性を判定して行われる。 The determination as to whether or not the group gnew detected in the current sampling cycle is associated with any group gold detected in the previous sampling cycle is, for example, the real space of the group gnew detected in the current sampling cycle. The upper position (Xnew, Ynew, Znew), the size, the average distance Zave, the average value Dave of the image data D of all the pixels belonging to the group gnew, and the position of the group gold (Xold, Yold, Zold), the size, the average distance Zave, the average value Dave of the image data D of all the pixels belonging to the group gold, and the like, and the consistency thereof is determined.
このような追跡手段14を設けた場合、例えば、同一の撮像対象が連続して撮像されたグループとして検出されたグループgnewに対応する実空間上の距離Zaveと、それに対応する前回のサンプリング周期で検出されたグループgoldにに対応する実空間上の距離Zave、および環境認識装置1が搭載された例えば自車両の速度から、グループgnewに対応する撮像対象の例えば道路面に対する速度を算出することができる。
When such a tracking means 14 is provided, for example, the distance Zave in the real space corresponding to the group gnew detected as a group in which the same imaging target is continuously imaged, and the previous sampling period corresponding thereto. From the distance Zave in the real space corresponding to the detected group gold and the speed of the own vehicle on which the
そして、撮像対象が道路面に対して0km/hではない有意の速度を有して移動する移動物体である場合には、少なくともその撮像対象は道路標識ではないと判定することが可能となる。 When the imaging target is a moving object that moves at a significant speed other than 0 km / h with respect to the road surface, it is possible to determine that at least the imaging target is not a road sign.
そのため、上記の実施形態のように、環境認識装置1を、最高速度制限を表す規制標識等の道路標識に標示された有意情報を認識するように構成する場合、今回のサンプリング周期で統合処理手段10により統合されたグループgnewのうち、道路面に対して0km/hでない有意の速度を有して移動する移動物体である撮像対象に対応するグループgnewを、マッチング処理手段12におけるテンプレートマッチングの対象から予め除外することで、テンプレートマッチングの処理負荷をより軽減することが可能となり、処理のさらなる高速化を図ることが可能となる。
Therefore, when the
また、上記のような追跡手段14を設けた場合に、追跡手段14で同一の撮像対象が連続して撮像されたグループとして検出したグループgnewに対してマッチング処理手段12によりテンプレートマッチングが行われた結果、複数種類の各テンプレートTeについて、それぞれ一致度Mが算出される。
Further, when the
追跡手段14は、各一致度Mをそれぞれポイント化し、ポイント化した値を各サンプリング周期ごとに加算していく。そして、この処理を、各テンプレートTeについて別々に行う。そのため、同一の撮像対象が連続して撮像されたグループとして検出したグループgnewには、各テンプレートTeの種類の数の各加算値が対応付けられていく。
The
なお、一致度Mを例えば上記(5)式に従って計算する場合、一致度Mが小さい値である方が一致度が高く優良であるため、一致度Mが小さい値であるほど、ポイント化した値は大きくなるようにポイント化のしかたが予め決められる。 Note that when the degree of coincidence M is calculated according to the above formula (5), for example, the smaller the degree of coincidence M is, the better the degree of coincidence is, and the better the value. The point method is determined in advance so as to increase.
そして、マッチング処理手段12よりテンプレートマッチングを行い、算出した一致度Mが最も良く、かつ、一致度Mが所定の閾値より良いテンプレートTeを検出する際、当該テンプレートTeに対して追跡手段14で一致度Mをポイント化した値の加算値が所定の閾値に達した場合に、当該テンプレートTeに対応付けられた情報を有意情報として認識するように構成することが可能である。 Then, template matching is performed by the matching processing means 12, and when the calculated matching degree M is the best and the matching degree M is better than a predetermined threshold value, the tracking means 14 matches the template Te. It is possible to configure so that information associated with the template Te is recognized as significant information when the addition value of the values obtained by converting the degree M to a point reaches a predetermined threshold value.
このように構成すれば、前回以前のサンプリング周期で、テンプレートTeとグループgoldとの一致度Mが悪く、ポイント化した値の加算値が低ければ、今回のサンプリング周期で誤検出等により同一の撮像対象が連続して撮像されたグループgnewに対して当該テンプレートの一致度Mが最も良く、かつ、一致度Mが所定の閾値より良い場合でも、当該テンプレートTeがただちに検出されることがなくなる。 With this configuration, if the matching degree M between the template Te and the group gold is poor in the sampling period before the previous time and the added value of the pointed values is low, the same imaging is performed due to erroneous detection or the like in the current sampling period. Even when the matching degree M of the template is the best for the group gnew in which the object is continuously imaged and the matching degree M is better than a predetermined threshold, the template Te is not detected immediately.
そのため、今回のサンプリング周期で何らかの原因で誤ってグループgnewに対して一致度Mが最も良く検出され、かつ、一致度Mが所定の閾値より良いと判定されたテンプレートTeが検出されたとしても、その誤検出されたテンプレートTeに対応付けられた情報を有意情報の内容として誤認識することを確実に防止することが可能となる。 Therefore, even if a template Te is detected that the matching degree M is best detected for the group gnew by mistake for some reason in the current sampling cycle and the matching degree M is determined to be better than a predetermined threshold, It is possible to reliably prevent erroneously recognizing information associated with the erroneously detected template Te as the content of significant information.
[第2の実施の形態]
上記の第1の実施形態に係る環境認識装置1では、基準画像Tにおいて画像データDが所定の閾値Dth以上である隣接する画素p同士を1つのグループgに統合していく場合について説明したが、このように閾値Dthで一律に統合するか否かを判定するように構成すると、基準画像T上で同一の撮像対象が濃淡を有して撮像されている場合に、同一の撮像対象が撮像されている画素領域の一部しかグループgに統合されず、同一の撮像対象を一体的に1つのグループに統合することができない場合が生じ得る。
[Second Embodiment]
In the
道路標識等のように、有意情報が表示された面が平面状である場合には、上記のような不都合はほとんど生じないが、例えば曲面上に有意情報が表示されているような場合には上記のような不都合を生じ得る。 When the surface on which the significant information is displayed is a flat surface such as a road sign, the above inconvenience hardly occurs. For example, when the significant information is displayed on the curved surface, The inconvenience as described above may occur.
そこで、本発明の第2の実施形態に係る環境認識装置では、統合処理手段10で基準画像Tの各画素pをグループgに統合する際、基準画像Tに撮像された1つの撮像対象を一体的に1つのグループgとして統合するように統合処理手段10を構成した環境認識装置について説明する。
Therefore, in the environment recognition device according to the second embodiment of the present invention, when the
そのため、本実施形態に係る環境認識装置は、ハード的には第1の実施形態に係る環境認識装置1と同様であるが、統合処理手段10における統合処理のしかたが第1の実施形態の場合と異なる。
For this reason, the environment recognition apparatus according to the present embodiment is similar to the
本実施形態に係る統合処理手段10は、撮像手段2から注目画素(一の画素)pi,jの画像データDi,jが送信されてくると、注目画素pi,jと同一のサンプリング周期で送信される基準画像T中の、注目画素pi,jより以前に画像データDが送信された画素pであって、注目画素pi,jに隣接する画素pの画像データDと、注目画素pi,jの画像データDi,jとの差分ΔDが所定の第1閾値ΔDth未満であり、かつ、注目画素pi,jより以前に画像データDが送信された隣接する画素pが属するグループgに属する全画素pの画像データDの平均値Daveと、注目画素pi,jの画像データDi,jとの差分δDが所定の第2閾値δDth未満である場合にのみ、注目画素pi,jと隣接する画素pとを1つのグループgに統合すべきと判定して統合するようになっている。
When the image data Di, j of the target pixel (one pixel) pi, j is transmitted from the
以下、本実施形態に係る統合処理手段10での処理を、図19および図20に示すフローチャートに従って説明する。
Hereinafter, processing in the
なお、本実施形態においても、前述したように、撮像手段2から各画素の画像データDが順次出力され、変換手段3や画像補正部4でそれぞれ処理が行われ、処理された各画像データDが、順次、処理部9に送信されるが、処理部9では、各画像データDが順次入力するのと同時並行的に以下の処理が行われる。そのため、1画像分の全画素の画像データDの入力を待たずに入力と同時並行で処理を行うことが可能となるため、統合処理手段10等における処理をリアルタイムで行うことが可能となる。
Also in the present embodiment, as described above, the image data D of each pixel is sequentially output from the
統合処理手段10では、まず、図8の第1の実施形態のフローチャートのステップS1〜S8と同様の処理が行われる。すなわち、撮像手段2により撮像が開始されると(図19のステップS1)、統合処理手段10は、iおよびjの値をそれぞれ0に設定する(ステップS2)。撮像手段2で撮像された水平ライン0(すなわちj座標が0の各画素からなる水平ラインj)上の左端の画素p0,0(すなわち原点の画素)の画像データD0,0の処理部9への入力が開始されると(ステップS3)、続いて、画素p1,0、p2,0、p3,0、…の画像データD1,0、D2,0、D3,0、…が順次入力される。
In the integrated processing means 10, first, processing similar to steps S1 to S8 in the flowchart of the first embodiment in FIG. 8 is performed. That is, when imaging is started by the imaging unit 2 (step S1 in FIG. 19), the
そして、統合処理手段10は、水平ラインjの右端の画素まで処理を完了していなければ(ステップS4;NO)、処理が繰り返されるごとにi座標を1ずつインクリメントして(ステップS5)、設定した注目画素pi,j(ステップS6)を水平ラインj上の右隣の画素に移動させながら処理を続ける。また、水平ラインjの右端の画素まで処理を完了すると(ステップS4;YES)、基準画像Tの最上段の水平ラインまで処理が終了していなければ(ステップS7;NO)、処理を行う水平ラインjを1行上方の水平ラインj+1に移行させ、注目画素のi座標を0に設定して(ステップS8)、画素p0,j+1を注目画素として(ステップS6)処理を行い、注目画素を画素p0,j+1から順に右側に移動させながら処理を続行する。
Then, if the processing has not been completed up to the rightmost pixel of the horizontal line j (step S4; NO), the integration processing means 10 increments the i coordinate by 1 each time the processing is repeated (step S5) and sets it. The processing is continued while moving the noticed pixel pi, j (step S6) to the right adjacent pixel on the horizontal line j. When the process is completed up to the rightmost pixel of the horizontal line j (step S4; YES), if the process has not been completed up to the uppermost horizontal line of the reference image T (step S7; NO), the horizontal line to be processed j is moved to the horizontal line j + 1 one row above, the i coordinate of the pixel of interest is set to 0 (step S8), the pixel p0, j + 1 is set as the pixel of interest (step S6), and the pixel of interest is selected. The processing is continued while moving to the right side in order from the pixel p0,
次に、注目画素を画素pi,jに設定(ステップS6)した後の統合処理手段10における処理(図20のステップS30以降)について説明する。前述したように、注目画素pi,jと隣接する画素pとを1つのグループgに統合する際の統合処理のしかたや基準が第1の実施形態の場合と異なっている。
Next, processing (after step S30 in FIG. 20) in the
本実施形態では、統合処理手段10は、まず、注目画素pi,jと、図10に示したように注目画素pi,jが入力されるより以前に入力されていて注目画素pi,jの左に隣接する画素pi-1,jについて、下記の条件1や条件2を満たすか否かの判定を行う(ステップS30)。
In this embodiment, the integration processing means 10 first inputs the pixel of interest pi, j and the left of the pixel of interest pi, j that has been input before the pixel of interest pi, j is input as shown in FIG. It is determined whether or not the following
[条件1]注目画素pi,jの画像データDi,jと、左に隣接する画素pi-1,jの画像データDi-1,jとの差分ΔDleft(i,j)、すなわち、
ΔDleft(i,j)=|Di,j−Di-1,j| …(10)
が、予め設定された第1閾値ΔDth未満である。なお、以下、上記のような隣接する画素間の画像データDの差分ΔDをエッジ強度という。
[Condition 1] The difference ΔDleft (i, j) between the image data Di, j of the pixel of interest pi, j and the image data Di-1, j of the pixel pi-1, j adjacent to the left, that is,
ΔDleft (i, j) = | Di, j−Di−1, j | (10)
Is less than a preset first threshold value ΔDth. Hereinafter, the difference ΔD of the image data D between adjacent pixels as described above is referred to as edge strength.
[条件2]図21に示すように、注目画素pi,jの画像データDi,jと、左に隣接する画素pi-1,jが属するグループgに属する全画素の画像データDの平均値Dave-leftとの差分δDleft(i,j)、すなわち、
δDleft(i,j)=|Di,j−Dave-left| …(11)
が、予め設定された第2閾値δDth未満である。
[Condition 2] As shown in FIG. 21, the average value Dave of the image data D i, j of the pixel of interest p i, j and the image data D of all the pixels belonging to the group g to which the pixel p i−1, j adjacent to the left belongs. The difference δDleft (i, j) from -left, ie
δDleft (i, j) = | Di, j−Dave-left | (11)
Is less than a preset second threshold value δDth.
なお、以下、上記のように、注目画素pi,jの画像データDi,jと、隣接する画素が属するグループgの画像データDの平均値Daveとの差分δDを平均値差分という。また、グループgに属する全画素の画像データDの平均値Daveは、後述するように、ステップS17の処理で算出される。さらに、左に隣接する画素pi-1,jが属するグループgが当該左に隣接する画素pi-1,jのみで構成されている場合もあり、その場合、グループgに属する全画素の画像データDの平均値Dave-leftは、当該左に隣接する画素pi-1,jの画像データDi-1,jに等しい。 Hereinafter, as described above, the difference δD between the image data Di, j of the target pixel pi, j and the average value Dave of the image data D of the group g to which the adjacent pixel belongs is referred to as an average value difference. Further, the average value Dave of the image data D of all the pixels belonging to the group g is calculated by the process of step S17 as will be described later. Furthermore, the group g to which the pixel pi-1, j adjacent to the left belongs may be composed of only the pixel pi-1, j adjacent to the left. In this case, the image data of all the pixels belonging to the group g The average value Dave-left of D is equal to the image data Di-1, j of the pixel pi-1, j adjacent to the left.
統合処理手段10は、条件1と条件2をともに満たすと判定した場合には(ステップS30;YES)、ステップS31の判定処理に進み、条件1と条件2の少なくとも一方を満たさないと判定した場合には(ステップS30;NO)、ステップS32の判定処理に進む。なお、上記の第1閾値ΔDthと第2閾値δDthとは同じ値に設定されても異なる値に設定されてもよく、それらの閾値の値は適宜設定される。
If the integrated processing means 10 determines that both
統合処理手段10は、ステップS30の判定処理で、条件1と条件2をともに満たすと判定すると(ステップS30;YES)、続いて、注目画素pi,jと、図11に示したように注目画素pi,jが入力されるより以前に入力されていて注目画素pi,jの下に隣接する画素pi,j-1について、上記と同様に、下記の条件3や条件4を満たすか否かの判定を行う(ステップS31)。
If the integration processing means 10 determines in the determination process in step S30 that both
[条件3]注目画素pi,jの画像データDi,jと、下に隣接する画素pi,j-1の画像データDi,j-1とのエッジ強度ΔDlower(i,j)、すなわち、
ΔDlower(i,j)=|Di,j−Di,j-1| …(12)
が、予め設定された前述した第1閾値ΔDth未満である。
[Condition 3] Edge strength ΔDlower (i, j) between the image data Di, j of the pixel of interest pi, j and the image data Di, j-1 of the pixel pi, j-1 adjacent below, that is,
ΔDlower (i, j) = | Di, j−Di, j−1 | (12)
Is less than the preset first threshold value ΔDth.
[条件4]図22に示すように、注目画素pi,jの画像データDi,jと、下に隣接する画素pi,j-1が属するグループgに属する全画素の画像データDの平均値Dave-lowerとの平均値差分δDlower(i,j)、すなわち、
δDlower(i,j)=|Di,j−Dave-lower| …(13)
が、予め設定された前述した第2閾値δDth未満である。
[Condition 4] As shown in FIG. 22, the average value Dave of the image data D i, j of the pixel of interest p i, j and the image data D of all the pixels belonging to the group g to which the adjacent pixel p i, j−1 belongs. average value difference δDlower (i, j) from −lower, that is,
δDlower (i, j) = | Di, j−Dave-lower | (13)
Is less than the preset second threshold value δDth.
なお、この場合も、下に隣接する画素pi,j-1が属するグループgが当該下に隣接する画素pi,j-1のみで構成されている場合もあり、その場合、グループgに属する全画素の画像データDの平均値Dave-lowerは、当該下に隣接する画素pi,j-1の画像データDi,j-1に等しい。 Also in this case, the group g to which the pixel pi, j-1 adjacent to the lower side may be composed of only the pixel pi, j-1 adjacent to the lower side, in which case all of the groups g belonging to the group g are included. The average value Dave-lower of the image data D of the pixel is equal to the image data Di, j-1 of the pixel pi, j-1 adjacent below.
そして、統合処理手段10は、条件3と条件4の少なくとも一方を満たさないと判定した場合には(ステップS31;NO)、注目画素pi,jを、下に隣接する画素pi,j-1とは統合しないが、ステップS30の判定処理で上記の条件1と条件2を満たすと判定しているため、注目画素pi,jと左に隣接する画素pi-1,jとを1つのグループに統合すべきと判定して統合する(ステップS12)。
When the
その際、例えば図10に示したように、左に隣接する画素pi-1,jが他の画素と統合されていなければ、注目画素pi,jと左に隣接する画素pi-1,jが統合されて、左右に隣接する2つの画素からなるグループが新たに形成される。また、例えば図21に示したように、左に隣接する画素pi-1,jが他の画素と統合されていてグループgに属していれば、注目画素pi,jがグループgに追加されるように統合され、グループgが注目画素pi,jの分だけ1画素分拡大する。 At this time, for example, as shown in FIG. 10, if the pixel pi-1, j adjacent to the left is not integrated with other pixels, the pixel pi-1, j adjacent to the left of the pixel of interest pi, j As a result of the integration, a new group consisting of two adjacent pixels on the left and right is formed. For example, as shown in FIG. 21, if the pixel pi-1, j adjacent to the left is integrated with other pixels and belongs to the group g, the pixel of interest pi, j is added to the group g. Thus, the group g is enlarged by one pixel by the pixel of interest pi, j.
なお、左に隣接する画素pi-1,jが属するグループgが例えば図23(A)に示すような形状である場合に、ステップS31の判定処理で、条件3と条件4の少なくとも一方を満たさないと判定されて(ステップS31;NO)、注目画素pi,jが下に隣接する画素pi,j-1と統合されない場合でも、図23(B)に示すように、注目画素pi,jが左に隣接する画素pi-1,jと統合されることで(ステップS12)、結果的に、注目画素pi,jが下に隣接する画素pi,j-1と統合される場合もある。 When the group g to which the pixel pi-1, j adjacent to the left belongs has a shape as shown in FIG. 23A, for example, the determination process in step S31 satisfies at least one of condition 3 and condition 4. Even if it is determined that the target pixel pi, j is not integrated with the lower adjacent pixel pi, j-1 as shown in FIG. 23B, the target pixel pi, j is not By integrating with the pixel pi-1, j adjacent on the left (step S12), the target pixel pi, j may be integrated with the pixel pi, j-1 adjacent below.
次に、統合処理手段10は、ステップS31の判定処理で、条件3と条件4をともに満たすと判定した場合には(ステップS31;YES)、注目画素pi,jと下に隣接する画素pi,j-1および左に隣接する画素pi-1,jとを1つのグループに統合すべきと判定して統合する(ステップS13)。
Next, when it is determined in the determination process in step S31 that both the condition 3 and the condition 4 are satisfied (step S31; YES), the
その際、例えば図11に示したように、下に隣接する画素pi,j-1や左に隣接する画素pi-1,jがともに他の画素と統合されていなければ、注目画素pi,jと下に隣接する画素pi,j-1と左に隣接する画素pi-1,jが統合されて3つの画素からなるグループが新たに形成される。また、例えば図21や図22に示したように、下に隣接する画素pi,j-1または左に隣接する画素pi-1,jのいずれか一方が他の画素と統合されていてグループgに属していれば、注目画素pi,jとグループgに属していない方の画素とがグループgに追加されるように統合されて、グループgが2画素分拡大する。 At this time, for example, as shown in FIG. 11, if the pixel pi, j-1 adjacent below and the pixel pi-1, j adjacent to the left are not integrated with other pixels, the pixel of interest pi, j And a pixel pi, j-1 adjacent to the lower side and a pixel pi-1, j adjacent to the left are integrated to form a new group of three pixels. For example, as shown in FIGS. 21 and 22, one of the pixel pi, j-1 adjacent to the lower side and the pixel pi-1, j adjacent to the left is integrated with the other pixels, and the group g , The target pixel pi, j and the pixel not belonging to the group g are integrated so as to be added to the group g, and the group g is expanded by two pixels.
また、例えば図12(A)に示したように、左に隣接する画素pi-1,jがグループg1に属し、下に隣接する画素pi,j-1が他のグループg2に属している場合、注目画素pi,jを下に隣接する画素pi,j-1および左に隣接する画素pi-1,jと統合すると(ステップS13)、図12(B)に示したように、注目画素pi,jを介してグループg1とグループg2とが統合されて1つのグループgとなる。 Also, for example, as shown in FIG. 12A, the pixel pi-1, j adjacent to the left belongs to the group g1, and the pixel pi, j-1 adjacent to the lower belongs to the other group g2. When the target pixel pi, j is integrated with the lower adjacent pixel pi, j-1 and the left adjacent pixel pi-1, j (step S13), as shown in FIG. 12B, the target pixel pi , j, the group g1 and the group g2 are integrated into one group g.
一方、統合処理手段10は、ステップS30の判定処理で、条件1と条件2の少なくとも一方を満たさないと判定した場合には(ステップS30;NO)、ステップS32の判定処理に進み、上記と同様に、条件3や条件4を満たすか否かの判定を行う(ステップS32)。
On the other hand, if it is determined in step S30 that at least one of
そして、統合処理手段10は、条件3と条件4をともに満たすと判定した場合には(ステップS32;YES)、ステップS30の判定処理で条件1と条件2の少なくとも一方を満たさないと判定しているため(ステップS30;NO)、注目画素pi,jを、左に隣接する画素pi-1,jとは統合せず、下に隣接する画素pi,j-1のみと統合する(ステップS15)。
When the
その際、注目画素pi,jを下に隣接する画素pi,j-1と統合すると(ステップS15)、結果的に、左に隣接する画素pi-1,jと統合される場合があることは、図23(A)、(B)に示したケースから容易に類推される。 At this time, if the target pixel pi, j is integrated with the lower adjacent pixel pi, j-1 (step S15), as a result, it may be integrated with the left adjacent pixel pi-1, j. It is easily inferred from the cases shown in FIGS. 23 (A) and 23 (B).
統合処理手段10は、ステップS12、S13、S15の処理で、注目画素pi,jを隣接する画素と統合すると、拡大したグループgの画素数を更新し、グループgの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。また、例えば図12(B)に示したように、複数のグループが統合されて1つのグループとされた場合には、1つに統合されたグループgのグループ番号を、統合の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択して更新する(ステップS16)。 The integration processing means 10 updates the number of pixels of the enlarged group g by integrating the pixel of interest pi, j with the adjacent pixels in the processes of steps S12, S13, and S15, and updates each of the leftmost and rightmost pixels of the group g. If there is a change in the coordinates and coordinates of the upper and lower pixels, it is updated. Also, for example, as shown in FIG. 12B, when a plurality of groups are integrated into one group, the group number of the group g integrated into one is the target of integration. For example, the smallest number among the group numbers of the plurality of groups is selected and updated (step S16).
また、統合処理手段10は、注目画素pi,jを追加して拡大したグループgや、複数のグループを統合して1つとしたグループgに属する全画素の画像データDの平均値Daveを算出して更新し、また、グループgに属する各画素の視差dpに基づいて上記(4)式に従ってそれぞれ実空間上の距離Zを算出し、その平均値Zave(以下、平均距離Zaveという。)を算出して更新する(ステップS17)。 Further, the integration processing means 10 calculates an average value Dave of the image data D of all the pixels belonging to the group g expanded by adding the pixel of interest pi, j or the group g obtained by integrating a plurality of groups. The distance Z in the real space is calculated according to the above equation (4) based on the parallax dp of each pixel belonging to the group g, and the average value Zave (hereinafter referred to as the average distance Zave) is calculated. And update (step S17).
なお、距離検出手段6におけるフィルタリング処理で視差dpが無効とされ、視差dpの値として0が割り当てられている画素については、実空間上の距離Zを算出できないため、平均距離Zaveの算出には用いられない。
It should be noted that the disparity dp is invalidated by the filtering process in the
また、上記のように、注目画素pi,jと左や下に隣接する画素pとをグループ化するか否かの判定処理(図20のステップS30、S31、S32)において、距離検出手段6で基準画像Tの各画素ごとに算出した視差dp(すなわち実空間上の距離Zに対応する。)の情報や、路面検出手段13により検出された実空間上における道路面の情報に基づいて、さらに厳しい条件を課して1つのグループに統合するか否かの判定を行うように構成することも可能である。
Further, as described above, in the determination process (steps S30, S31, and S32 in FIG. 20) of whether or not the pixel of interest pi, j and the pixel p adjacent to the left or lower are grouped, the
具体的には、例えば、図20のステップS30、S31、S32の判定処理において、注目画素pi,jに対応する実空間上の距離Zi,jと、隣接する画素pに対応する実空間上の距離Zpとの差分|Zi,j−Zp|、または隣接する画素pが属するグループgに対応する実空間上の平均距離Zaveとの差分|Zi,j−Zave|が、予め設定された閾値以上に離れている場合には、上記の条件1〜条件4が満たされる場合であっても、注目画素pi,jと隣接する画素pとを1つのグループに統合しないように構成することができる。
Specifically, for example, in the determination processing in steps S30, S31, and S32 in FIG. 20, the distance Zi, j in the real space corresponding to the target pixel pi, j and the real space corresponding to the adjacent pixel p are displayed. The difference | Zi, j-Zp | from the distance Zp or the difference | Zi, j-Zave | from the average distance Zave in the real space corresponding to the group g to which the adjacent pixel p belongs is greater than or equal to a preset threshold value If the
実空間上の距離Zがあまりに離れている場合には、画像データD等が条件1〜条件4を満たす場合であっても、注目画素pi,jと隣接する画素pはそれぞれ別の撮像対象が撮像された画素領域に属すると考えられるからである。
When the distance Z in the real space is too far away, even if the image data D or the like satisfies the
また、前述した路面検出手段13により検出された実空間上における道路面の情報に基づいて、例えば注目画素pi,jに対応する実空間上の道路面からの高さYi,j−Y*と、隣接する画素pに対応する実空間上の道路面からの高さYp−Y*或いは隣接する画素pが属するグループgに対応する実空間上の道路面からの高さYave−Y*とを比較して、一方が道路面上に存在する立体物の一部であると考えられ、他方が道路面上に標示された車線や規制標示等のパターンの一部であると考えられる場合には、上記の条件1〜条件4が満たされる場合であっても、注目画素pi,jと隣接する画素pとを1つのグループに統合しないように構成することができる。
Further, based on the road surface information in the real space detected by the road surface detection means 13 described above, for example, the height Yi, j−Y * from the road surface in the real space corresponding to the pixel of interest pi, j, and , Height Yp-Y * from the road surface in the real space corresponding to the adjacent pixel p, or height Yave-Y * from the road surface in the real space corresponding to the group g to which the adjacent pixel p belongs. In comparison, if one is considered to be part of a three-dimensional object existing on the road surface and the other is considered to be part of a pattern such as lanes or regulatory markings marked on the road surface Even when the
道路面上に存在する立体物と、道路面上に標示されたパターンは別の物体であり、画像データD等が条件1〜条件4を満たす場合であっても、注目画素pi,jと隣接する画素pはそれぞれ別の撮像対象が撮像された画素領域に属すると考えられるからである。
The three-dimensional object existing on the road surface and the pattern marked on the road surface are different objects, and are adjacent to the target pixel pi, j even when the image data D or the like satisfies the
統合処理手段10は、ステップS17の処理を終了すると、ステップS4の判定処理以降の処理を続行する。 When the processing of step S17 is completed, the integration processing means 10 continues the processing after the determination processing of step S4.
一方、統合処理手段10におけるステップS32の判定処理で、注目画素pi,jの下に隣接する画素pi,j-1の画像データDi,j-1が閾値Dth未満であると判定された場合(ステップS32;NO)以降のステップS18からステップS21までの処理は第1の実施形態と同様であり、説明を省略する。 On the other hand, when it is determined in the determination processing in step S32 in the integration processing means 10 that the image data Di, j-1 of the pixel pi, j-1 adjacent below the target pixel pi, j is less than the threshold value Dth ( The processing from step S18 to step S21 after step S32; NO) is the same as that in the first embodiment, and a description thereof will be omitted.
そして、統合処理手段10は、水平ラインjの右端の画素まで処理を完了し(図19のステップS4;YES)、基準画像Tの最上段の水平ラインまで処理が終了すると(ステップS7;YES)、基準画像Tの1画像分の処理を終了し、各グループに属する各画素の各座標(i,j)や画素数、左右端の画素の各座標、上下端の画素の各座標等の情報を図示しない記憶手段に保存する。 Then, the integrated processing means 10 completes the processing up to the rightmost pixel of the horizontal line j (step S4 in FIG. 19; YES), and when the processing is completed up to the uppermost horizontal line of the reference image T (step S7; YES). The processing for one image of the reference image T is finished, and information such as the coordinates (i, j) of each pixel belonging to each group, the number of pixels, the coordinates of the left and right end pixels, the coordinates of the upper and lower end pixels, and the like. Is stored in a storage means (not shown).
また、処理部9の算出手段11における図19のステップS22、S23の処理、およびマッチング処理手段12におけるテンプレートマッチング等は第1の実施形態と同様であり、説明を省略する。
Further, the processing in steps S22 and S23 in FIG. 19 in the
なお、本実施形態では、注目画素pi,jと隣接する画素pとを統合する際に、画像データDに第1の実施形態の場合のような所定の閾値Dthを設けない。そのため、第1の実施形態では、基準画像Tのうち、所定の閾値Dth以上の画像データDを有する画素領域のみで複数のグループgが得られるが、本実施形態では、ノイズ等が生じた画素部分を除く基準画像Tのほぼ全ての画素領域が複数のグループgに分割された状態となる。 In the present embodiment, when the target pixel pi, j and the adjacent pixel p are integrated, the predetermined threshold value Dth as in the case of the first embodiment is not provided in the image data D. Therefore, in the first embodiment, among the reference image T, a plurality of groups g can be obtained only in the pixel area having the image data D equal to or greater than the predetermined threshold Dth. Almost all the pixel regions of the reference image T excluding the portion are divided into a plurality of groups g.
そのため、マッチング処理手段12におけるテンプレートマッチングの対象を、画像データDの平均値Daveが例えば前記所定の閾値Dth以上のグループgのみに限定するように構成してもよく、また、そのような限定を設けないように構成することも可能である。
Therefore, the template matching target in the
以上のように、本実施形態に係る環境認識装置においても、第1の実施形態に係る環境認識装置1と全く同様の効果を奏することが可能となる。
As described above, the environment recognition device according to the present embodiment can achieve the same effects as those of the
また、本実施形態に係る環境認識装置によれば、基準画像Tに撮像された1つの撮像対象を一体的に1つのグループgとして統合して抽出した後に、それらのグループgに対してテンプレートマッチングを行うことが可能となるため、例えば曲面上に有意情報が表示されているような場合にも的確に有意情報の内容を認識することが可能となる。 In addition, according to the environment recognition apparatus according to the present embodiment, after one imaging object captured in the reference image T is integrated and extracted as one group g, template matching is performed on the groups g. Therefore, for example, even when significant information is displayed on a curved surface, it is possible to accurately recognize the content of the significant information.
1 環境認識装置
2 撮像手段
6 距離検出手段
10 統合処理手段
11 算出手段
12 マッチング処理手段
13 路面検出手段
D、Di,j、Di-1,j、Di,j-1 画像データ
Dave 画像データの平均値
Dth 閾値
g、g1、g2 グループ
(ip,jp) 画素位置
M 一致度
p、pi-1,j、pi,j-1 隣接する画素
pi,j 注目画素(一の画素)
Ps、Pe 開始点、終了点(2点)
ps、pe 画素エッジ
T 基準画像(画像)
Te テンプレート
Y 実空間上の高さ
Y−Y*、Yi,j−Y* 道路面からの高さ
Z、Zi,j、Zp 実空間上の距離
|Zi,j−Zp| 差分
ΔD エッジ強度(差分)
ΔDth 第1閾値
δD 平均値差分(差分)
δDth 第2閾値
θ 水平方向に対する距離方向の傾き(実空間上の傾き)
φ 高さ方向に対する距離方向の傾き(実空間上の傾き)
DESCRIPTION OF
Ps, Pe start point, end point (2 points)
ps, pe Pixel edge T Reference image (image)
Te template Y height in real space YY * , Yi, j-Y * height Z, Zi, j, Zp from road surface distance in real space | Zi, j-Zp | difference ΔD edge strength ( Difference)
ΔDth first threshold value δD average value difference (difference)
δDth 2nd threshold θ Inclination of distance direction with respect to horizontal direction (inclination in real space)
φ Inclination in the distance direction relative to the height direction (inclination in real space)
Claims (20)
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において隣接する複数の画素について、当該複数の画素の各画像データに基づいて当該複数の画素を1つのグループに統合する統合処理手段と、
前記グループに属する画素に対応する前記実空間上の距離に基づいて、前記グループの実空間上の大きさを算出する算出手段と、
前記実空間上の大きさが所定の大きさである前記グループに対して、前記グループと予め用意されたテンプレートのいずれかを正規化してテンプレートマッチングを行うことで、前記グループの有意情報を認識するマッチング処理手段と、
を備え、
前記統合処理手段は、一の前記画素の画像データが所定の閾値以上であり、かつ、前記一の画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データが前記所定の閾値以上である場合には、当該一の画素および前記隣接する画素を1つのグループに統合することを特徴とする環境認識装置。 Imaging means for imaging an image having image data for each pixel;
Distance detecting means for detecting a distance in real space for each pixel of the image;
Integration processing means for integrating the plurality of pixels into one group based on the image data of the plurality of pixels for a plurality of adjacent pixels in the image;
Calculating means for calculating the size of the group in the real space based on the distance in the real space corresponding to the pixels belonging to the group;
The group having a predetermined size in the real space is subjected to template matching by normalizing one of the group and a template prepared in advance, thereby recognizing significant information of the group. Matching processing means;
Equipped with a,
The integration processing means is a pixel in which the image data of one pixel is equal to or more than a predetermined threshold and the image data is transmitted before the one pixel in the same image as the one pixel. When the image data of a pixel adjacent to the one pixel is equal to or greater than the predetermined threshold, the one pixel and the adjacent pixel are integrated into one group. .
前記算出手段は、前記グループに属する画素に対応する前記実空間上の距離に基づいて前記画素に対応する実空間上の高さを算出し、前記実空間上の高さと前記路面検出手段が
検出した前記道路面の高さとの差分に基づいて、前記グループの実空間上の高さを算出することを特徴とする請求項3に記載の環境認識装置。 Road surface detection means for detecting the road surface by processing the image,
The calculation means calculates a height in the real space corresponding to the pixel based on a distance in the real space corresponding to the pixel belonging to the group, and the road surface detection means detects the height in the real space. The environment recognition apparatus according to claim 3 , wherein the height of the group in the real space is calculated based on a difference from the height of the road surface.
前記マッチング処理手段は、前記テンプレートマッチングを、前記複数種類のテンプレートについてそれぞれ行い、その中で、算出した一致度が最も良く、かつ、前記一致度が所定の閾値より良い前記テンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする請求項1から請求項14のいずれか一項に記載の環境認識装置。 A plurality of templates are prepared in advance,
The matching processing means performs the template matching for each of the plurality of types of templates, and among them, the calculated matching degree is the best and the matching degree is associated with the template having a better than predetermined threshold value. information, environment recognition device according to any one of claims 14 to claim 1, characterized in that to recognize as the significant information.
前記マッチング処理手段は、前記テンプレートマッチングを行う際に、前記グループまたは正規化された前記グループの画素の前記画像データが、前記テンプレートまたは正規化された前記テンプレートの対応する画素に割り当てられた前記数値範囲内の値であるか否かに基づいて前記一致度を算出することを特徴とする請求項15に記載の環境認識装置。 The template is formed by assigning, to the pixels constituting the template, any of a predetermined number of numerical ranges that divide the entire range of numerical values of the image data that can be taken by the pixels of the image.
The matching processing means, when performing the template matching, the numerical value assigned to the pixel corresponding to the template or the normalized template is the image data of the pixel of the group or the normalized group The environment recognition apparatus according to claim 15 , wherein the degree of coincidence is calculated based on whether the value is within a range.
から除外することを特徴とする請求項1から請求項16のいずれか一項に記載の環境認識装置。 2. The matching processing unit, when it is determined that the imaging target corresponding to the group is a moving object, excludes the group corresponding to the imaging target from the template matching target. The environment recognition device according to claim 16 .
前記マッチング処理手段は、サンプリング周期ごとに同一の撮像対象として連続して検出された前記グループに対して前記テンプレートごとにそれぞれ算出された一致度をサンプリング周期ごとに加算し、
前記サンプリング周期ごとの加算値に基づいて最も一致する前記テンプレートを選定し、当該選定されたテンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする請求項1から請求項17のいずれか一項に記載の環境認識装置。 A plurality of templates are prepared in advance,
The matching processing means adds the degree of coincidence calculated for each template to the group continuously detected as the same imaging target for each sampling period, for each sampling period,
Select the template that best matches based on the sum of each of the sampling period, the information associated with the selected template, claim from claim 1, characterized in that to recognize as the significant information 17 The environment recognition device according to any one of the above.
前記所定の閾値は、前記画素ごとのカラーの画像データから赤色の画素を抽出するように設定されていることを特徴とする請求項1に記載の環境認識装置。 The image data is color image data,
The environment recognition apparatus according to claim 1 , wherein the predetermined threshold is set so as to extract red pixels from color image data for each pixel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009072100A JP5188429B2 (en) | 2009-03-24 | 2009-03-24 | Environment recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009072100A JP5188429B2 (en) | 2009-03-24 | 2009-03-24 | Environment recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010224918A JP2010224918A (en) | 2010-10-07 |
JP5188429B2 true JP5188429B2 (en) | 2013-04-24 |
Family
ID=43042033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009072100A Active JP5188429B2 (en) | 2009-03-24 | 2009-03-24 | Environment recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5188429B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012226689A (en) * | 2011-04-22 | 2012-11-15 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP5386539B2 (en) * | 2011-05-12 | 2014-01-15 | 富士重工業株式会社 | Environment recognition device |
JP5386537B2 (en) * | 2011-05-12 | 2014-01-15 | 富士重工業株式会社 | Environment recognition device |
JP6114572B2 (en) * | 2013-02-26 | 2017-04-12 | ヤマハ発動機株式会社 | Object area estimation method, object area estimation apparatus, object detection apparatus including the object area, and vehicle. |
JP6337504B2 (en) * | 2014-02-21 | 2018-06-06 | 株式会社リコー | Image processing apparatus, moving body, robot, device control method and program |
JP6886136B2 (en) * | 2016-03-31 | 2021-06-16 | 株式会社デンソーアイティーラボラトリ | Alignment device, alignment method and computer program for alignment |
JP7138718B2 (en) | 2018-10-30 | 2022-09-16 | 三菱電機株式会社 | Feature detection device, feature detection method, and feature detection program |
JP7258632B2 (en) * | 2019-04-10 | 2023-04-17 | 日立Astemo株式会社 | object detector |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (en) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | On-vehicle outside monitoring device |
JP3748164B2 (en) * | 1998-02-06 | 2006-02-22 | 富士通株式会社 | Pattern extraction device |
JP4423524B2 (en) * | 2000-07-24 | 2010-03-03 | ソニー株式会社 | Label detection apparatus, label detection method, and recording medium |
JP4754118B2 (en) * | 2001-08-09 | 2011-08-24 | パナソニック株式会社 | Labeling apparatus and labeling method |
JP2008026999A (en) * | 2006-07-18 | 2008-02-07 | Sumitomo Electric Ind Ltd | Obstacle detection system and obstacle detection method |
JP5047658B2 (en) * | 2007-03-20 | 2012-10-10 | 株式会社日立製作所 | Camera device |
-
2009
- 2009-03-24 JP JP2009072100A patent/JP5188429B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010224918A (en) | 2010-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5188429B2 (en) | Environment recognition device | |
JP5188430B2 (en) | Image processing device | |
JP4930046B2 (en) | Road surface discrimination method and road surface discrimination device | |
JP5254102B2 (en) | Environment recognition device | |
JP5591730B2 (en) | Environment recognition device | |
JP4956452B2 (en) | Vehicle environment recognition device | |
JP5631581B2 (en) | Road recognition device | |
US8305431B2 (en) | Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images | |
JP5127182B2 (en) | Object detection device | |
US8976999B2 (en) | Vehicle detection apparatus | |
JP5180126B2 (en) | Road recognition device | |
JP4363295B2 (en) | Plane estimation method using stereo images | |
JP6156400B2 (en) | Traveling road surface detection device and traveling road surface detection method | |
JP4714104B2 (en) | Object tilt detection device | |
US20130223689A1 (en) | Exterior environment recognition device | |
JP6150164B2 (en) | Information detection apparatus, mobile device control system, mobile object, and information detection program | |
JP5073700B2 (en) | Object detection device | |
JP2007264712A (en) | Lane detector | |
JP4956099B2 (en) | Wall detector | |
CN107220632B (en) | Road surface image segmentation method based on normal characteristic | |
JP5091897B2 (en) | Stop line detector | |
JP6683245B2 (en) | Image processing device, image processing method, image processing program, object recognition device, and device control system | |
CN110488320B (en) | Method for detecting vehicle distance by using stereoscopic vision | |
JP4574157B2 (en) | Information display device and information display method | |
JP2007140828A (en) | Sign recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5188429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |