JPH0676065A - Method and device for recognizing road circumstances - Google Patents

Method and device for recognizing road circumstances

Info

Publication number
JPH0676065A
JPH0676065A JP4226897A JP22689792A JPH0676065A JP H0676065 A JPH0676065 A JP H0676065A JP 4226897 A JP4226897 A JP 4226897A JP 22689792 A JP22689792 A JP 22689792A JP H0676065 A JPH0676065 A JP H0676065A
Authority
JP
Japan
Prior art keywords
data
image data
sample
area
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4226897A
Other languages
Japanese (ja)
Inventor
Makoto Shiotani
Yuko Teranishi
真 塩谷
優子 寺西
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP4226897A priority Critical patent/JPH0676065A/en
Publication of JPH0676065A publication Critical patent/JPH0676065A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE:To reduce the capacity of a memory to be used, to increase the processing speed, and to meet the personal needs with an inexpensive device with respect to the road circumstance recognition method using picture recognition as the driver aid. CONSTITUTION:This method consists of a picture input device 1, a picture data storage memory 2 where input picture data is stored, a feature point extraction processing 3 which extracts feature points of a picture, an area extraction processing 4 which extracts a mark area, a feature point interpolation processing 5 which connects feature points, a sample area designating part 6 which designates a sample area, a sample data storage memory 7, a picture data comparison processing 8 which compares the input picture with sample data, and a display device 9 on which the recognition result is displayed. Since the preprocessing of picture processing is omitted and partial data is processed, the memory capacity to be used is reduced, and the processing speed is increased. Since sample data is inputted, recognition meeting the personal purpose is realized.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】自動車運転時の運転者支援の方法として、道路上の車線や障害物、標識等を認識して運転者に知らせたり、自動的に停止したりする方法がある。 As a method of driving a car when the driver assistance BACKGROUND OF THE, lane or an obstacle on the road, or to know to recognize the signs, etc. driver, there is an automatic way or to stop.
本発明は道路環境の画像を処理することにより、運転者の支援をしたり、自動運転のための基本情報を得る道路環境認識方法及び装置に関する。 By the present invention for processing an image of the road environment, or the support of the driver, to a road environment recognition method and apparatus for obtaining basic information for automatic operation.

【0002】 [0002]

【従来の技術】道路環境の画像認識技術において、標識・信号・道路表示などの認識方法が多種提案されている。 The image recognition technology BACKGROUND ART road environment recognition method such as labeling, signal-road display are proposed. 例えば、標識の認識については、特開平1−265 For example, for recognition of labels, Hei 1-265
400号で、道路領域を求め、その結果から標識等が存在する領域を推定し、その領域から特徴点を抽出して、 400 No. obtains road area, estimates the area where there are signs, etc. from the result, and extracts feature points from the region,
色・形状・大きさ等から標識を認識する方法が提案されている。 Method of recognizing labeling has been proposed from the color, shape, size, etc.. さらに、道路の認識については、特開平1−2 In addition, for the recognition of the road, JP-A-1-2
65399号で、特徴点および色及び面積等から道路の領域を認識する方法が提案されている。 In No. 65 399, a method of recognizing an area of ​​the road has been proposed from the feature point and the color and the area or the like.

【0003】 [0003]

【発明が解決しようとする課題】上記従来技術では、入力した画像のすべての領域で特徴点抽出、ノイズ処理を行い、いくつかの領域に分け、それらの色や形状などから道路を認識している。 In THE INVENTION to be solved INVENTION The above prior art, the feature point extraction in all areas of the input image, performs noise processing, divided into several areas, and recognizes the road etc. their color and shape there. また、認識された道路から、標識等の位置を推定し、標識の認識を行っている。 Further, from the recognized road, to estimate the position of the marker, etc., it is performed recognition of the label. 従って、入力画像1画面あたりの処理時間が長く、また処理に必要なメモリ領域が大きくなってしまっている。 Accordingly, the input image 1 processing time per picture is long, also the memory area necessary for the processing is has become larger. また、多種にわたる標識等の認識について、それらの特徴量の違いを考慮に入れていない。 Moreover, the recognition of the signs, etc. over a wide, do not take into account the differences in their characteristic quantity. また、使用者への認識結果の通知方法については特に述べられていない。 Moreover, it not mentioned especially the method of notifying the recognition result to the user.

【0004】本発明の第1の目的は、上記課題を解決し、処理時間が短く、少ないメモリ領域で処理できる道路環境認識方法を提供することにある。 [0004] The first object of the present invention is to solve the above problems, a short processing time is to provide a road environment recognition method that can be processed with less memory space. 第2の目的は、 A second object of the present invention,
種々の標識等を使用者が指定することにより、指定された種類の標識を個別に認識することにある。 By specifying the user a variety of labels, such as is to recognize individually labeled for the specified type. 第3の目的は、解像度の低いビデオカメラや、処理速度の遅い演算装置でも認識ができるようにし、安価な装置での道路環境認識を可能とすることにある。 A third object of the low and video cameras resolution, also to allow recognition by the slow computing device processing speed is to enable road environment recognition in inexpensive apparatus. 第4の目的は、車線や標識等の認識結果を効率的に使用者に通知することを目的とする。 A fourth object of is intended to notify the recognition result such as lane and labeled efficiently user.

【0005】 [0005]

【課題を解決するための手段】上記目的を実現するための、本発明の構造図が図1である。 For achieving the above object, there is provided a means for solving], a structure diagram of the present invention is shown in FIG 1.

【0006】画像データ入力装置1によって入力した画像データは、画像データ記憶メモリ2に記憶される。 [0006] Image data input by the image data input device 1 is stored in the image data storage memory 2. サンプル領域指定部6によりユーザが認識したい標識等を指定するための構成である。 A configuration for specifying a label or the like to be recognized user by the sample area specifying unit 6. 特徴点抽出処理3は、画像データの1部の特徴を抽出する処理であり、この特徴をもとに領域抽出処理4は標識の候補を抽出し、特徴点補間処理5は車線を抽出する。 Feature point extraction process 3 is a process for extracting a feature of a portion of the image data, the area extracting process 4 this feature based extracts candidates of the label, the feature point interpolation 5 extracts the lane. 画像データ比較処理8は、 Image data comparison process 8,
サンプルデータと入力画像データの特徴を比較して指定された標識であるかを判定する。 By comparing the characteristics of the sample data and the input image data and determines whether the specified label. 表示装置9は、入力画像及び認識結果を表示する。 Display device 9 displays the input image and the recognition result.

【0007】 [0007]

【作用】サンプルデータを入力するようにして、サンプルデータと入力データを比較して認識を行うようにしたので、目的の標識等を個別に認識できるようになり、使用者の意図に対応した認識ができるようになった。 [Action] sample data so as to enter a recognized, because to perform the recognition by comparing the sample data and the input data, which will be able to recognize individually labeled like object, corresponding to the user's intention now it is. 標識等の形状・大きさ・色を厳密な計算や、ノイズ処理を省略しても認識できるようにしたので、解像度の低いカメラで入力した、ぼけが存在したりノイズのある画像でも画像認識できるようになった。 The shape, size and color of signs, etc. and rigorous calculations, since to recognize be omitted noise processing, enter a low-resolution camera may image recognition in noisy images or there is blurring It became so. さらに、入力された画像データの1部または複数の部分を取り出して処理するようにし、ノイズ処理など画像認識における前処理を省略するようにしたので、認識にかかる処理時間が短縮でき、使用するメモリを削減できた。 Memory further removed a portion or portions of the input image data so as to process, since so as to omit the pre-processing in the image recognition, such as noise processing, which can shorten the processing time for recognition, use It was able to reduce. このことによって、 By this thing,
使用する画像入力装置(例えばカメラ)や、メモリを備えた演算処理装置、(例えばコンピュータ)がある程度安価なものでも、道路環境認識を行えるようになった。 And an image input device to be used (for example, a camera), the arithmetic processing unit having a memory, even ones is somewhat less expensive (e.g. computer), I was able to perform the road environment recognition.
車線上の安全領域を画像データに重ねて表示するようにしたので、使用者が一目で安全領域を確認できるようになった。 Because be displayed superimposed a safe area on the lane to the image data, the user can now check the safety area at a glance. 表示装置に認識結果表示部を設けたので、使用者が標識等を見逃しても、認識結果を表示装置上で確認できるようになった。 Is provided with the recognition result display unit in the display device, the user may miss a label or the like, can now be confirmed on the display device a recognition result.

【0008】 [0008]

【実施例】以下、図面にもとづき本発明の実施例を詳細に説明する。 EXAMPLES Hereinafter, the embodiment will be described in detail of the present invention based on the drawings.

【0009】図1は本発明のシステム構成図である画像データ入力装置1によって入力されディジタルデータに変換された画像データは、画像データ記憶メモリ2に格納される。 [0009] Figure 1 is the image data converted into digital data is input by the image data input device 1 is a system configuration diagram of the present invention is stored in the image data storage memory 2. サンプル領域指定部6は、指定された領域を画像データ記憶メモリ2から取り出し、特徴点抽出処理によって抽出された特徴データと共にサンプルデータ記憶メモリ7に格納する。 Sample area specifying unit 6 stores the specified area is taken out from the image data storage memory 2, together with the feature data extracted by the feature point extracting process in the sample data storage memory 7. 特徴点抽出処理3は、画像データ記憶メモリ2及びサンプル領域指定部6の画像データの特徴を抽出し、領域抽出処理4は抽出された特徴点を用いて、認識の対象物に対応する領域を抽出する。 Feature point extraction process 3, the image data storage memory 2 and sample area extracting a feature of the image data of the designated section 6, the area extracting process 4 using the feature points extracted, a region corresponding to the object of recognition Extract. サンプルデータの領域を抽出した場合は、サンプルデータ記憶メモリ7にその領域の特徴等を記録しておき、画像データ記憶メモリ2のデータの場合は、画像データ比較処理8に領域データをわたす。 When extracting the region of the sample data, the sample data storage memory 7 Record the characteristics or the like of the region, if the data in the image data storage memory 2, pass area data to the image data comparison process 8. 画像データ比較処理8は、 Image data comparison process 8,
サンプルデータ記憶メモリ7と領域抽出処理4のデータを比較し、サンプルデータと同じものかどうか判断し、 Comparing the data of the sample data storage memory 7 and the region extracting process 4, it is determined whether the same sample data,
同じと判断された場合は表示装置9に表示する。 If it is determined that the same is displayed on the display device 9. 図2 Figure 2
は、画像データの1例である。 Is an example of the image data. 斜線で示した部分10及びその特徴をサンプルデータとして記録しておくことにより、同じ特徴量の標識を認識することができる。 By recording portion 10 and its features hatched as sample data, it is possible to recognize the signs of the same feature quantity. 表示装置9を入力画像データの表示部と、認識結果の表示部にわけ、標識等の認識結果は、認識結果の表示部に表示する。 A display unit of the input image data to the display device 9, divided into the display portion of the recognition result, the recognition result of the labeling or the like on the display portion of the recognition result.

【0010】また、図2における線11〜16を部分データとして入力し、各線上の特徴点を結ぶことにより、 Further, enter the line 11-16 in FIG. 2 as the partial data, by connecting the feature points on each line,
現在自車のいる車線上の安全領域、すなわち、前方車両や障害物がなく、かつ、車線内である領域を切り出すことができる。 Safe area on the lane are here of the vehicle, i.e., no vehicle ahead or the obstacle, and can be cut out area is within the traffic lane. 図1における特徴点抽出処理3が部分的な画像データをとりだし、特徴点を抽出し、特徴点補間処理5に特徴点データをわたす。 The feature point extraction process 3 taken out partial image data in FIG. 1, feature points are extracted, and passes the feature point data to the feature point interpolation 5. 特徴点補間処理5は、各特徴点を横方向の座標順に並びかえ、それらの点を辺上にもつ多角形をつくる。 Feature point interpolation 5, rearranges each feature point coordinates order lateral, creating a polygon with those points on the sides. この多角形を画像データに重ねて表示装置9に表示することにより、車線上の安全領域を示す。 By displaying the polygon on the display device 9 superimposed on the image data, showing a safety area on the lane. または、多角形の形状や大きさなどを考慮して、前方車や障害物のセンターラインの認識を行う。 Or, in consideration of the polygonal shape and size, to recognize the centerline of the vehicle ahead or an obstacle.

【0011】以下、各処理の詳細な動作を説明する。 [0011] In the following, a detailed operation of each processing.

【0012】図3は、図1における特徴点抽出処理3の動作フローチャートである。 [0012] Figure 3 is an operational flowchart of the feature point extraction process 3 in Figure 1. 特徴点抽出処理3は、画像データ記憶メモリ2の画像データから、必要な部分を切り出す(ステップ101)。 The feature point extracting process 3, the image data of the image data storage memory 2, cut the necessary part (step 101). 切り出す部分は、例えば、 The part to be cut out, for example,
道路標識であれば左上部分、信号であれば上部分となり、道路の認識であれば図2に示した線11〜16のような線分となる。 Upper left portion if road signs, if the signal becomes upper part, if recognition of the road becomes a segment, such as lines 11 to 16 shown in FIG. 道路標識の認識のために切り出す部分の大きさは、大きいほど標識を見逃してしまう確率は低くなるが、処理する領域が大きくなるので、使用メモリ、処理時間共に大きくなってしまう。 The size of the portion to be cut out for the recognition of road signs, the more probability of a labeled miss is lower large, the area to be treated is large, use memory, resulting in the processing time it becomes both large. 領域の大きさは、演算装置の処理速度やメモリの容量によって決定される。 The size of the region is determined by the processing speed and memory capacity of the computing device. 次に、切り出した画像データのエッジを抽出する(102)。 Then, to extract the edge of the image data cut out (102). このとき、標識認識の場合は切り出した画像データの全てのエッジを抽出する。 At this time, if the sign recognition to extract all edges of the image data cut out. 道路認識の場合は、縦の線(図2における11〜13)は画像の下の部分、すなわち、自車に近い部分からエッジを捜していき、始めにエッジが見つかったところでエッジ抽出を終える。 For road recognition, vertical lines (in FIG. 2 11-13) is the lower part of the image, i.e., will seek an edge from a portion near the vehicle, completing the edge extraction at the edge is found at the beginning. 横の線(図2の14〜16)は画像の中央、すなわち、自車の正面から左右にそれぞれエッジを捜し、始めにエッジが見つかったところでエッジ抽出を終える。 Horizontal lines (14 to 16 in FIG. 2) is the center of the image, namely, searching for each edge to the left and right from the front of the vehicle, completing the edge extraction at the edge is found at the beginning.
縦及び横の線の場合と同様に自車から左右の斜め前方に向かう斜めの線を用い、その線を自車の方から遠ざかる方向にエッジを捜しても良い。 With diagonal line directed in vertical and horizontal lines and from the vehicle in the same manner obliquely forward of the left and right, may be looking for edges that line in the direction away from the side of the vehicle. それぞれの線上で見つかったエッジを、辺上の点として持つ領域が、求める安全領域となる。 The edge found in each line, a region with a point on the side, the safe area to be obtained. このようなエッジの捜査を行うのは、車線の認識の場合、前方の安全領域を認識するため、安全領域の外側の部分のエッジは必要ないため、自車に近い部分のエッジを求めるようにしたためである。 Perform investigation of such an edge in the case of recognition of the lane, for recognizing the front of the safety area, since there is no edge of the outer part of the safety region is required, to determine the portion of the edge close to the vehicle This is because the. この捜査方法により、不要なエッジ抽出は行わないため、処理時間をより短縮することができる。 The investigation method, unnecessary edge extraction since not performed, it is possible to further shorten the processing time. ノイズ処理を行わないので、誤ったエッジをひろってしまう可能性があるが、エッジ処理の際のしきい値を高くすることにより、ノイズに対処することができる。 Does not perform noise processing, there is a possibility of picking up wrong edge, by increasing the threshold when the edge processing, it is possible to cope with noise. 次に、切り出したデータが車線用データの場合(103)は、特徴点補間処理5へエッジデータを渡し(105)、そうでないときは、領域抽出処理4へ画像及びエッジデータを渡す(104)。 Then, if the extracted data is the lane data (103) passes the edge data to the feature point interpolation 5 (105), and if not, passes the image and edge data to the region extracting process 4 (104) .

【0013】図4は、領域抽出処理4の動作フローチャートである。 [0013] FIG. 4 is an operational flowchart of the region extracting process 4. 特徴点抽出処理3より画像データ及びエッジデータを入力すると(121)、縦横方向で連続した、エッジのない部分の領域を抽出する。 When inputting image data and the edge data from the feature point extraction process 3 (121), and continuous with the vertical and horizontal directions, and extracts the area of ​​portion without the edge. すなわち、縦及び横方向に隣り合った画素どうしがともにエッジのない部分であるとき、これらの画素が連続しているとみなす。 That is, when the vertical and the pixels each other next to each other in the lateral direction are both edge portion without, regarded as these pixels are continuous. このとき、領域のなかにエッジが存在しても、他の部分で領域が連続していれば、これを1つの領域と見なす。 At this time, even if there is an edge to within a region, if the continuous region elsewhere, regarded as this one area. 例えば、図11に示すような標識では、文字にあたる部分はエッジとして抽出されるが、文字のまわりはエッジがなく、標識内の文字以外の部分は連続したエッジのない部分となるので、この標識の文字以外の部分は1 For example, in the label, such as shown in FIG. 11, but portions corresponding to characters is extracted as an edge, around the character has no edge, the portion other than the character in the label is not part of a continuous edge, the label the part of the other characters 1
つの領域とみなす。 Regarded as a One of the area. エッジの連続性を見るのではなく、 Rather than see the continuity of the edge,
エッジのない部分の連続性を標識の認識に使用しているのは、標識の文字や矢印以外の部分は一様で色の変化があまりなく、エッジが少なく、エッジのない部分が連続していることが多いからである。 The continuity of the portion having no edge is used to recognize the labels are portions other than the label text and arrow without a lot change in the uniform color, the edge is small, no portion of the edge is continuously it is because there are many who are. もし、ノイズがあっても、ノイズは小さなエッジのかたまりとして現れることが多く、そのまわりでエッジのない部分が連続していれば、1つの領域として認識されてノイズは無視されるので、事実上ノイズ処理をしていることになる。 If, even when the noise, the noise appears often as a mass of small edge, if it is continuously portion having no edge around it, so it is recognized noise is ignored as a single region, virtually It will have been the noise processing. もし、エッジの連続性によって標識を認識するとすれば、ノイズがエッジとして検出されたり、逆にノイズによってエッジが消されてしまうことがあるので、エッジの連続した部分を追跡していくことによって標識を認識することは、前処理でノイズ消去を行わないかぎり困難である。 If, if recognizing labeled by continuity of the edge, or is detected as noise edge, since there is an edge in the opposite by noise is erased, labeled by going tracking successive portions of the edge recognizing is difficult unless performed noise cancellation preprocessing.
また、木や草むらなどの自然のもの等でエッジが複雑に存在する箇所と標識などのエッジの現れにくい箇所との区別もつけやすいという利点もある。 In addition, there is an advantage that also put easy to distinguish between the hard place of manifestation of the edge of such places and the labeled an edge in the nature of things, such as such as trees and grass are present complex.

【0014】次に、抽出された連続領域の色のヒストグラムを作成する(123)。 [0014] Then, to create a color histogram of the extracted continuous regions (123). 図5において、ディジタル画像の各画素は、赤R、緑G、青Bの3元色の輝度によって色が示されているとする。 5, each pixel of the digital image, the red R, green G, and color by ternary color intensity of the blue B are shown. 3元色各色のヒストグラムを作成する。 3 yuan color to create a histogram of each color. ヒストグラムは、横軸に輝度、縦軸に各輝度に対応する画素の数を表す。 Histogram represents the horizontal axis brightness, the vertical axis the number of pixels corresponding to each luminance. このとき、各色が例えば256段階の輝度で表されるとすると、ヒストグラムは、256段階全ての画素数を取るのではなく、例えば16段階に輝度の大きさをわけて、ヒストグラムを作るようにする。 In this case, when each color is represented by 256 stages of brightness, histogram, rather than taking the number of 256 steps every pixel, and dividing the size of the luminance, for example, 16 stages, so as make a histogram . 今、ある画素の赤の輝度が256段階でr Now, r in the red of the brightness of a pixel is 256 levels
のとき、ヒストグラムでは、r/16番目にこの画素が加算される。 When, in the histogram, the pixel is added to the r / 16 th. このヒストグラムの作成方法によって、メモリの節約、さらに、後の処理の時間短縮につながる。 By creating this histogram, saving memory, further, leading to faster time later processing.
次に、領域の形状と面積を算出する(124)。 Then, to calculate the shape and area of ​​the region (124). しかし、形状の算出は、まわりの環境によっては省略可能である。 However, the calculation of the shape, depending on the environment surrounding be omitted. 市街地など、標識のまわりにさまざまな色や形状の建造物や看板などがある場合は、誤認識を防ぐために形状を判断の材料にする必要があるが、まわりが林や田畑のような背景を持つものに対しては、色の情報と面積のみで標識の認識は可能である。 City like, if there is such as buildings and signs of different colors and shapes around the label, it is necessary to the material of determined shape to prevent erroneous recognition, around the background, such as forests and fields for those with only recognition of the label color of the information and the area it is possible. 形状の算出は見る方向による形状の歪みなどに対する補正を必要とするので、 Since the calculation of the shape requires compensation for such distortion of shape due to the viewing direction,
処理時間が長くなるので、省略可能な場合はなるべく行わないようにする。 Since the processing time is long, it is not performed as much as possible if optional. 次に、入力データがサンプルデータであるときは(125)、色ヒストグラムと領域の形状や面積の情報をサンプルデータ記憶メモリ7に格納する(126)。 Next, when the input data is sample data (125), it stores information of the shape and area of ​​the color histogram and the area of ​​the sample data storage memory 7 (126). そうでないときは、画像データ比較処理へ同様のデータをおくる(127)。 Otherwise, send the same data to the image data comparison process (127).

【0015】図6(a)は、特徴点抽出処理3によって抽出された車線の特徴点の位置を表す図である。 [0015] FIG. 6 (a) is a diagram showing the positions of the feature points of the lane extracted by the feature point extraction process 3. 画面2 Screen 2
00で、横方向で左から右へx軸、縦方向で上から下へy軸とする。 00, the y-axis x-axis in the horizontal direction from left to right, from top in the longitudinal direction down. 点201〜208はそれぞれ図2の線11 Line 11 of the point 201 to 208, respectively Figure 2
〜16上で抽出された特徴点である。 A feature point extracted on to 16. 図6(b)は、これらの特徴点をx座標の小さい順に線分で結んでいくことにより作成した多角形である。 6 (b) is a polygon created by going by connecting line segments of these feature points in ascending order of the x coordinate. この多角形内が車線上の安全領域となる。 Within this polygon is the safe area on the lane.

【0016】図7は、特徴点補間処理5の動作フローチャートである。 [0016] Figure 7 is an operational flowchart of the feature point interpolation 5. 特徴点抽出処理3からエッジの位置を入力し(141)、それらのエッジをx座標の小さい順に並びかえ(142)、並びかえた順に線分で結んで多角形を作成し(143)、表示する(144)。 Enter the position of the edge from the feature point extraction process 3 (141), their edges rearranged in ascending order of x-coordinate (142), connects with line segments in the order in which rearranged to create a polygon (143), a display to (144). 車線の形状は直線だけでなく、カーブなどさまざまであるが、上記のように特徴点を結んだ多角形は、これらの形状に近似したものが得られる。 The shape of the lane is not only linear, but curved vary like, polygon connecting the feature points as described above, an approximation to these shapes is obtained. より近似した多角形を得るのは、画像データ記憶メモリから取り出す線の数を増やすことによって可能だが、線の数は処理に必要なメモリ容量及び処理時間と比例するので、用いる演算装置やメモリの能力によって決められる。 To obtain a more approximated polygon image data's possible by increasing the number of lines to be extracted from the storage memory, but since the number of lines proportional to the memory capacity and processing time required for processing, the arithmetic unit and the memory used It is determined by the ability.

【0017】図8は、画像データ比較処理8の動作フローチャートである。 [0017] FIG. 8 is an operation flowchart of an image data comparison process 8. 領域抽出処理4から画像データ及びエッジデータを入力し(161)、サンプルデータ記憶メモリ7からサンプルデータを入力する(162)。 Inputting image data and the edge data from the area extracting process 4 (161), inputting the sample data from the sample data storage memory 7 (162). 入力した2つのデータを比較して同等のデータであると判断すると(163)、その結果を表示装置9に表示する(164)。 When it is determined that the equivalent data by comparing the two data input (163), and displays the result on the display device 9 (164). このとき、画像データと、サンプルデータは、まわりの明るさ、光線の角度、自車との距離や、カメラの角度などによって、色や大きさ、形状が多少異なる場合がある。 At this time, the image data, sample data, the brightness of the surrounding, the angle of the light beam, and the distance between the vehicle, such as by the angle of the camera, color and size, there is a case where the shape is slightly different. したがって、同等のデータであるかを判断する際に、上記のようなまわりの環境の差を考慮に入れる必要がある。 Therefore, when determining whether the equivalent data, it is necessary to take into account the differences in the environment surrounding as described above.

【0018】以上のように、図1の各構成要素が動作することによって、道路環境認識が実現する。 [0018] As described above, by the components of FIG. 1 operates, road environment recognition is realized.

【0019】次に、認識結果を表す方法について述べる。 Next, it will be described a method of representing the recognition result. 図9に、表示装置9の表示画面の例を示す。 9 shows an example of a display screen of the display device 9. 図9 Figure 9
(a)及び(b)は、車線の認識結果を表示した例である。 (A) and (b) is an example of displaying the recognition result of the lane. (a)は、入力画像の上に、認識結果の多角形を重ねて示した図である。 (A) is, on the input image is a diagram showing overlapping polygons recognition result. これによって、ユーザは前方の安全な領域を一目で理解できる。 Thus, the user can understand at a glance the secure area of ​​the front. これにたいし、図(b) On the other hand, as shown in FIG. (B)
は、多角形のかわりに特徴点を線分で結んだものである。 It is obtained by connecting the feature point in the line in place of the polygon. これは、(a)の表示を簡便化するとともに、安全領域内の道路を完全に覆ってしまわないため、ユーザが認識結果を確認することができる。 This serves to simplify the display of (a), since no Shimawa completely cover the road safety area, the user can confirm the result of recognition. この他、前方の特徴点の位置を文字として表示したり、音声によってユーザに知らせる方法が考えられる。 In addition, it is considered a method of informing to view the position of the front of the feature points as a character, to the user by voice. これは、カメラの設置位置や角度から、画面の縦方向の位置すなわち、y座標が自車からどの位の距離にあたるかあらかじめ測定しておき、特徴点のy座標から、前方車等の障害物までの距離を算出することによって可能である。 This is because the installation position and angle of the camera, the position in the vertical direction of the screen i.e., y coordinates measured in advance or corresponds to how much the distance from the vehicle, the y coordinates of the feature points, obstacles such as preceding vehicle it is possible by calculating the distance to.

【0020】図9(c)は、標識認識結果の表示例である。 FIG. 9 (c) is a display example of a sign recognition result. 表示画面を入力画像表示部301と標識認識結果表示部302にわける。 Divide the display screen in the input image display unit 301 and the label recognition result display unit 302. 画像データ記憶メモリ2から切り出した部分データ内に標識があると認識したときは、部分データを標識結果表示部302に表示する。 When it recognizes that there is a sign in the image data storage memory 2 from the cut-out in the partial data displays the partial data to the labeling result display unit 302. 部分データ内から標識の領域を取り出して表示する方法もあるが、標識を取り出す処理に時間がかかると思われる。 There is a method of displaying the inside partial data is taken out labeling of regions, but seems to time to the process of taking out the label is applied. また、図9(c)のように、標識認識結果表示部にいくつかの認識結果を表示し、最新の認識結果は太い枠などで印をつける。 Further, as shown in FIG. 9 (c), the display some recognition result to the sign recognition result display section, the latest recognition result marked in such a thick border. これによってユーザは、見落とした標識の確認等ができるようになる。 Thus the user will be able to confirmation of oversight label.

【0021】図10は、サンプル領域指定部6におけるサンプル領域の指定方法を示す。 [0021] FIG. 10 illustrates a method for specifying the sample area in the sample area specifying unit 6. 図10(a)は、サンプルとして指定する標識が矩形の場合の指定方法で、始点及び終点の位置を入力するか、または始点位置と縦横長を入力する。 10 (a) it is labeled to specify the samples with the specified method in the case of rectangular, either type the position of the start and end points, or inputs a starting position and aspect length. 位置の入力は、数字をキーボード等から入力する他、マウス・トラックボール・ライトペン・タッチパネル等画面上の点を直接入力することができるデバイスを使用することで簡略化できる。 Input position, other inputting numbers from the keyboard or the like, can be simplified by using a device capable of inputting a point mouse trackball light pen touch panel on the screen directly. 図10(b)および(c)は標識矩形以外の形状を持つ場合の入力方法である。 Figure 10 (b) and (c) is the input method when having a shape other than labeled rectangles. (b)はライトペン等で標識の輪郭をなぞる方法で、(c)は(a)と同様に標 識を含む矩形領域を指定する方法である。 (B) a method of tracing the contour of the label in the light pen or the like, (c) is a method to specify a rectangular region including the similarly-labeled with (a). (c)の方法では、なるべく標識以外の部分を含まないように指定することにより、誤認識の確率を減らすことができる。 In the method (c), by specifying so as not to include portions other than the possible label, it is possible to reduce the probability of erroneous recognition. これらの方法以外に、 In addition to these methods,
いくつかの形状(矩形、円、三角形など)のいくつかの大きさの標準的な領域を用意しておき、ユーザはその中から適当なものを選択して、領域の中心などの位置をタッチパネル等から入力する方法もある。 Some shapes (rectangles, circles, triangles, etc.) are prepared several size standard region of the user can select the appropriate one from among them, a touch panel positions such as the center of the area there is also a method for input from, and the like.

【0022】 [0022]

【発明の効果】本方法により、サンプルデータを入力できるようにしたので、使用者の意図にあった標識の認識ができるようになった。 EFFECT OF THE INVENTION The present method, since to be able to enter the sample data, has enabled recognition of label was in the user's intention. また、ノイズ処理等の前処理を省略しても画像認識ができるようにしたので、標識認識、車線認識共に処理時間が短くなった。 Further, since the allow image recognition be omitted preprocessing noise processing such as sign recognition, the processing time in the lane recognition both shortened. 入力画像から必要な部分のみを取り出して処理するようにしたので、 Since so as to fetch and process only the necessary portion from the input image,
処理に必要なメモリが少なくなり、処理時間が短くなった。 Memory becomes less necessary for the processing, the processing time is shortened. 家庭用ビデオカメラ、パーソナルコンピュータでも道路環境認識ができるようになったため、安価な道路環境認識装置ができるようになった。 For home video camera, also in the personal computer has enabled road environment recognition, it was able to inexpensive road environment recognition device.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明のシステム構成図。 [1] System Configuration diagram of the present invention.

【図2】部分データの説明図。 FIG. 2 is an explanatory diagram of the partial data.

【図3】特徴点抽出処理の動作フローチャート。 [3] operation flowchart of the feature point extraction process.

【図4】領域抽出処理の動作フローチャート。 [4] Operation flowchart of area extraction processing.

【図5】色ヒストグラムの説明図。 FIG. 5 is an explanatory diagram of a color histogram.

【図6】車線上の特徴点の説明図。 Figure 6 is an illustration of the feature points on the lane.

【図7】特徴点補間処理の動作フローチャート。 [7] Operation flowchart of the feature point interpolation process.

【図8】画像データ比較処理の動作フローチャート。 [8] a flowchart showing an operation of the image data comparison processing.

【図9】画面表示例の説明図。 FIG. 9 is an explanatory diagram of a screen display example.

【図10】サンプル領域指定方法の説明図。 FIG. 10 is an explanatory diagram of a sample area designation method.

【図11】連続領域の説明図。 Figure 11 is an explanatory view of the continuous region.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…画像データ入力装置、2…画像データ記憶メモリ、 1 ... image data input unit, 2 ... image data storage memory,
3…特徴点抽出処理、4…領域抽出処理、5…特徴点補間処理、6…サンプル領域指定部、7…サンプルデータ記憶メモリ、8…画像データ比較処理、9…表示装置。 3 ... the feature point extracting process, 4 ... area extracting process, 5 ... feature point interpolation, 6 ... sample area designating unit, 7 ... sample data storage memory, 8 ... image data comparison process, 9 ... display device.

Claims (7)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】画像データ入力装置より画像データを入力し、入力された画像データを画像データ記憶メモリに記憶し、部分的な画像データの特徴点を抽出し、画像データ及び特徴点データから領域を抽出し、部分的な特徴点データを補間し、サンプルの領域を指定し、サンプル領域の特徴をサンプルデータ記憶メモリに記録し、サンプルデータと入力画像データの特徴を比較し、比較結果を表示装置に表示する道路環境認識方法。 1. A inputs the image data from the image data input unit, and stores the input image data into the image data storage memory, extracts feature points of the partial image data, area from the image data and the feature point data extracting, interpolates partial feature point data, a specified region of the sample, record the characteristics of the sample area in the sample data storage memory, by comparing the characteristics of the sample data and the input image data, displays the result of the comparison road environment recognition method to be displayed on the device.
  2. 【請求項2】上記サンプル領域指定部により、画像データ中の道路標識等の含まれる領域を指定し、標識の色情報等の特徴量をサンプルデータとして入力し、サンプルデータ記憶メモリに入力し、画像データ比較処理により入力画像内のデータの特徴量情報とサンプルデータ記憶メモリ内の情報を比較することによって道路標識等を認識する請求項1項の道路環境認識方法。 The method according to claim 2, wherein said sample area specifying unit specifies the area containing the road signs or the like in the image data, and inputs the feature quantity such as the color information of the label as the sample data inputted into the sample data storage memory, road environment recognition method for recognizing claim 1 wherein the road sign or the like by comparing information of the feature amount information and the sample data stored in a memory of the data in the input image by the image data comparison processing.
  3. 【請求項3】上記画像データ入力装置によって入力された画像データの1部または複数部分をとりだし、特徴点抽出処理により取り出された部分的画像データを特徴点を抽出し、領域抽出処理により部分的画像データおよび特徴点から領域を抽出することにより、車線等を認識する請求項1項の道路環境認識方法。 3. Take the part or parts of the image data input by the image data input device, the partial image data extracted by the feature point extraction process to extract feature points, partly by the region extracting process by extracting the area from the image data and the feature points, road environment recognition method of the lane or the like that recognizes claim 1 wherein.
  4. 【請求項4】道路環境画像を入力するビデオカメラ、ビデオ信号をディジタルデータに変換するビデオデータ変換装置、変換したディジタルデータ及びサンプルデータを記憶するメモリを具備した、ディジタルデータから道路環境認識処理を行う演算処理装置からなる道路環境認識装置。 4. A video camera for inputting road environment image, video data converter for converting the video signal into digital data, and includes a memory for storing the converted digital data and the sample data, the road environment recognition processing from the digital data road environment recognition apparatus comprising a processing unit that performs.
  5. 【請求項5】道路環境画像を入力する家庭用ビデオカメラ、ビデオ信号をディジタルデータに変換するビデオデータ変換装置、変換されたディジタルデータから道路環境認識処理を行うパーソナルコンピュータからなる道路環境認識装置。 5. A home video camera for inputting road environment image, video data converter for converting the video signal into digital data, road environment recognition device comprising a personal computer for road environment recognition processing from the transformed digital data.
  6. 【請求項6】上記車線等の認識結果より求めた車線上の安全領域を表わす多角形または折線を、入力画像データに重ねて上記表示装置に表示する請求項1項の道路環境認識方法。 6. The polygonal or the polygonal line represents a safe area on the lane determined from the recognition result such as the lane, road environment recognition method of claim 1 wherein superimposed on the input image data displayed on the display device.
  7. 【請求項7】上記表示装置の表示画面上に認識結果表示部分を設け、認識した1つ以上の道路標識等の画像を該認識結果表示部分に表示する請求項1項の道路環境認識方法。 7. providing a recognition result display part on the display screen of the display device, road environment recognition method of claim 1 wherein an image such as one or more road signs recognized are displayed on the recognition result display portion.
JP4226897A 1992-08-26 1992-08-26 Method and device for recognizing road circumstances Pending JPH0676065A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4226897A JPH0676065A (en) 1992-08-26 1992-08-26 Method and device for recognizing road circumstances

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4226897A JPH0676065A (en) 1992-08-26 1992-08-26 Method and device for recognizing road circumstances

Publications (1)

Publication Number Publication Date
JPH0676065A true JPH0676065A (en) 1994-03-18

Family

ID=16852305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4226897A Pending JPH0676065A (en) 1992-08-26 1992-08-26 Method and device for recognizing road circumstances

Country Status (1)

Country Link
JP (1) JPH0676065A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001514110A (en) * 1997-08-23 2001-09-11 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Information instruction method in vehicle
JP2009163682A (en) * 2008-01-10 2009-07-23 Toyota Central R&D Labs Inc Image discrimination device and program
WO2012127776A1 (en) * 2011-03-23 2012-09-27 株式会社デンソー Vehicle display apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001514110A (en) * 1997-08-23 2001-09-11 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Information instruction method in vehicle
JP4690543B2 (en) * 1997-08-23 2011-06-01 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh Information instruction method in vehicle
JP2009163682A (en) * 2008-01-10 2009-07-23 Toyota Central R&D Labs Inc Image discrimination device and program
WO2012127776A1 (en) * 2011-03-23 2012-09-27 株式会社デンソー Vehicle display apparatus
JP2012213129A (en) * 2011-03-23 2012-11-01 Denso Corp Vehicle display apparatus
US8521423B2 (en) 2011-03-23 2013-08-27 Denso Corporation In-vehicle display apparatus

Similar Documents

Publication Publication Date Title
Betke et al. Multiple vehicle detection and tracking in hard real-time
US6801244B2 (en) Obstacle detection apparatus and method
KR100406889B1 (en) Map display device
US7640107B2 (en) Vehicle drive assist system
US5555312A (en) Automobile apparatus for road lane and vehicle ahead detection and ranging
JP3469345B2 (en) Filing apparatus and filing method of the image
US6178270B1 (en) Method and apparatus for selecting text and image data from video images
EP0157354B1 (en) Method for designating a recognition mode in a hand-written character/graphic recognizer
JP2006341641A (en) Image display apparatus and image display method
JP4624594B2 (en) Object recognition method and object recognition apparatus
US20130293582A1 (en) Method to generate virtual display surfaces from video imagery of road based scenery
US7050908B1 (en) Lane marker projection method for a motor vehicle vision system
US5270937A (en) Vehicle map position determining apparatus
JP2008217347A (en) License plate recognition device, its control method and computer program
US20080013789A1 (en) Apparatus and System for Recognizing Environment Surrounding Vehicle
JP4820712B2 (en) Road marking recognition system
JP3864945B2 (en) Road lane detection device
Turk et al. Video road-following for the autonomous land vehicle
US8005266B2 (en) Vehicle surroundings monitoring apparatus
US5123062A (en) OCR for sequentially displaying document layout according to recognition process
EP1383098B1 (en) System for automatic traffic sign recognition
CN100452093C (en) Device for detecting road traveling lane
JP2660727B2 (en) Automatic traveling device
US20120224060A1 (en) Reducing Driver Distraction Using a Heads-Up Display
JP2007052645A (en) Road marking recognition device and system