JP3153845B2 - Road surface monitoring device and road surface monitoring method - Google Patents
Road surface monitoring device and road surface monitoring methodInfo
- Publication number
- JP3153845B2 JP3153845B2 JP11454095A JP11454095A JP3153845B2 JP 3153845 B2 JP3153845 B2 JP 3153845B2 JP 11454095 A JP11454095 A JP 11454095A JP 11454095 A JP11454095 A JP 11454095A JP 3153845 B2 JP3153845 B2 JP 3153845B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- window
- road
- symmetry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000012544 monitoring process Methods 0.000 title claims description 20
- 238000012806 monitoring device Methods 0.000 title claims description 17
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
Description
【０００１】[0001]
【産業上の利用分野】この発明は、自車両が走行する道
路面に描かれている道路標示を監視する路面監視装置あ
るいは路面監視方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road surface monitoring device or a road surface monitoring method for monitoring a road sign drawn on a road surface on which a vehicle runs.
【０００２】[0002]
【従来の技術】従来より車両に搭載された撮像手段によ
り前方道路を撮像し、撮像された道路画像から画像処理
技術を用いて走行レーンを検出することが特開平４−２
９９７１０号公報あるいは特開平６−１４９３５９号公
報等により知られている。これらはいずれも、道路画像
においてその輝度が大きく変わるエッジを検出すること
により道路に沿って設けられた白線を認識している。2. Description of the Related Art Conventionally, it has been disclosed in Japanese Patent Application Laid-Open No. Hei 4-2, that an image of a road ahead is taken by an image pickup means mounted on a vehicle, and a traveling lane is detected from the taken road image by using an image processing technique.
No. 99710 or JP-A-6-149359. Each of these recognizes a white line provided along a road by detecting an edge whose luminance greatly changes in a road image.
【０００３】[0003]
【発明が解決しようとする課題】従来の走行レーン検出
装置、あるいは白線検出装置は以上のように道路画像の
エッジ情報をもとに検出しているので、例えば路面の汚
れや影を誤検出することがある。従って、これらの装置
を用いて路面に描かれている白線以外の複雑な道路標示
を検出するのは困難であるという問題点があった。Since the conventional driving lane detecting device or white line detecting device detects the road image based on the edge information of the road image as described above, for example, erroneous detection of dirt or shadow on the road surface is performed. Sometimes. Therefore, there is a problem that it is difficult to detect complicated road markings other than the white line drawn on the road surface using these devices.
【０００４】この発明は、上記のような問題点を解消す
るためになされたもので、道路画像のエッジ位置の情報
と前記画像の所定範囲を囲むウインドウ内の画像の対称
性が良いウインドウ位置とを検出することにより複雑な
道路標示を容易に検知することができる路面監視装置お
よび路面監視方法を得ることを目的としている。SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and it is intended to provide information on the edge position of a road image and a window position with good symmetry of an image in a window surrounding a predetermined range of the image. It is an object of the present invention to provide a road surface monitoring device and a road surface monitoring method that can easily detect a complicated road marking by detecting a road surface.
【０００５】[0005]
【課題を解決するための手段】この発明に係る路面監視
装置は、撮像手段により撮像された画像を水平方向に走
査して画像のエッジ位置を検出するエッジ位置検出手段
と、走査位置の近傍に設定され画像の所定範囲を囲むウ
インドウ内の画像の対称性を評価して対称性の良いウイ
ンドウ位置を求める対称性評価手段と、エッジ位置と対
称性の良いウインドウ位置に基づき路面に描かれている
道路標示を認識する認識手段とを備えたものである。According to the present invention, there is provided a road surface monitoring apparatus, comprising: an edge position detecting unit that scans an image captured by an imaging unit in a horizontal direction to detect an edge position of the image; Symmetry evaluation means for evaluating the symmetry of an image in a window surrounding a predetermined range of a set image to determine a window position with good symmetry, and being drawn on a road surface based on an edge position and a window position with good symmetry. And a recognition means for recognizing a road sign.
【０００６】また、この発明に係る路面監視装置は、検
出されたエッジ位置の間隔の経時変化に基づき路面に描
かれている道路標示を認識するものである。A road surface monitoring apparatus according to the present invention recognizes a road sign drawn on a road surface based on a temporal change in the detected edge position interval.
【０００７】また、この発明に係る路面監視装置は、対
称性の良いウインドウ位置が撮像画面の中央付近にあっ
て、且つその両側に位置するエッジ位置の間隔が時間の
経過に伴って広がり、再び狭くなるような変化をした場
合は前方に横断歩道があることを示す道路標示であると
判断するものである。Further, in the road surface monitoring apparatus according to the present invention, the window position having good symmetry is located near the center of the imaging screen, and the interval between the edge positions located on both sides of the window position increases with the passage of time. If the change has become narrower, it is determined that the road sign indicates that there is a pedestrian crossing ahead.
【０００８】また、この発明に係る路面監視装置は、エ
ッジ位置と対称性の良いウインドウ位置が水平方向に交
互に存在する時は横断歩道を示す道路標示であると判断
するものである。Further, the road surface monitoring apparatus according to the present invention judges that a road sign indicating a pedestrian crossing is present when window positions having good symmetry with the edge position exist alternately in the horizontal direction.
【０００９】また、この発明に係る路面監視装置は、認
識した道路標示を運転者に報知する報知手段を備えたも
のである。Further, the road surface monitoring apparatus according to the present invention is provided with a notifying means for notifying the driver of the recognized road marking.
【００１０】また、この発明に係る路面監視装置は、認
識した道路標示に応じて運転者に報知する報知方法を変
更する報知手段を備えたものである。Further, the road surface monitoring device according to the present invention includes an informing means for changing an informing method for informing a driver according to the recognized road marking.
【００１１】また、この発明に係る路面監視方法は、走
行する車両の前方路面の画像を水平方向に走査して画像
のエッジ位置を検出するステップと、走査位置の近傍に
設定され画像の所定範囲を囲むウインドウ内の画像の対
称性を評価して対称性の良いウインドウ位置を求めるス
テップと、エッジ位置と対称性の良いウインドウ位置に
基づき路面に描かれている道路標示を認識するステップ
とを備えたものである。According to another aspect of the present invention, there is provided a road surface monitoring method for scanning an image of a road surface ahead of a running vehicle in a horizontal direction to detect an edge position of the image, and a predetermined range of the image set near the scanning position. Evaluating the symmetry of the image in the window surrounding the window to obtain a window position with good symmetry, and recognizing a road marking drawn on the road surface based on the edge position and the window position with good symmetry. It is a thing.
【００１２】[0012]
【作用】この発明に係る路面監視装置は、撮像手段によ
り撮像された画像を水平方向に走査して画像のエッジ位
置を検出し、走査位置の近傍に設定され画像の所定範囲
を囲むウインドウ内の画像の対称性を評価して対称性の
良いウインドウ位置を求め、エッジ位置と対称性の良い
ウインドウ位置とに基づき路面に描かれている道路標示
を認識する。A road surface monitoring apparatus according to the present invention scans an image picked up by an image pickup means in a horizontal direction to detect an edge position of the image, and detects an edge position of the image in a window surrounding a predetermined range of the image set near the scanning position. The symmetry of the image is evaluated to determine a window position with good symmetry, and a road sign drawn on the road surface is recognized based on the edge position and the window position with good symmetry.
【００１３】また、この発明に係る路面監視装置は、検
出されたエッジ位置の間隔の経時変化に基づき路面に描
かれている道路標示を認識する。Further, the road surface monitoring apparatus according to the present invention recognizes a road sign drawn on the road surface based on a temporal change in the interval between the detected edge positions.
【００１４】また、この発明に係る路面監視装置は、対
称性の良いウインドウ位置が撮像画面の中央付近にある
ことを検出し、その両側に位置するエッジ位置の間隔が
時間の経過に伴って広がり、再び狭くなるような変化を
検出して、前方に横断歩道があることを示す道路標示を
認識する。Further, the road surface monitoring device according to the present invention detects that a window position having good symmetry is located near the center of the imaging screen, and the interval between the edge positions located on both sides thereof expands with time. Then, a change that narrows again is detected, and a road sign indicating that there is a pedestrian crossing ahead is recognized.
【００１５】また、この発明に係る路面監視装置は、エ
ッジ位置と対称性の良いウインドウ位置が水平方向に交
互に存在することを検出して、横断歩道を示す道路標示
を認識する。Further, the road surface monitoring device according to the present invention detects that a window position having a good symmetry with an edge position alternates in the horizontal direction, and recognizes a road sign indicating a pedestrian crossing.
【００１６】また、この発明に係る路面監視装置は、道
路標示を認識するとそれを運転者に報知する。When the road surface monitoring device according to the present invention recognizes the road sign, it notifies the driver of the recognition.
【００１７】また、この発明に係る路面監視装置は、認
識した道路標示に応じて運転者に報知する報知方法を変
更する。Further, the road surface monitoring device according to the present invention changes the notification method for notifying the driver according to the recognized road sign.
【００１８】また、この発明に係る路面監視方法は、走
行する車両の前方路面の画像を水平方向に走査して画像
のエッジ位置を検出し、走査位置の近傍に設定され画像
の所定範囲を囲むウインドウ内の画像の対称性を評価し
て対称性の良いウインドウ位置を求め、エッジ位置と対
称性の良いウインドウ位置に基づき路面に描かれている
道路標示を認識する。Further, in the road surface monitoring method according to the present invention, an image of a road surface ahead of a running vehicle is scanned in a horizontal direction to detect an edge position of the image, and is set near the scanning position and surrounds a predetermined range of the image. The symmetry of the image in the window is evaluated to determine the window position with good symmetry, and the road sign drawn on the road surface is recognized based on the edge position and the window position with good symmetry.
【００１９】[0019]
実施例１．以下、この発明の実施例を図について説明す
る。図１は実施例１の路面監視装置を示すブロック図で
あり、図中１は、レンズ２、二次元のイメージセンサ３
を備えた撮像手段である。４は上記撮像手段１により撮
像される車両前方の道路面、５はアナログ・デジタル変
換器、６、７はメモリ、８はマイクロコンピュータ、９
は撮像手段１により撮像された画像を表示する表示装
置、１０は車室内に配設されている報知手段としての報
知器で例えばブザー等で構成されている。なお、メモリ
６は演算処理用に設けられたメモリであって、撮像手段
１により得られた情報あるいはマイクロコンピュータ８
の演算結果などを格納するものである。これに対しメモ
リ７は画像処理用のメモリであって、撮像手段１により
得られた情報を表示装置９の画面に表示する、あるいは
マイクロコンピュータ８の演算結果を表示装置９の画面
に表示する、例えばウインドウ１４等の表示（スーパー
インポーズ）等を行うための情報を格納するものであ
る。Embodiment 1 FIG. Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a road surface monitoring apparatus according to a first embodiment. In FIG. 1, reference numeral 1 denotes a lens 2 and a two-dimensional image sensor 3.
This is an imaging means provided with: Reference numeral 4 denotes a road surface in front of the vehicle imaged by the imaging means 1, 5 an analog-to-digital converter, 6 and 7 memories, 8 a microcomputer, 9
Is a display device for displaying an image picked up by the image pick-up means 1, and 10 is a notifying device as notifying means provided in the vehicle cabin, and is constituted by, for example, a buzzer or the like. The memory 6 is a memory provided for arithmetic processing, and stores information obtained by the imaging means 1 or the microcomputer 8.
Is stored. On the other hand, the memory 7 is a memory for image processing, and displays information obtained by the imaging means 1 on a screen of the display device 9 or displays a calculation result of the microcomputer 8 on a screen of the display device 9. For example, it stores information for displaying (superimpose) the window 14 and the like.
【００２０】以上の構成を有する実施例１の動作を説明
する。例えば図２に示すように、走行中の車両前方を撮
像する撮像手段１による画像を表示する表示装置９の画
面に、道路上に描かれている菱形マーク１１（前方に横
断歩道があることを示す道路標示）および、白線（走行
区分帯）１２、１３が表示されたとする。マイクロコン
ピュータ８はエッジ位置検出手段を有し、このエッジ位
置検出手段は、表示装置９の画像のＡ線に沿って図示左
側から右側に向かって水平方向に走査し、この線上の画
像の微分信号、即ち輝度の差が大きな部分を求めこれに
より画像のエッジ位置を検出する。この時検出された微
分信号はエッジ位置信号であって、Ｂで示すように路面
に描かれている道路標示の端部に対応した正あるいは負
極性の位置信号で得られる。正極性の微分信号は、画像
が暗いところから明るいところに変化するエッジ位置を
示し、負極性の微分信号は、画像が明るいところから暗
いところに変化するエッジ位置を示す。さらに、マイク
ロコンピュータ８は対称性評価手段を有し、この対称性
評価手段は、上記Ａ線に沿って水平方向に１画素単位で
移動するウインドウ１４内の画像の左右対称性を評価
し、ウインドウ内の画像の対称性が良いウインドウ位置
を求める。このウインドウは、走査中の画素の近傍に設
定され画像の所定範囲を囲むものである。左右対称性を
評価した演算結果はＣのような波形で得られ対称性の良
いウインドウ位置は対称波形の谷の位置Ｐとして求めら
れる。なお、上記ウインドウ１４内の画像の左右対称性
を求める方法は特開平４−５０６１１号公報、特開平６
−７４７６１号公報等で衆知のものである。The operation of the first embodiment having the above configuration will be described. For example, as shown in FIG. 2, a screen of a display device 9 that displays an image obtained by the imaging unit 1 that captures an image of the front of a running vehicle is displayed on a screen of a diamond-shaped mark 11 drawn on a road. Suppose that the road markings shown) and the white lines (travel zone) 12, 13 are displayed. The microcomputer 8 has edge position detecting means. The edge position detecting means scans the image on the display device 9 in the horizontal direction from the left side to the right side along the line A in FIG. That is, a portion having a large difference in luminance is obtained, and thereby the edge position of the image is detected. The differential signal detected at this time is an edge position signal, and is obtained as a positive or negative position signal corresponding to the end of the road sign drawn on the road surface as indicated by B. The positive differential signal indicates an edge position where the image changes from dark to bright, and the negative differential signal indicates an edge position where the image changes from light to dark. Further, the microcomputer 8 has symmetry evaluation means, which evaluates the left-right symmetry of the image in the window 14 which moves in the horizontal direction along the A-line in units of one pixel. The window position where the symmetry of the image inside is good. This window is set near the pixel being scanned and surrounds a predetermined range of the image. The calculation result of evaluating the left-right symmetry is obtained with a waveform like C, and the window position with good symmetry is obtained as the valley position P of the symmetric waveform. Note that a method for determining the left-right symmetry of the image in the window 14 is described in JP-A-4-50611 and JP-A-6-50661.
This is known in, for example, Japanese Patent No.
【００２１】このようにして求めた画面中央付近の対称
性の良いウインドウ位置Ｐの左側には正極性のエッジ位
置信号Ｋがあり、右側には負極性のエッジ位置信号Ｓが
ある、そして信号Ｋと信号Ｓの間隔はＲである。A positive edge position signal K is on the left side of the window position P having good symmetry near the center of the screen thus obtained, and a negative edge position signal S is on the right side. And the interval between the signals S is R.
【００２２】つぎに所定時間が経過して車両が前進し図
３に示すように菱形マーク１１が接近すると、対称性の
良いウインドウ位置Ｐの左側の正極性のエッジ位置信号
Ｋと右側の負極性のエッジ位置信号Ｓの間隔は広がりＮ
となる。さらに所定時間が経過して車両がさらに前進し
て菱形マーク１１がさらに接近すると、図４に示すよう
になり対称性の良いウインドウ位置Ｐの左側の正極性の
エッジ位置信号Ｋと右側の負極性のエッジ位置信号Ｓの
間隔は挟まりＭとなる。すなわち表示装置９の撮像画像
の中央付近の対称性の良いウインドウ位置Ｐの左側のエ
ッジ位置信号Ｋと右側のエッジ位置信号Ｓの間隔をマイ
クロコンピュータ８により監視し、車両の進行に伴って
上記間隔が広がり、再び狭くなるような変化をした場合
は菱形マークを検出したとしてマイクロコンピュータ８
は報知器１０を駆動し、前方に横断歩道があることを運
転者に知らせる。Next, when the vehicle moves forward after a predetermined time and the rhombic mark 11 approaches as shown in FIG. 3, a positive edge position signal K on the left side of the window position P having good symmetry and a negative polarity signal on the right side. Of the edge position signal S of the
Becomes When the rhombic mark 11 further approaches further after a predetermined time has passed and the rhombic mark 11 approaches further, as shown in FIG. 4, a positive edge position signal K on the left side of the window position P having a good symmetry and a negative polarity signal on the right side. Of the edge position signal S is M. That is, the microcomputer 8 monitors the interval between the left edge position signal K and the right edge position signal S of the window position P having good symmetry near the center of the captured image of the display device 9 and monitors the interval with the advance of the vehicle. Is expanded and becomes narrow again, the microcomputer 8 determines that a diamond-shaped mark has been detected.
Drives the alarm 10 to notify the driver that there is a pedestrian crossing ahead.
【００２３】さらに車両が前進して図５に示すように画
面の中に横断歩道の道路表示１５が入ると、画面９の中
央付近の対称性の良いウインドウ位置はＰ以外にＥ，
Ｆ，Ｇ，Ｈ，と多数現れる。そしてこの対称性の良いウ
インドウ位置Ｐ，Ｅ，Ｆ，Ｇ，Ｈ，と正極性あるいは負
極性のエッジ信号位置は交互に存在している。このよう
にエッジ位置と対称性の良いウインドウ位置とが画面の
中央付近にほぼ等間隔で交互に複数個存在している時は
横断歩道の道路標示１５を検出したと認識してマイクロ
コンピュータ８は再び報知器１０を駆動し、直前に横断
歩道があることを運転者に知らせ注意を喚起する。この
ようにして車両が走行している道路面に描かれている道
路標示を認識判断することができるのである。尚、かか
る認識判断は、マイクロコンピュータ８やその処理プロ
グラム等により行われる。When the vehicle further advances and the road display 15 of the pedestrian crossing enters the screen as shown in FIG. 5, the window positions with good symmetry near the center of the screen 9 are E,
Many appear as F, G, H. The window positions P, E, F, G, H with good symmetry and the edge signal positions of the positive polarity or the negative polarity alternately exist. As described above, when a plurality of edge positions and window positions having good symmetry alternately exist at substantially equal intervals near the center of the screen, the microcomputer 8 recognizes that the road sign 15 of the pedestrian crossing has been detected, and The alarm 10 is driven again, and the driver is informed that there is a pedestrian crossing just before, and calls attention. In this way, the road marking drawn on the road surface on which the vehicle is traveling can be recognized and determined. The recognition is determined by the microcomputer 8 and its processing program.
【００２４】また、報知器１０を複数種類の報知方法を
有するものとし、菱形マーク１１を検出したときにはブ
ザーを断続的に鳴らし、更に横断歩道の道路標示１５を
検出したときには運転者の注意をより喚起できる方法、
例えばブザーを連続的に鳴らす、あるいは音量を大きく
するというようにしても良い。また、菱形マーク１１を
検出したときには警告灯を点灯あるいは点滅させると共
に、横断歩道の道路標示１５を検出したときにはブザー
を鳴らすというようにしてもよい。The annunciator 10 has a plurality of types of annunciation methods. When the rhombic mark 11 is detected, the buzzer sounds intermittently, and when the pedestrian crossing road sign 15 is detected, the driver's attention is increased. How you can evoke,
For example, the buzzer may be sounded continuously, or the volume may be increased. Further, a warning light may be turned on or blinked when the diamond-shaped mark 11 is detected, and a buzzer may be sounded when the road sign 15 of the pedestrian crossing is detected.
【００２５】次に、実施例１の動作をフローチャートを
用いて説明する。図６は、実施例１の動作を示すフロー
チャートであって、表示装置９の画面のＡ線上の画像の
エッジ位置と上記Ａ線に沿って移動するウインドウ１４
内の画像の左右対称性の良いウインドウ位置が検出され
た時点からの動作手順を示している。このフローチャー
トでは、菱形マーク１１あるいは横断歩道の道路標示１
５の何れかを検出して運転者に報知する例を示してい
る。まず、ステップＳ１０１で撮像された画像のＡ線上
のエッジ位置とウインドウ１４内の画像の左右対称性の
良いウインドウ位置が検出されると、ステップＳ１０２
にてそのウインドウ位置が画面中央付近にあるかどうか
判断される。この判断は、ウインドウ位置Ｐが画面のど
の位置にあるか、もしくは、ウインドウ１４は現在走査
している画素の位置に基づいて設定されるものであるか
ら、現在走査中の画素はどの位置にあるものかというこ
とに基づき行われる。ここで、該ウインドウ位置が画面
中央付近でなければステップＳ１０１に戻る。ステップ
Ｓ１０３では該ウインドウ位置の左右にエッジ位置信号
があるか否かを判定する。もし、エッジ位置信号がなけ
ればステップＳ１０１に戻る。左右にエッジが検出され
ていればステップＳ１０４に進み、左右対称性の良いウ
インドウ位置とエッジ位置とがほぼ等間隔に交互し、し
かも複数個存在しているかどうかを判定する。ここで、
ほぼ等間隔に交互し、かつ複数個あれば横断歩道の道路
標示１５を検出したと認識し、ステップＳ１０５にて報
知器１０を駆動して運転者に知らせる。この場合の報知
器１０による報知は、運転者の注意をより喚起できる方
法が望ましい。Next, the operation of the first embodiment will be described with reference to a flowchart. FIG. 6 is a flowchart showing the operation of the first embodiment. The edge position of the image on the line A on the screen of the display device 9 and the window 14 moving along the line A are shown.
9 shows an operation procedure from the point in time when a window position with good left-right symmetry of the image in the figure is detected. In this flowchart, a rhombus mark 11 or a road marking 1 of a pedestrian crossing is used.
5 shows an example in which any one of No. 5 is detected and notified to the driver. First, when the edge position on the line A of the image captured in step S101 and the window position with good left-right symmetry of the image in the window 14 are detected, step S102 is performed.
It is determined whether or not the window position is near the center of the screen. This judgment is made based on the position of the window position P on the screen or the position of the window 14 because the window 14 is set based on the position of the currently scanned pixel. It is done based on the thing. If the window position is not near the center of the screen, the process returns to step S101. In step S103, it is determined whether there are edge position signals on the left and right of the window position. If there is no edge position signal, the process returns to step S101. If edges are detected on the left and right, the process proceeds to step S104, and it is determined whether window positions and edge positions having good left-right symmetry alternate at substantially equal intervals, and whether a plurality of windows exist. here,
It is recognized that the road sign 15 of the pedestrian crossing is detected if there are a plurality of the pedestrian crossings alternately at substantially equal intervals, and the alarm 10 is driven to inform the driver in step S105. The notification by the alarm 10 in this case is desirably a method that can further draw the driver's attention.
【００２６】ステップＳ１０４にて否定された場合はス
テップＳ１０６に進む。ステップＳ１０６以下では、検
出した道路標示が菱形マーク１１であるか否かを判定す
る。ステップＳ１０６では、左右対称性の良いウインド
ウ位置の左側に正極性のエッジ位置信号があり、右側に
負極性のエッジ位置信号があるか否か判断される。左側
に正極性のエッジ位置信号、右側に負極性のエッジ位置
信号が有った場合はステップＳ１０７に進み、ステップ
Ｓ１０７にて、車両の進行に伴い２つのエッジ位置信号
の間隔が所定の変化をしたか否かが判定される。If the result in step S104 is negative, the process proceeds to step S106. In step S106 and thereafter, it is determined whether or not the detected road sign is the diamond mark 11. In step S106, it is determined whether there is a positive edge position signal on the left side of the window position having good left-right symmetry and whether there is a negative edge position signal on the right side. If there is a positive edge position signal on the left side and a negative edge position signal on the right side, the process proceeds to step S107, and in step S107, the interval between the two edge position signals changes by a predetermined amount as the vehicle advances. It is determined whether it has been done.
【００２７】ステップＳ１０７では２つのエッジ位置信
号の間隔が測定される。この測定は、ステップＳ１０７
の演算が行われる毎に為されており、その測定結果はメ
モリ６に順次格納される。なお、図６のフローチャート
は処理を繰り返し行うようになっているので、ステップ
Ｓ１０７は所定期間あるいは所定時間毎に行われる。よ
って、メモリ６に格納される測定結果は、所定期間毎、
あるいは所定時間毎の情報が順次格納されることにな
る。また、ステップＳ１０７では、メモリ６に格納され
た測定結果に基づき、２つのエッジ位置信号の間隔が車
両の進行に伴って広がりさらに車両が進行すると狭くな
るように変化したか否かが判定される。この判定は次の
ようにして行われる。まず車両が進行しているか否かの
判定は、車速が所定値以上、あるいは撮像手段により撮
像された画像の変化に基づいて行われる。次に、２つの
エッジ位置信号の間隔の測定結果はメモリ６に測定順に
格納されている。従って、車両の進行に伴うエッジ位置
信号の間隔の変化は、車両が進行していると判定された
際に、メモリ６に格納されている測定結果を古い順に順
次読み出し比較することにより知ることができる。ステ
ップＳ１０６、Ｓ１０７で否定された場合は、検出した
道路標示は菱形マーク１１ではないと認識しステップＳ
１０１に戻る。In step S107, the interval between the two edge position signals is measured. This measurement is performed in step S107.
Are performed each time the calculation is performed, and the measurement results are sequentially stored in the memory 6. In addition, since the process of the flowchart of FIG. 6 is repeatedly performed, step S107 is performed for a predetermined period or every predetermined time. Therefore, the measurement result stored in the memory 6 is
Alternatively, information for each predetermined time is sequentially stored. In step S107, based on the measurement result stored in the memory 6, it is determined whether or not the interval between the two edge position signals has increased with the progress of the vehicle and has changed so as to become narrower as the vehicle progresses. . This determination is made as follows. First, whether or not the vehicle is moving is determined based on a vehicle speed equal to or higher than a predetermined value or a change in an image captured by the imaging unit. Next, the measurement result of the interval between the two edge position signals is stored in the memory 6 in the order of measurement. Therefore, a change in the interval between the edge position signals accompanying the traveling of the vehicle can be known by sequentially reading and comparing the measurement results stored in the memory 6 in chronological order when it is determined that the vehicle is traveling. it can. If the answer in Steps S106 and S107 is negative, the detected road sign is recognized as not the diamond mark 11, and Step S106 is performed.
Return to 101.
【００２８】ステップＳ１０７で肯定されると菱形マー
ク１１を検出したと認識して、報知器１０を駆動して運
転者に菱形マーク１１を検出したことを報知する。この
報知は、比較的に小さな音量のブザー音、あるいは警告
灯の点灯、点滅などにより行われる。この処理が終わる
とステップＳ１０１にもどり、上述の処理が繰り返し実
行される。If the determination in step S107 is affirmative, it is recognized that the diamond mark 11 has been detected, and the alarm 10 is driven to notify the driver that the diamond mark 11 has been detected. This notification is performed by a relatively low volume buzzer sound, or by turning on or blinking a warning light. When this process ends, the process returns to the step S101 and the above-mentioned process is repeatedly executed.
【００２９】[0029]
【発明の効果】よって、この発明に係る路面監視装置に
よれば、撮像手段により撮像された画像を水平方向に走
査して画像のエッジ位置を検出するエッジ位置検出手段
と、走査位置の近傍に設定され画像の所定範囲を囲むウ
インドウ内の画像の対称性を評価して対称性の良いウイ
ンドウ位置を求める対称性評価手段と、エッジ位置と対
称性の良いウインドウ位置に基づき路面に描かれている
道路標示を認識する認識手段とを備えたので、路面の汚
れや影を誤検出することがなく比較的容易に道路標示を
検出することができる。Thus, according to the road surface monitoring apparatus of the present invention, an edge position detecting means for scanning an image picked up by the image pickup means in the horizontal direction to detect an edge position of the image, Symmetry evaluation means for evaluating the symmetry of an image in a window surrounding a predetermined range of a set image to determine a window position with good symmetry, and being drawn on a road surface based on an edge position and a window position with good symmetry. Since a recognition means for recognizing the road sign is provided, the road sign can be detected relatively easily without erroneously detecting dirt or shadow on the road surface.
【００３０】また、この発明に係る路面監視装置によれ
ば、検出されたエッジ位置の間隔の経時変化に基づき路
面に描かれている道路標示を認識するので、道路標示の
形状が所定の形状であるか否かを確実に検出することが
できる。Further, according to the road surface monitoring apparatus of the present invention, since the road sign drawn on the road surface is recognized based on the temporal change of the detected edge position interval, the road sign has a predetermined shape. Whether or not there is can be reliably detected.
【００３１】また、この発明に係る路面監視装置によれ
ば、対称性の良いウインドウ位置が撮像画面の中央付近
にあって、且つその両側に位置するエッジ位置の間隔が
時間の経過に伴って広がり、再び狭くなるような変化を
したか否かを判定するので、前方に横断歩道があること
を示す道路標示を確実に検出することができる。Further, according to the road surface monitoring apparatus of the present invention, the window position with good symmetry is near the center of the image pickup screen, and the interval between the edge positions located on both sides thereof expands with time. Since it is determined whether or not the vehicle has changed again so as to be narrow, a road sign indicating that there is a pedestrian crossing ahead can be reliably detected.
【００３２】また、この発明に係る路面監視装置によれ
ば、エッジ位置と対称性の良いウインドウ位置が水平方
向に交互に存在するか否かを判定するので、横断歩道を
示す道路標示を確実に検出することができる。Further, according to the road surface monitoring device of the present invention, it is determined whether or not the window position having good symmetry with the edge position exists alternately in the horizontal direction, so that the road sign indicating the pedestrian crossing can be reliably displayed. Can be detected.
【００３３】また、この発明に係る路面監視装置によれ
ば、認識した道路標示を運転者に報知する報知手段を備
えたので、安全性を高めることができる。Further, according to the road surface monitoring device of the present invention, since the notifying means for notifying the driver of the recognized road marking is provided, the safety can be improved.
【００３４】また、この発明に係る路面監視装置によれ
ば、認識した道路標示に応じて運転者に報知する報知方
法を変更する報知手段を備えたので、道路標示に応じて
運転者の注意を喚起する度合い変化させ、より安全性を
高めることができる。Further, according to the road surface monitoring device of the present invention, since the notifying means for changing the notifying method for notifying the driver in accordance with the recognized road sign is provided, the driver's attention is given in accordance with the road sign. The degree of arousing can be changed to enhance safety.
【００３５】また、この発明に係る路面監視方法によれ
ば、走行する車両の前方路面の画像を水平方向に走査し
て画像のエッジ位置を検出するステップと、走査位置の
近傍に設定され画像の所定範囲を囲むウインドウ内の画
像の対称性を評価して対称性の良いウインドウ位置を求
めるステップと、エッジ位置と対称性の良いウインドウ
位置に基づき路面に描かれている道路標示を認識するス
テップとを備えたので、路面の汚れや影を誤検出するこ
とがなく比較的容易に道路標示を検出することができ
る。According to the road surface monitoring method of the present invention, the step of detecting the edge position of the image by scanning the image of the road surface ahead of the running vehicle in the horizontal direction, and the step of detecting the edge position of the image set near the scanning position. Estimating the symmetry of the image in the window surrounding the predetermined range to obtain a window position with good symmetry, and recognizing a road sign drawn on the road surface based on the edge position and the window position with good symmetry. Therefore, the road marking can be detected relatively easily without erroneously detecting dirt or shadow on the road surface.
【図１】 実施例１の路面監視装置を示すブロック図で
ある。FIG. 1 is a block diagram illustrating a road surface monitoring device according to a first embodiment.
【図２】 実施例１の動作を説明する説明図である。FIG. 2 is an explanatory diagram illustrating an operation of the first embodiment.
【図３】 実施例１の動作を説明する説明図である。FIG. 3 is an explanatory diagram illustrating an operation of the first embodiment.
【図４】 実施例１の動作を説明する説明図である。FIG. 4 is an explanatory diagram illustrating an operation of the first embodiment.
【図５】 実施例１の動作を説明する説明図である。FIG. 5 is an explanatory diagram illustrating an operation of the first embodiment.
【図６】 実施例１の動作を示すフローチャートであ
る。FIG. 6 is a flowchart illustrating the operation of the first embodiment.
１：撮像手段、２：レンズ、３：イメージセンサ、４：
道路面、５：アナログ・デジタル変換器、６、７：メモ
リ、８：マイクロコンピュータ、９：表示装置、１０：
報知器、１１：菱形マーク、１２、１３：白線、１４：
ウインドウ、１５：横断歩道の道路標示。1: imaging means, 2: lens, 3: image sensor, 4:
Road surface, 5: analog-digital converter, 6, 7: memory, 8: microcomputer, 9: display device, 10:
Alarm, 11: diamond mark, 12, 13: white line, 14:
Window 15, 15: Crosswalk road marking.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０６Ｔ 7/00 Ｇ０６Ｔ 7/00 (56)参考文献 特開 平５−310058（ＪＰ，Ａ) 特開 平１−263799（ＪＰ，Ａ) 特開 平６−149359（ＪＰ，Ａ) 特開 平４−299710（ＪＰ，Ａ) 特開 平６−74761（ＪＰ，Ａ) 特開 平４−50611（ＪＰ，Ａ) 特開 平６−229758（ＪＰ，Ａ) 実開 昭63−99999（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.7，ＤＢ名) G08G 1/16 G01C 21/00 G06T 1/00 G06T 7/00 ────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 7 Identification symbol FI G06T 7/00 G06T 7/00 (56) References JP-A-5-310058 (JP, A) JP-A-1-263799 (JP) JP-A-6-149359 (JP, A) JP-A-4-299710 (JP, A) JP-A-6-74761 (JP, A) JP-A-4-50611 (JP, A) 6-229758 (JP, A) Fully open 1988-99999 (JP, U) (58) Fields investigated (Int. Cl. 7 , DB name) G08G 1/16 G01C 21/00 G06T 1/00 G06T 7 / 00
Claims (7)
手段と、この撮像手段により撮像された画像を水平方向
に走査して前記画像のエッジ位置を検出するエッジ位置
検出手段と、走査位置の近傍に設定され前記画像の所定
範囲を囲むウインドウと、このウインドウ内の画像の対
称性を評価して対称性の良いウインドウ位置を求める対
称性評価手段と、前記エッジ位置と前記対称性の良いウ
インドウ位置に基づき路面に描かれている道路標示を認
識する認識手段を備えたことを特徴とする路面監視装
置。An image pickup means for picking up an image of a road surface ahead of a traveling vehicle, an edge position detecting means for scanning an image picked up by the image pickup means in a horizontal direction to detect an edge position of the image, A window which is set in the vicinity and surrounds a predetermined range of the image; a symmetry evaluation means for evaluating the symmetry of the image in the window to find a window position having good symmetry; a window having the edge position and the window having good symmetry A road surface monitoring device comprising a recognition unit that recognizes a road sign drawn on a road surface based on a position.
に基づき路面に描かれている道路標示を認識することを
特徴とする請求項１の車両の路面監視装置。2. The road surface monitoring apparatus for a vehicle according to claim 1, wherein a road sign drawn on the road surface is recognized based on a change with time of the detected interval between the edge positions.
の中央付近に存在することを検出すると共に、該ウイン
ドウ位置の両側に位置するエッジ位置の間隔が時間の経
過に伴って広がり、再び狭くなるような変化をした場合
は前方に横断歩道があることを示す道路標示であると判
断することを特徴とする請求項２の路面監視装置。3. Detecting that a window position with good symmetry exists near the center of the imaging screen, and the interval between edge positions located on both sides of the window position increases with time and narrows again. The road surface monitoring device according to claim 2, wherein when such a change is made, the road sign is determined to be a road sign indicating that there is a pedestrian crossing ahead.
置が水平方向に交互に存在する時は、横断歩道を示す道
路標示であると判断することを特徴とする請求項１の路
面監視装置。4. The road surface monitoring device according to claim 1, wherein when a window position having good symmetry with the edge position alternates in the horizontal direction, it is determined that the road sign indicates a pedestrian crossing.
知手段を備えたことを特徴とする請求項１の路面監視装
置。5. The road surface monitoring device according to claim 1, further comprising an informing means for informing the driver of the recognized road marking.
運転者に報知する報知方法を変更することを特徴とする
請求項５の路面監視装置。6. The road surface monitoring device according to claim 5, wherein the notification means changes a notification method for notifying the driver according to the recognized road marking.
向に走査して前記画像のエッジ位置を検出するステップ
と、走査位置の近傍に設定され前記画像の所定範囲を囲
むウインドウ内の画像の対称性を評価して対称性の良い
ウインドウ位置を求めるステップと、前記エッジ位置と
前記対称性の良いウインドウ位置に基づき路面に描かれ
ている道路標示を認識するステップとを備えたことを特
徴とする路面監視方法。7. A step of horizontally scanning an image of a road surface in front of a running vehicle to detect an edge position of the image, and detecting an image in a window set near the scanning position and surrounding a predetermined range of the image. Evaluating a symmetry to determine a window position with good symmetry; and recognizing a road sign drawn on a road surface based on the edge position and the window position with good symmetry. Road surface monitoring method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11454095A JP3153845B2 (en) | 1995-05-12 | 1995-05-12 | Road surface monitoring device and road surface monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11454095A JP3153845B2 (en) | 1995-05-12 | 1995-05-12 | Road surface monitoring device and road surface monitoring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08315296A JPH08315296A (en) | 1996-11-29 |
| JP3153845B2 true JP3153845B2 (en) | 2001-04-09 |
Family
ID=14640328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11454095A Expired - Fee Related JP3153845B2 (en) | 1995-05-12 | 1995-05-12 | Road surface monitoring device and road surface monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3153845B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3864406B2 (en) * | 1999-01-26 | 2006-12-27 | マツダ株式会社 | Vehicle display device |
| JP4626054B2 (en) * | 2000-12-21 | 2011-02-02 | 日産自動車株式会社 | Vehicle travel control device |
| JP3782322B2 (en) * | 2001-07-11 | 2006-06-07 | 株式会社日立製作所 | In-vehicle image processing camera device |
| JP4541609B2 (en) * | 2001-09-06 | 2010-09-08 | 富士重工業株式会社 | Stop line recognition device and vehicle driving support device using the stop line recognition device |
| JP4575031B2 (en) * | 2004-05-31 | 2010-11-04 | 三菱電機株式会社 | In-vehicle road marking detection device |
| JP4416039B2 (en) | 2008-03-19 | 2010-02-17 | 日本電気株式会社 | Striped pattern detection system, striped pattern detection method, and striped pattern detection program |
| JP5123812B2 (en) * | 2008-10-10 | 2013-01-23 | 日立オートモティブシステムズ株式会社 | Road marking recognition system |
| JP5631581B2 (en) * | 2009-12-01 | 2014-11-26 | 富士重工業株式会社 | Road recognition device |
| JP5035371B2 (en) | 2010-03-15 | 2012-09-26 | アイシン精機株式会社 | Crosswalk detection device, crosswalk detection system, crosswalk detection method and program |
-
1995
- 1995-05-12 JP JP11454095A patent/JP3153845B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08315296A (en) | 1996-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5424952A (en) | Vehicle-surroundings monitoring apparatus | |
| JP2852639B2 (en) | Apparatus for determining the distance between a vehicle and a road sign on the side | |
| JP4032727B2 (en) | Lane boundary detection device | |
| JPH08263784A (en) | Road condition recognizing device | |
| JPH05296767A (en) | Car-to-car distance detector | |
| JP3153845B2 (en) | Road surface monitoring device and road surface monitoring method | |
| JP2002314989A (en) | Peripheral monitor for vehicle | |
| JPH04262498A (en) | Guard rail detector | |
| JP3912236B2 (en) | Vehicle periphery monitoring device | |
| JPH08175299A (en) | Traffic lane deviation alarm device | |
| JP2004354326A (en) | Surrounding display device for vehicle | |
| JP2004114907A (en) | Vehicle width and height detection alarm device | |
| JPH10320559A (en) | Traveling path detector for vehicle | |
| JPH08249597A (en) | Road shape detector | |
| JPH07244717A (en) | Travel environment recognition device for vehicle | |
| JPH06162398A (en) | Traffic lane detecting device, traffic lane deviation warning device and collision warning device | |
| JP3729005B2 (en) | Vehicle rear monitoring device | |
| JP3212235B2 (en) | Obstacle detection device for vehicles | |
| WO2008037473A1 (en) | Park assist system visually marking up dangerous objects | |
| JPH08202998A (en) | Lane deviation alarm device | |
| JPS639813A (en) | Detection system for vehicle-to-vehicle distance | |
| JP2022032611A (en) | Station platform monitoring system | |
| JPH0830899A (en) | On-vehicle device for discriminating travelling state | |
| JPH1038562A (en) | Obstacle detector for vehicle | |
| JP2004348645A (en) | Infrared image recognition apparatus and alarm equipment using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100126 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100126 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |