JP5023363B2 - Vehicle travel support device, vehicle, vehicle travel support program - Google Patents

Vehicle travel support device, vehicle, vehicle travel support program Download PDF

Info

Publication number
JP5023363B2
JP5023363B2 JP2008073843A JP2008073843A JP5023363B2 JP 5023363 B2 JP5023363 B2 JP 5023363B2 JP 2008073843 A JP2008073843 A JP 2008073843A JP 2008073843 A JP2008073843 A JP 2008073843A JP 5023363 B2 JP5023363 B2 JP 5023363B2
Authority
JP
Japan
Prior art keywords
vehicle
image
designated
road
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008073843A
Other languages
Japanese (ja)
Other versions
JP2009230372A5 (en
JP2009230372A (en
Inventor
英徳 佐藤
幸男 小林
友好 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008073843A priority Critical patent/JP5023363B2/en
Publication of JP2009230372A publication Critical patent/JP2009230372A/en
Publication of JP2009230372A5 publication Critical patent/JP2009230372A5/ja
Application granted granted Critical
Publication of JP5023363B2 publication Critical patent/JP5023363B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の走行を支援する装置等に関する。   The present invention relates to an apparatus and the like that supports the traveling of a vehicle based on an image obtained through an imaging device mounted on the vehicle.

道路に向けて投影されたレーザ光の輝点パターンを撮像し、撮像画像に基づいてこの道路に存在する溝を検出する技術が提案されている(特許文献1参照)。
特開平05−201298号公報
A technique has been proposed in which a bright spot pattern of laser light projected toward a road is imaged and a groove present on the road is detected based on the captured image (see Patent Document 1).
JP 05-201298 A

しかし、道路に水はけ用の溝等、人工溝が等間隔に並列されて設けられている場合、車載カメラにより撮像された画像においてこの溝の部分に偽色が発生する可能性がある。このため、この画像が処理されることにより、道路に多数の轍が存在する等、道路の状態が誤認識されてしまう可能性がある。   However, in the case where artificial grooves such as drainage grooves are arranged in parallel at equal intervals on the road, there is a possibility that a false color is generated in the groove portion in the image taken by the in-vehicle camera. For this reason, when this image is processed, there is a possibility that the state of the road is erroneously recognized, such as a large number of wrinkles on the road.

そこで、本発明は、車両が走行中の道路において複数の並列する人工溝の有無を高精度で認識することができる装置等を提供することを解決課題とする。   Therefore, an object of the present invention is to provide a device that can recognize with high accuracy the presence or absence of a plurality of artificial grooves arranged in parallel on a road on which the vehicle is traveling.

第1発明の車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、前記画像において実空間における前記車両の第1予測走行領域を表わし、1対のレーンマークに挟まれる領域を含む指定画像領域における横方向の濃淡変化態様に基づき、前記第1予測走行領域における複数の並列する線状の人工溝の有無を認識する第1処理要素と、前記画像においてエッジを顕在化するエッジ抽出処理を実行することによりエッジ画像を生成し、前記エッジ画像に対してハフ変換処理を実行し、前記ハフ変換処理の実行結果に基づき、前記車両が走行中の道路の積雪の有無を認識する第2処理要素とを備え、前記第2処理要素が、前記第1処理要素により前記複数の人工溝がないと認識されたことを要件として前記道路の積雪の有無を認識することを特徴とする。 A vehicle travel support device according to a first aspect of the present invention is a vehicle travel support device that recognizes the travel environment of the vehicle based on an image representing a situation in a traveling direction of the vehicle obtained through an imaging device mounted on the vehicle. the Represents Wa of the first predicted travel area of the vehicle in the real space in the image, based on the lateral gray variant of the specified image region including the region between the lane mark pair, the first estimated travel area Generating an edge image by executing a first processing element for recognizing the presence or absence of a plurality of parallel linear artificial grooves in the image and an edge extraction process for revealing an edge in the image. to perform the conversion process, based on the execution result of the Hough transform processing, the vehicle and a second processing element recognizes the presence or absence of snow road traveling, the second processing element And recognizes the presence of snow of the road that by the first processing element is recognized that there is no plurality of artificial grooves as a requirement.

第1発明の車両走行支援装置によれば、撮像装置を通じて得られた画像において、実空間における車両の第1予測走行領域を表わす指定画像領域の横方向の濃淡変化態様が認識される。車両が走行している道路に複数の並列する人工溝が設けられている場合、指定画像領域にはその横方向に特徴的な濃淡変化態様が現われる。したがって、この濃淡変化態様に基づき、第1予測走行領域における複数の並列する人工溝の有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝が存在しないと認識されたことを要件として、エッジ抽出処理およびハフ変換処理の実行結果に基づいて道路の状態(積雪の有無)が認識される。これにより、複数の並列する人工溝が存在するために道路の状態が誤認識される事態が回避される。 According to the vehicle travel support device of the first aspect of the present invention, in the image obtained through the imaging device, the lightness / darkness change mode in the horizontal direction of the designated image region representing the first predicted travel region of the vehicle in real space is recognized. When a plurality of parallel artificial grooves are provided on the road on which the vehicle is traveling, a characteristic shade change mode appears in the lateral direction in the designated image area. Therefore, based on this shade change mode, the presence or absence of a plurality of parallel artificial grooves in the first predicted travel region can be recognized with high accuracy. Furthermore, on the condition that it is recognized that there are not a plurality of parallel artificial grooves on the road, the state of the road (the presence or absence of snow) is recognized based on the execution results of the edge extraction process and the Hough transform process. As a result, a situation in which the state of the road is erroneously recognized due to the presence of a plurality of parallel artificial grooves is avoided.

なお、本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。   Note that the component of the present invention “recognizes” information means that the component retrieves information from a database, reads information from a storage device such as a memory, and measures information based on an output signal from a sensor or the like. It means performing any information processing necessary to prepare or prepare the information for further information processing, such as calculating, estimating, determining, storing the measured information in a memory, and the like.

第2発明の車両走行支援装置は、第1発明の車両走行支援装置において、前記第1処理要素が、前記画像に対して前記指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理を実行し、前記周波数スペクトルにおいて実空間における前記複数の人工溝の間隔に相当する指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、前記第1予測走行領域における複数の並列する人工溝の有無を認識することを特徴とする。 The vehicle travel support apparatus according to a second aspect of the present invention is the vehicle travel support apparatus according to the first aspect, wherein the first processing element generates a frequency spectrum representing a change in shade in the horizontal direction of the designated image region with respect to the image. Therefore, the first predicted traveling is performed according to the presence or absence of a peak whose intensity is greater than or equal to a threshold value included in a specified frequency range corresponding to the interval between the plurality of artificial grooves in the real space in the frequency spectrum. Recognizing the presence or absence of a plurality of parallel artificial grooves in the region.

第2発明の車両走行支援装置によれば、画像に対してフーリエ変換処理が実行されることにより、指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルが生成される。指定画像領域により表わされている第1予測走行領域に複数の並列する人工溝が存在する場合、周波数スペクトルにおいて実空間における人工溝の横方向の間隔または空間的周期に相当する指定周波数範囲に含まれる、強度が閾値以上のピークが現われる。したがって、周波数スペクトルにおけるこのようなピークの有無に応じて複数の並列する人工溝の有無が認識されうる。 According to the vehicle travel support device of the second aspect of the present invention, the frequency spectrum representing the variation in the horizontal direction of the specified image region is generated by performing the Fourier transform process on the image. When a plurality of parallel artificial grooves are present in the first predicted traveling area represented by the designated image area, the frequency spectrum has a designated frequency range corresponding to a horizontal interval or a spatial period of the artificial grooves in real space. An included peak whose intensity is greater than or equal to the threshold appears. Therefore, the presence / absence of a plurality of parallel artificial grooves can be recognized according to the presence / absence of such a peak in the frequency spectrum.

第3発明の車両走行支援装置は、第1または第2発明の車両走行支援装置において、前記第2処理要素が、ρ−θ空間において前記車両の第2予測走行領域を表わす指定領域における直線成分の指定投票値に対する投票数を評価し、前記投票数が閾値以上であることを要件として、前記車両が走行中の道路における積雪の有無を認識することを特徴とする。   A vehicle travel support device according to a third aspect of the present invention is the vehicle travel support device according to the first or second aspect, wherein the second processing element is a linear component in a designated region representing the second predicted travel region of the vehicle in the ρ-θ space. The number of votes for the designated vote value is evaluated, and the presence or absence of snow on the road on which the vehicle is traveling is recognized on the condition that the number of votes is equal to or greater than a threshold value.

第3発明の車両走行支援装置によれば、エッジ画像がハフ変換処理された結果に基づき、ρ−θ空間(ハフ空間)において実空間における車両の第2予測走行領域を表わしている指定領域における直線成分の指定投票値に対する投票数が評価される。なお、第2予測走行領域および第1予測走行領域は同一であってもよく、異なっていてもよい。道路に積雪がある場合には第2予測走行領域において、道路に積雪がない場合よりも多くの直線成分が現われるため、ハフ空間において直線成分の指定投票値に対する投票数が閾値以上となる。したがって、直線成分の指定投票値に対する投票数が閾値以上であるか否かに応じて積雪の有無が高精度で認識される。また、道路に複数の並列する人工溝が存在する場合、この道路における積雪の有無は認識されない。したがって、道路に積雪がないにもかかわらず、この道路に複数の並列する人工溝があるためにハフ空間において直線成分の指定投票値に対する投票数が閾値以上となって、道路に積雪があると誤認識される事態が回避されうる。 According to the vehicle travel support device of the third aspect of the present invention, in the designated region representing the second predicted travel region of the vehicle in the real space in the ρ-θ space (Hough space) based on the result of the edge image subjected to the Hough transform process. The number of votes for the designated vote value of the linear component is evaluated. The second predicted travel area and the first predicted travel area may be the same or different. When there is snow on the road, more straight line components appear in the second predicted travel area than when there is no snow on the road, so the number of votes for the designated vote value of the straight line component in the Hough space is greater than or equal to the threshold value. Therefore, the presence or absence of snow is recognized with high accuracy according to whether or not the number of votes for the designated vote value of the linear component is equal to or greater than a threshold value. Further, when there are a plurality of parallel artificial grooves on the road, the presence or absence of snow on the road is not recognized. Therefore, even though there is no snow on the road, there are a plurality of parallel artificial grooves on this road, so the number of votes for the designated vote value of the straight line component in the Hough space exceeds the threshold value, and there is snow on the road. Misidentified situations can be avoided.

第4発明の車両は、撮像装置と、第1発明の車両走行支援装置を備えていることを特徴とする。   A vehicle according to a fourth aspect of the present invention includes the imaging apparatus and the vehicle travel support apparatus according to the first aspect of the present invention.

第4発明の車両によれば、車両走行支援装置により車両が走行中の道路における複数の並列する人工溝の有無が高精度で認識され、さらには、この道路の状態が高精度で認識されうるので、当該認識結果に基づき車両の安全走行等の観点から車載機器の動作が適当に制御されうる。   According to the vehicle of the fourth aspect of the present invention, the presence or absence of a plurality of artificial grooves arranged in parallel on the road on which the vehicle is traveling can be recognized with high accuracy by the vehicle travel support device, and further, the state of this road can be recognized with high accuracy. Therefore, the operation of the in-vehicle device can be appropriately controlled from the viewpoint of safe driving of the vehicle based on the recognition result.

第5発明の走行支援プログラムは、車両に搭載されているコンピュータを第1発明の車両走行支援装置として機能させることを特徴とする。   According to a fifth aspect of the present invention, there is provided a driving support program for causing a computer mounted on a vehicle to function as the vehicle driving support device of the first invention.

第5発明の走行支援プログラムによれば、車載のコンピュータを、車両が走行中の道路における複数の並列する人工溝の有無を高精度で認識する車両走行支援装置として機能させることができる。   According to the driving support program of the fifth aspect of the invention, the in-vehicle computer can function as a vehicle driving support device that recognizes the presence or absence of a plurality of parallel artificial grooves on the road on which the vehicle is driving with high accuracy.

本発明の車両走行支援装置等の実施形態について図面を用いて説明する。   DESCRIPTION OF EMBODIMENTS Embodiments of a vehicle travel support device and the like of the present invention will be described with reference to the drawings.

図1および図2に示されている車両(四輪自動車)1には、CCDカメラや近赤外線カメラ等のカメラ(撮像装置)12と、車両走行支援装置10とが搭載されている。カメラ12は車両1の前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。なお、カメラ12の配置箇所は車両1のフロント部分等に適宜変更されてもよい。車両1には図2に示されているように車速センサ122、加速度センサ124およびヨーレートセンサ126等のセンサと、操舵装置14と、制動装置16とがさらに搭載されている。車速センサ122、加速度センサ124およびヨーレートセンサ126のそれぞれは車両1の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。   A vehicle (four-wheeled vehicle) 1 shown in FIGS. 1 and 2 is equipped with a camera (imaging device) 12 such as a CCD camera or a near infrared camera, and a vehicle travel support device 10. The camera 12 is attached to the interior space so as to capture an image of the front of the vehicle 1 through the front window. Note that the location of the camera 12 may be changed as appropriate to the front portion of the vehicle 1 or the like. As shown in FIG. 2, the vehicle 1 further includes sensors such as a vehicle speed sensor 122, an acceleration sensor 124 and a yaw rate sensor 126, a steering device 14, and a braking device 16. Each of the vehicle speed sensor 122, the acceleration sensor 124, and the yaw rate sensor 126 outputs signals corresponding to the speed, acceleration, and yaw rate of the vehicle 1, respectively.

車両走行支援装置10はコンピュータまたはECU(電子制御ユニット)(CPU,ROM,RAMならびにI/O回路およびA/D変換回路等の電子回路等により構成されている。)により構成されている。車両走行支援装置10にはカメラ12および速度センサ122等からの出力信号が入力される。CPUにより「車両走行支援プログラム」がメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両1に配信または放送され、車載コンピュータのRAM等の記憶装置に格納されてもよい。車両走行支援装置10は操舵装置14および制動装置16のうち一方または両方の動作を制御することにより、車両1が走行領域から逸脱しないように車両1の走行を支援する走行支援制御を実行する。車両走行支援装置10は第1処理要素110および第2処理要素120を備えている。   The vehicle travel support device 10 is configured by a computer or an ECU (electronic control unit) (comprising a CPU, ROM, RAM, and electronic circuits such as an I / O circuit and an A / D conversion circuit). Output signals from the camera 12 and the speed sensor 122 are input to the vehicle travel support device 10. The “vehicle driving support program” is read from the memory by the CPU, and various processes described later are executed according to the read program. The program may be distributed or broadcast from the server to the vehicle 1 via a network or satellite at an arbitrary timing, and stored in a storage device such as a RAM of the in-vehicle computer. The vehicle travel support device 10 controls the operation of one or both of the steering device 14 and the braking device 16 to execute travel support control for assisting the travel of the vehicle 1 so that the vehicle 1 does not depart from the travel region. The vehicle travel support device 10 includes a first processing element 110 and a second processing element 120.

第1処理要素110はカメラ12を通じて得られた画像に対して指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理(高速フーリエ変換処理)を実行する。指定画像領域は、画像において実空間における車両1の第1予測走行領域(たとえば、車両1の左右に一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークにより挟まれる領域の一部または全部)を表わしている。第1処理要素110は指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルに基づき、このスペクトルにおける指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、第1予測走行領域における複数の並列する水はけ用の溝等、人工溝の有無を認識する。   The first processing element 110 performs a Fourier transform process (fast Fourier transform process) on the image obtained through the camera 12 in order to generate a frequency spectrum that represents a change in the horizontal density of the designated image region. The designated image region is a first predicted traveling region of the vehicle 1 in the real space in the image (for example, assuming that a pair of lane marks exist on the left and right sides of the vehicle 1, a part of the region sandwiched between the pair of lane marks or All). The first processing element 110 is based on a frequency spectrum that represents a change in shade in the horizontal direction of the designated image region, and the first predicted traveling region is included in the designated frequency range in this spectrum according to the presence or absence of a peak whose intensity is equal to or greater than a threshold value. Recognizes the presence or absence of artificial grooves, such as a plurality of parallel drainage grooves.

第2処理要素120はカメラ12を通じて得られた画像においてエッジを抽出または顕在化するエッジ抽出処理を実行することによりエッジ画像を生成する。第2処理要素120はエッジ画像にハフ変換処理を実行し、ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の指定投票値に対する投票数を評価する。第2処理要素120はρ−θ空間において定義されている指定領域における指定投票値の投票数が閾値以上であることを要件として、車両1が走行中の道路における積雪の有無を認識する。第2処理要素120は第1処理要素110により道路(詳細には第1予測走行領域)に複数の並列する人工溝が存在しないと認識されたことを要件として、この道路における積雪の有無を認識する。指定領域は、ρ−θ空間において実空間における車両1の第2予測走行領域(第1予測走行領域と同じく、たとえば車両1の左右に一対のレーンマークがあると仮定した場合、当該一対のレーンマークにより挟まれる領域の一部または全部)を表わしている。指定領域の境界は無積雪状態の道路について指定領域における指定投票値の投票数が閾値未満となるように設定されている。 The second processing element 120 generates an edge image by executing an edge extraction process for extracting or revealing an edge in an image obtained through the camera 12. The second processing element 120 executes the Hough transform process on the edge image, and evaluates the number of votes for the designated vote value of the linear component in the ρ-θ space based on the execution result of the Hough transform process. The second processing element 120 recognizes the presence or absence of snow on the road on which the vehicle 1 is traveling, on the condition that the number of votes of the designated vote value in the designated area defined in the ρ-θ space is equal to or greater than a threshold value. The second processing element 120 recognizes the presence or absence of snow on this road on the condition that the first processing element 110 recognizes that there are not a plurality of parallel artificial grooves on the road (specifically, the first predicted travel area). To do. The designated area is the second predicted travel area of the vehicle 1 in the real space in the ρ-θ space (for example, assuming that there are a pair of lane marks on the left and right of the vehicle 1 as in the first predicted travel area) This represents a part or all of a region sandwiched between marks. The boundary of the designated area is set so that the number of votes of the designated voting value in the designated area is less than the threshold value for a road in a snowless state.

前記構成の車両1および車両走行支援装置10の機能について説明する。   Functions of the vehicle 1 and the vehicle travel support device 10 having the above-described configuration will be described.

まず、カメラ12を通じて車両1の前方または走行方向の状況を表わすディジタル画像が取得される(図3/S002)。これにより、たとえば図4(a)、図5(a)(=図7(a))または図6(a)に示されているような車両1の前方に延びる道路の画像が取得される。なお、図4(a)は道路に積雪がなく、かつ、道路に複数の並列する人工溝Gが設けられている状態における撮像画像であり、図5(a)は道路に積雪がある状態における撮像画像であり、図6(a)は道路に積雪がなく、かつ、道路に複数の人工溝が設けられていない状態における撮像画像である。 First, a digital image representing the situation in front of the vehicle 1 or in the traveling direction is acquired through the camera 12 (FIG. 3 / S002). Thereby, for example, an image of a road extending in front of the vehicle 1 as shown in FIG. 4 (a), FIG. 5 (a) (= FIG. 7 (a)) or FIG. 6 (a) is acquired. 4A is a captured image in a state where there is no snow on the road and a plurality of parallel artificial grooves G are provided on the road, and FIG. 5A is a state in which there is snow on the road. FIG. 6A illustrates a captured image in a state where there is no snow on the road and a plurality of artificial grooves are not provided on the road.

また、第1処理要素110により、ディジタル画像に対して高速フーリエ変換処理が実行される(図3/S004)。これにより、たとえば図4(a)に示されている矩形状の指定画像領域QAの横方向の濃淡変化態様を表わす、図4(b)に示されているような周波数スペクトルが生成される。同様に、図5(a)に示されている矩形状の指定画像領域QAの横方向の濃淡変化態様を表わす、図5(b)に示されているような周波数スペクトルが生成される。なお、指定画像領域は矩形状のほか、円形状、楕円形状、三角形状および台形状など、さまざまな形状に設定されていてもよい。また、高速フーリエ変換処理に代えて、通常のフーリエ変換処理または離散フーリエ変換処理が実行されてもよい。   Further, the first processing element 110 executes a fast Fourier transform process on the digital image (FIG. 3 / S004). As a result, for example, a frequency spectrum as shown in FIG. 4B is generated that represents the variation in the horizontal direction of the rectangular designated image region QA shown in FIG. 4A. Similarly, a frequency spectrum as shown in FIG. 5 (b) is generated, which represents the variation in the horizontal direction of the rectangular designated image area QA shown in FIG. 5 (a). In addition to the rectangular shape, the designated image area may be set to various shapes such as a circular shape, an elliptical shape, a triangular shape, and a trapezoidal shape. Further, instead of the fast Fourier transform process, a normal Fourier transform process or a discrete Fourier transform process may be executed.

さらに、第2処理要素120により、ディジタル画像に対してエッジ抽出処理が実行されることにより、エッジが顕在化されたエッジ画像が生成される(図3/S006)。たとえば、図6(a)および図7(a)のそれぞれに示されている画像に対してエッジ抽出処理が実行されることにより、図6(b)および図7(b)のそれぞれに示されているように、エッジ(白抜き部分)が抽出または顕在化されたエッジ画像が生成される。なお、エッジは一定の走査方向について輝度が閾値を超えて変化する点または画素により構成される線分を意味しており、特開2005−332104号公報および特開2006−012191号公報等に開示されている画像処理方法にしたがって認識されうる。   Further, the second processing element 120 executes edge extraction processing on the digital image, thereby generating an edge image in which the edges are made obvious (FIG. 3 / S006). For example, the edge extraction processing is performed on the images shown in FIGS. 6A and 7A, respectively, so that the images shown in FIGS. 6B and 7B are displayed. As shown, an edge image in which edges (outlined portions) are extracted or made visible is generated. Note that an edge means a point or a line segment composed of pixels whose luminance changes beyond a threshold value in a certain scanning direction, and is disclosed in Japanese Patent Laid-Open Nos. 2005-332104 and 2006-012191. Can be recognized according to the image processing method being used.

また、第2処理要素120によりエッジ画像に対してハフ変換処理が実行される(図3/S008)。たとえば図6(b)および図7(b)のそれぞれに示されているエッジ画像に対してハフ変換処理が実行されることにより、図6(c)および図7(c)のそれぞれに示されているように、ハフ変換されたエッジの直線成分がρ−θ空間の任意の座標に出現する頻度が投票値として評価される。   Further, the Hough transform process is executed on the edge image by the second processing element 120 (FIG. 3 / S008). For example, the Hough transform process is executed on the edge images shown in FIGS. 6B and 7B, respectively, so that the edge images shown in FIGS. 6C and 7C are shown. As described above, the frequency at which the linear component of the edge subjected to the Hough transform appears at an arbitrary coordinate in the ρ-θ space is evaluated as a vote value.

さらに、第1処理要素110により、指定画像領域により表わされている、第1予測走行領域における複数の並列する人工溝の有無が認識される(図3/S010)。具体的には、周波数スペクトルにおいて指定周波数範囲に含まれる強度が閾値以上のピークの有無が認識されることにより、並列する人工溝の有無が認識される。指定周波数範囲は、実空間における標準的な人工溝の間隔に相当する空間周波数範囲を意味する。たとえば、図4(b)に示されているように指定周波数範囲に含まれる、強度が閾値(一点鎖線)以上であるピークが存在する場合、指定画像領域QAにより表わされている、第1予測走行領域に複数の並列する人工溝Gが存在すると認識される(図4(a)参照)。その一方、図5(b)に示されているように強度が閾値(一点鎖線)以上であるピークが存在しない場合、指定画像領域QAにより表わされている、第1予測走行領域に複数の並列する人工溝Gが存在しないと認識される(図5(a)参照)。なお、強度が閾値以上であるピークが存在することに加えて、このピークが人工溝の横方向の標準的な間隔に相当する指定周波数範囲に存在することが要件とされて、複数の人工溝が存在すると認識されてもよい。 Further, the first processing element 110 recognizes the presence / absence of a plurality of artificial grooves arranged in parallel in the first predicted travel area represented by the designated image area (S010 in FIG. 3). Specifically, the presence / absence of the artificial grooves arranged in parallel is recognized by recognizing the presence / absence of a peak whose intensity included in the specified frequency range in the frequency spectrum is equal to or greater than a threshold value. The designated frequency range means a spatial frequency range corresponding to a standard artificial groove interval in real space. For example, as shown in FIG. 4B, when there is a peak included in the designated frequency range and having an intensity equal to or higher than a threshold value (one-dot chain line), the first image represented by the designated image region QA is used. It is recognized that there are a plurality of parallel artificial grooves G in the predicted travel region (see FIG. 4A). On the other hand, as shown in FIG. 5B, when there is no peak whose intensity is greater than or equal to the threshold value (one-dot chain line), a plurality of first predicted travel areas represented by the designated image area QA are displayed. It is recognized that there are no parallel artificial grooves G (see FIG. 5A). Incidentally, in addition to the peak intensity is equal to or greater than the threshold is present, this peak is that it is the requirements that exist in the designated frequency range corresponding to a standard lateral spacing of the artificial grooves, a plurality of artificial grooves May be recognized.

第1処理要素110により、道路の第1予測走行領域に複数の並列する人工溝が存在すると判定された場合(図3/S010‥NO)、第2処理要素120により、ディジタル画像に対してエッジ抽出処理等が実行されることにより、後述するようにレーンマークが探索され(図3/S016)、この探索結果に基づいて走行領域の設定可否が判定され(図3/S018)、走行領域が設定された場合には車両1がその走行領域に収まるように操舵装置14および制動装置16の動作が制御される(図3/S020)。 When it is determined by the first processing element 110 that there are a plurality of parallel artificial grooves in the first predicted traveling area of the road (FIG. 3 / S010... NO), the second processing element 120 performs edge processing on the digital image. By executing the extraction process or the like, a lane mark is searched as will be described later (FIG. 3 / S016), and it is determined whether or not the travel area can be set based on the search result (FIG. 3 / S018). When set, the operations of the steering device 14 and the braking device 16 are controlled so that the vehicle 1 falls within the travel region (FIG. 3 / S020).

その一方、第1処理要素110により、道路の第1予測走行領域に複数の並列する人工溝が存在しないと判定された場合(図3/S010‥YES)、第2処理要素120により、ρ−θ空間において定義されている指定領域Sにおける投票値と、投票値が出現する頻度としての投票数との関係を表現するヒストグラムが生成される(図3/S012)。これにより、たとえば図8に示されている閾値ライン(実線)よりも高投票値かつ多投票数側の第1投票領域U1および閾値ラインよりも低投票値かつ少投票数側の第2投票領域U2のうちいずれかに一部または全部が包含されるように、投票値と投票数との関係を表わす第1曲線(一点鎖線)L1または第2曲線(二点鎖線)L2が描かれる。指定領域Sとしては、図6(c)および図7(c)のそれぞれに示されている、ρの値により画定されている第1指定領域(一点鎖線で囲まれている)S1=[ρ1,ρ2]と、θの値により画定されている第2指定領域(二点鎖線により囲まれている)S2=[θ1,θ2]との重なり領域(斜線が付されている)S1∩S2が定義されている。図6(c)および図7(c)のそれぞれにおいて後述する第1指定領域S1および第2指定領域S2から外れた領域において投票値が高い一対の箇所があるが、これは主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている。なお、第1指定領域S1または第2指定領域S2が単独で指定領域Sとして定義されてもよい。また、指定領域Sの形状としては矩形状ではなく円形状、楕円形状、三角形状または台形状など、さまざまな形状が採用されてもよい。 On the other hand, if it is determined by the first processing element 110 that a plurality of parallel artificial grooves are not present in the first predicted travel area of the road (FIG. 3 / S010... YES), the second processing element 120 determines ρ− A histogram expressing the relationship between the vote value in the designated area S defined in the θ space and the number of votes as the frequency of appearance of the vote value is generated (S012 in FIG. 3). Thereby, for example, the first vote area U 1 on the higher vote value and higher vote side than the threshold line (solid line) shown in FIG. 8 and the second vote on the lower vote value and smaller vote side than the threshold line. The first curve (one-dot chain line) L 1 or the second curve (two-dot chain line) L 2 representing the relationship between the vote value and the number of votes is included so that any or all of the areas U 2 are included. be painted. As the designated region S, a first designated region (enclosed by a one-dot chain line) S 1 = [delimited by the value of ρ shown in each of FIGS. 6C and 7C. ρ 1 , ρ 2 ] and a second designated area (surrounded by a two-dot chain line) delimited by the value of θ S 2 = [θ 1 , θ 2 ] (overlapped area) S 1 ∩S 2 is defined. Although voting value in a region deviated from the first specified region S 1 and the second specified area S 2 described later with reference to shown in FIG. 6 (c) and FIG. 7 (c) there is a higher pair of points, which is primarily a pair This represents the result of Hough transform of the lane mark or the edge of the ridge. The first designated area S 1 or the second designated area S 2 may be defined alone as the designated area S. Further, as the shape of the designated region S, various shapes such as a circular shape, an elliptical shape, a triangular shape, or a trapezoidal shape may be adopted instead of a rectangular shape.

指定領域Sの境界値は、積雪状態の道路についてはこの指定領域Sにおける指定投票値が閾値以上となる一方、無積雪状態の道路についてこの指定領域Sにおける指定投票値の投票数が閾値未満となるように設定されている。   As for the boundary value of the designated area S, the designated vote value in the designated area S is greater than or equal to the threshold for a snowy road, while the designated vote value in the designated area S is less than the threshold for a road in the no snow condition. It is set to be.

具体的には、積雪がない状態の道路については図6(c)に示されているように第1指定領域S1において投票値が高い箇所が比較的少なくなる一方、積雪がある状態の道路については図7(c)に示されているように第1指定領域S1において投票値が高い箇所が比較的多くなるように第1指定領域S1の下限値ρ1および上限値ρ2が設定されている。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第1指定領域S1の下限値ρ1および上限値ρ2が設定されている(たとえばρ1=0,ρ2=0.3ρmax)。ρ−θ空間における第1指定領域S1は、図6(a)および図7(a)のそれぞれに示されているカメラ12の撮像画像における半円形状の第1指定画像領域Q1を通過する直線(線分)に相当し、ひいては、第1指定画像領域Q1に相当する実空間領域(車両1の前側近傍領域)に相当している。 Specifically, while the point voting value is high is relatively small in the first designated area S 1 as the road in no snow state shown in FIG. 6 (c), a state where there is snow road for Figure 7 the lower limit value [rho 1 and the upper limit value [rho 2 of the first specified area S 1 as voting value is comparatively much higher position in the first designated area S 1 as shown in (c) is Is set. That is, as described above, the lower limit value ρ 1 of the first designated region S 1 is not included so that a pair of high voting values representing the result of Hough transform of edges such as a pair of lane marks or wrinkles is not included. The upper limit value ρ 2 is set (for example, ρ 1 = 0, ρ 2 = 0.3ρ max ). The first designated area S 1 in the ρ-θ space passes through the semi-circular first designated image area Q 1 in the captured image of the camera 12 shown in each of FIGS. 6 (a) and 7 (a). It corresponds to a straight line (line segment) that, in turn, corresponds to a real space region corresponding to the first specified image area Q 1 (front region near the vehicle 1).

同様に、積雪がない状態の道路については図6(c)に示されているように第2指定領域S2において投票値が高い箇所が比較的少なくなる一方、積雪がある状態の道路については図7(c)に示されているように第2指定領域S2において投票値が高い箇所が比較的多くなるように第2指定領域S2の境界値θ1およびθ2が設定されている(たとえばθ1=π/6,θ2=5π/6)。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第2指定領域S2の境界値θ1およびθ2が設定されている。ρ−θ空間における第2指定領域S2は図6(a)および図7(a)のそれぞれに示されているカメラ12の撮像画像における三角形状の第2指定画像領域Q2を通過する直線(線分)に相当しており、ひいては、第2指定画像領域Q2に相当する実空間領域(左右一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークの間に大部分が含まれる領域)に相当している。 Similarly, while portions vote value is high it is relatively small in the second designated area S 2 to the road in no snow state shown in FIG. 6 (c), the road state is snow boundary value theta 1 and theta 2 of the second specifies that voting value is comparatively much higher point region S 2 is set in the second designated area S 2 as shown in FIG. 7 (c) (For example, θ 1 = π / 6, θ 2 = 5π / 6). That is, as described above, the boundary value θ 1 of the second designated region S 2 is not included so that a pair of high voting values representing the result of the Hough transform of edges such as a pair of lane marks or ridges is not included. And θ 2 are set. The second designated region S 2 in the ρ-θ space is a straight line passing through the triangular second designated image region Q 2 in the captured image of the camera 12 shown in each of FIGS. 6 (a) and 7 (a). Corresponding to the second designated image area Q 2 (assuming that there is a pair of left and right lane marks, most of them are included between the pair of lane marks). Area).

このため、積雪がある状態の道路では、図8に示されている閾値ラインよりも高投票値かつ多投票数側の第1投票領域U1に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。その一方、積雪がない状態の道路では、図8に示されている閾値ラインよりも高投票値かつ多投票数側の第2投票領域U2に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。 For this reason, on a road with snow, a vote is made so that a part or the whole is included in the first vote area U 1 on the higher vote value and higher vote count side than the threshold line shown in FIG. A curve representing the relationship between the value and the number of votes is drawn. On the other hand, on the road without snow cover, the vote is made so that a part or the whole is included in the second vote area U 2 on the higher vote value and higher vote side than the threshold line shown in FIG. A curve representing the relationship between the value and the number of votes is drawn.

さらに、第2処理要素120により、指定投票値の投票数が閾値以下であるか否かを認識することにより、車両1が走行中の道路における積雪の有無が認識される(図3/S014)。たとえば、図8に示されている指定投票値における投票数N1が閾値Nth以上である場合には積雪があると認識される一方、投票数N2が閾値Nth未満である場合には積雪がないと認識される。なお、1つの指定投票値の投票数が閾値以上であるか否かに応じてではなく、複数の指定投票値のうちそれぞれの投票数が閾値以上であるか否かに応じて積雪の有無が認識されてもよい。 Further, the second processing element 120 recognizes whether or not there is snow on the road on which the vehicle 1 is traveling by recognizing whether or not the number of votes of the designated vote value is equal to or less than a threshold value (FIG. 3 / S014). . For example, when the number of votes N 1 in the designated vote value shown in FIG. 8 is greater than or equal to the threshold value N th, it is recognized that there is snow, while when the number of votes N 2 is less than the threshold value N th It is recognized that there is no snow. In addition, it is not based on whether the number of votes of one designated vote value is more than a threshold value, but it is the presence or absence of snow depending on whether each vote number is more than a threshold value among several designated vote values. It may be recognized.

そして、道路において積雪がないと認識された場合(図3/S014‥YES)、エッジ抽出処理の実行結果等に基づき、車線(白線もしくは黄線など)または道路鋲(ボッツドッツ)等のレーンマークが探索される(図3/S016)。なお、レーンマークの探索方法としては、特開2006−309605号公報、特開2006−331193号公報、特開2007−018154号公報または特開2007−026106号公報等に開示されている方法が採用されうる。さらに、当該レーンマークの探索結果に基づき、一対のレーンマークにより左右が画定された走行領域の設定可否が判定される(図3/S018)。走行領域が設定可能であると判定された場合(図3/S018‥YES)、操舵装置14および制動装置16のうち一方または両方の動作が制御されることにより、車両1がこの走行領域から逸脱しないように車両1の走行を支援する走行支援制御が実行される(図3/S020)。その一方、道路において積雪があると認識された場合(図3/S014‥NO)、または、レーンマークの探索失敗等のために走行領域が設定不可能であると判定された場合(図3/S018‥NO)、走行領域の設定および走行支援制御が省略される。   When it is recognized that there is no snow on the road (FIG. 3 / S014... YES), lane marks such as lanes (white line or yellow line) or road fences (botts dots) are displayed based on the execution result of the edge extraction process. Search is performed (FIG. 3 / S016). As a lane mark search method, a method disclosed in Japanese Patent Laid-Open No. 2006-309605, Japanese Patent Laid-Open No. 2006-331193, Japanese Patent Laid-Open No. 2007-018154, Japanese Patent Laid-Open No. 2007-026106, or the like is employed. Can be done. Further, based on the search result of the lane mark, it is determined whether or not a travel region in which left and right are defined by a pair of lane marks can be set (FIG. 3 / S018). When it is determined that the travel region can be set (FIG. 3 / S018... YES), the operation of one or both of the steering device 14 and the braking device 16 is controlled, so that the vehicle 1 deviates from this travel region. In order to prevent this, the driving support control for supporting the driving of the vehicle 1 is executed (FIG. 3 / S020). On the other hand, when it is recognized that there is snow on the road (FIG. 3 / S014... NO), or when it is determined that the travel area cannot be set due to a lane mark search failure (FIG. 3 / S018... NO), setting of the travel area and travel support control are omitted.

前記機能を発揮する車両走行支援装置10によれば、カメラ(撮像装置)12を通じて得られた画像において、実空間における車両1の第1予測走行領域を表わす指定画像領域の横方向の濃淡変化態様が認識される。具体的には、ディジタル画像に高速フーリエ変換処理が実行されることにより、指定画像領域の横方向の濃淡変化態様を表す周波数スペクトルが生成される(図3/S004,図4(b)および図5(b)参照)。図4(a)に示されているように車両1が走行している道路に複数の並列する人工溝Gが設けられている場合、指定画像領域QAにはその横方向に特徴的な濃淡変化態様が、図4(b)に示されているように周波数スペクトルにおける指定周波数範囲に含まれる強度が閾値以上のピークとして現われる。したがって、この濃淡変化態様に基づき、第1予測走行領域における複数の並列する人工溝の有無が高精度で認識されうる。さらに、道路に複数の並列する人工溝が存在しないと認識されたことを要件として、エッジ抽出処理およびハフ変換処理の実行結果に基づいて道路の状態が認識される(図3/S010‥YES,S014参照)。これにより、複数の並列する人工溝が存在するために道路の状態が誤認識される事態が回避される。 According to the vehicle travel support device 10 that exhibits the above function, in the image obtained through the camera (imaging device) 12, the horizontal shading change mode of the designated image region representing the first predicted travel region of the vehicle 1 in the real space. Is recognized. Specifically, a fast spectrum transform process is performed on the digital image, thereby generating a frequency spectrum representing a change in shade in the horizontal direction of the designated image region (FIG. 3 / S004, FIG. 4B) and FIG. 5 (b)). When a plurality of parallel artificial grooves G are provided on the road on which the vehicle 1 is traveling as shown in FIG. 4A, the specified image area QA has a characteristic shade change in the lateral direction. As shown in FIG. 4B, the mode appears as a peak whose intensity included in the designated frequency range in the frequency spectrum is equal to or higher than the threshold. Therefore, based on this shade change mode, the presence or absence of a plurality of parallel artificial grooves in the first predicted travel region can be recognized with high accuracy. Furthermore, on the condition that a plurality of parallel artificial grooves are recognized not to exist on the road, the state of the road is recognized based on the execution results of the edge extraction process and the Hough transform process (FIG. 3 / S010... YES, (See S014). As a result, a situation in which the state of the road is erroneously recognized due to the presence of a plurality of parallel artificial grooves is avoided.

さらに、カメラ(撮像装置)12を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される(図3/S006,図6(b)および図7(b)参照)。また、エッジ画像がハフ変換されることにより、ρ−θ空間(ハフ空間)の任意の点において直線成分の投票値が評価される(図3/S006,図6(c)および図7(c)参照)。そして、ρ−θ空間の指定領域S(図6(c)参照)における指定投票値の投票数が閾値以上であるか否かが認識されることにより、車両1が走行中の道路における積雪の有無が認識される(図3/S014,図8参照)。これは、ρ−θ空間の指定領域Sは、車両1の左側および右側のそれぞれにある一対のレーンマーク等により画定される第2予測走行領域に相当しているので、第2予測走行領域における積雪の有無に応じて、指定領域における指定投票値の投票数が顕著に相違するからである。具体的には、前記のようにρ−θ空間における第1指定領域S1は、図6(a)に示されているカメラ12の撮像画像における半円形状の第1指定画像領域Q1を通過する直線(線分)に相当し、ひいては、第1指定画像領域Q1に相当する実空間領域に相当している。また、ρ−θ空間における第2指定領域S2は、図6(a)に示されているカメラ12の撮像画像における三角形状の第2指定画像領域Q2を通過する直線(線分)に相当し、ひいては、第2指定画像領域Q2に相当する実空間領域に相当している。したがって、カメラ12による同一位置からの撮像履歴の有無にかかわらず、積雪の有無を判定する際の特徴は図6(c)の指定領域Sの投票値に表われ、車両1が走行中の道路における積雪の有無を高精度で認識することができる。 Furthermore, an edge image is generated by extracting or revealing an edge in an image obtained through the camera (imaging device) 12 (see FIG. 3 / S006, FIG. 6B and FIG. 7B). Also, the edge image is subjected to the Hough transform, whereby the voting value of the linear component is evaluated at an arbitrary point in the ρ-θ space (Hough space) (FIG. 3 / S006, FIGS. 6C and 7C). )reference). Then, by recognizing whether or not the number of votes of the designated vote value in the designated region S (see FIG. 6C) in the ρ-θ space is equal to or greater than the threshold value, snow accumulation on the road on which the vehicle 1 is traveling is determined. The presence or absence is recognized (see FIG. 3 / S014, FIG. 8). This is because the designated region S of the ρ-θ space corresponds to a second predicted travel region defined by a pair of lane marks on the left and right sides of the vehicle 1. This is because the number of votes of the designated vote value in the designated area is significantly different depending on the presence or absence of snow. Specifically, as described above, the first designated region S 1 in the ρ-θ space is the semicircular first designated image region Q 1 in the captured image of the camera 12 shown in FIG. It corresponds to a straight line (line segment) passing, therefore, corresponds to a real space region corresponding to the first specified image area Q 1. Further, the second designated area S 2 in the ρ-θ space is a straight line (line segment) passing through the triangular second designated image area Q 2 in the captured image of the camera 12 shown in FIG. It corresponds to, in turn, corresponds to a real space region corresponding to a second specified image area Q 2. Therefore, regardless of the presence or absence of imaging history from the same position by the camera 12, the characteristics when determining the presence or absence of snow appear in the vote value of the designated area S in FIG. 6C, and the road on which the vehicle 1 is traveling The presence or absence of snow in can be recognized with high accuracy.

また、道路に複数の並列する人工溝が存在する場合、この道路における積雪の有無は認識されない(図3/S010‥NO参照)。したがって、道路に積雪がないにもかかわらず、この道路に複数の並列する人工溝があるためにハフ空間において直線成分の指定投票値に対する投票数が閾値以上となって、道路に積雪があると誤認識される事態が回避されうる。 Further, when there are a plurality of parallel artificial grooves on the road, the presence or absence of snow on this road is not recognized (see NO in FIG. 3 / S010). Therefore, even though there is no snow on the road, there are a plurality of parallel artificial grooves on this road, so the number of votes for the designated vote value of the straight line component in the Hough space exceeds the threshold value, and there is snow on the road. Misidentified situations can be avoided.

前記実施形態では指定画像領域の横方向の濃淡変化態様が高速フーリエ変換処理により生成された周波数スペクトルとして認識されたが、他の実施形態としてエッジ抽出処理によりエッジ(たとえば画像横方向について輝度が低くなる負エッジ)が抽出され、指定画像領域の横方向の濃淡変化態様が当該エッジの画像横方向の出現周期として認識されてもよい。そして、エッジの画像横方向の出現頻度が一定値以上であり、かつ、出現周期が指定範囲に包含されるか否かに応じて人工溝の有無が認識されてもよい。 In the above-described embodiment, the horizontal gradation change mode of the designated image area is recognized as the frequency spectrum generated by the fast Fourier transform process. However, as another embodiment, the edge (for example, the brightness in the horizontal direction of the image is low) by the edge extraction process. Negative edge) may be extracted, and the horizontal shading change mode of the designated image area may be recognized as the appearance period of the edge in the image horizontal direction. Then, the presence / absence of an artificial groove may be recognized depending on whether the appearance frequency of the edge in the horizontal direction of the image is equal to or greater than a certain value and the appearance period is included in the specified range.

また、前記実施形態では道路における積雪の有無が道路の状態として認識されたが(図3/S014,図6および図7参照)、他の実施形態として路面にできた細かなひび割れの有無、道路における散乱物の有無等が道路の状態として認識されてもよい。   In the above embodiment, the presence or absence of snow on the road is recognized as the state of the road (see FIG. 3 / S014, FIG. 6 and FIG. 7). As another embodiment, the presence or absence of fine cracks on the road surface, The presence / absence of scattered objects in the road may be recognized as a road state.

本発明の車両の構成説明図Configuration diagram of the vehicle of the present invention 本発明の車両走行支援装置の構成説明図Configuration explanatory diagram of the vehicle travel support device of the present invention 本発明の車両走行支援装置の機能を示すフローチャートThe flowchart which shows the function of the vehicle travel assistance device of this invention フーリエ変換処理によるスペクトル生成方法に関する説明図Explanatory drawing about spectrum generation method by Fourier transform processing フーリエ変換処理によるスペクトル生成方法に関する説明図Explanatory drawing about spectrum generation method by Fourier transform processing 無積雪時のエッジ抽出処理およびハフ変換処理に関する説明図Explanatory drawing about edge extraction processing and Hough transform processing when there is no snow 積雪時のエッジ抽出処理およびハフ変換処理に関する説明図Explanatory drawing about edge extraction processing and Hough transform processing during snowfall 直線成分の投票値および投票数の関係に関する説明図Explanatory diagram regarding the relationship between the voting value and the number of votes for linear components

符号の説明Explanation of symbols

1‥車両、10‥車両走行支援装置、12‥カメラ(撮像装置)、110‥第1処理要素、120‥第2処理要素 DESCRIPTION OF SYMBOLS 1 ... Vehicle, 10 ... Vehicle travel support apparatus, 12 ... Camera (imaging device), 110 ... 1st processing element, 120 ... 2nd processing element

Claims (5)

車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、
前記画像において実空間における前記車両の標準走行領域を表わし、1対のレーンマークに挟まれる領域を含む指定画像領域における横方向の濃淡変化態様に基づき、前記標準走行領域における複数の並列する線状の人工溝の有無を認識する第1処理要素と、
前記画像においてエッジを顕在化するエッジ抽出処理を実行することによりエッジ画像を生成し、前記エッジ画像に対してハフ変換処理を実行し、前記ハフ変換処理の実行結果に基づき、前記車両が走行中の道路の積雪の有無を認識する第2処理要素とを備え、
前記第2処理要素が、前記第1処理要素により前記複数の人工溝がないと認識されたことを要件として前記道路の積雪の有無を認識することを特徴とする車両走行支援装置。
A vehicle travel support device for recognizing a travel environment of the vehicle based on an image representing a situation in a traveling direction of the vehicle obtained through an imaging device mounted on the vehicle,
It said to Table Wa standard running region of the vehicle in the real space in the image, based on the lateral gray variant of the specified image region including a region between the pair of lane mark, a plurality of parallel in the standard traveling area A first processing element for recognizing the presence or absence of a linear artificial groove;
An edge image is generated by executing an edge extraction process that reveals an edge in the image, a Hough transform process is performed on the edge image, and the vehicle is running based on an execution result of the Hough transform process A second processing element for recognizing the presence or absence of snow on the road,
The vehicle travel support apparatus according to claim 1, wherein the second processing element recognizes whether there is snow on the road on the condition that the first processing element recognizes that the plurality of artificial grooves are not present .
請求項1記載の車両走行支援装置において、
前記第1処理要素が、前記画像に対して前記指定画像領域の横方向の濃淡変化態様を表わす周波数スペクトルを生成するためにフーリエ変換処理を実行し、前記周波数スペクトルにおいて実空間における前記複数の人工溝の間隔に相当する指定周波数範囲に含まれる、強度が閾値以上のピークの有無に応じて、前記標準走行領域における複数の並列する人工溝の有無を認識することを特徴とする車両走行支援装置。
The vehicle travel support device according to claim 1,
The first processing element performs a Fourier transform process to generate a frequency spectrum that represents a change in lightness and shade in the lateral direction of the designated image region with respect to the image, and the plurality of artificial objects in real space in the frequency spectrum A vehicle travel support apparatus that recognizes the presence or absence of a plurality of artificial grooves arranged in parallel in the standard travel region in accordance with the presence or absence of a peak whose intensity is greater than or equal to a threshold value, which is included in a specified frequency range corresponding to a groove interval. .
請求項1または2記載の車両走行支援装置において、
前記第2処理要素が、ρ−θ空間において前記標準走行領域を表わす指定領域における直線成分の指定投票値に対する投票数を評価し、前記投票数が閾値以上であることを要件として、前記車両が走行中の道路における積雪の有無を認識することを特徴とする車両走行支援装置。
In the vehicle travel support device according to claim 1 or 2,
The second processing element evaluates the number of votes with respect to a designated vote value of a straight line component in a designated area representing the standard running area in the ρ-θ space, and the vehicle has the requirement that the number of votes is equal to or greater than a threshold. A vehicle travel support apparatus for recognizing presence or absence of snow on a traveling road.
撮像装置と、請求項1記載の車両走行支援装置とを備えていることを特徴とする車両。 A vehicle comprising: an imaging device; and the vehicle travel support device according to claim 1. 車両に搭載されているコンピュータを請求項1記載の車両走行支援装置として機能させることを特徴とする車両走行支援プログラム。 A vehicle driving support program for causing a computer mounted on a vehicle to function as the vehicle driving support device according to claim 1.
JP2008073843A 2008-03-21 2008-03-21 Vehicle travel support device, vehicle, vehicle travel support program Expired - Fee Related JP5023363B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008073843A JP5023363B2 (en) 2008-03-21 2008-03-21 Vehicle travel support device, vehicle, vehicle travel support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008073843A JP5023363B2 (en) 2008-03-21 2008-03-21 Vehicle travel support device, vehicle, vehicle travel support program

Publications (3)

Publication Number Publication Date
JP2009230372A JP2009230372A (en) 2009-10-08
JP2009230372A5 JP2009230372A5 (en) 2011-05-12
JP5023363B2 true JP5023363B2 (en) 2012-09-12

Family

ID=41245699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008073843A Expired - Fee Related JP5023363B2 (en) 2008-03-21 2008-03-21 Vehicle travel support device, vehicle, vehicle travel support program

Country Status (1)

Country Link
JP (1) JP5023363B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10173489B2 (en) * 2016-05-11 2019-01-08 Ford Global Technologies, Llc Vehicle suspension control systems and devices, and related methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (en) * 1991-09-19 1999-06-07 矢崎総業株式会社 Vehicle periphery monitoring device
JP2006308514A (en) * 2005-05-02 2006-11-09 Fukui Prefecture Image processing type snow cover sensor on road surface and snow cover detecting method
JP4939137B2 (en) * 2006-07-19 2012-05-23 富士重工業株式会社 Lane recognition device

Also Published As

Publication number Publication date
JP2009230372A (en) 2009-10-08

Similar Documents

Publication Publication Date Title
US8391555B2 (en) Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
JP4992990B2 (en) Lane marking detector
JP5966965B2 (en) Lane boundary departure control device and lane boundary departure suppression method
US10147003B2 (en) Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof
JP5402828B2 (en) Lane boundary detection device, lane boundary detection program
US20100284569A1 (en) Lane recognition system, lane recognition method, and lane recognition program
JP5855756B2 (en) Lane mark recognition device
JP6093314B2 (en) Boundary line recognition device
US9688275B2 (en) Travel lane marking recognition apparatus
JP5321849B2 (en) Vehicle travel support device, vehicle, vehicle travel support program
JP6408935B2 (en) Traveling line recognition device
EP2256691B1 (en) Image processing device for vehicle and image processing program
JP6367725B2 (en) Zebra zone recognition device and travel lane marking recognition device
JP5023363B2 (en) Vehicle travel support device, vehicle, vehicle travel support program
JP5039013B2 (en) Vehicle travel support device, vehicle, vehicle travel support program
JP4211681B2 (en) Travel path recognition device
JP6729358B2 (en) Recognition device
JP5742676B2 (en) Lane boundary recognition device
JP4995555B2 (en) Image processing device
JP4956841B2 (en) VEHICLE IMAGE PROCESSING DEVICE, VEHICLE, AND VEHICLE IMAGE PROCESSING PROGRAM
JP4876277B2 (en) VEHICLE IMAGE PROCESSING DEVICE, VEHICLE, AND VEHICLE IMAGE PROCESSING PROGRAM
JP5012607B2 (en) Vehicle travel support device, vehicle, vehicle travel support program
JP2016016751A (en) Curve detection device
JP2013228944A (en) Traveling section line recognition apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5023363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees