JP6045888B2 - In-vehicle image processing device - Google Patents
In-vehicle image processing device Download PDFInfo
- Publication number
- JP6045888B2 JP6045888B2 JP2012259017A JP2012259017A JP6045888B2 JP 6045888 B2 JP6045888 B2 JP 6045888B2 JP 2012259017 A JP2012259017 A JP 2012259017A JP 2012259017 A JP2012259017 A JP 2012259017A JP 6045888 B2 JP6045888 B2 JP 6045888B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- marking line
- vehicle
- interpolation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車載カメラで撮像した画像から例えば駐車枠線のような路面標示線を認識する車載画像処理装置に関する。 The present invention relates to an in-vehicle image processing apparatus that recognizes a road marking line such as a parking frame line from an image captured by an in-vehicle camera.
例えば特許文献1には、リヤカメラで撮像した画像から駐車スペースの標示線を認識し、車両の後退により画像から認識可能な標示線の長さが一定以下になった場合にドライバへの提示画面をリヤ画像から俯瞰画像に切り替える技術が示されている。
For example, in
しかしながら、標示線の一部が掠れている場合や、標示線の一部が省略されて途中で途切れている場合に、画像から標示線を認識できない場合がある。 However, when a part of the marking line is blurred or when a part of the marking line is omitted and is interrupted in the middle, the marking line may not be recognized from the image.
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車載カメラで撮像した画像から路面標示線を高精度に認識することができる車載画像処理装置を提供することである。 The present invention has been made in view of the above points, and an object of the present invention is to provide an in-vehicle image processing apparatus that can recognize a road marking line with high accuracy from an image captured by an in-vehicle camera. It is.
上記課題を解決する本発明の車載画像処理装置は、車載カメラで撮像した画像から路面標示線を認識する車載画像処理装置であって、前記車載カメラで所定周期毎に撮像された複数の画像を取得する画像取得手段と、前記複数の画像から前記路面標示線をそれぞれ検出する標示線検出手段と、前記複数の画像にそれぞれ撮像されている標示線の対応付けを行う対応付け手段と、該対応付け手段による対応付けができた標示線を追跡する追跡手段と、前記対応付け手段による対応付けができなかった標示線で且つ前記画像内から外に移動した標示線の位置を自車挙動の情報に基づき演算して補間線として記憶する補間処理を行う補間手段と、該補間手段により補間された補間線の延長線上に、前記標示線検出手段により検出された路面標示線が存在する場合に、該路面標示線は前記補間線との協働により同一の路面標示線の一部を構成するものであると判定する標示線判定手段とを有することを特徴としている。 An in-vehicle image processing apparatus of the present invention that solves the above problems is an in-vehicle image processing apparatus that recognizes a road marking line from an image captured by an in-vehicle camera, and a plurality of images captured at predetermined intervals by the in-vehicle camera. An image acquisition means for acquiring, a marking line detection means for detecting the road marking lines from the plurality of images, an association means for associating the marking lines respectively captured in the plurality of images, and the correspondence Tracking means for tracking a marking line that has been associated by the attaching means, and information on the behavior of the host vehicle indicating the position of the marking line that has not been associated by the associating means and has moved out of the image Interpolation means for performing an interpolation process that is calculated based on and stored as an interpolation line, and on the extension line of the interpolation line interpolated by the interpolation means, the road marking line detected by the marking line detection means When standing, road surface marking line is characterized by having a determining marking line determination means and constitutes a part of the same road marking line in cooperation with the interpolated line.
本発明によれば、車載カメラで撮像した画像から路面標示線を正確に認識することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 ADVANTAGE OF THE INVENTION According to this invention, a road marking line can be correctly recognized from the image imaged with the vehicle-mounted camera. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
次に、本発明の実施の形態について以下に図面を用いて詳細に説明する。
[第1実施の形態]
本実施の形態における車載画像処理装置は、自動車などの車両(自車)10に取り付けられた車載カメラ11で撮像した周囲画像から駐車スペースを区画する駐車枠線である標示線(路面標示線)La、Lbを認識するものである。
Next, embodiments of the present invention will be described in detail with reference to the drawings.
[First Embodiment]
The in-vehicle image processing apparatus according to the present embodiment is a marking line (road marking line) that is a parking frame line that divides a parking space from an ambient image captured by an in-
図1は、駐車スペースを区画する標示線の具体例を説明する図である。
標示線La、Lbは、車1台分の駐車スペースを区画するように路面に例えば白色や黄色などの塗料を用いて描かれている。駐車スペースの形状としては、矩形状、あるいは、図1(a)に示す略コ字状のもの、図1(b)に示す車幅境界線の途中部分が省略されているもの、図1(c)に示す四隅のみを示すものなどが存在する。標示線Laは、駐車スペースの車幅方向を区画し、標示線Lbは、車両前後方向を区画している。
FIG. 1 is a diagram illustrating a specific example of a marking line that divides a parking space.
The marking lines La and Lb are drawn on the road surface using, for example, white or yellow paint so as to partition a parking space for one car. The shape of the parking space is rectangular, or substantially U-shaped as shown in FIG. 1A, the middle portion of the vehicle width boundary shown in FIG. 1B is omitted, FIG. There are those showing only the four corners shown in c). The marking line La defines the vehicle width direction of the parking space, and the marking line Lb defines the vehicle longitudinal direction.
例えば、自車10を後退させて駐車スペースに駐車する場合、リヤカメラの画像、もしくは、俯瞰画像の車両後側領域の画像を用いて標示線La、Lbの認識が行われる。俯瞰画像は、自車10の前後左右に搭載した4台の車載カメラで車両周囲を撮像し、各撮像画像を画像処理により合成して自車10の真上から見た1枚の画像に変換することによって生成される。
For example, when the
図2は、俯瞰画像を用いて駐車スペースの標示線の認識を行う場合について説明する図であり、図2(a)〜(c)は、図1(a)〜(c)に対応する俯瞰画像である。図2の左側に示す図は、自車10を後退させて駐車スペースに進入させる直前の駐車初期状態を示し、図2の右側に示す図は、駐車スペースに自車10の一部が進入した駐車中期状態を示す。
FIG. 2 is a diagram illustrating a case where a marking line of a parking space is recognized using an overhead image, and FIGS. 2A to 2C are overhead views corresponding to FIGS. 1A to 1C. It is an image. The figure shown on the left side of FIG. 2 shows the initial parking state immediately before the
図2の左側に示す図のように、自車10の後退により、まず最初に、俯瞰画像31の車両後側に設定された画像処理領域32に、駐車スペースの左右の標示線Laの先端側が撮像される。そして、図2の右側に示す図のように、更なる自車10の後退により、駐車スペースの左右の標示線Laの先端側が画像処理領域32から外れ、代わりに左右の標示線Laの基端側が画像処理領域32に入る。
As shown in the diagram on the left side of FIG. 2, when the
駐車スペースの標示線を認識する認識処理において、例えば図1(a)に示す自車10の左側の標示線Laのように一直線状に切れ目なく連続している標示線は、駐車初期状態から自車10全体が駐車スペースに完全に納められる駐車完了状態まで追跡ができるので、駐車スペースの標示線として認識することができる。
In the recognition processing for recognizing the marking line of the parking space, for example, the marking line that is continuous in a straight line like the marking line La on the left side of the
一方、図1に破線で囲んで示すように、標示線Laの一部が掠れているもの、途中部分が省略されているもの、四隅のみを示すものの場合、駐車初期状態で検出した標示線La1は、自車10の移動に伴って画像処理領域32から外れてしまう(図2(a)〜(c)の右図を参照)。
On the other hand, as shown by being surrounded by a broken line in FIG. 1, in the case where a part of the marking line La is drawn, the middle part is omitted, or only the four corners are shown, the marking line La1 detected in the initial parking state Will deviate from the
したがって、標示線Laが途中で途切れてしまい、駐車完了状態まで追跡することができない。したがって、画像処理領域32外の標示線La1’と、駐車中期状態で新たに検出した画像処理領域32内の標示線La2との関連性が不明となり、標示線La2が標示線La1’に連続して標示線La1’との協働により同一の駐車スペースを区画する同じ1本の標示線Laの一部を構成するものであることを認識することができない。
Therefore, the marking line La is interrupted in the middle and cannot be traced to the parking completion state. Therefore, the relationship between the marking line La1 ′ outside the
本実施の形態における車載画像処理装置は、自車の移動に伴い画像処理領域32内を移動する標示線La1を追跡する追跡処理と、画像処理領域32内から外に移動した標示線La1の位置を自車10の挙動に基づき演算して補間線La1’として記憶する補間処理を行う。そして、画像処理領域32内の標示線La2が補間線La1’の延長線上に配置されている場合には、標示線La2が補間線La1’に連続して補間線La1’との協働により同一の駐車スペースを区画する同じ1本の標示線Laの一部を構成するものであると判定する標示線判定処理を行う。
The in-vehicle image processing apparatus according to the present embodiment includes a tracking process for tracking the marking line La1 that moves in the
以下に、本実施の形態における車載画像処理装置の具体的な構成について説明する。
図3は、本実施の形態にかかわる車載画像処理装置の機能ブロック図である。
車載画像処理装置は、カメラ装置を構成するハードウエアとソフトウエアによって実現される。そして、内部機能として、画像取得部21、標示線検出部22、追跡部23、補間部24、標示線判定部25、標示線検出結果記憶部26、自車挙動情報取得部27を有している。
Below, the specific structure of the vehicle-mounted image processing apparatus in this Embodiment is demonstrated.
FIG. 3 is a functional block diagram of the in-vehicle image processing apparatus according to the present embodiment.
The in-vehicle image processing device is realized by hardware and software constituting the camera device. And as an internal function, it has the
画像取得部21は、車載カメラ11で所定周期毎に撮像された複数の画像を取得する。画像取得部21では、自車10前後左右に取り付けられた4台のカメラで撮像した画像を取得し、同じタイミングで撮像された各画像を合成して自車10の真上から見た画像である俯瞰画像31に変換する。そして、俯瞰画像31の車両後側を画像処理領域32に設定する。なお、俯瞰画像31を用いず、例えば自車10の後部に取り付けられたリヤカメラで車両後方を撮像したリヤ画像をそのまま用いてもよい。
The
標示線検出部22は、画像取得部21により取得した複数の画像から標示線をそれぞれ検出するものであり、俯瞰画像31の画像処理領域32内に存在する標示線La、Lbを検出する処理を行う。各画像の標示線検出結果は、標示線検出結果記憶部26に記憶される。画像処理領域32内の標示線La、Lbを検出する方法は、例えば特開2011−30140号公報に記載されている公知の方法を用いることができる。図4は、標示線を検出する方法の一例を説明するフローチャートである。
The marking
追跡部23は、自車の後退移動に伴い画像処理領域32内を移動する標示線La1を追跡する追跡処理を行う。追跡処理では、所定周期毎に撮像された各画像の画像処理領域32内にそれぞれ撮像されている標示線が同一の標示線を撮像したものであるか否かの対応付けを行い(対応付け手段)、対応付けができた標示線を抽出する。
The
今回検出結果の標示線と前回検出結果の標示線との対応付けは、自車挙動情報取得部27により取得した自車挙動情報と、標示線検出結果記憶部26に記憶されている前回検出結果を用いて行われる。
The association between the marking line of the current detection result and the marking line of the previous detection result is based on the own vehicle behavior information acquired by the own vehicle behavior
自車挙動情報取得部27は、自車10のシフトポジション12、車速信号13、ステアリング角信号14の自車挙動情報を取得する。
The host vehicle behavior
補間部24は、追跡部23によって対応付けができなかった標示線で且つ画像処理領域32内から外に移動した標示線La1の自車10に対する相対位置を自車挙動の情報に基づき演算して補間線La1’として記憶する補間処理を行う。
The interpolating
標示線判定部25は、画像処理領域32内の標示線La2が補間線La1’と所定の位置関係に配置されているか否かを判断し、配置されている場合には、標示線La2が補間線La1’に連続して補間線La1’との協働により同一の駐車スペースを区画する同じ1本の標示線Laの一部を構成するものであると判定する標示線判定処理を行う。
The marking
図5は、追跡部、補間部、標示線判定部の処理内容を説明するフローチャート、図6は、追跡線格納、補間線格納、新規登録線格納の処理内容を説明するイメージ図、図7は、図5の処理内容を機能ブロックにより示す図である。 FIG. 5 is a flowchart for explaining the processing contents of the tracking unit, the interpolation unit, and the marking line determination unit, FIG. 6 is an image diagram for explaining the processing contents of the tracking line storage, the interpolation line storage, and the newly registered line storage, and FIG. It is a figure which shows the processing content of FIG. 5 by a functional block.
まず、今回画像を画像処理することにより、画像処理領域32内にて実際に検出した標示線の位置情報を世界座標に変換する(ステップS111)。そして、前回画像の標示線の検出結果と、自車挙動情報に基づいて、今回画像における標示線の位置を予測する(ステップS112)。
First, by performing image processing on the current image, the position information of the marking line actually detected in the
例えば図6に示すように、画像処理領域41内における標示線42a〜42cの前回検出結果41aと、自車10の自車挙動情報に基づくデッドレコニング結果41bを用いて、今回画像における標示線の位置予測を行うことができる。デッドレコニングは、例えば特開2002−228734号公報に記載されている公知の方法を用いることができ、自車10の前回検出時(1周期前)の位置と今回検出時(現時点)の位置をデッドレコニング結果として得ることができる。
For example, as shown in FIG. 6, using the
そして、ステップS112で予測した今回の位置予測、すなわち前回からの予測結果41cと、今回画像で実際に検出した標示線の検出結果であって世界座標系に変換されたもの41dとを比較して、標示線の対応付けを行う(ステップS113)。
Then, the current position prediction predicted in step S112, that is, the
対応付けは、以下の(1)〜(3)の手順により実施される。(1)今回検出結果の標示線の中から予測結果の標示線に対して画像処理領域32の横方向の位置ずれΔXが最小(ΔXmin)となる標示線を対象候補として選択する。(2)予測結果の標示線の下端と対応候補の標示線の下端との縦方向の位置ずれΔYを算出する。(3)横位置ずれΔXminと縦位置ずれΔYのいずれの誤差も所定の閾値より小さい場合(ΔXmin<THΔXかつΔY<THΔY)に、予測結果の標示線と今回検出結果の対象候補とが対応していると判断する。
The association is performed by the following procedures (1) to (3). (1) From among the detection lines of the current detection result, a labeling line having a minimum horizontal displacement ΔX of the
図9は、対応付け処理の内容を具体的に説明する図である。
図9に示す例では、今回検出結果41dの標示線72〜74のうち、予測結果41cの標示線71に対応付けされるものを選択する処理がなされる。ここでは、今回検出結果41dの標示線72〜74の中から予測結果41cの標示線71に対して画像処理領域41の横方向の位置ずれΔXが最小となる標示線72を対象候補として抽出する。なお、標示線71に対する各標示線72〜74の横位置ずれの関係は、ΔX2<ΔX1<ΔX3である。
FIG. 9 is a diagram for specifically explaining the contents of the association processing.
In the example illustrated in FIG. 9, a process of selecting a line associated with the marking
それから、標示線71と標示線72との縦方向の差として、互いの先端点の縦方向の位置ずれΔYを算出し、横位置ずれΔXと、縦位置ずれΔYがいずれも予め設定された閾値よりも小さい場合に、予測結果の標示線71には今回検出結果41dの標示線72が対応していると判断する。
Then, as the vertical difference between the marking
このように、画像処理領域の横方向の位置ずれΔXを用いることによって、安定した対応付けの判断を行うことができる。そして、縦方向の位置ずれΔYを判断要素に付加することによって、さらに安定した対応付けの判断を行うことができる。 In this way, stable association determination can be performed by using the lateral displacement ΔX of the image processing region. Further, by adding the vertical positional deviation ΔY to the determination element, it is possible to perform a more stable association determination.
ステップS113の対応付け処理により、予測結果と今回検出結果の対応付けができた標示線は、過去の検出結果と同じIDに登録し、過去の検出結果の情報を引き継ぐ追跡処理を行う(ステップS114)。そして、予測結果に対して今回検出結果の対応付けができなかった標示線は、補間処理を行い(ステップS115)、今回検出結果に対して予測結果が対応付けできなかった標示線は、新規に検出した標示線として空きIDに登録する新規登録処理を行う(ステップS116)。 The marking line in which the prediction result and the current detection result are associated by the association process in step S113 is registered in the same ID as the past detection result, and the tracking process is performed to take over the information of the past detection result (step S114). ). Then, the marking line for which the current detection result could not be associated with the prediction result is subjected to interpolation processing (step S115), and the marking line for which the prediction result could not be associated with the current detection result is newly added. A new registration process for registering in the free ID as the detected marking line is performed (step S116).
例えば、図6に示す例では、今回検出結果41dの標示線44a〜44cのうち、対応付け処理により対応付けができた標示線44b、44cは、前回画像で検出した前回検出結果41aの標示線42a、42cと同一の線であると判断し、追跡線として格納される(図7の追跡線格納33)。
For example, in the example illustrated in FIG. 6, among the marking
そして、予測結果41cの予測線43a〜43cのうち、今回検出結果41dの標示線44a〜44cとの間で対応付けができなかった予測線43bについては、その位置を自車挙動情報に基づき演算して補間線として格納される(図7の補間線格納34)。また、今回検出結果41dの標示線44a〜44cのうち、対応付け処理により予測線43a〜43cとの間で対応付けができなかった標示線44aについては、新規登録線として格納される(図7の新規登録線格納35)。
そして、標示線判定処理が行われる(ステップS117)。
Then, among the
Then, a marking line determination process is performed (step S117).
図11は、標示線判定処理の一例を説明する図である。
本実施の形態では、画像処理領域32内で追跡されもしくは新規登録されている標示線La2が、画像処理領域32の外に移動して補間されている補間線La1’の延長線上に存在する場合に、補間線La1’の履歴情報を継承して、標示線La2に乗り移る処理が行われる。そして、補間線La1’の補間処理を終了させる。
FIG. 11 is a diagram illustrating an example of the marking line determination process.
In the present embodiment, the marking line La2 that is tracked or newly registered in the
標示線La2が補間線La1’の延長線上に存在するか否かは、標示線La2と補間線La1’との横方向の位置ずれに基づいて判断される。具体的には、画像処理領域32内において、補間線La1’の中心線を延長した延長線と標示線La2の中心線との横位置ずれΔXが、予め設定された閾値THΔX以下である場合に(ΔX≦THΔX)、標示線La2が補間線La1’の延長線上に存在すると判断される。
Whether or not the marking line La2 exists on the extension line of the interpolation line La1 'is determined based on the lateral displacement between the marking line La2 and the interpolation line La1'. Specifically, in the
図8は、追跡、補間、新規登録、標示線判定の処理内容を説明する状態遷移図である。
新規61では、画像処理領域内に新たな標示線が登録されると、その標示線が初回のみ検出されたものであるか否かを判断し、初回のみ検出61bである場合には、消失64に移行し、その標示線の記録を消去する。一方、次周期で撮像された画像から検出された標示線との対応付けができた場合は、対応付けOK61aと判断して追跡62に移行する。
FIG. 8 is a state transition diagram illustrating processing contents of tracking, interpolation, new registration, and marking line determination.
In the new 61, when a new marking line is registered in the image processing area, it is determined whether or not the marking line is detected only for the first time. , And delete the record of the marking line. On the other hand, when the association with the marking line detected from the image captured in the next cycle is made, it is determined that the association is OK 61a and the process proceeds to the tracking 62.
追跡62では、画像処理領域内で移動する標示線を追跡する追跡処理が行われる。そして、所定周期毎に撮像される各画像について対応付けができている場合は、対応付けOK62aと判断して追跡処理が継続され、追跡時間が予め設定された時間よりも短い場合は追跡時間不十分62bと判断して消失64に移行する。一方、追跡時間は十分であるが、対応付けができなくなった場合62cは補間63に移行する。
In the tracking 62, a tracking process for tracking a marking line that moves in the image processing area is performed. If the images captured at predetermined intervals are associated with each other, it is determined that the correspondence is OK 62a, and the tracking process is continued. If the tracking time is shorter than the preset time, the tracking time is invalid. It is determined that it is sufficiently 62b, and shifts to
補間63では、予め設定された条件で補間処理が行われる。そして、標示線の対応付けができている場合63a、及び、乗り移り可能な場合63bは追跡62に移行する。また、所定時間が経過した場合、または、自車が所定距離だけ移動した場合(63c)には、補間処理を終了し、消失64に移行する。
In the
図10は、補間処理の終了条件を説明する図である。
補間処理は、画像処理領域32内において標示線を新規検出してから対応付けができなくなるまで追跡した累積時間Tが予め設定された閾値Thtrtimeを上回っていることを条件として(追跡時間が十分の場合)開始される。これにより、例えば、初回だけ標示線として誤検出した影などに対して補間処理が開始されるのを防ぐことができる。
FIG. 10 is a diagram for explaining the termination condition of the interpolation process.
Interpolation processing is performed on the condition that the accumulated time T that has been tracked until a new marking line is detected in the
そして、下記の距離条件(1)、または、時間条件(2)のいずれか一方を満たすことにより補間処理の終了となる。距離条件(1)としては、図10(a)に示すように、補間線La1’の基端が、自車10に対して予め設定されている基端限界ラインYlimitを超えて、自車10の進行方向後側に移動してしまった場合、もしくは、補間線La1’と、画像処理領域32内で補間線La1’の延長線上に存在する標示線La2との距離が、予め設定されている長さ、例えば自車10の前後方向長さよりも長い場合に、補間処理が終了される。また、時間条件(2)としては、図10(b)に示すように、補間開始後、補間から追跡に状態が戻らないまま所定時間Tlimit以上継続した場合、あるいは、補間処理を開始してから予め設定された時間までに標示線判定手段による判定処理が開始されない場合に、補間処理が終了される。
Then, the interpolation process ends when either one of the following distance condition (1) or time condition (2) is satisfied. As the distance condition (1), as shown in FIG. 10A, the base end of the interpolation line La1 ′ exceeds the base end limit line Ylimit preset for the
終了条件(1)によれば、駐車スペースの標示線ではないものを検出して追跡処理と補間処理が行われていた場合に、補間処理を終了させることができる。基端限界ラインYlimitを、例えば自車10の前端部近傍に設定することにより、自車10の前後方向長さよりも極端に離れた位置に配置されているものを、1台分の駐車スペースを区画する標示線として誤検知するのを防ぐことができる。また、終了条件(2)によれば、標示線判定部25が処理を行う前に車両が駐車してしまった場合に、補間処理を終了させることができる。
According to the end condition (1), when the tracking line and the interpolation process are performed by detecting a parking space that is not a marking line, the interpolation process can be ended. For example, by setting the base end limit line Ylimit in the vicinity of the front end portion of the
上記した車載画像処理装置によれば、自車10の移動に伴い画像処理領域32内を移動する標示線La1を追跡する追跡処理と、画像処理領域32内から外に移動した標示線La1の位置を自車10の挙動に基づき演算して補間線La1’として記憶する補間処理を行う。そして、画像処理領域32内の標示線La2が補間線La1’の延長線上に配置されている場合には、標示線La2が補間線La1’に連続して補間線La1’との協働により同一の駐車スペースを区画する同じ1本の標示線Laの一部を構成するものであると判定する標示線判定処理を行う。
According to the on-vehicle image processing apparatus described above, the tracking process for tracking the marking line La1 that moves in the
したがって、標示線の一部が掠れている場合や、標示線の一部が省略されて途中で途切れている場合でも、車載カメラ11で撮像した画像から駐車スペースの標示線Laを正確に認識することができる。したがって、例えば、駐車支援などのアプリケーションを正確に動作させることができる。
Therefore, even when a part of the marking line is blurred or when a part of the marking line is omitted and is interrupted in the middle, the marking line La of the parking space is accurately recognized from the image captured by the in-
[第2実施の形態]
上記した第1実施の形態では、路面標示線である白線を検出し、その白線情報を用いて駐車枠を認識する処理について記載していたが、ほかのアプリケーションの例を以下説明する。本発明は、例えばレーン認識に応用することができる。
[Second Embodiment]
In the first embodiment described above, a process of detecting a white line as a road marking line and recognizing a parking frame using the white line information has been described. An example of another application will be described below. The present invention can be applied to, for example, lane recognition.
本発明の第2実施の形態について図12から図14を参照しつつ以下に説明する。
図12は、第2実施の形態にかかわる車載画像処理装置の構成を説明する機能ブロック図である。第1実施の形態と異なる点としては、標示線判定部25の後にレーン認識部101が追加された点である。レーン認識部101は、標示線判定部25の出力を受け取り、自車が走行している走行レーンを認識するレーン認識を行う。
A second embodiment of the present invention will be described below with reference to FIGS.
FIG. 12 is a functional block diagram for explaining the configuration of the in-vehicle image processing apparatus according to the second embodiment. The difference from the first embodiment is that a
図13は、レーン認識時の具体例を表すイメージ図である。図14は、レーン認識時の処理フローを示す。
上記した第1実施の形態と異なる点としては、標示線判定処理であるステップS117の後にレーン認識処理であるステップS118が追加された点である。なお、第1実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。
FIG. 13 is an image diagram illustrating a specific example at the time of lane recognition. FIG. 14 shows a processing flow at the time of lane recognition.
The difference from the first embodiment described above is that step S118, which is a lane recognition process, is added after step S117, which is a marking line determination process. The same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
本実施の形態において特徴的なことは、第1実施の形態と比較して、仮定する走行距離が長く、高速走行中に動作する点である。 What is characteristic in the present embodiment is that the assumed traveling distance is longer than that of the first embodiment, and the apparatus operates during high-speed traveling.
図13に示すように、レーン認識においては、多車線道路を走行する際に、路面標示線41La〜41Ldは、自車の左右両側のうち少なくとも一方が破線41La、41Lbとなる。俯瞰画像を用いて、この破線41La、41Lbを車線区分線(レーン)として認識することを考える。 As shown in FIG. 13, in lane recognition, when traveling on a multi-lane road, at least one of road marking lines 41La to 41Ld becomes broken lines 41La and 41Lb on the left and right sides of the own vehicle. Consider using the overhead image to recognize the broken lines 41La and 41Lb as lane markings (lanes).
俯瞰変換に伴う画質低下は自車からの距離に伴い悪化し、さらに表示画面サイズの制約があり小物体の視認性が低下するため、俯瞰する範囲を広くとることができない。一般的には、車載用の俯瞰画像の表示領域は、例えば自車周囲3m程度に限定されている。 The deterioration in image quality due to the overhead view conversion is worsened with the distance from the host vehicle, and the visibility of small objects is reduced due to restrictions on the display screen size. In general, the display area of the in-vehicle overhead image is limited to, for example, about 3 m around the host vehicle.
一方で、一般道での破線は、例えば線分部分の長さが6mで間隔が9mであり、高速道路での破線は、例えば線分部分が8mで間隔が12mなどとなっているため、俯瞰画像のフロントカメラ領域には、同時に破線の複数の線分を収めることができない。直線路を直進走行中の場合、レーンは画面上で見かけ上、ほぼ同じ位置に観測される。しかし、図13に示すようなカーブにおいては、同一の車線区分線の破線41La、41Lbを構成している線分を特定する必要がある。 On the other hand, the broken line on the general road is, for example, the length of the line segment part is 6 m and the interval is 9 m, and the broken line on the expressway is, for example, the line segment part is 8 m and the interval is 12 m. The front camera area of the overhead image cannot contain a plurality of broken line segments at the same time. When driving straight on a straight road, the lane is observed at almost the same position on the screen. However, in the curve as shown in FIG. 13, it is necessary to specify the line segments constituting the broken lines 41La and 41Lb of the same lane marking.
図14の処理フローに示すように、ステップS114〜S116において、前回検出結果の標示線と同一の線である追跡線や、補間された補間線、新規に検出した標示線が検出されている。この検出結果を用いて、ステップS117で検知された標示線が同一の車線区分線を構成するものであると判定する。破線を構成する線分は、間欠的にしか観測できないが、補間線の履歴情報を継承して、標示線に乗り移る処理が行われるため、同一の車線区分線には履歴情報が蓄積し続ける。 As shown in the processing flow of FIG. 14, in steps S114 to S116, a tracking line that is the same as the marking line of the previous detection result, an interpolated interpolation line, or a newly detected marking line is detected. Using this detection result, it is determined that the marking line detected in step S117 constitutes the same lane marking. Although the line segment constituting the broken line can be observed only intermittently, the history information of the interpolation line is inherited and a process of transferring to the marking line is performed, so that the history information continues to be accumulated on the same lane marking.
ステップS118では、こうして蓄積された履歴情報を持つ車線区分線を利用して、レーン認識を行う。具体的には、少なくとも2本の車線区分線が、平行かつ一定以上の長さを持っている場合にレーンであると判定を行う。 In step S118, lane recognition is performed using the lane markings having the history information thus accumulated. Specifically, when at least two lane markings are parallel and have a certain length or more, it is determined that they are lanes.
また、レーン認識の出力としては、例えば各レーンと自車進行方向との角度ずれ情報が有用であるが、この情報は、デドレコ結果を利用して常に線分が存在する位置を計算することが可能であるため、精度高いレーン認識結果を出力することができる。また、ブレーキ痕等で一部車線区分線が見えない場合や、車線変更中であっても、精度高いレーン認識結果を出力することができる。 In addition, as an output of lane recognition, for example, information on the angular deviation between each lane and the traveling direction of the vehicle is useful. This information can be used to calculate the position where a line segment always exists using the de-recording result. Since it is possible, a highly accurate lane recognition result can be output. Further, even when some lane markings cannot be seen due to brake marks, etc., or even during lane change, a highly accurate lane recognition result can be output.
従って、例えばLDW(Lane Departure Warning)や、LDP(Lane Departure Prevention)などのアプリケーションを正確に動作させることが可能となる。 Therefore, for example, applications such as LDW (Lane Departure Warning) and LDP (Lane Departure Prevention) can be accurately operated.
なお、本発明は、上述した実施の形態のものに何ら限定されず、車両に設けられたカメラで撮影して得られた複数の画像を取得する画像取得部と、取得した画像からそれぞれ標示線を検出する標示線検出部と、複数の画像から検出した標示線の対応付けを行う対応付け部と、対応付けが出来た標示線を追跡する追跡部と、対応付けが出来なかった標示線を自車挙動の情報に基づき補間部と、補間線の延長上に検出線が存在する場合に検出線は補間線と同一の線であると判定する標示線判定部とを備えることを特徴とする各種構造の車載用画像認識装置を含むものである。 Note that the present invention is not limited to the above-described embodiment, and an image acquisition unit that acquires a plurality of images obtained by photographing with a camera provided in the vehicle, and a marking line from each of the acquired images. A marking line detecting unit for detecting the marking line, an associating unit for associating the marking lines detected from a plurality of images, a tracking unit for tracking the marking line that has been associated, and a marking line that has not been associated. An interpolation unit based on information on the behavior of the vehicle, and a marking line determination unit that determines that the detection line is the same as the interpolation line when the detection line exists on the extension of the interpolation line, It includes an in-vehicle image recognition device with various structures.
10 自車
11 カメラ(車載カメラ)
21 画像取得部
22 標示線検出部
23 追跡部
24 補間部
25 標示線判定部
26 標示線検出結果記憶部
27 自車挙動情報取得部
32 画像処理領域
La1、La2 標示線
La1’ 補間線
10
DESCRIPTION OF
Claims (6)
前記車載カメラで所定周期毎に撮像された複数の画像を取得する画像取得手段と、
前記複数の画像から前記路面標示線をそれぞれ検出する標示線検出手段と、
前記複数の画像にそれぞれ撮像されている路面標示線の対応付けを行う対応付け手段と、
該対応付け手段による対応付けができた路面標示線を追跡する追跡手段と、
前記対応付け手段による対応付けができなかった路面標示線で且つ前記画像内から外に移動した路面標示線の位置を自車挙動の情報に基づき演算して補間線として記憶する補間処理を行う補間手段と、
該補間手段により補間された補間線の延長線上に、前記標示線検出手段により検出された路面標示線が存在する場合に、該路面標示線は前記補間線との協働により同一の路面標示線の一部を構成するものであると判定する標示線判定手段と、
を有することを特徴とする車載画像処理装置。 An in-vehicle image processing device that recognizes a road marking line from an image captured by an in-vehicle camera,
Image acquisition means for acquiring a plurality of images captured at predetermined intervals by the in-vehicle camera;
Sign line detecting means for detecting the road marking lines from the plurality of images,
Association means for associating road marking lines respectively captured in the plurality of images;
Tracking means for tracking a road marking line that has been matched by the matching means;
Interpolation for calculating the position of the road marking line that could not be matched by the matching means and moved out of the image from the image based on the information on the vehicle behavior and storing it as an interpolation line Means,
When the road marking line detected by the marking line detection means exists on the extended line of the interpolation line interpolated by the interpolation means, the road marking line is the same road marking line in cooperation with the interpolation line. A marking line determination means for determining that it constitutes a part of
A vehicle-mounted image processing apparatus comprising:
前記対応付け手段は、前記予測手段により予測した予測結果と、前記標示線検出手段により前記今回画像から実際に検出した今回検出結果とを比較して前記予測線と前記路面標示線との対応付けを行うことを特徴とする請求項1から請求項4のいずれか一項に記載の車載画像処理装置。 Based on the vehicle behavior information from when the previous image was captured to when the current image is captured among the plurality of images, and the previous detection result of the road marking line detected from the previous image, the current time Predicting means for predicting the position of the road marking line that is predicted to be detected by the marking line detecting means in the image,
The association means compares the prediction result predicted by the prediction means with the current detection result actually detected from the current image by the sign line detection means, and associates the prediction line with the road marking line. The vehicle-mounted image processing apparatus according to any one of claims 1 to 4, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012259017A JP6045888B2 (en) | 2012-11-27 | 2012-11-27 | In-vehicle image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012259017A JP6045888B2 (en) | 2012-11-27 | 2012-11-27 | In-vehicle image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014106731A JP2014106731A (en) | 2014-06-09 |
JP6045888B2 true JP6045888B2 (en) | 2016-12-14 |
Family
ID=51028163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012259017A Active JP6045888B2 (en) | 2012-11-27 | 2012-11-27 | In-vehicle image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6045888B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101566912B1 (en) * | 2014-08-04 | 2015-11-13 | 현대모비스 주식회사 | Around view monitoring apparatus and Method of thereof |
JP6477246B2 (en) * | 2015-05-22 | 2019-03-06 | 日産自動車株式会社 | Road marking detection device and road marking detection method |
JP7203587B2 (en) | 2018-12-14 | 2023-01-13 | 株式会社デンソーテン | Image processing device and image processing method |
JP7195131B2 (en) | 2018-12-14 | 2022-12-23 | 株式会社デンソーテン | Image processing device and image processing method |
JP7359541B2 (en) | 2018-12-14 | 2023-10-11 | 株式会社デンソーテン | Image processing device and image processing method |
JP2020095620A (en) | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
JP2020095624A (en) | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
JP7203586B2 (en) | 2018-12-14 | 2023-01-13 | 株式会社デンソーテン | Image processing device and image processing method |
JP7141940B2 (en) | 2018-12-14 | 2022-09-26 | 株式会社デンソーテン | Image processing device and image processing method |
JP7226986B2 (en) * | 2018-12-14 | 2023-02-21 | 株式会社デンソーテン | Image processing device and image processing method |
JP2020095631A (en) | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
JP7252750B2 (en) | 2018-12-14 | 2023-04-05 | 株式会社デンソーテン | Image processing device and image processing method |
JP2020095623A (en) | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
JP7236857B2 (en) | 2018-12-14 | 2023-03-10 | 株式会社デンソーテン | Image processing device and image processing method |
JP7482054B2 (en) | 2020-02-27 | 2024-05-13 | フォルシアクラリオン・エレクトロニクス株式会社 | Image processing device and image processing method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5313072B2 (en) * | 2009-07-29 | 2013-10-09 | 日立オートモティブシステムズ株式会社 | External recognition device |
WO2011064825A1 (en) * | 2009-11-27 | 2011-06-03 | トヨタ自動車株式会社 | Drive assistance device and drive assistance method |
-
2012
- 2012-11-27 JP JP2012259017A patent/JP6045888B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014106731A (en) | 2014-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6045888B2 (en) | In-vehicle image processing device | |
US8559674B2 (en) | Moving state estimating device | |
CN109074486B (en) | Method for detecting traffic signs | |
JP4246766B2 (en) | Method and apparatus for locating and tracking an object from a vehicle | |
US20130028473A1 (en) | System and method for periodic lane marker identification and tracking | |
JP4901275B2 (en) | Travel guidance obstacle detection device and vehicle control device | |
JP4568637B2 (en) | Road recognition device | |
JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
JP2009009209A (en) | Image recognition device and image recognition processing method | |
JP6129268B2 (en) | Vehicle driving support system and driving support method | |
CN112124304B (en) | Library position positioning method and device and vehicle-mounted equipment | |
JP7255345B2 (en) | Driving lane recognition device, driving lane recognition method and program | |
JP6493000B2 (en) | Road marking detection device and road marking detection method | |
JP2007264712A (en) | Lane detector | |
JP5097681B2 (en) | Feature position recognition device | |
JP4256992B2 (en) | Obstacle detection device | |
JP3440956B2 (en) | Roadway detection device for vehicles | |
JP4968369B2 (en) | In-vehicle device and vehicle recognition method | |
JP4020071B2 (en) | Ambient condition display device | |
JP2014026519A (en) | On-vehicle lane marker recognition device | |
JP2002104113A (en) | Rear monitoring device | |
JP5559650B2 (en) | Lane estimation device | |
JP4768499B2 (en) | In-vehicle peripheral other vehicle detection device | |
US20230347910A1 (en) | Vehicle orientation estimation system and vehicle orientation estimation method | |
JP4106163B2 (en) | Obstacle detection apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6045888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |