JP4878256B2 - Branch line recognition device and car navigation system - Google Patents
Branch line recognition device and car navigation system Download PDFInfo
- Publication number
- JP4878256B2 JP4878256B2 JP2006283840A JP2006283840A JP4878256B2 JP 4878256 B2 JP4878256 B2 JP 4878256B2 JP 2006283840 A JP2006283840 A JP 2006283840A JP 2006283840 A JP2006283840 A JP 2006283840A JP 4878256 B2 JP4878256 B2 JP 4878256B2
- Authority
- JP
- Japan
- Prior art keywords
- branch line
- branch
- recognition
- transition pattern
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007704 transition Effects 0.000 claims description 81
- 238000012545 processing Methods 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 5
- 230000002250 progressing effect Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Description
本発明は、路上の標示を画像認識する装置とこの認識結果を用いるカーナビゲーションシステムに関するものである。 The present invention relates to a device for recognizing a sign on a road and a car navigation system using the recognition result.
特許文献１には、分岐線の認識方法が開示されている。この従来技術では、路上表示線のエッジライン２本を抽出し、当該エッジラインの間隔によって分岐線かどうかを判断する。更に、認識結果の信頼性を高めるために、第１の分岐線認識を実行した後、所定の時間を経て第２の分岐線認識を実行する。これら２回の認識結果に基づいて、最終的な分岐線判定を実行する。第１の分岐線認識を実行して分岐線が認識できた後、第２の分岐線認識で分岐線が認識できなかった場合は、第１の分岐線認識の結果を採用する。また、認識処理の結果、直線が検出できなかった場合は、過去ｎ回以内に直線が検出されていればその結果を今回の認識結果としている。過去ｎ回以内に直線が検出されていなければ、今回は直線が検出できなかったと判断する。直線を認識すると、その移動方向から、分岐における進行方向を特定する。例えば、右に存在する白線が右側に移動して消えていけば、自車は左車線を走行中と判断する。
路上の白線は、経年変化によるかすれや、部分的な欠落などが存在する場合があり、同一の白線であっても部分的に画像認識ができない場合がある。その解決策として、上記特許文献１では、一定時間をおいて２回の認識処理を実行し、その結果から白線認識結果を検証して信頼性を高める技術を開示している。
The white line on the road may have fading due to secular change, partial omission, and the like, and even if it is the same white line, partial image recognition may not be possible. As a solution to this problem,
上記特許文献１に開示の技術では、２回の分岐線認識を実行するタイミングによっては、分岐線が存在するにもかかわらず、分岐線の存在を認識することができない場合がある。例えば、分岐線の最初と最後は分岐線がはっきりと塗られていて途中がかすれている場合、途中の部分で２回の分岐線認識を実行しても、２回とも認識不可となって信頼度の判定ができず、分岐線の存在を確認できない可能性がある。
According to the technique disclosed in
認識できない場合、過去ｎ回の認識処理で直線が認識されていれば、最新の直線の方程式を今回の結果として採用するとしても、画像には複数の直線が検出される場合がある。したがって、何らかの方法で、採用する直線を選択する必要があるが、その方法については記載されていない。つまり、画像内における直線の位置までは考慮していない。 If the straight line is recognized in the past n recognition processes, a plurality of straight lines may be detected in the image even if the latest straight line equation is adopted as the current result. Therefore, it is necessary to select a straight line to be adopted by some method, but the method is not described. That is, the position of the straight line in the image is not taken into consideration.
また、分岐線が短い場合、１回目の認識ができたとしても、２回目の認識をする前に車が分岐線を通過してしまうことが考えられる。そのときは、２回目の認識で分岐線が認識されず、結果的に１回目の結果のみで分岐線の有無を判定するため、認識結果の信頼性向上にはつながらない。 In addition, when the branch line is short, even if the first recognition can be performed, the car may pass the branch line before the second recognition. At that time, the branch line is not recognized in the second recognition, and as a result, the presence / absence of the branch line is determined only by the first result, and thus the reliability of the recognition result is not improved.
本発明の目的は、路上標示物と自車との相対的な位置関係の遷移パターンを用いることによって、路上標示物の画像認識が安定しない場合でも、路上標示物の画像認識の信頼性を向上させることにある。 The object of the present invention is to improve the image recognition reliability of road marking objects even when the image recognition of road marking objects is not stable by using the transition pattern of the relative positional relationship between the road marking objects and the own vehicle. There is to make it.
車両に備えられたカメラの画像を処理して路上標示物を認識する路上標示物認識手段と、道路リンク情報を保持する地図ＤＢと、車と路上標示物との相対位置関係の遷移パターンを格納した遷移パターンＤＢと、前記路上標示物認識手段による認識結果と前記遷移パターンを照合する遷移パターン照合手段と、前記認識結果を保持する認識結果ＤＢを備え、前記遷移パターン照合手段の出力結果を用いて路上標示物の有無を判定する。 Stores road marking object recognition means for recognizing road marking objects by processing images of cameras provided in the vehicle, a map DB that holds road link information, and transition patterns of relative positional relationships between vehicles and road marking objects A transition pattern DB, a transition pattern matching means for matching the recognition result by the road marking object recognition means and the transition pattern, and a recognition result DB for holding the recognition result, and using an output result of the transition pattern matching means Determine the presence of road markings.
また、前記路上標示物認識手段は、カーナビゲーションシステムから、車前方の分岐方向を受け取り、当該分岐方向に基づいて、車と路上標示物との相対位置関係の遷移パターンを予測し、当該予測の結果と路上標示物認識結果とを照合し、路上標示物の認識結果を補正する。 Further, the road marking object recognition means receives a branch direction ahead of the vehicle from the car navigation system, predicts a transition pattern of a relative positional relationship between the car and the road marking object based on the branch direction, and The result and the road marking object recognition result are collated, and the recognition result of the road marking object is corrected.
また、前記路上標示物認識手段は、前記カメラから得られる画像から、認識対象とする標示物が認識されなかった場合、前回の認識結果と前記遷移パターンに基づいて今回の認識結果を補正し、その結果を前記認識結果ＤＢに格納する。 The road marking object recognizing unit corrects the current recognition result based on the previous recognition result and the transition pattern when the sign object to be recognized is not recognized from the image obtained from the camera, The result is stored in the recognition result DB.
また、前記路上標示物認識手段は、前記カメラから得られる画像から、認識対象とする標示物が認識されなかった場合、前記カーナビゲーションシステムから舵角の方向を得て、分岐方向と逆方向でない場合に、認識結果を補正し、その結果を前記認識結果ＤＢに格納する。 The road marking object recognition means obtains the direction of the steering angle from the car navigation system when the sign object to be recognized is not recognized from the image obtained from the camera, and is not in the direction opposite to the branch direction. In this case, the recognition result is corrected and the result is stored in the recognition result DB.
また、前記認識結果ＤＢは、画像処理を実行したフレームに関する少なくとも画像認識結果、当該画像認識結果の補正結果を含み、更に当該画像認識結果と当該補正結果は、認識された路上標示物の画像における位置を含んでいる。 The recognition result DB includes at least an image recognition result related to a frame on which image processing has been performed and a correction result of the image recognition result, and the image recognition result and the correction result are included in the image of the recognized road marking object. Includes location.
また、前記カーナビゲーションシステムは、前記路上標示物認識手段に接続され、前記路上認識手段の出力結果を用いて車の進行方向を判定する。 The car navigation system is connected to the road marking object recognition means, and determines the traveling direction of the vehicle using the output result of the road recognition means.
また、前記カーナビゲーションシステムは、車両に備えられたカメラの画像を処理して路上標示物を認識する路上標示物認識手段と、地図リンク情報と少なくとも路上標示物の種類と当該路上標示物が存在するレーン情報を保持する地図ＤＢと、前記路上標示物認識手段による認識結果と前記地図ＤＢを照合することによって、自車の進行方向を判定する。 In addition, the car navigation system includes a road marking object recognition means that recognizes a road marking object by processing an image of a camera provided in the vehicle, map link information, at least a type of the road marking object, and the road marking object. The traveling direction of the host vehicle is determined by comparing the map DB holding the lane information to be performed, the recognition result by the road marking object recognition means, and the map DB.
本発明によれば、路上標示物と自車との相対的な位置関係の遷移パターンを用いて認識対象とする路上標示物を制限することによって、路上標示物の画像処理の結果が安定しない場合でも、路上標示物の画像認識の信頼性が高まる。 According to the present invention, when the road marking object to be recognized is limited using the transition pattern of the relative positional relationship between the road marking object and the own vehicle, the result of the image processing of the road marking object is not stable. However, the reliability of image recognition of road marking objects increases.
本発明の一実施例につき、図面を参照しながら述べる。 An embodiment of the present invention will be described with reference to the drawings.
図１は、本発明を用いた路上標示認識装置の構成図である。本実施例では、カーナビゲーションシステム１０３に、画像処理装置１０１、ＧＰＳ１０５が接続されている。更にカーナビゲーションシステム１０３には、車速センサ１０６、ジャイロセンサ１０７、舵角センサ１０９が接続されている。画像処理装置１０１には、カメラ１０２が接続されている。車速センサ１０６、ジャイロセンサ１０７、舵角センサ１０９は、車内ネットワークに接続されており、カーナビゲーションシステム１０３は、車内ネットワークのデータを送受信する機能を備えている。
FIG. 1 is a configuration diagram of a road marking recognition apparatus using the present invention. In this embodiment, an
ＧＰＳ１０５は、自車位置を測位するための装置である。車速センサ１０６とジャイロセンサ１０７も自車位置を測位するための装置であり、これら２つの装置を用いてデッドレコニングと呼ばれる手法を用いて自車位置を特定する。カメラ１０２は車体に設置され、自車が走行中の道路面を撮影する。画像処理装置１０１は、カメラ１０２で撮影された映像を処理する。
The
画像処理装置１０１には、分岐線認識部２０１があり、カメラ１０２で撮影された画像から車線を抽出する。分岐線認識部２０１は、自車の周辺に分岐線が存在するかどうかを判定し、自車の左右に分岐線が存在する又は分岐線を跨ぎ中であるといった自車と分岐線の位置関係を求める。
The
分岐線と自車との位置関係は、図４に示す通りである。尚、図４では、カメラ１０２が車の後方に設置されている場合、左右を逆にした映像が得られ、カメラ１０２が車の前方に設置されている場合、カメラ１０２の映像と実際との左右の位置関係は同一であるものと仮定する。以下で述べる実施例においては、カメラ１０２がこれら２種類のいずれの設置位置でも実施可能である。
The positional relationship between the branch line and the own vehicle is as shown in FIG. In FIG. 4, when the
分岐線認識部２０１は、１枚の画像５０５を縦に３等分し、左領域５０２、中央領域５０３、右領域５０４からそれぞれ１本ずつ、最大３本の白線が認識する。画像を認識した白線が３つのうちのどの領域のものかは、認識した白線の両端点のうち、消失点５０１と反対側の端点が左領域５０２、中央領域５０３、右領域５０４のどの領域に入っているかによって決定する。分岐線認識部２０１は、上記の分岐線の認識結果を、１フレーム毎に認識結果ＤＢ２０４に蓄積していく。
The branch
認識結果補正部２０２は、分岐線認識部２０１で認識した結果が正しいかどうかを判断し、必要に応じて認識結果を補正する。そのために、遷移パターン照合部２０３では、分岐線の認識結果が予め遷移パターンＤＢ２０５に保存されている遷移パターンに適合するかどうかを判定する。認識結果補正部２０２では、遷移パターン照合部２０３の判定結果に基づいて、認識結果を補正するかどうかを判断する。
The recognition
認識結果ＤＢ２０４には、各フレームにおける画像認識結果、補正結果、補正フラグが格納されている。この画像認識結果には、左領域５０２、中央領域５０３、右領域５０４それぞれにおいて認識された白線の種類が含まれており、補正結果には、前記画像認識結果を補正したときの左領域５０２、中央領域５０３、右領域５０４それぞれにおける結果が格納される。また補正フラグは、認識結果が補正されたかどうかを表すフラグである。この補正フラグが立っていれば、画像認識結果と補正結果は異なり、立っていなければ同じ結果であることを表している。
The recognition result DB 204 stores image recognition results, correction results, and correction flags for each frame. This image recognition result includes the types of white lines recognized in each of the
認識結果ＤＢ２０４のデータ構造の一例を、図５に示す。図５の例では、処理を行った各分岐地点毎にフレーム毎の認識結果をまとめて格納する構造になっている。フィールド１７０１は、処理した分岐地点の数を表す。フィールド１７０２は、分岐地点ごとの認識結果を表しており、フィールド１７０１の数だけ存在する。分岐地点ごとの結果は、分岐地点番号を格納するフィールド１７０３、処理フレーム数を格納するフィールド１７０４、フレームごとの認識結果を格納するフィールド１７０５を含む。
An example of the data structure of the
フィールド１７０５のフレームごとの認識結果は、フレーム番号を格納するフィールド１７０６、画像認識結果を格納するフィールド１７０７、補正結果を格納するフィールド１７１１を含む。フィールド１７０６の画像認識結果は、右領域、中央領域、左領域に認識された白線の種類をそれぞれ格納するフィールド１７０８、１７０９、１７１０を含む。フィールド１７０７の補正結果は、補正フラグと、右領域、中央領域、左領域の、それぞれの領域の認識結果を補正した結果を格納するフィールド１７１２、１７１３、１７１４、１７１５を含む。但し、補正フラグが立ってない場合は、フィールド１７１３、１７１４、１７１５は無くてもよい。
The recognition result for each frame in the
カーナビゲーションシステム１０３の内部には、走行距離計測部２０７、進行方位計測部２０６、マップマッチング部２０９、舵角計測部２０８、地図ＤＢ２１０がある。走行距離計測部２０７は、車速センサ１０６の出力結果を用いて車両の走行距離を測定する。進行方位計測部２０６は、ジャイロセンサ１０７の出力結果を用いて車両の進行方向を測定する。走行距離計測部２０７と進行方位計測部２０６の出力結果は、マップマッチング部２０９に送られ、これらの出力結果を用いたデッドレコニング処理によって自車位置が特定され、さらにマップマッチング処理によって、地図上の位置が特定される。但し、車速センサ１０６やジャイロセンサ１０７の誤差により、デッドレコニングの結果にも誤差が蓄積していくため、一定時間ごとにＧＰＳ１０５による自車位置リセットが実行される。また、ジャイロセンサ１０７の代わりに、舵角センサ１０９を用いて車両の進行方向を測定してもよい。
Inside the
地図ＤＢ２１０には、単に経路探索用のリンクデータが入っているだけでなく、道路標示物に関する情報も含まれている。例えば、高速道路出口に描かれている分岐線等の情報が含まれている。分岐線の情報については、分岐線始点座標、終点座標、始終点間の形状を現す補間点座標列、分岐線の長さ、曲率等のデータが含まれている。
The
図２は、カーナビゲーションシステム１０３と画像処理装置１０１を組み合わせて、自車の進行レーンを判定するソフトウェアの処理フローの概略を示したものである。具体的には、高速道路上の分岐において、ランプと本線のどちらを走行しているかを判定するフローを示しており、高速道路の出口付近でどちらを走っているかを判定する処理である。
FIG. 2 shows an outline of a processing flow of software for determining the traveling lane of the own vehicle by combining the
まず、カーナビゲーションシステム１０３は、自車が存在するリンクを辿って、自車の現在位置前方に分岐があるかどうかを検索する（ステップ３０１）。そして分岐が存在するか否かを判断し（ステップ３０２）、前方に分岐が存在するならば、ランプの分岐方向を判定する（ステップ３０３）。次に、ステップ３０３で求めた分岐方向に基づいて、分岐線認識結果の遷移パターンを予測する（ステップ３０４）。例えば左分岐の場合、自車が分岐を跨いでランプ方向に走行する場合は、分岐線は左→中央→右という遷移を辿ることになる。本線を走行する場合は左のままである、というような遷移パターンを予測しておく。次に、走行区間を判定する（ステップ３０５）。ここで、走行区間とは、分岐の前か、分岐の途中か、分岐の後かということであり、以下、それぞれを、分岐前区間、分岐区間、分岐後区間と記す。この詳細は、図９に示す通りである。分岐前区間とは分岐線が出現する前の区間であり、分岐区間とは分岐線が描かれている区間であり、分岐後区間とは分岐線を通過した後の区間である。
First, the
この走行区間の判定結果を判断して（ステップ３０６）、走行区間が分岐前区間と判定されたならば、まだ分岐区間までには至ってはいないため、再びステップ３０５に戻る。走行区間が分岐区間と判定されるようになったならば、分岐線認識を実行する（ステップ３０７）。ここで、分岐線認識処理のアルゴリズムは、例えば特開２００３−１２３０５８号公報などに開示されているものを使うことにより実現できる。次に、分岐線の認識結果を用いて、走行レーンを判定する（ステップ３０８）。走行レーンの判定には、画像における白線の位置を利用する。 The determination result of this travel section is judged (step 306), and if the travel section is determined to be a pre-branch section, it has not reached the branch section yet, so the process returns to step 305 again. If the traveling section is determined to be a branch section, branch line recognition is executed (step 307). Here, the branch line recognition processing algorithm can be realized by using one disclosed in, for example, Japanese Patent Application Laid-Open No. 2003-123058. Next, the travel lane is determined using the branch line recognition result (step 308). The position of the white line in the image is used to determine the travel lane.
走行レーンを判定したら、再びステップ３０５に戻る。以下、ステップ３０８までを、ステップ３０５で走行区間が分岐後区間であると判定されるまで繰り返す。走行区間が分岐後区間に入ったと判定されたならば、ステップ３０１に戻り、次の分岐を検索する。この一連の処理が、カーナビゲーションシステム１０３の電源が切られるまで、繰り返し実行される。
When the traveling lane is determined, the process returns to step 305 again. Hereinafter,
但し、上記の分岐線認識処理のアルゴリズムでは、結果が安定しないことが考えられる。例えば、分岐線始点付近では、線がはっきりと塗られているが、分岐線の途中ではかすれなどによって認識ができなかったり誤認識したりすることがあり、同一の分岐線でも、部分的に認識結果が異なることがある。そこで、ステップ３０７の分岐線認識において、１フレームごとの認識結果を複数フレーム分保持し、認識結果の履歴を用いて、分岐線の有無を判定することが望ましい。その方法について次に述べる。
However, with the above branch line recognition processing algorithm, the result may be unstable. For example, although the line is clearly painted near the branch line start point, it may not be recognized or misrecognized due to blurring in the middle of the branch line, and even the same branch line may be partially recognized. Results may vary. Therefore, in the branch line recognition in
図３は、複数フレームの認識結果を参照して分岐線の有無を判定する分岐線認識の処理フローである。この処理フローでは、判定直前にカメラ１０２から取り込まれた過去１０フレームの映像中、７フレームで分岐線が認識できた場合に、分岐線があったと判定する。但し、上述したフレーム数は一例であり、実装時は任意に決めてよい。
FIG. 3 is a process flow of branch line recognition for determining the presence or absence of a branch line with reference to the recognition results of a plurality of frames. In this processing flow, when a branch line can be recognized in 7 frames in the past 10 frames of video captured from the
まず、１フレーム分の映像について画像認識を実行して分岐線の認識を行い（ステップ４０１）、その結果、分岐線が認識されたかどうかを判定する（ステップ４０２）。分岐線が認識されなかった場合は、ステップ４０１に戻って、分岐線が認識できるまで画像認識を実行する。分岐線が認識された場合は、画像処理枚数、分岐線認識数、認識失敗数の各パラメータを初期化し（ステップ４０３）、次に取り込まれた１フレーム分の映像について画像認識を実行する（ステップ４０４）。その結果、分岐線が認識されたかどうかを判定し（ステップ４０５）、分岐線が見つかれば、認識結果ＤＢ２０４にフレーム番号と認識結果を格納した上で、分岐線認識数に１を加算する（ステップ４０６）。もし分岐線が認識されなければ、認識結果の補正を実行する（ステップ４０７）。ステップ４０７の認識結果の補正処理については後述する。認識結果を補正した結果を判定し（ステップ４０８）、分岐線が見つかったと判定された場合には、やはり認識結果ＤＢ２０４にフレーム番号と補正結果を格納した上でステップ４０６へ進み、分岐線認識数に１を加算する。しかし分岐線の認識に失敗したと判定された場合には、認識失敗数に１を加算する（ステップ４０９）。次に１フレーム分の処理が終了したので画像処理枚数に１を加算する（ステップ４１０）。
First, image recognition is executed for one frame of video to perform branch line recognition (step 401), and as a result, it is determined whether or not a branch line has been recognized (step 402). If the branch line is not recognized, the process returns to step 401 and image recognition is executed until the branch line can be recognized. If the branch line is recognized, the parameters of the number of image processing, the number of branch line recognition, and the number of recognition failures are initialized (step 403), and image recognition is executed for the next captured video for one frame (step 403). 404). As a result, it is determined whether or not the branch line is recognized (step 405). If the branch line is found, the frame number and the recognition result are stored in the
この時点で、認識失敗数を判定し（ステップ４１１）、それが４を超えていたら、１０フレームの映像中７フレームで分岐線が認識できた場合に分岐線があったと判定するという条件により、分岐線の認識は失敗とする。しかし認識失敗数が４を超えていなければ、画像処理枚数を判定し（ステップ４１２）、処理したフレーム数が１０に到達していれば分岐線認識が成功したと判定する。つまり、画像１０枚に対して、分岐線認識失敗が３枚以下だったということである。また、処理したフレーム数が１０に達していなければ、ステップ４０４に戻り、次のフレームについて画像認識処理を行う。図３のフローは、ステップ３０７に相当するものであり、図３のフローで得られた分岐線の認識結果が、ステップ３０８の進行レーン判定に使われる。 At this time, the number of recognition failures is determined (step 411), and if it exceeds 4, if a branch line can be recognized in 7 frames of 10 frames of video, it is determined that there is a branch line. Branch line recognition fails. However, if the number of recognition failures does not exceed 4, the number of processed images is determined (step 412), and if the number of processed frames has reached 10, it is determined that branch line recognition has succeeded. That is, for 10 images, there were 3 or less branch line recognition failures. If the number of processed frames has not reached 10, the process returns to step 404 to perform image recognition processing for the next frame. The flow in FIG. 3 corresponds to step 307, and the branch line recognition result obtained in the flow in FIG.
ところで、車速は運転状況によって異なるため、１０フレームを画像処理する間の走行距離は異なる。渋滞で車がほとんど動かない場合、１０フレームの画像はほとんど同じ場所を処理するだけである。たまたま白線がかすれていて認識ができない場所で渋滞に遭遇した場合などは、上記の基準だけでは分岐線の認識が失敗したことになってしまう。従って、フレーム数だけで分岐線の有無を判断するのではなく、車両の走行距離に応じて分岐線認識するタイミングを決めれば、より有効な結果を得ることができる。 By the way, since the vehicle speed varies depending on driving conditions, the travel distance during image processing of 10 frames varies. If the car doesn't move very much in a traffic jam, the 10-frame image will only process almost the same place. If you happen to encounter traffic jams in places where white lines are faint and cannot be recognized, branch line recognition will fail with the above criteria alone. Therefore, a more effective result can be obtained by determining the timing for recognizing the branch line according to the travel distance of the vehicle, instead of determining the presence or absence of the branch line based on the number of frames.
これは、一定の時間間隔でカメラ１０２から取り込んだ映像について画像処理を行うのではなく、例えば１ｍ走行するごとに分岐線認識を実行するなどと分岐線認識間隔距離を決めておく。そして、１ｍ走行するたびにカーナビゲーションシステム１０３から画像処理装置１０１に対してコマンドを送って、分岐線認識のトリガーをかける方法をとればよい。あるいは、マップマッチング間隔から、分岐線認識間隔距離を決定してもよく、例えば、マップマッチング間隔の１／１０などと決めておけばよい。または、過去何フレームを参照するか（参照フレーム数）を決めておき、分岐線認識間隔距離をマップマッチング間隔／参照フレーム数としてもよい。
This is not to perform image processing on the video captured from the
分岐線が認識できない場合としては、別の線種に誤認識されたか、線種が不明であると判断されたか、あるいは白線自体が検出できない等のパターンがある。これらのような現象が起きた場合は、認識結果の補正処理を実行する。この認識結果の補正処理を、図６を用いて説明する。図６は、分岐線が認識できなかった場合のパターンのうち、検出された白線の線種が不明とされて画像から分岐線が検出できなかった場合を想定した認識結果補正の処理フローであり、これは、図３のステップ４０７に相当する。 Examples of the case where the branch line cannot be recognized include a pattern in which the line type is erroneously recognized, the line type is determined to be unknown, or the white line itself cannot be detected. When such a phenomenon occurs, a recognition result correction process is executed. This recognition result correction processing will be described with reference to FIG. FIG. 6 is a processing flow for correcting the recognition result assuming a case where the line type of the detected white line is unknown and the branch line cannot be detected from the image among the patterns when the branch line cannot be recognized. This corresponds to step 407 in FIG.
まずステップ４０４の画像認識で、線種不明の白線が認識されたかどうかを判定し（ステップ６０１）、線種不明の白線が認識されていなければ、分岐線認識が失敗したものとする。線種不明の白線が認識されていれば、前回のフレームに対する分岐線認識結果を参照して、分岐線が認識できていたかどうかを判定する（ステップ６０２）。前回の認識結果は、認識結果ＤＢ２０４に保存されている。前回、分岐線が認識できていたら、ステップ６０３で、線種不明の白線の位置を、白線位置の遷移パターンと照合する。整合がとれるか否かを判定し（ステップ６０４）、整合がとれるのであれば分岐線認識成功とし、整合がとれなければ失敗とする。ステップ６０２で、前回も分岐線が認識できていなかった場合は、分岐線認識失敗とする。
First, it is determined whether or not a white line with unknown line type is recognized in the image recognition in step 404 (step 601). If a white line with unknown line type is not recognized, it is assumed that branch line recognition has failed. If a white line whose line type is unknown is recognized, it is determined by referring to the branch line recognition result for the previous frame whether or not the branch line has been recognized (step 602). The previous recognition result is stored in the
ここで、ステップ６０３の、遷移パターンとの照合について述べる。ステップ３０４によって、分岐路の分岐方向がわかっていれば、分岐線位置の遷移パターンは既知である。ステップ３０３の分岐方向判定処理で左分岐となった場合、この分岐線認識結果の遷移パターンは左のまま、左→中央→右、といったパターンが考えられる。このとき、今回は右領域５０４に分岐線が検出されたとすると、前回のフレームに対する分岐線認識結果を参照し、中央領域５０３に分岐線が検出されていたならば、左→中央→右の遷移パターンとつじつまが合うので、今回の認識結果は成功とする。
Here, the collation with the transition pattern in
次に、このような遷移パターンとの照合に基づく補正処理について述べる。例えば、中央領域５０３に線種不明の白線が検出された場合、前回のフレームに対する分岐線認識結果を参照し、左領域５０２に分岐線が認識されていたものとする。この場合、今回検出された線種不明の白線を分岐線と仮定すると、左→中央→右の遷移パターンに合致する。そこで、今回検出された線種不明の白線は分岐線であるものと判断する。
Next, a correction process based on collation with such a transition pattern will be described. For example, when a white line with an unknown line type is detected in the
例えば、自車が分岐区間を走行中ということがわかれば、分岐線は、自車位置近くのどこかに存在するはずであり、それまでに見えていた分岐線が突然どこか遠くに行ってしまうことはほとんど有り得ない。すなわち、分岐線と自車との相対位置関係遷移には、何らかの規則性が存在するため、上記の処理が可能である。 For example, if you know that your vehicle is traveling in a branch section, the branch line should be somewhere near your vehicle position, and the branch line you could see suddenly went somewhere far away. It is almost impossible to end up. In other words, since there is some regularity in the relative positional relationship transition between the branch line and the own vehicle, the above processing is possible.
片側複数車線の道路から左分岐する場合の分岐線位置の状態遷移パターンを、図７に示す。尚、各状態には左から、左領域５０２、中央領域５０３、右領域５０４における線種を示し、「分」は分岐線を、「−」は分岐線以外の白線を示している。つまり、状態７０１はどの領域でも分岐線が認識されていない状態、状態７０２は左領域５０２に、状態７０３は中央領域５０３に、状態７０４は右領域５０４にそれぞれ分岐線が認識された状態である。尚、認識結果は分岐線が描かれている状態によっても左右されるので、状態７０１〜７０４のうち、分岐線認識が起動されたときの初期状態は一意ではない。
FIG. 7 shows a state transition pattern of the branch line position when the left branch is made from the road of one side multiple lanes. In each state, the line types in the
この時の車の走行位置と状態との関係を、図７、図９を用いて説明する。地点８０１では、分岐前区間であるため、分岐線認識は行われないが、走行していくと分岐区間に入り分岐線認識処理が開始される。やがて分岐線８０７が見えるようになり、地点８０２では自車の左側に分岐線８０７が見え、状態７０２となる。その状態から右車線に車線変更して地点８０３に到達したときには、分岐線８０７は見えなくなり、状態７０１になる。地点８０２から本線を直進した地点８０４では、地点８０２と同様に、状態７０２となる。地点８０４から更に進行していき、分岐線８０７が見えなくなると、状態７０１になる。あるいは、地点８０２からランプ方向に進み、地点８０５に到達したときには状態７０３となる。その後、地点８０８まで走行すると、分岐線８０７が右に見え、状態７０４になる。その後、更に走行し、地点８０９に到達すると分岐線８０７は見えなくなり、状態７０１になる。このように、分岐方向によって、分岐線の認識結果の遷移パターンもいくつかに絞られる。この絞り込まれた遷移パターンを基にして、認識結果の補正が可能である。これについて、次に説明する。
The relationship between the traveling position and state of the car at this time will be described with reference to FIGS. Since the
図７の遷移パターンを基にすると、一例として図８の表に示すような補正が行われる。図８は、ランプが左分岐で、今回の認識結果に線種不明の白線がある場合を想定しており、「？」は線種不明の白線を意味している。 Based on the transition pattern of FIG. 7, for example, the correction shown in the table of FIG. 8 is performed. FIG. 8 assumes a case where the lamp has a left branch, and the current recognition result includes a white line with an unknown line type, and “?” Means a white line with an unknown line type.
線種不明の白線が左領域５０２にあった場合、今回を状態７０２と仮定すると、前回の状態は状態７０２か状態７０１であり、左領域５０２に分岐線があったか、分岐線が何も認識できていなかったかのいずれかということになる。ここで、前回分岐線が認識できていなかった場合（状態７０１の場合）は、状態が不確かなため補正をしない。前回の認識結果で分岐線が左領域５０２にあれば、線種不明の白線は分岐線であるとする。一方、前回の認識結果で、分岐線が中央領域５０３または右領域５０４にあった場合、状態遷移のパターンと一致しないことから今回の分岐線認識は認識失敗とする。
If a white line of unknown line type is in the
同様に、線種不明の白線が中央領域５０３にあった場合、前回の認識結果で分岐線が左領域５０２または中央領域５０３にあれば、今回は中央領域５０３に分岐線があったものとして補正する。線種不明の白線が右領域５０４にあった場合、前回の認識結果で分岐線が中央領域５０３または右領域５０４にあれば、今回は右領域５０４に分岐線があったものと補正する。
Similarly, when a white line of unknown line type is in the
また、認識結果の補正に限らず、分岐線が認識できた場合にも、その認識結果が正しいかどうかを、図７の遷移パターンに照合して判定することも可能である。例えば、左領域５０２に分岐線が認識できた場合には、前回の認識結果として左領域５０２に分岐線があったかどうかを見れば、今回の認識結果が正しいかどうかが判定できる。また中央領域５０３、右領域５０４に分岐線が見つかった場合も同様に、図７の遷移パターンに照合すればよい。
Further, not only the correction of the recognition result, but also when the branch line can be recognized, it is also possible to determine whether the recognition result is correct by checking the transition pattern of FIG. For example, when a branch line can be recognized in the
認識結果が状態７０１になるには、いくつかの理由がある。主として、分岐区間から外れた場合、分岐線の認識ができなかった場合、分岐区間で追越車線に車線変更した場合などである。これらのうち、追越車線への車線変更、分岐区間から外れたという２つの事象については、実際にカメラ１０２から分岐線が見えなくなるので、分岐線認識結果の補正は実行しない。したがって、妥当な補正処理を行うためには分岐線の認識ができなかった理由を特定する必要がある。前述のように、図３のステップ４０７の処理として、図６に示した認識結果の補正処理を直接行うのではなく、まず、分岐線の認識結果の補正処理を行うかどうかを決定した後に、認識結果を補正する場合の処理について次に述べる。
There are several reasons why the recognition result becomes the
図１０は、ランプが左分岐の場合において分岐線の認識結果の補正処理を行うかどうかを決定した後に認識結果を補正する処理フローである。認識結果の補正処理を行うのは、自車が分岐区間を走行中であり、かつ、分岐線が見える車線を走行中の場合である。まず、自車の走行区間を判定する（ステップ１００１）。この場合、分岐前区間ではないことを前提としているため、分岐区間か、分岐後区間であるかを判定することになる。自車の走行区間を判定は、平行して動作する走行区間判定タスクに判定結果を参照することによって行われるが、この走行区間判定タスクにおける判定方法の詳細は後で述べる。この判定結果に基づき処理の分岐を判断し（ステップ１００２）、走行区間が分岐後区間であれば、認識終了処理をして分岐線認識を終了する（ステップ１００３）。走行区間が分岐区間の場合は、舵角を得る（ステップ１００４）。舵角は舵角計測部２０８で計測される。得られた舵角を基に操舵方向を判定し（ステップ１００５）、右方向だったら、追越車線に車線変更したと判断して、レーン変更処理を実行する（ステップ１００６）。操舵方向が真っ直ぐか左方向であれば、図６に示した処理フローにより図８に示した認識結果の補正パターンに従って認識結果を補正する（ステップ１００７）。
FIG. 10 is a processing flow for correcting the recognition result after determining whether or not to perform the correction processing of the branch line recognition result when the lamp has a left branch. The recognition result correction process is performed when the vehicle is traveling in a branch section and traveling in a lane where the branch line can be seen. First, the traveling section of the own vehicle is determined (step 1001). In this case, since it is assumed that it is not a pre-branch section, it is determined whether it is a branch section or a post-branch section. The determination of the traveling section of the host vehicle is performed by referring to the determination result in the traveling section determination task that operates in parallel. Details of the determination method in the traveling section determination task will be described later. Based on the determination result, a branch of the process is determined (step 1002). If the travel section is a post-branch section, a recognition end process is performed and the branch line recognition is ended (step 1003). If the travel section is a branch section, a steering angle is obtained (step 1004). The rudder angle is measured by the rudder
次に、ステップ１００１で走行区間の判定を行う走行区間判定タスクについて図１１を参照しながら述べる。この走行区間判定タスクではまず、自車が走行中のリンクを前方に辿って分岐ノードを探し（ステップ１１０１）、分岐ノードがあるかどうかを判定する（ステップ１１０２）。分岐ノードが見つからない場合は、分岐までの距離が遠いということなので、ステップ１１０１と１１０２を繰り返す。
Next, a travel section determination task for determining a travel section in
前方に分岐ノードが存在する場合、自車位置前方に描かれている分岐線の情報を、地図ＤＢ２１０から得る（ステップ１１０３）。次に自車位置から分岐線始点までの距離ｄｂを算出する（ステップ１１０４）。ここで分岐線始点の座標や分岐線長などの情報は、地図ＤＢ２１０に格納されている。検索された分岐線の分岐線始点位置と計測した現在の自車位置との距離ｄｂが求められる。但し、この場合の距離ｄｂは、直線距離になるが、道路は分岐線始点まで直線であるとは限らない。そこで、分岐線始点と現在位置をマップマッチングして地図の道路リンク上での座標をそれぞれ求め、この２点間を結ぶ道路リンクを辿って分岐線始点までの距離を算出してもよい。
If there is a branch node ahead, information on the branch line drawn in front of the vehicle position is obtained from the map DB 210 (step 1103). Next, a distance db from the vehicle position to the branch line start point is calculated (step 1104). Information such as the branch line start point coordinates and branch line length is stored in the
次に、走行距離を表す変数ｄｖを０に初期化し（ステップ１１０５）、初期化した地点からの走行距離を測定していく（ステップ１１０６）。そして、走行距離ｄｖと、分岐線長、ｄｂとの関係から、自車の走行区間を判定する（ステップ１１０７）。ｄｖ＜ｄｂの場合は分岐前区間と判定する（ステップ１１０８）。ｄｂ＜ｄｖ＜（ｄｂ＋分岐線長）の場合は分岐区間と判定する（ステップ１１０９）。（ｄｂ＋分岐線長）＜ｄｖの場合は分岐後区間と判定する（ステップ１１１０）。走行区間判定タスクは、この判定結果を図示されていない記憶手段に格納しておくことにより、前記ステップ１００１で判定結果を参照することができる。
Next, a variable dv representing the travel distance is initialized to 0 (step 1105), and the travel distance from the initialized point is measured (step 1106). Then, the travel section of the host vehicle is determined from the relationship between the travel distance dv, the branch line length, and db (step 1107). If dv <db, it is determined that the section is before branch (step 1108). If db <dv <(db + branch line length), it is determined as a branch section (step 1109). When (db + branch line length) <dv, it is determined as a post-branch section (step 1110). The traveling section determination task can refer to the determination result in
ステップ１１０７で分岐前区間または分岐区間と判定した場合は、ステップ１１０６に戻る。分岐後区間と判定した場合は、ステップ１１０１に戻り、次の分岐ノードを検索する。
If it is determined in
以上では、分岐方向が左の場合を想定して実施例を示してきたが、右方向の分岐の場合も同様である。右分岐の場合は、これまでの実施例における右と左との関係が逆になるだけであり、処理の本質的な部分は同じである。 In the above, the embodiment has been shown assuming that the branch direction is left, but the same applies to the case of right branch. In the case of right branching, the relationship between right and left in the embodiments so far is only reversed, and the essential part of the processing is the same.
また、以上に述べてきた実施例は、分岐線が１本だけ見える場合を想定していた。しかし、登坂車線の途中でランプへの分岐が存在する場合がある。登坂車線と本線とを区別する白線と分岐線は、道路規格の上ではほとんど同じ白線と考えてよいので、この場合、同一画像から分岐線の候補の白線が２本検出されることがある。そこで、分岐線の候補が２本検出される場合の処理について次に述べる。 Further, the embodiments described above assume a case where only one branch line is visible. However, there may be a branch to the ramp along the uphill lane. The white line and the branch line that distinguish the uphill lane from the main line may be considered to be almost the same white line on the road standard, and in this case, two candidate white lines of the branch line may be detected from the same image. Therefore, the processing when two branch line candidates are detected will be described below.
登坂車線の途中で左分岐する白線の例を図９を用いて説明する。この場合、同じ白線でも８０７は分岐線であり、８１０は、登坂車線と通常の走行車線の境界線に相当することになる。この時は、ランプへの分岐方向の情報を基に、２本のうちのいずれかの認識結果を採用して進行方向を特定することが可能である。 An example of a white line that branches to the left in the middle of an uphill lane will be described with reference to FIG. In this case, even in the same white line, 807 is a branch line, and 810 corresponds to the boundary line between the uphill lane and the normal travel lane. At this time, based on the information on the branching direction to the lamp, it is possible to identify the traveling direction by using one of the two recognition results.
図１２は、分岐線の候補が２本検出された場合において、分岐方向とカーナビゲーションシステム１０３が進行方向判定に採用する認識結果の関係を示したものである。左分岐の場合は、認識された２本の認識結果のうち、左側の認識結果を採用し、右分岐の場合は反対に２本の認識結果のうちの右側を採用する。例えば、左分岐の場合について、図９を使って述べる。自車が地点８０２に到達したときは、右と左に分岐線の候補が現れる。そのときは、左の結果を採用する。この場合は、８０７を採用したことになり、分岐線８０７が１本のみ検出された場合と同等の結果となる。
FIG. 12 shows the relationship between the branch direction and the recognition result that the
その後、右レーンに移動して地点８０３に到達した場合、左のみに分岐線候補が現れる。このときは、白線８１０を認識したのであり、分岐線８０７ではないが、進行方向が本線かランプかを判断する場合には問題にならない。
Thereafter, when the vehicle moves to the right lane and reaches the
地点８０５に到達した場合は、中央と右に分岐線の候補が検出される。この場合は中央を採用する。すなわち、分岐線を跨いでいる途中であることがわかる。地点８０５から地点８０８に進行した場合は、右に分岐線候補が検出される。その後、分岐後区間に進入すると、画像から分岐線候補は検出されなくなる。
When the
地点８０４から８０６に進行した場合を考えると、地点８０４では右と左に分岐線候補があり、地点８０６では右のみに分岐線候補がある。この場合、図１２の規則に従って、地点８０４では左に分岐線があると判断する。地点８０６では右のみに分岐線候補が存在するが、左分岐の分岐点において自車の右側に分岐線が出現する場合には、図７の遷移パターンに当てはめると、それ以前に中央に分岐線が存在していなければならない。しかし、地点８０４から８０６に進行した場合はこれに当てはまらないので、地点８０６において右に分岐線があるという認識結果は、進行方向判定には使わない。従って、自車がランプに進行したという判定をすることは無く、分岐後区間に進入したという判断になる。
Considering a case where the vehicle travels from
右分岐の場合も同様である。右分岐の場合は、検出された２本の分岐線候補のうち、右側の結果を採用することによって、分岐線と自車との位置関係がわかる。 The same applies to the right branch. In the case of right branching, the positional relationship between the branch line and the host vehicle can be obtained by adopting the right result of the two detected branch line candidates.
上記の例では、認識された２本の白線のうちの１本を分岐線として採用するという方法について述べたが、分岐線候補が２本検出された場合を含めた遷移パターンを予測するという方法も可能である。このときの遷移パターンを図１３に示す。図１３は図１２における左分岐の場合を想定している。便宜上、分岐線の候補となる白線を「分」と示しており、登坂車線と通常の走行車線の境界線も「分」と示している。 In the above example, the method of adopting one of the two recognized white lines as the branch line has been described, but the method of predicting the transition pattern including the case where two branch line candidates are detected. Is also possible. The transition pattern at this time is shown in FIG. FIG. 13 assumes the case of the left branch in FIG. For convenience, the white line that is a candidate for the branch line is indicated as “minute”, and the boundary line between the climbing lane and the normal traveling lane is also indicated as “minute”.
例えば登坂車線を走行中の場合を考えると、登坂車線を直進すれば、状態１４０４→状態１４０６→状態１４０４のような遷移を辿る。ランプ方向に進行すれば、状態１４０４→状態１４０６→状態１４０７→状態１４０４のような遷移を辿る。登坂車線から走行線に変更すれば、状態１４０４→状態１４０６→状態１４０５→状態１４０２のような遷移を辿る。
For example, considering a case where the vehicle is traveling on an uphill lane, if the vehicle travels straight on the uphill lane, a transition such as
このとき、認識結果を補正する考え方は次のようになる。例えば分岐線候補が右領域５０４と左領域５０２で認識され（状態１４０６）、この後、左領域５０２のみに分岐線候補が認識できたとする（状態１４０２）。状態１４０２の認識結果が正しいとすれば、右車線への変更が完了していることになるが、途中に右側の白線を跨いでいる状態（状態１４０５）を経由することになるため、直接、状態１４０６→状態１４０２という遷移はありえない。また右側の白線を跨いでいる状態を誤認識したとしても、状態１４０２の認識結果が正しいという仮定から、状態１４０１などのご認識の状態を経由することになり、やはり直接、状態１４０６→状態１４０２という遷移はありえない。従って、状態１４０６から状態１４０２になった場合、状態１４０２の認識結果は誤りであり、左、中央、右のいずれかの領域における白線の認識結果が誤りであったことになる。この時、状態１４０６と状態１４０２における左と中央の認識結果が同じであることから、これら２つの認識結果は矛盾していないため、右領域５０４に認識できていた分岐線候補が誤認識されたと判断する。そこで補正をして、右領域５０４にも分岐線候補が存在するとみなす。
At this time, the concept of correcting the recognition result is as follows. For example, it is assumed that a branch line candidate is recognized in the
認識された２本の白線のうち、左側の１本を採用する方法の場合、自車が分岐線のどちら側にいるかということしかわからないが、図１３に示すような遷移パターンが判れば、認識された分岐線候補が分岐線か、登坂車線と走行車線の車線境界線かがわかる。例えば状態１４０２になった場合、前フレームの結果が状態１４０２であれば、分岐線が認識されていることになり、前フレームの結果が状態１４０５であれば、認識されたのは車線境界線である。これによって、走行中のレーンを判別することも可能である。
In the method of adopting one of the two recognized white lines on the left side, it is only possible to know which side the vehicle is on the branch line, but if the transition pattern as shown in FIG. It can be determined whether the selected branch line candidate is a branch line or a lane boundary line between the uphill lane and the traveling lane. For example, in the
右分岐において２本の分岐線候補が検出される場合も、同様の遷移パターンが存在し、それを用いて誤認識を補正することが可能である。 When two branch line candidates are detected in the right branch, a similar transition pattern exists, and it is possible to correct erroneous recognition using the same transition pattern.
尚、登坂車線を走行中かどうかの判定は、次のような方法で可能である。例えば、分岐前区間において右領域５０４に分岐線が認識できたとする。ここで、走行区間の判定は、図１１の処理フローと同様である。この分岐は左方向の分岐であり、分岐前区間において右領域５０４のみに分岐線が認識できたということは、現在は登坂車線を走行中であると判断できる。
It is possible to determine whether or not the vehicle is traveling on the uphill lane by the following method. For example, assume that a branch line can be recognized in the
図７や図１３に示した遷移パターンは、自車が分岐線を跨いだ後は必ずランプ方向に進行していくという仮定の下で成り立っている。しかし、場合によっては分岐線を跨いでランプ方向に移動した後に再度、本線方向に戻る場合も存在する。例えば、分岐線が長い（すなわち分岐区間が長い）場合にはこのようなことがありうる。この時は、分岐線の長短によって、本線に戻ることがあるかどうかを判断する。ここでは、分岐線が左領域５０２から検出された場合における認識結果の成否判定について述べる。尚、ここでも分岐方向は左と想定する。
The transition patterns shown in FIG. 7 and FIG. 13 are based on the assumption that the vehicle always proceeds in the ramp direction after crossing the branch line. However, depending on the case, there is a case where the vehicle returns to the main line direction again after moving in the ramp direction across the branch line. For example, this may occur when the branch line is long (that is, the branch section is long). At this time, it is determined whether or not the main line may be returned depending on the length of the branch line. Here, the success / failure determination of the recognition result when the branch line is detected from the
図１４は、図３のステップ４０１やステップ４０４における画像処理により分岐線が左領域５０２から検出された場合に、分岐線の長さを用いて認識結果の成否を判定する処理フローの一例である。ステップ１５０１で分岐線の長さを得る。分岐線の長さは、地図ＤＢ２１０に格納されている。次にステップ１５０２で前回の認識結果を得る。前回の認識結果は、認識結果ＤＢ２０４に格納されている。ステップ１５０３で、前回の結果から、前回の分岐線位置を判定し、分岐線位置が左ならば、図７の遷移パターンに合致しているので、そのまま分岐線が認識されたものとする（ステップ１５０６）。前回認識された分岐線位置が右ならば、今回を誤認識とする（ステップ１５０５）。これは、右にあった分岐線が突然左に移ることはありえないからである。
FIG. 14 is an example of a processing flow for determining the success or failure of the recognition result using the length of the branch line when the branch line is detected from the
そして前回の分岐線位置が中央の場合は、今回の結果が正しいかどうかを分岐線の長さに応じて判断する。分岐線の長さを閾値と比べて（ステップ１５０４）、閾値よりも長い場合は、ランプ方向から戻ってきた運転によるためと判断し、分岐線が認識されたものとする。閾値よりも分岐線が短い場合は、ランプ方向から戻ることはほとんど有り得ないため、今回は誤認識とする。尚、前記閾値は、ランプ方向から戻っても危険でない分岐線長に基づいて決まる値である。 If the previous branch line position is the center, it is determined according to the length of the branch line whether the current result is correct. The length of the branch line is compared with the threshold value (step 1504). If the length is longer than the threshold value, it is determined that the operation has returned from the ramp direction, and the branch line is recognized. If the branch line is shorter than the threshold value, it is almost impossible to return from the ramp direction, so this time it is assumed to be a false recognition. The threshold value is a value determined based on a branch line length that is not dangerous even when the lamp returns from the ramp direction.
以上で述べた実施例は、分岐線が１回でも認識できたときを対象とした処理であるが、分岐線以外の白線の認識結果を用いれば、分岐線が検出できない場合でも補正が可能である。それについて次に述べる。 The embodiment described above is a process for when the branch line can be recognized even once. However, if the recognition result of the white line other than the branch line is used, correction can be performed even when the branch line cannot be detected. is there. This is described next.
図１５は、図９に示すような道路において、実線、破線、分岐線の認識結果の理想的な遷移パターンを示す。状態１８０１は、走行前区間において、最左レーンを走行中の状態である。つまり、左領域５０２から実線が、右領域５０４から破線がそれぞれ検出されている状態である。そのまま分岐区間に進入すると、状態１８０２になる。そのまま直進すれば状態１８０２のままになり、分岐後区間に進入すれば状態１８０１に戻る。状態１８０２から分岐方向に侵入すれば、状態１８０３→状態１８０４→状態１８０９のように遷移する。状態１８０１から右レーンに進行した場合は、状態１８０５→状態１８０７→状態１８０８のように遷移し、状態１８０２から右レーンに進行した場合は、状態１８０６→状態１８０７→状態１８０８のように遷移する。
FIG. 15 shows an ideal transition pattern of the recognition result of the solid line, the broken line, and the branch line on the road as shown in FIG. A
分岐区間にもかかわらず分岐線が認識できない場合は、この図１５の遷移パターンを基にして補正する。例えば、状態１８０１を確認し、次の結果で、右領域５０４で破線が認識でき、他の白線が認識できなかった状態を考える。そのとき、前回は状態１８０１であり、その次の状態として右領域５０４に破線が出現するのは、状態１８０２である。したがって、このときは左領域５０２に分岐線があるはずであると判断する。
If the branch line cannot be recognized despite the branch section, the correction is made based on the transition pattern of FIG. For example, a
一方、分岐線ではない白線が２本検出された場合は、最左レーンではない、別のレーンを走行中であると判断し、補正処理は実行しない。 On the other hand, when two white lines that are not branch lines are detected, it is determined that the vehicle is traveling in another lane that is not the leftmost lane, and the correction process is not executed.
図１６は、走行中のレーンと走行区間を考慮して進行方向判定する処理フローであり、自車前方に分岐が存在するということがわかってからの処理である。これは、図２の処理フローにおけるステップ３０５からステップ３０８までの処理の変形である。
FIG. 16 is a processing flow for determining a traveling direction in consideration of a traveling lane and a traveling section, and is processing after it is understood that there is a branch ahead of the host vehicle. This is a modification of the processing from
この例では、図２の処理フローと異なり、走行区間判定の前にステップ１９０１で画像認識を実行し、白線を検出する。その結果を用いて、ステップ１９０２で走行レーンを判定する。そして走行レーンの判定結果が最左レーンであるか否かを調べ（ステップ１９０３）、走行レーンが最左レーンの場合は、走行区間を判定する（ステップ１９０４）。判定された走行区間によって処理が分岐し（ステップ１９０５）、まだ分岐前区間を走行していると判定されたならばステップ１９０１に戻る。また分岐区間に進入していたら、ステップ１９０６で画像認識を実行する。その結果、分岐線が認識されなければ、ステップ１９０８で認識結果の補正処理を実行し、進行方向を判定する（ステップ１９０９）。分岐線が認識されていれば、そのままステップ１９０９に進む。ステップ１９０９で進行方向が判定されたら、再びステップ１９０１に戻る。ステップ１９０５で、走行区間が分岐後区間であると判定されたら、進行方向判定の対処となる分岐点についての処理は終了である。
In this example, unlike the processing flow of FIG. 2, image recognition is executed in
また、認識結果の遷移パターンに沿わない場合でも、ある認識結果が出た場合は、その時の認識結果を優先して進行方向特定に利用することにしてもよい。例えば、分岐線が認識できなくても、状態１８０９になったとき、すなわち左領域５０２と右領域５０４に実線が認識された場合は、ランプ方向に進行したとする。つまり、図１５の遷移パターンにおいて、状態１８０２、１８０３、１８０４が無かったとしても、以前に状態１８０１があり、すなわち左領域５０２と右領域５０４に実線が認識された場合は、ランプ方向に進行したと判断する。
Even when the recognition result transition pattern is not followed, if a certain recognition result is obtained, the recognition result at that time may be preferentially used for specifying the traveling direction. For example, even if the branch line cannot be recognized, when the
逆に、本線方向に進行したときでも、同様である。本線に進む場合は、状態１８０１→状態１８０２→状態１８０１となる。しかし、分岐線が認識できず、状態１８０２が無かったとしても、以前に状態１８０１になり、今回の認識結果が状態１８０１になっていれば本線方向に進行したと判断する。
On the contrary, the same applies to the case of traveling in the main line direction. When proceeding to the main line,
以上に述べた実施例によって、認識結果が安定しない場合でも標示物認識結果の信頼性を高めることが可能になり、分岐地点における進行方向を正確に判定することが可能になる。 According to the embodiment described above, the reliability of the sign recognition result can be improved even when the recognition result is not stable, and the traveling direction at the branch point can be accurately determined.
本発明をカーナビゲーションシステムに適用することによって、より正確かつ詳細な経路誘導に寄与できる。また、ドライバーに対する安全運転支援にも適用可能である。 By applying the present invention to a car navigation system, it is possible to contribute to more accurate and detailed route guidance. It can also be applied to safe driving support for drivers.
１０１…画像処理装置、１０２…カメラ、１０３…カーナビゲーションシステム、１０５…ＧＰＳ、１０６…車速センサ、１０７…ジャイロセンサ、１０９…舵角センサ、２０１…分岐線認識部、２０２…認識結果補正部、２０３…遷移パターン照合部、２０４…認識結果ＤＢ、２０５…遷移パターンＤＢ、２０６…進行方位計測部、２０７…走行距離計測部、２０８…舵角計測部、２０９…マップマッチング部、２１０…地図ＤＢ。
DESCRIPTION OF
Claims (4)
地図リンク情報を保持する地図ＤＢと、
左分岐と右分岐の分岐方向別に、車と分岐線との相対位置関係を、車の進行に応じた車の左側，中央，又は右側のいずれに位置するかの変化を表す遷移パターンを格納した遷移パターンＤＢと、
前記地図ＤＢから車前方の分岐方向を検索する分岐方向検索手段と、
前記検索によって得られた車前方の分岐方向と、前記遷移パターンＤＢから読出した遷移パターンとに基いて、現実の遷移パターンを予測する遷移パターン予測手段と、
前記分岐線認識手段による分岐線の認識結果と、前記遷移パターン予測手段により予測した遷移パターンとを、前記車と分岐線との相対位置関係の遷移として照合する遷移パターン照合手段と、
前記遷移パターン照合手段による照合結果に基づいて、前記分岐線の認識結果を補正する認識結果補正手段
を備えたことを特徴とする分岐線認識装置。 A branch line recognition means for processing a camera image provided in the vehicle to recognize a branch line in the left-right direction of the road ;
A map DB that holds map link information;
Stored a transition pattern indicating the change in the relative positional relationship between the car and the branch line on the left, center, or right side of the car according to the direction of the car, depending on the branch direction of the left branch and right branch . A transition pattern DB;
A branch direction search means for searching a branch direction ahead of the vehicle from the map DB ;
Transition pattern prediction means for predicting an actual transition pattern based on the branch direction ahead of the vehicle obtained by the search and the transition pattern read from the transition pattern DB;
A transition pattern matching unit that collates a branch line recognition result by the branch line recognition unit and a transition pattern predicted by the transition pattern prediction unit as a transition of a relative positional relationship between the vehicle and the branch line;
Recognition result correction means for correcting the recognition result of the branch line based on the result of matching by the transition pattern matching means.
Branch line recognition apparatus characterized by comprising a.
地図リンク情報を保持する地図ＤＢと、
左分岐と右分岐の分岐方向別に、車と分岐線との相対位置関係を、車の進行に応じた車の左側，中央，又は右側のいずれに位置するかの変化を表す遷移パターンを格納した遷移パターンＤＢと、
前記地図ＤＢから車前方の分岐方向を検索する分岐方向検索手段と、
前記検索によって得られた車前方の分岐方向と、前記遷移パターンＤＢから読出した遷移パターンとに基いて、現実の遷移パターンを予測する遷移パターン予測手段と、
前記分岐線認識手段による分岐線の認識結果と、前記遷移パターン予測手段により予測した遷移パターンとを、前記車と分岐線との相対位置関係の遷移として照合する遷移パターン照合手段と、
前記遷移パターン照合手段による照合結果に基づいて、前記分岐線の認識結果を補正する認識結果補正手段と、
前記補正された前記分岐線の認識結果を用いて前記分岐線を認識する分岐線認識装置とを車上に備え、
前記分岐線認識装置に接続され、前記分岐線認識装置の出力結果を用いて車の進行方向を判定することを特徴とするカーナビゲーションシステム。 A branch line recognition means for processing a camera image provided in the vehicle to recognize a branch line in the left-right direction of the road ;
A map DB that holds map link information;
Stored a transition pattern indicating the change in the relative positional relationship between the car and the branch line on the left, center, or right side of the car according to the direction of the car, depending on the branch direction of the left branch and right branch . A transition pattern DB;
A branch direction search means for searching a branch direction ahead of the vehicle from the map DB ;
Transition pattern prediction means for predicting an actual transition pattern based on the branch direction ahead of the vehicle obtained by the search and the transition pattern read from the transition pattern DB;
A transition pattern matching unit that collates a branch line recognition result by the branch line recognition unit and a transition pattern predicted by the transition pattern prediction unit as a transition of a relative positional relationship between the vehicle and the branch line;
Recognition result correcting means for correcting the recognition result of the branch line based on the matching result by the transition pattern matching means;
A branch line recognition device for recognizing the branch line using the corrected recognition result of the branch line on a vehicle;
A car navigation system, characterized in that connected to said branch line recognition system, to determine the traveling direction of the vehicle by using the output of said branch line recognition system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006283840A JP4878256B2 (en) | 2006-10-18 | 2006-10-18 | Branch line recognition device and car navigation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006283840A JP4878256B2 (en) | 2006-10-18 | 2006-10-18 | Branch line recognition device and car navigation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008102684A JP2008102684A (en) | 2008-05-01 |
| JP4878256B2 true JP4878256B2 (en) | 2012-02-15 |
Family
ID=39436975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006283840A Expired - Fee Related JP4878256B2 (en) | 2006-10-18 | 2006-10-18 | Branch line recognition device and car navigation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4878256B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106257558A (en) * | 2015-06-17 | 2016-12-28 | 中兴通讯股份有限公司 | Object positioning method and device |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4744537B2 (en) * | 2008-02-05 | 2011-08-10 | 日立オートモティブシステムズ株式会社 | Driving lane detector |
| JP5066123B2 (en) | 2009-03-24 | 2012-11-07 | 日立オートモティブシステムズ株式会社 | Vehicle driving support device |
| JP4988786B2 (en) | 2009-04-09 | 2012-08-01 | 株式会社日本自動車部品総合研究所 | Boundary line recognition device |
| JP5220787B2 (en) | 2010-03-08 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | In-vehicle white line recognition device |
| JP5686048B2 (en) * | 2011-06-08 | 2015-03-18 | 富士通株式会社 | Position / orientation output device, position / orientation output program, and position / orientation output method |
| JP6817804B2 (en) * | 2016-12-16 | 2021-01-20 | クラリオン株式会社 | Bound line recognition device |
| US11193782B2 (en) | 2017-03-27 | 2021-12-07 | Mitsubishi Electric Corporation | Vehicle position estimation apparatus |
| JP6627135B2 (en) * | 2017-06-22 | 2020-01-08 | 本田技研工業株式会社 | Vehicle position determination device |
| JP6941677B2 (en) * | 2017-08-25 | 2021-09-29 | 日立Astemo株式会社 | Image recognition device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3458560B2 (en) * | 1995-09-26 | 2003-10-20 | トヨタ自動車株式会社 | Vehicle white line recognition device and method |
| JP3429167B2 (en) * | 1997-09-13 | 2003-07-22 | 本田技研工業株式会社 | White line detector for vehicles |
| JP4329088B2 (en) * | 1998-02-18 | 2009-09-09 | 株式会社エクォス・リサーチ | Vehicle control device |
| JP2005283219A (en) * | 2004-03-29 | 2005-10-13 | Clarion Co Ltd | Vehicle traveling road determination method, vehicle traveling road determination device and navigation system |
-
2006
- 2006-10-18 JP JP2006283840A patent/JP4878256B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106257558A (en) * | 2015-06-17 | 2016-12-28 | 中兴通讯股份有限公司 | Object positioning method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008102684A (en) | 2008-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4878256B2 (en) | Branch line recognition device and car navigation system | |
| US10984551B2 (en) | Traveling position detection apparatus and traveling position detection method | |
| JP4506790B2 (en) | Road information generation apparatus, road information generation method, and road information generation program | |
| JP4950494B2 (en) | Traveling lane estimation apparatus and traveling lane estimation method | |
| JP6036371B2 (en) | Vehicle driving support system and driving support method | |
| JP4985362B2 (en) | Navigation device, navigation method, and navigation program | |
| JP5229293B2 (en) | Vehicle driving support device | |
| US8265869B2 (en) | Vehicle navigation apparatus and vehicle navigation program | |
| JP4859760B2 (en) | Car navigation apparatus, road sign recognition method and program | |
| JP4899351B2 (en) | Travel condition determination device and in-vehicle navigation device | |
| JP3768779B2 (en) | Vehicle steering driving support device | |
| WO2015122121A1 (en) | Host vehicle travel position specification device and host vehicle travel position specification program product | |
| WO2005119177A1 (en) | On-vehicle navigation device and vehicle position correction method | |
| KR970002798A (en) | Automotive Navigation Device | |
| JP5810979B2 (en) | Driving support device and driving support method | |
| JP5618152B2 (en) | Route guidance system, route guidance method, and route guidance program | |
| CN111380538A (en) | Vehicle positioning method, navigation method and related device | |
| JP2009025178A (en) | Navigation apparatus and program for navigation | |
| JP6805704B2 (en) | Route selection method and route selection device | |
| JP4875509B2 (en) | Navigation device and navigation method | |
| JP2019028028A (en) | Vehicle's travelling vehicle lane identification device | |
| JP5637381B2 (en) | Road node position management system, road node position management method, and road node position management program | |
| CN109427212B (en) | Vehicle running detection method and vehicle running detection system | |
| JP6098442B2 (en) | Route guidance display system, method and program | |
| JP4789869B2 (en) | Image recognition apparatus and image recognition method, and self-position recognition apparatus and navigation apparatus using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080409 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111122 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4878256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |