JP6260233B2 - 情報処理装置、カメラ取付角度の推定方法、及びプログラム - Google Patents

情報処理装置、カメラ取付角度の推定方法、及びプログラム Download PDF

Info

Publication number
JP6260233B2
JP6260233B2 JP2013248826A JP2013248826A JP6260233B2 JP 6260233 B2 JP6260233 B2 JP 6260233B2 JP 2013248826 A JP2013248826 A JP 2013248826A JP 2013248826 A JP2013248826 A JP 2013248826A JP 6260233 B2 JP6260233 B2 JP 6260233B2
Authority
JP
Japan
Prior art keywords
lane
vehicle
captured image
camera
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013248826A
Other languages
English (en)
Other versions
JP2015106323A (ja
Inventor
徹洋 加藤
徹洋 加藤
中山　收文
收文 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013248826A priority Critical patent/JP6260233B2/ja
Priority to EP14192436.5A priority patent/EP2879117B1/en
Publication of JP2015106323A publication Critical patent/JP2015106323A/ja
Application granted granted Critical
Publication of JP6260233B2 publication Critical patent/JP6260233B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理装置、カメラ取付角度の推定方法、及びプログラムに関する。
近年、画像処理技術や通信技術を利用して車両の走行安全性を高めるための技術開発が盛んに行われている。その成果の一つとして、道路上の車線区分線（白線）を車載カメラで撮影し、車載カメラの撮像画像から車線区分線と車両との間の距離を推定して車両が車線から逸脱しそうな場合に警告を発する車線逸脱警報装置がある。
なお、車線逸脱警報装置は、ＬＤＷ（Lane Departure Warning）装置と呼ばれる場合もある。
上記のような車線逸脱警報装置は、車載カメラの取付角度が許容誤差の範囲内で正しく設定されていないと適切に機能しない可能性がある。そのため、車載カメラの取付角度を調整する仕組みについても検討が行われている。
例えば、車載カメラで車両の先端部分を撮影し、撮像画像に含まれる車両の先端部分を基準に車載カメラの取付角度を調整する第１の技術が提案されている。また、ハンドルの操舵角を検出し、操舵角が０の状態で車載カメラの向きと車線区分線とが成す角度を基準に車載カメラの取付角度を調整する第２の技術が提案されている。
特許第４０４５８６２号公報 特開２００１−１７１５４４号公報
車両の先端部分（ノッチ）が車両前方に突出していないトラックやバスなどの場合、車載カメラに車両の先端部分が写らない。そのため、こうした車両に対しては、上記第１の技術を適用して車載カメラの取付角度を調整することはできない。
また、ハンドルの操舵角が０の場合でも車線区分線に対して車両が斜めに走行していることがあるため、上記第２の技術を適用すると車載カメラの取付角度が誤って調整される可能性がある。
そこで、１つの側面によれば、本発明の目的は、車載カメラの向きを精度良く推定することが可能な情報処理装置、カメラ取付角度の推定方法、及びプログラムを提供することにある。
本開示の１つの側面によれば、車両に設置されたカメラにより撮像された撮像画像が格納される記憶部と、車線を区切る車線区分線を撮像画像から検出し、車両が車線区分線に対して平行な向きに走行している区間で撮像された撮像画像に含まれる車線区分線を基準にカメラの光軸方向を推定する演算部とを有する、情報処理装置が提供される。
また、本開示の他の１つの側面によれば、車両に設置されたカメラにより撮像された撮像画像が格納される記憶部から、撮像画像を取得することが可能なコンピュータが、車線を区切る車線区分線を撮像画像から検出し、車両が車線区分線に対して平行な向きに走行している区間で撮像された撮像画像に含まれる車線区分線を基準にカメラの光軸方向を推定するカメラ取付角度の推定方法が提供される。
また、本開示の他の１つの側面によれば、車両に設置されたカメラにより撮像された撮像画像が格納される記憶部から、撮像画像を取得することが可能なコンピュータに、車線を区切る車線区分線を撮像画像から検出し、車両が車線区分線に対して平行な向きに走行している区間で撮像された撮像画像に含まれる車線区分線を基準にカメラの光軸方向を推定する処理を実行させる、プログラムが提供される。
本発明によれば、車載カメラの向きを精度良く推定することが可能になる。
第１実施形態に係る情報処理装置の一例を示した図である。 第２実施形態に係る車線逸脱警報装置の取付例及びパラメータの表記を示した第１の図である。 第２実施形態に係る車線逸脱警報装置の取付例及びパラメータの表記を示した第２の図である。 第２実施形態に係る車線逸脱警報装置が有する機能の一例を示したブロック図である。 第２実施形態に係る取付角度の推定方法について説明するための第１の図である。 第２実施形態に係る取付角度の推定方法について説明するための第２の図である。 第２実施形態に係る取付角度の推定方法について説明するための第３の図である。 第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第１の図である。 第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第２の図である。 第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第３の図である。 第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第４の図である。 第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第５の図である。 第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第６の図である。 第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第７の図である。 第２実施形態に係る制御装置が有する機能を実現することが可能なハードウェアの一例を示した図である。
以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
＜１．第１実施形態＞
図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係る情報処理装置の一例を示した図である。
図１に示すように、第１実施形態に係る情報処理装置１０は、記憶部１１及び演算部１２を有する。なお、情報処理装置１０は、車両Ｃに搭載される。例えば、情報処理装置１０は、車両Ｃに搭載されたカメラ２０と組み合わせて、車両Ｃが車線を逸脱しそうな場合に運転者へ警報を発する車線逸脱警報装置として利用することができる。
なお、記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。
演算部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサである。また、演算部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路であってもよい。演算部１２は、例えば、記憶部１１又は他のメモリに記憶されたプログラムを実行する。
記憶部１１には、車両Ｃに設置されたカメラ２０により撮像された撮像画像が格納される。例えば、カメラ２０は、車両Ｃの前方を連続的に撮影し、連続する複数の撮像画像を記憶部１１に格納する。
図１の例では、情報処理装置１０及びカメラ２０が、車線区分線Ｌ１、Ｌ２、Ｌ３で区分された車線ＬＬ、ＬＲを走行中の車両Ｃに搭載されている。車線区分線Ｌ１、Ｌ２、Ｌ３は、車線ＬＬ、ＬＲの境界を表す車線境界線の一例である。
以下、簡単のため、図１の（Ａ）に示すように、車両Ｃが車線ＬＲを直進する状況（区間Ｒ１）、及び車両Ｃが車線ＬＲから車線ＬＬへと車線変更する状況（区間Ｒ２）を想定して説明を進める。
また、図１の（Ｂ）に示すように、車線区分線Ｌ２に対して光軸方向が角度θ0を成し、車両Ｃの進行方向に対して光軸方向が角度θ1を成すようにカメラ２０が車両Ｃに取り付けられているとする。なお、車両Ｃの進行方向が車線区分線Ｌ２と平行である場合、図１の（Ｂ）に示すように、２つの角度θ0、θ1は一致する。また、図１の（Ａ）に示すように、カメラ２０の設置位置と車両Ｃが走行している車線（例えば、車線ＬＲ）の中心（以下、車線中心）との距離をＥと表記する。
車両Ｃが車線ＬＲを走行している場合、カメラ２０により撮像された撮像画像には、車線区分線Ｌ２、Ｌ３が含まれる。演算部１２は、車線ＬＬ、ＬＲを区切る車線区分線Ｌ２、Ｌ３を撮像画像から検出する。また、演算部１２は、撮像画像に基づいて車両Ｃが走行している車線ＬＲの中心から車両Ｃまでの距離Ｅを計算する。
演算部１２は、距離Ｅの変化が設定した閾値よりも小さい場合に車両Ｃが車線区分線Ｌ２、Ｌ３に対して平行な向きに走行していると判定する。例えば、車両Ｃが区間Ｒ１を走行している場合、演算部１２は、車両Ｃが車線区分線Ｌ２、Ｌ３に対して平行な向きに走行していると判定する。一方、車両Ｃが区間Ｒ２を走行している場合、演算部１２は、車両Ｃが車線区分線Ｌ２、Ｌ３に対して平行な向きに走行していないと判定する。
演算部１２は、車両Ｃが車線区分線Ｌ２、Ｌ３に対して平行な向きに走行している区間Ｒ１で撮像された撮像画像に含まれる車線区分線Ｌ２、Ｌ３を基準にカメラ２０の光軸方向を推定する。一方、演算部１２は、カメラ２０の光軸方向を推定する際、車両Ｃが区間Ｒ２を走行中に撮像された撮像画像を利用しない。例えば、車両Ｃの進行方向と車線区分線Ｌ２とが平行な場合、２つの角度θ0、θ1が一致するため、撮像画像を解析して角度θ0を計算することで、車両Ｃの進行方向に対するカメラ２０の光軸方向（角度θ1）が得られる。
上記のように、情報処理装置１０は、撮像画像の画像処理によりカメラ２０の光軸方向（つまり、カメラ２０の取付角度）を推定することができる。また、撮像画像に含まれる車線区分線に基づいて推定を行うため、カメラ２０の画角に車両Ｃの特定部位が含まれなくても推定処理を実施することができる。そのため、車両Ｃの形状に依存せずに推定を行うことが可能になる。また、推定用のマーカーを車両Ｃに設置せずに済むため、推定処理に伴うコストの増大を抑制することができる。また、車線区分線に対して平行に走行している区間で撮像された撮像画像だけを利用して上記の推定を実施するため、誤推定が生じるリスクを低減することができる。
以上、第１実施形態について説明した。
＜２．第２実施形態＞
次に、第２実施形態について説明する。
［２−１．車線逸脱警報装置の取付例など］
まず、図２及び図３を参照しながら、第２実施形態に係る車線逸脱警報装置１００の取付例などについて説明する。この説明の中で、以降の説明に用いるパラメータの表記についても述べる。
図２は、第２実施形態に係る車線逸脱警報装置の取付例及びパラメータの表記を示した第１の図である。図３は、第２実施形態に係る車線逸脱警報装置の取付例及びパラメータの表記を示した第２の図である。
車線逸脱警報装置１００は、カメラ１０１及び制御装置１０２を有する。カメラ１０１は、例えば、図２に示すように、車両Ｃ前方の路面を撮像できるように、路面から高さＨの位置にピッチ角φで取り付けられる。なお、カメラ１０１は、車両Ｃ後方の路面を撮像できるように取り付けられていてもよい。カメラ１０１としては、例えば、ドライブレコーダなどのカメラを利用することもできる。カメラ１０１は、車両Ｃが走行中の路面を連続的に撮像し、連続する複数の撮像画像を制御装置１０２に入力する。
以下では、説明の都合上、図３の（Ａ）に示すように、カメラ１０１の中心を原点とするＸ−Ｙ座標系を考える。また、車両Ｃから車線区分線までの距離をＭ、車両Ｃが走行している車線の幅をＷ、カメラ１０１から車線中心までの距離をＥと表記する。また、車両Ｃ（進行方向）に対するカメラ１０１の傾き（以下、取付角度）をΘ0、車線（車線区分線）に対するカメラ１０１の傾きをΘdと表記する。また、図３の（Ｂ）に示すように、カメラ１０１の中心から車両Ｃの先端までの距離をＤ、カメラ１０１の中心から車両Ｃの中心までの距離をｄ、車両Ｃの幅をＷvと表記する。
車両Ｃから車線区分線までの距離Ｍは、下記の式（１）により求めることができる。例えば、ユーロＮＣＡＰ（European New Car Assessment Programme）やＪＩＳ（Japanese Industrial Standards）は、車線逸脱判定を行う際に、距離Ｍを高精度（例えば、誤差が１０ｃｍ以下）で算出することを要件として課している。カメラ１０１の取付角度Θ0を高精度に算出することができれば、距離Ｍを高精度に算出することが可能になる。
但し、カメラ１０１の取付角度には誤差を含む。そのため、車両Ｃに取り付けた状態でカメラ１０１の取付角度Θ0を精度良く推定できれば、距離Ｍの計算精度向上に寄与する。
Figure 0006260233
制御装置１０２は、車両Ｃに取り付けられたカメラ１０１の取付角度Θ0を精度良く推定する機能を有する。制御装置１０２は、車両Ｃが車線区分線に対して平行に走行している場合に、車両Ｃから車線区分線までの距離がほぼ一定となることに着目し、車両Ｃから車線中心までの距離Ｅの変位に基づいてカメラ１０１の取付角度Θ0を推定する。
制御装置１０２は、撮像画像に基づいて距離Ｅを時系列で計測し、距離Ｅの変位が小さい走行区間（以下、平行区間）を抽出する。なお、平行区間の判定精度には、平行走行している区間の時間的な長さが関係する。
例えば、設定した数（例えば、２０フレーム）以上の連続する撮像画像から平行走行が検出された場合に、平行走行が検出された撮像画像に対応する走行区間を高い信頼度で平行区間と判定できる。
制御装置１０２は、平行区間でカメラ１０１が撮像した撮像画像から車線区分線とカメラ１０１の光軸方向との成す角度Θ1を算出し、カメラ１０１の取付角度Θ d の推定値とする。この制御装置１０２によれば、車両Ｃが直線的に走行していても、車線区分線に対して斜めに進行している区間については、その区間で撮像された撮像画像に基づく取付角度Θ0の推定は行われない。そのため、取付角度Θ0が誤って推定されるリスクが低減される。
以上、車線逸脱警報装置１００の取付例などについて説明した。以下では、上記の制御装置１０２の機能などについて、さらに説明する。
［２−２．車線逸脱警報装置の機能］
次に、図４を参照しながら、車線逸脱警報装置１００の機能について説明する。図４は、第２実施形態に係る車線逸脱警報装置が有する機能の一例を示したブロック図である。なお、ここでは、車線逸脱警報装置１００が有する機能のうち、制御装置１０２の機能を中心に説明する。
図４に示すように、制御装置１０２は、記憶部１２１、車線検出部１２２、パラメータ推定部１２３、平行判定部１２４、角度推定部１２５、逸脱判定部１２６、及び警報出力部１２７を有する。
なお、記憶部１２１が有する機能は、ＲＡＭなどの揮発性記憶装置、或いは、ＨＤＤやフラッシュメモリなどの不揮発性記憶装置を用いて実現可能である。また、車線検出部１２２、パラメータ推定部１２３、及び平行判定部１２４が有する機能は、ＣＰＵやＤＳＰなどのプロセッサを用いて実現可能である。また、車線検出部１２２、パラメータ推定部１２３、及び平行判定部１２４が有する機能は、ＡＳＩＣやＦＰＧＡなどの電子回路を用いても実現可能である。
また、角度推定部１２５、逸脱判定部１２６、及び警報出力部１２７が有する機能は、ＣＰＵやＤＳＰなどのプロセッサを用いて実現可能である。また、角度推定部１２５、逸脱判定部１２６、及び警報出力部１２７が有する機能は、ＡＳＩＣやＦＰＧＡなどの電子回路を用いても実現可能である。車線検出部１２２、パラメータ推定部１２３、平行判定部１２４、角度推定部１２５、逸脱判定部１２６、及び警報出力部１２７は、例えば、記憶部１２１又は他のメモリに記憶されたプログラムを実行する。
記憶部１２１には、カメラ１０１により撮像された撮像画像が格納される。車線検出部１２２は、記憶部１２１に格納された撮像画像からエッジ画像を抽出する。
また、車線検出部１２２は、抽出したエッジ画像を用いて車線区分線を検出する。車線検出部１２２により検出された車線区分線の情報は、パラメータ推定部１２３に入力される。
パラメータ推定部１２３は、車線検出部１２２により検出された車線区分線の情報に基づき、カメラ１０１の光軸方向と車線区分線とが成す角度Θd及び距離Ｅなどを計算する。また、パラメータ推定部１２３は、距離Ｅの変位ΔＥを計算する。例えば、パラメータ推定部１２３は、時刻ｔ0に撮像された撮像画像に基づく距離Ｅ（ｔ0）を基準とし、時刻ｔに撮像された撮像画像に基づく距離Ｅの変位ΔＥ（ｔ）を下記の式（２）により計算する。
ΔＥ（ｔ）＝｜Ｅ（ｔ）−Ｅ（ｔ0）｜
…（２）
パラメータ推定部１２３により計算された変位ΔＥは、平行判定部１２４に入力される。また、パラメータ推定部１２３により計算された角度Θdは、角度推定部１２５に入力される。平行判定部１２４は、パラメータ推定部１２３により入力された変位ΔＥを保持する。また、平行判定部１２４は、変位ΔＥと閾値ＴｈEとを比較する。変位ΔＥが閾値ＴｈEよりも小さい場合、平行判定部１２４は、車両Ｃが車線区分線に対して平行に走行していると判定する。つまり、平行判定部１２４は、車両Ｃが平行区間を走行中であると判定する。
平行判定部１２４による判定結果は、角度推定部１２５に入力される。角度推定部１２５は、平行区間において撮像された撮像画像の数が閾値Ｔ0以上であるか否かを判定する。
撮像画像の数が閾値Ｔ0以上である場合、角度推定部１２５は、平行区間における角度Θdを用いて、カメラ１０１の光軸方向と車両Ｃの進行方向とが成す角度Θ0を推定する。例えば、角度推定部１２５は、平行区間に撮像された各撮像画像に基づく角度Θdの統計値（例えば、平均値や最頻値など）を角度Θ0に決定する。角度推定部１２５により推定された角度Θ0は、記憶部１２１に格納される。
逸脱判定部１２６は、パラメータ推定部１２３により計算された距離Ｅや角度Θdなどのパラメータ、及び角度推定部１２５により推定された角度Θ0に基づき、車両Ｃから車線区分線までの距離Ｍ（上記の式（１）を参照）を計算する。但し、車線幅Ｗはパラメータ推定部１２３により計算され、記憶部１２１に格納されている。また、車両Ｃの幅Ｗv、カメラ１０１の取付位置に関する距離ｄ、Ｄは、予め記憶部１２１に格納されている。逸脱判定部１２６は、計算した距離Ｍに基づいて車両Ｃが車線から逸脱しそうか否かを判定する。
車両Ｃが車線から逸脱しそうと判定した場合、逸脱判定部１２６は、警報出力部１２７に対し、車両Ｃが車線から逸脱しそうな旨を通知する。この通知を受けた警報出力部１２７は、車両Ｃが車線から逸脱しそうな旨を運転者に通知する。
例えば、警報出力部１２７は、音声出力、画像表示、テキスト表示などにより運転者に警告を発する。
以上、車線逸脱警報装置１００の機能について説明した。なお、後述するように、平行判定部１２４及び角度推定部１２５などの機能は適宜変更することが可能である。
［２−３．取付角度の推定方法］
次に、図５〜図７を参照しながら、第２実施形態に係る取付角度の推定方法について説明する。
（２−３−１．平行区間の車線区分線に基づく角度推定）
まず、図５を参照しながら、平行区間の車線区分線に基づく角度Θ0の推定方法（以下、推定方法＃１）について説明する。図５は、第２実施形態に係る取付角度の推定方法について説明するための第１の図である。図５には、時刻ｔ1から時刻ｔ5までに車両Ｃが走行した様子及び変位ΔＥの変化が模式的に記載されている。
図５の例では、時刻ｔ1、ｔ2を含む期間Δｔ1において、車両Ｃが車線の左側から車線の右側へと移動している。また、時刻ｔ3、ｔ4、ｔ5を含む期間Δｔ2において、車両Ｃが車線の右側を直線的に走行している。そのため、変位ΔＥは、期間Δｔ1において閾値ＴｈEよりも大きな値となる。また、変位ΔＥは、期間Δｔ2において閾値ＴｈEよりも小さな値となる。つまり、期間Δｔ1の区間は、平行区間でない区間（以下、非平行区間）である。一方、期間Δｔ2の区間は、平行区間である。
角度推定部１２５は、平行区間の開始時刻Ｔ以降、平行区間で連続して撮像された撮像画像の数（フレーム数）をカウントし、各撮像画像に基づく角度Θdを保存する。カウントした数がＴ0 ’（例えば、２０フレーム）に達した場合、角度推定部１２５は、保存していた角度Θdを用いてカメラ１０１の取付角度Θ0を推定する。一方、カウントした数がＴ0に達せずに非平行区間に移行した場合（変位ΔＥが途中で閾値ＴｈEを超えた場合）、角度推定部１２５は、保存していた角度Θdを破棄する。
図５の例では、平行区間である期間Δｔ2に連続して撮像された撮像画像の数がＴ0を超えているため、平行区間の開始時刻Ｔ以降に撮像された撮像画像に基づく角度Θdからカメラ１０１の取付角度Θ0が推定される。
以上、推定方法＃１について説明した。
（２−３−２．複数の短縮平行区間の車線区分線に基づく角度推定）
次に、図６を参照しながら、複数の短縮平行区間の車線区分線に基づく角度Θ 0 の推定（以下、推定方法＃２）について説明する。図６は、第２実施形態に係る取付角度の推定方法について説明するための第２の図である。図６には、時刻ｔ1から時刻ｔ7までに車両Ｃが走行した様子及び変位ΔＥの変化が模式的に記載されている。
図６の例では、時刻ｔ1を含む期間Δｔ1において、車両Ｃが車線の左側から車線の中央付近へと移動している。また、時刻ｔ2を含む期間Δｔ2において、車両Ｃが車線の中央付近を直線的に走行している。但し、期間Δｔ2は短く、期間Δｔ2に撮像される撮像画像のカウント数は閾値Ｔ0に満たない。また、時刻ｔ3を含む期間Δｔ3において、車両Ｃが車線の中央付近から車線の右側へと移動している。
また、時刻ｔ4、ｔ5を含む期間Δｔ4において、車両Ｃが車線の右側を直線的に走行している。但し、期間Δｔ4は短く、期間Δｔ4に撮像される撮像画像のカウント数は閾値Ｔ0に満たない。また、時刻ｔ6を含む期間Δｔ5において、車両Ｃが車線の右側から車線の中央付近へと移動している。また、時刻ｔ7を含む期間Δｔ6において、車両Ｃが車線の中央付近を直線的に走行している。
変位ΔＥと閾値ＴｈEとの比較から、期間Δｔ1、Δｔ3、Δｔ5の区間は非平行区間、期間Δｔ2、Δｔ4、Δｔ6の区間は平行区間であると判定される。但し、期間Δｔ2、Δｔ4は短い平行区間であるため、期間Δｔ2、Δｔ4に撮像される撮像画像のカウント数は閾値Ｔ0に満たない。実際、道路の状態や撮像画像の画質などに起因して十分な長さの平行区間がなかなか検出されない可能性も考えられる。
このような場合、上述した推定方法＃１を適用すると、カメラ１０１の取付角度Θ0が推定されるまでに時間がかかる場合がある。推定方法＃２では、複数の短い平行区間を利用する方法を提案する。
角度推定部１２５は、平行区間（期間Δｔ2）の開始時刻Ｔ1以降、平行区間で連続して撮像された撮像画像の数（フレーム数）をカウントし、各撮像画像に基づく角度Θdを保存する。さらに、角度推定部１２５は、平行区間（期間Δｔ4）の開始時刻Ｔ3以降、平行区間で連続して撮像された撮像画像の数（フレーム数）をカウントし、各撮像画像に基づく角度Θdを保存する。カウントした数の合計がＴ0に達した場合、角度推定部１２５は、保存していた角度Θdを用いてカメラ１０１の取付角度Θ0を推定する。
なお、短い平行区間毎にカウントした数がＴ1 ’（例えば、５フレーム）に達せずに非平行区間に移行した場合（変位ΔＥが途中で閾値ＴｈEを超えた場合）、角度推定部１２５は、保存していた角度Θdを破棄してもよい。この場合、極端に短い平行区間を考慮されないため、取付角度Θ0の推定精度が大きく低下することを避けることができる。
以上、推定方法＃２について説明した。
推定方法＃２によれば、長い平行区間が得られない場合でも、カメラ１０１の取付角度Θ0を推定することができるようになる。
（２−３−３．車線区分線の劣化などへの対応）
次に、図７を参照しながら、車線区分線の劣化などへの対応について説明する。図７は、第２実施形態に係る取付角度の推定方法について説明するための第３の図である。
交通量が多い道路などでは、色が薄れたり、部分的に線が途切れたりしている車線区分線を見かけることがある。このような場合、車線区分線の検出に失敗したり、パラメータの誤推定が発生したりする可能性がある。そこで、平行区間を検出する際に、変位ΔＥの変化だけでなく、図７に示すような判定基準を用いて検出車線の正常性評価を行う方法を提案する。
図７に示すように、正常性評価の判定基準としては、例えば、線の種別、検出結果（車線区分線の有無）、線の曲率、線の平行性などが考えられる。線の種別には、例えば、１本の白線で表示された車線区分線や、車線区分線に沿って鎖線で表示された補助線などがある。
補助線が表示されていると車線区分線の誤検出が生じる可能性があるため、補助線がある区間で撮像された撮像画像は、取付角度Θ0の推定処理に利用しない。
また、車両Ｃの片側にある車線区分線は検出されるが、その反対側にある車線区分線は検出されない場合もある。このような場合、車両Ｃから車線中心までの距離Ｅを計算することができない。そのため、片側の車線区分線が未検出の区間で撮像された撮像画像は、取付角度Θ0の推定処理に利用しない。
また、車線区分線が曲線である場合、車両Ｃが車線区分線に対して平行に走行していても２つの角度Θd、Θ0が一致しない。従って、車線区分線の曲率が予め設定した閾値以上である区間で撮像された撮像画像は、取付角度Θ0の推定処理に利用しない。また、車両Ｃの進行方向に向かって車線幅が変化している場合、平行区間を正しく判定できない可能性がある。そのため、車両Ｃの両側に位置する車線区分線が非平行である区間で撮像された撮像画像は、取付角度Θ0の推定処理に利用しない。
以上、車線区分線の劣化などへの対応について説明した。上記のような例外処理を行うことで、車線区分線の誤検出などに伴う取付角度Θ0の誤推定を低減することが可能になり、推定精度を向上させることができる。
［２−４．処理フロー］
次に、図８〜図１４を参照しながら、車線逸脱警報装置１００が実行する処理の流れについて説明する。
（２−４−１．平行区間の車線区分線に基づく角度推定）
まず、図８〜図１０を参照しながら、平行区間の車線区分線に基づく角度推定の処理フローについて説明する。
図８は、第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第１の図である。図９は、第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第２の図である。図１０は、第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第３の図である。
（全体的な処理の流れ）
まず、図８を参照しながら、全体的な処理の流れについて説明する。
（Ｓ１０１）車線検出部１２２は、記憶部１２１に格納された撮像画像を読み出す。なお、記憶部１２１には、カメラ１０１により撮像された撮像画像が格納されている。
（Ｓ１０２）車線検出部１２２は、記憶部１２１から読み出した撮像画像からエッジ画像を抽出する。例えば、車線検出部１２２は、車線区分線を表す白線と道路面との境界（エッジ）を検出し、検出したエッジによるエッジ画像を生成する。なお、エッジ検出は、例えば、ＬＯＧフィルタによる輪郭抽出などにより実現可能である。
また、車線検出部１２２は、抽出したエッジ画像を用いて車線区分線を検出する。例えば、車線検出部１２２は、エッジ画像に対してラベリングを実施し、線分の方向や形状などを考慮してノイズ成分を除去した後、連結処理を実施して車線区分線を検出する。なお、これ以外の車線検出方法を適用してもよい。車線検出部１２２により検出された車線区分線の情報は、パラメータ推定部１２３に入力される。
（Ｓ１０３）パラメータ推定部１２３は、車線検出部１２２により検出された車線区分線の情報に基づき、カメラ１０１の光軸方向と車線区分線とが成す角度Θd及び距離Ｅなどを計算する。
なお、車線検出部１２２から入力される車線区分線の情報は、撮像画像上の位置情報である。そのため、パラメータ推定部１２３は、路面上における車線区分線の位置や距離Ｅを計算するために路面上の車線位置をモデル化し、撮像画像上の位置情報から路面上の位置情報などに変換する。
例えば、パラメータ推定部１２３は、下記の式（３）で表現されるモデルを利用して線形近似による繰り返し演算を実行し、撮像画像上の位置情報から路面上の位置情報などのパラメータを計算する。但し、撮像画像上の位置座標を（ｘ，ｙ）、カメラ１０１の焦点距離をｆ、車線区分線の曲率をｃ、右側車線と左側車線とを区別するための定数をｋ（左側車線：−１、右側車線：＋１）とする。
Figure 0006260233
また、パラメータ推定部１２３は、距離Ｅの変位ΔＥを計算する。例えば、パラメータ推定部１２３は、時刻ｔ0に撮像された撮像画像に基づく距離Ｅ（ｔ0）を基準とし、時刻ｔに撮像された撮像画像に基づく距離Ｅの変位ΔＥ（ｔ）を上記の式（２）により計算する。パラメータ推定部１２３により計算された変位ΔＥは、平行判定部１２４に入力される。また、パラメータ推定部１２３により計算された角度Θdは、角度推定部１２５に入力される。
（Ｓ１０４）制御装置１０２は、カメラ１０１の取付角度Θ0を推定するか否かを判定する。例えば、制御装置１０２は、取付角度Θ0の推定が完了している場合（後述する完了フラグが設定されている場合）、カメラ１０１の取付角度Θ0を推定しないと判定する。
一方、取付角度Θ0の推定が完了していない場合、制御装置１０２は、カメラ１０１の取付角度Θ0を推定すると判定する。カメラ１０１の取付角度Θ0を推定する場合、処理はＳ１０５に進む。一方、カメラ１０１の取付角度Θ0を推定しない場合、処理はＳ１０６に進む。
（Ｓ１０５）平行判定部１２４は、パラメータ推定部１２３により入力された変位ΔＥを保持する。また、平行判定部１２４は、変位ΔＥと閾値ＴｈEとを比較する。変位ΔＥが閾値ＴｈEよりも小さい場合、平行判定部１２４は、車両Ｃが車線区分線に対して平行に走行していると判定する。
つまり、平行判定部１２４は、車両Ｃが平行区間を走行中であると判定する。平行判定部１２４による判定結果は、角度推定部１２５に入力される。
角度推定部１２５は、平行区間において撮像された撮像画像の数が閾値Ｔ0以上であるか否かを判定する。撮像画像の数が閾値Ｔ0以上である場合、角度推定部１２５は、平行区間における角度Θdを用いて、カメラ１０１の光軸方向と車両Ｃの進行方向とが成す角度Θ0を推定する。
例えば、角度推定部１２５は、平行区間に撮像された各撮像画像に基づく角度Θdの統計値（例えば、平均値や最頻値など）を角度Θ0に決定する。角度推定部１２５により推定された角度Θ0は、記憶部１２１に格納される。
Ｓ１０５の処理が完了すると、処理はＳ１０１に進む。
（Ｓ１０６）逸脱判定部１２６は、パラメータ推定部１２３により計算された距離Ｅや角度Θdなどのパラメータ、及び角度推定部１２５により推定された角度Θ0に基づき、車両Ｃから車線区分線までの距離Ｍ（上記の式（１）を参照）を計算する。逸脱判定部１２６は、計算した距離Ｍに基づいて車両Ｃが車線から逸脱しそうか否かを判定する。距離Ｍが大きければ逸脱の可能性が低く、距離Ｍが小さければ逸脱の可能性が高い。
車両Ｃが車線から逸脱しそうと判定した場合、逸脱判定部１２６は、警報出力部１２７に対し、車両Ｃが車線から逸脱しそうな旨を通知する。この通知を受けた警報出力部１２７は、車両Ｃが車線から逸脱しそうな旨を運転者に通知する。例えば、警報出力部１２７は、音声出力、画像表示、テキスト表示などにより運転者に警告を発する。
（Ｓ１０７）制御装置１０２は、図８に示した一連の処理を終了するか否かを判定する。例えば、車線逸脱警報装置１００の電源がオフに設定された場合、制御装置１０２は、図８に示した一連の処理を終了する。一方、図８に示した一連の処理を継続する場合、処理はＳ１０１に進む。
（取付角度の推定：Ｓ１０５）
ここで、図９を参照しながら、Ｓ１０５の処理について、さらに説明する。
（Ｓ１１１）平行判定部１２４は、車両Ｃの進行方向を検出する。例えば、平行判定部１２４は、パラメータ推定部１２３により入力された変位ΔＥに基づき、車両Ｃの進行方向が車線区分線に対して平行であるか否かを判定する。
変位ΔＥが閾値ＴｈEよりも小さい場合、平行判定部１２４は、車両Ｃの進行方向が車線区分線に対して平行であると判定する。一方、変位ΔＥが閾値ＴｈEよりも小さくない場合、平行判定部１２４は、車両Ｃの進行方向が車線区分線に対して平行でないと判定する。
（Ｓ１１２）Ｓ１１１の処理で、車両Ｃの進行方向が車線区分線に対して平行であると判定された場合、処理はＳ１１３に進む。一方、Ｓ１１１の処理で、車両Ｃの進行方向が車線区分線に対して平行でないと判定された場合、図９に示した一連の処理は終了する。
（Ｓ１１３）角度推定部１２５は、車両Ｃの進行方向が車線区分線に対して平行である区間（平行区間）で連続して撮像された撮像画像の数が閾値Ｔ0以上であるか否かを判定する。
なお、閾値Ｔ0は、カメラ１０１の取付角度Θ0を所望の精度で算出できるように実験的に求めた値（例えば、２０）である。平行区間で連続して撮像された撮像画像の数が閾値Ｔ0以上である場合、処理はＳ１１４に進む。一方、平行区間で連続して撮像された撮像画像の数が閾値Ｔ0以上でない場合、図９に示した一連の処理は終了する。
（Ｓ１１４）角度推定部１２５は、平行区間における角度Θdを用いて、カメラ１０１の光軸方向と車両Ｃの進行方向とが成す角度Θ0を推定する。例えば、角度推定部１２５は、平行区間に撮像された各撮像画像に基づく角度Θdの統計値（例えば、平均値や最頻値など）を角度Θ0に決定する。角度推定部１２５により推定された角度Θ0は、記憶部１２１に格納（保存）される。このとき、角度推定部１２５は、完了フラグを設定し、設定した情報を記憶部１２１に格納する。Ｓ１１４の処理が完了すると、図９に示した一連の処理は終了する。
（進行方向の検出：Ｓ１１１）
ここで、図１０を参照しながら、Ｓ１１１の処理について、さらに説明する。
（Ｓ１２１）パラメータ推定部１２３は、車線検出部１２２により検出された車線区分線の情報に基づき、カメラ１０１の光軸方向と車線区分線とが成す角度Θd及び距離Ｅなどを計算する。このとき、パラメータ推定部１２３は、上記の式（３）に基づいて、路面上における車線区分線の位置や距離Ｅを計算するために路面上の車線位置をモデル化し、撮像画像上の位置情報から路面上の位置情報などに変換する。
また、パラメータ推定部１２３は、距離Ｅの変位ΔＥを計算する。例えば、パラメータ推定部１２３は、基準となる時刻ｔ0に撮像された撮像画像に基づく距離Ｅ（ｔ0）（後述するＥP）を用いて、時刻ｔ（平行走行を判定する時点）に撮像された撮像画像に基づく距離Ｅの変位ΔＥ（ｔ）を上記の式（２）により計算する。パラメータ推定部１２３により計算された変位ΔＥは、平行判定部１２４に入力される。
（Ｓ１２２）平行判定部１２４は、パラメータ推定部１２３により入力された変位ΔＥを保持する。また、平行判定部１２４は、変位ΔＥと閾値ＴｈEとを比較し、変位ΔＥが閾値ＴｈEよりも大きいか否かを判定する。
なお、閾値ＴｈEは、カメラ１０１の取付角度Θ0を所望の精度で推定可能な値（例えば、５０ｍｍ）となるように実験的に決められる。変位ΔＥが閾値ＴｈEよりも大きい場合、処理はＳ１２３に進む。一方、変位ΔＥが閾値ＴｈEよりも大きくない場合、処理はＳ１２５に進む。
（Ｓ１２３、Ｓ１２４）平行判定部１２４は、Ｓ１２１の処理で用いた距離Ｅを基準となる距離ＥPに設定する。また、平行判定部１２４は、車両Ｃの進行方向が車線区分線に対して平行ではないと判断する。Ｓ１２３、Ｓ１２４の処理を完了すると、図１０に示した一連の処理は終了する。このように、横方向の距離Ｅを用いることにより、車両Ｃが低速走行時でも、車両Ｃの進行方向が車線区分線に対して平行であるか否かを判定することができる。
（Ｓ１２５、Ｓ１２６）平行判定部１２４は、車両Ｃの進行方向が車線区分線に対して平行であると判断する。この場合、パラメータ推定部１２３により計算された距離Ｅや角度Θdなどのパラメータは記憶部１２１に格納（保存）される。Ｓ１２５、Ｓ１２６の処理が完了すると、図１０に示した一連の処理は終了する。
以上、平行区間の車線区分線に基づく角度推定の処理フローについて説明した。
（２−４−２．複数の短縮平行区間の車線区分線に基づく角度推定）
次に、図１１〜図１４を参照しながら、複数の短縮平行区間の車線区分線に基づく角度推定の処理フローについて説明する。
図１１は、第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第４の図である。図１２は、第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第５の図である。図１３は、第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第６の図である。図１４は、第２実施形態に係る車線逸脱警報装置が実行する処理の流れを示した第７の図である。
（取付角度の推定：Ｓ１０５）
上述した平行区間の車線区分線に基づく角度推定の処理フローとの違いは、図８に示した処理のうち、Ｓ１０５の処理にある。そこで、全体的な処理フローについては詳細な説明を省略し、図１１を参照しながら、Ｓ１０５に相当する処理フローについて説明する。
（Ｓ２１１）平行判定部１２４は、車両Ｃの進行方向を検出する。例えば、平行判定部１２４は、パラメータ推定部１２３により入力された変位ΔＥに基づき、車両Ｃの進行方向が車線区分線に対して平行であるか否かを判定する。
変位ΔＥが閾値ＴｈEよりも小さい場合、平行判定部１２４は、車両Ｃの進行方向が車線区分線に対して平行であると判定する。一方、変位ΔＥが閾値ＴｈEよりも小さくない場合、平行判定部１２４は、車両Ｃの進行方向が車線区分線に対して平行でないと判定する。
（Ｓ２１２）Ｓ２１１の処理で、車両Ｃの進行方向が車線区分線に対して平行であると判定された場合、処理はＳ２１３に進む。一方、Ｓ２１１の処理で、車両Ｃの進行方向が車線区分線に対して平行でないと判定された場合、図１１に示した一連の処理は終了する。
（Ｓ２１３）角度推定部１２５は、車両Ｃの進行方向が車線区分線に対して平行である区間（平行区間）で連続して撮像された撮像画像の数が閾値Ｔ1以上であるか否かを判定する。なお、閾値Ｔ1は、上述した閾値Ｔ0よりも小さい値（Ｔ1＜Ｔ0；例えば、Ｔ1＝５）に設定される。平行区間で連続して撮像された撮像画像の数が閾値Ｔ1以上である場合、処理はＳ２１４に進む。一方、平行区間で連続して撮像された撮像画像の数が閾値Ｔ1以上でない場合、図１１に示した一連の処理は終了する。
なお、Ｓ２１３の処理に関する変形例として、例えば、閾値Ｔ2 （Ｔ 1 ＜Ｔ2＜Ｔ0）を設定し、連続するＴ2枚の撮像画像のうち、平行区間で連続して撮像された撮像画像がＴ1枚以上の場合に、処理をＳ２１４に進める処理とする方法が考えられる。この方法では、連続するＴ2枚の撮像画像のうち、平行区間で連続して撮像された撮像画像がＴ1枚以上とならない場合には、図１１に示した一連の処理が終了する。閾値Ｔ2は実験的に決められる値である。例えば、Ｔ2＝７、Ｔ1＝５などに設定される。
（Ｓ２１４）角度推定部１２５は、平行区間における角度Θdを用いて、カメラ１０１の光軸方向と車両Ｃの進行方向とが成す角度Θ0を推定する。例えば、角度推定部１２５は、平行区間に撮像された各撮像画像に基づく角度Θdの統計値（例えば、平均値や最頻値など）を角度Θ0に決定する。角度推定部１２５により推定された角度Θ0は、記憶部１２１に格納（保存）される。
（Ｓ２１５）角度推定部１２５は、連続して撮像された撮像画像の数が閾値Ｔ1以上となる平行区間の数Ｓ（記憶部１２１に格納された角度Θ0の数でもよい。）が閾値ＴｈS以上であるか否かを判定する。なお、閾値ＴｈSは、カメラ１０１の取付角度Θ0を所望の精度で決めることができる値（例えば、ＴｈS＝７）に実験的に決められる。平行区間の数Ｓが閾値ＴｈS以上である場合、処理はＳ２１６に進む。一方、平行区間の数Ｓが閾値ＴｈS以上でない場合、図１１に示した一連の処理は終了する。
（Ｓ２１６）角度推定部１２５は、記憶部１２１に格納された複数の取付角度Θ0に基づく統計値（例えば、平均値や最頻値など）を計算し、計算した統計値を取付角度Θ0の推定結果とする。推定結果として得られたカメラ１０１の取付角度Θ0は、記憶部１２１に格納される。Ｓ２１６の処理が完了すると、図１１に示した一連の処理は終了する。
（具体例）
ここで、図１２〜図１４を参照しながら、図１１に示した処理フローの具体例（カウンタの遷移に基づく処理の流れ）について、さらに説明する。
なお、Ｐcnt、Ｑcnt、Ｒcnt、Ｓcnt、Ｔcntはカウンタである。また、ＴｈP、ＴｈQ、ＴｈR、ＴｈS、ＴｈTは、それぞれＰcnt、Ｑcnt、Ｒcnt、Ｓcnt、Ｔcntに対応する閾値である。カウンタはそれぞれ値０に初期化されている。また、閾値ＴｈP、ＴｈQ、ＴｈR、ＴｈS、ＴｈTは、例えば、ＴｈP＝１１、ＴｈQ＝３、ＴｈR＝２、ＴｈS＝１、ＴｈT＝３などと設定されている。
（Ｓ２２１）角度推定部１２５は、カウンタＰcntが閾値ＴｈPよりも小さいか否かを判定する。なお、カウンタＰcntをフレームカウンタと呼ぶ場合がある。カウンタＰcntが閾値ＴｈPよりも小さい場合、処理はＳ２２２に進む。一方、カウンタＰcntが閾値ＴｈPよりも小さくない場合、処理はＳ２２３に進む。
（Ｓ２２２）角度推定部１２５は、フレームカウンタＰcntを１増加させる。Ｓ２２２の処理が完了すると、処理はＳ２２４に進む。
（Ｓ２２３）角度推定部１２５は、カウンタＰcnt、Ｑcnt、Ｔcntを０に初期化する。これは、取付角度Θ0の推定処理がＴｈP以内に完了しない場合には初期化が行われることを示している。Ｓ２２３の処理が完了すると、処理はＳ２２４に進む。
（Ｓ２２４）角度推定部１２５は、カウンタＱcntが０であるか否かを判定する。なお、カウンタＱcntをフレームカウンタと呼ぶ場合がある。カウンタＱcntが０である場合、処理はＳ２２５に進む。一方、カウンタＱcntが０でない場合、処理はＳ２２６に進む。
（Ｓ２２５）角度推定部１２５は、カウンタＲcnt、Ｓcntを０に初期化する。Ｓ２２５の処理が完了すると、処理はＳ２２６に進む。
（Ｓ２２６）角度推定部１２５は、カウンタＱcntを１増加させる。
（Ｓ２２７）角度推定部１２５は、車両Ｃの進行方向が車線区分線に平行であるか否かを判定する。車両Ｃの進行方向が車線区分線に平行である場合、処理はＳ２２８に進む。一方、車両Ｃの進行方向が車線区分線に平行でない場合、処理は、図１４のＳ２３６に進む。
（Ｓ２２８）角度推定部１２５は、撮像画像を対象フレームとして登録する。また、角度推定部１２５は、カウンタＲcntを１増加させる。なお、カウンタＲcntは、対象フレームとして登録した撮像画像の枚数を示すカウンタである。カウンタＲcntを対象フレームカウンタと呼ぶ場合がある。
（Ｓ２２９）角度推定部１２５は、カウンタＱcntが閾値ＴｈQ以上であるか否かを判定する。カウンタＱcntが閾値ＴｈQ以上である場合、処理はＳ２３０に進む。一方、カウンタＱcntが閾値ＴｈQ以上でない場合、図１２〜図１４に示した一連の処理は終了する。
（Ｓ２３０）角度推定部１２５は、カウンタＲcntが閾値ＴｈR以上であるか否かを判定する。カウンタＲcntが閾値ＴｈR以上である場合、処理は、図１３のＳ２３２に進む。一方、カウンタＲcntが閾値ＴｈR以上でない場合、処理はＳ２３１に進む。
（Ｓ２３１）角度推定部１２５は、カウンタＱcntを０に初期化する。Ｓ２３１の処理が完了すると、図１２〜図１４に示した一連の処理は終了する。
（Ｓ２３２）角度推定部１２５は、登録した対象フレームに対応する車両Ｃの走行区間を対象区間として登録する。そして、角度推定部１２５は、カウンタＴcntを１増加させる。カウンタＴcntは、登録した対象区間の数を示すカウンタである。カウンタＴcntを対象区間数カウンタと呼ぶ場合がある。また、角度推定部１２５は、カウンタＱcntを０に初期化する。
（Ｓ２３３）角度推定部１２５は、カウンタＴcntが閾値ＴｈT以上であるか否かを判定する。カウンタＴcntが閾値ＴｈT以上である場合、処理はＳ２３４に進む。一方、カウンタＴcntが閾値ＴｈT以上でない場合、図１２〜図１４に示した一連の処理は終了する。
（Ｓ２３４）角度推定部１２５は、登録した全ての対象フレームに関する取付角度Θ0の統計値を計算し、計算した統計値を取付角度Θ0の推定結果とする。推定結果とされた取付角度Θ0は、記憶部１２１に格納（保存）される。
（Ｓ２３５）角度推定部１２５は、カウンタＰcnt、Ｑcnt、Ｔcntを０に初期化する。Ｓ２３５の処理が完了すると、図１２〜図１４に示した一連の処理は完了する。
（Ｓ２３６）角度推定部１２５は、撮像画像をＮＧフレーム（非平行走行中に撮像された撮像画像）と判定する。また、角度推定部１２５は、カウンタＳcntを１増加させる。なお、カウンタＳcntは、ＮＧフレームの数を示すカウンタである。カウンタＳcntをＮＧフレームカウンタと呼ぶ場合がある。
（Ｓ２３７）角度推定部１２５は、カウンタＳcntが閾値ＴｈSよりも大きいか否かを判定する。カウンタＳcntが閾値ＴｈSよりも大きい場合、処理はＳ２３８に進む。一方、カウンタＳcntが閾値ＴｈSよりも大きくない場合、処理は、図１２のＳ２２９に進む。
（Ｓ２３８）角度推定部１２５は、カウンタＱcntを０に初期化する。Ｓ２３８の処理が完了すると、処理は、図１２のＳ２２９に進む。
以上、複数の短縮平行区間の車線区分線に基づく角度推定の処理フローについて説明した。
［２−５．ハードウェアの例］
次に、図１５を参照しながら、車線逸脱警報装置１００が有する機能のうち、制御装置１０２の機能を実現することが可能なハードウェアの例について説明する。図１５は、第２実施形態に係る制御装置が有する機能を実現することが可能なハードウェアの一例を示した図である。なお、スマートフォンやカーナビゲーションシステムなどは、図１５に例示したハードウェアを有する情報処理装置の一例である。
制御装置１０２の機能は、例えば、図１５に示す情報処理装置のハードウェア資源を用いて実現することが可能である。つまり、制御装置１０２が有する機能は、コンピュータプログラムを用いて図１５に示すハードウェアを制御することにより実現される。
図１５に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。
これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。
出力部９１８としては、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。
ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。
接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタなどが用いられる。
通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。
以上、制御装置１０２の機能を実現することが可能なハードウェアの例について説明した。
以上説明したように、第２実施形態では、カメラで撮像した撮像画像から車線を検出し、検出した車線とカメラとの位置関係を推定し、車両の横方向に関する位置変動を計測し、位置変動が一定時刻安定している平行区間を検出する方法を提案した。さらに、平行区間で撮像された撮像画像を利用して、カメラと車線とが成す角度から、カメラの取付角度を推定する方法を提案した。これらの方法により、車線に対して車両が斜めに直進するシーンを除外し、カメラの取付角度を高精度に推定することが可能になる。
また、複数の短い平行区間で撮像された撮像画像を利用してカメラの取付角度を推定することで、長く連続する安定した平行区間を確保できないシーンでもカメラの取付角度を高精度に推定することが可能になる。また、車両と車線中心との距離変位を基準に平行区間を検出しているため、車線幅の変動に対してロバストである。さらに、車両の走行スピードに依存せず、ロバストに推定結果を得ることができる。
以上、第２実施形態について説明した。
以上、添付図面を参照しながら好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。
１０ 情報処理装置
１１ 記憶部
１２ 演算部
２０ カメラ
Ｃ 車両
Ｌ１、Ｌ２、Ｌ３ 車線区分線
ＬＬ、ＬＲ 車線
Ｒ１、Ｒ２ 区間
Ｅ 距離

Claims (9)

  1. 車両に設置されたカメラにより撮像された撮像画像が格納される記憶部と、
    車線を区切る車線区分線を前記撮像画像から検出し、前記車両が前記車線区分線に対して平行な向きに走行している区間で撮像された前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を推定する演算部とを有し、
    前記演算部は、補助線がある区間における前記車線区分線の検出結果を破棄する、
    情報処理装置。
  2. 前記演算部は、前記撮像画像に基づいて前記車両が走行している車線の中心から前記車両までの距離を計算し、前記距離の変化が設定した閾値よりも小さい場合に前記車両が前記車線区分線に対して平行な向きに走行していると判定する、
    請求項１に記載の情報処理装置。
  3. 前記演算部は、複数の前記区間のそれぞれについて前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を決めるパラメータを計算し、複数の前記パラメータの統計値に基づいて前記カメラの光軸方向を推定する、
    請求項１又は２に記載の情報処理装置。
  4. 前記演算部は、前記撮像画像から検出された前記車線区分線の種類、本数、曲率、及び、前記車両の両側にある２本の前記車線区分線の平行度合いの少なくとも１つが、設定された条件を満たさない場合、当該車線区分線の検出結果を破棄する、
    請求項１〜３のいずれか１項に記載の情報処理装置。
  5. 前記演算部は、前記撮像画像に含まれる前記車線区分線に基づいて前記車両が前記車線を逸脱しそうか否かを判定する、
    請求項１〜４のいずれか１項に記載の情報処理装置。
  6. コンピュータが、
    車両に設置されたカメラにより撮像された撮像画像が格納される記憶部から、前記撮像画像を取得し、
    車線を区切る車線区分線を前記撮像画像から検出し、補助線がある区間における前記車線区分線の検出結果を破棄し、前記車両が前記車線区分線に対して平行な向きに走行している区間で撮像された前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を推定する、
    カメラ取付角度の推定方法。
  7. コンピュータに、
    車両に設置されたカメラにより撮像された撮像画像が格納される記憶部から、前記撮像画像を取得し、
    車線を区切る車線区分線を前記撮像画像から検出し、補助線がある区間における前記車線区分線の検出結果を破棄し、前記車両が前記車線区分線に対して平行な向きに走行している区間で撮像された前記撮像画像に含まれる前記車線区分線を基準に前記カメラの光軸方向を推定する
    処理を実行させる、プログラム。
  8. 前記演算部は、片側の車線区分線が未検出の区間における前記車線区分線の検出結果を破棄する、
    請求項１に記載の情報処理装置。
  9. 前記演算部は、連続線以外の線種で表示される補助線がある区間における前記車線区分線の検出結果を破棄する、
    請求項１に記載の情報処理装置。
JP2013248826A 2013-12-02 2013-12-02 情報処理装置、カメラ取付角度の推定方法、及びプログラム Expired - Fee Related JP6260233B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013248826A JP6260233B2 (ja) 2013-12-02 2013-12-02 情報処理装置、カメラ取付角度の推定方法、及びプログラム
EP14192436.5A EP2879117B1 (en) 2013-12-02 2014-11-10 Information processing apparatus, camera mounting angle estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013248826A JP6260233B2 (ja) 2013-12-02 2013-12-02 情報処理装置、カメラ取付角度の推定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015106323A JP2015106323A (ja) 2015-06-08
JP6260233B2 true JP6260233B2 (ja) 2018-01-17

Family

ID=51868871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013248826A Expired - Fee Related JP6260233B2 (ja) 2013-12-02 2013-12-02 情報処理装置、カメラ取付角度の推定方法、及びプログラム

Country Status (2)

Country Link
EP (1) EP2879117B1 (ja)
JP (1) JP6260233B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131062A1 (ja) 2017-01-10 2018-07-19 三菱電機株式会社 走行路認識装置及び走行路認識方法
EP3570262A4 (en) * 2017-01-10 2019-12-18 Mitsubishi Electric Corporation VEHICLE DETECTION DEVICE AND METHOD DETECTION METHOD
JP7419469B1 (ja) 2022-09-26 2024-01-22 株式会社デンソーテン 情報処理装置、情報処理方法およびプログラム
WO2024202034A1 (ja) * 2023-03-31 2024-10-03 本田技研工業株式会社 ドライブレコーダ及びその制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424334B2 (ja) * 1994-06-21 2003-07-07 日産自動車株式会社 走行路検出装置
JP2001171544A (ja) 1999-12-20 2001-06-26 Nissan Motor Co Ltd 車載カメラの光軸ずれ検出装置
JP3841142B2 (ja) * 2000-02-16 2006-11-01 三菱自動車工業株式会社 車両用撮像装置
KR100941271B1 (ko) * 2007-03-30 2010-02-11 현대자동차주식회사 자동차용 차선이탈 방지 방법
JP5359516B2 (ja) * 2008-07-29 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
JP4876147B2 (ja) * 2009-06-30 2012-02-15 クラリオン株式会社 車線判定装置及びナビゲーションシステム
JP5424111B2 (ja) * 2009-12-07 2014-02-26 トヨタ自動車株式会社 車線逸脱防止支援装置
KR101276871B1 (ko) * 2009-12-14 2013-06-18 안동대학교 산학협력단 차량 충돌 방지 장치 및 방법
JP5350297B2 (ja) * 2010-03-17 2013-11-27 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
JP5747482B2 (ja) * 2010-03-26 2015-07-15 日産自動車株式会社 車両用環境認識装置
DE102011001903A1 (de) * 2011-04-08 2012-10-11 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betrieb eines bildgestützten Fahrerassistenzsystems in einem Fahrzeug
JP2013183311A (ja) * 2012-03-02 2013-09-12 Isuzu Motors Ltd 車載カメラの姿勢角推定装置及び検出システム

Also Published As

Publication number Publication date
EP2879117A1 (en) 2015-06-03
EP2879117B1 (en) 2016-11-16
JP2015106323A (ja) 2015-06-08

Similar Documents

Publication Publication Date Title
KR101526816B1 (ko) 차선 추정 시스템 및 그 방법
JP4962581B2 (ja) 区画線検出装置
US10943131B2 (en) Image based lane marking classification
JP6260233B2 (ja) 情報処理装置、カメラ取付角度の推定方法、及びプログラム
CN110298307B (zh) 一种基于深度学习的异常停车实时检测方法
US9031773B2 (en) Apparatus and method for detecting narrow road in front of vehicle
JP2019124683A (ja) オブジェクト速度推定方法と装置及び画像処理機器
JP2006268199A (ja) 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
CN111932901A (zh) 道路车辆跟踪检测设备、方法及存储介质
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
KR102635090B1 (ko) 자동차의 카메라 피치를 캘리브레이션하는 방법 및 장치, 그리고, 이를 위한 소멸점 추정 모델을 컨티뉴얼 러닝시키는 방법
JP6658868B2 (ja) 走路検出方法及び走路検出装置
WO2021093335A1 (en) Method for automatically labeling lane changing intention based on high-noise trajectory data of vehicle
JP5590774B2 (ja) 物体検出装置
CN107480592B (zh) 一种多车道检测方法及跟踪方法
CN107672591B (zh) 用于确定车道的控制系统和控制方法
KR101628547B1 (ko) 주행 차선 확인 장치 및 방법
JP6115429B2 (ja) 自車位置認識装置
US20200193184A1 (en) Image processing device and image processing method
JP2018073275A (ja) 画像認識装置
JP2009169618A (ja) 路側境界面検出装置
KR20150055345A (ko) 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
JP4462533B2 (ja) 路面走行レーン検出装置
JP2012137362A (ja) 走行道路推定装置、方法およびプログラム
KR101266623B1 (ko) 차량간 거리 추정방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R150 Certificate of patent or registration of utility model

Ref document number: 6260233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees