WO2018016507A1

WO2018016507A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2018016507A1
Application number: PCT/JP2017/026015
Authority: WO
Inventors: 鈴木　輝彦
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2016-07-21
Filing date: 2017-07-19
Publication date: 2018-01-25
Anticipated expiration: 2019-01-21
Also published as: JP2018013955A; JP6855695B2

Abstract

画像処理装置１において、検出部１００は、車両の進行方向前方の画像から、車両の左側に位置する第１車線区画線と、車両の右側に位置する第２車線区画線とを検出する。座標特定部１０１は、画像における第１車線区画線上の異なる複数の点の位置座標と、第２車線区画線上の異なる複数の点の位置座標とを特定する。曲率算出部１０５は、複数の位置座標に基づいて、車線の中央における車線の曲率を算出する。座標特定部１０１は、第１車線区画線と第２車線区画線とのいずれか一方の車線区画線が検出され、かつ他方の車線区画線の一部が未検出の場合、検出された方の車線区画線と過去に算出した車線の幅とに基づいて、未検出部分の点の位置座標を推定して特定する。

Description

画像処理装置及び画像処理方法

　本開示は、画像処理装置及び画像処理方法に関し、特に、車両が走行する車線の曲率を検出する技術に関する。

　従来、車両が特定の車線内を走行することを補助する車線維持支援技術が提案されている。この技術は、カメラによる撮像画像に基づいて車線を認識し、車両が当該車線を逸脱するか否かを判定することが行われる。このような技術の中には、左右いずれか一方にのみ車線区画線が検出された場合、車両が走行する車線の曲率に基づいて車線維持支援を行う技術も提案されている。

日本国特開２０１１－１１８８２８号公報

　車両の車線維持支援技術は車両の走行時の安全性を高める技術である。車両が走行している車線の曲率を検出する技術は車線維持支援技術に利用される技術であるため、車両の走行時の安全性をより高めるためにも、算出した車線の曲率の精度が高く維持されていることが望まれている。

　そこで、本開示はこれらの点に鑑みてなされたものであり、車両が走行する車線の曲率を算出する場合にその精度を高く維持する技術を提供することを目的とする。

　本開示の第１の態様は、画像処理装置である。この装置は、車両の進行方向前方の画像から、前記車両の左側に位置する第１車線区画線と、車両の右側に位置する第２車線区画線とを検出する検出部と、前記画像における前記第１車線区画線上の異なる複数の点の位置座標と、前記第２車線区画線上の異なる複数の点の位置座標とを特定する座標特定部と、前記複数の位置座標に基づいて、車線の中央における前記車線の曲率を算出する曲率算出部と、を備える。前記座標特定部は、前記第１車線区画線と前記第２車線区画線とのいずれか一方の車線区画線が検出され、かつ他方の車線区画線の一部が未検出の場合、検出された方の車線区画線と過去に算出した前記車線の幅とに基づいて、未検出部分の点の位置座標を推定して特定する。

　前記座標特定部は、前記未検出部分の車線区画線の両端において車線区画線が検出されている場合に、前記未検出部分の車線区画線の位置座標を推定してもよい。

　前記位置座標に基づいて、複数の箇所における車線の幅を算出する車線幅算出部と、前記複数の箇所における前記車線の幅の履歴を、前記画像における位置情報とともに記憶する記憶部と、前記複数の箇所における前記車線の幅それぞれの移動平均を算出する平均幅算出部と、をさらに備えてもよく、前記座標特定部は、前記未検出部分の点の位置座標に対応する前記幅の移動平均に基づいて、前記未検出部分の点の位置座標を推定してもよい。

　前記第１車線区画線上の異なる複数の点の位置座標に基づく前記第１車線区画線の近似曲線と、前記第２車線区画線上の異なる複数の点の位置座標に基づく前記第２車線区画線の近似曲線と、を算出する近似曲線算出部をさらに備えてもよく、前記曲率算出部は、前記第１車線区画線と前記第２車線区画線とのそれぞれの近似曲線に基づいて車線の中央を通る線を特定し、当該線の曲率を算出してもよい。

　本開示の第２の態様は、プロセッサが実行する画像処理方法である。この方法は、車両の進行方向前方の画像から、前記車両の左側に位置する第１車線区画線と、車両の右側に位置する第２車線区画線とを検出するステップと、前記画像における前記第１車線区画線上の異なる複数の点の位置座標と、前記第２車線区画線上の異なる複数の点の位置座標とを特定するステップと、前記複数の位置座標に基づいて、車線の中央における前記車線の曲率を算出するステップと、を含む。前記位置座標を特定するステップにおいて、前記第１車線区画線と前記第２車線区画線とのいずれか一方の車線区画線が検出され、かつ他方の車線区画線の一部が未検出の場合、検出された方の車線区画線と過去に算出した前記車線の幅とに基づいて、未検出部分の点の位置座標を推定して特定する。

　本開示によれば、車両が走行する車線の曲率を算出する場合にその精度を高く維持することができる。

車線区画線を説明するための図である。実施の形態に係る画像処理装置の機能構成を模式的に示す図である。実施の形態に係る画像処理装置による車線の画像処理を説明するための図である。実施の形態に係る近似曲線算出部による近似曲線の算出処理を説明するための図である。実施の形態に係る画像処理装置が実行する画像処理の流れを説明するためのフローチャートである。

＜実施の形態の概要＞
　図１を参照して、実施の形態の概要を述べる。
　図１は、車線区画線Ｌを説明するための図である。より具体的には、図１（ａ）は、車線を走行中の車両Ｖを上方から見た場合の図を示し、図１（ｂ）は、車両Ｖが搭載する撮像装置Ｉが撮像した画像を示す図である。

　本開示の実施の形態に係る画像処理装置は車両Ｖの進行方向前方を撮像する撮像装置Ｉが撮像した画像を取得し、当該画像に撮像されている車線区画線Ｌを検出する。画像処理装置が検出した車線区画線Ｌは、画像処理装置を搭載する車両Ｖの車線維持支援に利用される。なお、画像処理装置は、公知のＣＰＵ、ＲＯＭ、やＲＡＭなどのメモリ、入力ポート、出力ポート等を備えて構成されている。メモリにはプログラムが記憶されており、ＣＰＵがこのプログラムを実行することで画像処理装置は各種画像処理を実行するようにしてもよい。

　ここで「車線区画線Ｌ」とは、車両Ｖが走行する車線を区分けするために道路上に引かれた線であり、白色の実線、白色の破線、黄色の実線等の種類が存在するが、本明細書ではこれらを含めて車線区画線Ｌと記載する。以下説明の便宜上、車両Ｖの進行方向に対して車両Ｖの左側に位置する車線区画線を第１車線区画線Ｌｌ、車両Ｖの右側に位置する車線区画線を第２車線区画線Ｌｒ、両者を特に区別する必要がない場合には両者を合わせて車線区画線Ｌと記載する。

　図１（ａ）－（ｂ）において、一点鎖線は撮像装置Ｉの画角Ａを示す。図１（ａ）－（ｂ）に示す第２車線区画線Ｌｒのように車線区画線Ｌが破線の場合には、撮像装置Ｉの画角Ａ内において車線区画線Ｌの一部が検出されないことも起こりうる。同様のことは、車線区画線Ｌが本来実線であったとしても路面の摩耗とともにかすれたような場合であっても起こりうる。

　そこで実施の形態に係る画像処理装置は、第１車線区画線Ｌｌと第２車線区画線Ｌｒとのいずれか一方の車線区画線Ｌが検出され、かつ他方の車線区画線Ｌの一部が未検出の場合、検出された方の車線区画線Ｌと過去に算出した車線の幅とに基づいて、未検出部分の車線区画線Ｌを推定する。なお、実施の形態に係る画像処理装置は、車線区画線Ｌの一部が未検出の場合にその未検出部分を推定するものであり、いずれか一方の車線区画線Ｌが全部未検出の場合には推定を実施しない。

　車線区画線Ｌは車両Ｖの車線維持支援に利用されるため車線区画線Ｌの推定精度は高いことが好ましい。反対に、車線区画線Ｌの推定精度が低くなりうる場合には推定した車線区画線Ｌが車線維持に利用されるのは好ましくないと考えられる。
　ここで一般に、車線区画線Ｌの一部のみが未検出の場合は検出できた部分の情報を推定に利用できるため、未検出部分の車線区画線Ｌの推定精度を高めることができる。実施の形態に係る画像処理装置は車線区画線Ｌの一部が未検出の場合にその未検出部分を推定するため、車線区画線Ｌの推定精度を高く維持することができる。

　図２は、実施の形態に係る画像処理装置１の機能構成を模式的に示す図である。画像処理装置１は、制御部１０及び記憶部１１を備える。制御部１０は、図示しないＣＰＵ（Central Processing Unit）やメモリ等を含む計算リソースであり、プログラムを実行することによって検出部１００、座標特定部１０１、車線幅算出部１０２、平均幅算出部１０３、近似曲線算出部１０４、曲率算出部１０５、及び補助力制御部１０６の機能を実現する。

　検出部１００は、撮像装置Ｉが撮像した車両Ｖの進行方向前方の画像を取得して、当該画像から車両Ｖの左側に位置する第１車線区画線Ｌｌと、車両Ｖの右側に位置する車線区画線Ｌｒとを検出する。検出部１００による車線区画線Ｌの検出は、例えばエッジ抽出やハフ変換等の既知の画像処理技術を用いて実現できる。また撮像装置Ｉは、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

　座標特定部１０１は、撮像装置Ｉが撮像した画像における第１車線区画線Ｌｌ上の異なる複数の点の位置座標と、第２車線区画線Ｌｒ上の異なる複数の点の位置座標とを特定する。

　図３（ａ）－（ｂ）は、実施の形態に係る画像処理装置１による車線の画像処理を説明するための図である。より具体的には、図３（ａ）は第１車線区画線Ｌｌと第２車線区画線Ｌｒとがともに実線である場合の例を示している。一方図３（ｂ）は、第１車線区画線Ｌｌは実線であるが第２車線区画線Ｌｒが破線であり、第２車線区画線Ｌｒにおいて第２車線区画線Ｌｒの一部が撮像されていない場合の例を示している。

　以下説明の便宜上、撮像装置Ｉが撮像した画像において、車両Ｖの進行方向を向く向きをＹ軸、Ｙ軸と垂直な向きをＸ軸と記載する。

　図３（ａ）－（ｂ）に示すように、座標特定部１０１は、撮像装置Ｉが撮像した画像をＹ軸方向に等分し、各Ｙ座標における車線区画線ＬのＸ座標を特定する。図３は、座標特定部１０１が画像をＹ軸方向に８等分した場合の例を示している。例えば図３（ａ）－（ｂ）において、Ｙ座標がＹ１となる第１車線区画線ＬｌのＸ座標はＸ１ｌであり、Ｙ座標がＹ１となる第２車線区画線ＬｒのＸ座標はＸ１ｒである。

　車線幅算出部１０２は、座標特定部１０１が特定した車線区画線Ｌの各点における位置座標に基づいて、画像中の複数の箇所における車線の幅を算出する。例えば車線幅算出部１０２は、Ｙ座標がＹ１となる部分の画像中の車線の幅Ｗ１を、Ｗ１＝｜Ｘ１ｒ－Ｘ１ｌ｜として算出する。なお｜ｘ｜は、ｘの絶対値を表す。以下同様に、Ｙ座標がＹ２～Ｙ９となる部分の画像中の車線の幅を、それぞれＷ２～Ｗ９と記載することがある。また、これらを特に区別しない場合には、単に「車線幅Ｗ」と記載することもある。なお、煩雑となることを避けるため、図３（ａ）には車線幅Ｗ２のみを明示している。

　ここで、車両Ｖが走行している場合、車線の広さの変化や検出部１００による座標検出の揺らぎ等の理由によって、車線幅Ｗも揺らぎが生じる。一方、例えば高速道路のように車線幅の変化が比較的小さいと考えられる車線を車両Ｖが走行するような場合には、車線幅Ｗの揺らぎは平均を取ることによって一定の範囲に抑えることができると考えられる。

　そこで平均幅算出部１０３は、車線幅算出部１０２が算出した複数の箇所における車線幅Ｗの履歴を取得して、画像における位置情報とともに記憶部１１に記憶させる。平均幅算出部１０３はさらに、複数の箇所における車線幅Ｗそれぞれの移動平均を算出し、記憶部１１に記憶させる。これにより、平均幅算出部１０３は、車線幅算出部１０２が推定した車線幅Ｗの推定精度を向上することができる。

　図３（ｂ）に示すように、第２車線区画線Ｌｒにおいて第２車線区画線Ｌｒの一部が撮像されていない場合、座標特定部１０１は、検出されている第１車線区画線Ｌｌと車線幅算出部１０２が過去に算出した車線幅Ｗとに基づいて、未検出部分の点の位置座標を推定して特定する。

　いま、Ｙ座標がそれぞれＹ２、Ｙ３、Ｙ４、Ｙ５、及びＹ６に対応する第１車線区画線Ｌｌ上の点をそれぞれ点Ｐｌ２、点Ｐｌ３、点Ｐｌ４、点Ｐｌ５、及び点Ｐｌ６とする。同様に、Ｙ座標がそれぞれＹ２、Ｙ３、Ｙ４、Ｙ５、及びＹ６に対応する第２車線区画線Ｌｒ上の点をそれぞれ点Ｐｒ２、点Ｐｒ３、点Ｐｒ４、点Ｐｒ５、及び点Ｐｒ６とする。

　座標特定部１０１は、第２車線区画線Ｌｒにおける未検出部分のＹ座標を特定し、特定したＹ座標と同じＹ座標を持つ第１車線区画線Ｌｌ上の点を特定する。図３（ｂ）に示す例では、Ｙ座標がそれぞれＹ２、Ｙ３、Ｙ４、Ｙ５、及びＹ６に対応する第２車線区画線Ｌｒ上の点を含む領域において、第２車線区画線Ｌｒが検出されていない。そこで座標特定部１０１は、第２車線区画線Ｌｒ上の点Ｐｒ２、点Ｐｒ３、点Ｐｒ４、点Ｐｒ５、及び点Ｐｒ６のそれぞれとＹ座標が等しい第１車線区画線Ｌｌ上の点である点Ｐｌ２、点Ｐｌ３、点Ｐｌ４、点Ｐｌ５、及び点Ｐｌ６を検出する。

　続いて座標特定部１０１は、Ｙ座標がそれぞれＹ２、Ｙ３、Ｙ４、Ｙ５、及びＹ６となる部分の車線幅Ｗである車線幅Ｗ２、車線幅Ｗ３、車線幅Ｗ４、車線幅Ｗ５、及び車線幅Ｗ６の移動平均を、平均幅算出部１０３から取得する。座標特定部１０１は最後に、点Ｐｌ２、点Ｐｌ３、点Ｐｌ４、点Ｐｌ５、及び点Ｐｌ６からそれぞれＸ軸方向に車線幅Ｗ２、車線幅Ｗ３、車線幅Ｗ４、車線幅Ｗ５、及び車線幅Ｗ６だけ離れた点Ｐｒ２、点Ｐｒ３、点Ｐｒ４、点Ｐｒ５、及び点Ｐｒ６を、未検出部分における第２車線区画線Ｌｒ上の点として推定する。

　このように、座標特定部１０１は、車線区画線Ｌの未検出部分の点の位置座標に対応する車線幅Ｗの移動平均に基づいて、未検出部分の点の位置座標を推定する。これにより、位置座標の推定精度を高めることができる。

　近似曲線算出部１０４は、第１車線区画線Ｌｌ上の異なる複数の点の位置座標に基づいて第１車線区画線Ｌｌの近似曲線を算出する。近似曲線算出部１０４はまた、第２車線区画線Ｌｒ上の異なる複数の点の位置座標に基づいて第２車線区画線Ｌｒの近似曲線を算出する。

　より具体的には、近似曲線算出部１０４は、例えば車線区画線Ｌの各点のＸ座標をＹ座標の多項式と仮定し、既知の最小二乗法を用いることによってその多項式の係数を算出することで近似式を得る。多項式の次数は車両Ｖの使用態様として想定される車線の曲率等を考慮して定めればよいが、近似曲線算出部１０４は、例えば２次の多項式として近似曲線を算出する。

　図４（ａ）―（ｃ）は、実施の形態に係る近似曲線算出部１０４による近似曲線の算出処理を説明するための図である。図４（ａ）において符号Ｅｒで示す破線は、近似曲線算出部１０４が算出した近似曲線によって補間された推定第２車線区画線Ｌｒである。

　曲率算出部１０５は、車線の中央における車線の曲率を算出する。より具体的には、曲率算出部１０５は、近似曲線算出部１０４が特定した第１車線区画線Ｌｌの近似曲線及び第２車線区画線Ｌｒの近似曲線に基づいて、これらの近似曲線の中央を通る中央線Ｃを特定する。図４（ａ）に示す例では、符号Ｃで示す二点鎖線が中央線Ｃである。なお、曲率算出部１０５が特定する中央線Ｃは、路面上に実際に描かれている線ではなく、仮想の線である。曲率算出部１０５は、算出した中央線Ｃに基づいて車線の中央における車線の曲率を算出する。

　いま、第１車線区画線Ｌｌ上の点のＸ座標をＸｌ、Ｙ座標をＹｌとし、第２車線区画線Ｌｒ上の点のＸ座標をＸｒ、Ｙ座標をＹｒとする。近似曲線算出部１０４が２次の多項式として車線区画線Ｌの近似曲線を算出した場合、第１車線区画線Ｌｌの近似曲線の式は、Ｘｌ＝ａ_１Ｙｌ^２＋ｂ_１Ｙｌ＋ｃ_１として表される。同様に、第２車線区画線Ｌｒの近似曲線の式は、Ｘｒ＝ａ_２Ｙｒ^２＋ｂ_２Ｙｒ＋ｃ_２として表される。ここで、ａ_１、ｂ_１、ｃ_１、ａ_２、ｂ_２、及びｃ_２は最小二乗法で得られる最小二乗誤差解として得られる２次多項式の係数である。

　中央線Ｃ上の点のＸ座標をＸｃ、Ｙ座標をＹｃとすると、中央線Ｃは以下の式で表される。Ｘｃ＝（ａ_１＋ａ_２）Ｙｃ^２／２＋（ｂ_１＋ｂ_２）Ｙｃ／２＋（ｃ_１＋ｃ_２）／２
　　＝ＡＹｃ^２＋ＢＹｃ＋Ｃ
　ここでＡ＝（ａ_１＋ａ_２）／２、Ｂ＝（ｂ_１＋ｂ_２）／２、Ｃ＝（ｃ_１＋ｃ_２）／２である。この式を用いることにより、曲率算出部１０５は中央線Ｃの任意のＹ座標における曲率を算出することができる。

　図４（ａ）は、第２車線区画線Ｌｒの未検出部分の両端において車線区画線が検出されている場合の例を示している。これに対し、図４（ｂ）及び図４（ｃ）に示す例は、第２車線区画線Ｌｒの未検出部分の一方の端部においては検出された第２車線区画線Ｌｒと接続しているが、他方の端部は未検出のままである。

　図４（ａ）に示す例のように、未検出部分の両端が既知である場合にその未検出部分を推定する問題は補間（又は内挿）と呼ばれる。また図４（ｂ）及び図４（ｃ）に示す例のように検出部分の外側部分を推定する問題は補外（又は外挿）と呼ばれる。一般に、補外は補間よりも推定精度が落ちる傾向にある。特に、常識的な車線を仮定できるような場合には、未検出部分の車線区画線Ｌの前後が検出されている場合、検出部分がなめらかに接続されるような曲線を引くことによって未検出部分の車線区画線Ｌを精度よく推定できる。

　しかしながら、例えば車両Ｖの進行方向前方の車線区画線Ｌは推定が難しい。幅員減少、右折レーンの出現等の種々の状況によって車線区画線Ｌは変化しうるからである。このため、常識的な車線を仮定したとしても、補外による車線区画線Ｌの推定は補間による車線区画線Ｌの推定よりも推定精度が落ちる傾向にある。

　そこで座標特定部１０１は、未検出部分の車線区画線Ｌの両端において車線区画線Ｌが検出されている場合に、未検出部分の車線区画線Ｌの位置座標を推定するようにしてもよい。この結果、近似曲線算出部１０４による車線区画線Ｌの近似曲線の推定は補間となるため、近似曲線の推定精度を高く維持することができる。

　補助力制御部１０６は、曲率算出部１０５が算出した中央線Ｃの曲率に基づいて、車両Ｖの車線維持制御を実行する。具体的には、補助力制御部１０６は車両Ｖのステアリングの操舵角を測定する操舵角センサ（不図示）の出力を取得し、車両Ｖが中央線Ｃに沿って走行しやすいようなトルクを補助力としてステアリングにかける。これにより、補助力制御部１０６は、車両Ｖの運転者が車線を逸脱せずにカーブを曲がることを補助することができる。

＜画像処理装置１が実行する画像処理の処理フロー＞
　図５は、実施の形態に係る画像処理装置１が実行する画像処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は，例えば画像処理装置１を搭載する車両Ｖのエンジンが始動したときに開始する。

　検出部１００は、撮像装置Ｉが撮像した画像から車両Ｖが走行する車線の車線区画線Ｌを検出する（Ｓ２）。検出部１００が検出した車線区画線Ｌに未検出の部分がない場合（Ｓ４のＮＯ）、すなわち検出部１００が第１車線区画線Ｌｌと第２車線区画線Ｌｒとの両方の車線区画線Ｌを連続した線として検出した場合、座標特定部１０１は、車線区画線Ｌ上の異なる複数の点の位置座標を特定する（Ｓ６）。

　検出部１００が検出した車線区画線Ｌに未検出の部分がある場合（Ｓ４のＹＥＳ）、座標特定部１０１は車線幅算出部１０２が過去に算出した画像中の各地点における車線幅Ｗに基づいて未検出部分の車線区画線Ｌの点の位置座標を推定する（Ｓ８）。

　近似曲線算出部１０４は、座標特定部１０１が特定又は推定した車線区画線Ｌの各点の位置座標に基づいて、車線区画線Ｌを近似する近似曲線を算出する（Ｓ１０）。曲率算出部１０５は、近似曲線算出部１０４が算出した車線区画線Ｌの近似曲線に基づいて、車両Ｖが走行する車線の中央部に相当する中央線Ｃの近似曲線を算出する（Ｓ１２）。曲率算出部１０５はさらに、中央線Ｃの近似曲線に基づいて中央線Ｃの曲率を算出する（Ｓ１４）。

　検出部１００が検出した車線区画線Ｌに未検出の部分がない場合（Ｓ１６のＮＯ）、車線幅算出部１０２は、座標特定部１０１が特定した車線区画線Ｌの各点における位置座標に基づいて、画像中の複数の箇所における車線幅Ｗを算出する（Ｓ１８）。平均幅算出部１０３は、車線幅算出部１０２が算出した車線幅Ｗに基づいて、車線幅Ｗの移動平均を算出する（Ｓ２０）。車線幅算出部１０２は、算出した車線幅Ｗの移動平均を記憶部１１に格納する（Ｓ２２）。

　車線幅算出部１０２が算出した車線幅Ｗの移動平均を記憶部１１に格納するか、あるいは検出部１００が検出した車線区画線Ｌに未検出の部分がある場合（Ｓ１６のＹＥＳ）、本フローチャートにおける処理は終了する。画像処理装置１は、撮像装置Ｉが撮像した画像の各フレーム、又は数フレーム毎に上記処理を繰り返すことにより、車両Ｖの走行中に中央線Ｃの曲率算出処理を継続する。

　以上説明したように、実施の形態に係る画像処理装置１によれば車両が走行する車線の曲率を算出する場合にその精度を高く維持することができる。
　特に、座標特定部１０１は、未検出部分の車線区画線Ｌの両端において車線区画線Ｌが検出されている場合は未検出部分の車線区画線の位置座標を推定するが、そうでない場合には位置座標の推定を実行しない。これにより、座標特定部１０１は、実際に位置座標を推定する場合の推定精度を高く維持することができる。

　以上、本開示を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

＜変形例＞
　上記では、座標特定部１０１は、未検出部分の車線区画線Ｌの両端において車線区画線Ｌが検出されているときは未検出部分の車線区画線Ｌの位置座標を推定する場合について説明した。座標特定部１０１はさらに、未検出部分の車線区画線Ｌの長さが所定の長さ以下であることを、車線区画線Ｌの位置座標を推定することの条件に加えてもよい。一般に未検出部分の車線区画線Ｌが短いほど、車線区画線Ｌの位置座標の推定精度が高まる。これにより、座標特定部１０１が、実際に位置座標を推定する場合の推定精度をさらに高めることができる。

　座標特定部１０１が未検出部分の車線区画線Ｌの位置座標を推定するか否かを決定するための条件となる「所定の長さ」は、車両Ｖが走行すると想定される車線状況や撮像装置Ｉの解像度等を考慮して定めればよいが、一例としては、高速道路に存在する破線の区画線の間隔としてもよい。

　本出願は、2016年7月21日付で出願された日本国特許出願（特願2016-143000）に基づくものであり、その内容はここに参照として取り込まれる。

　本開示の技術によれば、車両が走行する車線の曲率を算出する場合にその精度を高く維持することができる点で有用である。

１　画像処理装置
１０　制御部
１１　記憶部
１００　検出部
１０１　座標特定部
１０２　車線幅算出部
１０３　平均幅算出部
１０４　近似曲線算出部
１０５　曲率算出部
１０６　補助力制御部
Ｉ　撮像装置
Ｖ　車両

Claims

　車両の進行方向前方の画像から、前記車両の左側に位置する第１車線区画線と、車両の右側に位置する第２車線区画線とを検出する検出部と、
　前記画像における前記第１車線区画線上の異なる複数の点の位置座標と、前記第２車線区画線上の異なる複数の点の位置座標とを特定する座標特定部と、
　前記複数の位置座標に基づいて、車線の中央における前記車線の曲率を算出する曲率算出部と、を備え、
　前記座標特定部は、前記第１車線区画線と前記第２車線区画線とのいずれか一方の車線区画線が検出され、かつ他方の車線区画線の一部が未検出の場合、検出された方の車線区画線と過去に算出した前記車線の幅とに基づいて、未検出部分の点の位置座標を推定して特定する、
　画像処理装置。
　前記座標特定部は、前記未検出部分の車線区画線の両端において車線区画線が検出されている場合に、前記未検出部分の車線区画線の位置座標を推定する、
　請求項１に記載の画像処理装置。
　前記位置座標に基づいて、複数の箇所における車線の幅を算出する車線幅算出部と、
　前記複数の箇所における前記車線の幅の履歴を、前記画像における位置情報とともに記憶する記憶部と、
　前記複数の箇所における前記車線の幅それぞれの移動平均を算出する平均幅算出部と、をさらに備え、
　前記座標特定部は、前記未検出部分の点の位置座標に対応する前記幅の移動平均に基づいて、前記未検出部分の点の位置座標を推定する、
　請求項１又は２に記載の画像処理装置。
　前記第１車線区画線上の異なる複数の点の位置座標に基づく前記第１車線区画線の近似曲線と、前記第２車線区画線上の異なる複数の点の位置座標に基づく前記第２車線区画線の近似曲線と、を算出する近似曲線算出部をさらに備え、
　前記曲率算出部は、前記第１車線区画線と前記第２車線区画線とのそれぞれの近似曲線に基づいて車線の中央を通る線を特定し、当該線の曲率を算出する、
　請求項１から３のいずれか一項に記載の画像処理装置。
　プロセッサが実行する画像処理方法であって、
　車両の進行方向前方の画像から、前記車両の左側に位置する第１車線区画線と、車両の右側に位置する第２車線区画線とを検出するステップと、
　前記画像における前記第１車線区画線上の異なる複数の点の位置座標と、前記第２車線区画線上の異なる複数の点の位置座標とを特定するステップと、
　前記複数の位置座標に基づいて、車線の中央における前記車線の曲率を算出するステップと、を含み、
　前記位置座標を特定するステップにおいて、前記第１車線区画線と前記第２車線区画線とのいずれか一方の車線区画線が検出され、かつ他方の車線区画線の一部が未検出の場合、検出された方の車線区画線と過去に算出した前記車線の幅とに基づいて、未検出部分の点の位置座標を推定して特定する、
　画像処理方法。