JP6977887B2 - レーン推定装置、方法およびプログラム - Google Patents

Description

この発明は、例えば、道路上に形成された、車両や人が走行または歩行するレーンを推定するための装置、方法およびプログラムに関する。

近年、例えば、自動車の走行制御や運転サポートに関する技術の開発が活発に行われている。道路において、車両がどのレーン（車線）を走行しているか正確に認識することは車両の走行を安全に制御する上できわめて重要である。従来では、車両に搭載したカメラにより撮影された路面の映像を用いて、画像処理によりレーンを区切る区画線を検出することにより、車両のレーンを推定する技術が報告されている（例えば特許文献１を参照）。

日本国特開２００５−１５７７３１号公報

ところが、特許文献１に記載された路面の区画線をもとにレーンを推定する技術では、正規の区画線以外に工事等による補修跡が存在する場合や、経年劣化により区画線が薄くなったり、消えてしまっている場合には、レーンを正確に推定することができないという問題がある。

この発明は上記事情に着目してなされたもので、一側面では、区画線に頼ることなく移動中のレーンを正確に推定できるようにする技術を提供しようとするものである。

上記目的を達成するためにこの発明の第１の態様は、道路上において移動体が移動中のレーンを推定するための装置、方法またはプログラムにおいて、移動体が道路領域を含む範囲を撮像して得られた画像データを取得し、前記取得された画像データから前記道路領域を表す形状を認識して、当該認識された形状をもとに前記道路領域の特徴量を算出し、前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定するようにしたものである。

この発明の第１の態様によれば、例えば車両の進行方向を撮像して得られた画像データから道路領域を表す形状が認識され、この形状をもとに上記道路領域の特徴量が算出されて、この特徴量をもとに移動体が移動中のレーンが推定される。すなわち、移動体から見たときの道路領域を表す形状の特徴に着目してレーンが推定される。このため、道路上のレーンを区分する区画線に頼ることなく移動中のレーンを推定することが可能となり、これにより例えば工事等により区画線の補修跡が残存する場合や、経年劣化により区画線が薄くなったり消えてしまっている場合でも、レーンを推定することが可能となる。

この発明の第２の態様は、第１の態様において、道路領域の特徴量として、上記認識された道路領域を表す形状をもとにその輪郭線の傾き角を算出し、この算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、移動体が移動中のレーンを推定するようにしたものである。

この発明の第２の態様によれば、例えば移動体から見たときの道路領域の路肩等を示す輪郭線の傾き角が、移動体が移動中のレーンの位置により異なることに着目して、移動体がいずれのレーンを移動しているかを推定することができる。一般に道路の輪郭はどの道路においても画像データから認識可能であるため、区画線を認識できない道路においてもレーンを確実に推定可能となる。

この発明の第３の態様は、上記第１の態様において、道路領域の特徴量として、道路領域を表す形状をもとに、当該形状を表す図形の重心座標と、上記形状を表す図形または当該図形から導かれる仮想図形の１つの頂点の角度と、上記形状を表す図形の面積のうちの少なくとも１つを算出し、上記算出された図形の重心座標、１つの頂点の角度、および図形の面積がレーンごとに設定された閾値の範囲に含まれるか否かを判定することにより、移動体が移動中のレーンを推定するようにしたものである。

この発明の第３の態様によれば、道路領域を表す図形の重心座標と、当該図形または当該図形から導かれる仮想的な図形の１つの頂点の角度と、上記図形の面積の少なくとも１つが道路領域の特徴量として算出され、その算出結果をもとにレーンが推定される。従って、この場合も道路領域を表す形状から求められる特徴量に基づいてレーンが推定されるため、区画線を検出できない道路においてもレーンを確実に推定可能となる。

この発明の第４の態様は、上記第１の態様において、道路領域の特徴量として、道路領域を表す形状を前記画像データにより表される画面の垂直方向を一辺とする三角形に変換した図形の二辺間の角度、および上記三角形の図形の面積のうちの少なくとも１つを算出し、当該算出された二辺の角度または図形の面積が、レーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、移動体が移動中のレーンを推定するようにしたものである。

この発明の第４の態様によれば、道路領域を表す形状を前記画像データにより表される画面の垂直方向を一辺とする三角形に変換し、この三角形の二辺間の角度または面積を道路領域の特徴量としてレーンが推定される。従って、この場合も道路領域を表す形状から求められる特徴量に基づいてレーンが推定されるため、区画線を検出できない道路においてもレーンを確実に推定可能となる。

この発明の第５の態様は、第１の態様において、画像データから、道路上に存在する物体を含む道路領域を表す第１の形状と、上記道路領域のうち上記物体を除いた領域を表す第２の形状をそれぞれ認識し、当該認識された第１の形状および第２の形状をもとに前記道路領域の輪郭線を推定してその傾き角を算出する。そして、この算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、移動体が移動中のレーンを推定するようにしたものである。

この発明の第５の態様によれば、道路領域上に他の走行車両等の物体が存在する場合に、画像データから上記物体を含む道路領域全体を表す第１の形状と、上記道路領域のうち上記物体を除いた領域を表す第２の形状がそれぞれ認識され、上記認識された第１および第２の各形状をもとに上記物体が存在しないと仮定したときの道路領域の輪郭線が推定される。そして、この推定された輪郭線の傾き角をもとに、移動体が移動中のレーンが推定される。このため、例えば路肩側のレーンを走行中の他の車両により路肩や走行レーンの左端部が隠れている場合でも、当該路肩や走行レーンの左端部の輪郭線を推定して、その推定結果をもとにレーンを推定することが可能となる。

この発明の第６の態様は、上記第１の態様において、道路領域の特徴量として、上記道路領域を表す形状をもとに道路領域内の各画素にラベリングした画素値データを取得し、取得された画素値データが、上記道路領域に対して予め設定された複数のパターンのうちのいずれに類似するかを判定することにより、移動体が移動中のレーンを推定するようにしたものである。

この発明の第７の態様は、上記第１の態様において、道路領域の特徴量として、上記道路領域を表す形状をもとに道路領域内の各画素にラベリングした画素値データを取得し、取得された画素値データが、上記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、移動体が移動中のレーンを推定するようにしたものである。

この発明の第６または第７の態様によれば、例えば移動体から見たときの道路領域の形状が、当該移動体が移動中のレーンに応じて異なることに着目して、画像データ内の道路領域に対して画素ごとにラベリングした画素値データが、予め設定されたパターンのうちのいずれに類似するかを判定することによって、移動体が移動中のレーンが推定される。このため、画像データ内に道路領域が映っていれば、パターンとの類否を判定することができ、区画線に頼ることなく移動体がいずれのレーンを移動しているかを推定することができる。

この発明の第８の態様は、上記第１の態様において、道路領域の特徴量として、前記道路領域上に存在する物体を含む上記道路領域を表す第１の形状を認識し、前記第１の形状内の各画素にラベリングした画素値データを取得し、取得された画素値データが予め設定されたパターンのうちのいずれに類似するかを判定することにより、移動体が移動中のレーンを推定するようにしたものである。

この発明の第８の態様によれば、道路領域上に物体が存在する場合に、当該物体を含む道路領域を表す第１の形状を認識し、その第１の形状内の各画素にラベリングした画素値データを取得して、予め設定されたパターンのうちのいずれに類似するかを判定することにより、移動体が移動中のレーンが推定される。このため、道路領域上に物体が存在して、画像データから得られる道路領域の形状に基づく情報が十分でないときでも、物体を道路領域の一部とみなすことにより、移動体がいずれのレーンを移動しているかを効率的に推定することができる。

この発明の第９の態様は、過去に得られたレーン推定結果から推定される移動体のレーン変更履歴を表す情報と、移動体の移動位置に対応する道路の構成に関する情報と、移動体の動きの状態から推定される道路領域におけるレーン変更を表す情報との少なくとも１つに基づいて、現在のレーン推定結果を補正するようにしたものである。

この発明の第９の態様によれば、移動体のレーン変更履歴と、移動中の道路の構成に関する情報と、移動体がレーン変更したか否かを表す情報の少なくとも１つに基づいて、現在のレーン推定結果が補正される。従って、例えば、天候や照度等の影響により、鮮明な画像データが得られない場合や画像データから道路領域が正確に認識できない場合でも、現在移動中のレーンの推定結果を補正することが可能となり、これにより正確なレーン推定結果を得ることが可能となる。

すなわちこの発明の各態様によれば、区画線に頼ることなく移動中のレーンを正確に推定できるようにする技術を提供することができる。

図１は、この発明の一実施形態に係るレーン推定装置を備えた車載制御システムの概略構成図である。 図２は、この発明の一実施形態に係るレーン推定装置のハードウェア構成を示すブロック図である。 図３は、この発明の第１の実施形態に係るレーン推定装置のソフトウェア構成を示すブロック図である。 図４は、図３に示したレーン推定処理部の機能構成を示すブロック図である。 図５は、図３に示したレーン推定装置の全体の処理手順と処理内容を示すフローチャートである。 図６は、図５に示した画像処理ルーチンの処理手順と処理内容を示すフローチャートである。 図７は、図５に示したレーン推定処理ルーチンの処理手順と処理内容を示すフローチャートである。 図８は、図５に示したレーン補正処理ルーチンの処理手順と処理内容を示すフローチャートである。 図９は、図７に示したレーン推定処理ルーチンの中の道路領域抽出処理ルーチンの処理手順と処理内容を示すフローチャートである。 図１０は、道路の構成の一例を示す平面図である。 図１１は、車載カメラにより進行方向を撮像したときに得られる道路の画像データの第１の例を示す図である。 図１２は、図１１に示した画像データから道路領域を表す図形を抽出した結果の第２の例を示す図である。 図１３は、図１２に示した図形から輪郭の傾き角を算出して車両の走行レーンを推定する処理の第１の例を説明するための図である。 図１４は、図１２に示した図形から輪郭の傾き角を算出して車両の走行レーンを推定する処理の第２の例を説明するための図である。 図１５は、図１２に示した図形から特定領域の重心を算出して車両の走行レーンを推定する処理の第１の例を説明するための図である。 図１６は、図１２に示した図形から特定領域の重心を算出して車両の走行レーンを推定する処理の第２の例を説明するための図である。 図１７は、図１２に示した図形から三角形の面積または角度を算出して車両の走行レーンを推定する処理の第１の例を説明するための図である。 図１８は、図１２に示した図形から三角形の面積または角度を算出して車両の走行レーンを推定する処理の第２の例を説明するための図である。 図１９は、車両から道路領域の両側部における任意の点を見たときの角度をもとに車両が走行中のレーンを推定する処理の第１の例を説明するための図である。 図２０は、車両から道路領域の両側部における任意の点を見たときの角度をもとに車両が走行中のレーンを推定する処理の第２の例を説明するための図である。 図２１は、他のレーンを車両が走行しているときの道路領域の算出方法の一例を説明するための図である。 図２２は、この発明の第２の実施形態に係るレーン推定装置のソフトウェア構成を示すブロック図である。 図２３は、図２２に示したレーン推定処理部の機能構成を示すブロック図である。 図２４は、図２３に示したレーン推定処理部によるレーン推定処理ルーチンの処理手順と処理内容を示すフローチャートである。 図２５Ａは、車載カメラにより進行方向を撮像したときに得られる道路の画像データの第２の例を示す図である。 図２５Ｂは、図２５Ａに示した画像データから道路領域を表す図形を抽出した結果の第２の例を示す図である。 図２６Ａは、領域パターンの第１の例を示す図である。 図２６Ｂは、図２６Ａに示した領域パターンに対し、走行レーンを区別する仮想線を描いた一例を示す図である。 図２６Ｃは、領域パターンの第２の例を示す図である。 図２６Ｄは、図２６Ｃに示した領域パターンに対し、走行レーンを区別する仮想線を描いた一例を示す図である。 図２７Ａは、領域パターンの第３の例を示す図である。 図２７Ｂは、領域パターンの第４の例を示す図である。 図２７Ｃは、領域パターンの第５の例を示す図である。 図２７Ｄは、領域パターンの第６の例を示す図である。 図２８Ａは、車載カメラにより進行方向を撮像したときに得られる道路の画像データの第３の例を示す図である。 図２８Ｂは、図２８Ａに示した画像データから道路領域および他車両を表す図形を抽出した結果の第３の例を示す図である。 図２９は、画像データからの抽出結果をもとに画素レベルで領域パターンと比較するイメージの一例を示す図である。 図３０は、画像データからの抽出結果をもとに画素レベルで領域パターンと比較するイメージの他の例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
（１）システム
図１は、この発明の一実施形態に係るレーン推定装置を備えた車載システムの概略構成図である。車両６には、レーン推定装置１と、カメラ２と、ＧＰＳ（Global Positioning System）センサ３と、車両センサ４と、自動運転制御装置５が搭載されている。

カメラ２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像デバイスを用いたもので、少なくとも車両６の進行方向における道路領域を撮像範囲に含むように設置場所、向きおよび角度が設定されている。そしてカメラ２は、上記車両６の進行方向における道路領域を含む範囲を撮像して得た画像データをレーン推定装置１へ出力する。

なお、カメラ２は、レーン推定専用に設けられるものであってもよいが、ドライブレコーダのカメラやその他の目的で搭載されているカメラ等、同等の画像データを得ることができるものであれば、どのようなカメラでも利用可能である。例えば、車両が二輪車や自転車の場合にはドライバのヘルメットに設けられたカメラを使用してもよく、また車両の同乗者が所持するスマートフォン等の携帯端末に設けられたカメラを使用してもよい。さらにカメラの種類としては赤外線カメラを用いてもよい。また画像データとしては、動画像データでもよいが、一定の時間間隔で撮像される静止画像データであってもよい。

ＧＰＳセンサ３は、複数のＧＰＳ衛星が送信するＧＰＳ信号をそれぞれ受信して測距演算を行うことで車両６の緯度経度を算出するもので、この算出された緯度経度を車両６の位置データとしてレーン推定装置１へ出力する。なお、ＧＰＳセンサ３の代わりに、ＧＰＳセンサと同等の機能が発揮されるのであれば、地面（道路）をベースとした位置特定システム（Ground Based Positioning System：ＧＢＰＳ）等を使用してもよい。

車両センサ４は、例えば、車両６の自己診断（On-board diagnostics：ＯＢＤ）を行うために、車両６の速度、加速度およびエンジンの回転数等の車両６の動きの状態を表す情報を検出するもので、その検出結果を車両センサデータとしてレーン推定装置１へ出力する。なお、車両センサ４としては、速度、加速度およびエンジンの回転数を検出するセンサ以外に、ステアリングホイールの操舵角等を検出するセンサを含んでいてもよく、さらにはＯＢＤ以外の目的で使用されるセンサを用いてもよい。

自動運転制御装置５は、車外カメラおよびドライバカメラの撮像画像や各種車載センサから出力されるセンサデータに基づいて車両６を全自動で或いは半自動で走行させるための制御を行うもので、レーン推定装置１から出力されるレーン推定結果を表すデータをセンサデータの１つとして利用する。

（２）レーン推定装置
（２−１）ハードウェア構成
レーン推定装置１は、車両６が走行中のレーンを推定するもので、例えばパーソナルコンピュータにより構成される。図２は、レーン推定装置１のハードウェア構成の一例を示すブロック図である。
レーン推定装置１は、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ１０Ａを有し、このハードウェアプロセッサ１０Ａに対し、プログラムメモリ１０Ｂと、データメモリ２０と、入出力インタフェースユニット（以後入出力Ｉ／Ｆ）３０とを、バス４０を介して接続したものとなっている。

入出力Ｉ／Ｆ３０には、カメラ２、ＧＰＳセンサ３、車両センサ４および自動運転制御装置５等の外部機器が接続される。入出力Ｉ／Ｆ３０は、カメラ２、ＧＰＳセンサ３および車両センサ４からデータを受け取るとともに、レーン推定装置１により生成された推定結果を表すデータを自動運転制御装置５へ出力する。入出力Ｉ／Ｆ３０は、有線または無線の通信インタフェースを含むこともできる。

プログラムメモリ１０Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとを組み合わせて使用したもので、実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。

データメモリ２０は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて使用したもので、各種処理を行う過程で取得および作成された各種データを記憶するために用いられる。

（２−２）ソフトウェア構成
図３は、この発明の第１の実施形態に係るレーン推定装置１のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示したブロック図である。

入出力Ｉ／Ｆ３０は、カメラ２、ＧＰＳセンサ３および車両センサ４から出力される各データを受信して、当該各データを制御ユニット１０に供給すると共に、制御ユニット１０から出力されるレーンの推定結果を表すデータを上記自動運転制御装置５へ出力する。また入出力Ｉ／Ｆ３０は、上記レーン推定結果を表示するための表示データを生成し、当該表示データを例えば車両６のカーナビゲーション装置の表示部へ出力して表示させる。

データメモリ２０の記憶領域は、画像データ記憶部２１と、レーン推定データ記憶部２２と、道路情報記憶部２３と、車両センサデータ記憶部２４と、閾値記憶部２５とを備えている。

画像データ記憶部２１は、カメラ２により得られた画像データを記憶するために使用される。レーン推定データ記憶部２２は、後述する制御ユニット１０により得られたレーン推定結果を表すデータを、その推定日時や車両６の位置データ等と関連付けて記憶するために使用される。道路情報記憶部２３には、例えば、緯度経度により表される位置データに対応付けて、当該位置に該当する道路の構成を表す情報が予め記憶されている。道路の構成を表す情報には、例えば、上り下り各方向のレーン数や、歩道、路肩、側帯および中央分離帯の有無とその幅員を表す情報が含まれる。車両センサデータ記憶部２４は、車両センサ４から出力された車両センサデータを、データ種別および検出時刻を表す情報と対応付けて記憶するために使用される。閾値記憶部２５は、レーンごとに予め設定された、様々な特徴量に係る閾値を記憶するために使用される。

制御ユニット１０は、上記ハードウェアプロセッサ１０Ａと、上記プログラムメモリ１０Ｂとから構成され、ソフトウェアによる処理機能部として、画像データ取得部１１と、画像処理部１２と、レーン推定処理部１３と、レーン補正部１４と、過去推定データ取得部１５と、道路情報取得部１６と、車両センサデータ取得部１７と、車両動作状態推定部１８と、推定データ出力制御部１９とを有している。

上記各処理部１１〜１９の機能は、プログラムメモリ１０Ｂに格納されたプログラムをＣＰＵ（ハードウェアプロセッサ）１０Ａに実行させることにより実現される。なお、上記各処理部１１〜１９の処理を実行させるためのプログラムは、レーン推定装置１内のプログラムメモリ１０Ｂに予め記憶しておく以外に、ネットワーク上のアプリケーションサーバ等に記憶されているものを使用してもよい。この場合、レーン推定装置１は必要なときに必要なプログラムをアプリケーションサーバからネットワークを介してダウンロードすることにより、上記各処理部１１〜１９の機能を実行させる。

画像データ取得部１１は、画像取得部として、カメラ２から出力された画像データを入出力Ｉ／Ｆ３０を介して順次取り込み、当該画像データをその撮像タイミングまたは受信タイミングを表す情報と関連付けて画像データ記憶部２１に記憶させる。

画像処理部１２は、上記画像データ記憶部２１から画像データを読み込む。そして、当該画像データが動画像データの場合には所定のフレーム周期で静止画像データを切り出す。また画像処理部１２は、上記静止画像データに対し、レーン推定の前処理として、例えばノイズ除去およびカメラ２の性能個体差や設置時の傾き等を補正するキャリブレーション処理を行う。

レーン推定処理部１３は、上記画像処理部１２から上記前処理後の画像データを受け取り、当該画像データに基づいて車両６が走行中のレーンを推定する処理を行うもので、その機能として、例えば図４に示すように道路領域抽出部１３１と、特徴量算出部１３２と、レーン推定部１３３とを備えている。

道路領域抽出部１３１は以下の処理機能を有する。
(1) 上記画像処理部１２から受け取った画像データから道路領域に相当する範囲を抽出する処理。

(2) 道路領域として誤抽出された領域をその面積の大小等の情報を用いて除外し、さらに抽出された道路領域に対し平滑化等の処理を実施して道路領域を表す形状を抽出する処理。

(3) 上記抽出された道路領域に相当する範囲の画像に、道路以外の物体、例えば走行中の他の車両等が含まれる場合に、当該物体を含む領域を表す形状と、上記道路領域のうち上記物体を除いた領域を表す形状をそれぞれ抽出し、抽出された各形状をもとに、上記物体が存在しないと仮定したときの道路領域を表す形状を推定する処理。

特徴量算出部１３２は、上記道路領域抽出部１３１により抽出された道路領域を表す形状をもとに、当該形状の特徴量を算出する処理を行う。なお、特徴量の詳細については後述する。

レーン推定部１３３は、上記特徴量算出部１３２により算出された特徴量を、例えばレーンごとに設定された閾値の範囲に含まれるか否かを判定することにより、車両６がいまどのレーンを走行中であるかを推定する処理を行う。なお、レーンごとの閾値としては、一般的な道路の形状に応じて設定される汎用的な閾値を用いてもよく、また道路の区間ごとにその道路の形状に応じて測定等により事前に設定した値を用いてもよい。

過去推定データ取得部１５は、レーン推定データ記憶部２２から過去のレーン推定データを読み出し、このデータに基づいて車両６が過去に走行したレーンの変更履歴や傾向性を推定して、その推定情報を補正候補の情報の一つとしてレーン補正部１４に与える。

道路情報取得部１６は、ＧＰＳセンサ３により検出された車両６の位置データをもとに、車両６が現在走行中の位置における道路の構成を表す情報を道路情報記憶部２３から取得し、当該道路の構成を表す道路情報を補正候補の情報の一つとしてレーン補正部１４に与える。

車両センサデータ取得部１７は、車両センサ４から出力される車両６の動きの状態を表す車両センサデータを入出力Ｉ／Ｆ３０を介して受け取り、受け取った車両センサデータをその測定タイミングまたは受信タイミングを表す情報と関連付けて車両センサデータ記憶部２４に記憶させる処理を行う。

車両動作状態推定部１８は、上記車両センサデータ記憶部２４から車両センサデータを読み出し、この車両センサデータをもとに車両６がレーン変更を行ったか否かを推定して、その推定情報を補正候補の情報の一つとしてレーン補正部１４に与える。

レーン補正部１４は、上記レーン推定部１３３により得られた、車両６が走行中のレーンの推定結果に対し所定の補正処理を行い、補正後のレーン推定データを現在時刻を表す情報と関連付けてレーン推定データ記憶部２２に記憶させる。上記レーン推定結果の補正処理には以下の３種類の処理が考えられる。

(1) 上記道路情報取得部１６により取得された、車両６が現在走行中の位置における道路の構成を表す道路情報をもとに、上記レーン推定部１３３により得られた車両６の走行中のレーンの推定結果の確からしさを判定し、誤っていると見なすことができる場合に、上記推定結果を補正する処理。

(2) 上記過去推定データ取得部１５により推定された、車両６の過去のレーンの変更履歴または傾向性を表す情報をもとに、上記レーン推定部１３３により得られた、車両６の走行中のレーンの推定結果の確からしさを判定し、誤っていると見なすことができる場合に、上記推定結果を補正する処理。

(3) 上記車両動作状態推定部１８により推定された、車両６の動きの変化を表す情報と、上記過去推定データ取得部１５により推定された、車両６の過去のレーンの変更履歴を表す情報とに基づいて、上記レーン推定部１３３により得られた、車両６の走行中のレーンの推定結果の確からしさを判定し、誤っていると見なすことができる場合に、上記推定結果を補正する処理。

推定データ出力制御部１９は、上記レーン推定データ記憶部２２から最新のレーン推定データを読み出して、入出力Ｉ／Ｆ３０から自動運転制御装置５へ出力する処理を行う。また推定データ出力制御部１９は、上記最新のレーン推定データを例えば地図データ上に表示するための表示データを生成し、当該表示データを例えばカーナビゲーション装置の表示部へ出力する処理を行う。なお、推定データ出力制御部１９は、最新のレーン推定データを出力する以外に、過去の任意のタイミングに対応するレーン推定データを読み出して出力するようにしてもよい。

（動作）
次に、以上のように構成された第１の実施形態に係るレーン推定装置１によるレーン推定動作を説明する。
図５は、制御ユニット１０によるレーン推定処理の全体の処理手順を示すフローチャートである。

（１）画像データの取得と画像処理
車両６の走行中において、その進行方向の道路領域を含む景色がカメラ２により撮像され、その画像データがカメラ２からレーン推定装置１へ出力される。レーン推定装置１の制御ユニット１０は、画像データ取得部１１の制御の下、ステップＳ１により上記カメラ２から出力される画像データを入力Ｉ／Ｆ３０を介して取り込み、撮像日時を表す情報と関連付けた状態で画像データ記憶部２１に順次記憶させる。

また制御ユニット１０は、上記画像データの取得処理と並行して、画像処理部１２の制御の下、ステップＳ２により上記取得された画像データに対しレーン推定のために必要な画像処理を実行する。

図６は、上記画像処理部１２による処理手順と処理内容を示すフローチャートである。すなわち、画像処理部１２は、先ず上記画像データ記憶部２１から画像データを読み込む。そして、画像データが動画像データであるか否かをステップＳ２１で判定し、動画像データであれば、ステップＳ２２により当該動画像データから一定のフレーム周期で静止画像データを切り出す。続いて画像処理部１２は、ステップＳ２３において、上記静止画像データに対しレーン推定のための前処理を行う。ここでは、例えばノイズ除去およびカメラ２の性能個体差や設置時の傾き等を補正するキャリブレーション処理が行われる。なお、この画像処理はハードウェアからなる画像処理回路により行われるようにしてもよい。
図１１は上記画像処理後の静止画像データＶＤの第１の例を示すものである。

（２）走行レーンの推定
次に、レーン推定装置１の制御ユニット１０は、レーン推定処理部１３の制御の下、ステップＳ３において、車両６が走行中のレーンを推定する処理を以下のように実行する。
図７は、レーン推定処理部１３の処理手順と処理内容を示すフローチャートである。

（２−１）道路領域の抽出
レーン推定処理部１３は、先ず道路領域抽出部１３１により、上記前処理が終了した画像データから道路領域を抽出する処理を行う（ステップＳ３１）。

いま、片側二車線の道路を例にとると、道路は例えば図１０に示すように、中央分離帯ＭＳを境界にして上り方向および下り方向にそれぞれ車道を構成する走行レーンＴＬ１，ＴＬ２を配置し、走行レーンＴＬ１の外側に路肩ＳＲおよびコンクリートブロックからなる縁石ＳＢを隔てるか、或いは植え込みＳＨを隔てて、歩道ＷＬを配置したものとなっている。

このような道路に対し、道路領域抽出部１３１は、道路領域として例えば走行レーンＴＬ１，ＴＬ２および路肩ＳＲを含む領域を抽出する。なお、道路領域としては、走行レーンＴＬ１，ＴＬ２のみを抽出してもよい。

道路領域の抽出処理手段としては、一例としてSegNetが用いられる。SegNetは、画素単位でのラベリング機能を実現するための深層エンコーダ／デコーダアーキテクチャであり、例えば画像に含まれる各部位を区別して異なる複数の表示形態（例えば色）でラベリングする。本実施形態においては、道路領域、道路上に存在する物体の領域（一例として車両領域）、それ以外の領域の３種でラベリングするものとする。

続いて道路領域抽出部１３１は、道路領域として誤抽出された領域が存在する場合を考慮し、領域の面積の大小等の情報を用いて、誤検出された領域を除外する処理を行い、さらに抽出された道路領域に対し平滑化等の処理を実施して道路領域を表す形状を抽出する。なお、抽出された道路領域の形状の輪郭線が小刻みな凹凸を有している場合には、例えば上記輪郭線を直線近似するようにしてもよい。

図１２に、上記道路領域抽出処理により抽出された片側二車線の道路の道路領域を表す形状を、もとの画像に重ねて表示した一例を示す。この例では上下各方向の走行レーンＴＬ１，ＴＬ２と、左側の路肩ＳＲまでを含む領域ＲＥを示す形状（図中網掛け部分）が抽出された場合を示している。この場合、路肩ＳＲには縁石ＳＢが含まれるようにしてもよい。

一方、画像データには路肩側の走行レーンＴＬ１を走行中の他の車両が映っていることがあり、この場合上記他の走行車両により走行レーンＴＬ１の側端部または路肩ＳＲの側端部が隠れ、道路領域の真の側端部を抽出できない場合がある。そこで、道路領域抽出部１３１は以下のようにして真の道路領域を抽出している。

図９は、この場合の道路領域抽出部１３１の処理手順と処理内容を示すフローチャートである。
すなわち、道路領域抽出部１３１は、ステップＳ５１において、上記SegNetを用いて抽出された道路領域の画像をもとに、道路領域と他の走行車両の外形とを含む全体の領域を表す形状を抽出する。またそれと共にステップＳ５２において、上記道路領域のうち上記走行車両を除いた領域を表す形状を抽出する。なお、上記ステップＳ５１，Ｓ５２における、それぞれの領域を表す形状を抽出する処理では、誤抽出された領域をその面積の大小等の情報を用いて除外する処理と、抽出された道路領域に対し平滑化等を行って輪郭を抽出する処理が行われる。そして道路領域抽出部１３１は、ステップＳ５３において、上記ステップＳ５１，Ｓ５２により抽出された各形状をもとに、上記他の走行車両が存在しないと仮定したときの道路領域の真の形状を推定する。

（２−２）特徴量の算出および特徴量に基づくレーン推定
次にレーン推定処理部１３は、特徴量算出部１３２の制御の下、ステップＳ３２において、上記抽出された道路領域を表す形状からその特徴量を算出する。そしてレーン推定処理部１３は、レーン推定部１３３の制御の下、ステップＳ３３において、上記算出された特徴量に基づいて車両６がいま路肩側の走行レーンＴＬ１を走行中であるか、或いは中央分離帯側の走行レーンＴＬ２を走行中であるかを推定する。

レーン推定に使用する特徴量には複数の形態が考えられる。以下、これら複数の特徴量の各々を用いた場合のレーン推定処理の一例を説明する。

（２−２−１）道路領域の左側端辺の傾き角を特徴量としてレーンを推定する場合
特徴量算出部１３２は、例えば図１３に示すような画像が得られている場合には、上記道路領域抽出部１３１により抽出された道路領域ＲＥを示す形状の左側端辺、つまり走行レーンＴＬ１の左側端部または路肩ＳＲの左側端部に対し、近似線ＯＬ１を描く。画像データが構成する画面の左下角部をｘ−ｙ座標平面の基準座標(0,0)と定義するとき、上記近似線ＯＬ１は、
ｙ＝ａ₁ ｘ＋ｂ₁として表される。ここで、ａ₁ は傾き、ｂ₁ は点Ｐ１に対する切片を示す。

同様に特徴量算出部１３２は、例えば図１４に示すような画像が得られている場合には、上記道路領域抽出部１３１により抽出された道路領域ＲＥを示す形状の左側端辺に対し近似線ＯＬ２を描く。この場合も、画像データが構成する画面の左下角をｘ−ｙ座標平面の基準座標(0,0)と定義すると、上記近似線ＯＬ２は、
ｙ＝ａ₂ ｘ＋ｂ₂ （但し、ｙはｘがＰ２以下のとき０）として表される。

かくして、特徴量算出部１３２により、特徴量として、道路領域ＲＥを表す形状の左側輪郭線、つまり走行レーンＴＬ１の左端部または路肩ＳＲの左端部の傾き角ａ₁，ａ₂ が算出される。

続いてレーン推定部１３３は、ステップＳ３３において、データメモリ２０の閾値記憶部２５から、レーンごとに予め設定された傾き角の閾値を読み出す。そして、上記特徴量算出部１３２により算出された近似線ＯＬ１，ＯＬ２の傾き角を、上記レーンごとに設定された各閾値とそれぞれ比較し、その比較結果をもとに車両６がいま走行中のレーンが路肩側の走行レーンＴＬ１であるかまたは中央分離帯側の走行レーンＴＬ２であるかを判定する。

例えば、いま算出された特徴量が近似線ＯＬ１の傾き角ａ₁ であれば、図１３に例示したように、当該傾き角ａ₁ は走行レーンＴＬ２に対応する閾値の範囲に含まれるので、車両６が走行中のレーンは中央分離帯側の走行レーンＴＬ２であると判定する。これに対し、算出された特徴量が近似線ＯＬ２の傾き角ａ₂ であれば、図１４に例示したようにこの傾き角ａ₂ は走行レーンＴＬ１に対応する閾値の範囲に含まれるので、車両６が走行中のレーンは路肩側の走行レーンＴＬ１であると判定する。

（２−２−２）道路領域の形状の重心を特徴量としてレーンを推定する場合
特徴量算出部１３２は、道路領域抽出部１３１により抽出された道路領域を示す形状から、片側の各レーンに相当する領域を表す形状を切り出し、この切り出した形状の任意の部位に特徴量算出用の図形を定義する。そして、この図形の重心の座標を特徴量として算出する。

例えば、図１５に示すように片側の各レーンに相当する領域ＲＥを示す形状において、座標点Ｐ１１〜Ｐ１４で囲まれた部位を特徴量算出用の図形ＲＥ１０として定義する。そして、この図形ＲＥ１０の重心を示す座標Ｗ１を算出する。同様に、図１６に示すように片側のレーンに相当する領域ＲＥを示す形状において、座標点Ｐ１１〜Ｐ１４で囲まれた部位を特徴量算出用の図形ＲＥ２０として定義し、この図形ＲＥ２０の重心を示す座標Ｗ２を算出する。

続いてレーン推定部１３３は、データメモリ２０の閾値記憶部２５から、画像データを左右に分割する中心線ＣＬを示す座標値を読み出す。そして、上記特徴量算出部１３２により算出された図形ＲＥ２０の重心を示す座標が、上記中心線ＣＬの座標値に対しｘ軸方向の図中左側と右側のいずれの側に位置するかを判定することで、車両６が走行中のレーンが路肩側の走行レーンＴＬ１であるか中央分離帯側の走行レーンＴＬ２であるかを判定する。

例えば、レーン推定部１３３は、図１５に示すように特徴量が図形ＲＥ１０の重心座標Ｗ１だった場合には、当該重心座標Ｗ１は中心線ＣＬの座標値に対しｘ軸方向の図中左側に位置するため、車両６が走行中のレーンは中央分離帯側の走行レーンＴＬ２であると判定する。これに対し、図１６に示すように特徴量が図形ＲＥ２０の重心座標Ｗ２だった場合には、当該重心座標Ｗ２は中心線ＣＬの座標値に対しｘ軸方向の図中右側に位置するため、車両６が走行中のレーンは路肩側の走行レーンＴＬ１であると判定する。

（２−２−３）道路領域の形状を画像データのｙ軸方向を一辺する三角形で近似し、当該三角形の角度または面積を特徴量としてレーンを推定する場合
特徴量算出部１３２は、道路領域抽出部１３１により抽出された道路領域ＲＥを示す形状のうち、画像データが構成する画面のｘ軸方向の中心線ＣＬに対し左側の領域に含まれる形状を抽出する。そして、この抽出された形状を、上記中心線ＣＬを一辺とする直角三角形により近似し、当該直角三角形の面積または一つの頂点における角度を特徴量として算出する。

例えば図１７に示す例では、道路領域ＲＥを示す形状のうち、画像データが構成する画面の左半分の領域ＶＤ_L に含まれる形状（輪郭ＲＥ_L ）を抽出し、この形状を中心線ＣＬを一辺とする直角三角形ＴＡ１により近似して、当該直角三角形ＴＡ１の面積または頂点Ｐ３における内角の角度θ₅ を特徴量として算出する。

同様に、図１８に示す例では、画像データが構成する画面の左半分の領域ＶＤ_L に含まれる形状を抽出し、この形状を中心線ＣＬを一辺とする直角三角形ＴＡ２により近似して、当該直角三角形ＴＡ２の面積または頂点Ｐ４における角度θ₆ を特徴量として算出する。なお、内角の角度を算出する以外に、頂点の外角の角度や内角＋９０°の角度を算出するようにしてもよい。

続いてレーン推定部１３３は、データメモリ２０の閾値記憶部２５から、レーンごとに予め設定された直角三角形の面積の閾値または角度の閾値を読み出す。そして、上記特徴量算出部１３２により算出された直角三角形の面積または角度を、予め設定された面積または角度の閾値とそれぞれ比較し、その比較結果をもとに車両６がいま走行中のレーンが路肩側の走行レーンＴＬ１であるかまたは中央分離帯側の走行レーンＴＬ２であるかを判定する。

例えば、図１７に示した例では、直角三角形ＴＡ１の頂点Ｐ３の角度θ₅ が角度閾値より大きくなるため、これにより車両６が走行中のレーンは中央分離帯側の走行レーンＴＬ２であると判定する。これに対し、図１８に示した例では、直角三角形ＴＡ２の頂点Ｐ４の角度θ₆ が角度閾値以下なるため、これにより車両６が走行中のレーンは路肩側の走行レーンＴＬ１であると判定する。

また、直角三角形の頂点の角度θ₅ ，θ₆ の代わりに、直角三角形ＴＡ１，ＴＡ２の面積を閾値と比較することでレーンＴＬ１，ＴＬ２を判定することも可能である。直角三角形ＴＡ１，ＴＡ２の面積は、例えば直角三角形ＴＡ１，ＴＡ２の輪郭で囲まれた領域の画素数を計数することにより求めることができる。

（２−２−４）画像データが構成する画面上に引かれた２本の平行な水平線と道路領域の輪郭線との交点と、画面の下辺中央点との角度θを特徴量としてレーンを推定する場合
特徴量算出部１３２は、道路領域抽出部１３１により抽出された道路領域を表す形状の左右両端辺と、画像データが構成する画面に設定された２本の平行な水平線との交点を算出する。そして、画像データの下辺中央点Ｐc と上記各交点とを直線で結んだときの画像データの下辺に対する角度を算出し、この算出された角度を特徴量とする。

例えば、図１９に示した例では、道路領域ＲＥを表す形状の左右両端辺と、画像データが構成する画面に設定された２本の平行な水平線Ｈ１，Ｈ２との交点Ｐ５１，Ｐ５２およびＰ５３，Ｐ５４を検出する。そして、画像データが構成する画面の下辺中央点Ｐc と上記各交点Ｐ５１，Ｐ５２およびＰ５３，Ｐ５４とをそれぞれ直線で結んだときの、画面の下辺に対する上記各直線の角度θ₁ ，θ₂ およびθ₃ ，θ₄ を算出し、この算出された角度θ₁ ，θ₂ の差および角度θ₃ ，θ₄ の差を特徴量とする。図２０に示した例においても、同様に画像データが構成する画面の下辺中央点Ｐc と各交点Ｐ５１，Ｐ５２およびＰ５３，Ｐ５４とを結ぶ各直線の角度θ₁ ，θ₂ の差および角度θ₃ ，θ₄ の差を特徴量として算出する。

続いてレーン推定部１３３は、データメモリ２０の閾値記憶部２５から、レーンごとに予め設定された左辺用および右辺用の角度差閾値を読み出す。そして、上記特徴量算出部１３２により算出された角度θ₁ ，θ₂ の差および角度θ₃ ，θ₄ の差を、上記レーンごとに設定された左辺用および右辺用の角度差閾値とそれぞれ比較し、その比較結果をもとに車両６がいま走行中のレーンが路肩側の走行レーンＴＬ１であるかまたは中央分離帯側の走行レーンＴＬ２であるかを判定する。

例えば、図１９に示した例では、角度θ₁ ，θ₂ の差が左辺用の閾値より大きく、かつ角度θ₃ ，θ₄ の差が右辺用の閾値以下であれば、車両６が走行中のレーンは中央分離帯側の走行レーンＴＬ２であると判定する。同様に、図２０に示した例では、角度θ₁ ，θ₂ の差が左辺用の閾値以下で、かつ角度θ₃ ，θ₄ の差が右辺用の閾値より大きければ、車両６が走行中のレーンは路肩側の走行レーンＴＬ１であると判定する。

（２−２−５）走行レーンに他の走行車両が存在するときに抽出された道路領域を表す形状をもとに走行中のレーンを推定する場合
道路領域抽出部１３１では、先に述べたように、ステップＳ５１において道路領域と他の走行車両とを含む全体の領域を表す形状が抽出され、ステップＳ５２において上記道路領域のうち上記他の走行車両を除いた領域を表す形状が抽出される。そして、ステップＳ５３において、上記抽出された各形状をもとに、他の走行車両が存在しないと仮定したときの道路領域を表す形状が推定される。

特徴量算出部１３２は、上記ステップＳ５３により推定された道路領域を表す形状をもとにその左側端辺に近似線を描き、この近似線の傾き角を特徴量として算出する。

例えば、図２１に示す例では、特徴量算出部１３２は、ステップＳ５１において抽出された、他の走行車両の画像ＭＢを含む全体の領域を表す形状をもとに、その左側端辺に近似線ＯＬ２を描く。この近似線ＯＬ２は、
ｙ＝ａ₂ ｘ＋ｂ₂として表される。またそれと共に特徴量算出部１３２は、ステップＳ５２において抽出された、道路領域のうち上記走行車両を除いた領域を表す形状をもとに、その左側端辺に近似線ＯＬ１を描く。この近似線ＯＬ１は、
ｙ＝ａ₁ ｘ＋ｂ₁として表される。

そして特徴量算出部１３２は、上記各近似線ＯＬ１，ＯＬ２をもとに、これらの近似線ＯＬ１，ＯＬ２の間を取る第３の近似線ＯＬ３を算出し、この第３の近似線ＯＬ３を他の走行車両の画像ＭＢが存在しないと仮定したときの道路領域の左側端辺の輪郭線とする。このとき第３の近似線ＯＬ３は、
ｙ＝｛（ａ₁ ＋ａ₂ ）／Ａ｝ｘ＋（ｂ₁ ＋ｂ₂ ）／Ｂにより表される。ここで、Ａ，Ｂは係数であり、他の走行車両がレーンの中央から左右方向にどれだけずれて走行しているか、他走行車両の車高は何mか等のパラメータをもとに決定される。これらの係数Ａ，Ｂを適宜設定することで、近似線ＯＬ３の位置を実際の道路領域の左側端辺の位置に近づけることができる。

レーン推定部１３３は、上記算出された近似線ＯＬ３の傾き角｛（ａ₁ ＋ａ₂ ）／Ａ｝を、予めレーンごとに設定されている閾値と比較する。そして、その比較結果をもとに車両６がいま走行中のレーンが路肩側の走行レーンＴＬ１であるかまたは中央分離帯側の走行レーンＴＬ２であるかを判定する。

例えば、図２１に示した例では、傾き角｛（ａ₁ ＋ａ₂ ）／Ａ｝が走行レーンＴＬ２に対応する閾値の範囲に含まれているので、車両６が走行中のレーンは中央分離帯側の走行レーンＴＬ２であると判定する。これに対し、傾き角｛（ａ₁ ＋ａ₂ ）／Ａ｝が走行レーンＴＬ１に対応する閾値の範囲に含まれていれば、車両６が走行中のレーンは路肩側の走行レーンＴＬ１であると判定する。

（３）レーン推定結果の補正
次にレーン推定装置１の制御ユニット１０は、レーン補正部１４の制御の下、図５に示すステップＳ４において、上記レーン推定処理部１３により推定されたレーンの確からしさ（妥当性）を判定し、妥当ではないと判定した場合にはレーンの推定結果を補正する処理を実行する。
図８は、上記レーン補正部１４の処理手順と処理内容を示すフローチャートである。

（３−１）道路の構成を表す情報に基づく補正
レーン補正部１４は、先ずステップＳ４１において、車両６の走行位置に対応する道路の構成を表す情報をもとに、上記レーン推定結果を補正する。例えば、道路情報取得部１６では、ＧＰＳセンサ３により測定された車両６の現在位置データをもとに、車両６が現在走行中の位置に対応する道路の構成を表す情報が道路情報記憶部２３から読み出される。レーン補正部１４は、上記レーン推定処理部１３によるレーン推定結果を上記読み出された道路の構成を表す情報と照合し、上記レーン推定結果が正しいか否かを判定する。

例えば、レーン推定結果が中央分離帯側の「走行レーンＴＬ２」となっており、いま車両６が走行中の道路が片側一車線の道路であれば、上記レーン推定結果は誤りと判定して、レーン推定結果を「走行レーンＴＬ１」に補正する。

（３−２）過去のレーン変更履歴に基づく補正
新たなレーン推定結果が得られると、過去推定データ取得部１５は、レーン推定データ記憶部２２から過去のレーン推定データを読み出し、このデータに基づいて車両６が過去の一定期間に走行したレーンの変更履歴や傾向性を推定する。この推定処理は、例えば過去の一定期間における走行レーンＴＬ１，ＴＬ２ごとの使用回数または頻度を算出するものでもよいが、例えば予めドライバごとに走行時間帯や走行経路、走行位置に基づいてドライバの走行の傾向性を表す学習データを作成しておき、この学習データをもとに現在の走行中のレーンを推定するものであってもよい。

レーン補正部１４は、ステップＳ４２において、上記レーン推定処理部１３により得られた最新のレーン推定結果を、上記過去推定データ取得部１５により推定された、車両６のレーン変更履歴または傾向性を表す情報と比較し、上記最新のレーン推定結果の妥当性を評価する。そして、例えばドライバが日頃走行レーンＴＬ１しか走行しないにもかかわらず、最新のレーン推定結果が中央分離帯側の「走行レーンＴＬ２」であれば、この推定結果は誤りと判断してレーン推定結果を路肩側の「走行レーンＴＬ１」に補正する。

（３−３）車両６の動きの状態と過去のレーン変更履歴とに基づく補正
車両動作状態推定部１８では、車両センサデータ取得部１７により取得された、車両６の速度や加速度、ハンドル操作角度等の車両６の動きを表すセンサデータをもとに、車両６がレーン変更を行ったか否かを推定する。

レーン補正部１４は、ステップＳ４３において、上記レーン推定処理部１３により得られたレーン推定結果と、上記車両動作状態推定部１８により得られたレーン変更の推定結果とを、時間的に対応するもの同士で比較する。そして、上記レーン推定処理部１３により得られたレーン推定結果が、上記車両動作状態推定部１８により得られたレーン変更の推定結果と対応していなければ、上記レーン推定処理部１３により得られたレーン推定結果を、上記車両動作状態推定部１８により得られたレーン変更の推定結果をもとに補正する。

最後にレーン補正部１４は、以上の各補正処理により最終的に補正されたレーン推定結果のデータを、現在時刻を表す情報と関連付けてレーン推定データ記憶部２２に記憶させる。

なお、以上述べたレーン補正処理では、（３−１）、（３−２）、（３−３）による３種類の補正処理を全て実行する場合を例にとって説明したが、上記３種類の補正処理の何れか１つまたは任意に選んだ２つのみを実行するようにしてもよく、また補正の必要がない場合には補正処理を省略してもよい。また、上記３種類の補正処理の実行順序についても、以下に設定してもよい。

（４）レーン推定データの出力
制御ユニット１０は、推定データ出力制御部１９の制御の下、ステップＳ５において、レーン推定結果を出力するための制御を以下のように実行する。
すなわち、推定データ出力制御部１９は、レーン推定データ記憶部２２に最新のレーン推定データが記憶されるごとに、当該レーン推定データ記憶部２２から当該レーン推定データを読み出す。そして、当該レーン推定データを、入出力Ｉ／Ｆ３０から自動運転制御装置５へ出力する。この結果、自動運転制御装置５では、上記レーン推定データを車両６の現在の走行状態を表すデータの一つとして利用して、例えば車両の走行位置を維持または変更するための制御が行われる。

また推定データ出力制御部１９は、上記最新のレーン推定データをもとに、例えば車両６の走行中のレーンの位置を地図データ上に重ねて表示するための表示データを生成し、当該表示データを入出力Ｉ／Ｆ３０から例えばカーナビゲーション装置へ出力する。この結果、カーナビゲーション装置では、上記表示データを表示部に表示させる処理が行われ、これによりカーナビゲーション装置の表示部には、地図上に自車両６の現在走行中のレーンの位置が表示される。

（効果）
以上詳述したように第１の実施形態では、車両６の進行方向を撮像して得られた画像データから道路領域を表す形状を抽出し、当該形状を表す情報をもとに、一つの輪郭線の傾き角、上記道路領域の形状を表す図形の重心座標、上記形状を表す図形の一頂点を挟んで連続する２つの輪郭線間の角度、上記形状を表す図形の面積を、上記道路領域の形状の特徴量として算出する。そして、上記算出された特徴量がレーンごとに予め設定された閾値の範囲に含まれるか否かを判定することにより、車両６が走行中のレーンを推定するようにしている。

従って、第１の実施形態によれば、車両６から進行方向を見たときの道路領域を表す形状の特徴に着目してレーンを推定することができる。このため、道路上のレーンを区分する区画線に頼ることなく走行中のレーンを推定することが可能となり、これにより例えば工事等により区画線の補修跡が残存する場合や、経年劣化により区画線が薄くなったり消えてしまっている場合でも、レーンを推定することが可能となる。

また第１の実施形態では、道路領域上に他の走行車両等の物体が存在する場合に、画像データから上記物体を含む道路領域全体を表す形状と、上記道路領域のうち上記物体を除いた領域を表す形状をそれぞれ抽出し、これらの抽出された各形状をもとに上記物体が存在しないと仮定したときの道路領域の輪郭線を推定する。そして、この推定された輪郭線の傾き角をもとに、車両６が走行中のレーンを推定するようにしている。このため、例えば路肩側のレーンを走行中の他の車両により路肩や走行レーンの左端部が隠れている場合でも、当該路肩や走行レーンの左端部の輪郭線を推定して、その推定結果をもとにレーンを推定することが可能となる。

さらに第１の実施形態では、車両６の走行位置に対応する道路の構成を表す情報、過去のレーン変更履歴、車両６の動きを表すセンサデータをもとに推定した車両６のレーン変更の有無を表す情報に基づいて、レーン推定処理部１３により得られたレーン推定結果の妥当性が評価され、妥当ではないと判定された場合に当該レーン推定結果を補正するようにしている。このため、例えば、天候や照度等の影響により、鮮明な画像データが得られない場合や画像データから道路領域が正確に認識できない場合でも、現在移動中のレーンの推定結果を補正することが可能となり、これにより正確なレーン推定結果を得ることが可能となる。

［第２の実施形態］
この発明の第２の実施形態に係るレーン推定装置、方法およびプログラムは、道路領域の特徴量として道路領域を表す形状をもとに道路領域内の各画素にラベリングした画素値データを用いる。そして、第２の実施形態に係るレーン推定装置、方法およびプログラムは、当該画素値データが道路ごとまたはレーンごとに予め設定された複数のパターンのうちのいずれに類似するかを判定することにより、車両６が移動中のレーンを推定する。

この発明の第２の実施形態に係るレーン推定装置は、第１の実施形態に関して説明したレーン推定装置１と同様の構成を採用することができる。そこで、以下では、第２の実施形態について、第１の実施形態と同様の構成には同じ符号を使用して説明し、第１の実施形態と重複する詳細な説明は省略する。

（構成）
この発明の第２の実施形態に係るレーン推定装置１を備えた車載システムは、図１を参照して説明したのと同じ構成を採用することができる。
また、第２の実施形態に係るレーン推定装置１は、図２を参照して説明したのと同じハードウェア構成を採用することができる。

図２２は、この発明の第２の実施形態に係るレーン推定装置１のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示したブロック図である。

データメモリ２０の記憶領域は、第１の実施形態と同様に、画像データ記憶部２１と、レーン推定データ記憶部２２と、道路情報記憶部２３と、車両センサデータ記憶部２４と、閾値記憶部２５とを備える。第２の実施形態に係るレーン推定装置１では、データメモリ２０の記憶領域はさらに、パターン記憶部２６を備えている。

パターン記憶部２６は、道路ごとまたはレーンごとに予め設定された、画像内に映し出される道路領域の形状に対応するパターン（以下、「領域パターン」と言い、多種多様な領域パターンを総括的に「領域パターンＰＴ」と言う）を記憶するために使用される。領域パターンＰＴは、車両６が各レーンの中央を走行していれば、車両６に設置されたカメラにより撮影される画像内には道路がこのように映し出されるであろうという、理想的な道路領域の形状を表す。

領域パターンＰＴは、例えば、渋滞予測サービスを提供する道路管理サーバ等により、あらかじめ多数の車両から収集した画像データに基づいて作成または設定される。レーン推定装置１は、当該サーバから、例えば図示しない通信部を介してネットワーク経由で、車両６の種別（車種や車高等）に応じた複数の領域パターンＰＴを含むパターンのセットを取得し、パターン記憶部２６に記憶させることができる。ここで、カメラが車両６のどの位置に設置されているかに応じて、当該カメラにより撮影される画像内に映し出される道路の形状は大きく異なる。そこで、レーン推定装置１は、カメラの設置位置に応じて、例えば、車両６の中央であるのか左右いずれかに偏っているのか、車両６の中心線に対する距離、道路を基準としたときの設置高さ、または画像内に映し出される自車両のボンネットの見え方などに応じて、取得した領域パターンＰＴに適宜補正を行ってからパターン記憶部２６に記憶させてもよい。あるいは、レーン推定装置１があらかじめ車載カメラにより撮影した画像を上記サーバに送信し、その画像をもとにサーバによって補正された領域パターンＰＴのセットを受信するようにしてもよい。あるいは、レーン推定装置１自体が、カメラの設置位置に応じた領域パターンＰＴのセットを生成するようにしてもよい。

パターン記憶部２６には、上記車両６の種別に応じたパターンのセットとして、道路の種別（例えば、高速自動車国道、一般国道、都道府県道、市町村道など）や車線数（車両６が何車線の道路のいずれのレーンを走行しているか）等に応じて異なる多数の領域パターンＰＴが記憶される。パターン記憶部２６は、例えば、ＧＰＳセンサ３により検出された車両６の位置データに基づいて必要な領域パターンＰＴを検索できるよう、位置情報に紐づけて各領域パターンＰＴを格納する。

制御ユニット１０は、第１の実施形態と同様に、画像データ取得部１１と、画像処理部１２と、レーン補正部１４と、過去推定データ取得部１５と、道路情報取得部１６と、車両センサデータ取得部１７と、車両動作状態推定部１８と、推定データ出力制御部１９とを有している。第２の実施形態に係る制御ユニット１０は、レーン推定処理部１３の代わりに、レーン推定処理部１３０を有する。

レーン推定処理部１３０は、第１の実施形態に関して説明したレーン推定処理部１３と同様に、画像処理部１２から前処理後の画像データを受け取り、当該画像データに基づいて車両６が走行中のレーンを推定する処理を行うものであるが、レーン推定処理部１３とは、推定処理に使用する特徴量および詳細な機能が異なる。

図２３は、レーン推定処理部１３０の機能の一例を示す。レーン推定処理部１３０は、道路領域抽出部１３１と、パターン取得部１３０１と、類似度判定部１３０２と、レーン推定部１３０３とを備えている。

道路領域抽出部１３１は、以下の処理を行う。
(1) 画像処理部１２から受け取った画像データから、道路領域、および道路上に存在する物体の領域（この実施形態では車両領域）に相当する範囲を抽出する処理。
(2) 道路領域または車両領域として誤抽出された領域をその面積の大小等の情報を用いて除外し、さらに抽出された道路領域および車両領域に対し平滑化等の処理を実施して道路領域および車両領域を表す形状を抽出する処理。

パターン取得部１３０１は、パターン記憶部２６に記憶された領域パターンＰＴを読み出し、類似度判定部１３０２に渡す処理を行う。

類似度判定部１３０２は、特徴量算出部として、道路領域抽出部１３１により抽出された道路領域を表す形状をもとに、道路領域の特徴量として道路領域内の各画素にラベリングした画素値を含む画素値データを取得する処理を行う。類似度判定部１３０２はさらに、取得した画素値データに基づいて、パターン取得部１３０１により取得された領域パターンＰＴとの類似度を判定し、その判定結果をレーン推定部１３０２に渡す。

レーン推定部１３０３は、推定処理部として、上記類似度判定部１３０２による判定結果に基づいて、車両６がいまどのレーンを走行中であるかを推定する処理を行う。

（動作）
次に、以上のように構成された第２の実施形態に係るレーン推定装置１によるレーン推定動作を説明する。
レーン推定動作は、図５を参照して第１の実施形態に関して説明した、制御ユニット１０によるレーン推定処理の全体の処理手順と同じフローチャートに従うことができる。

（１）画像データの取得と画像処理
ステップＳ１において、レーン推定装置１の制御ユニット１０は、第１の実施形態と同様に、画像データ取得部１１の制御の下、画像データの取得処理を実行する。またステップＳ２において、レーン推定装置１の制御ユニット１０は、第１の実施形態と同様に、画像処理部１２の制御の下、上記取得された画像データに対しレーン推定のために必要な画像処理を実行する。画像処理部１２による処理手順と処理内容は、図６に関して説明したのと同じものを採用することができる。

図２５Ａは、上記画像処理後の静止画像データＶＤの第２の例を示す。この例は、例えば図１０に示したような片側２車線の道路を走行中の車両６に搭載されたカメラ２により撮像される。図２５Ａの静止画像データＶＤには、自車両のボンネット部分６と、中央分離帯ＭＳと、中央分離帯ＭＳ上のガードレールＲＬと、走行レーンＴＬ１，ＴＬ２と、路肩ＳＲおよび縁石ＳＢと、さらに前方を走行する他車両ＭＢが映し出されている。

（２）走行レーンの推定
次に、第２の実施形態に係るレーン推定装置１の制御ユニット１０は、レーン推定処理部１３０の制御の下、ステップＳ３において、車両６が走行中のレーンを推定する処理を以下のように実行する。
図２４は、レーン推定処理部１３０の処理手順と処理内容を示すフローチャートである。

（２−１）道路領域の抽出
レーン推定処理部１３０は、先ずステップＳ３０１において、道路領域抽出部１３１により、上記前処理が終了した画像データＶＤから道路領域を抽出する処理を行う。

上記のような片側２車線の道路に対し、道路領域抽出部１３１は、道路領域として例えば走行レーンＴＬ１，ＴＬ２および路肩ＳＲを含む領域を抽出する。なお、第１の実施形態と同様に、道路領域抽出部１３１は、道路領域として、走行レーンＴＬ１，ＴＬ２のみを抽出してもよい。

第１の実施形態と同様に、道路領域の抽出処理手段としては、一例としてSegNetが用いられる。任意で、道路領域抽出部１３１は、第１の実施形態と同様に、道路領域として誤抽出された領域が存在する場合を考慮し、領域の面積の大小等の情報を用いて、誤検出された領域を除外する処理を行い、さらに抽出された道路領域に対し平滑化等の処理を実施して道路領域を表す形状を抽出してもよい。

図２５Ｂは、図２５Ａに示した画像データＶＤに対してSegNetによる抽出処理を行った出力結果の一例を示す。図２５Ｂでは、処理済み画像データＴＶＤ内に、自車両６と同じ走行方向の走行レーンＴＬ１，ＴＬ２と左側の路肩ＳＲまでを含む道路領域ＲＥを示す形状（図中網掛け部分）と、前方を走行する他車両ＭＢを含む領域ＭＢＲを示す形状（図中ドットハッチング部分）とが抽出されている。各領域には、画素単位でのラベリングに対応する色が付与されている。以下では、一例として、道路領域ＲＥが緑色（［Ｒ，Ｇ，Ｂ］＝［０，２５５，０］）でラベリングされ、車両領域ＭＢＲが赤色（［Ｒ，Ｇ，Ｂ］＝［２５５，０，０］）でラベリングされ、それ以外の領域（図では無色）が黒色（［Ｒ，Ｇ，Ｂ］＝［０，０，０］）でラベリングされるものとして説明する。

なお、画像データに他の車両が映っていて、他の車両により道路領域を抽出できない場合、道路領域抽出部１３１は、第１の実施形態に関して説明したのと同様に、図９に示した道路領域抽出処理を行ってもよい。

（２−２）領域パターンの読み出し
次にレーン推定処理部１３０は、パターン取得部１３０１の制御の下、ステップ３０２において、道路の種別ごと、道路ごと、またはレーンごとに予め設定された領域パターンＰＴをパターン記憶部２６から読み出し、類似度判定部１３０２に渡す処理を行う。パターン取得部１３０１は、例えば、ＧＰＳセンサ３により検出された車両６の位置情報をもとに、当該位置情報に対応する１または複数の領域パターンＰＴをパターン記憶部２６から読み出し、類似度判定部１３０２に渡す。

図２６Ａは、パターン記憶部２６から読み出される領域パターンＰＴの一例として、道路ごとに設定された領域パターンＰＴ１を示す。図２６Ａに示した領域パターンＰＴ１は、特に片側２車線の一般国道について設定されたもので、路肩側（左側）のレーンを走行している車両６により取得される画像データに映し出される道路領域に係るパターンを表す。領域パターンＰＴ１は、道路部分ＲＤ（網掛け部分）と、それ以外の部分ＢＫ（無色の部分）とを含む。以下では、一例として、道路部分ＲＤには緑色（［Ｒ，Ｇ，Ｂ］＝［０，２５５，０］）の画素値が付与され、それ以外の部分ＢＫには黒色（［Ｒ，Ｇ，Ｂ］＝［０，０，０］）の画素値が付与されているものとして説明する。

図２６Ｂは、図２６Ａに示した領域パターンＰＴ１に対し、説明のために走行レーンを区別する仮想線ＶＬを描いた図である。道路部分ＲＤは、車両６が走行している走行レーンＴＬ１の領域と、その右側の走行レーンＴＬ２の領域とを含む。

図２６Ｃは、パターン記憶部２６から読み出される領域パターンＰＴの他の例として、道路ごとに設定された領域パターンＰＴ２を示す。図２６Ｃに示した領域パターンＰＴ２は、片側２車線の一般国道について設定されたもので、中央分離帯側（右側）のレーンを走行している車両６により取得される画像データに映し出される道路領域に係るパターンを表す。領域パターンＰＴ２は、道路部分ＲＤ（網掛け部分）と、それ以外の部分ＢＫ（無色の部分）とを含む。

図２６Ｄは、図２６Ｃに示した領域パターンＰＴ２に対し、説明のために走行レーンを区別する仮想線ＶＬを描いた図である。道路部分ＲＤは、車両６が走行している走行レーンＴＬ２の領域と、その左側の走行レーンＴＬ１の領域とを含む。

図２６Ａ〜２６Ｄに示したように、推定処理に用いられる領域パターンＰＴは、車両６がどのレーンを走行しているかに応じて、車両６に搭載されたカメラ２により撮像された画像に映し出される道路領域の形状が異なることを反映するように、予め道路ごとまたはレーンごとに設定されたものである。第２の実施形態に係るレーン推定装置１のレーン推定処理部１３０は、このような領域パターンＰＴの道路部分ＲＤと画像データに映し出される道路領域とを画素レベルで比較することによって、移動中のレーン推定を行う。

パターン取得部１３０１は、ＧＰＳセンサ３により検出された車両６の位置データをもとに、レーン推定に必要な１または複数の領域パターンＰＴをパターン記憶部２６から読み出すように構成される。一例として、パターン取得部１３０１は、ＧＰＳセンサ３により検出された車両６の位置データをもとに、車両６が現在走行中の位置における道路の構成を表す情報を道路情報記憶部２３から取得し、取得した情報に基づいて、必要な１または複数の領域パターンＰＴをパターン記憶部２６から読み出すように構成される。

例えば、パターン取得部１３０１は、現在走行中の道路が片側２車線の一般国道であるとの情報に基づいて、「片側２車線の一般国道」に紐づけられた領域パターンＰＴ１と領域パターンＰＴ２とを読み出すように構成される。現在走行中の道路が片側３車線の高速自動車国道である場合、パターン取得部１３０１は、片側３車線の高速自動車国道に紐づけられた、路肩側のレーンを走行している場合、中央のレーンを走行している場合、および中央分離帯側のレーンを走行している場合に対応する、３通りの領域パターンＰＴを読み出すことができる。これらは一例にすぎず、パターン取得部１３０１がパターン記憶部２６から読み出す領域パターンＰＴの種類および数は、任意に設定されてよい。以下、道路の種別（一般国道、高速道、等）に関する説明は省略する。

なお、「片側」は説明の便宜にすぎず、対向車線を含めた道路領域、車両領域であったとしても、Ｎ車線道路の各車線に対応するＮ個の領域パターンＰＴを読み出すことによってレーンを推定することが可能である。パターン取得部１３０１は、図示しない通信部を通じて上記道路管理サーバ等から直接領域パターンＰＴを取得するようにしてもよい。

また領域パターンＰＴは、車両６により取得された画像データに映し出される道路領域と対比し得るものであれば、どのようなものであってもよい。上述のように、図２６Ｃに示した領域パターンＰＴ２は、片側２車線の道路の中央分離帯側の走行レーンＴＬ２を走行している車両６により取得される画像データに係るもので、走行レーンＴＬ１および走行レーンＴＬ２の両方を含む。しかし、領域パターンＰＴは、道路に含まれるすべての走行レーンを含む必要はない。

図２７Ａ〜２７Ｄは、そのようなレーンごとに設定された領域パターンＰＴの例を示す。
図２７Ａは、自車両６が走行中のレーンに対して１つ左側にレーンが存在する場合に、画像データに映し出される道路領域ＲＥと対比するための領域パターンＰＴ３を示す。領域パターンＰＴ３は、図２６Ｃに示した領域パターンＰＴ２のうち、走行レーンＴＬ１に係る領域のみを切り出した道路部分ＲＤと、それ以外の部分ＢＫとを含む。

例えば、レーン推定処理部１３０は、車両６が片側２車線の道路を走行している場合、処理済み画像データＴＶＤ内の道路領域ＲＥが図２７Ａに示した領域パターンＰＴ３に類似する領域を含むか否かを判定し、類似する領域を含む場合には、中央分離帯側のレーンＴＬ２を走行していると推定することができ、類似する領域を含まない場合には、路肩側のレーンＴＬ１を走行していると推定することができる。

図２７Ｂは、自車両６が走行中のレーンに対して１つ右側にレーンが存在する場合に、画像データに映し出される道路領域ＲＥと対比するための領域パターンＰＴ４を示す。領域パターンＰＴ４は、図２６Ａに示した領域パターンＰＴ１のうち、走行レーンＴＬ２に係る領域のみを切り出した道路部分ＲＤと、それ以外の部分ＢＫとを含む。

図２７Ｃは、片側３車線の道路など、自車両６が走行中のレーンに対して２つ左側にレーンが存在する場合に画像データに映し出される道路領域ＲＥと対比するための領域パターンＰＴ５を示す。領域パターンＰＴ５は、図２６Ｃに示した領域パターンＰＴ２には含まれていない走行レーンに係る道路部分ＲＤを含む。

図２７Ｄは、片側３車線の道路など、自車両６が走行中のレーンに対して２つ右側にレーンが存在する場合に画像データに映し出される道路領域ＲＥと対比するための領域パターンＰＴ６を示す。領域パターンＰＴ６もまた、図２６Ａに示した領域パターンＰＴ１には含まれていない走行レーンに係る道路部分ＲＤを含む。

図２７Ａ〜２７Ｄに示した領域パターンＰＴを用いることによって、対比する面積がより小さいものとなり、レーン推定装置１は、より少ない処理で類似度を判定することができる。なお、図２７Ａ〜２７Ｄに示した領域パターンＰＴは、一例に過ぎない。領域パターンＰＴは、路肩の有無、各車線（レーン）の幅員、中央分離帯の有無、道路の曲率半径等により多様に変化し得る。

パターン取得部１３０１が、図２６Ａ〜２６Ｄに示したような道路全体の領域パターンＰＴを読み出すべきか、図２７Ａ〜２７Ｄに示したようなレーンごとの領域パターンＰＴを読み出すべきかは、レーン推定装置１のユーザ等により任意に設定されてよい。なお、パターン取得部１３０１は、図示しない通信部を通じて上記道路管理サーバ等から直接領域パターンＰＴを取得するようにしてもよい。

（２−３）類似度の判定
次にレーン推定処理部１３０は、類似度判定部１３０２の制御の下、ステップＳ３０３において、画像データＶＤから抽出された道路領域ＲＥと、パターン取得部１３０１により読み出された領域パターンＰＴの道路部分ＲＤとを画素レベルで比較する。レーン推定処理部１３０は、処理済み画像データＴＶＤと領域パターンＰＴに対し、対比可能なように、あらかじめサイズ調整や傾き調整等の前処理を行っているものとする。レーン推定処理部１３０はまた、カメラ２の性能個体差や設置時の傾き等に加え、車両６の車高や画像データＶＤ内のボンネットの見え方などに応じて、あらかじめ必要なキャリブレーションを行っているものとする。

まず類似度判定部１３０２は、処理済み画像データＴＶＤおよび領域パターンＰＴの各々について、各画素位置における画素値を表す画素値データを取得する。上述のように、処理済み画像データＴＶＤは、道路領域抽出部１３１による領域抽出処理によって、各画素位置が異なる色（画素値）でラベリングされている。領域パターンＰＴも同様に、各画素位置に異なるＲＧＢ値が付与されている。

類似度判定部１３０２は、各画素値データから、例えば二次元配列の形で格納された各画素位置におけるＲＧＢ値を読み出し、各画素位置においてＲＧＢ値を対比して、ＲＧＢ値が同一であるか否かを判定する。類似度判定部１３０２は、全画素位置について対比を行ってもよいし、領域パターンＰＴ内の道路部分ＲＤに対応する画素位置についてのみ対比を行ってもよい。対比処理については、さらに後述する。

次いで、レーン推定処理部１３０は、類似度判定部１３０２の制御の下、ステップＳ３０４において、画素ごとの対比結果をもとに、全体の類似度を判定する。一例として、類似度判定部１３０２は、対比した全画素数のうちＲＧＢ値が一致すると判定された画素数の割合を算出することによって、類似度を判定する。

ステップＳ３０５において、レーン推定処理部１３０は、パターン取得部１３０１によりパターン記憶部２６から読み出されたすべての領域パターンＰＴについて、類似度判定部１３０２による類似度判定処理が終了したか否かを判定する。対比していない領域パターンＰＴがある場合（ＮＯの分岐）、対比していない領域パターンＰＴについてステップＳ３０３〜３０４を繰り返す。すべての領域パターンＰＴについて類似度判定処理が終了した場合（ＹＥＳの分岐）、ステップＳ３０６に移行する。

ステップＳ３０６において、レーン推定処理部１３０は、類似度判定部１３０２の制御の下、類似度判定結果をレーン推定部１３０３に渡す。一例では、類似度判定部１３０２は、類似度を判定した複数の領域パターンＰＴのうち最も類似度が高い領域パターンＰＴを選択し、判定された類似度とともにレーン推定部１３０３に渡す。類似度判定部１３０２によって選択される領域パターンＰＴは、１つである必要はなく、一定の基準を満たす複数の領域パターンＰＴが選択されてもよい。例えば、類似度判定部１３０２は、画像データＴＶＤとの類似度が所定の閾値を超えると判定されたすべての領域パターンＰＴを、レーン推定部１３０３に渡すように構成されてもよい。あるいは、類似度判定部１３０２は、パターン取得部１３０１により読み出された領域パターンＰＴが１つだけの場合、類似度が所定の閾値を超えるか否かを判定し、その判定結果とともに当該領域パターンＰＴをレーン推定部１３０３に渡すように構成されてもよい。

（２−４）レーンの推定
ステップＳ３０７において、レーン推定処理部１３０は、レーン推定部１３０３の制御の下、類似度判定部１３０２から受け取った類似度判定結果に基づいて、車両６がいずれのレーンを走行中であるか推定する処理を行う。例えば、ＧＰＳ情報により車両６が片側２車線の道路を走行中であると判定され、パターン取得部１３０１により領域パターンＰＴ１と領域パターンＰＴ２が読み出されて、類似度判定部１３０２により領域パターンＰＴ１の方が類似度が高いと判定された場合、レーン推定部１３０３は、車両６が走行中のレーンは片側２車線の道路の路肩側のレーンＴＬ１であると推定することができる。

あるいは、片側２車線の道路を走行中のときにパターン取得部１３０１が領域パターンＰＴ１だけを読み出すように設定されている場合など、レーン推定部１３０３は、画像データＴＶＤと領域パターンＰＴ１との類似度のみに基づいてレーンを推定することもできる。この場合、レーン推定部１３０３は、類似度判定部１３０２から受け取った領域パターンＰＴ１との類似度が所定の閾値を上回るのであれば、車両６が走行中のレーンは片側２車線の道路の路肩側のレーンＴＬ１であると推定することができ、領域パターンＰＴ１との類似度が所定の閾値以下であれば、車両６が走行中のレーンは片側２車線の道路の中央分離帯側のレーンＴＬ２であると推定することができる。

他の例として、ＧＰＳ情報により片側２車線の道路を走行中であると判定された場合に、パターン取得部１３０１が図２７Ａおよび図２７Ｂに示した領域パターンＰＴ３およびＰＴ４を読み出すように設定されることも考えられる。このような場合、類似度判定部１３０２により、領域パターンＰＴ４よりも領域パターンＰＴ３の方が類似度が高いと判定された場合には、レーン推定部１３０３は、自車両６が走行しているレーンの左側に走行レーンが存在すると判定し、自車両６が片側２車線の道路の中央分離帯側のレーンＴＬ２を走行中であると推定することができる。

さらに他の例として、ＧＰＳ情報により片側３車線の道路を走行中であると判定された場合に、パターン取得部１３０１が図２７Ａ〜２７Ｄに示した領域パターンＰＴ３〜ＰＴ６を読み出し、類似度判定部１３０２が所定の閾値を超える類似度の領域パターンＰＴを選択するように設定されることが考えられる。例えば、類似度判定部１３０２により領域パターンＰＴ３と領域パターンＰＴ４が選択された場合、レーン推定部１３０３は、車両６が片側３車線の道路の中央のレーンを走行中であると判定することができる。あるいは類似度判定部１３０２により領域パターンＰＴ３と領域パターンＰＴ５が選択された場合、レーン推定部１３０３は、車両６が片側３車線の道路の中央分離帯側のレーンを走行中であると判定することができる。

レーン推定処理部１３０は、閾値記憶部２５に記憶された予め設定された閾値をもとに、類似度の許容範囲を判断するようにしてもよい。例えば、類似度判定部１３０２から最高の類似度を有する領域パターンＰＴを受け取った場合に、その類似度が予め設定された閾値に満たなければ、処理を中断し、推定不能とのエラーメッセージを出力するようにしてもよい。閾値は、レーンを問わず一定の値であってもよいし、レーンごとまたは領域パターンＰＴごとに設定された値であってもよい。あるいは、類似度判定部１３０２から受け取った、類似度が所定の閾値を超える領域パターンＰＴの数が十分でない場合など、レーン推定部１３０３が走行中のレーンを推定できない場合にも、レーン推定処理部１３０は、処理を中断し、エラーメッセージを出力するようにしてもよい。この場合、新たな画像データＶＤを取得して処理をやり直すようにしてもよい。

（３）レーン推定結果の補正
次にレーン推定装置１の制御ユニット１０は、第１の実施形態と同様に、レーン補正部１４の制御の下、図５に示すステップＳ４において、上記レーン推定処理部１３０により推定されたレーンの確からしさ（妥当性）を判定し、妥当ではないと判定した場合にはレーンの推定結果を補正する処理を実行する。レーン補正部１４による処理手順と処理内容は、図８に関して説明したのと同じものを採用することができる。

（４）レーン推定データの出力
制御ユニット１０は、推定データ出力制御部１９の制御の下、ステップＳ５において、レーン推定結果を出力するための制御を実行する。この処理も、第１の実施形態と同様に実行することができる。

（５）他の実施例
図２８Ａは、他の走行車両ＭＢが存在する場合の静止画像データＶＤの他の例を示す。この静止画像データＶＤは、例えば図１０に示したような片側２車線の道路の路肩側レーンＴＬ１を走行中の車両６に搭載されたカメラ２により撮像され、画像データ取得部１１により画像処理を実行されたものである。図２８Ａの静止画像データＶＤには、図２５Ａに示した画像データＶＤと同様に、自車両のボンネット部分６と、中央分離帯ＭＳと、走行レーンＴＬ１，ＴＬ２と、路肩ＳＲおよび縁石ＳＢと、さらに走行レーンＴＬ２を走行する他車両ＭＢが映し出されている。

図２８Ｂは、図２８Ａに示した画像データＶＤに対して道路領域抽出部１３１によりSegNetを用いた抽出処理を行った出力結果の一例を示す。図２８Ｂでは、処理済み画像データＴＶＤ内に、道路領域ＲＥ（網掛け部分）と、他車両ＭＢを含む領域ＭＢＲ（ドットハッチング部分）とが抽出されている。やはり、各領域には画素単位でのラベリングに対応する色が付与され、ここでは、道路領域ＲＥが緑色（［Ｒ，Ｇ，Ｂ］＝［０，２５５，０］）でラベリングされ、車両領域ＭＢＲが赤色（［Ｒ，Ｇ，Ｂ］＝［２５５，０，０］）でラベリングされ、それ以外の領域が黒色（［Ｒ，Ｇ，Ｂ］＝［０，０，０］）でラベリングされている。

この実施例では、ＧＰＳ情報により自車両６が片側２車線の道路を走行中であることがわかっており、パターン取得部１３０１は、パターン記憶部２６から領域パターンＰＴ１と領域パターンＰＴ２を読み出すものとする。なお、図２８Ｂは、領域抽出の精度が若干低く、近似処理を行っていない例を示しており、道路領域ＲＥおよび車両領域ＭＢＲには誤検出に起因する凹凸の輪郭線部分が含まれる。

図２９は、類似度判定部１３０２による、領域パターンＰＴ１と処理済み画像データＴＶＤとの類似度を判定する処理の一例を示す。この例では、類似度判定部１３０２は、各画像の左上を原点とし、画像の横方向をｘ軸、画像の縦方向をｙ軸、各画素位置を座標点Ｐ（ｘ，ｙ）として、各座標点Ｐにおける画素値の対比を行う。画素値の対比は、画像全体にわたって行われてもよいし、領域パターンＰＴ１のうち道路部分ＲＤに対応する座標だけを対象としてもよい。なお、この例では、各画像の右下の点Ｑの座標を（６４０，３６０）としている。

図２９において、点Ｐ１は、パターンＰＴ１および画像データＴＶＤの両方において道路として認識された緑色の領域にあり、ＲＧＢ値が一致する。したがって、類似度判定部１３０２は、点Ｐ１について、例えば画素値の一致を示すフラグを立てるなどの処理を行うことができる。一方、点Ｐ２は、パターンＰＴ１においては道路部分ＲＤ内にあるが、画像データＴＶＤにおいては車両として識別された領域ＭＢＲ内にある。したがって、類似度判定部１３０２は、点Ｐ２については画素値が一致しないものと判定する。

ここで、一実施例においては、類似度判定部１３０２は、領域パターンＰＴの道路部分ＲＤに含まれる座標点については、画像データＴＶＤにおいて道路部分ＲＤ（網掛け部分）または車両領域ＭＢＲ（ドットハッチング部分）のいずれかに含まれる限り、画素値を一致と判定するように構成されることができる。言い換えれば、この実施例に係る類似度判定部１３０２は、領域パターンＰＴの道路部分ＲＤに含まれる座標点については、画像データＴＶＤにおいて何も抽出されなかった黒色の領域（図では無色の領域）のみを不一致と判定するように構成される。

すなわち、類似度判定部１３０２は、道路領域ＲＥに道路領域上に存在する物体の領域ＭＢＲを含めた、全形状ＲＥ＋ＭＢＲを、領域パターンＰＴとの対比に用いる。このように、道路領域上に他の走行車両等の物体が存在し、画像データ上で道路領域の一部を抽出できない場合でも、領域パターンＰＴの道路部分ＲＤに対応する座標点については道路領域とみなすことにより、容易に情報の補完を行うことができる。なお、車両領域ＭＢＲを、ラベリングされたとおり道路領域ＲＥとは異なるものとして類否判定を行ってもよい。

図３０は、類似度判定を説明するさらに他の例として、図２７Ａに示したパターンＰＴ３の道路部分ＰＴ３−ＲＤ（その輪郭を一点鎖線で示す）と、図２８Ｂに示した処理済み画像データＴＶＤにおける道路領域ＲＥとを重ね合わせたイメージを示す。図３０に示したように、類似度判定部１３０２は、道路部分ＰＴ３−ＲＤの部分だけを類似度判定の対象とすることも可能である。この場合、レーン推定装置１は、道路部分ＰＴ３−ＲＤ内の各座標点について、画像データＴＶＤ内の対応する座標点と画素値の対比を行う。道路部分ＰＴ３−ＲＤ内の座標点について画像データＴＶＤと画素値が一致する点が一定数よりも多ければ、レーン推定装置１は、この領域にレーンがある、すなわち自車両６は中央分離帯側の走行レーンＴＬ２を走行中であると推定することができる。一方、道路部分ＰＴ３−ＲＤ内の座標点について画像データＴＶＤと画素値が一致する点が一定数以下であれば、レーン推定装置１は、この領域にレーンがない、すなわち自車両６は路肩側の走行レーンＴＬ１を走行中であると推定することができる。

図３０に示した例によれば、パターンＰＴ３のような一部のレーンに対応する領域パターンＰＴを用いることにより、レーン推定装置１は、自車両６の前方の同じレーン上を他車両が走行している場合でも支障なくレーン推定を行うことができる。また、レーン推定装置１は、より小さい面積を対比の対象とすることができ、少ない対比処理によってレーン推定を行うことができる。

どのような領域パターンＰＴを対比に使用するかは、道路の状態、処理の速度、推定の精度などに応じて、レーン推定装置１のユーザ等により任意に設定されてよい。

またレーン推定装置１は、画像および各領域パターンＰＴの上部や下部をカットし（例えば、６４０×３６０の画像の上部６４０×１００、下部６４０×６０をカットし）、残りの部分だけで画素値を比較するように構成されてもよい。これによりレーン推定に係る計算コストを抑えることができる。さらに、図２５Ａおよび図２８Ａに示したように、画像データＶＤ内に自車両のボンネット部分６が映りこんでいる場合においては、当該ボンネット部分６に対応する画像および各領域パターンＰＴの下部をカットし、残りの部分だけで画素値を比較するよう構成することで、ボンネット形状の相違に起因する類似度の判定ミスを低減できるので、異なる車種間で共通の領域パターンＰＴを使用できるようになる。

（効果）
以上詳述したように第２の実施形態に係るレーン推定装置１は、車両６の進行方向を撮像して得られた画像データから道路領域を表す形状を抽出し、道路領域を表す形状をもとに、特徴量として、当該道路領域内の各画素にラベリングした画素値データを取得する。そして、この画素値データが、道路ごとまたはレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、車両６が移動中のレーンを推定する。

このように、第２の実施形態によれば、移動中の車両６から進行方向を見たときの道路領域を表す形状が、車両６が移動中のレーンに応じて異なるという特徴に着目し、各画素にラベリングして得られた画素値をもとに、予め設定されたパターンと対比することによって、車両６が移動中のレーンを推定することができる。このため、道路上のレーンを区分する区画線に頼ることなく走行中のレーンを推定することが可能となり、これにより例えば工事等により区画線の補修跡が残存する場合や、経年劣化により区画線が薄くなったり消えてしまっている場合でも、レーンを正確に推定することが可能となる。

一実施例では、道路上のすべてのレーンに対応する領域パターンＰＴを対比に用いるようにしており、これにより、推定の精度が向上することが期待される。他の実施例では、道路上の一部のレーンに対応する領域パターンＰＴを対比に用いるようにしており、これにより、処理の高速化とともに、他の車両の影響を軽減できることが期待される。

さらに、一実施例では、道路領域上に他の走行車両等の物体が存在する場合にも、領域パターン中の道路部分ＲＤ内の座標点については、当該物体が道路の一部であるものとみなして類似度を判定するようにしている。このため、他の走行車両等の物体が存在するために画像データに映っている道路領域から得られる情報が不十分であっても、当該物体の形状をもとに情報を補完してレーンを推定することが可能となる。

［他の実施形態］
（１）前記各実施形態では、レーン推定装置１を車両に搭載した場合を例にとって説明した。しかし、これに限るものではなく、レーン推定装置１をクラウドコンピュータやエッジルータ上に設置し、車両６がカメラ２により得られた画像データ、ＧＰＳセンサ３により得られた位置データおよび車両センサ４により得られた車両センサデータを、車載通信装置から上記クラウドやエッジルータ上のレーン推定装置に送信し、レーン推定装置が上記各データを受信してレーン推定処理を実行するように構成してもよい。
また、その際、レーン推定装置が備える各処理部を、車載装置、クラウドコンピュータ、エッジルータ等に分散配置し、これらの装置が互いに連携することによりレーン推定データを得るようにしてもよい。

前記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。

前記各実施形態の処理の少なくとも一部は、例えば汎用のコンピュータに搭載されたプロセッサを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

（２）前記各実施形態では、レーン推定装置１により得られたレーン推定データを自動運転制御装置５に出力し、自動運転制御装置５が上記レーン推定データをもとに車両６をレーン内で走行させるために、或いは車線変更の制御をするために使用する場合を例にとって説明した。しかし、この発明はそれに限るものではなく、レーン推定データをドライブレコーダへ出力してドライブレコーダが上記レーン推定データを車両６の走行履歴情報の１つとして記録するようにしてもよい。

また、上記レーン推定データを、例えば道路管理サーバへ送信し、道路管理サーバが道路のレーン単位での交通量の監視や渋滞の予測等を行うためのデータとして使用するようにしてもよい。この場合、上記渋滞等の予測結果に基づいて、車両に対し車線の変更指示情報を提示するようにしてもよい。さらに、レーン推定データを車両に搭載されたナビゲーション装置に入力することで、例えば行き先に応じて車両の走行レーンの変更指示情報をドライバに提示するようにしてもよい。

（３）前記各実施形態では、移動体として自動車等の車両６を例にとり、車両６が例えば片側２車線の道路を走行する場合を例にとって説明した。しかしそれに限らず、移動体としては、例えば自動二輪車や自転車、パーソナルモビリティ、馬車等の家畜が牽引する車両、耕耘機などの農作業用車両であってもよく、さらには歩行者であってもよい。

このうち、自動二輪車を対象とする場合には、例えば、走行中のレーンの推定結果と、事前に登録した自動二輪車の排気量を表す情報をもとに、現在走行中のレーンの走行可否を判定し、走行してはいけないレーンを走行中の場合には合成音声または鳴音による警告メッセージを出力するようにしてもよい。同様に、自転車を対象とする場合には、例えば走行中のレーンの推定結果と、進行方向の検出結果とに基づいて、自転車が道路上に設定された自転車専用レーンを決められた方向に走行しているか否かを判定し、自転車専用レーン以外のレーンを走行している場合や、自転車専用レーンを走行していても逆走している場合には、合成音声または鳴音による警告メッセージを運転者に向けて出力するとよい。

その他、推定対象の道路の種類としては片側２車線の一般道路以外に高速道路や有料道路、サイクリングロード、歩道、農道であってもよく、またレーン推定装置の構成やレーン推定方法の処理手順や処理内容、推定対象となる道路の構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

（４）また前記各実施形態では、レーン推定に用いる画像データは、カメラ２が車両６の進行方向における道路領域を含む範囲を撮像して得たものとして説明したが、これに限るものではなく、例えば車両６の後方など、カメラ２が他の方向の道路領域を含む範囲を撮像して得た画像データであってもよい。

（５）さらに、第２の実施形態では、画像データＴＶＤの道路領域ＲＥと領域パターンＰＴの道路部分ＲＤとを比較して類似度を判定する例を説明したが、道路領域以外の領域（非道路領域）と領域パターンＰＴの道路部分ＲＤ以外の部分ＢＫとを比較して類似度を判定することも可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

（付記）
上記各実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限られない。
［Ｃ１］
移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と
を具備するレーン推定装置。
［Ｃ２］
前記特徴量算出部は、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとにその輪郭線の傾き角を算出し、
前記推定処理部は、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
上記Ｃ１に記載のレーン推定装置。
［Ｃ３］
前記特徴量算出部は、前記認識された道路領域を表す形状をもとに、前記道路領域の特徴量として、当該形状を表す図形の重心座標、前記形状を表す図形または当該図形から導かれる仮想図形の１つの頂点の角度、および前記形状を表す図形の面積のうちの少なくとも１つを算出し、
前記推定処理部は、前記算出された図形の重心座標、頂点の角度、および図形の面積がレーンごとに設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
上記Ｃ１に記載のレーン推定装置。
［Ｃ４］
前記特徴量算出部は、前記認識された道路領域を表す形状をもとに、前記特徴量として、当該形状を前記画像データにより表される画面の垂直方向を一辺とする三角形に変換した図形の二辺間の角度、および前記変換された図形の面積のうちの少なくとも１つを算出し、
前記推定処理部は、前記算出された輪郭線間の角度または前記図形の面積が、レーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
上記Ｃ１に記載のレーン推定装置。
［Ｃ５］
前記特徴量算出部は、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状と、前記道路領域のうち前記物体を除いた領域を表す第２の形状をそれぞれ認識し、前記認識された第１の形状および前記第２の形状をもとに前記物体が存在しないときの前記道路領域の輪郭線を推定して当該輪郭線の傾き角の算出し、
前記推定処理部は、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
上記Ｃ１に記載のレーン推定装置。
［Ｃ６］
前記特徴量算出部は、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得し、
前記推定処理部は、前記取得された画素値データが、前記道路領域に対して予め設定された複数のパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定する、
上記Ｃ１に記載のレーン推定装置。
［Ｃ７］
前記特徴量算出部は、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得し、
前記推定処理部は、前記取得された画素値データが、前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定する、
上記Ｃ１に記載のレーン推定装置。
［Ｃ８］
前記特徴量算出部は、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状を認識し、前記第１の形状内の各画素にラベリングした画素値データを取得し、
前記推定処理部は、前記取得された画素値データが、前記道路領域に対して予め設定された複数のパターンまたは前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定する、
上記Ｃ１に記載のレーン推定装置。
［Ｃ９］
前記推定処理部により過去に得られたレーン推定結果から推定される前記移動体のレーン変更履歴を表す情報と、前記移動体の移動位置における前記道路領域の構造に関する情報と、前記移動体の動きの状態から推定される前記道路領域におけるレーン変更を表す情報との少なくとも１つに基づいて、前記推定処理部により現在得られたレーン推定結果を補正する補正部を、さらに具備する上記Ｃ１乃至８のいずれかに記載のレーン推定装置。
［Ｃ１０］
情報処理装置が、移動体が移動中のレーンを推定するレーン推定方法であって、
前記移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する過程と、
前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する過程と、
前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する過程と
を具備するレーン推定方法。
［Ｃ１１］
上記Ｃ１乃至９のいずれかに記載のレーン推定装置が具備する各部の処理を、前記レーン推定装置が備えるプロセッサに実行させるプログラム。
［Ｃ１２］
コンピュータにより実行される、移動体（６）が移動中のレーンを推定するレーン推定方法であって、
前記移動体（６）が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
前記算出された特徴量に基づいて、前記移動体（６）が移動中のレーンを推定することと
を備える方法。
［Ｃ１３］
前記特徴量を算出することは、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとにその輪郭線の傾き角を算出することを含み、
前記推定することは、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体（６）が移動中のレーンを推定することを含む、
上記Ｃ１２に記載の方法。
［Ｃ１４］
前記特徴量を算出することは、前記認識された道路領域を表す形状をもとに、前記道路領域の特徴量として、当該形状を表す図形の重心座標、前記形状を表す図形または当該図形から導かれる仮想図形の１つの頂点の角度、および前記形状を表す図形の面積のうちの少なくとも１つを算出することを含み、
前記推定することは、前記算出された図形の重心座標、頂点の角度、および図形の面積がレーンごとに設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体（６）が移動中のレーンを推定することを含む、
上記Ｃ１２に記載の方法。
［Ｃ１５］
前記特徴量を算出することは、前記認識された道路領域を表す形状をもとに、前記特徴量として、当該形状を前記画像データにより表される画面の垂直方向を一辺とする三角形に変換した図形の二辺間の角度、および前記変換された図形の面積のうちの少なくとも１つを算出することを含み、
前記推定することは、前記算出された輪郭線間の角度または前記図形の面積が、レーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体（６）が移動中のレーンを推定することを含む、
上記Ｃ１２に記載の方法。
［Ｃ１６］
前記特徴量を算出することは、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状と、前記道路領域のうち前記物体を除いた領域を表す第２の形状をそれぞれ認識し、前記認識された第１の形状および前記第２の形状をもとに前記物体が存在しないときの前記道路領域の輪郭線を推定して当該輪郭線の傾き角の算出することを含み、
前記推定することは、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体（６）が移動中のレーンを推定することを含む、
上記Ｃ１２に記載の方法。
［Ｃ１７］
前記特徴量を算出することは、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得することを含み、
前記推定することは、前記取得された画素値データが、前記道路領域に対して予め設定された複数のパターンのうちのいずれに類似するかを判定することにより、前記移動体（６）が移動中のレーンを推定することを含む、
上記Ｃ１２に記載の方法。
［Ｃ１８］
前記特徴量を算出することは、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得することを含み、
前記推定することは、前記取得された画素値データが、前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体（６）が移動中のレーンを推定することを含む、
上記Ｃ１２に記載の方法。
［Ｃ１９］
前記特徴量を算出することは、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状を認識し、前記第１の形状内の各画素にラベリングした画素値データを取得することを含み、
前記推定することは、前記取得された画素値データが、前記道路領域に対して予め設定された複数のパターンまたは前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体（６）が移動中のレーンを推定することを含む、
上記Ｃ１２に記載の方法。
［Ｃ２０］
過去に得られたレーン推定結果から推定される前記移動体（６）のレーン変更履歴を表す情報と、前記移動体（６）の移動位置における前記道路領域の構造に関する情報と、前記移動体（６）の動きの状態から推定される前記道路領域におけるレーン変更を表す情報との少なくとも１つに基づいて、現在得られたレーン推定結果を補正することをさらに備える、上記Ｃ１２乃至１９のいずれか一項に記載の方法。
［Ｃ２１］
上記Ｃ１２乃至１９のいずれか一項に記載の方法を実行する手段を備える、レーン推定装置（１）。
［Ｃ２２］
コンピュータによって実行されたときに、上記Ｃ１２乃至１９のいずれか一項に記載の方法をコンピュータに実行させる命令を備えるプログラム。
［Ｃ２３］
コンピュータによって実行されたときに、上記Ｃ１２乃至１９のいずれか一項に記載の方法をコンピュータに実行させる命令を備えるコンピュータ可読記憶媒体。

１…レーン推定装置
２…カメラ
３…ＧＰＳセンサ
４…車両センサ
５…自動運転制御装置
６…車両
１０…制御ユニット
１０Ａ…ハードウェアプロセッサ
１０Ｂ…プログラムメモリ
１１…画像データ取得部
１２…画像処理部
１３…レーン推定処理部
１４…レーン補正部
１５…過去推定データ取得部
１６…道路情報取得部
１７…車両センサデータ取得部
１８…車両動作状態推定部
１９…推定データ出力制御部
２０…データメモリ
２１…画像データ記憶部
２２…レーン推定データ記憶部
２３…道路情報記憶部
２４…車両センサデータ記憶部
２５…閾値記憶部
２６…パターン記憶部
３０…入出力Ｉ／Ｆ
４０…バス
１３０…レーン推定処理部
１３０１…パターン取得部
１３０２…類似度判定部
１３０３…レーン推定部
ＶＤ…静止画像データ
ＴＶＤ…処理済み画像データ
ＴＬ１，ＴＬ２…走行レーン
ＷＬ…歩道
ＭＳ…中央分離帯
ＳＲ…路肩
ＳＢ…縁石
ＳＨ…植栽
ＲＥ…道路領域の輪郭
ＰＴ…領域パターン
ＲＤ…道路部分の輪郭
ＭＢＲ…車両領域
ＧＲ…ガードレール

Claims (16)

1. 移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と、
   を具備し、
   前記特徴量算出部は、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとにその輪郭線の傾き角を算出し、
   前記推定処理部は、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
   レーン推定装置。
2. 移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と、
   を具備し、
   前記特徴量算出部は、前記認識された道路領域を表す形状をもとに、前記道路領域の特徴量として、当該形状を表す図形の重心座標、前記形状を表す図形または当該図形から導かれる仮想図形の１つの頂点の角度、および前記形状を表す図形の面積のうちの少なくとも１つを算出し、
   前記推定処理部は、前記算出された図形の重心座標、頂点の角度、および図形の面積がレーンごとに設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
   レーン推定装置。
3. 移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と、
   を具備し、
   前記特徴量算出部は、前記認識された道路領域を表す形状をもとに、前記特徴量として、当該形状を前記画像データにより表される画面の垂直方向を一辺とする三角形に変換した図形の二辺間の角度、および前記変換された図形の面積のうちの少なくとも１つを算出し、
   前記推定処理部は、前記算出された輪郭線間の角度または前記図形の面積が、レーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
   レーン推定装置。
4. 移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と、
   を具備し、
   前記特徴量算出部は、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状と、前記道路領域のうち前記物体を除いた領域を表す第２の形状をそれぞれ認識し、前記認識された第１の形状および前記第２の形状をもとに前記物体が存在しないときの前記道路領域の輪郭線を推定して当該輪郭線の傾き角を算出し、
   前記推定処理部は、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定する、
   レーン推定装置。
5. 移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と、
   を具備し、
   前記特徴量算出部は、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得し、
   前記推定処理部は、前記取得された画素値データが前記道路領域に対して予め設定された複数のパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定する、
   レーン推定装置。
6. 移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と、
   を具備し、
   前記特徴量算出部は、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得し、
   前記推定処理部は、前記取得された画素値データが前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定する、
   レーン推定装置。
7. 移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得する画像取得部と、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出する特徴量算出部と、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定する推定処理部と、
   を具備し、
   前記特徴量算出部は、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状を認識し、前記第１の形状内の各画素にラベリングした画素値データを取得し、
   前記推定処理部は、前記取得された画素値データが前記道路領域に対して予め設定された複数のパターンまたは前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定する、
   レーン推定装置。
8. 過去に得られたレーン推定結果から推定される前記移動体のレーン変更履歴を表す情報と、前記移動体の移動位置における前記道路領域の構造に関する情報と、前記移動体の動きの状態から推定される前記道路領域におけるレーン変更を表す情報との少なくとも１つに基づいて、現在得られたレーン推定結果を補正する補正部をさらに具備する、請求項１乃至請求項７のいずれか一項に記載のレーン推定装置。
9. レーン推定装置が実行するレーン推定方法であって、
   移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
   前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
   前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定することと
   を具備し、
   前記特徴量を算出することは、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとにその輪郭線の傾き角を算出することを含み、
   前記推定することは、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定することを含む、
   レーン推定方法。
10. レーン推定装置が実行するレーン推定方法であって、
    移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
    前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
    前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定することと、
    を具備し、
    前記特徴量を算出することは、前記認識された道路領域を表す形状をもとに、前記道路領域の特徴量として、当該形状を表す図形の重心座標、前記形状を表す図形または当該図形から導かれる仮想図形の１つの頂点の角度、および前記形状を表す図形の面積のうちの少なくとも１つを算出することを含み、
    前記推定することは、前記算出された図形の重心座標、頂点の角度、および図形の面積がレーンごとに設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定することを含む、
    レーン推定方法。
11. レーン推定装置が実行するレーン推定方法であって、
    移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
    前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
    前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定することと、
    を具備し、
    前記特徴量を算出することは、前記認識された道路領域を表す形状をもとに、前記特徴量として、当該形状を前記画像データにより表される画面の垂直方向を一辺とする三角形に変換した図形の二辺間の角度、および前記変換された図形の面積のうちの少なくとも１つを算出することを含み、
    前記推定することは、前記算出された輪郭線間の角度または前記図形の面積が、レーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定することを含む、
    レーン推定方法。
12. レーン推定装置が実行するレーン推定方法であって、
    移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
    前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
    前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定することと、
    を具備し、
    前記特徴量を算出することは、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状と、前記道路領域のうち前記物体を除いた領域を表す第２の形状をそれぞれ認識し、前記認識された第１の形状および前記第２の形状をもとに前記物体が存在しないときの前記道路領域の輪郭線を推定して当該輪郭線の傾き角を算出することを含み、
    前記推定することは、前記算出された輪郭線の傾き角がレーンごとに予め設定された閾値の範囲のいずれに含まれるかを判定することにより、前記移動体が移動中のレーンを推定することを含む、
    レーン推定方法。
13. レーン推定装置が実行するレーン推定方法であって、
    移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
    前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
    前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定することと、
    を具備し、
    前記特徴量を算出することは、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得することを含み、
    前記推定することは、前記取得された画素値データが前記道路領域に対して予め設定された複数のパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定することを含む、
    レーン推定方法。
14. レーン推定装置が実行するレーン推定方法であって、
    移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
    前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
    前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定することと、
    を具備し、
    前記特徴量を算出することは、前記道路領域の特徴量として、前記認識された道路領域を表す形状をもとに前記道路領域内の各画素にラベリングした画素値データを取得することを含み、
    前記推定することは、前記取得された画素値データが前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定することを含む、
    レーン推定方法。
15. レーン推定装置が実行するレーン推定方法であって、
    移動体が移動中の道路領域を含む範囲を撮像して得られた画像データを取得することと、
    前記取得された画像データから前記道路領域を表す形状を認識し、当該認識された形状をもとに前記道路領域の特徴量を算出することと、
    前記算出された特徴量に基づいて、前記移動体が移動中のレーンを推定することと、
    を具備し、
    前記特徴量を算出することは、前記取得された画像データから、前記道路領域上に存在する物体を含む前記道路領域を表す第１の形状を認識し、前記第１の形状内の各画素にラベリングした画素値データを取得することを含み、
    前記推定することは、前記取得された画素値データが前記道路領域に対して予め設定された複数のパターンまたは前記道路領域に含まれるレーンごとに予め設定されたパターンのうちのいずれに類似するかを判定することにより、前記移動体が移動中のレーンを推定することを含む、
    レーン推定方法。
16. 請求項１乃至請求項８のいずれか一項に記載のレーン推定装置が具備する各部の処理をコンピュータに実行させるプログラム。

Images