JP6961125B2

JP6961125B2 - 車両姿勢測定装置および車両姿勢測定方法

Info

Publication number: JP6961125B2
Application number: JP2021513112A
Authority: JP
Inventors: 紀夫池田; 貴文田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-04-11
Filing date: 2019-04-11
Publication date: 2021-11-05
Anticipated expiration: 2039-04-11
Also published as: JPWO2020208772A1; WO2020208772A1

Description

本発明は、車両の姿勢を測定する車両姿勢測定装置に関するものである。

車載カメラで撮影した車両周辺の画像に基づいて車両周辺の状況を判断し、その判断結果に応じて車両の走行を制御する車両制御装置が普及している。また近年では、例えばヘッドアップディスプレイなど、運転者が見通せる画面に画像を表示する表示装置を用いて、車両周辺の現実の風景に付加情報を重ね合わせて表示する拡張現実（Augmented Reality：ＡＲ）技術の開発が進んでいる。

このような技術の信頼性を向上させるためには、車両の姿勢を正しく判断することが重要になる。例えば、車載カメラで車両周辺を撮影する際に車両の姿勢が変化すると、車載カメラの撮影方向がずれ、車両周辺の状況を正しく判断することが困難になるため、車両の姿勢の変化に応じて撮影方向のずれを補正することが要求される。また、車両周辺の風景にＡＲ画像を重ね合わせて表示する場合であれば、車両の姿勢が変化すると、風景に対するＡＲ画像の表示位置がずれ、ＡＲ画像の視認性が低下するため、車両の姿勢の変化に応じてＡＲ画像の表示位置を補正することが要求される。

車両の姿勢は、例えばジャイロセンサで測定することができる。しかし、一般的なジャイロセンサは系統誤差が大きく定期的な較正が必要であるため扱いにくく、また、高精度なジャイロセンサは非常に高価であり実用性に欠ける。

一方、予防安全機能または自動運転機能を有する車両やドライブレコーダの普及により、近い将来、殆どの車両にカメラが搭載されると考えられる。そのため、車載カメラで撮影した車両前方の画像を用いて車両の姿勢を測定する技術が種々提案されている。例えば、下記の特許文献１には、車載カメラで撮影した車両前方の画像の一部分を基準画像として設定し、その一定時間後に撮影された同画像から基準画像に近似した近似画像を検出し、基準画像の位置と近似画像の位置とのずれ量から、車両の姿勢の変化（ピッチング量）を測定する技術が開示されている。また、特許文献２には、車載カメラで撮影した車両前方の画像から車線の区画線の画像を抽出し、抽出した区画線の画像を、車両の幅方向を横軸、車両の前後方向を縦軸とする平面座標系の画像に変換し、平面座標系の画像における区画線の傾きから車両の姿勢（ピッチ角）を測定する技術が開示されている。

特開平９−１６１０６０号公報特開平１１−２０３４４５号公報

特許文献１の技術における近似画像の検出や、特許文献２の技術における区画線の画像の検出を行うためには、車両前方の画像の全体あるいは一定の面積を持つ領域に対する画像処理が必要である。また、画像処理を行う範囲に車両周辺の物体（特に他の車両などの移動体）が映り込んだ場合や、夜間や悪天候で視界が悪い場合などに、所望の画像を検出できず、車両の姿勢を測定できなくなることが懸念される。

本発明は以上のような課題を解決するためになされたものであり、車載カメラで撮影した車両前方の画像から車両の姿勢を算出し、車両周辺の環境の影響を受けにくい車両姿勢測定装置を提供することを目的とする。

本発明に係る車両姿勢測定装置は、車両の前方を撮影した画像から、予め定められた水平スキャンライン上の輝度分布データを取得するスキャンラインデータ取得部と、輝度分布データを時系列に並べて成る時空間画像を作成する時空間画像作成部と、時空間画像から、車両が走行中の車線の左右の区画線のそれぞれに対応する白線成分を検出する白線成分検出部と、左右の区画線に対応する白線成分それぞれの位置の変化を検出し、左の区画線に対応する白線成分の位置と右の区画線に対応する白線成分の位置とが互いに同じ方向に変化したときは、当該変化に基づいて車両のヨー角を計算し、左の区画線に対応する白線成分の位置と右の区画線に対応する白線成分の位置とが互いに逆の方向に変化したときは、当該変化に基づいて車両のピッチ角を計算することで、車両の姿勢を算出する姿勢算出部と、を備える。

本発明に係る車両姿勢測定装置は、前方画像の水平スキャンライン上の輝度分布データを時系列に並べて成る時空間画像から、車両の姿勢（ヨー角およびピッチ角）を算出する。水平スキャンラインは、少なくとも１ピクセル幅のライン状の領域であるため、水平スキャンラインを、車両が走行中の車線の路面およびその両側の区画線が常時映り込む位置、逆に言えば、車両が走行中の車線の路面およびその両側の区画線以外の環境が映り込まない位置に、容易に設定することができる。従って、車両姿勢測定装置により算出される車両の姿勢は、車両の周辺の環境の影響を受けにくく、車両姿勢測定装置は、車両の姿勢測定を安定して行うことができる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る車両姿勢測定装置の構成を示す図である。前方画像の例を示す図である。水平スキャンラインの配置の例を示す図である。輝度分布データの例を示す図である。時空間画像の例を示す図である。時空間画像から抽出される白線成分の例を示す図である。自車両のヨー角の変化と前方画像上の区画線の位置の変化との関係を説明するための図である。自車両のピッチ角の変化と前方画像上の区画線の位置の変化との関係を説明するための図である。自車両のヨー角およびピッチ角の変化と白線成分の位置の変化との関係を説明するための図である。実施の形態１に係る車両姿勢測定装置の動作を示すフローチャートである。時空間画像作成処理を示すフローチャートである。姿勢算出処理を示すフローチャートである。車両姿勢測定装置のハードウェア構成の例を示す図である。車両姿勢測定装置のハードウェア構成の例を示す図である。実施の形態２に係る車両姿勢測定装置の構成を示す図である。自車両が走行中の車線の右側の区画線が破線の場合に時空間画像から抽出される白線成分の例を示す図である。白線成分補間部の動作を説明するための図である。実施の形態２に係る車両姿勢測定装置の動作を示すフローチャートである。白線成分補間処理を示すフローチャートである。実施の形態３に係る車両姿勢測定装置の構成を示す図である。自車両が車線変更した場合に時空間画像から抽出される白線成分の例を示す図である。車線変更判断部の動作を説明するための図である。実施の形態３に係る車両姿勢測定装置の動作を示すフローチャートである。車線変更対応処理を示すフローチャートである。

＜実施の形態１＞
図１は、実施の形態１に係る車両姿勢測定装置１０の構成を示す図である。本実施の形態では、車両姿勢測定装置１０は車両１００に搭載されているものとする。ただし、車両姿勢測定装置１０は、必ずしも車両１００に常設されなくてもよく、例えば携帯電話やスマートフォン、ポータブルナビゲーション装置などの携帯型の装置として構成されていてもよい。以下、車両姿勢測定装置１０を搭載した車両を「自車両」という。

車両姿勢測定装置１０は、自車両１００の前方を撮影する車載カメラ１に接続されており、車載カメラ１が撮影した画像に基づいて、自車両１００の姿勢を算出する。以下、車載カメラ１により撮影される自車両１００前方の画像を「前方画像」という。

前方画像の一例を図２に示す。図２の前方画像には、自車両１００のボンネット、自車両１００の前方を走行している車両である先行車両１０１、自車両１００の対向車線を走行している車両である対向車両１０２、自車両１００が走行中の車線の左右の区画線１１１，１１２などが映り込んでいる。以下、自車両１００が走行中の車線の左および右の区画線を、単に「左の区画線」および「右の区画線」ということもある。本実施の形態では、左右の区画線１１１，１１２は実線であるものと仮定する。

図１に示すように、車両姿勢測定装置１０は、スキャンラインデータ取得部１１、時空間画像作成部１２、時空間画像記憶部１３、白線成分検出部１４、白線情報記憶部１５および姿勢算出部１６を備えている。

スキャンラインデータ取得部１１は、車載カメラ１から自車両１００の前方画像を取得し、前方画像から、予め定められた水平スキャンライン上の輝度分布データを取得する。ここでは水平スキャンラインの幅を１ピクセルとするが、水平スキャンラインは数ピクセル程度の幅を有していてもよい。

前方画像における水平スキャンラインの位置は、自車両１００の通常走行時に、自車両１００が走行中の車線およびその左右の区画線が常時映り込む位置に設定されることが好ましい。例えば、車載カメラ１により図２に示したような前方画像が撮影される場合、水平スキャンラインＳＬの位置は、例えば図３のように、自車両１００のボンネットのすぐ上に設定されるとよい。その位置に水平スキャンラインＳＬが設定されていれば、水平スキャンラインＳＬ上において、自車両１００が走行中の車線およびその左右の区画線１１１，１１２が、先行車両１０１や対向車両１０２の陰に隠れることは殆どない。

図４に、前方画像の水平スキャンラインＳＬ上の輝度分布データの例を示す。一般に、路面の色は暗く、区画線の色は明るいため、前方画像の水平スキャンラインＳＬ上の輝度は、図４のように、左右の区画線１１１，１１２に対応する部分で局所的に高くなる。

時空間画像作成部１２は、スキャンラインデータ取得部１１が取得した輝度分布データを時系列に並べて成る時空間画像を作成する。図５に、時空間画像作成部１２が作成した時空間画像の例を示す。時空間画像には、前方画像の水平スキャンラインＳＬ上の輝度分布の時間的変化が現れる。図５の時空間画像には、左右の区画線１１１，１１２の位置の時間変化が、輝度の高い２本の曲線として現れている。

時空間画像作成部１２が作成した時空間画像は、時空間画像記憶部１３に記憶される。時空間画像作成部１２は、スキャンラインデータ取得部１１が新たな輝度分布データを取得するごとに、時空間画像記憶部１３に記憶されている時空間画像に、新たに取得された輝度分布データを結合し、それによって時空間画像を更新する。

白線成分検出部１４は、時空間画像記憶部１３に記憶された時空間画像から、左右の区画線１１１，１１２に対応する白線成分を検出する。具体的には、白線成分検出部１４は、時空間画像に対し、例えばヒストグラム平準化やガンマコレクションなどのコントラストを高める処理を施した後、二値化処理を行うことで、時空間画像から左右の区画線１１１，１１２に対応する高輝度な領域を白線成分として検出する。例えば、図５に示した時空間画像からは、図６のような、左右の区画線１１１，１１２のそれぞれに対応する白線成分Ｌ１，Ｌ２が検出される。以下、左の区画線１１１に対応する白線成分を単に「左の白線成分」、右の区画線１１２に対応する白線成分を単に「右の白線成分」という。

なお、路面表示としては、車線の区画線の他にも規制標示（例えば転回禁止、進路変更禁止、最高速度などを示す路面標示）や、指示表示（例えば横断歩道、停止線、進行方向などを示す路面標示）などがあり、それらに対応する白線成分も白線成分検出部１４に検出され得る。しかし、白線成分検出部１４は、白線成分の連続性に基づいて、車線の区画線に対応する白線成分のみを検出することができる。

また、白線成分検出部１４は、時空間画像における左右の白線成分Ｌ１，Ｌ２の位置を、白線情報として、白線情報記憶部１５に記憶させる。白線情報記憶部１５には、左右の白線成分Ｌ１，Ｌ２の位置の履歴が保存される。なお、白線成分の位置は、白線成分の輪郭線の位置として定義してもよいし、白線成分の中心の位置として定義してもよい。

ここで、自車両１００の姿勢と白線成分検出部１４により検出される左右の白線成分Ｌ１，Ｌ２の位置との関係を説明する。例えば、自車両１００の向きが右へ振れた（ヨー角が増加した）場合、車載カメラ１の向きも右へ振れるため、図７に示すように、前方画像の水平スキャンラインＳＬ上において、左右の区画線１１１，１１２の位置はどちらも左にずれ、左右の区画線１１１，１１２の間隔Ｄは変化しない。逆に、自車両１００の向きが左へ振れた（ヨー角が減少した）場合、車載カメラ１の向きも左へ振れるため、前方画像の水平スキャンラインＳＬ上において、左右の区画線１１１，１１２の位置はどちらも右にずれ、左右の区画線１１１，１１２の間隔Ｄは変化しない。従って、自車両１００のヨー角が変化すると、白線成分検出部１４により検出される左右の白線成分Ｌ１，Ｌ２の位置はどちらも同じ方向へ変化する。また、そのときの左右の白線成分Ｌ１，Ｌ２の位置の変化量は、ヨー角の変化量に依存する。

一方、自車両１００の向きが上へ振れた（ピッチ角が増加した）場合、車載カメラ１の向きも上へ振れるため、図８に示すように、前方画像の水平スキャンラインＳＬ上において、左右の区画線１１１，１１２の位置は互いに接近する方向にずれ、左右の区画線１１１，１１２の間隔Ｄは狭くなる。逆に、自車両１００の向きが下へ振れた（ピッチ角が減少した）場合、車載カメラ１の向きも下へ振れるため、前方画像の水平スキャンラインＳＬ上において、左右の区画線１１１，１１２の位置は互いに離れる方向へずれ、左右の区画線１１１，１１２の間隔Ｄは広くなる。従って、自車両１００のピッチ角が変化すると、白線成分検出部１４により検出される左右の白線成分Ｌ１，Ｌ２の位置はどちらも同じ方向へ変化する。また、そのときの左右の白線成分Ｌ１，Ｌ２の位置の変化量（間隔Ｄの変化量）は、ピッチ角の変化量に依存する。

姿勢算出部１６は、白線情報記憶部１５に記憶されている白線情報（時空間画像における左右の白線成分Ｌ１，Ｌ２の位置）の履歴から、左右の区画線１１１，１１２の位置の変化を検出し、その変化に基づいて自車両１００の姿勢（ヨー角およびピッチ角）を算出する。例えば、図９の時刻Ｔ_１のように、左右の区画線１１１，１１２の位置が互いに逆方向に変化したときは、姿勢算出部１６は、当該変化の向きおよび大きさに基づいて自車両１００のピッチ角を計算する。また、図９の時刻Ｔ_２のように、左右の区画線１１１，１１２の位置が共に同じ方向に変化したときは、姿勢算出部１６は、当該変化の向きおよび大きさに基づいて自車両１００のヨー角を計算する。車両姿勢測定装置１０は、姿勢算出部１６が算出した最新の自車両１００のヨー角およびピッチ角を、自車両１００の姿勢情報として出力する。

左右の区画線１１１，１１２の位置の変化は、最新の白線情報と過去の白線情報とを比較することで検出できる。ここで、過去の白線情報としては、基本的に直前の白線情報を用いればよいが、それよりもさらに前の白線情報を用いてもよいし、直前の一定期間の白線情報の平均値を用いてもよい。

このように、本実施の形態に係る車両姿勢測定装置１０は、前方画像の水平スキャンラインＳＬ上の輝度分布データを時系列に並べて成る時空間画像から、自車両１００の姿勢（ヨー角およびピッチ角）を算出する。水平スキャンラインＳＬは、少なくとも１ピクセル幅のライン状の領域であるため、図３のように、水平スキャンラインＳＬを、自車両１００が走行中の車線の路面およびその両側の区画線１１１，１１２が常時映り込む位置、逆に言えば、自車両１００が走行中の車線の路面およびその両側の区画線１１１，１１２以外の環境が映り込まない位置に、容易に設定することができる。従って、車両姿勢測定装置１０により算出される自車両１００の姿勢情報は、自車両１００の周辺の環境の影響を受けにくく、車両姿勢測定装置１０は、自車両１００の姿勢測定を安定して行うことができる。

また、時空間画像における左右の区画線１１１，１１２の位置は、白線成分Ｌ１，Ｌ２として検出される。白線成分Ｌ１，Ｌ２は、時空間画像における高輝度の領域として検出でき、その検出には演算負荷の大きな画像解析処理を必要としない。このことは、車両姿勢測定装置１０の低コスト化に寄与できる。

なお、車両姿勢測定装置１０が出力する自車両１００の姿勢情報（ヨー角およびピッチ角）の用途には制約はない。例えば、ＡＲ画像を表示するヘッドアップディスプレイに自車両１００の姿勢情報を提供し、ヘッドアップディスプレイが、当該姿勢情報に基づいて、自車両１００の姿勢変化に起因するＡＲ画像の表示位置ずれを補正してもよい。また例えば、自車両１００の周辺を撮影した画像（周辺画像）に基づいて自車両１００の周辺の状況（障害物の位置など）を判断する周辺状況判断装置に、自車両１００の姿勢情報を提供し、周辺状況判断装置が、当該姿勢情報に基づいて自車両１００の姿勢変化に起因する周辺画像のブレを補正してもよい。また例えば、自車両１００の姿勢情報は、自車両１００のジャイロセンサの系統誤差の較正に用いることもできる。

本実施の形態では、車両姿勢測定装置１０の構成要素の全てが自車両１００に搭載されているものとしたが、その一部は、自車両１００との通信が可能な外部のサーバー上に構築されていてもよい。自車両１００の姿勢を算出するための処理の一部がサーバーによって行われることで、車両姿勢測定装置１０の演算負荷をさらに抑えることができる。

また、例えば、複数の車両の車両姿勢測定装置１０が作成した時空間画像が、各車両の走行経路の情報と共に、予め定められたサーバーに蓄積されるようにしてもよい。時空間画像からは、区画線の有無や区画線の幅といった情報も分かるため、サーバーに蓄積された時空間画像を解析して各道路の区画線の状態（摩耗や剥離の有無など）を把握し、その情報をインフラ（インフラストラクチャー）整備に役立てるという活用も考えられる。

以下、フローチャートを用いて、実施の形態１に係る車両姿勢測定装置１０の動作を説明する。

図１０は、実施の形態１に係る車両姿勢測定装置１０の動作を示すフローチャートである。スキャンラインデータ取得部１１が、車載カメラ１から自車両１００の前方画像を取得すると（ステップＳ１０１）、その前方画像を用いて時空間画像を作成するための処理である「時空間画像作成処理」が行われる（ステップＳ１０２）。

図１１は、時空間画像作成処理のフローチャートである。時空間画像作成処理では、まず、スキャンラインデータ取得部１１が、前方画像の水平スキャンライン上の輝度分布データを取得する（ステップＳ２０１）。次に、時空間画像作成部１２が、時空間画像記憶部１３に既に時空間画像が記憶されているか否かを確認する（ステップＳ２０２）。時空間画像記憶部１３に時空間画像が記憶されていなければ（ステップＳ２０２でＮＯ）、ステップＳ２０１で取得した輝度分布データを最初の時空間画像として、時空間画像記憶部１３に記憶させる（ステップＳ２０３）。時空間画像記憶部１３に時空間画像が記憶されていれば（ステップＳ２０２でＹＥＳ）、その時空間画像にステップＳ２０１で取得した輝度分布データを結合して、時空間画像を更新し、更新後の時空間画像を時空間画像記憶部１３に記憶させる（ステップＳ２０４）。

図１０に戻り、時空間画像作成処理（ステップＳ１０２）が完了すると、白線成分検出部１４が、時空間画像から、自車両１００が走行中の車線の左右の区画線１１１，１１２に対応する白線成分Ｌ１，Ｌ２を検出する（ステップＳ１０３）。白線成分検出部１４は、検出した左右の白線成分Ｌ１，Ｌ２の位置を、白線情報として白線情報記憶部１５に記憶させる（ステップＳ１０４）。

続いて、姿勢算出部１６が、白線情報記憶部１５に記憶されている白線情報の履歴から、左右の白線成分Ｌ１，Ｌ２の位置の変化を検出し（ステップＳ１０５）、その変化に基づいて自車両１００の姿勢を算出するための処理である「姿勢算出処理」を行う（ステップＳ１０６）。

図１２は、姿勢算出処理のフローチャートである。姿勢算出処理において、姿勢算出部１６は、まず、左右の白線成分Ｌ１，Ｌ２の位置変化の方向は互いに同じか、逆かを確認する（ステップＳ３０１）。左右の白線成分Ｌ１，Ｌ２の位置変化の方向が互いに同じであれば（ステップＳ３０１で「同じ」）、姿勢算出部１６は、左右の白線成分の位置変化に基づいて車両のヨー角を計算する（ステップＳ３０２）。左右の白線成分Ｌ１，Ｌ２の位置変化の方向が互いに逆であれば（ステップＳ３０１で「逆」）、姿勢算出部１６は、左右の白線成分の位置変化に基づいて車両のピッチ角を計算する（ステップＳ３０３）。その後、姿勢算出部１６は、最新のヨー角およびピッチ角を自車両１００の姿勢情報として出力する（ステップＳ３０４）。

＜ソフトウェア関連発明＞
図１３および図１４は、それぞれ車両姿勢測定装置１０のハードウェア構成の例を示す図である。図１に示した車両姿勢測定装置１０の構成要素の各機能は、例えば図１３に示す処理回路５０により実現される。すなわち、車両姿勢測定装置１０は、自車両１００の前方を撮影した画像から、予め定められた水平スキャンライン上の輝度分布データを取得し、輝度分布データを時系列に並べて成る時空間画像を作成し、時空間画像から、自車両１００が走行中の車線の左右の区画線のそれぞれに対応する白線成分を検出し、左右の区画線に対応する白線成分それぞれの位置の変化を検出し、左の区画線に対応する白線成分の位置と右の区画線に対応する白線成分の位置とが互いに同じ方向に変化したときは、当該変化に基づいて自車両１００のヨー角を計算し、左の区画線に対応する白線成分の位置と右の区画線に対応する白線成分の位置とが互いに逆の方向に変化したときは、当該変化に基づいて自車両１００のピッチ角を計算することで、自車両１００の姿勢を算出するための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。車両姿勢測定装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図１４は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における車両姿勢測定装置１０のハードウェア構成の例を示している。この場合、車両姿勢測定装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、車両姿勢測定装置１０は、プロセッサ５１により実行されるときに、自車両１００の前方を撮影した画像から、予め定められた水平スキャンライン上の輝度分布データを取得する処理と、輝度分布データを時系列に並べて成る時空間画像を作成する処理と、時空間画像から、自車両１００が走行中の車線の左右の区画線のそれぞれに対応する白線成分を検出する処理と、左右の区画線に対応する白線成分それぞれの位置の変化を検出し、左の区画線に対応する白線成分の位置と右の区画線に対応する白線成分の位置とが互いに同じ方向に変化したときは、当該変化に基づいて自車両１００のヨー角を計算し、左の区画線に対応する白線成分の位置と右の区画線に対応する白線成分の位置とが互いに逆の方向に変化したときは、当該変化に基づいて自車両１００のピッチ角を計算することで、自車両１００の姿勢を算出する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、車両姿勢測定装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、車両姿勢測定装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、車両姿勢測定装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、車両姿勢測定装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
実施の形態１では、図２のように、自車両１００が走行中の車線の左右の区画線１１１，１１２が実線であることを前提としていたが、実際には左右の区画線１１１，１１２の片方または両方が破線のこともある。左右の区画線１１１，１１２いずれかが破線の場合、左右の区画線１１１，１１２が途切れた部分で、左右の白線成分Ｌ１，Ｌ２も途切れるため、その部分では姿勢算出部１６が左右の白線成分Ｌ１，Ｌ２の位置の変化を検出できず、自車両１００の姿勢を算出できなくなる。

車両姿勢測定装置１０が自車両１００の姿勢を算出できない期間は、一時的にジャイロセンサ等を用いて自車両１００の姿勢を算出してもよいが、実施の形態２では、左右の区画線１１１，１１２いずれかが破線である場合にも、自車両１００の姿勢を算出できる車両姿勢測定装置１０を提案する。

図１５は、実施の形態２に係る車両姿勢測定装置１０の構成を示す図である。図１５の車両姿勢測定装置１０の構成は、図１の構成に対し、白線成分補間部１７を追加したものである。また、車両姿勢測定装置１０の白線成分検出部１４には、速度センサ２から自車両１００の速度の情報が入力される。

白線成分補間部１７は、左右の区画線１１１，１１２に対応する左右の白線成分Ｌ１，Ｌ２が途切れた場合に、白線情報記憶部１５に記憶されている白線情報（左右の白線成分Ｌ１，Ｌ２の位置）の履歴に基づいて、その途切れた部分を補間する処理を行う。例えば、自車両１００が走行中の車線の右の区画線１１２が破線の場合、図１６のように、白線成分検出部１４により検出される右の白線成分Ｌ２も破線状になる。この場合、白線成分補間部１７は、図１７のように、右の白線成分Ｌ２の途切れた部分を補間する。

白線成分の途切れた部分を補間する方法はどのようなものでもよい。例えば、途切れる直前の白線成分の曲率を求め、その曲率に基づき、任意の補間法（例えば、直線補間、二次関数補間、スプライン補間など）を用いて白線成分の途切れた部分を補間する方法が考えられる。

実施の形態２では、破線の区画線に対応する白線成分も白線成分検出部１４による検出の対象となる。そのため、白線成分検出部１４は、白線成分が区画線に対応するものか否かを、白線成分の連続性から判断することが難しくなる。そこで実施の形態２では、白線成分検出部１４は、速度センサ２から入力される自車両１００の速度に基づいて、白線成分が続いた距離および途切れた距離を求め、それらの距離に基づいて、途切れた白線成分が区画線に対応するものか否か（すなわち、区画線が破線か否か）を判断する。

破線の区画線を構成する線分の長さおよび線分間の間隔は、法律で定められているため、白線成分が続いた距離および途切れた距離から、白線成分が区画線に対応するものか否かを判断できる。例えば、日本の道路における破線の区画線は、線分の長さが６ｍ（高速道路では８ｍ）、間隔が９ｍ（高速道路では１２ｍ）と定められている。これらの長さは国ごとに異なり、また、国によっては道路に打ち込まれたリベットが区画線としての役割を果たす場合もあるため、白線成分が区画線に対応するものか否かの判断基準は国によって変更する必要がある。

なお、実施の形態１の車両姿勢測定装置１０においても、白線成分検出部１４が、破線の区画線に対応する白線成分も検出の対象とする場合には、白線成分が続いた距離および途切れた距離に基づいて、途切れた白線成分が区画線に対応するものか否かを判断してもよい。

白線成分補間部１７は、白線成分検出部１４において、途切れた白線成分が破線の区画線に対応すると判断された場合に、白線成分の途切れた部分を補間すればよい。また、姿勢算出部１６は、補間された後の左右の白線成分Ｌ１，Ｌ２に基づいて、自車両１００の姿勢を算出する。よって、姿勢算出部１６は、左右の区画線１１１，１１２のいずれかが破線であっても、自車両１００の姿勢を算出することができる。

以下、フローチャートを用いて、実施の形態２に係る車両姿勢測定装置１０の動作を説明する。

図１８は、実施の形態２に係る車両姿勢測定装置１０の動作を示すフローチャートである。図１８のフローは、図１０のフローのステップＳ１０３とステップＳ１０４との間に、後述するステップＳ１１１，Ｓ１１２を挿入したものである。

スキャンラインデータ取得部１１が、車載カメラ１から自車両１００の前方画像を取得すると（ステップＳ１０１）、図１１に示した時空間画像作成処理により時空間画像が作成される（ステップＳ１０２）。

続いて、白線成分検出部１４が、時空間画像から、自車両１００が走行中の車線の左右の区画線１１１，１１２に対応する白線成分Ｌ１，Ｌ２を検出する（ステップＳ１０３）。このとき、白線成分検出部１４が左右の区画線１１１，１１２に対応する白線成分Ｌ１，Ｌ２を検出できれば、白線成分検出部１４は、白線成分Ｌ１，Ｌ２途切れていないと判断し（ステップＳ１１１でＮＯ）、ステップＳ１０４へ進む。しかし、白線成分検出部１４が左右の区画線１１１，１１２に対応する白線成分Ｌ１，Ｌ２のいずれかを検出できなかった場合は、白線成分検出部１４は、白線成分Ｌ１またはＬ２が途切れていると判断し（ステップＳ１１１でＹＥＳ）、白線成分を補間するための「白線成分補間処理」が行われる（ステップＳ１１２）。

図１９は、白線成分補間処理のフローチャートである。白線成分補間処理では、まず、白線成分検出部１４が、自車両１００の速度に基づき、途切れた白線成分Ｌ１またはＬ２が続いた距離および途切れた距離を算出する（ステップＳ４０１）。そして、白線成分検出部１４は、白線成分Ｌ１またはＬ２が続いた距離および途切れた距離に基づいて、途切れた白線成分Ｌ１またはＬ２が破線の区画線に対応するものか否かを判断する（ステップＳ４０２）。

途切れた白線成分Ｌ１またはＬ２が破線の区画線に対応すると判断されれば（ステップＳ４０３でＹＥＳ）、白線成分補間部１７は、白線情報記憶部１５に記憶されている白線情報（左右の白線成分Ｌ１，Ｌ２の位置）の履歴に基づいて、白線成分Ｌ１またはＬ２の途切れた部分を補間する（ステップＳ４０４）。なお、途切れた白線成分Ｌ１またはＬ２が破線の区画線でないと判断された場合は（ステップＳ４０３でＮＯ）、ステップＳ４０４は実行されない。

図１８に戻り、ステップＳ１０４では、白線成分検出部１４が検出した左右の白線成分Ｌ１，Ｌ２の位置、または、白線成分補間部１７により補間された白線成分Ｌ１，Ｌ２の位置が、白線情報として白線情報記憶部１５に記憶される。

その後は、実施の形態１と同様に、姿勢算出部１６が、白線情報記憶部１５に記憶されている白線情報の履歴から、左右の白線成分Ｌ１，Ｌ２の位置の変化を検出し（ステップＳ１０５）、その変化に基づいて姿勢算出処理が行われ（ステップＳ１０６）、その結果、姿勢算出部１６から、自車両１００の姿勢情報（ヨー角およびピッチ角）が出力される。

＜実施の形態３＞
例えば、自車両１００が右へ車線変更すると、車線変更の前は自車両１００の右側に位置していた区画線が、自車両１００の左側に位置するようになる。逆に、自車両１００が左へ車線変更すると、車線変更の前は自車両１００の左側に位置していた区画線が、自車両１００の右側に位置するようになる。つまり、自車両１００が車線変更する途中で、左右の区画線が別のものに変わる。

実施の形態１では、白線成分検出部１４が、白線成分の連続性に基づいて、自車両１００が走行中の車線の左右の区画線に対応する白線成分を検出した。しかし、自車両１００が車線変更すると、左右の区画線の連続性が失われるため、白線成分検出部１４が、左右の区画線を正しく検出できなくなり、姿勢算出部１６が自車両１００の姿勢を正しく算出できなくなるおそれがある。そこで、実施の形態３では、自車両１００が車線変更した場合でも、自車両１００の姿勢を算出できる車両姿勢測定装置１０を提案する。

図２０は、実施の形態３に係る車両姿勢測定装置１０の構成を示す図である。図２０の車両姿勢測定装置１０の構成は、図１の構成に対し、車線変更判断部１８を追加したものである。

車線変更判断部１８は、白線成分検出部１４が検出した左右の区画線に対応する白線成分の位置と、白線情報記憶部１５に記憶されている白線情報の履歴とに基づいて、左右の区画線に対応する白線成分のいずれかの位置が、時空間画像の中央を横切ったか否かを判断する。そして、自車両１００が走行中の車線の左右の区画線に対応する白線成分のいずれかの位置が、時空間画像の中央を横切ると、白線情報記憶部１５は、自車両１００が車線変更したと判断し、その旨を白線成分検出部１４へ通知する。

図２１は、自車両１００が車線変更した場合に時空間画像から抽出される白線成分の一例である。例えば、白線成分Ｌ２が時空間画像の中心を右から左へ横切ると（図２２の時刻Ｔ_１）、白線成分検出部１４は、自車両１００が右へ車線変更したと判断し、その旨を白線成分検出部１４へ通知する。また、白線成分Ｌ２が時空間画像の中心を左から右へ横切ると（図２２の時刻Ｔ_２）、白線成分検出部１４は、自車両１００が左へ車線変更したと判断し、その旨を白線成分検出部１４へ通知する。

白線成分検出部１４は、車線変更判断部１８から自車両１００が車線変更した旨の通知を受けると、左右の区画線と白線成分との対応付けをリセットする。例えば、白線成分検出部１４は、図２２の時刻Ｔ_１で、自車両１００が右へ車線変更した旨の通知を受けると、時空間画像の中央を横切った白線成分Ｌ２を左の区画線に対応するものとして設定し、時空間画像の右側に新たに現れた白線成分Ｌ３を右の区画線に対応するものとして設定する。また、白線成分検出部１４は、図２２の時刻Ｔ_２で、自車両１００が左へ車線変更した旨の通知を受けると、時空間画像の中央を横切った白線成分Ｌ２を右の区画線に対応するものとして設定し、時空間画像の右側に新たに現れた白線成分Ｌ１を左の区画線に対応するものとして設定する。

その結果、白線成分検出部１４は、車線変更後に自車両１００が走行する車線の左右の区画線に対応する白線成分を正しく認識でき、車線変更後も左右の区画線に対応する白線成分を正しく検出できるようになる。よって、姿勢算出部１６は、自車両１００が車線変更しても、自車両１００の姿勢を正しく算出することができ、安定した動作が可能になる。

なお、実施の形態３の車線変更判断部１８は、実施の形態２の車両姿勢測定装置１０にも適用可能である。また、車線変更判断部１８が判断した自車両１００が車線変更の有無および車線変更の方向の情報は、他の用途に流用してもよい。例えば、自車両１００の現在地を算出するロケータ装置にそれらの情報を提供し、ロケータ装置が、自車両１００の現在位置（自車両１００が位置する車線）の補正にそれらの情報を用いてもよい。

以下、フローチャートを用いて、実施の形態３に係る車両姿勢測定装置１０の動作を説明する。

図２３は、実施の形態３に係る車両姿勢測定装置１０の動作を示すフローチャートである。図２３のフローは、図１０のフローのステップＳ１０３とステップＳ１０４との間に、後述するステップＳ１２１，Ｓ１２２を挿入したものである。

続いて、白線成分検出部１４が、時空間画像から、自車両１００が走行中の車線の左右の区画線に対応する白線成分を検出する（ステップＳ１０３）。このとき、車線変更判断部１８が、左右の白線成分のいずれかが時空間画像の中央を横切ったか否かを確認する（ステップＳ１２１）。いずれかの白線成分が時空間画像の中央を横切っていなければ（ステップＳ１２１でＮＯ）、ステップＳ１０４へ進む。しかし、いずれかの白線成分が時空間画像の中央を横切っていれば（ステップＳ１２１でＹＥＳ）、車線変更判断部１８は、自車両１００が車線変更したと判断し、その旨を白線成分検出部１４へ通知する。そして、白線成分検出部１４において、左右の区画線と白線成分との対応付けをリセットするための「車線変更対応処理」が行われる（ステップＳ１２２）。

図２４は、車線変更対応処理のフローチャートである。車線変更対応処理では、まず、車線変更判断部１８が、白線成分が時空間画像の中央を横切った方向から、自車両１００の車線変更の方向を判断する（ステップＳ５０１）。

車線変更の方向が左であれば（ステップＳ５０２で「左」）、白線成分検出部１４は、時空間画像の中央を横切った白線成分を右の区画線に対応するものとして設定し（ステップＳ５０３）、時空間画像の右側に新たに現れた白線成分を左の区画線に対応するものとして設定する（ステップＳ５０４）。逆に、車線変更の方向が右であれば（ステップＳ５０２で「右」）、白線成分検出部１４は、時空間画像の中央を横切った白線成分を左の区画線に対応するものとして設定し（ステップＳ５０５）、時空間画像の左側に新たに現れた白線成分を右の区画線に対応するものとして設定する（ステップＳ５０６）。

図２３に戻り、ステップＳ１０４では、白線成分検出部１４が検出した左右の白線成分の位置、または、車線変更対応処理により左右の区画線に対応するものとして設定された白線成分の位置が、白線情報として白線情報記憶部１５に記憶される。

その後は、実施の形態１と同様に、姿勢算出部１６が、白線情報記憶部１５に記憶されている白線情報の履歴から、左右の白線成分の位置の変化を検出し（ステップＳ１０５）、その変化に基づいて姿勢算出処理が行われ（ステップＳ１０６）、その結果、姿勢算出部１６から、自車両１００の姿勢情報（ヨー角およびピッチ角）が出力される。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１車載カメラ、２速度センサ、１０車両姿勢測定装置、１１スキャンラインデータ取得部、１２時空間画像作成部、１３時空間画像記憶部、１４白線成分検出部、１５白線情報記憶部、１６姿勢算出部、１７白線成分補間部、１８車線変更判断部、１００自車両、１０１先行車両、１０２対向車両、ＳＬ水平スキャンライン、１１１，１１２区画線、Ｌ１，Ｌ２，Ｌ３白線成分、５０処理回路、５１プロセッサ、５２メモリ。

Claims

車両の前方を撮影した画像から、予め定められた水平スキャンライン上の輝度分布データを取得するスキャンラインデータ取得部と、
前記輝度分布データを時系列に並べて成る時空間画像を作成する時空間画像作成部と、
前記時空間画像から、前記車両が走行中の車線の左右の区画線のそれぞれに対応する白線成分を検出する白線成分検出部と、
前記左右の区画線に対応する前記白線成分それぞれの位置の変化を検出し、前記左の区画線に対応する前記白線成分の位置と前記右の区画線に対応する前記白線成分の位置とが互いに同じ方向に変化したときは、当該変化に基づいて前記車両のヨー角を計算し、前記左の区画線に対応する前記白線成分の位置と前記右の区画線に対応する前記白線成分の位置とが互いに逆の方向に変化したときは、当該変化に基づいて前記車両のピッチ角を計算することで、前記車両の姿勢を算出する姿勢算出部と、
を備える車両姿勢測定装置。
前記左右の区画線に対応する前記白線成分のいずれかが途切れたときに、前記白線成分の途切れた部分を補間する白線成分補間部をさらに備える、
請求項１に記載の車両姿勢測定装置。
前記白線成分補間部は、途切れる直前の前記白線成分の曲率に基づいて、前記白線成分の途切れた部分を補間する、
請求項２に記載の車両姿勢測定装置。
前記白線成分検出部は、前記車両の速度に基づいて前記白線成分が続いた距離および途切れた距離を求め、それらの距離に基づいて、途切れた前記白線成分が前記区画線に対応するものか否かを判断し、
前記白線成分補間部は、途切れた前記白線成分が前記区画線に対応すると判断された場合に前記白線成分の途切れた部分を補間する、
請求項２に記載の車両姿勢測定装置。
前記左右の区画線に対応する前記白線成分のいずれかの位置が、前記時空間画像の中央を横切ると、前記車両が車線変更したと判断する車線変更判断部をさらに備える、
請求項１に記載の車両姿勢測定装置。
車両姿勢測定装置のスキャンラインデータ取得部が、車両の前方を撮影した画像から、予め定められた水平スキャンライン上の輝度分布データを取得し、
前記車両姿勢測定装置の時空間画像作成部が、前記輝度分布データを時系列に並べて成る時空間画像を作成し、
前記車両姿勢測定装置の白線成分検出部が、前記時空間画像から、前記車両が走行中の車線の左右の区画線のそれぞれに対応する白線成分を検出し、
前記車両姿勢測定装置の姿勢算出部が、前記左右の区画線に対応する前記白線成分それぞれの位置の変化を検出し、前記左の区画線に対応する前記白線成分の位置と前記右の区画線に対応する前記白線成分の位置とが互いに同じ方向に変化したときは、当該変化に基づいて前記車両のヨー角を計算し、前記左の区画線に対応する前記白線成分の位置と前記右の区画線に対応する前記白線成分の位置とが互いに逆の方向に変化したときは、当該変化に基づいて前記車両のピッチ角を計算することで、前記車両の姿勢を算出する、
車両姿勢測定方法。