JPWO2015125301A1 - 自己位置算出装置及び自己位置算出方法 - Google Patents

自己位置算出装置及び自己位置算出方法 Download PDF

Info

Publication number
JPWO2015125301A1
JPWO2015125301A1 JP2016503900A JP2016503900A JPWO2015125301A1 JP WO2015125301 A1 JPWO2015125301 A1 JP WO2015125301A1 JP 2016503900 A JP2016503900 A JP 2016503900A JP 2016503900 A JP2016503900 A JP 2016503900A JP WO2015125301 A1 JPWO2015125301 A1 JP WO2015125301A1
Authority
JP
Japan
Prior art keywords
pattern light
vehicle
road surface
feature point
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016503900A
Other languages
English (en)
Other versions
JP6187672B2 (ja
Inventor
山口 一郎
一郎 山口
西内 秀和
秀和 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2015125301A1 publication Critical patent/JPWO2015125301A1/ja
Application granted granted Critical
Publication of JP6187672B2 publication Critical patent/JP6187672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Abstract

車両周囲の路面にパターン光を投光する投光器11と、車両に搭載され、パターン光が投光された領域を含む車両周囲の路面を撮像して画像を取得する撮像部12と、撮像部12で取得した画像におけるパターン光の形から路面に対する車両の姿勢角を算出する姿勢角算出部22と、撮像部12で取得した画像から、路面上の複数の特徴点を検出する特徴点検出部23と、特徴点検出部23により検出された路面上の複数の特徴点の時間変化に基づいて、車両の姿勢変化量を算出する姿勢変化量算出部24と、路面に対する車両の初期位置及び姿勢角に姿勢変化量を加算してゆくことによって車両の現在位置及び姿勢角を算出する自己位置算出部25とを備え、投光器11は、特徴点検出部での路面の特徴点の検出状態に応じて、複数のパターン光投光領域のうちの特定のパターン光投光領域に選択的にパターン光を投光する。

Description

本発明は、自己位置算出装置及び自己位置算出方法に関する。
車両に搭載されたカメラで車両近傍の画像を撮像して取得し、この画像の変化に基づいて車両の移動量を求める技術が知られている(特許文献1参照)。特許文献1では、車両が低速かつ微妙に移動した場合でも精度よく移動量を求められるように、画像の中から特徴点を検出し、この特徴点の位置を求め、特徴点の移動方向及び移動距離(移動量)から車両の移動量を求めている。
また、格子パターン(パターン光)を投光するレーザ投光器を用いて三次元計測を行う技術が知られている(特許文献2参照)。特許文献2では、パターン光の投光領域をカメラで撮像し、撮像した画像からパターン光を抽出して、パターン光の位置から車両の挙動を求めている。
特開2008−175717号公報 特開2007−278951号公報
しかしながら、特許文献2に記載されたパターン光の投光領域と同じ領域で、特許文献1に記載された技術により路面上の特徴点を検出しようとした場合、パターン光と特徴点の判別が難しい。一方、パターン光の投光領域から離れた領域で路面上の特徴点を検出しようとすると、特徴点の移動量の算出誤差が大きくなる。
上記問題点を鑑み、本発明は、パターン光と区別して特徴点を容易に判別することができ、車両の自己位置を精度よく算出することができる自己位置算出装置及び自己位置算出方法を提供することを目的とする。
本発明の第一の態様に係る自己位置算出装置は、車両周囲の路面にパターン光を投光し、パターン光が投光された領域を含む車両周囲の路面を撮像して画像を取得し、取得した画像におけるパターン光の形から路面に対する車両の姿勢角を算出し、取得した画像から、路面上の複数の特徴点を検出し、検出された路面上の複数の特徴点の時間変化に基づいて、車両の姿勢変化量を算出し、路面に対する車両の初期位置及び姿勢角に姿勢変化量を加算してゆくことによって車両の現在位置及び姿勢角を算出し、パターン光を投光するときには、特徴点検出部での路面の特徴点の検出状態に応じて、複数のパターン光投光領域のうちの特定のパターン光投光領域に選択的にパターン光を投光する。
図1は、第1実施形態に係る自己位置算出装置の全体構成を示すブロック図である。 図2は、投光器及びカメラを車両に搭載する方法の一例を示す外観図である。 図3(a)は、投光器とカメラを用いてスポット光が照射された路面上の位置を算出する様子を示す図であり、図3(b)は、パターン光が照射された領域とは異なる領域で検出された特徴点の時間変化からカメラの移動方向を求める様子を示す図である。 図4は、カメラで取得した画像に二値化処理を施したパターン光の画像を示す図であり、図4(a)はパターン光全体を示す図であり、図4(b)は1つのスポット光を拡大して示す図であり、図4(c)はスポット光の重心位置を示す図である。 図5は、距離及び姿勢角の変化量を算出する方法を説明するための模式図である。 図6は、画像上に検出された特徴点を示す図であり、図6(a)は時刻tに取得した第1フレーム(画像)を示す図であり、図6(b)は時刻t+Δtに取得した第2フレームを示す図である。 図7(a)は、カメラで取得した画像を示す図であり、図7(b)は、カメラで取得した画像に二値化処理を施したパターン光の画像を示す図であり、図7(c)は、特徴点の検出結果を示す図である。 図8は、上下左右に分割されたパターン光投光領域の一例を示す概略図である。 図9(a)は、検出された特徴点の一例を示す概略図であり、図9(b)は、選択されたパターン光投光領域の一例を示す概略図である。 図10(a)は、選択されたパターン光投光領域の時間変化を表すグラフであり、図10(b)は、各パターン光投光領域で検出された特徴点数の時間変化を表すグラフである。 図11は、第1実施形態に係る自己位置算出方法の一例を説明するためのフローチャートである。 図12は、ステップS01の詳細を示すフローチャートである。 図13(a)は、検出された特徴点の一例を示す概略図であり、図13(b)は、選択されたパターン光投光領域の一例を示す概略図である。 図14(a)は、各パターン光投光領域の投光フラグの時間変化を表すグラフであり、図14(b)は、各パターン光投光領域で検出された特徴点数の時間変化を表すグラフである。 図15は、縦縞模様で交互に組み合わせたパターン光投光領域の一例を示す概略図である。 図16(a)は、検出された特徴点の一例を示す概略図であり、図16(b)は、選択されたパターン光投光領域の一例を示す概略図である。 図17(a)は、選択されたパターン光投光領域の時間変化を表すグラフであり、図17(b)は、各パターン光投光領域で検出された特徴点数の時間変化を表すグラフである。 図18は、左右2分割したパターン光投光領域の一例を示す概略図である。 図19(a)は、検出された特徴点の一例を示す概略図であり、図19(b)は、選択されたパターン光投光領域の一例を示す概略図である。 図20は、スポット光の投光領域の一例を示す概略図である。 図21(a)は、検出された特徴点の一例を示す概略図であり、図21(b)は、選択されたパターン光投光領域の一例を示す概略図である。 図22(a)は、各スポット光の投光フラグの時間変化を表すグラフであり、図22(b)は、各スポット光の位置に特徴点が存在するか否かの判定結果の時間変化を表すグラフである。 図23は、第2実施形態に係る自己位置算出装置の全体構成を示すブロック図である。 図24(a)は、検出された特徴点の一例を示す概略図であり、図24(b)は、選択されたパターン光投光領域の一例を示す概略図である。 図25(a)は、各スポット光の投光フラグの時間変化を表すグラフであり、図25(b)は、各スポット光の位置に特徴点が存在するか否かの推定結果の時間変化を表すグラフである。 図26は、第2実施形態に係るステップS01の詳細の一例を示すフローチャートである。 図27は、車幅方向で4分割されたパターン光投光領域の一例を示す概略図である。 図28(a)は、特徴点増減予測エリアの設定方法及び検出された特徴点の一例を示す概略図であり、図28(b)は、選択されたパターン光投光領域の一例を示す概略図である。 図29(a)は、各スポット光の投光フラグの時間変化を表すグラフであり、図29(b)は、各特徴点増減予測エリアに特徴点が存在するか否かの判定結果の時間変化を表すグラフである。 図30は、路面に対する距離及び姿勢を算出するか場合分けをする場合のフローチャートの一例を示す。
以下、本発明を適用した第1及び第2実施形態について図面を参照して説明する。
(第1実施形態)
[ハードウェア構成]
先ず、図1を参照して、第1実施形態に係る自己位置算出装置のハードウェア構成を説明する。自己位置算出装置は、投光器11と、カメラ12と、エンジンコントロールユニット(ECU)13とを備える。投光器11は、車両に搭載され、車両周囲の路面にパターン光を投光する。カメラ12は、車両に搭載され、パターン光が投光された領域を含む車両周囲の路面を撮像して画像を取得する撮像部の一例である。ECU13は、投光器11を制御し、且つカメラ12で取得した画像から車両の自己位置を算出する一連の情報処理サイクルを実行する制御部の一例である。
カメラ12は、固体撮像素子、例えばCCD及びCMOSを用いたデジタルカメラであって、画像処理が可能なデジタル画像を取得する。カメラ12の撮像対象は車両周囲の路面であって、車両周囲の路面には車両の前部、後部、側部、車両底部の路面が含まれている。例えば、図2に示すように、カメラ12は、車両10の前部、具体的にはフロントバンパ上に搭載することができる。車両10の前方の路面31上の特徴点(テクスチャ)及び投光器11から投光されたパターン光32bを撮像できるように、カメラ12を設置する高さ及び向きが調整され、且つ、カメラ12が備えるレンズのピント及び絞りについても自動調整される。カメラ12は、所定の時間間隔をおいて繰り返し撮像を行い、一連の画像(フレーム)群を取得する。カメラ12で取得した画像データは、撮像する毎にECU13へ転送され、ECU13が備えるメモリに記憶される。
投光器11は、図2に示すように、カメラ12の撮像範囲内の路面31に向けて、正方形や長方形の格子像を含む所定の形状を有するパターン光32bを投光する。カメラ12は、路面31に照射されたパターン光32bを撮像する。投光器11は、例えば、レーザポインター及び回折格子を備える。レーザポインターから射出されたレーザ光を回折格子で回折することにより、投光器11は、図2〜図4に示すように、格子像、或いは行列状に配列された複数のスポット光からなるパターン光(32b、32a)を生成する。図3及び図4に示す例では、5×7個のスポット光からなるパターン光32aを生成している。
図1に戻り、ECU13は、CPU、メモリ、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、自己位置算出装置として機能する複数の情報処理部を構成する。ECU13は、カメラ12で取得した画像から車両の自己位置を算出する一連の情報処理サイクルを、画像(フレーム)毎に繰り返し実行する。なお、ECU13は、車両10の他の制御に用いるECUと兼用してもよい。
ここで、複数の情報処理部には、パターン光抽出部21と、姿勢角算出部22と、特徴点検出部23と、姿勢変化量算出部24と、自己位置算出部25と、パターン光制御部26とが含まれる。
パターン光抽出部21は、カメラ12で取得した画像をメモリから読み込み、この画像からパターン光の位置を抽出する。図3(a)に示すように、例えば、投光器11が行列状に配列された複数のスポット光からなるパターン光32aを路面31に向けて投光し、路面31で反射したパターン光32aをカメラ12で検出する。パターン光抽出部21は、カメラ12で取得した画像に対して二値化処理を施すことにより、図4(a)及び図4(b)に示すように、スポット光Spの画像のみを抽出する。そして、図4(c)に示すように、パターン光抽出部21は、各スポット光Spの重心の位置He、即ちスポット光Spの画像上の座標(Uj、Vj)を算出することにより、パターン光32aの位置を抽出する。座標は、カメラ12の撮像素子の画素を単位とし、5×7のスポット光Spの場合、“j”は1以上35以下の自然数である。スポット光Spの画像上の座標(Uj、Vj)は、パターン光32aの位置を示すデータとしてメモリに記憶される。
姿勢角算出部22は、パターン光32aの位置を示すデータをメモリから読み込み、カメラ12で取得した画像におけるパターン光32aの位置から、路面31に対する車両10の距離及び姿勢角を算出する。例えば、図3(a)に示すように、投光器11とカメラ12の間の基線長Lbと、各スポット光の画像上の座標(Uj、Vj)とから、三角測量の原理を用いて、各スポット光が照射された路面31上の位置を、カメラ12に対する相対位置として算出する。そして、姿勢角算出部22は、カメラ12に対する各スポット光の相対位置から、パターン光32aが投光された路面31の平面式、即ち、路面31に対するカメラ12の距離及び姿勢角(法線ベクトル)を算出する。
なお、車両10に対するカメラ12の搭載位置及び撮像方向は既知であるため、実施形態では、路面31に対する車両10の距離及び姿勢角の一例として、路面31に対するカメラ12の距離及び姿勢角を算出する。換言すれば、路面31に対するカメラ12の距離及び姿勢角を算出することにより、路面31と車両10との間の距離、及び路面31に対する車両10の姿勢角を求めることができる。
具体的には、カメラ12及び投光器11は車両10にそれぞれ固定されているため、パターン光32aの照射方向と、カメラ12と投光器11との間の距離(基線長Lb)は既知である。そこで、姿勢角算出部22は、三角測量の原理を用いて、各スポット光の画像上の座標(Uj、Vj)から各スポット光が照射された路面31上の位置を、カメラ12に対する相対位置(Xj,Yj,Zj)として求めることができる。以後、路面31に対するカメラ12の距離及び姿勢角を、「距離及び姿勢角」と略す。姿勢角算出部22で算出された距離及び姿勢角は、メモリに記憶される。
なお、本実施形態では、毎回の情報処理サイクルにおいて距離及び姿勢角を算出する場合について説明する。
また、カメラ12に対する各スポット光の相対位置(Xj,Yj,Zj)は同一平面上に存在しない場合が多い。なぜなら、路面31に表出するアスファルトの凹凸に応じて各スポット光の相対位置が変化するからである。そこで、最小二乗法を用いて、各スポット光との距離誤差の二乗和が最小となるような平面式を求めてもよい。こうして算出された距離及び姿勢角のデータは、図1に示す自己位置算出部25で使用される。
特徴点検出部23は、カメラ12で取得した画像をメモリから読み込み、メモリから読み込んだ画像から、路面31上の特徴点を検出する。特徴点検出部23は、路面31上の特徴点を検出するために、例えば、「D.G.Lowe,“Distinctive Image Features from Scale−Invariant Keypoints,”Int.J.Comput.Vis.,vol.60,no.2,pp.91−110,Nov.200」に記載の手法を用いることができる。或いは、特徴点検出部23は、「金澤靖,金谷健一,“コンピュータビジョンのための画像の特徴点抽出,”信学誌,vol.87,no.12,pp.1043−1048,Dec.2004」に記載の手法を用いることもできる。
具体的には、特徴点検出部23は、例えば、ハリス(Harris)作用素又はSUSANオペレータを用いて、物体の頂点のように周囲に比べて輝度値が大きく変化する点を特徴点として検出する。或いは、特徴点検出部23は、SIFT(Scale−Invariant Feature Transform)特徴量を用いて、その周囲で輝度値がある規則性のもとで変化している点を特徴点として検出してもよい。そして、特徴点検出部23は、1つの画像から検出した特徴点の総数Nを計数し、各特徴点に識別番号(i(1≦i≦N))を付す。各特徴点の画像上の位置(Ui、Vi)は、ECU13内のメモリに記憶される。図6(a)及び図6(b)は、カメラ12で取得した画像から検出された特徴点Teの例を示す。更に、各特徴点Teの変化方向及び変化量をベクトルDteとして示している。
なお、本実施形態において、路面31上の特徴点は、主に大きさが1cm以上2cm以下のアスファルト混合物の粒を想定している。この特徴点を検出するために、カメラ12の解像度はVGA(約30万画素)である。また、路面31に対するカメラ12の距離は、おおよそ70cmである。更に、カメラ12の撮像方向は、水平面から約45degだけ路面31に向けて傾斜させる。また、カメラ12で取得する画像をECU13に転送するときの輝度数値は、0〜255(0:最も暗い,255:最も明るい)の範囲内である。
姿勢変化量算出部24は、一定の情報処理サイクル毎に撮像される各フレームの画像のうち、前回(時刻t)のフレームの画像に含まれる複数の特徴点の画像上の位置座標(Ui、Vi)をメモリから読み込む。更に、姿勢変化量算出部24は、今回(時刻t+Δt)のフレームの画像に含まれる複数の特徴点の画像上の位置座標(Ui、Vi)をメモリから読み込む。そして、姿勢変化量算出部24は、複数の特徴点の画像上での時間的な位置変化に基づいて、車両の姿勢変化量を求める。ここで、「車両の姿勢変化量」とは、路面に対する車両の「距離及び姿勢角の変化量」、及び路面上での「車両の移動量」の双方を含んでいる。以下、「距離及び姿勢角の変化量」及び「車両の移動量」の算出方法について説明する。
距離及び姿勢角の変化量は、例えば、以下のようにして求めることができる。図6(a)は、時刻tに取得した第1フレーム(画像)38(図5)の一例を示す。図5及び図6(a)に示すように、第1フレーム38において、例えば3つの特徴点Te1、Te2、Te3の相対位置(Xi,Yi,Zi)がそれぞれ算出されている場合を考える。この場合、特徴点Te1、Te2、Te3によって特定される平面G(図6(a)参照)を路面と見なすことができる。よって、姿勢変化量算出部24は、各特徴点の相対位置(Xi,Yi,Zi)から、路面(平面G)に対するカメラ12の距離及び姿勢角(法線ベクトル)を求めることができる。更に、姿勢変化量算出部24は、既知のカメラモデルによって、各特徴点Te1、Te2、Te3の間の距離(l1、l2、l3)及び夫々の特徴点Te1、Te2、Te3を結ぶ直線が成す角度を求めることができる。図5のカメラ12は、第1フレームを撮像したときのカメラの位置を示す。
なお、図5では、カメラ12に対する特徴点の相対位置を示す3次元座標(Xi,Yi,Zi)として、カメラ12の撮像方向にZ軸を設定し、撮像方向を法線としてカメラ12を含む平面内に互いに直交するX軸及びY軸を設定する。一方、画像38上の座標としては、水平方向及び垂直方向をそれぞれV軸及びU軸に設定する。
図6(b)は、時刻tから時間Δtだけ経過した時刻(t+Δt)に取得された第2フレーム38’を示す。図5のカメラ12’は、第2フレーム38’を撮像したときのカメラの位置を示す。図5及び図6(b)に示すように、第2フレーム38’において、カメラ12’が特徴点Te1、Te2、Te3を撮像し、特徴点検出部23が特徴点Te1、Te2、Te3を検出する。この場合、姿勢変化量算出部24は、時刻tにおける各特徴点Te1〜Te3の相対位置(Xi,Yi,Zi)と、各特徴点の第2フレーム38’上の位置P1(Ui、Vi)と、カメラ12のカメラモデルとから時間Δtにおけるカメラ12の移動量ΔLを算出できる。したがって、ひいては車両の移動量を算出できる。更には、距離及び姿勢角の変化量も算出することができる。例えば、以下の(1)〜(4)式からなる連立方程式を解くことにより、姿勢変化量算出部24は、カメラ12(車両)の移動量(ΔL)、並びに距離及び姿勢角の変化量を算出することができる。なお、下記の(1)式はカメラ12が歪みや光軸ずれのない理想的なピンホールカメラとしてモデル化したものであり、λiは定数、fは焦点距離である。カメラモデルのパラメータは、予めキャリブレーションをしておけば良い。
なお、姿勢変化量算出部24は、時刻tと時刻t+Δtで検出される各画像中で相対位置が算出された特徴点の全てを用いるのではなく、特徴点同士の位置関係に基づいて最適な特徴点を選定しても良い。選定方法としては、例えば、エピポーラ幾何(エピ極線幾何,R.I.Hartley:“A linear method for reconstruction from lines and points,”Proc.5thInternational Conference on Computer Vision,Cambridge,Massachusetts,pp.882−887(1995))を用いることができる。
このように、特徴点検出部23が、時刻tのフレーム画像38で相対位置(Xi,Yi,Zi)が算出された特徴点Te1、Te2、Te3を、時刻t+Δtにおけるフレーム画像38‘からも検出された場合に、姿勢変化量算出部24は、路面上の複数の特徴点の相対位置(Xi,Yi,Zi)と特徴点の画像上の位置(Ui、Vi)の時間変化とから、「車両の姿勢角変化量」を算出することができる。更には、車両の移動量を算出することができる。
即ち、前回フレームと今回フレームの間で対応関係が取れる3点以上の特徴点を継続して検出できれば、距離及び姿勢角の変化量を加算する処理(積分演算)を継続することにより、パターン光32aを用いずに距離及び姿勢角を更新し続けることができる。但し、最初の情報処理サイクルでは、パターン光32aを用いて算出した距離及び姿勢角、或いは所定の初期位置及び初期姿勢角を用いても良い。つまり、積分演算の起点となる距離及び姿勢角は、パターン光32aを用いて算出しても、或いは、所定の初期値を用いても構わない。所定の初期位置及び初期姿勢角は、少なくとも車両10への乗員及び搭載物を考慮した距離及び姿勢角であることが望ましい。例えば、車両10のイグニションスイッチがオン状態で、なお且つシフトポジションがパーキングから他のポジションへ移動した時に、パターン光32aを投光し、パターン光32aから算出した距離及び姿勢角を、所定の初期位置及び初期姿勢角として用いれば良い。これにより、車両10の旋回や加減速によるロール運動或いはピッチ運動が発生していない時の距離や姿勢角を求めることができる。
なお、前後のフレーム間で特徴点を対応付けるには、例えば、検出した特徴点の周辺の小領域の画像をメモリに記録しておき、輝度や色情報の類似度から判断すれば良い。具体的には、ECU13は、検出した特徴点を中心とする5×5(水平×垂直)画素分の画像をメモリに記録する。姿勢変化量算出部24は、例えば、輝度情報が20画素以上で誤差1%以下に収まっていれば、前後のフレーム間で対応関係が取れる特徴点であると判断する。そして、上記の処理で取得した姿勢変化量は、後段の自己位置算出部25で車両の自己位置を算出する際に使用される。
自己位置算出部25は、姿勢変化量算出部24で算出された「距離及び姿勢角の変化量」から車両の現在の距離及び姿勢角を算出する。更に、姿勢変化量算出部24で算出された「車両の移動量」から車両の自己位置を算出する。
具体的に、姿勢角算出部22で算出された距離及び姿勢角(パターン光を用いて算出された距離及び姿勢角)が起点として設定された場合について説明する。この場合には、この起点(距離及び姿勢角)に対して、自己位置算出部25は、姿勢角算出部22で算出された距離及び姿勢角に対して、姿勢変化量算出部24で算出された各フレーム毎の距離及び姿勢角の変化量を逐次加算して(積分演算して)、距離及び姿勢角を最新の数値に更新する。また、自己位置算出部25は、姿勢角算出部22で距離及び姿勢角が算出された際の車両位置を起点(車両の初期位置)とし、この初期位置からの車両の移動量を逐次加算して(積分演算して)、車両の自己位置を算出する。例えば、地図上の位置と照合された起点(車両の初期位置)を設定することで、地図上の車両の現在位置を逐次算出することができる。
従って、姿勢変化量算出部24は、時間Δtの間でのカメラ12の移動量(ΔL)を求めることにより、車両の自己位置を算出することができる。更に、距離及び姿勢角の変化量も同時に算出することができるので、姿勢変化量算出部24は、車両の距離及び姿勢角の変化量を考慮して、6自由度(前後、左右、上下、ヨー、ピッチ、ロール)の移動量(ΔL)を精度よく算出することができる。即ち、車両10の旋回や加減速によるロール運動或いはピッチ運動によって距離や姿勢角が変化しても、移動量(ΔL)の推定誤差を抑制することができる。
なお、本実施形態では、距離及び姿勢角の変化量を算出し、距離及び姿勢角を更新することにより、カメラ12の移動量(ΔL)を算出したが、路面31に対するカメラ12の姿勢角だけを変化量算出及び更新の対象としても構わない。この場合、路面31とカメラ12との間の距離は一定と仮定すれば良い。これにより、姿勢角の変化量を考慮して、移動量(ΔL)の推定誤差を抑制しつつ、ECU13の演算負荷を軽減し、且つ演算速度を向上させることもできる。
パターン光制御部26は、投光器11によるパターン光32aの投光を制御する。例えば、車両10のイグニションスイッチがオン状態となり、自己位置算出装置が起動すると同時に、パターン光制御部26は、パターン光32aの投光を開始する。その後、自己位置算出装置が停止するまで、パターン光制御部26は、パターン光32aを連続して投光する。或いは、所定の時間間隔をおいて、投光のオン/オフを繰り返してもよい。
ここで、7×5のスポット光Spからなるパターン光を投光した場合、図7(a)に示すような画像がカメラ12により取得される。この画像に対して、パターン光抽出部21が二値化処理を施すことにより、図7(b)に示すようにパターン光(スポット光)Spを抽出することができる。一方、特徴点検出部23が、パターン光Spの投光領域と同じ領域で路面31上の特徴点を検出しようとすると、図7(c)に示すように、パターン光Spに対して路面31上の特徴点を判別することが難しく、特徴点の検出が難しい。これに対して、特徴点検出部23が、パターン光Spの投光領域から離れた領域で路面上の特徴点を検出しようとすると、今度は特徴点の移動量の算出誤差が大きくなる。
そこで、本実施形態では、パターン光制御部26は、特徴点検出部23での路面の特徴点の検出状態に応じて、複数のパターン光投光領域のうち特定のパターン光投光領域に選択的にパターン光を投光する。
パターン光制御部26は、例えば図8に示すように、撮像領域30内に複数(4つ)のパターン光投光領域A〜Dを設定する。図8において、矢印41は車両の移動方向を示し、矢印41と逆向きの矢印42は特徴点の移動方向を示す。パターン光投光領域A〜Dは、車両の移動方向41(上下)及び車両の移動方向41に直交する車幅方向(左右)に4分割された矩形のパターンである。なお、パターン光投光領域の数は複数であれば特に限定されず、2つ又は3つのパターン光投光領域を設定してもよく、5つ以上のパターン光投光領域を設定してもよい。
図9(a)に示すように特徴点検出部23により特徴点Teが検出された場合、パターン光制御部26は、パターン光投光領域A〜D毎に検出できた特徴点Teの数をカウントする。ここで、パターン光制御部26は、パターン光投光領域A〜D内に完全に収まっている特徴点数をカウントしてもよい。或いは、パターン光投光領域A〜D内に完全に収まっている特徴点に加え、パターン光投光領域A〜Dの境界上に存在し、パターン光投光領域A〜D内に一部が属している特徴点Teも含めてカウントしてもよい。
図9(a)において、パターン光投光領域A〜D内に完全に収まっている特徴点数をカウントした場合、パターン光投光領域A〜Dで検出できた特徴点数はそれぞれ1個、4個、4個、3個となる。パターン光制御部26は、複数のパターン光投光領域A〜Dのうち、図9(b)に示すように、特徴点数が最も少ないパターン光投光領域Aに選択的に投光する。
図10(a)に、選択されたパターン光投光領域の時間変化を示し、図10(b)に、パターン光投光領域A〜Dで検出できた特徴点数の時間変化を示す。時刻t0〜t7は1情報処理サイクル毎の時刻を示す。時刻t0において、パターン光制御部26が特徴点検出部23により検出できた特徴点Teの数をカウントすると、図10(b)に示すように、パターン光投光領域Aで検出できた特徴点数が最も少ない。そこで、次の情報処理サイクルである時刻t1において、パターン光制御部26は、図10(a)に示すように、前の情報処理サイクルの時刻t0において特徴点数が最も少なかったパターン光投光領域Aに選択的にパターン光を投光させる。
同様に、時刻t1〜t6において、パターン光制御部26が特徴点数をカウントする。そして、次の情報処理サイクルである時刻t2〜t7において、前の情報処理サイクルの時刻t1〜t6において特徴点数が最も少なかった領域に選択的にパターン光を投光させる。
[情報処理サイクル]
次に、図11を参照して、ECU13によって繰り返し実行される情報処理サイクルを説明する。この情報処理サイクルは、カメラ12で取得した画像38から車両10の自己位置を算出する自己位置算出方法の一例である。
図11のフローチャートに示す情報処理サイクルは、車両10のイグニションスイッチがオン状態となり、自己位置算出装置が起動すると同時に開始され、自己位置算出装置が停止するまで繰り返し実行される。
図11のステップS01において、パターン光制御部26は、投光器11を制御して、車両周囲の路面31にパターン光を投光する。図11のフローチャートでは、パターン光32aを連続して投光する例を説明する。なお、ステップS01の詳細は後述する。
ステップS03に進み、ECU13は、カメラ12を制御して、パターン光32aが投光された領域を含む車両周囲の路面31を撮像して画像38を取得する。ECU13は、カメラ12で取得した画像データを、メモリに記憶する。
なお、ECU13はカメラ12の絞りを自動制御できる。前の情報処理サイクルで取得した画像38の平均輝度から、輝度値の最大値と最小値の中間値になるようにカメラ12の絞りをフィードバック制御してもよい。また、パターン光32aが投光されている領域は輝度値が高いため、ECU13は、パターン光32aを抽出した部分を除いた領域から、平均輝度値を求めてもよい。
ステップS05に進み、先ず、パターン光抽出部21は、カメラ12で取得した画像38をメモリから読み込み、図4(c)に示すように、画像38からパターン光32aの位置を抽出する。パターン光抽出部21は、パターン光32aの位置を示すデータとして算出されたスポット光Spの画像上の座標(Uj、Vj)をメモリに記憶する。
さらに、ステップS05において、姿勢角算出部22は、パターン光32aの位置を示すデータをメモリから読み込み、パターン光32aの位置から路面31に対する車両10の距離及び姿勢角を算出してメモリに記憶する。
ステップS07に進み、ECU13は、画像38から特徴点Teを検出し、前後の情報処理サイクルの間で対応関係が取れる特徴点Teを抽出し、特徴点Teの画像上の位置(Ui、Vi)から距離及び姿勢角の変化量を算出する。さらに、車両の移動量を算出する。
具体的に、先ず、特徴点検出部23は、カメラ12で取得した図8に対応する撮像領域30の画像38をメモリから読み込み、画像38から路面31上の特徴点Teを検出し、各特徴点Teの画像上の位置(Ui、Vi)をメモリに記憶させる。
姿勢変化量算出部24は、各特徴点Teの画像上の位置(Ui、Vi)をメモリから読み込み、姿勢角算出部22で算出された距離及び姿勢角と、特徴点Teの画像上の位置(Ui、Vi)とから、カメラ12に対する特徴点Teの相対位置(Xi,Yi,Zi)を算出する。なお、姿勢変化量算出部24は、前の情報処理サイクルのステップS09において設定された距離及び姿勢角を用いる。そして、姿勢変化量算出部24は、カメラ12に対する特徴点Teの相対位置(Xi,Yi,Zi)を、メモリに記憶する。
この後、姿勢変化量算出部24は、特徴点Teの画像上の位置(Ui、Vi)と、前の情報処理サイクルのステップS07において算出された特徴点Teの相対位置(Xi,Yi,Zi)をメモリから読み込む。姿勢変化量算出部24は、前後の情報処理サイクルの間で対応関係が取れる特徴点Teの相対位置(Xi,Yi,Zi)及び画像上の位置(Ui、Vi)を用いて、距離及び姿勢角の変化量を算出する。さらに、姿勢変化量算出部24は、前回の特徴点Teの相対位置(Xi,Yi,Zi)と今回の特徴点Teの相対位置(Xi,Yi,Zi)から、車両の移動量を算出してメモリに記憶する。ステップS07で算出された「距離及び姿勢角の変化量」並びに「車両の移動量」は、ステップS11の処理で用いられる。
ステップS09に進み、ECU13は、最初の情報処理サイクルでは、パターン光32aを用いて算出した距離及び姿勢角、或いは所定の初期位置及び初期姿勢角を用いて、自己位置を算出するための積分演算の起点を設定する。以降の情報処理サイクルでは、前回フレームと今回フレームの間で対応関係が取れる3点以上の特徴点を継続して検出できれば、距離及び姿勢角の変化量を加算する処理(積分演算)を継続することにより、パターン光32aを用いずに距離及び姿勢角を更新し続けることができる。
ステップS11に進み、自己位置算出部25は、ステップS09で設定された積分演算の起点と、ステップS07の処理で算出された車両10の距離及び姿勢角の変化量とから、車両10の自己位置を算出する。
こうして本実施形態に係る自己位置算出装置は、上記した一連の情報処理サイクルを繰り返し実行して車両10の移動量を積算することにより、車両10の自己位置を算出することができる。
[ステップS01の処理]
次に、図12のフローチャートを参照して、図11のステップS01の詳細な手順を説明する。図12に示すように、ステップS101において、パターン光制御部26は、特徴点検出部23により検出された前の情報処理サイクルの特徴点Teの位置をメモリから読み出し、前の情報処理サイクルにおける各パターン投光領域内で検出できた特徴点数をカウントする。ステップS102において、投光器11は、複数のパターン光投光領域のうち、特徴点の検出数が最も少なかった領域に選択的に投光する。
[第1の変形例]
次に、第1の変形例として、パターン光の投光方法の他の一例を説明する。投光器11は、複数のパターン光投光領域のうち、特徴点が最も少ない領域を選択する代わりに、特徴点が相対的に少ない複数(例えば2つ)の領域に選択的に投光してもよい。例えば、図13(a)に示すように、パターン光投光領域A〜D内に完全に収まっている特徴点数をカウントした場合、パターン光投光領域A〜Dで検出できた特徴点数はそれぞれ1個、4個、4個、3個となる。投光器11は、図13(b)に示すように、特徴点数が相対的に少ない2つのパターン光投光領域A,Dに選択的に投光する。
図14(a)にパターン光投光領域A〜Dの投光フラグの時間変化を示し、図14(b)にパターン光投光領域A〜Dで検出できた特徴点数を示す。パターン光投光領域A〜Dの投光フラグは投光する場合に“1”、投光しない場合に“0”、に設定されている。時刻t0〜t7は1情報処理サイクル毎の時刻を示す。時刻t0において、パターン光制御部26は、パターン光投光領域A〜D毎で検出できた特徴点数をカウントすると、図14(b)に示すように、パターン光投光領域A,Dで検出できた特徴点数が相対的に少ない。したがって、次の情報処理サイクルの時刻t1において、投光器11は、図14(a)に示すように、前の情報処理サイクルの時刻t0において特徴点数が相対的に少なかった2つのパターン光投光領域A,Dに選択的に投光する。
同様に、時刻t1〜t6において、パターン光制御部26は、パターン光投光領域A〜D毎で検出できた特徴点数をカウントする。そして、次の情報処理サイクルの時刻t2〜t7において、投光器11は、特徴点数が相対的に少ない2つの領域に選択的に投光する。
なお、投光器11は、選択するパターン光投光領域A〜Dの数を限定せずに、パターン光投光領域A〜Dのうち、特徴点Teが所定の閾値以下の領域を選択してもよい。
[第2の変形例]
次に、第2の変形例として、パターン光の投光方法の他の一例を説明する。パターン光制御部26は、図15に示すように、特徴点の移動方向42に延伸する縦縞模様に分割され、それぞれ交互に組み合わせた複数のパターン光投光領域A,Bを設定してもよい。複数のパターン光投光領域A,Bは、車幅方向にそれぞれ2つの領域を交互に有し、二者択一で選択される領域である。なお、複数のパターン光投光領域A,Bのそれぞれの数は特に限定されず、複数のパターン光投光領域A,Bのそれぞれが3つ以上の領域を有していてもよい。
パターン光制御部26は、図16(a)に示すように、2つのパターン光投光領域Aで検出できた特徴点数の合計値及び2つのパターン光投光領域Bで検出できた特徴点数の合計値をそれぞれカウントする。パターン光投光領域A,B内に完全に収まっている特徴点数をカウントした場合、パターン光投光領域Aで検出できた特徴点数は合計4個であり、パターン光投光領域Bで検出できた特徴点数は合計10個である。したがって、投光器11は、図16(b)に示すように、特徴点数が相対的に少ないパターン光投光領域Aに選択的に投光する。
図17(a)はパターン光投光領域A,Bのパターン光投光領域の時間変化を示し、図17(b)はパターン光投光領域A,Bで検出できた特徴点数を示す。時刻t0〜t7は1情報処理サイクル毎の時刻を示す。時刻t0において、パターン光制御部26は、パターン光投光領域A,Bで検出できた特徴点数をカウントすると、図17(b)に示すように、パターン光投光領域Aで検出できた特徴点数が相対的に少ない。このため、投光器11は、図17(a)に示すように、次の情報処理サイクルの時刻t1において、前の情報処理サイクルの時刻t0において特徴点数が相対的に少なかったパターン光投光領域Aに選択的に投光する。同様に、投光器11は、時刻t2〜t7において、前の情報処理サイクルの時刻t1〜t6において特徴点数が相対的に少なかった一方の領域に選択的に投光する。
[第3の変形例]
次に、第3の変形例として、パターン光の投光方法の他の一例を説明する。パターン光制御部26は、図18に示すように、車幅方向(左右)に2分割された2つのパターン光投光領域A,Bを設定してもよい。
例えば、図19(a)に示すように、パターン光投光領域A,B内に完全に収まっている特徴点数をカウントした場合、パターン光投光領域A,Bで検出できた特徴点数はそれぞれ3個、7個である。パターン光制御部26は、図19(b)に示すように、特徴点数が相対的に少ないパターン光投光領域Aに選択的に投光する。この場合も、図17(a)及び図17(b)に示すように、投光器11は、時刻t1〜t7において、前の情報処理サイクルの時刻t0〜t6において特徴点数が相対的に少なかった一方の領域に選択的に投光する。
[第4の変形例]
次に、第4の変形例として、特徴点Teの検出位置に応じてパターン光の位置を設定する場合を説明する。パターン光制御部26は、図20に示すように、複数のパターン光投光領域として、m×nのスポット光Smn(ここでは5×5のスポット光S11,S12,…,S55)を設定する。また、図21(a)に示すように、特徴点検出部23により特徴点Teの位置が検出される。
パターン光制御部26は、特徴点検出部23により検出された特徴点Teの位置が、スポット光S11,S12,…,S55の位置(投光領域)と重なるか否かをそれぞれ判定する。この判定は前の情報処理サイクルで行う必要があるため、現在の情報処理サイクルでは特徴点Teが検出位置から移動していることを考慮し、スポット光S11,S12,…,S55の投光領域よりも広げた領域を、特徴点Teの位置と重なるか判定してもよい。なお、消灯しているスポット光の位置は、路面に対するカメラ12の距離及び姿勢角、並びに他のスポット光の位置から推定して求めることができる。投光器11は、図21(b)に示すように、特徴点Teと重なると判定された位置のスポット光は消灯し、特徴点Teと重ならないと判定された位置のスポット光を選択的に投光する。
図22(a)に、スポット光S11,S12,…,S55の投光フラグの時間変化を示し、図22(b)に、スポット光S11,S12,…,S55の位置に特徴点Teが重なるかの判定結果の時間変化を示す。時刻t0〜t7は1情報処理サイクル毎の時刻を示す。図22(b)に示すように、時刻t0において、パターン光制御部26は、例えばスポット光S11,S55の位置に特徴点Teが重ならないと判定し、スポット光S12の位置に特徴点Teが重なると判定している。投光部11は、図22(a)に示すように、次の情報処理サイクルの時刻t1において、前の情報処理サイクルで特徴点Teが重なると判定された位置のスポット光S12を消灯し、特徴点Teが重ならないと判定された位置のスポット光S11,S55を選択的に点灯する。同様に、時刻t2〜t7において、投光部11は、前の情報処理サイクルの時刻t1〜t6で特徴点Teが重なると判定された位置のスポット光を消灯し、特徴点Teと重ならないと判定された位置のスポット光を選択的に投光する。
[第1実施形態の効果]
第1実施形態によれば、特徴点Teの検出状態に応じて、図9(a)及び図9(b)に示すように、複数のパターン光投光領域A〜Dのうち特定のパターン光投光領域Aに選択的に投光することにより、特徴点Teが相対的に多い領域ではパターン光が投光されないため、パターン光と区別して特徴点Teを容易に判別することができる。したがって、車両10の自己位置を精度よく算出することができる。
また、図15に示すように、複数のパターン光投光領域A,Bが特徴点Teの移動方向に延伸する縦縞模様のポジとネガに分割されており、投光器11が、複数のパターン光投光領域A,Bのうち特徴点Teの検出数が相対的に少ない領域にパターン光を投光することにより、より簡単な機構で選択的にパターン光を投光することができる。
また、図18に示すように、複数のパターン光投光領域A,Bが車幅方向(左右)に2分割されており、投光器11が、複数のパターン光投光領域A,Bのうち、特徴点Teの検出数が相対的に少ない一方に投光することにより、より簡単な機構で選択的にパターン光を投光することができる。
また、図21(b)に示すように、特徴点Teの検出位置に応じてパターン光投光領域(スポット光)S11,S12,…,S55の位置を設定することにより、パターン光投光領域が比較的細かい場合でもパターン光と区別して特徴点Teを容易に判別することができる。
(第2の実施の形態)
[ハードウェア構成]
第2実施形態に係る自己位置算出装置は、図23に示すように、車両挙動検出部14を更に備える点が、第1実施形態に係る自己位置算出装置の構成と異なる。車両挙動検出部14としては、車速を検出するための車輪速センサや横方向速度を検出するためのヨーレートセンサが使用可能である。第2実施形態に係る自己位置算出装置の他の構成は、第1実施形態に係る自己位置算出装置と実質的に同様であるので、重複した説明を省略する。
パターン光制御部26は、特徴点Teの移動方向及び移動量を推定し、推定した特徴点Teの移動方向及び移動量に応じてパターン光の位置を設定する。各特徴点Teの移動方向と移動量は、前後の2つの情報処理サイクルから求めた車両の移動量から推定することができる。或いは、車両挙動検出部14により検出された車速やヨーレートから推定することもできる。
図24(a)に、1情報処理サイクル前に検出された特徴点Teを示し、各特徴点Teについて推定された移動方向及び移動量をベクトルDteで示す。パターン光制御部26は、各特徴点Teについて推定された移動方向及び移動量から各特徴点Teの現在の情報処理サイクルにおける位置を推定し、特徴点Teの位置が、スポット光S11,S12,…,S55の位置に重なるか推定する。図24(b)に示すように、現在の情報処理サイクルにおいて特徴点Teが重なると推定された位置のスポット光を消灯し、特徴点Teが重ならないと推定された位置のスポット光を選択的に点灯する。
図25(a)に、スポット光S11,S12,…,S55の投光フラグの時間変化を示し、図25(b)に、スポット光S11,S12,…,S55の位置に特徴点Teが存在するか否かの推定結果の時間変化を示す。時刻t0〜t7は1情報処理サイクル毎の時刻を示す。図25(b)に示すように、時刻t0において、次の情報処理サイクルである時刻tとなった場合にスポット光S11,S55の位置に特徴点Teがないと推定され、スポット光S12の位置には特徴点Teがあると推定されている。投光器11は、図25(b)に示すように、次の現サイクルの時刻t1において、特徴点Teがあると推定された位置のスポット光S11,S55を消灯し、特徴点Teがないと推定された位置のスポット光S12を選択的に点灯する。同様に、時刻t1〜t6において次の投光器11は、次の情報処理サイクルの時刻t2〜t7における特徴点Teがスポット光の位置にあるか推定する。そして、次の情報処理サイクルの時刻t2〜t7において、特徴点Teがあると推定された位置のスポットを消灯し、特徴点Teがないと推定された位置のスポット光を選択的に点灯する。
次に、図26を参照して第2実施形態に係る自己位置算出方法のステップS01の詳細を説明する。ステップS201において、車両挙動検出部14が、車速及びヨーレートを検出する。ステップS202において、パターン光制御部26が、車両挙動検出部14により検出された車速及びヨーレートに基づいて、前の情報処理サイクルで検出できた特徴点Teの移動量及び移動方向を推定し、更には現在の情報処理サイクルにおける特徴点Teの位置を推定する。ステップS203において、パターン光制御部26が、特徴点Teの推定位置とスポット光S11,S12,…,S55の位置が重なるか判定する。投光器11は、パターン光制御部26による判定の結果、特徴点Teの推定位置と重なると判定された位置のスポット光を消灯し、特徴点Teの推定位置とは重ならないと判定された位置のスポット光のみ選択的に投光する。
[変形例]
次に、特徴点Teの移動方向に応じて、パターン光の位置を設定する場合の変形例を説明する。パターン光制御部26は、図27に示すように、車幅方向(左右)に4分割され、特徴点Teの移動方向42にそれぞれ延伸するパターン光投光領域A,B,C,Dを設定する。図27に特徴点Teの移動方向42を示すように、特徴点Teはカメラ12により取得された画像に映り込んだ後、主に一方向に移動して画像から外れていく。そこで、特徴点Teが画像に映り込む側に特徴点増減予測エリアを設け、前の情報処理サイクルにおいて特徴点増減予測エリアに特徴点が存在するか否かを判断することにより、現在の情報処理サイクルにおいて特徴点Teが減少しそうな領域を狙って投光する。
例えば、パターン光制御部26は、図28(a)に示すように、撮像領域30内の上部に特徴点増減予測エリアa〜dを設定する。特徴点増減予測エリアa〜dは、パターン光投光領域A〜Dにそれぞれ対応しており、車幅方向においてパターン光投光領域A〜Dのそれぞれと同じ位置にある。パターン光制御部26は、各特徴点増減予測エリアa〜dに特徴点Teが存在するか判定し、特徴点増減予測エリアa,cには特徴点Teが存在しないと判定する。投光器11は、図28(b)に示すように、特徴点増減予測エリアa,cと同列のパターン光選択領域A,Cに選択的に投光する。なお、各特徴点増減予測エリアa〜d内の特徴点Teの有無を判定する代わりに、各特徴点増減予測エリアa〜d毎に特徴点Teをカウントし、特徴点Teの相対的に少ない領域に投光してもよい。
図29(a)に、パターン光選択領域A〜Dの投光フラグの時間変化を示し、図29(b)に、特徴点増減予測エリアa〜dに特徴点Teが存在するかの判定結果の時間変化を示す。時刻t0〜t7は1情報処理サイクル毎の時刻を示す。図29(b)に示すように、時刻t0において、特徴点増減予測エリアa,dには特徴点Teが存在せず、特徴点増減予測エリアb,cに特徴点Teが存在したと判定されている。図29(a)に示すように、次の情報処理サイクルの時刻t1において、投光器11は、前の情報処理サイクルにおいて特徴点Teが存在しないと判定された特徴点増減予測エリアa,dと同列のパターン光投光領域A,Dに選択的に投光する。同様に、パターン光制御部26は、時刻t2〜t7において、前の情報処理サイクルの時刻t1〜t6において特徴点Teが存在しないと判定された特徴点増減予測エリアに対応するパターン光投光領域に選択的に投光する。
[第2実施形態の効果]
第2実施形態によれば、複数のパターン光投光領域(スポット光)S11,S12,…,S55のうち、特徴点Teの検出状態に応じて特定のパターン光投光領域に選択的に投光することにより、スポット光S11,S12,…,S55と区別して特徴点Teを容易に判別することができる。したがって、車両10の自己位置を精度よく算出することができる。
また、特徴点Teの移動方向に基づいて特徴点Teの現在の位置を推定し、パターン光投光領域(スポット光)S11,S12,…,S55の位置を設定することにより、現在の情報処理サイクルにおけるスポット光S11,S12,…,S55と特徴点Teとの重なりをより低減することができる。
(その他の実施の形態)
以上、第1及び第2実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。
例えば、図30を参照して、ステップS05のパターン光から路面に対する距離及び姿勢を算出する処理を必要な場合のみ実行する一例を説明する。図30のステップS301において、ECU13が、ステップS05の処理を実行するか否か、即ち、路面に対する距離及び姿勢を算出するか否かを場合分けする。ステップS05のパターン光の位置から路面に対する距離及び姿勢角を算出する処理を実行する場合には、ステップS301に進み、パターン制御部26が、前の情報処理サイクルにおいて、各パターン光投光領域で検出できた特徴点Teの数をカウントする。そして、ステップS302において、投光器11が、例えば、検出できた特徴点Teが最も少ないパターン光投光領域に選択的にパターン光を投光する。その後、図11のステップS03に進む。一方、ステップS301でステップS05のパターン光の位置から路面に対する距離及び姿勢角を算出する処理を実行しない場合には、ステップS304に進み、投光器11はパターン光を消灯する。そして、ステップS305において、カメラ12が画像を取得した後、図11のステップS07の手順に進む。
10 車両
11 投光器
12 カメラ(撮像部)
13 ECU
21 パターン光抽出部
22 姿勢角算出部
23 特徴点検出部
24 姿勢変化量算出部
25 自己位置算出部
26 パターン光制御部
31 路面
32a、32b パターン光
A,B,C,D,S11〜S55 パターン光投光領域
Te 特徴点
【0002】
算出装置及び自己位置算出方法を提供することを目的とする。
[0007]
本発明の第一の態様に係る自己位置算出装置は、車両周囲の路面にパターン光を投光し、パターン光が投光された領域を含む車両周囲の路面を撮像して画像を取得し、取得した画像におけるパターン光の位置から路面に対する車両の姿勢角を算出し、取得した画像から、路面上の複数の特徴点を検出し、検出された路面上の複数の特徴点の時間変化に基づいて、車両の姿勢変化量を算出し、路面に対する車両の初期位置及び姿勢角に姿勢変化量を加算してゆくことによって車両の現在位置及び姿勢角を算出し、パターン光を投光するときには、特徴点検出部での路面の特徴点の検出状態に応じて、複数のパターン光投光領域のうちの特定のパターン光投光領域に選択的にパターン光を投光する。
図面の簡単な説明
[0008]
[図1]図1は、第1実施形態に係る自己位置算出装置の全体構成を示すブロック図である。
[図2]図2は、投光器及びカメラを車両に搭載する方法の一例を示す外観図である。
[図3]図3(a)は、投光器とカメラを用いてスポット光が照射された路面上の位置を算出する様子を示す図であり、図3(b)は、パターン光が照射された領域とは異なる領域で検出された特徴点の時間変化からカメラの移動方向を求める様子を示す図である。
[図4]図4は、カメラで取得した画像に二値化処理を施したパターン光の画像を示す図であり、図4(a)はパターン光全体を示す図であり、図4(b)は1つのスポット光を拡大して示す図であり、図4(c)はスポット光の重心位置を示す図である。
[図5]図5は、距離及び姿勢角の変化量を算出する方法を説明するための模式図である。
[図6]図6は、画像上に検出された特徴点を示す図であり、図6(a)は時刻tに取得した第1フレーム(画像)を示す図であり、図6(b)は時刻t+
図25(a)に、スポット光S11,S12,…,S55の投光フラグの時間変化を示し、図25(b)に、スポット光S11,S12,…,S55の位置に特徴点Teが存在するか否かの推定結果の時間変化を示す。時刻t0〜t7は1情報処理サイクル毎の時刻を示す。図25(b)に示すように、時刻t0において、次の情報処理サイクルである時刻t1となった場合にスポット光S11,S55の位置に特徴点Teがないと推定され、スポット光S12の位置には特徴点Teがあると推定されている。投光器11は、図25(a)に示すように、次の情報処理サイクルの時刻t1において、特徴点Teがあると推定された位置のスポット光S12を消灯し、特徴点Teがないと推定された位置のスポット光S11,S55を選択的に点灯する。同様に、時刻t1〜t6においてパターン制御部26は、次の情報処理サイクルの時刻t2〜t7における特徴点Teがスポット光の位置にあるか推定する。そして、次の情報処理サイクルの時刻t2〜t7において、特徴点Teがあると推定された位置のスポットを消灯し、特徴点Teがないと推定された位置のスポット光を選択的に点灯する。
例えば、図30を参照して、ステップS05のパターン光から路面に対する距離及び姿勢を算出する処理を必要な場合のみ実行する一例を説明する。図30のステップS301において、ECU13が、ステップS05の処理を実行するか否か、即ち、路面に対する距離及び姿勢を算出するか否かを場合分けする。ステップS05のパターン光の位置から路面に対する距離及び姿勢角を算出する処理を実行する場合には、ステップS302に進み、パターン制御部26が、前の情報処理サイクルにおいて、各パターン光投光領域で検出できた特徴点Teの数をカウントする。そして、ステップS303において、投光器11が、例えば、検出できた特徴点Teが最も少ないパターン光投光領域に選択的にパターン光を投光する。その後、図11のステップS03に進む。一方、ステップS301でステップS05のパターン光の位置から路面に対する距離及び姿勢角を算出する処理を実行しない場合には、ステップS304に進み、投光器11はパターン光を消灯する。そして、ステップS305において、カメラ12が画像を取得した後、図11のステップS07の手順に進む。

Claims (6)

  1. 車両周囲の路面にパターン光を投光する投光器と、
    前記車両に搭載され、前記パターン光が投光された領域を含む車両周囲の路面を撮像して画像を取得する撮像部と、
    前記撮像部で取得した画像における前記パターン光の形から前記路面に対する車両の姿勢角を算出する姿勢角算出部と、
    前記撮像部で取得した画像から、前記路面上の複数の特徴点を検出する特徴点検出部と、
    前記特徴点検出部により検出された路面上の複数の特徴点の時間変化に基づいて、前記車両の姿勢変化量を算出する姿勢変化量算出部と、
    前記路面に対する車両の初期位置及び姿勢角に前記姿勢変化量を加算してゆくことによって前記車両の現在位置及び姿勢角を算出する自己位置算出部
    とを備え、
    前記投光器は、前記特徴点検出部での路面の特徴点の検出状態に応じて、複数のパターン光投光領域のうちの特定のパターン光投光領域に選択的にパターン光を投光することを特徴とする自己位置算出装置。
  2. 前記複数のパターン光投光領域が、前記特徴点の移動方向に延伸する縦縞模様に分割され、それぞれ交互に組み合わせており、
    前記投光器は、前記複数のパターン光投光領域のうち、前記特徴点の検出数が相対的に少ない領域にパターン光を投光する
    ことを特徴とする請求項1に記載の自己位置算出装置。
  3. 前記複数のパターン光投光領域が車幅方向で2分割されており、
    前記投光器は、前記複数のパターン光投光領域のうち、前記特徴点の検出数が相対的に少ない一方に投光する
    ことを特徴とする請求項1に記載の自己位置算出装置。
  4. 前記投光器は、前記特徴点の検出位置に応じた位置にパターン光を投光することを特徴とする請求項1〜3のいずれか1項に記載の自己位置算出装置。
  5. 前記投光器は、前記特徴点の移動方向に応じた位置にパターン光を投光することを特徴とする請求項1に記載の自己位置算出装置。
  6. 車両周囲の路面にパターン光を投光する手順と、
    前記パターン光が投光された領域を含む車両周囲の路面を撮像して画像を取得する手順と、
    前記取得した画像における前記パターン光の形から前記路面に対する車両の姿勢角を算出する手順と、
    前記取得した画像から、前記路面上の複数の特徴点を検出する手順と、
    前記検出された路面上の複数の特徴点の時間変化に基づいて、前記車両の姿勢変化量を算出する手順と、
    前記路面に対する車両の初期位置及び姿勢角に前記姿勢変化量を加算してゆくことによって前記車両の現在位置及び姿勢角を算出する手順
    とを含み、
    前記パターン光を投光する手順は、前記路面の特徴点の検出状態に応じて、複数のパターン光投光領域のうちの特定のパターン光投光領域に選択的にパターン光を投光することを特徴とする自己位置算出方法。
JP2016503900A 2014-02-24 2014-02-24 自己位置算出装置及び自己位置算出方法 Active JP6187672B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/054317 WO2015125301A1 (ja) 2014-02-24 2014-02-24 自己位置算出装置及び自己位置算出方法

Publications (2)

Publication Number Publication Date
JPWO2015125301A1 true JPWO2015125301A1 (ja) 2017-03-30
JP6187672B2 JP6187672B2 (ja) 2017-08-30

Family

ID=53877834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016503900A Active JP6187672B2 (ja) 2014-02-24 2014-02-24 自己位置算出装置及び自己位置算出方法

Country Status (8)

Country Link
US (1) US9778029B2 (ja)
EP (1) EP3113150B1 (ja)
JP (1) JP6187672B2 (ja)
CN (1) CN106030680B (ja)
BR (1) BR112016019593B1 (ja)
MX (1) MX349166B (ja)
RU (1) RU2621826C1 (ja)
WO (1) WO2015125301A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6299319B2 (ja) * 2014-03-25 2018-03-28 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
CN110682854B (zh) * 2015-04-10 2023-04-18 麦克赛尔株式会社 车辆
GB2548827B (en) * 2016-03-25 2020-09-23 Jaguar Land Rover Ltd Apparatus, system, method and computer program for providing lighting of a vehicle
JP6601352B2 (ja) * 2016-09-15 2019-11-06 株式会社デンソー 車両姿勢推定装置
GB201700071D0 (en) * 2017-01-04 2017-02-15 Yarwood Michael S Vehicle safety systems
EP3663882B1 (en) * 2017-08-04 2022-06-22 Sony Group Corporation Information processing device, information processing method, program and mobile unit
WO2019026715A1 (ja) * 2017-08-04 2019-02-07 ソニー株式会社 制御装置、および制御方法、プログラム、並びに移動体
US10890918B2 (en) 2019-04-24 2021-01-12 Innovation First, Inc. Performance arena for robots with position location system
DE102020101710B4 (de) 2020-01-24 2021-09-02 Audi Aktiengesellschaft Verfahren zur Beleuchtung eines Fahrzeugumfeldes und Kraftfahrzeug
CN112288799A (zh) * 2020-09-22 2021-01-29 上海擎朗智能科技有限公司 一种行驶设备的定位方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325298A (ja) * 1993-05-13 1994-11-25 Yazaki Corp 車両周辺監視装置
JP2004198212A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2007256090A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 車両用環境認識装置及び車両用環境認識方法
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
WO2012172870A1 (ja) * 2011-06-14 2012-12-20 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP2013147114A (ja) * 2012-01-18 2013-08-01 Toyota Motor Corp 周辺環境取得装置およびサスペンション制御装置
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3414213A (en) * 1966-05-13 1968-12-03 Bendix Corp Internal reflection temperature controlled sun sensor
RU2247921C2 (ru) * 2002-06-26 2005-03-10 Анцыгин Александр Витальевич Способ ориентирования на местности и устройство для его осуществления
JP4780614B2 (ja) 2006-04-10 2011-09-28 アルパイン株式会社 車体挙動測定装置
JP4914726B2 (ja) 2007-01-19 2012-04-11 クラリオン株式会社 現在位置算出装置、現在位置算出方法
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
BR112013015663A2 (pt) * 2010-12-22 2016-10-11 Konink Philips Eletronics N V sistema para orientar um motorista de um veículo e método de orientação de um motorista de um veículo
JP5857224B2 (ja) * 2012-03-30 2016-02-10 パナソニックIpマネジメント株式会社 駐車支援装置、及び駐車支援方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325298A (ja) * 1993-05-13 1994-11-25 Yazaki Corp 車両周辺監視装置
JP2004198212A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2007256090A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 車両用環境認識装置及び車両用環境認識方法
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
WO2012172870A1 (ja) * 2011-06-14 2012-12-20 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP2013147114A (ja) * 2012-01-18 2013-08-01 Toyota Motor Corp 周辺環境取得装置およびサスペンション制御装置
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム

Also Published As

Publication number Publication date
US20170018087A1 (en) 2017-01-19
EP3113150A4 (en) 2017-04-19
WO2015125301A1 (ja) 2015-08-27
RU2621826C1 (ru) 2017-06-07
MX2016010741A (es) 2016-10-26
EP3113150B1 (en) 2018-06-27
CN106030680B (zh) 2017-09-19
MX349166B (es) 2017-07-17
US9778029B2 (en) 2017-10-03
BR112016019593A2 (ja) 2017-08-15
EP3113150A1 (en) 2017-01-04
JP6187672B2 (ja) 2017-08-30
BR112016019593B1 (pt) 2022-06-07
CN106030680A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
JP6187672B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6237876B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6187671B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6176387B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6237875B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6237874B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6269838B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6547362B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6398218B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6398217B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6492974B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6299319B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6459701B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6369898B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6459745B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6398219B2 (ja) 自己位置算出装置及び自己位置算出方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170717

R151 Written notification of patent or utility model registration

Ref document number: 6187672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151