JP6886136B2 - Alignment device, alignment method and computer program for alignment - Google Patents
Alignment device, alignment method and computer program for alignment Download PDFInfo
- Publication number
- JP6886136B2 JP6886136B2 JP2016070811A JP2016070811A JP6886136B2 JP 6886136 B2 JP6886136 B2 JP 6886136B2 JP 2016070811 A JP2016070811 A JP 2016070811A JP 2016070811 A JP2016070811 A JP 2016070811A JP 6886136 B2 JP6886136 B2 JP 6886136B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- line segment
- range
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、互いに異なる方向に向けられた車載の複数のカメラにより撮影された画像上の線分同士を対応付ける位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラムに関する。 The present invention relates to an alignment device, an alignment method, and an alignment computer program for associating line segments on images taken by a plurality of in-vehicle cameras oriented in different directions.
近年、運転支援などの目的で、車両には、1台以上のカメラが取り付けられることがある。このような場合、カメラにより得られた画像を有効に利用するために、異なるカメラにより生成された複数の画像間で、あるいは、異なる位置で同一のカメラにより生成された複数の画像間で、実空間上の同一の点あるいは線に対応する画像上の特徴点または線分同士を対応付けることが提案されている(例えば、特許文献1及び非特許文献1〜3を参照)。 In recent years, one or more cameras may be attached to a vehicle for the purpose of driving assistance or the like. In such a case, in order to effectively utilize the image obtained by the camera, it is actually between a plurality of images generated by different cameras or between a plurality of images generated by the same camera at different positions. It has been proposed to associate feature points or line segments on an image corresponding to the same point or line in space with each other (see, for example, Patent Document 1 and Non-Patent Documents 1 to 3).
例えば、特許文献1には、路面上にある、マンホールの蓋の中心、白線の端部などの特徴点を、移動体の直進時における移動前後の移動体に取り付けられたカメラにより撮影された画像間で、物体追跡処理を用いて対応付けることが提案されている。 For example, in Patent Document 1, a feature point on a road surface, such as the center of a manhole cover and the end of a white line, is captured by a camera attached to the moving body before and after the moving body when the moving body goes straight. It has been proposed to associate between them using object tracking processing.
また、非特許文献1には、車両に搭載された前方を写すカメラと左側または右側を写すカメラ間で、連続する二つのフレームについてSURF特徴を抽出し、照合することが記載されている。さらに、非特許文献2には、一方の画像上の特徴点周囲の領域をワーピングにより変形させて、対応付けを行う他方の画像上での対応点を検出することが提案されている。さらにまた、非特許文献3には、環境地図の作成(Simultaneous Localization and Mapping,SLAM)を実行するために、異なるフレームのそれぞれから検出された線分同士を対応付けることが提案されている。
Further, Non-Patent Document 1 describes that SURF features are extracted and collated for two consecutive frames between a camera mounted on a vehicle that captures the front and a camera that captures the left or right side. Further, Non-Patent Document 2 proposes that a region around a feature point on one image is deformed by warping to detect a corresponding point on the other image to be associated. Furthermore, Non-Patent
特許文献1に開示された技術では、二つの画像間での対応付けが行われるのは、路面上の点に限られている。しかしながら、用途によっては、路面以外の点に相当する特徴点同士を画像間で対応付けることが要求されることもある。 In the technique disclosed in Patent Document 1, the correspondence between the two images is limited to the point on the road surface. However, depending on the application, it may be required to associate feature points corresponding to points other than the road surface between images.
また、非特許文献1〜3に開示された技術では、実空間の同じ位置を撮影した二つの画像のそれぞれについて、その位置を見る視点が異なっているために、画像上でもその位置の見え方が異なっている。そのため、特徴点あるいは線分の対応付けに関して、十分な精度が得られないおそれがあった。 Further, in the techniques disclosed in Non-Patent Documents 1 to 3, each of two images taken at the same position in the real space has different viewpoints for viewing the position, so that the position can be seen on the image. Is different. Therefore, there is a possibility that sufficient accuracy cannot be obtained for associating feature points or line segments.
そこで、本発明は、車両に搭載された複数のカメラのそれぞれにより生成された画像間で、実空間上の同じ構造物の線に対応する画像上の線分同士の対応付けの精度を向上できる位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラムを提供することを目的とする。 Therefore, the present invention can improve the accuracy of associating line segments on an image corresponding to lines of the same structure in real space between images generated by each of a plurality of cameras mounted on a vehicle. It is an object of the present invention to provide an alignment device, an alignment method, and a computer program for alignment.
請求項1の記載によれば、本発明の一つの形態として、位置合わせ装置が提供される。係る位置合わせ装置は、車両(10)に対して第1の方向を向くように取り付けられた第1の撮像部(2−2)により第1の時刻において生成された第1の画像から、少なくとも一つの第1の線分を抽出する線分抽出部(21)と、第1の画像上の第1の線分を含むマッチング範囲に対応する、実空間上の第1の領域を、車両(10)と車両(10)の周囲の構造物の位置関係を規定する所定の条件に従って特定し、第1の領域を、車両(10)に対して第1の方向と異なる第2の方向を向くように取り付けられた第2の撮像部(2−1)により、第1の時刻と異なる第2の時刻において生成された第2の画像上に投影することで、マッチング範囲に対応する第2の画像上の範囲を特定する投影部(22)と、第2の画像上の所定の探索範囲内で、マッチング範囲に対応する第2の画像上の範囲の相対的な位置を変えながらマッチング範囲と第2の画像間でブロックマッチングを行うことで、マッチング範囲と最も類似する領域を特定し、その最も類似する領域内の線分を第1の線分に対応する第2の線分とする対応付け部(23)とを有する。
本発明に係る位置合わせ装置は、上記の構成を有することにより、車両に搭載された複数のカメラのそれぞれにより生成された画像間で、実空間上の同じ構造物の線に対応する画像上の線分同士の対応付けの精度を向上できる。
According to the description of claim 1, as one embodiment of the present invention, an alignment device is provided. The alignment device is at least from the first image generated at the first time by the first imaging unit (2-2) mounted so as to face the vehicle (10) in the first direction. A vehicle (a line segment extraction unit (21) for extracting one first line segment and a first region in real space corresponding to a matching range including the first line segment on the first image are used as a vehicle (a vehicle (21). The first region is oriented in a second direction different from the first direction with respect to the vehicle (10) by specifying according to a predetermined condition that defines the positional relationship between the structure 10) and the structure around the vehicle (10). By projecting onto the second image generated at the second time different from the first time by the second image pickup unit (2-1) attached as described above, the second image corresponding to the matching range is supported. The matching range and the projection unit (22) that specifies the range on the image and the matching range while changing the relative position of the range on the second image corresponding to the matching range within a predetermined search range on the second image. By performing block matching between the second images, the area most similar to the matching range is specified, and the line segment in the most similar area is set as the second line segment corresponding to the first line segment. It has an attachment portion (23).
By having the above configuration, the alignment device according to the present invention has an image corresponding to a line segment of the same structure in real space between images generated by each of a plurality of cameras mounted on a vehicle. The accuracy of associating line segments with each other can be improved.
また請求項2の記載によれば、所定の条件は、マッチング範囲に対応する第1の領域が車両(10)の直進方向と平行でかつ路面に垂直な面上、または路面上に有るとする条件であることが好ましい。
これにより、位置合わせ装置は、マッチング範囲に対応する第2の画像上の範囲を適切に決定できる。
Further, according to the description of claim 2, the predetermined condition is that the first region corresponding to the matching range is on a plane parallel to the straight-ahead direction of the vehicle (10) and perpendicular to the road surface, or on the road surface. It is preferable that the conditions are met.
Thereby, the alignment device can appropriately determine the range on the second image corresponding to the matching range.
あるいは、請求項3の記載によれば、所定の条件は、マッチング範囲に対応する第1の領域が、第1の時刻における車両(10)の位置と第2の時刻における車両(10)の位置間にける、車両(10)が走行する道路の何れかの位置での道路と平行でかつ路面に垂直な面上にあるとする条件であることが好ましい。
これにより、位置合わせ装置は、第1の時刻と第2の時刻の間で車両が道路に沿って曲線状に移動していても、マッチング範囲に対応する第2の画像上の範囲を適切に決定できる。
Alternatively, according to the description of
As a result, the alignment device appropriately covers the range on the second image corresponding to the matching range even if the vehicle moves in a curved line along the road between the first time and the second time. Can be decided.
さらに、請求項4の記載によれば、投影部(22)は、車両(10)に搭載された車両(10)の移動量または速度を検知するセンサから取得したセンサ情報に基づいて求められた、第1の時刻と第2の時刻間の車両(10)の移動量に基づいて、第1の撮像部を基準とする座標系における第1の領域の座標を第2の撮像部を基準とする第1の領域の座標に変換し、変換された第1の領域の座標を第2の画像上へ投影することで、マッチング範囲に対応する第2の画像上の範囲を特定することが好ましい。
これにより、位置合わせ装置は、二つの画像の生成時刻間で車両が移動していても、マッチング範囲に対応する第2の画像上の範囲を適切に特定できる。
Further, according to the description of claim 4, the projection unit (22) is obtained based on the sensor information acquired from the sensor that detects the movement amount or the speed of the vehicle (10) mounted on the vehicle (10). , Based on the amount of movement of the vehicle (10) between the first time and the second time, the coordinates of the first region in the coordinate system based on the first imaging unit are referred to the second imaging unit. It is preferable to specify the range on the second image corresponding to the matching range by converting to the coordinates of the first region to be processed and projecting the converted coordinates of the first region onto the second image. ..
Thereby, the alignment device can appropriately identify the range on the second image corresponding to the matching range even if the vehicle is moving between the generation times of the two images.
さらに、請求項5の記載によれば、投影部(22)は、第2の撮像部(2−1)により互いに異なる時刻で生成された複数の画像のうち、その画像について求められたマッチング範囲に対応する範囲がその画像内に含まれる場合、その画像を第2の画像とすることが好ましい。
これにより、位置合わせ装置は、線分同士の対応付けを行う第2の画像を適切に決定できる。
Further, according to the description of claim 5, the projection unit (22) has a matching range obtained for the image among a plurality of images generated by the second image pickup unit (2-1) at different times. When the range corresponding to is included in the image, it is preferable to use the image as the second image.
As a result, the alignment device can appropriately determine the second image in which the line segments are associated with each other.
さらに、請求項6の記載によれば、投影部(22)は、第2の撮像部(2−1)により互いに異なる時刻で生成された複数の画像のうち、その画像が生成された時刻と第1の時刻間の車両(10)の移動量が所定範囲となる画像を第2の画像とすることが好ましい。
これにより、位置合わせ装置は、線分同士の対応付けを行う第2の画像を、簡単な演算で適切に決定できる。
Further, according to the description of claim 6, the projection unit (22) is set to the time when the image is generated among the plurality of images generated by the second imaging unit (2-1) at different times. It is preferable that the second image is an image in which the amount of movement of the vehicle (10) during the first time is within a predetermined range.
As a result, the alignment device can appropriately determine the second image in which the line segments are associated with each other by a simple calculation.
さらに、請求項7の記載によれば、位置合わせ装置は、第1の画像上で路面が写っている領域を検出する路面検出部をさらに有し、投影部(22)は、第1の線分が路面が写っている領域に含まれる場合、マッチング範囲に対応する第1の領域が路面上に有るとして特定することが好ましい。
これにより、位置合わせ装置は、マッチング範囲に対応する実空間上の領域をより適切に設定できる。
Further, according to the description of claim 7, the alignment device further includes a road surface detection unit that detects a region in which the road surface is reflected on the first image, and the projection unit (22) is a first line segment. When the line segment is included in the area where the road surface is reflected, it is preferable to specify that the first area corresponding to the matching range is on the road surface.
As a result, the alignment device can more appropriately set the area in the real space corresponding to the matching range.
さらに、請求項8の記載によれば、位置合わせ装置は、第1の線分と第2の線分に対応する線分を地図上に書き込むことで地図を作成する地図作成部(24)をさらに有することが好ましい。
これにより、位置合わせ装置は、SLAMを実現することができる。
Further, according to the description of claim 8, the alignment device includes a map creation unit (24) that creates a map by writing the line segments corresponding to the first line segment and the second line segment on the map. It is preferable to have more.
As a result, the alignment device can realize SLAM.
また請求項9の記載によれば、本発明の他の形態として、位置合わせ方法が提供される。係る位置合わせ方法は、車両(10)に対して第1の方向を向くように取り付けられた第1の撮像部(2−2)により第1の時刻において生成された第1の画像から、少なくとも一つの第1の線分を抽出するステップと、第1の画像上の第1の線分を含むマッチング範囲に対応する、実空間上の第1の領域を、車両(10)と車両(10)の周囲の構造物の位置関係を規定する所定の条件に従って特定し、第1の領域を、車両(10)に対して第1の方向と異なる第2の方向を向くように取り付けられた第2の撮像部(2−1)により、第1の時刻と異なる第2の時刻において生成された第2の画像上に投影することで、マッチング範囲に対応する第2の画像上の範囲を特定するステップと、第2の画像上の所定の探索範囲内で、マッチング範囲に対応する第2の画像上の範囲の相対的な位置を変えながらマッチング範囲と第2の画像間でブロックマッチングを行うことで、マッチング範囲と最も類似する領域を特定し、その最も類似する領域内の線分を第1の線分に対応する第2の線分とするステップと、を含む。
本発明に係る位置合わせ方法は、上記のステップを有することにより、車両に搭載された複数のカメラのそれぞれにより生成された画像間で、実空間上の同じ構造物の線に対応する画像上の線分同士の対応付けの精度を向上できる。
Further, according to the description of claim 9, as another embodiment of the present invention, an alignment method is provided. Such an alignment method is at least from the first image generated at the first time by the first imaging unit (2-2) mounted so as to face the vehicle (10) in the first direction. The vehicle (10) and the vehicle (10) are the first regions in real space that correspond to the step of extracting one first line and the matching range including the first line on the first image. ) Is specified according to a predetermined condition that defines the positional relationship of the surrounding structures, and the first region is attached so as to face the vehicle (10) in a second direction different from the first direction. By projecting onto a second image generated at a second time different from the first time by the imaging unit (2-1) of 2, the range on the second image corresponding to the matching range is specified. And within a predetermined search range on the second image, block matching is performed between the matching range and the second image while changing the relative position of the range on the second image corresponding to the matching range. This includes a step of identifying a region most similar to the matching range and making the line segment in the most similar region a second line segment corresponding to the first line segment.
The alignment method according to the present invention has the above steps so that between the images generated by each of the plurality of cameras mounted on the vehicle, on the image corresponding to the line of the same structure in the real space. The accuracy of associating line segments with each other can be improved.
また請求項10の記載によれば、本発明の他の形態として、位置合わせ用コンピュータプログラムが提供される。係る位置合わせ用コンピュータプログラムは、車両(10)に対して第1の方向を向くように取り付けられた第1の撮像部(2−2)により第1の時刻において生成された第1の画像から、少なくとも一つの第1の線分を抽出するステップと、第1の画像上の第1の線分を含むマッチング範囲に対応する、実空間上の第1の領域を、車両(10)と車両(10)の周囲の構造物の位置関係を規定する所定の条件に従って特定し、第1の領域を、車両(10)に対して第1の方向と異なる第2の方向を向くように取り付けられた第2の撮像部(2−1)により、第1の時刻と異なる第2の時刻において生成された第2の画像上に投影することで、マッチング範囲に対応する第2の画像上の範囲を特定するステップと、第2の画像上の所定の探索範囲内で、マッチング範囲に対応する第2の画像上の範囲の相対的な位置を変えながらマッチング範囲と第2の画像間でブロックマッチングを行うことで、マッチング範囲と最も類似する領域を特定し、その最も類似する領域内の線分を第1の線分に対応する第2の線分とするステップと、をコンピュータに実行させるための命令を含む。
本発明に係る位置合わせ用コンピュータプログラムは、上記の命令を有することにより、車両に搭載された複数のカメラのそれぞれにより生成された画像間で、実空間上の同じ構造物の線に対応する画像上の線分同士の対応付けの精度を向上できる。
Further, according to
By having the above instructions, the alignment computer program according to the present invention has an image corresponding to a line segment of the same structure in real space between images generated by each of a plurality of cameras mounted on a vehicle. The accuracy of associating the above line segments with each other can be improved.
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。 The reference numerals in parentheses attached to the above parts are examples showing the correspondence with the specific means described in the embodiments described later.
以下、図を参照しつつ、一つの実施形態による、位置合わせ装置について説明する。
この位置合わせ装置は、車両に搭載され、異なる方向に向けられた二つのカメラのそれぞれにより、互いに異なるタイミングで生成された二つの画像間で、実空間上の同一の構造物の線(構造物の形状による線だけでなく、構造物上に描画された図形または文字などによる線も含む)に対応する画像上の線分同士を対応付ける。その際、この位置合わせ装置は、一方のカメラにより生成された画像から抽出された線分の周囲に設定される、ブロックマッチング用の領域であるパッチに対応する実空間上の領域を、Manhattan-World仮説に基づいて設定し、その実空間上の領域を他方のカメラにより生成された画像上に投影して他方の画像上でのブロックマッチングの対象領域を特定することで、線分同士の対応付けの精度を向上するとともに、演算量の削減を図る。
Hereinafter, the alignment device according to one embodiment will be described with reference to the drawings.
This alignment device is a line segment (structure) of the same structure in real space between two images generated at different timings by two cameras mounted on a vehicle and pointed in different directions. The line segments on the image corresponding to (including not only the lines based on the shape of) but also the lines drawn on the structure such as figures or characters are associated with each other. At that time, this alignment device sets a real space area corresponding to a patch, which is a block matching area, set around a line segment extracted from an image generated by one camera. By setting based on the World hypothesis and projecting the area in the real space onto the image generated by the other camera to specify the target area for block matching on the other image, the line segments can be associated with each other. The accuracy of the camera is improved and the amount of calculation is reduced.
図1は、一つの実施形態による位置合わせ装置の概略構成図である。図1に示すように、位置合わせ装置1は、車両10に搭載され、カメラ2−1及び2−2、慣性計測装置(IMU)3、車輪速センサ4、及び電子制御ユニット(ECU)5と、コントロールエリアネットワーク(以下、CANという)6を介して互いに接続されている。なお、図1では、説明の都合のため、位置合わせ装置1など、車両10に搭載されている各構成要素及び車両10の形状、サイズ及び配置は、実際のものとは異なっている。
FIG. 1 is a schematic configuration diagram of an alignment device according to one embodiment. As shown in FIG. 1, the alignment device 1 is mounted on the
カメラ2−1、2−2は、それぞれ、撮像部の一例である。本実施形態では、カメラ2−1、2−2は、それぞれ、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ2−1は、結像光学系の光軸が地面に対して略平行となり、かつ車両10の前方を向くように、例えば、車両10の車室内に取り付けられる。そしてカメラ2−1は、所定の撮影周期(例えば1/30秒)ごとに車両10の前方領域を撮影し、その前方領域が写った画像を生成する。一方、カメラ2−2は、結像光学系の光軸が地面に対して略平行となり、かつ車両10の後方を向くように、車両10の後端部に取り付けられる。そしてカメラ2−2は、所定の撮影周期ごとに車両10の後方領域を撮影し、その後方領域が写った画像を生成する。カメラ2−1、2−2により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。
Cameras 2-1 and 2-2 are examples of imaging units, respectively. In the present embodiment, the cameras 2-1 and 2-2 are a two-dimensional detector composed of an array of photoelectric conversion elements having sensitivity to visible light such as CCD or C-MOS, respectively, and the two-dimensional detector thereof. It has an imaging optical system on top that forms an image of the region to be imaged. The camera 2-1 is mounted in, for example, the interior of the
カメラ2−1、2−2は、それぞれ、画像を生成する度に、その生成した画像を位置合わせ装置1へ出力する。 Each time the cameras 2-1 and 2-2 generate an image, the cameras 2-1 and 2-2 output the generated image to the alignment device 1.
位置合わせ装置1は、記憶部11と、通信部12と、制御部13とを有する。
記憶部11は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部11は、位置合わせ装置1を制御するための各種プログラム、及び、位置合わせ処理で利用される各種の情報、カメラ2−1またはカメラ2−2により生成された画像、及び制御部13による一時的な演算結果などを記憶する。
The positioning device 1 includes a
The
通信部12は、カメラ2−1、2−2、IMU3、車輪速センサ4、及びECU5などとCAN6を通じて通信する通信インターフェース及びその制御回路を有する。そして通信部12は、カメラ2−1、2-2から画像を受け取り、その画像を制御部13へ渡す。また通信部12は、位置合わせ処理を実行する周期ごとに、IMU3から、車両10の速度及び移動量などを表すオドメトリ情報を取得したり、あるいは、車輪速センサ4から車輪速を取得して、制御部13へ渡す。
The
制御部13は、1個もしくは複数個の図示してないプロセッサ及びその周辺回路を有する。そして制御部13は、位置合わせ装置1全体を制御する。
図2に、制御部13の機能ブロック図を示す。図2に示すように、制御部13は、線分抽出部21と、投影部22と、対応付け部23と、地図作成部24とを有する。制御部13が有するこれらの各部は、例えば、制御部13が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
The
FIG. 2 shows a functional block diagram of the
本実施形態では、制御部13は、ある時刻n(ここでは、フレーム間隔を単位とする時刻を表す。秒、分などを単位とする時刻については、実時刻と呼ぶ)において車両10の後方を撮影するカメラ2−2により生成された画像上の線分を、その時刻よりもkフレーム前の時刻(n-k)において車両10の前方を撮影するカメラ2−1により生成された画像上の線分と対応付ける。これは、車両10が前進している場合、車両10の後方を撮影するカメラ2−2により時刻nで撮影された範囲は、それより前の時刻(n-k)にて車両10の前方を撮影するカメラ2−1により撮影された範囲と重なる部分があると想定されるためである。
なお、以下では、説明の便宜上、カメラ2-1により生成された画像を前方画像と呼び、カメラ2−2により生成された画像を後方画像と呼ぶ。
In the present embodiment, the
In the following, for convenience of explanation, the image generated by the camera 2-1 is referred to as a front image, and the image generated by the camera 2-2 is referred to as a rear image.
線分抽出部21は、カメラ2−2から制御部13が後方画像を受け取る度に、その後方画像から、カメラ2−2の撮影領域内にある、路面、道路標識、看板、あるいは建築物といった構造物の線に対応する線分を抽出する。そのために、線分抽出部21は、例えば、線分検出器を用いて後方画像上の線分を検出する。線分抽出部21は、線分検出器として、例えば、R.G. von Gioi他、"A fast line segment detector with a false detection control"、 IEEE Transactions on Pattern Analysis & Machine Intelligence、 (4)、2008年、pp.722-732に開示されたアルゴリズムを利用できる。あるいは、線分抽出部21は、画像から線分を検出できる他の線分検出器を利用してもよい。
線分抽出部21は、後方画像ごとに、その後方画像の取得時刻とその後方画像から抽出した線分を表す後方画像上のその線分の中点の座標と向き及び長さを表すベクトルを投影部22へ渡す。
Each time the
For each rear image, the line
同様に、線分抽出部21は、カメラ2−1から制御部13が前方画像を受け取る度に、その前方画像から線分を抽出する。そして線分抽出部21は、抽出した線分の中点の座標と向き及び長さを表すベクトルを、前方画像の取得時刻とともに記憶部11に記憶する。
Similarly, the line
投影部22は、後方画像上の線分ごとに、その線分を中心とするブロックマッチング用のパッチを設定し、実空間上でそのパッチに相当する領域を特定する。そして投影部22は、実空間上でのパッチの対応領域を、後方画像よりもkフレーム前に取得された前方画像上に投影する。
この投影処理には、画像上の座標と、実空間上での座標間の変換が必要となる。そこで先ず、その変換に利用される座標系について説明する。
The
This projection process requires conversion between the coordinates on the image and the coordinates in the real space. Therefore, first, the coordinate system used for the conversion will be described.
図3は、二つのカメラのそれぞれについてのカメラ座標系と車両座標系の関係を示す図である。カメラ2-1を基準とする実空間の座標系であるカメラ座標系(以下、便宜上、前方カメラ座標系と呼ぶ)C1は、カメラ2−1の像側焦点を原点とし、車両10の直進方向をz軸、路面と平行かつz軸と直交する方向をx軸、路面に垂直な方向をy軸とする座標系である。そしてz軸について、車両10の前方へ向かう方向を正とし、x軸の正方向は右手座標系により規定される。また、カメラ2-2を基準とする実空間の座標系であるカメラ座標系(以下、便宜上、後方カメラ座標系と呼ぶ)C2は、カメラ2−2の像側焦点を原点とし、車両10の直進方向をz軸、路面と平行かつz軸と直交する方向をx軸、路面に垂直な方向をy軸とする座標系である。そしてz軸について、車両10の後方へ向かう方向を正とし、x軸の正方向は右手座標系により規定される。
FIG. 3 is a diagram showing the relationship between the camera coordinate system and the vehicle coordinate system for each of the two cameras. The camera coordinate system (hereinafter referred to as the front camera coordinate system for convenience) C1, which is a coordinate system in real space with reference to the camera 2-1 as the origin, is the straight-ahead direction of the
また、車両10を基準とする実空間の座標系である車両座標系Vは、車両10の任意の点、例えば、前側の車輪間の中点、後ろ側の車輪間の中点、あるいは前側の車輪間の中点と後ろ側の車輪間の中点との中点を原点とし、車両10の直進方向をz軸、路面と平行かつz軸と直交する方向をx軸、路面に垂直な方向をy軸とする座標系である。そしてz軸について、車両10の前方へ向かう方向を正とし、x軸の正方向は右手座標系により規定される。また、これらの座標系において、xz平面における、z軸とのなす角はθで表される。
Further, the vehicle coordinate system V, which is a coordinate system in real space with reference to the
図4(a)〜図4(c)は、それぞれ、ブロックマッチングを行うマッチング範囲であるパッチの一例を示す図である。図4(a)に示される例では、パッチ401は、着目する線分410と平行な方向に沿って線分410と同じ長さを持ち、かつ、線分410と直交する方向に所定の幅(例えば、10〜20ピクセル)を持つ矩形領域として設定される。また、図4(b)に示される例では、パッチ402は、着目する線分410と直交する方向に所定の幅(例えば、10〜20ピクセル)を持ち、かつ、線分410と平行な方向に沿って、線分410よりも所定長(例えば、10〜20ピクセル)だけ長い矩形領域として設定される。さらに、図4(c)に示される例では、パッチ403は、着目する線分410までの距離が所定値(例えば、10〜20ピクセル)以下となる領域として設定される。
4 (a) to 4 (c) are diagrams showing an example of a patch which is a matching range for performing block matching, respectively. In the example shown in FIG. 4A, the
本実施形態では、ブロックマッチングを行うマッチング範囲であるパッチはupは、例えば、次式のように定義される。
また、投影部22は、後方画像上の線分に基づいて設定されるパッチupから、車両10と車両10の周囲の構造物の位置関係を規定する所定の条件に従って実空間上での対応領域を特定する。そして投影部22は、その対応領域について、後方カメラ座標系→時刻nにおける車両座標系→実空間の絶対座標である世界座標系→時刻(n-k)における車両座標系→前方カメラ座標系→前方画像上の順に投影する。
そこで先ず、パッチupに対応する実空間上での領域についてのカメラ座標系での座標の導出について説明する。
The
Thus is described first coordinates are derived in the camera coordinate system for the area in the real space corresponding to the patch u p.
後方画像あるいは前方画像上の座標(2次元座標)をカメラ座標系の座標(3次元座標)に変換する際、本実施形態では、ピンホールカメラモデルが適用される。この場合、後方画像上でのパッチup内の各画素の座標は、次式に従って正規化座標系上の座標Unに変換される。
本実施形態では、車両10と車両10の周囲の構造物の位置関係を規定する所定の条件として、Manhattan-World仮説を導入する。そしてManhattan-World仮説に基づいて、各線分についてのパッチに対応する実空間上の領域を特定する。Manhattan-World仮説では、画像上の線分に対応する実空間上の構造物の線は、以下の3種類の何れかである。
(1)車両10の直進方向と平行な建物の側壁上の線
(2)車両10の直進方向と直交する建物の側壁上の線
(3)路面上の線
また、画像上の線分に対応する実空間上の構造物の線の周囲は平面になっていると仮定される。
In this embodiment, the Manhattan-World hypothesis is introduced as a predetermined condition that defines the positional relationship between the
(1) Line on the side wall of the building parallel to the straight line direction of vehicle 10 (2) Line on the side wall of the building orthogonal to the straight line direction of vehicle 10 (3) Line on the road surface Also, it corresponds to the line segment on the image. It is assumed that the perimeter of the line of the structure in the real space is flat.
図5は、本実施形態による、Manhattan-World仮説に基づく、実空間上の構造物の線と車両の位置関係を示す図である。本実施形態では、カメラ2−1は車両10の前方を向いており、一方、カメラ2−2は、車両10の後方を向いているので、上記の(2)に相当する線については、両方のカメラから見えることはなく、一方の画像上の線分が他方の画像上の線分と対応付けられることはない。したがって、(1)に相当する、車両10の直進方向と平行な側壁上の線501に対応する線分、あるいは、(3)に相当する、路面上の線502に対応する線分が、前方画像と後方画像の間で対応付けられる。
FIG. 5 is a diagram showing the positional relationship between the line of the structure in the real space and the vehicle based on the Manhattan-World hypothesis according to the present embodiment. In the present embodiment, the camera 2-1 faces the front of the
線501にように、画像上の線分に対応する実空間上の構造物の線が車両10の直進方向と平行な建物500の側壁にある場合、その線分のパッチに対応する実空間上の領域に含まれる各点について、カメラ座標系ではx=dとなる。なお、dは、車両10とその線分に対応する実空間上での線までの距離である。したがって、上記の(1)の条件が仮定される場合、パッチupに対応する実空間上の領域内の各点についてのカメラ座標系での座標Ppは次式で表される。
一方、点502にように、画像上の線分に対応する実空間上の構造物の線が路面上にある場合、その線分のパッチに対応する実空間上の領域に含まれる各点について、カメラ座標系ではy=hとなる。なお、hは路面からカメラ2−2までの高さであり、予め記憶部11に記憶される。したがって、上記の(3)の条件が仮定される場合、パッチupに対応する実空間上の領域内の各点についてのカメラ座標系での座標Ppは次式で表される。
投影部22は、(2)式と(3)式、または(2)式と(4)式にしたがって、後方画像上の各線分についてのパッチupに対応する実空間上の領域内の各点のカメラ座標系上の座標Ppを求める。なお、dについては、任意の所定区間、例えば、[1,20](m)の区間で、1m単位で変化させる。すなわち、各線分について、dの値ごとに(2)式と(3)式に基づいて求められる20個の領域の座標Ppと、(2)式と(4)式に基づいて求められる1個の領域の座標Ppが求められる。 Projection 22 (2) and (3), or (2) and (4) according to wherein each of the regions in the real space corresponding to the patch u p of each line segment on the rearward image Find the coordinates P p of the points on the camera coordinate system. Note that d is changed in 1 m units in an arbitrary predetermined section, for example, a section of [1,20] (m). That is, for each line segment, the coordinates P p of 20 regions obtained based on Eqs. (2) and (3) for each value of d, and 1 obtained based on Eqs. (2) and (4). The coordinates P p of the regions are obtained.
なお、投影部22は、バンドル調整によりdの区間を上記の所定区間よりも狭く設定してもよい。この場合には、投影部22は、例えば、画像上の線分に対応する、実空間上の構造物の線を、カメラ2−2により異なる時間での撮影により得られた二つの後方画像間で線分の対応付けを行うことで特定する。そして投影部22は、その二つの後方画像の生成時に対応する二つの車両の位置を利用した三角測量によって車両10からその線分上の点(例えば、中点)に対応する実空間上の点までの距離を測定し、その測定された距離を含むようにdの区間を設定すればよい。
The
投影部22は、後方画像上の各線分のパッチについて、そのパッチに対応する実空間上の領域のそれぞれを前方画像上に投影するwarping関数は、次式で表される。
また、関数πci()は、カメラ座標系から画像上の座標への変換関数であり、(2)式のカメラ座標(x,y,z)から画像上の座標(un,vn)への変換に相当する。 The function [pi ci () is a conversion function to the coordinates on the image from the camera coordinate system, (2) of the camera coordinate (x, y, z) from the image coordinates (u n, v n) Corresponds to conversion to.
また、関数πn wv()は、時刻nにおける世界座標系から車両座標系への変換関数である。一方、その逆関数πn wv -1()は、時刻nにおける車両座標系から世界座標系への変換関数である。 The function π n wv () is a conversion function from the world coordinate system to the vehicle coordinate system at time n. On the other hand, its inverse function π n wv -1 () is a conversion function from the vehicle coordinate system to the world coordinate system at time n.
以下に、関数πn wv()の詳細について説明する。Xn=t(xn,zn,θn)を、世界座標系での時刻nにおける車両10の位置及び向きを表す位置ベクトルとする。この場合、Xnは、時刻(n-k)における車両10の位置Xn-k=t(xn-k,zn-k,θn-k)との間に、次式で表される関係が成立する。
時刻nにおける、世界座標系から車両座標系への変換を表す回転行列Rt及び並進行列Ttは、時刻nにおける車両10の位置ベクトルXnを用いて次式で表される。
また、後方画像上の線分を基準として、前方画像上の対応する線分をより正確に特定するためには、後方画像上での線分の向きに対応する、前方画像上での線分の向きが求められることが好ましい。また、実空間での線分は、その線分上の点(例えば、中点)の3次元の座標p(px,py,pz)とその線分の向きを表す3次元ベクトルr(rx,ry,rz)とで表される。したがって、世界座標系での線分の向きを表す3次元ベクトルrを、カメラ2−1を基準とするカメラ座標系のベクトルA1へ変換する変換式、及び、カメラ2−2を基準とするカメラ座標系のベクトルA2へ変換する変換式は、次式で表される。
また、カメラ座標系のベクトルA1を前方画像へ投影して前方画像上の対応ベクトルa1を算出する式、及び、カメラ座標系のベクトルA2を後方画像へ投影して後方画像上の対応ベクトルa2を算出する式は、次式で表される。
上記のように、パッチupに対応する、実空間上の領域を前方画像上へ投影することで、パッチup内の各画素に対応する前方画像上の位置、すなわち、パッチupを前方画像上に投影した領域が求められる。
投影部22は、後方画像上の各線分についてのパッチup内の各画素に対応する、kフレーム前の前方画像上での画素の座標及び線分の向きを表すベクトルを対応付け部23へ出力する。
As described above, corresponding to the patch u p, a region in the real space by projecting into the forward image, the position of the forward image corresponding to each pixel in the patch u p, i.e., front patch u p The area projected on the image is required.
対応付け部23は、後方画像上の各線分についてのパッチupに対応する、kフレーム前の前方画像上での領域と、前方画像との間でブロックマッチングを行って互いに類似する領域を特定することで、後方画像上の各線分に前方画像上の線分を対応付ける。
Associating
本実施形態では、対応付け部23は、後方画像上の各線分について、対応する前方画像上の線分の探索を行う探索範囲を誤差モデルに基づく誤差楕円として設定する。その際、誤差楕円は、次式により算出される共分散行列ΣFにより定められる。
対応付け部23は、共分散行列ΣFの固有値λ1、λ2と、固有ベクトルv1、v2を算出する。ただし、大きい方の固有値をλ1とする。このとき、誤差楕円の長径a及び短径bは、次式で表される。
対応付け部23は、後方画像上の各線分について、kフレーム前の前方画像上の探索範囲である誤差楕円内にあり、かつ、前方画像上に投影したときのその線分となす角が所定角度(例えば、3°〜5°)以下となる、前方画像上の線分を、後方画像上の線分に対応付ける候補として検出する。なお、対応付け部23は、次式を満たす前方画像上の線分を、探索範囲に含まれると判定する。
対応付け部23は、後方画像上の各線分について、kフレーム前の前方画像上の探索範囲内にある線分のそれぞれについて、ブロックマッチングを行って正規化相互相関値を算出する。その際、対応付け部23は、パッチが投影された前方画像上の領域の中心、すなわち、後方画像上の線分が前方画像上に投影された位置と、ブロックマッチングの対象となる前方画像上の線分間の位置の差を打ち消すように、前方画像上に投影されたパッチ内の各画素の位置を平行移動させることで、後方画像上のパッチ内の各画素に対応する前方画像上の画素を特定すればよい。そして対応付け部23は、後方画像上のパッチ内の各画素の輝度値と、対応する前方画像上の画素の輝度値に基づいて正規化相互相関値を算出できる。対応付け部23は、その正規化相互相関値が最大となる前方画像上の線分を、後方画像上の着目する線分に対応付ける。なお、対応付け部23は、正規化相互相関値の最大値が所定の閾値(例えば、0.6〜0.7)以上である場合に限り、その二つの線分を対応付けてもよい。
The
なお、対応付け部23は、演算量を軽減するために、探索範囲を、後方画像上の線分の中点に対応する前方画像上の座標を中心とする、予め設定された所定の範囲に設定してもよい。この場合、所定の範囲は、例えば、水平方向について、パッチの水平方向サイズの2〜3倍とし、垂直方向について、パッチの垂直方向サイズの2〜3倍とすることができる。
In addition, in order to reduce the amount of calculation, the
なお、変形例によれば、パッチの形状自体に、後方画像上での線分の向きの情報が含まれているので、対応付け部23は、kフレーム前の前方画像上の探索範囲にある前方画像上の線分の全てを、後方画像上の線分に対応付ける候補としてもよい。
According to the modified example, since the patch shape itself includes information on the direction of the line segment on the rear image, the
また、他の変形例によれば、対応付け部23は、後方画像上の各線分について、対応する探索範囲内の各画素をそれぞれパッチの中心に対応させるよう、パッチを平行移動させてそれぞれ正規化相互相関値を算出し、その正規化相互相関値が最大となる画素を、後方画像上の着目する線分に対応する前方画像上の線分の中点とし、着目する線分の向きに対応する前方画像上での向きを、その対応する線分の向きとしてもよい。この場合には、線分抽出部21は、前方画像から線分を抽出しなくてもよい。
Further, according to another modification, the
対応付け部23は、後方画像上の線分と対応付けられた前方画像上の線分のそれぞれの中点の座標及び向きを表すベクトルの組、及び、対応する後方画像の取得時刻と前方画像の取得時刻の組とを関連付けて、記憶部11に記憶する。
The
地図作成部24は、後方画像上の線分と、対応する前方画像上の線分とに基づいて地図を作成する。地図作成部24は、例えば、バンドル調整(bundle adjustment)法にしたがって、互いに対応付けされた後方画像上の線分と前方画像上の線分の組ごとに、その組に対応する線分を地図に書き込むことで地図を作成する。なお、地図作成部24は、上記のManhattan-World仮説における(3)の条件に基づいて対応付けられた後方画像上の線分と前方画像上の線分の組のみを、地図作成に利用することが好ましい。これにより、路面以外の構造物の線が地図に書き込まれることが抑制される。
The
図6に、制御部13により制御される、位置合わせ処理の動作フローチャートを示す。なお、制御部13は、後方画像ごとに、この動作フローチャートにしたがって位置合わせ処理を実行する。
FIG. 6 shows an operation flowchart of the alignment process controlled by the
線分抽出部21は、後方画像及び前方画像のそれぞれから線分を抽出する(ステップS101)。そして線分抽出部21は、前方画像から抽出した各線分の中点の座標及び向きを表すベクトルを記憶部11に記憶する。また線分抽出部21は、後方画像から抽出した各線分の中点の座標及び向きを表すベクトルを投影部22へ渡す。
The line
投影部22は、後方画像から抽出した各線分について、その線分の中点を中心とするパッチを設定し、そのパッチに対応する実空間上の1以上の領域をManhattan-World仮説に従って設定する(ステップS102)。そして投影部22は、後方画像から抽出した各線分について、パッチに対応する実空間上の各領域を、後方画像の取得時よりもkフレーム前に取得された前方画像上へ投影する(ステップS103)。
The
対応付け部23は、後方画像から抽出した各線分について、パッチに対応する実空間上の領域の中心の前方画像上の投影位置を中心として探索範囲を設定する(ステップS104)。そして対応付け部23は、探索範囲内にある前方画像上の線分の周囲の領域と、前方画像上でのパッチに対応する実空間上の領域の投影範囲との間でのブロックマッチングで最も一致する線分を、後方画像上の線分と対応付ける(ステップS105)。
The
地図作成部24は、互いに対応付けられた後方画像上の線分と前方画像上の線分の組に対応する線分を地図に書き込むことで地図を作成する(ステップS106)。そして制御部13は、位置合わせ処理を終了する。
The
図7(a)は、車両が走行した道路の一例を表す図であり、図7(b)は、図7(a)に示された道路に対応する、本実施形態による位置合わせ装置を利用して作成された地図の一例を表す図である。図7(a)には、車両10が走行した道路700が示されている。一方、図7(b)において、地図710は、本実施形態による位置合わせ装置を利用して作成された地図であり、点線711は、車両10が道路700を通行した際の車両10の軌跡を表す。
FIG. 7A is a diagram showing an example of a road on which a vehicle travels, and FIG. 7B uses an alignment device according to the present embodiment corresponding to the road shown in FIG. 7A. It is a figure which shows an example of the map created by. FIG. 7A shows the
図7(a)及び図7(b)に示されるように、道路700の形状及び道路700上に示された道路表示が、地図710上でも良好に再現されていることが分かる。
As shown in FIGS. 7 (a) and 7 (b), it can be seen that the shape of the
以上説明してきたように、位置合わせ装置は、異なるカメラにより、異なるタイミングで生成された二つの画像間で、実空間上の同一の構造物の線に対応する線分同士を対応付ける際、Manhattan-World仮説に基づいて、一方の画像上の線分の周囲のパッチに相当する実空間上の領域を特定することで、そのパッチを他方の画像へ投影する際の精度を向上する。これにより、この位置合わせ装置は、線分同士の対応付けの精度を向上できる。またこの位置合わせ装置は、パッチに相当する実空間上の領域の数を減らせるので、演算量を削減できる。 As described above, the alignment device uses Manhattan- when associating line segments corresponding to the lines of the same structure in real space between two images generated at different timings by different cameras. Based on the World hypothesis, by identifying the area in real space that corresponds to the patch around the line segment on one image, the accuracy of projecting that patch onto the other image is improved. As a result, this alignment device can improve the accuracy of associating line segments with each other. Further, since this alignment device can reduce the number of regions in the real space corresponding to the patch, the amount of calculation can be reduced.
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、制御部13は、一つの後方画像上の線分との対応付けを行う前方画像を複数選択し、その複数の前方画像に対して投影部22及び対応付け部23の処理を行って、線分同士の対応付けを行ってもよい。その際、投影部22は、異なる時刻に生成された複数の前方画像のうち、後方画像上の着目する線分について設定されたパッチの投影範囲が含まれる前方画像のみを、その着目する線分についての対応付けを行う前方画像として選択してもよい。あるいは、投影部22は、異なる時刻に生成された複数の前方画像のうち、後方画像の取得時とその前方画像の取得時との間の車両10の移動量が、二つのカメラの撮影範囲が重なると想定される所定の移動距離範囲内に含まれる前方画像のみを、線分同士の対応付けを行う前方画像として選択してもよい。なお、車両10の移動量は、後方画像の取得時と前方画像の取得時間のオドメトリ情報または車輪速に基づいて算出される。さらに、制御部13は、オドメトリ情報などに基づいて、後方画像の取得時と、対応付けを行う前方画像の取得時との間で、車両10が直進していると判断される場合にのみ、後方画像上の線分と前方画像上の線分の対応付けを行ってもよい。
Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments. For example, the
他の変形例によれば、制御部13は、後方画像上で路面を検出する路面検出部をさらに有していてもよい。この場合、投影部22は、後方画像上で抽出された線分のうち、検出された路面の範囲内にある線分については、(2)式と(4)式にしたがって、パッチに対応する実空間上の領域を設定すればよい。一方、投影部22は、後方画像上で抽出された線分のうち、検出された路面の範囲外にある線分については、(2)式と(3)式にしたがって、パッチに対応する実空間上の領域を設定すればよい。
According to another modification, the
なお、路面検出部は、後方画像から路面を検出するために、画像上で路面が写っている領域を検出する様々な手法を利用できる。例えば、路面検出部は、自車両の両側の白線などの車線を表す線を、例えば、テンプレートマッチングなどにより検出して、その両側の車線を表す線で挟まれた領域を路面とする手法を利用できる。あるいは、路面検出部は、撮影範囲が重なる二つのカメラ(この場合には、カメラ2−2の他に、車両10の後方を撮影する別のカメラが必要とされる)によりそれぞれ生成された画像、あるいは、一つのカメラで異なる時間に撮影された二つの画像を利用した3次元計測により、路面を検出する手法(例えば、奥富他、「ステレオ動画像を用いた視覚誘導のための平坦部の連続推定」、情報処理学会論文誌、Vol.43、No.4、pp.1061-1069、2002年を参照)を利用してもよい。この場合には、位置合わせ装置は、パッチに対応する実空間上の領域をさらに限定できるので、線分間の対応付けの精度をより向上できる。
In addition, in order to detect the road surface from the rear image, the road surface detection unit can use various methods for detecting the area where the road surface is reflected on the image. For example, the road surface detection unit uses a method of detecting a line representing a lane such as a white line on both sides of the own vehicle by, for example, template matching, and using a region sandwiched between the lines representing the lanes on both sides as the road surface. it can. Alternatively, the road surface detection unit is an image generated by two cameras having overlapping shooting ranges (in this case, in addition to the camera 2-2, another camera for shooting the rear of the
さらに他の変形例によれば、対応付け部23は、パッチと前方画像上の対応領域間のブロックマッチングについて、正規化相互相関値を算出する代わりに、対応画素間の輝度値の差の絶対値の総和などを評価値として算出してもよい。この場合には、対応付け部23は、評価値が最小となる前方画像上の線分を、後方画像上の線分と対応付けてもよい。
According to yet another modification, the
さらにまた、他の変形例によれば、投影部22は、後方画像上の各線分について設定されるパッチに対応する実空間上の領域が、後方画像の生成時における車両10の位置と前方画像の生成時における車両10の位置との間にける、車両10が走行する道路の何れかの位置での道路と平行でかつ路面に垂直な面上にあるとしてもよい。
図8は、この変形例における、パッチに対応する実空間上の領域の例を示す図である。この場合、後方画像上の線分の座標により、その線分に対応する実空間上の構造物の線へ向かう方向とその後方画像生成時におけるカメラ2−2の光軸とのなす角が分かるので、その後方画像生成時における、車両10からその線分に対応する実空間上の構造物の線へ向かう方向が分かる。そこで投影部22は、例えば、記憶部11に記憶された、オドメトリ情報から求められる車両10の軌跡情報を参照して、後方画像生成時における車両10の位置からその線分に対応する実空間上の構造物の線の中点へ向かう方向の直線801から、車両10が走行してきた軌跡802へ下した垂線803の長さが、車両10と線分に対応する実空間上での構造物の線までの距離dの探索範囲(例えば、上記の実施形態と同様、1m〜20mとすることができる)に含まれる、線801上の位置を特定する。そして投影部22は、線分に対応する実空間上の構造物の線804は、その特定された位置から車両10の軌跡802に下した垂線803の足におけるその軌跡802の接線方向と平行でかつ路面に垂直な面805上にあると仮定する。なお、車両10は、道路と平行な方向に走行していると仮定できるので、その特定された位置から車両10の軌跡に下した垂線の足におけるその軌跡の接線方向は、道路と平行であるとみなせる。この場合、その線分について設定されるパッチに対応する実空間上の領域は、後方画像生成時の道路の延伸方向とその特定された位置での道路の延伸方向間の角度だけ、車両10の直進方向から傾き、かつ、路面に垂直な面内にあると仮定することで、そのパッチ内の各画素に対応する実空間上の領域内の各点の座標を求めればよい。
Furthermore, according to another modification, the
FIG. 8 is a diagram showing an example of a region in the real space corresponding to the patch in this modified example. In this case, from the coordinates of the line segment on the rear image, the angle between the direction toward the line of the structure in the real space corresponding to the line segment and the optical axis of the camera 2-2 at the time of generating the rear image can be known. Therefore, the direction from the
さらにまた、他の変形例によれば、位置合わせ装置は、前方画像から抽出された各線分についてのパッチに相当する実空間上の領域をManhattan-World仮説に基づいて設定することで、上記と同様の処理を行って、後方画像上の線分との対応付けを行ってもよい。あるいは、線分同士の対応付けを行う画像を生成する二つのカメラは、車両の前方と後方を向いているものに限られず、互いに異なる方向を向き、かつ、車両の走行に伴って一方のカメラの撮影範囲に含まれていた領域が他方のカメラの撮影範囲に含まれるように取り付けられていればよい。 Furthermore, according to another variant, the alignment device sets a real-space region that corresponds to a patch for each line segment extracted from the forward image, based on the Manhattan-World hypothesis. The same processing may be performed to associate with the line segment on the rear image. Alternatively, the two cameras that generate images that associate line segments with each other are not limited to those facing the front and the rear of the vehicle, but face different directions from each other and one camera as the vehicle travels. It suffices if the area included in the shooting range of is included in the shooting range of the other camera.
例えば、一方のカメラが車両10の前方を向くように車両10に取り付けられ、他方のカメラが車両10の側方を向くように取り付けられているとする。この場合には、車両10の進行方向に対して直交し、かつ、路面に対して垂直な面も、その二つのカメラの撮影範囲に含まれることになる。そこで、このような場合には、上記の(2)で示された、車両10の直進方向と直交する建物の側壁上の線(例えば、図5に示される線503)に対応する線分が、各カメラにより得られるそれぞれの画像において検出可能となる。
For example, assume that one camera is attached to the
そこで、投影部22は、(2)式と(3)式、または(2)式と(4)式にしたがって、一方のカメラにより得られる画像上の各線分についてのパッチupに対応する実空間上の領域内の各点のカメラ座標系上の座標Ppを求めるだけでなく、各線分が、上記の(2)に相当する線である場合のパッチupに対応する実空間上の領域内の各点のカメラ座標系上の座標Ppも求める。 Therefore, the projection 22 (2) and (3), or (2) and (4) according to the real corresponding to the patch u p of each line segment in the image obtained by one camera In addition to finding the coordinates P p of each point in the area in space on the camera coordinate system, in real space corresponding to the patch u p when each line segment is a line corresponding to (2) above. Also find the coordinates P p on the camera coordinate system for each point in the area.
線分に対応する実空間上の構造物の線が車両10の直進方向と直交する建物の側壁にある場合、その線分のパッチに対応する実空間上の領域に含まれる各点について、カメラ座標系では、車両10の進行方向におけるカメラからの距離d'は等しいので、z=d'となる。したがって、上記の(1)の条件が仮定される場合、パッチupに対応する実空間上の領域内の各点についてのカメラ座標系での座標Ppは次式で表される。
そこで、投影部22は、(2)式と(14)式にしたがって、線分に対応する実空間上の構造物の線が車両10の直進方向と直交する建物の側壁にある場合における、一方のカメラにより得られる画像上の各線分についてのパッチupに対応する実空間上の領域内の各点のカメラ座標系上の座標Ppを求めればよい。なお、d'については、任意の所定区間、例えば、[1,20](m)の区間で、1m単位で変化させればよい。
Therefore, the
以上の実施形態または変形例によって異なる画像間で対応付けられた線分の組は、上述したような地図の作成だけでなく、例えば、車両10の自己位置推定にも利用可能である。この場合、その線分の組に対応する二つの画像が生成されたときのカメラの位置間の距離、すなわち、基線長が長くなるので、その線分の組に対応する実空間上の構造物の線を特定する際の精度が向上する。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
The set of line segments associated between different images according to the above embodiment or modification can be used not only for creating a map as described above, but also for, for example, estimating the self-position of the
As described above, those skilled in the art can make various changes within the scope of the present invention according to the embodiment.
1 位置合わせ装置
2−1、2−2 カメラ
3 IMU
4 車輪速センサ
5 ECU
6 CAN
11 記憶部
12 通信部
13 制御部
21 線分抽出部
22 投影部
23 対応付け部
24 地図作成部
1 Alignment device 2-1, 2-2
4 Wheel speed sensor 5 ECU
6 CAN
11
Claims (10)
前記第1の画像上の前記第1の線分を含むマッチング範囲に対応する、実空間上の第1の領域を、前記車両(10)と前記車両(10)の周囲の構造物の位置関係を規定する所定の条件に従って特定し、前記第1の領域を、前記車両(10)に対して前記第1の方向と異なる第2の方向を向くように取り付けられた第2の撮像部(2−1)により、前記第1の時刻と異なる第2の時刻において生成された第2の画像上に投影することで、前記マッチング範囲に対応する前記第2の画像上の範囲を特定する投影部(22)と、
前記第2の画像上の所定の探索範囲内で、前記マッチング範囲に対応する前記第2の画像上の範囲の相対的な位置を変えながら前記マッチング範囲と前記第2の画像間でブロックマッチングを行うことで、前記マッチング範囲と最も類似する領域を特定し、該最も類似する領域内の線分を前記第1の線分に対応する第2の線分とする対応付け部(23)と、
を有する位置合わせ装置。 At least one first line segment from the first image generated at the first time by the first imaging unit (2-2) mounted so as to face the vehicle (10) in the first direction. A line segment extraction unit (21) that extracts minutes, and
The positional relationship between the vehicle (10) and the structures around the vehicle (10) is defined in the first region in the real space corresponding to the matching range including the first line segment on the first image. The second imaging unit (2) is attached so that the first region faces the vehicle (10) in a second direction different from the first direction. A projection unit that specifies a range on the second image corresponding to the matching range by projecting onto the second image generated at a second time different from the first time according to -1). (22) and
Block matching is performed between the matching range and the second image while changing the relative position of the range on the second image corresponding to the matching range within a predetermined search range on the second image. By doing so, the association unit (23) that identifies the region most similar to the matching range and sets the line segment in the most similar region as the second line segment corresponding to the first line segment.
Alignment device with.
前記投影部(22)は、前記第1の線分が前記路面が写っている領域に含まれる場合、前記マッチング範囲に対応する前記第1の領域が路面上に有るとして特定する、請求項1〜6の何れか一項に記載の位置合わせ装置。 It further has a road surface detection unit that detects a region in which the road surface is reflected on the first image.
The projection unit (22) specifies that when the first line segment is included in the region in which the road surface is captured, the first region corresponding to the matching range is present on the road surface. 6. The alignment device according to any one of 6.
前記第1の画像上の前記第1の線分を含むマッチング範囲に対応する、実空間上の第1の領域を、前記車両(10)と前記車両(10)の周囲の構造物の位置関係を規定する所定の条件に従って特定し、前記第1の領域を、前記車両(10)に対して前記第1の方向と異なる第2の方向を向くように取り付けられた第2の撮像部(2−1)により、前記第1の時刻と異なる第2の時刻において生成された第2の画像上に投影することで、前記マッチング範囲に対応する前記第2の画像上の範囲を特定するステップと、
前記第2の画像上の所定の探索範囲内で、前記マッチング範囲に対応する前記第2の画像上の範囲の相対的な位置を変えながら前記マッチング範囲と前記第2の画像間でブロックマッチングを行うことで、前記マッチング範囲と最も類似する領域を特定し、該最も類似する領域内の線分を前記第1の線分に対応する第2の線分とするステップと、
を含む位置合わせ方法。 At least one first line from the first image generated at the first time by the first imaging unit (2-2) mounted so as to face the vehicle (10) in the first direction. Steps to extract the minutes and
The positional relationship between the vehicle (10) and the structures around the vehicle (10) is defined in the first region in the real space corresponding to the matching range including the first line segment on the first image. The second imaging unit (2) is attached so that the first region faces the vehicle (10) in a second direction different from the first direction. -1) With the step of specifying the range on the second image corresponding to the matching range by projecting onto the second image generated at the second time different from the first time. ,
Block matching is performed between the matching range and the second image while changing the relative position of the range on the second image corresponding to the matching range within a predetermined search range on the second image. By performing this, a step of identifying a region most similar to the matching range and setting a line segment in the most similar region as a second line segment corresponding to the first line segment is performed.
Alignment method including.
前記第1の画像上の前記第1の線分を含むマッチング範囲に対応する、実空間上の第1の領域を、前記車両(10)と前記車両(10)の周囲の構造物の位置関係を規定する所定の条件に従って特定し、前記第1の領域を、前記車両(10)に対して前記第1の方向と異なる第2の方向を向くように取り付けられた第2の撮像部(2−1)により、前記第1の時刻と異なる第2の時刻において生成された第2の画像上に投影することで、前記マッチング範囲に対応する前記第2の画像上の範囲を特定するステップと、
前記第2の画像上の所定の探索範囲内で、前記マッチング範囲に対応する前記第2の画像上の範囲の相対的な位置を変えながら前記マッチング範囲と前記第2の画像間でブロックマッチングを行うことで、前記マッチング範囲と最も類似する領域を特定し、該最も類似する領域内の線分を前記第1の線分に対応する第2の線分とするステップと、
をコンピュータに実行させるための位置合わせ用コンピュータプログラム。 At least one first line from the first image generated at the first time by the first imaging unit (2-2) mounted so as to face the vehicle (10) in the first direction. Steps to extract the minutes and
The positional relationship between the vehicle (10) and the structures around the vehicle (10) is defined in the first region in the real space corresponding to the matching range including the first line segment on the first image. The second imaging unit (2) is attached so that the first region faces the vehicle (10) in a second direction different from the first direction. -1) With the step of specifying the range on the second image corresponding to the matching range by projecting onto the second image generated at the second time different from the first time. ,
Block matching is performed between the matching range and the second image while changing the relative position of the range on the second image corresponding to the matching range within a predetermined search range on the second image. By performing this, a step of identifying a region most similar to the matching range and setting a line segment in the most similar region as a second line segment corresponding to the first line segment is performed.
A computer program for alignment that allows a computer to run.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016070811A JP6886136B2 (en) | 2016-03-31 | 2016-03-31 | Alignment device, alignment method and computer program for alignment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016070811A JP6886136B2 (en) | 2016-03-31 | 2016-03-31 | Alignment device, alignment method and computer program for alignment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017182564A JP2017182564A (en) | 2017-10-05 |
JP6886136B2 true JP6886136B2 (en) | 2021-06-16 |
Family
ID=60006276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016070811A Active JP6886136B2 (en) | 2016-03-31 | 2016-03-31 | Alignment device, alignment method and computer program for alignment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6886136B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108305277B (en) * | 2017-12-26 | 2020-12-04 | 中国航天电子技术研究院 | Heterogeneous image matching method based on straight line segments |
WO2020054733A1 (en) * | 2018-09-11 | 2020-03-19 | Whill株式会社 | Travel route creation system |
EP4064206A4 (en) | 2019-11-20 | 2023-02-01 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional model generation method and three-dimensional model generation device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4654163B2 (en) * | 2006-07-14 | 2011-03-16 | 日立オートモティブシステムズ株式会社 | Vehicle surrounding environment recognition device and system |
JP2010128744A (en) * | 2008-11-27 | 2010-06-10 | Toyota Infotechnology Center Co Ltd | Corresponding block search apparatus |
JP5188429B2 (en) * | 2009-03-24 | 2013-04-24 | 富士重工業株式会社 | Environment recognition device |
JP6135972B2 (en) * | 2012-10-29 | 2017-05-31 | 国際航業株式会社 | Orientation method, orientation program, and orientation device |
-
2016
- 2016-03-31 JP JP2016070811A patent/JP6886136B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017182564A (en) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10133279B2 (en) | Apparatus of updating key frame of mobile robot and method thereof | |
KR101776622B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
EP3627446B1 (en) | System, method and medium for generating a geometric model | |
JP4899424B2 (en) | Object detection device | |
JP5588812B2 (en) | Image processing apparatus and imaging apparatus using the same | |
KR101784183B1 (en) | APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING KEY POINT BASED ON ADoG AND METHOD THEREOF | |
WO2016035324A1 (en) | Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion | |
JP7036400B2 (en) | Vehicle position estimation device, vehicle position estimation method, and vehicle position estimation program | |
JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
US20170259830A1 (en) | Moving amount derivation apparatus | |
JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
CN108007456A (en) | A kind of indoor navigation method, apparatus and system | |
US10991105B2 (en) | Image processing device | |
JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
JP7067574B2 (en) | Distance estimation device and computer program for distance estimation | |
JP4344860B2 (en) | Road plan area and obstacle detection method using stereo image | |
KR101203816B1 (en) | Robot fish localization system using artificial markers and method of the same | |
CN108544494A (en) | A kind of positioning device, method and robot based on inertia and visual signature | |
JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
JP2000293693A (en) | Obstacle detecting method and device | |
JP5587852B2 (en) | Image processing apparatus and image processing method | |
JP2020076714A (en) | Position attitude estimation device | |
JP2018116147A (en) | Map creation device, map creation method and map creation computer program | |
JP2019139107A (en) | Map creation device, map creation method, and map creation computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180912 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191015 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200109 |
|
C116 | Written invitation by the chief administrative judge to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C116 Effective date: 20200121 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200121 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200421 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200714 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210302 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210406 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6886136 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |