JP5549468B2 - Feature position acquisition apparatus, method and program - Google Patents
Feature position acquisition apparatus, method and program Download PDFInfo
- Publication number
- JP5549468B2 JP5549468B2 JP2010176098A JP2010176098A JP5549468B2 JP 5549468 B2 JP5549468 B2 JP 5549468B2 JP 2010176098 A JP2010176098 A JP 2010176098A JP 2010176098 A JP2010176098 A JP 2010176098A JP 5549468 B2 JP5549468 B2 JP 5549468B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- vehicle
- information
- image
- positional relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、地物の位置を取得する地物位置取得装置、方法およびプログラムに関する。 The present invention relates to a feature position acquisition apparatus, method, and program for acquiring the position of a feature.
従来、車両が走行している道路の標識を検出して当該車両が走行している走行車線を認識する技術が知られている。例えば、特許文献1には、道路上のセンターラインや車線を区分するライン、指定方向外禁止標識等のペイントをカメラによって検出し、検出したペイントに基づいて走行車線を特定する技術が開示されている。 2. Description of the Related Art Conventionally, a technique for recognizing a traveling lane in which a vehicle is traveling by detecting a sign on a road on which the vehicle is traveling is known. For example, Patent Literature 1 discloses a technique for detecting a center line on a road, a line that divides a lane, a paint such as a prohibition sign outside a specified direction with a camera, and identifying a travel lane based on the detected paint. Yes.
従来の技術においては、画像から「直線」「文字」等の特徴を抽出してテンプレートと比較することによって画像に写っているペイントを認識することで車両の走行車線を特定している。しかし、特定の特徴を有するペイントを認識する構成では、当該特定の特徴を有する複数のペイントが近接して存在する道路において当該複数のペイント同士を区別することができない。例えば、隣接する2個の車線内の近接位置に直進を示す矢印のペイントが存在する場合、ペイント同士を区別することができない。この場合、車線を特定することはできない。
本発明は、上記課題にかんがみてなされたもので、道路上に同一形状の地物が存在する場合であっても当該同一形状の地物同士を区別する技術の提供を目的とする。
In the prior art, features such as “straight lines” and “characters” are extracted from an image and compared with a template to recognize the paint appearing in the image, thereby specifying the traveling lane of the vehicle. However, in the configuration for recognizing paint having a specific feature, the plurality of paints cannot be distinguished from each other on a road where the plurality of paints having the specific feature are present in close proximity. For example, when there is a paint with an arrow indicating a straight line at a close position in two adjacent lanes, the paint cannot be distinguished from each other. In this case, the lane cannot be specified.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for distinguishing features having the same shape even when features having the same shape exist on the road.
上記の目的を達成するため、本発明では、複数の所定形状の第1地物の位置を示す情報に対して当該第1地物と所定形状の第2地物との相対位置関係を示す情報を対応付けて地物情報を規定しておく。そして、車載カメラによって撮影した画像を示す画像情報に基づいて地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたか否かを判定する。地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影された場合、撮影された第1地物の位置が地物情報に記録されていることになる。そこで、地物情報において当該相対位置関係を示す情報が対応付けられている第1地物の位置を、撮影された第1地物の位置として取得する。 In order to achieve the above object, in the present invention, information indicating the relative positional relationship between the first feature and the second feature having the predetermined shape with respect to the information indicating the positions of the plurality of first features having the predetermined shape. Is associated with the feature information. And based on the image information which shows the image image | photographed with the vehicle-mounted camera, it is determined whether the 1st feature and 2nd feature in the same relative positional relationship as the relative positional relationship which feature information shows were image | photographed. When the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information are photographed, the position of the photographed first feature is recorded in the feature information. become. Therefore, the position of the first feature associated with the information indicating the relative positional relationship in the feature information is acquired as the position of the photographed first feature.
すなわち、車載カメラによって撮影された第1地物が予め地物情報に規定された第1地物であるか否かを第1地物と第2地物との相対位置関係に基づいて特定し、地物情報に規定された第1地物である場合には、当該地物情報に基づいて第1地物の位置を取得する。この結果、複数の第1地物が存在する(すなわち、同一形状の第1地物の地物が存在する)場合であっても、車載カメラによって撮影された第1地物が特定の位置に存在する特定の地物であると判定することができ、他の第1地物と区別することが可能である。 That is, it is determined based on the relative positional relationship between the first feature and the second feature whether or not the first feature photographed by the in-vehicle camera is the first feature defined in advance in the feature information. If the first feature is specified in the feature information, the position of the first feature is acquired based on the feature information. As a result, even when there are a plurality of first features (that is, there are features of the first feature having the same shape), the first feature photographed by the in-vehicle camera is at a specific position. It can be determined that the specific feature is present, and can be distinguished from other first features.
ここで、地物情報取得手段は、第1地物と第2地物との相対位置関係および第1地物の位置を特定するための地物情報を取得することができればよい。第1地物および第2地物は所定形状の地物であり、同形状でも良いし異なる形状でも良いが、それぞれが別個の地物として認識され得る状態で存在する地物が第1地物および第2地物となり得る。なお、地物情報において、第1地物の位置は、複数の第1地物から特定の第1地物を区別できるように定義されていれば良く、実空間の座標系(例えば緯度や経度)によって定義されてもよいし、第1地物が存在する車線によって定義されても良い。後者においては、少なくとも第1地物が特定の車線内の位置に存在することが特定されることになる。 Here, the feature information acquisition unit only needs to be able to acquire the feature information for specifying the relative positional relationship between the first feature and the second feature and the position of the first feature. The first feature and the second feature are features of a predetermined shape, and may be the same shape or different shapes, but the feature that exists in a state where each can be recognized as a separate feature is the first feature. And can be a second feature. In the feature information, the position of the first feature only needs to be defined so that the specific first feature can be distinguished from the plurality of first features, and the coordinate system of the real space (for example, latitude and longitude). ) Or a lane in which the first feature exists. In the latter, it is specified that at least the first feature exists at a position in a specific lane.
また、相対位置関係は、第1地物と第2地物との関係を一方からみた他方の位置を示す情報で規定することができればよく、第1地物と第2地物との相対位置関係が特定されることによって、複数個存在し得る第1地物の中から特定の第1地物が特定されるような情報で位置関係を規定すればよい。従って、第1地物と第2地物との相対位置ベクトル(方向および距離)で相対位置関係を規定しても良いし、複数個存在し得る第1地物の中から特定の第1地物を区別できる限りにおいて、相対位置ベクトルの特定成分(例えば、車両進行方向に沿った距離)を抽出して相対位置関係として規定しても良い。なお、相対位置関係は、第1地物と第2地物との関係を規定できれば良く、各地物に基準点(例えば、前端)を設定し、当該基準点同士の位置関係を規定するなどして定義することができる。 The relative positional relationship only needs to be defined by information indicating the position of the first feature and the second feature as viewed from the other, and the relative position between the first feature and the second feature. By specifying the relationship, the positional relationship may be defined by information that specifies a specific first feature from among a plurality of first features that may exist. Therefore, the relative positional relationship may be defined by the relative position vector (direction and distance) between the first feature and the second feature, or a specific first feature may be selected from a plurality of first features. As long as an object can be distinguished, a specific component of the relative position vector (for example, a distance along the vehicle traveling direction) may be extracted and defined as a relative positional relationship. The relative positional relationship only needs to be able to define the relationship between the first feature and the second feature. For example, a reference point (for example, the front end) is set for each feature, and the positional relationship between the reference points is defined. Can be defined.
画像情報取得手段は、車載カメラによって撮影された画像を示す画像情報を取得することができればよい。すなわち、道路上や道路周辺に第1地物および第2地物が存在する場合に、当該第1地物および第2地物の像が画像に含まれ得るように画像情報を取得することができればよい。 The image information acquisition unit only needs to be able to acquire image information indicating an image captured by the in-vehicle camera. That is, when the first feature and the second feature are present on or around the road, the image information can be acquired so that the image of the first feature and the second feature can be included in the image. I can do it.
画像解析手段は、地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたか否かを判定することができればよい。地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたか否かの判定は、種々の手法によって実現可能である。例えば、画像情報に基づいて所定形状の第1地物の像および所定形状の第2地物の像を抽出し、抽出された像に基づいて第1地物と第2地物との相対位置関係を取得して地物情報と比較する構成を採用可能である。また、画像情報に基づいて所定形状の第1地物の像を抽出し、地物情報に規定された相対位置関係に第2地物の像が存在するか否かを判定する構成を採用しても良い。
さらに、地物情報を併用しても良い。例えば、画像情報が示す画像から第1地物を検出する処理を行い、第1地物が検出された場合、地物情報に基づいて車両から所定距離以内の範囲に複数の第1地物が存在するか否かを判定する構成とする。この構成において、車載カメラが搭載された車両から所定距離以内の範囲に複数の第1地物が存在すると判定されない場合、単一の第1地物が検出されたことになるので、第2地物の検出を行うことなく、地物情報に基づいて当該単一の第1地物の位置を特定することができる。
一方、車両から所定距離以内の範囲に複数の第1地物が存在すると判定された場合には、さらに、画像情報が示す画像から第2地物を検出する処理を行い、第2地物が検出された場合に、画像情報が示す画像から検出された第1地物および画像情報が示す画像から検出された第2地物の相対位置関係を特定する。そして、当該相対位置関係と同一の相対位置関係にある第1地物および第2地物が地物情報に規定されているか否かを判定し、地物情報に規定されている場合に、地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたと判定する。この構成によれば、不必要な画像情報の解析が行われることを防止することができる。
The image analysis means only needs to be able to determine whether or not the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information have been photographed. The determination as to whether or not the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information have been photographed can be realized by various methods. For example, an image of a first feature having a predetermined shape and an image of a second feature having a predetermined shape are extracted based on image information, and the relative position between the first feature and the second feature is extracted based on the extracted image. It is possible to adopt a configuration in which the relationship is acquired and compared with the feature information. Further, a configuration is adopted in which an image of the first feature having a predetermined shape is extracted based on the image information, and it is determined whether or not the second feature image exists in the relative positional relationship defined in the feature information. May be.
Furthermore, you may use feature information together. For example, when the first feature is detected from the image indicated by the image information and the first feature is detected, a plurality of first features are located within a predetermined distance from the vehicle based on the feature information. It is configured to determine whether or not it exists. In this configuration, if it is not determined that there are a plurality of first features within a predetermined distance from the vehicle on which the vehicle-mounted camera is mounted, a single first feature has been detected. The position of the single first feature can be specified based on the feature information without detecting the feature.
On the other hand, when it is determined that there are a plurality of first features within a predetermined distance from the vehicle, the second feature is further detected from the image indicated by the image information. When detected, the relative positional relationship between the first feature detected from the image indicated by the image information and the second feature detected from the image indicated by the image information is specified. Then, it is determined whether or not the first feature and the second feature having the same relative positional relationship as the relative positional relationship are defined in the feature information. It is determined that the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the object information have been photographed. According to this configuration, it is possible to prevent unnecessary image information from being analyzed.
地物位置取得手段は、地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影された場合、地物情報において当該相対位置関係を示す情報が対応付けられている第1地物の位置を、撮影された第1地物の位置として取得することができればよい。すなわち、撮影された第1地物の位置を地物情報に基づいて特定することができればよい。 When the first feature and the second feature that are in the same relative positional relationship as the relative positional relationship indicated by the feature information are photographed, the feature position acquisition means includes information indicating the relative positional relationship in the feature information. It is only necessary that the position of the associated first feature can be acquired as the position of the photographed first feature. That is, it is only necessary that the position of the photographed first feature can be specified based on the feature information.
さらに、第1地物の位置に基づいて車両の位置を特定する構成を採用しても良い。例えば、撮影された第1地物の画像内における位置によって特定される、当該第1地物と車両との相対位置関係に基づいて、第1地物が撮影された時点における車両の位置を特定する構成を採用しても良い。すなわち、車両に固定された車載カメラにおいては当該車載カメラの視野と車両との関係が変化しないため、画像内の任意位置にて撮影された路面上の地物の実空間上での位置と車両の実空間上での位置に関する相対位置関係は一義的に特定される。このため、第1地物の画像内における位置が特定されると、その第1地物と車両との実空間上の相対位置関係が特定され、撮影された第1地物の実空間上の位置と撮影された第1地物の画像内における位置とを特定すれば、車両の位置を特定することが可能になる。以上の構成においては、同一形状の複数の第1地物を区別しながら当該第1地物に基づいて車両の位置を特定することができるため、同一形状の複数の第1地物が存在する場合であっても車両の位置を正確に特定することが可能になる。 Furthermore, you may employ | adopt the structure which pinpoints the position of a vehicle based on the position of a 1st feature. For example, the position of the vehicle at the time when the first feature is photographed is identified based on the relative positional relationship between the first feature and the vehicle, which is identified by the position in the image of the photographed first feature. You may employ | adopt the structure to do. That is, in a vehicle-mounted camera fixed to the vehicle, the relationship between the field of view of the vehicle-mounted camera and the vehicle does not change, so the position of the feature on the road surface taken at an arbitrary position in the image and the vehicle The relative positional relationship regarding the position in the real space is uniquely specified. For this reason, when the position of the first feature in the image is specified, the relative positional relationship between the first feature and the vehicle in the real space is specified, and the photographed first feature in the real space If the position and the position in the image of the photographed first feature are specified, the position of the vehicle can be specified. In the above configuration, since the position of the vehicle can be specified based on the first feature while distinguishing the plurality of first features having the same shape, there are a plurality of first features having the same shape. Even in this case, it is possible to accurately specify the position of the vehicle.
さらに、第1地物の位置に基づいて車両の走行車線を取得する構成を採用しても良い。例えば、複数の車線が存在する道路において車両の進行方向に垂直な方向に並ぶ各車線内に第1地物が存在し得る場合に、撮影された第1地物の画像内における位置によって特定される、当該第1地物と車両との相対位置関係に基づいて、第1地物が撮影された時点における車両の走行車線を特定する構成を採用可能である。すなわち、各車線内に第1地物が存在し得る状態において、撮影された第1地物の位置が特定されると、当該撮影された第1地物が存在する車線が特定される。従って、当該撮影された第1地物の画像内における位置によって特定される第1地物の位置と車両の位置との相対位置関係に基づいて車両が走行する車線を特定することができる。特に、車載カメラによって車両が走行する車線を撮影している状態において、当該車両が走行する車線の像が形成される領域にて撮影された第1地物の位置が特定されれば、当該第1地物の位置に基づいて特定される第1地物が存在する車線を、車両の走行車線とみなすことが可能である。 Furthermore, you may employ | adopt the structure which acquires the travel lane of a vehicle based on the position of a 1st feature. For example, when a first feature can exist in each lane lined up in a direction perpendicular to the traveling direction of the vehicle on a road where a plurality of lanes exist, the position is specified by the position in the image of the photographed first feature. Further, it is possible to adopt a configuration that identifies the travel lane of the vehicle at the time when the first feature is photographed based on the relative positional relationship between the first feature and the vehicle. That is, when the position of the photographed first feature is specified in a state where the first feature can exist in each lane, the lane in which the photographed first feature exists is specified. Therefore, it is possible to specify the lane in which the vehicle travels based on the relative positional relationship between the position of the first feature specified by the position in the image of the photographed first feature and the position of the vehicle. In particular, if the position of the first feature photographed in the area where the image of the lane in which the vehicle travels is formed in the state where the vehicle travels with the in-vehicle camera, the first feature is identified. A lane in which a first feature specified based on the position of one feature is present can be regarded as a traveling lane of the vehicle.
さらに、第1地物の位置に基づいて車両の進行方向に平行な方向の車両の位置を取得する構成を採用しても良い。例えば、車両の進行方向に平行な方向に並んで第1地物が存在し得る場合に、撮影された第1地物の画像内における位置によって特定される、当該第1地物と車両との相対位置関係に基づいて、第1地物が撮影された時点における車両の進行方向に平行な方向の車両の位置を特定する構成を採用可能である。すなわち、進行方向(道路が延びる方向)に沿って異なる位置に第1地物が存在し得る状態において、撮影された第1地物の位置が特定されると、当該撮影された第1地物が存在する位置が進行方向に沿った方向において特定される。従って、当該撮影された第1地物の画像内における位置によって特定される第1地物の位置と車両の位置との相対位置関係に基づいて進行方向に沿った車両の存在位置を特定することができる。 Furthermore, the structure which acquires the position of the vehicle of a direction parallel to the advancing direction of a vehicle based on the position of a 1st feature may be employ | adopted. For example, when the first feature can exist in a direction parallel to the traveling direction of the vehicle, the first feature and the vehicle are identified by the position in the image of the photographed first feature. Based on the relative positional relationship, it is possible to adopt a configuration that specifies the position of the vehicle in a direction parallel to the traveling direction of the vehicle at the time when the first feature is photographed. That is, when the position of the photographed first feature is specified in a state where the first feature may exist at different positions along the traveling direction (direction in which the road extends), the photographed first feature Is located in a direction along the traveling direction. Therefore, the vehicle position along the traveling direction is specified based on the relative positional relationship between the position of the first feature specified by the position in the image of the photographed first feature and the position of the vehicle. Can do.
さらに、第1地物と前記第2地物との相対位置関係の例として、当該相対位置関係が、第1地物と第2地物との車両の進行方向に沿った距離と、第1地物からみた第2地物が左右のいずれの方向に存在するかを示す情報である構成を採用しても良い。なお、ここで、左右は、進行方向を前方とし、当該進行方向に平行かつ第1地物を含む線を基準として第2地物が左側あるいは右側のいずれかの方向に存在するのかによって定義することができる。すなわち、道路上のペイント等の地物は道路が延びる方向に沿って所定以上の距離毎に設置され、道路が延びる方向に対して垂直な方向においては、車線の中央など特定の位置に設置されることが多い。そこで、道路上の車両の進行方向に沿った第1地物と第2地物との距離と、第1地物からみた第2地物が左右のいずれであるのかによって第1地物の位置を特定すれば、少ない情報量によって第1地物と第2地物との相対位置関係を定義することが可能になる。 Furthermore, as an example of the relative positional relationship between the first feature and the second feature, the relative positional relationship is the distance along the traveling direction of the vehicle between the first feature and the second feature, You may employ | adopt the structure which is the information which shows whether the 2nd feature seen from the feature exists in which direction of right and left. Here, left and right are defined by whether the second feature is present in the left or right direction with reference to a line parallel to the direction of travel and including the first feature, with the traveling direction being forward. be able to. In other words, features such as paint on the road are installed at predetermined distances or more along the direction in which the road extends, and are installed at specific positions such as the center of the lane in the direction perpendicular to the direction in which the road extends. Often. Therefore, the position of the first feature depends on the distance between the first feature and the second feature along the traveling direction of the vehicle on the road and whether the second feature viewed from the first feature is left or right. Is specified, the relative positional relationship between the first feature and the second feature can be defined with a small amount of information.
さらに、複数の車線内に同一形状で存在し得るペイントを第1地物とし、道路上に存在する車線の境界線を構成する破線のペイントを第2地物とする構成を採用しても良い。すなわち、車線内に同一形状で存在し得る第1地物(例えば、矢印等のペイント)は、画像解析によって当該第1地物を検出しても、特定の第1地物と他の第1地物とを区別することはできない。また、車線の境界線を構成する第2地物(例えば、破線のペイント)も、画像解析によって当該第2地物を検出しても、特定の第2地物と他の第2地物とを区別することはできない。しかし、両者の相対位置関係を特定すれば、複数の第1地物から特定の第1地物を区別して特定することが可能になる。また、車線内に存在し得る第1地物と車線の境界を構成する第2地物との相対位置関係を特定することにより、当該相対位置関係によって容易に車線内の第1地物の位置および車両の走行車線を特定するための地物情報を定義することが可能になる。 Further, a configuration may be employed in which paint that can exist in the same shape in a plurality of lanes is used as the first feature, and broken-line paint that constitutes the boundary line of the lane existing on the road is used as the second feature. . That is, even if the first feature (for example, paint such as an arrow) that can exist in the same shape in the lane is detected by the image analysis, the first feature and the other first feature are detected. It cannot be distinguished from features. In addition, even if a second feature (for example, a broken line paint) that constitutes the boundary line of the lane is detected by image analysis, the specific second feature and another second feature Cannot be distinguished. However, if the relative positional relationship between the two is specified, it is possible to distinguish and specify the specific first feature from the plurality of first features. Further, by specifying the relative positional relationship between the first feature that may exist in the lane and the second feature that constitutes the boundary of the lane, the position of the first feature in the lane can be easily determined by the relative positional relationship. And it becomes possible to define the feature information for specifying the traveling lane of the vehicle.
さらに、本発明のように、第1地物と第2地物との相対位置関係が特定の位置関係であるか否かに基づいて第1地物を他の第1地物と区別する手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Further, as in the present invention, a method of distinguishing a first feature from other first features based on whether or not the relative positional relationship between the first feature and the second feature is a specific positional relationship. Can also be applied as a program or method. In addition, the above-described device, program, and method may be realized as a single device or may be realized by using components shared with each part of the vehicle, and include various aspects. It is a waste. For example, it is possible to provide a navigation device, a method, and a program that include the above devices. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention is also established as a recording medium for a program for controlling the apparatus. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ナビゲーション装置の構成:
(2)地物位置取得処理:
(3)他の実施形態:
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of navigation device:
(2) Feature position acquisition processing:
(3) Other embodiments:
(1)ナビゲーション装置の構成:
図1は、本発明にかかる地物位置取得装置を含むナビゲーション装置10の構成を示すブロック図である。ナビゲーション装置10は、車両に備えられている。ナビゲーション装置10は、CPU,RAM,ROM等を備える制御部20、記録媒体30を備えており、記録媒体30やROMに記憶されたプログラムを制御部20で実行することができる。記録媒体30には、予め地図情報30aが記録されている。地図情報30aは、車両の位置や案内対象の施設の特定に利用される情報であり、車両が走行する道路上に設定されたノードを示すノードデータ,ノード間の道路の形状を特定するための形状補間点データ,ノード同士の連結を示すリンクデータ,道路やその周辺に存在する地物を示す地物情報30b等を含んでいる。なお、リンクデータには、リンクに相当する道路上の車線の位置を示す情報が含まれている。
(1) Configuration of navigation device:
FIG. 1 is a block diagram showing a configuration of a
地物情報30bは、複数の所定形状の第1地物の位置を示す情報であり、第1地物の位置のそれぞれに対して当該第1地物と所定形状の第2地物との相対位置関係を示す情報を対応付けて規定されている。具体的には、本実施形態における地物情報30bは、複数の第1地物の前端点の位置(実空間上の座標)を示す情報を含む。さらに、第1地物と第2地物との相対位置関係は、道路上での車両の進行方向に沿った第1地物と第2地物との距離と、第1地物からみた第2地物が左右のいずれに存在するかを示す情報によって定義される。なお、本実施形態においては、第1地物の左右に存在し得る複数の第2地物のうち、左右のそれぞれにおいて最も近い第2地物について第1地物との相対位置関係を示す情報を定義する構成としてある。
The
図3Bは、道路上の第1地物および第2地物の例を示す図であり、本例において、第1地物は道路上の複数の車線内に同一形状で存在し得る矢印ペイントP1、第2地物は道路上において車線の境界線を構成する破線ペイントP2である。なお、矢印ペイントP1は、複数の車線が存在する道路において車両の進行方向に垂直な方向に並ぶ各車線内に存在し得るとともに、車両の進行方向に平行な方向に並んで存在し得る地物である。当該図3Bに示す例に対応する地物情報30bにおいては、左側の矢印ペイントP1の前端点の位置を示す情報に対して、当該左側の矢印ペイントP1の左側に第2地物が存在し、第1地物と第2地物との進行方向に沿った距離(前端点同士の距離)がD1であることを示す情報が対応付けられる。
FIG. 3B is a diagram illustrating an example of the first feature and the second feature on the road, and in this example, the first feature may have the same shape in a plurality of lanes on the road. 1, the second feature is a broken line paint P 2 constituting the boundaries of lanes on the road. Note that the arrow paint P 1 can exist in each lane aligned in a direction perpendicular to the traveling direction of the vehicle on a road where a plurality of lanes exist, and can also be aligned in a direction parallel to the traveling direction of the vehicle. It is a thing. In
また、当該左側の矢印ペイントP1の右側に第2地物が存在し、第1地物と第2地物との進行方向に沿った距離が−D2であることを示す情報が対応付けられる。同様に、右側の矢印ペイントP1の前端点の位置を示す情報に対して、当該右側の矢印ペイントP1の左側において進行方向に沿って距離−D2の位置に第2地物が存在し、当該右側の矢印ペイントP1の右側において進行方向に沿って距離−D3の位置に第2地物が存在することを示す情報が対応付けられる。なお、地物情報30bにおいて、左右方向は、進行方向を前方とし、当該進行方向に平行かつ第1地物を含む線(図3Bに示すLs等)を基準として定義される。また、D1>0,D2>0,D3>0である。
In addition, information indicating that the second feature exists on the right side of the left arrow paint P 1 and the distance along the traveling direction between the first feature and the second feature is −D 2 is associated. It is done. Similarly, the information indicating the position of the front end point of the right arrow paint P 1, the second feature is present at a distance -D 2 along the traveling direction in the left side of the arrow paint P 1 in the right Information indicating that the second feature exists at the position of the distance −D 3 along the traveling direction on the right side of the right arrow paint P 1 is associated. In the
なお、地物情報30bにおいては、第1地物と第2地物との相対位置関係を、道路上での車両の進行方向に沿った第1地物と第2地物との距離と、第1地物からみた第2地物が左右のいずれに存在するかを示す情報によって定義している。従って、相対位置関係を、例えば、第1地物と第2地物との相対位置ベクトル(方向および距離)によって規定するよりも情報量を削減することができるが、むろん、相対位置ベクトルによって規定する構成を採用することも可能である。また、相対位置ベクトルの定義法は種々の構成を採用可能であり、座標系内における座標値によってベクトルを定義しても良いし、基準点周りの角度と距離によってベクトルを定義しても良い。また、図3Bおよび後述する図3Aにおいて、第1地物は矢印ペイントP1、第2地物は破線ペイントP2であるが、他の地物も第1地物や第2地物となり得る。
Note that, in the
本実施形態における車両は、GPS受信部41と車速センサ42とジャイロセンサ43と車載カメラ44とユーザI/F部45とを備えている。GPS受信部41は、GPS衛星からの電波を受信し、図示しないインタフェースを介して車両の現在位置を算出するための情報を出力する。制御部20は、この信号を取得して車両の現在位置を取得する。車速センサ42は、車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、車両の速度を取得する。ジャイロセンサ43は、車両に作用する角速度に対応した信号を出力する。制御部20は図示しないインタフェースを介してこの信号を取得し、車両の走行方向を取得する。車速センサ42およびジャイロセンサ43等は、GPS受信部41の出力信号から特定される車両の現在位置を補正するなどのために利用される。また、車両の現在位置は、当該車両の走行軌跡に基づいて適宜補正される。制御部20は、図示しないナビゲーションプログラムの機能により、当該車両の現在位置および地図情報30aを利用して車両の運転者に対して経路案内を行うことが可能である。
The vehicle in this embodiment includes a
本実施形態においては、当該ナビゲーションプログラムの付加機能として車両が走行している走行車線を特定する機能を実行することが可能であり、特定された走行車線は経路案内の際に推奨車線を案内するなどのために利用される。当該走行車線の特定機能は地物位置取得プログラム21によって実現される。地物位置取得プログラム21は、地物情報取得部21aと画像情報取得部21bと画像解析部21cと地物位置取得部21dとを備えている。
In the present embodiment, as an additional function of the navigation program, it is possible to execute a function of identifying a travel lane in which the vehicle is traveling, and the identified travel lane guides a recommended lane during route guidance. Used for such as. The specific function of the travel lane is realized by the feature
地物情報取得部21aは、地物情報を取得する機能を制御部20に実現させるモジュールである。すなわち、制御部20は、地物情報取得部21aの処理により、車両の現在位置の周囲の所定範囲(例えば、GPS情報の誤差範囲)の位置に存在する第1地物に関する地物情報30bを記録媒体30から取得する。
The feature
画像情報取得部21bは、車両が走行する道路を視野に含む車載カメラ44によって撮影された画像を示す画像情報を取得する機能を制御部20に実現させるモジュールである。本実施形態において、車載カメラ44は、走行車線の左右方向の中央を走行している車両において、走行車線の像が画像の左右方向の中央の所定領域に位置するように、下方に向けて取り付けられている。従って、車載カメラ44においては、車両が走行する道路上に存在する地物の像を示す画像情報を生成して出力する。そして、車両が走行車線の左右方向の中央を走行している場合、当該画像情報が示す画像においては、走行車線が中央に位置しその周囲に走行車線の周辺に存在する地物の像が位置することになる。制御部20は、画像情報取得部21bの処理により、車載カメラ44が出力する画像情報を取得する。
The image
画像解析部21cは、画像情報に基づいて、地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたか否かを判定する機能を制御部20に実現させるモジュールである。すなわち、制御部20は、画像解析部21cの処理により、画像情報に基づいて像の形状を抽出するための特徴量(例えば、エッジや端点の位置の組み合わせ)を抽出し、当該特徴量が第1地物の形状の像の特徴に対応した特徴量であるか否かを判定することによって第1地物の像を抽出する。なお、本実施形態において、画像内で第1地物の像を抽出する対象となる領域は、車両が走行している走行車線の像が存在する領域である。例えば、車両が走行車線の左右方向の中央を走行している場合、走行車線の像が存在する領域は、上述の中央の所定領域である。第2地物についても同様に、制御部20は、画像情報に基づいて特徴量を抽出し、当該特徴量が第2地物の形状の像の特徴に対応した特徴量であるか否かを判定することによって第2地物の像を抽出する。
The
そして、第1地物の像および第2地物の像が抽出された場合には、第1地物の像の画像内での位置と第2地物の像の画像内での位置に基づいて第1地物と第2地物との実空間上での相対位置関係を取得して地物情報と比較する。すなわち、車載カメラ44は車両に固定されているため、当該車載カメラ44の視野と車両との関係が変化しない。従って、画像内の任意位置にて撮影された路面上の地物の実空間上での位置と車両の位置との相対位置関係は一義的に特定される。従って、第1地物の像の画像内での位置から第1地物と車両との実空間上での相対位置関係を特定し、第2地物の像の画像内での位置から第2地物と車両との実空間上での相対位置関係を特定すれば、これらの2つの相対位置関係から第1地物と第2地物との相対位置関係を特定することができる。そして、特定された相対位置関係と同一の相対位置関係が地物情報に含まれていれば、地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたと判定することができる。
Then, when the image of the first feature and the image of the second feature are extracted, based on the position of the image of the first feature in the image and the position of the image of the second feature in the image. Then, the relative positional relationship between the first feature and the second feature in the real space is acquired and compared with the feature information. That is, since the in-
地物位置取得部21dは、撮影された第1地物の位置を地物情報に基づいて特定する機能を制御部20に実現させるモジュールである。すなわち、地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が車載カメラ44にて撮影された場合、制御部20は、地物位置取得部21dの処理により、地物情報において当該相対位置関係を示す情報が対応付けられている第1地物の位置を、撮影された第1地物の位置として取得する。
The feature
本実施形態において制御部20は、地物位置取得部21dの処理により、地図情報30aのリンクデータを参照し、車線の位置を示す情報と第1地物の位置とを比較することによって、第1地物が存在する車線を特定する。そして、当該特定された車線を車両の走行車線とする。すなわち、上述のように、画像解析部21cにおいては、車両が走行する走行車線内に存在する第1地物の像が撮影されたか否かを判定する構成であるため、撮影されたと判定されて位置が特定された第1地物は車両の走行車線内に存在する。そこで、第1地物が存在する車線を特定すれば、当該特定された車線が車両の走行車線であるとみなすことができる。
In the present embodiment, the
車両の走行車線を特定すると、制御部20は、図示しないナビゲーションプログラムの処理により、当該走行車線と案内対象経路を走行する際に走行すべき推奨車線とを比較し、走行車線と推奨車線とが異なる場合に、走行車線を変更して推奨車線に移動するように案内するための制御信号をユーザI/F45に対して出力する。ユーザI/F45においては、当該制御信号により、走行車線を変更して推奨車線に移動するように案内するための画像や音声を運転者に対して出力する。
When the travel lane of the vehicle is specified, the
以上の構成においては、車載カメラによって撮影された第1地物が予め地物情報に規定された第1地物であるか否かを第1地物と第2地物との相対位置関係に基づいて特定し、地物情報に規定された第1地物である場合には、当該地物情報に基づいて第1地物の位置を取得する。この結果、道路上に複数の第1地物が存在する(すなわち、同一形状の第1地物の地物が存在する)場合であっても、車載カメラによって撮影された第1地物が特定の位置に存在する特定の地物であると判定することができ、他の第1地物と区別された状態で第1地物の位置が特定される。このため、撮影した第1地物を他の第1地物と誤認することはなく、正確に第1地物の位置を特定し、正確に車両の走行車線を特定することができる。 In the above configuration, whether or not the first feature photographed by the in-vehicle camera is the first feature defined in advance in the feature information is the relative positional relationship between the first feature and the second feature. If the first feature is specified based on the feature information, the position of the first feature is acquired based on the feature information. As a result, even when there are a plurality of first features on the road (that is, there are features of the first feature having the same shape), the first feature photographed by the in-vehicle camera is identified. The position of the first feature can be determined in a state distinguished from the other first features. Therefore, the photographed first feature is not misidentified as another first feature, and the position of the first feature can be accurately identified and the travel lane of the vehicle can be accurately identified.
(2)地物位置取得処理:
次に、地物位置取得プログラム21による車線判定処理を説明する。図2は地物位置取得プログラム21が実行する車線判定処理を示すフローチャートであり、当該車線判定処理はナビゲーションプログラムの処理過程において車線を特定する必要がある場合に実行される。図3Aは片側4車線(車線L1〜L4)の道路を走行する車両Cの例を示す図であり、本例において車両Cは二点鎖線で示す視野を車載カメラ44で撮影しながら走行する。なお、図3Bは、図3Aに示す車載カメラ44の視野に含まれる車線のうち、車線L2および車線L3のペイントを拡大して示した状態である。
(2) Feature position acquisition processing:
Next, the lane determination process by the feature
地物位置取得プログラム21の処理が開始されると、制御部20は、画像情報取得部21bおよび画像解析部21cの処理により、第1地物の検出処理が成功したか否かを判定する(ステップS100)。本実施形態において制御部20は、画像情報取得部21bの処理により車載カメラ44が出力する画像情報を取得し、画像解析部21cの処理により車両が走行している走行車線の像が存在する領域において第1地物の像が検出されたか否かを判定する。
When the processing of the feature
具体的には、図3Aに示すように、二点鎖線で示された車載カメラ44の視野の中央に車両Cが走行する走行車線L2が存在する場合、車載カメラ44が出力する画像情報が示す画像の中央において走行車線L2の像が存在し得る所定領域内に、第1地物の像が存在するか否かを判定する。例えば、図3A,3Bに示すように、第1地物が矢印ペイントP1である場合、当該所定領域内に存在するエッジや地物の像の端点等を検出し、当該エッジや端点等の配置パターンが予め特定された矢印ペイントP1に特徴的な配置パターンであるか否かを判定することによって矢印ペイントP1の像が検出されたか否かを判定する。本実施形態において、第1地物の像が存在するか否かを判定する対象となる領域は、走行車線の像が存在する領域であれば良く、車両の走行車線内の左右位置に応じて当該領域を変動させてもよいし、通常の車両は走行車線の中央を走行するとみなして画像内で走行車線が存在し得る領域を予め固定的に特定してもよい。
Specifically, as shown in FIG. 3A, when the traveling lane L 2 traveling vehicle C is in the center of the field of view of the
ステップS100において、第1地物の検出処理が成功したと判定された場合、制御部20は、地物情報取得部21aの処理により、車両から所定距離以内の範囲に複数の第1地物が存在するか否かを判定する(ステップS105)。すなわち、制御部20は、GPS受信部41,車速センサ42,ジャイロセンサ43の出力信号に基づいて車両の現在位置を特定し、予め決められたGPS情報の誤差範囲に相当する所定距離以内の範囲を特定する。そして、制御部20は、地物情報30bに含まれる第1地物の位置を参照し車両の現在位置から所定距離以内の範囲に複数の第1地物が存在するか否かを判定する。
If it is determined in step S100 that the first feature detection process has succeeded, the
ステップS105において、車両から所定距離以内の範囲に複数の第1地物が存在すると判定されない場合、ステップS100にて検出された第1地物の候補は地物情報30bに1個のみ規定されていることになるため、当該候補がステップS100にて検出された第1地物であると特定してステップS130を実行する。なお、地物情報30bに、車両から所定距離以内の範囲に存在する第1地物の情報が含まれない場合、ステップS100における検出は誤検出であるとみなして処理を終了し、あるいは、ステップS135を実行する。
If it is not determined in step S105 that a plurality of first features are present within a predetermined distance from the vehicle, only one candidate for the first feature detected in step S100 is defined in the
一方、ステップS105において、車両から所定距離以内の範囲に複数の第1地物が存在すると判定された場合、制御部20は、画像情報取得部21bおよび画像解析部21cの処理により、第2地物の検出処理が成功したか否かを判定する(ステップS110)。すなわち、制御部20は、画像解析部21cの処理により上述のステップS100にて取得された画像情報を解析し、第2地物の像が検出されたか否かを判定する。具体的には、図3A,3Bに示すように、第2地物が破線ペイントP2である場合、画像情報が示す画像内に存在するエッジや地物の像の端点等を検出し、当該エッジや端点等の配置パターンが予め特定された破線ペイントP2に特徴的な配置パターンであるか否かを判定することによって破線ペイントP2の像が検出されたか否かを判定する。
On the other hand, in step S105, when it is determined that there are a plurality of first features within a predetermined distance from the vehicle, the
次に、制御部20は、画像解析部21cの処理により、第1地物の前端と第2地物の前端との車両の進行方向に沿った距離および第1地物からみた第2地物の方向を取得する(ステップS115)。すなわち、制御部20は、ステップS100にて検出された第1地物の像の前端の画像内における位置を特定する。そして、当該第1地物の像の前端の画像内における位置に基づいて、第1地物の前端と車両の位置(例えば、車載カメラ44の位置)との相対位置関係を特定する。当該相対位置関係は、例えば、図3Aに示す相対位置ベクトルV1に相当し、車両Cからみた第1地物の位置を示す情報となる。第2地物も同様であり、ステップS110にて検出された第2地物の像の前端の画像内における位置を特定し、第2地物の像の前端の画像内における位置に基づいて、第2地物の前端と車両の位置との相対位置関係を特定する。例えば、図3Aに示す相対位置ベクトルV2のように車両Cからみた第2地物の位置を示す情報を特定する。
Next, the
さらに、制御部20は、第1地物の前端と車両の位置との相対位置関係および第2地物の前端と車両の位置との相対位置関係に基づいて第1地物の前端と第2地物の前端との車両の進行方向に沿った距離を取得する。例えば、図3Aに示す例において、上述のような相対位置ベクトルV1および相対位置ベクトルV2を特定し、両ベクトルに基づいて第1地物の前端と第2地物の前端との相対位置ベクトルV3を特定する。そして、当該相対位置ベクトルV3の進行方向に沿った成分を特定して第1地物の前端と第2地物の前端との車両の進行方向に沿った距離とする。なお、本実施形態においては、車両の進行方向を正の方向とし、第1地物の前端より第2地物の前端の方が前方に存在する場合には距離を正の値とし、第1地物の前端より第2地物の前端の方が後方に存在する場合には距離を負の値とする。この結果、例えば、第1地物が図3Bに示す左側の矢印ペイントP1であれば、第1地物と第2地物との距離D1,−D2が特定される。また、以上のような距離の算出手法は一例であり、画像情報内の2点の位置にて撮影された像の間の実空間上の距離を示す情報を特定して記録媒体に記録しておき、当該情報を参照して第1地物の前端と第2地物の前端との距離を特定する構成であっても良い。
Further, the
さらに、本実施形態においては、車両の進行方向を前方とし、当該進行方向に平行かつ第1地物を含む線を基準とした場合の左右方向によって、第1地物からみた第2地物の方向を定義する構成としている。そこで、制御部20は、当該線を基準として第1地物からみた第2地物の方向を特定する。例えば、図3A,3Bに示す例において制御部20は、相対位置ベクトルV3の進行方向に垂直な方向に沿った成分を特定し、当該成分が線Lsに対して左方向、右方向のいずれを向いているかを判定することによって、第1地物からみた第2地物の方向を取得する。なお、第1地物の左右のいずれにも第2地物が存在する場合、左右のそれぞれについて第1地物の前端と第2地物の前端との距離と第1地物から見た第2地物の方向とが特定され、第1地物の前端と第2地物の前端との距離に対して第1地物からみた第2地物の方向が左右のいずれかであるかを示す情報が対応付けられる。
Further, in the present embodiment, the second feature as viewed from the first feature is defined by the left-right direction when the vehicle traveling direction is the front, and the line is parallel to the traveling direction and includes the first feature. The direction is defined. Therefore, the
次に、制御部20は、画像解析部21cの処理により、ステップS115にて取得した距離に一致する距離および方向が対応付けられた第1地物が存在するか否かを判定する(ステップS120)。すなわち、制御部20は、ステップS105にて所定距離以内の範囲に存在すると判定された複数の第1地物のなかに、第2地物との相対位置関係を示す情報としての距離および方向であって、ステップS115にて取得された距離および方向に一致する距離および方向が対応付けられた第1地物が存在するか否かを判定する。
Next, the
ステップS120にて、ステップS115にて取得した距離に一致する距離および方向が対応付けられた第1地物が存在すると判定された場合、ステップS115にて取得した距離に一致する距離および方向が対応付けられた第1地物がステップS100にて検出された第1地物であると特定する(ステップS125)。以上のような、ステップS100〜S120によれば、地物情報30bが示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたか否かを判定することになる。
If it is determined in step S120 that there is a first feature associated with the distance and direction that match the distance acquired in step S115, the distance and direction that match the distance acquired in step S115 correspond. It identifies that the attached first feature is the first feature detected in step S100 (step S125). According to the steps S100 to S120 as described above, it is determined whether or not the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the
ステップS105,S125にて第1地物が特定されると、制御部20は、地物位置取得部21dの処理により、特定された第1地物に基づいて走行車線を特定する(ステップS130)。すなわち、制御部20は、地物情報30bを参照し、ステップS105,S125にて特定された第1地物の位置を特定する。そして、制御部20は、地物位置取得部21dの処理により、地図情報30aのリンクデータを参照し、車線の位置を示す情報と第1地物の位置とを比較することによって、第1地物が存在する車線を特定し、当該特定された車線を車両の走行車線とする。すなわち、本実施形態においては、図3Aに示すように、ステップS100において、車両Cの走行車線内に存在する第1地物を検出する構成としているため、撮影された第1地物が存在する車線を特定することによって車両Cの走行車線を特定することが可能になる。
When the first feature is identified in steps S105 and S125, the
以上のようにして車両Cの走行車線が特定されると、制御部20は、車両の走行車線を示す情報をナビゲーションプログラムに受け渡す。この結果、制御部20は、ナビゲーションプログラムの処理により、当該走行車線と案内対象経路を走行する際に走行すべき推奨車線とを比較し、走行車線と推奨車線とが異なる場合、ユーザI/F45に制御信号を出力して、走行車線を変更して推奨車線に移動するように案内するための画像や音声を運転者に対して出力させる。
When the traveling lane of the vehicle C is specified as described above, the
ステップS120において、ステップS115にて取得した距離に一致する距離および方向が対応付けられた第1地物が存在すると判定されない場合、制御部20は、画像解析部21cの処理により、車両から所定距離以内の範囲に他の種類の第1地物が存在するか否かを判定する(ステップS135)。すなわち、本実施形態においては、形状の異なる複数の種類の第1地物についての情報が地物情報30bに記録されており、各第1地物のなかのいずれか一つを検出対象の第1地物としてステップS100を実施するように構成されている。そこで、ステップS135において制御部20は、ステップS100において既に検出対象とされた第1地物とは異なる第1地物が、車両の現在位置から所定距離以内の範囲に存在するか否かを判定することになる。
In step S120, if it is not determined that there is a first feature associated with the distance and direction that match the distance acquired in step S115, the
そして、ステップS135において、車両から所定距離以内の範囲に他の種類の第1地物が存在すると判定された場合、存在すると判定された当該他の種類の第1地物の中のいずれかを検出対象に設定してステップS100以降の処理を繰り返す。一方、ステップS135において、車両から所定距離以内の範囲に他の種類の第1地物が存在すると判定されない場合、車両の走行車線が未定であるとし(ステップS140)、処理を終了する。なお、走行車線が未定である場合、ナビゲーションプログラムにおいては車線に関する案内を中止するなどの処理を行う。 In step S135, if it is determined that another type of first feature is present within a predetermined distance from the vehicle, one of the other types of first features determined to be present is selected. It sets to a detection target and repeats the process after step S100. On the other hand, if it is not determined in step S135 that another type of first feature is present within a predetermined distance from the vehicle, the travel lane of the vehicle is determined to be undetermined (step S140), and the process ends. If the travel lane is undecided, the navigation program performs processing such as canceling guidance related to the lane.
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、第1地物と第2地物との相対位置関係が特定の位置関係であるか否かに基づいて第1地物を他の第1地物と区別する限りにおいて、他にも種々の実施形態を採用可能である。例えば、上述の実施形態において、第1地物と第2地物とは異なる形状の地物であったが、両者は同形状の地物であっても良い。すなわち、別個の地物として認識され得る状態で存在する地物を第1地物および第2地物とし、複数の第1地物のなかから特定の第1地物が区別できるように2以上の地物間の相対位置関係を区別できる限りにおいて、第2地物の形状や種類等は特に限定されない。また、上述の実施形態のように、複数の種類の第1地物を地物情報に記録する構成において、第2地物は特定の種類の地物であっても良いし、第1地物の種類に応じて第2地物の種類が異なるように構成してもよい。
(3) Other embodiments:
The above embodiment is an example for carrying out the present invention. Based on whether the relative positional relationship between the first feature and the second feature is a specific positional relationship, Various other embodiments can be employed as long as they are distinguished from the first feature. For example, in the above-described embodiment, the first feature and the second feature are features having different shapes, but both may be the same shape. That is, a feature that exists in a state that can be recognized as a separate feature is defined as a first feature and a second feature, and two or more such that a specific first feature can be distinguished from a plurality of first features. As long as the relative positional relationship between the two features can be distinguished, the shape and type of the second feature are not particularly limited. In the configuration in which a plurality of types of first features are recorded in the feature information as in the above-described embodiment, the second feature may be a specific type of feature, or the first feature You may comprise so that the kind of 2nd feature may differ according to the kind of.
さらに、地物情報において、第1地物の位置は、複数の第1地物から特定の第1地物を区別できるように定義されていれば良く、上述のように、実空間の座標系によって定義する他、第1地物が存在する車線によって定義されても良い。 Furthermore, in the feature information, the position of the first feature only needs to be defined so that the specific first feature can be distinguished from the plurality of first features. In addition to the above, the lane in which the first feature exists may be defined.
さらに、上述の実施形態においては、車両の走行車線内に存在し得る第1地物を検出する構成であったが、第1地物の検出対象となる領域は走行車線に限定されない。従って、道路上に第1地物および第2地物が存在する場合に、当該道路を視野に含むように車載カメラを車両に取り付けることで、第1地物および第2地物の像が画像に含まれ得るように画像情報を取得するように構成すればよい。また、第1地物と第2地物のいずれかまたは双方が道路上に存在する構成に限定されず、道路周辺に存在する地物を第1地物と第2地物のいずれかまたは双方としても良い。 Furthermore, in the above-described embodiment, the first feature that may be present in the travel lane of the vehicle is detected. However, the region that is the detection target of the first feature is not limited to the travel lane. Accordingly, when the first feature and the second feature are present on the road, an image of the first feature and the second feature is obtained by attaching the vehicle-mounted camera to the vehicle so that the road is included in the field of view. The image information may be acquired so as to be included. In addition, one or both of the first feature and the second feature is not limited to the configuration in which the first feature and the second feature are present on the road, and the feature existing around the road is either the first feature or the second feature or both. It is also good.
さらに、地物情報が示す相対位置関係と同一の相対位置関係にある第1地物および第2地物が撮影されたか否かの判定は、種々の手法によって実現可能である。例えば画像情報に基づいて所定形状の第1地物の像を抽出し、地物情報に規定された相対位置関係に第2地物の像が存在するか否かを判定する構成を採用しても良い。 Furthermore, the determination as to whether or not the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information have been photographed can be realized by various methods. For example, a configuration is adopted in which an image of a first feature having a predetermined shape is extracted based on image information, and it is determined whether or not the second feature image exists in a relative positional relationship defined in the feature information. Also good.
さらに、第1地物の位置に基づいて車両の位置を特定する構成を採用しても良い。例えば、撮影された第1地物の画像内における位置によって特定される、当該第1地物と車両との相対位置関係に基づいて、第1地物が撮影された時点における車両の位置を特定する構成を採用しても良い。すなわち、車両に固定された車載カメラにおいては当該車載カメラの視野と車両との関係が変化しないため、画像内の任意位置にて撮影された路面上の地物の実空間上での位置と車両の実空間上での位置に関する相対位置関係は一義的に特定される。このため、第1地物の画像内における位置が特定されると、その第1地物と車両との相対位置関係が特定される。そこで、撮影された第1地物の実空間上の位置と撮影された第1地物の画像内における位置とを特定すれば、車両の位置を特定することが可能になる。例えば、図3Aに示す例において、第1地物の画像内における位置に基づいて相対位置ベクトルV1を特定し、第1地物の実空間上の位置と当該相対位置ベクトルV1とに基づいて車両Cの位置を特定する構成とすることも可能である。 Furthermore, you may employ | adopt the structure which pinpoints the position of a vehicle based on the position of a 1st feature. For example, the position of the vehicle at the time when the first feature is photographed is identified based on the relative positional relationship between the first feature and the vehicle, which is identified by the position in the image of the photographed first feature. You may employ | adopt the structure to do. That is, in a vehicle-mounted camera fixed to the vehicle, the relationship between the field of view of the vehicle-mounted camera and the vehicle does not change, so the position of the feature on the road surface taken at an arbitrary position in the image and the vehicle The relative positional relationship regarding the position in the real space is uniquely specified. For this reason, when the position of the first feature in the image is specified, the relative positional relationship between the first feature and the vehicle is specified. Therefore, if the position of the photographed first feature in the real space and the position of the photographed first feature in the image are specified, the position of the vehicle can be specified. For example, in the example shown in FIG. 3A, the relative position vector V 1 is specified based on the position of the first feature in the image, and based on the position of the first feature in real space and the relative position vector V 1. The position of the vehicle C can be specified.
さらに、第1地物の位置に基づいて車両の進行方向に平行な方向の車両の位置を取得する構成を採用しても良い。例えば、車両の進行方向に平行な方向に並んで第1地物が存在し得る場合に、撮影された第1地物の画像内における位置によって特定される、当該第1地物と車両との相対位置関係に基づいて、第1地物が撮影された時点における車両の進行方向に平行な方向の車両の位置を特定する構成を採用可能である。すなわち、進行方向(道路が延びる方向)に沿って異なる位置に第1地物が存在し得る状態において、撮影された第1地物の位置が特定されると、当該撮影された第1地物が存在する位置が進行方向に沿った方向において特定される。従って、当該撮影された第1地物の画像内における位置によって特定される第1地物の位置と車両の位置との相対位置関係に基づいて進行方向に沿った車両の存在位置を特定することができる。 Furthermore, the structure which acquires the position of the vehicle of a direction parallel to the advancing direction of a vehicle based on the position of a 1st feature may be employ | adopted. For example, when the first feature can exist in a direction parallel to the traveling direction of the vehicle, the first feature and the vehicle are identified by the position in the image of the photographed first feature. Based on the relative positional relationship, it is possible to adopt a configuration that specifies the position of the vehicle in a direction parallel to the traveling direction of the vehicle at the time when the first feature is photographed. That is, when the position of the photographed first feature is specified in a state where the first feature may exist at different positions along the traveling direction (direction in which the road extends), the photographed first feature Is located in a direction along the traveling direction. Therefore, the vehicle position along the traveling direction is specified based on the relative positional relationship between the position of the first feature specified by the position in the image of the photographed first feature and the position of the vehicle. Can do.
図4は、片側2車線の道路および地物の例を示す図である。この例において、車載カメラ44にて車線の境界線を構成する白線ペイントP3や破線ペイントP2を撮影し、車両Cと白線ペイントP3、破線ペイントP2との相対位置関係を特定すれば、車両Cが車線L5,L6のいずれを走行しているのか特定することができる。しかし、矢印ペイントP1は車線L5,L6のそれぞれにおいて車両Cの進行方向に沿って複数個存在し得るため、画像情報から矢印ペイントP1と同形状の地物を検出するのみでは、車両Cの進行方向の位置を特定することができない。しかし、本発明のように、第1地物と第2地物との相対位置関係に基づいて第1地物を区別する構成においては、例えば、図4に示す車線L5内において前方に存在する第1地物である矢印ペイントP1と第2地物である破線ペイントP2との距離は−D4であるとともに、第1地物からみて第2地物は右側に存在する。一方、図4に示す車線L5内において後方に存在する第1地物である矢印ペイントP1と第2地物である破線ペイントP2との距離は−D5であるとともに、第1地物からみて第2地物は右側に存在する。なお、D4>0,D5>0である。
FIG. 4 is a diagram illustrating an example of roads and features on two lanes on one side. In this example, if the in-
さらに、図4に示す車線L6内において前方に存在する第1地物である矢印ペイントP1と第2地物である破線ペイントP2との距離は−D4であるとともに第1地物からみて第2地物は左側に存在し、車線L6内において後方に存在する第1地物である矢印ペイントP1と第2地物である破線ペイントP2との距離は−D5であるとともに第1地物からみて第2地物は左側に存在する。従って、車両Cからの所定距離以内に図4に示す4個の第1地物が全て含まれる場合であっても、第1地物と第2地物との相対位置関係に基づいて第1地物を区別することができ、車両Cの位置を特定することが可能になる。 Further, the distance between the arrow paint P 1 as the first feature existing ahead in the lane L 6 shown in FIG. 4 and the broken paint P 2 as the second feature is −D 4 and the first feature. Accordingly, the second feature exists on the left side, and the distance between the arrow paint P 1 that is the first feature located behind in the lane L 6 and the dashed paint P 2 that is the second feature is −D 5 . At the same time, the second feature exists on the left side as viewed from the first feature. Therefore, even if all of the four first features shown in FIG. 4 are included within a predetermined distance from the vehicle C, the first feature is based on the relative positional relationship between the first feature and the second feature. The features can be distinguished, and the position of the vehicle C can be specified.
さらに、相対位置関係は少なくとも2個について規定されていれば良く、第n地物(nは3以上の自然数)を導入し、3個以上の地物の相対位置関係に基づいて第1地物の位置を特定する構成としても良い。 Furthermore, the relative positional relationship only needs to be specified for at least two, and the first feature is introduced based on the relative positional relationship of the three or more features by introducing the nth feature (n is a natural number of 3 or more). It is good also as a structure which pinpoints the position.
10…ナビゲーション装置、20…制御部、21…地物位置取得プログラム、21a…地物情報取得部、21b…画像情報取得部、21c…画像解析部、21d…地物位置取得部、30…記録媒体、30a…地図情報、30b…地物情報、41…GPS受信部、42…車速センサ、43…ジャイロセンサ、44…車載カメラ、45…ユーザI/F部
DESCRIPTION OF
Claims (9)
車載カメラによって撮影された画像を示す画像情報を取得する画像情報取得手段と、
前記画像情報に基づいて、前記地物情報が示す相対位置関係と同一の相対位置関係にある前記第1地物および前記第2地物が撮影されたか否かを判定する画像解析手段と、
前記地物情報が示す相対位置関係と同一の相対位置関係にある前記第1地物および前記第2地物が撮影された場合、前記地物情報において当該相対位置関係を示す情報が対応付けられている前記第1地物の位置を、撮影された前記第1地物の位置として取得する地物位置取得手段と、
を備える地物位置取得装置。 The second feature that is paint on the road surface having a shape different from the shape of the first feature and the first feature with respect to information indicating the position of the first feature that is paint on the road surface having a plurality of predetermined shapes. The distance between the first feature and the second feature along the traveling direction of the vehicle, the traveling direction of the vehicle as the front, and parallel to the traveling direction In addition, when a line including the first feature is used as a reference, the ground is defined by associating information indicating in which direction the right and left of the second feature viewed from the first feature are present. Feature information acquisition means for acquiring object information;
Image information acquisition means for acquiring image information indicating an image taken by the in-vehicle camera;
Based on the image information, image analysis means for determining whether or not the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information have been photographed;
When the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information are photographed, information indicating the relative positional relationship is associated with the feature information. A feature position acquisition means for acquiring a position of the first feature as a position of the photographed first feature;
A feature position acquisition device comprising:
請求項1に記載の地物位置取得装置。 The image analysis means performs a process of detecting the first feature from an image indicated by the image information, and when the first feature is detected, the image analysis unit is within a predetermined distance from the vehicle based on the feature information. A process of determining whether or not there are a plurality of first features in a range and detecting the second feature from an image indicated by the image information when it is determined that a plurality of the first features are present When the second feature is detected, the relative position relationship between the first feature detected from the image indicated by the image information and the second feature detected from the image indicated by the image information Determining whether the first feature and the second feature in the same relative positional relationship are defined in the feature information;
The feature position acquisition apparatus according to claim 1.
請求項1または請求項2のいずれかに記載の地物位置取得装置。 The feature position acquisition means is based on a relative positional relationship between the photographed first feature and the vehicle , which is specified by a position of the photographed first feature in the image. Vehicle position specifying means for specifying the position of the vehicle at the time when the feature was photographed;
The feature position acquisition apparatus according to claim 1 or 2.
前記地物位置取得手段は、撮影された前記第1地物の前記画像内における位置によって特定される、撮影された前記第1地物と前記車両との相対位置関係に基づいて、前記第1地物が撮影された時点における前記車両の走行車線を特定する、
請求項1〜請求項3のいずれかに記載の地物位置取得装置。 The first feature is a feature that may be present in each lane aligned in a direction perpendicular to the traveling direction of the vehicle on a road where a plurality of lanes exist.
The feature position acquisition means is based on a relative positional relationship between the photographed first feature and the vehicle , which is specified by a position of the photographed first feature in the image. Identify the lane of the vehicle at the time the feature was photographed,
The feature position acquisition apparatus in any one of Claims 1-3.
前記地物位置取得手段は、撮影された前記第1地物の前記画像内における位置によって特定される、撮影された前記第1地物と前記車両との相対位置関係に基づいて、前記第1地物が撮影された時点における前記車両の進行方向に平行な方向の前記車両の位置を特定する、
請求項1〜請求項4のいずれかに記載の地物位置取得装置。 The first feature is a feature that can exist side by side in a direction parallel to the traveling direction of the vehicle ,
The feature position acquisition means is based on a relative positional relationship between the photographed first feature and the vehicle , which is specified by a position of the photographed first feature in the image. Identifying the position of the vehicle in a direction parallel to the direction of travel of the vehicle at the time the feature was photographed;
The feature position acquisition apparatus according to any one of claims 1 to 4.
前記第2地物は、前記道路上に存在する車線の境界線を構成する破線のペイントである、 The second feature is a broken line paint constituting a boundary line of a lane existing on the road.
請求項1〜請求項5のいずれかに記載の地物位置取得装置。The feature position acquisition apparatus in any one of Claims 1-5.
請求項6に記載の地物位置取得装置。The feature position acquisition apparatus according to claim 6.
画像情報取得が、車載カメラによって撮影された画像を示す画像情報を取得するステップ、
画像解析手段が、前記画像情報に基づいて、前記地物情報が示す相対位置関係と同一の相対位置関係にある前記第1地物および前記第2地物が撮影されたか否かを判定するステップ、
地物位置取得手段が、前記地物情報が示す相対位置関係と同一の相対位置関係にある前記第1地物および前記第2地物が撮影された場合、前記地物情報において当該相対位置関係を示す情報が対応付けられている前記第1地物の位置を、撮影された前記第1地物の位置として取得するステップ、
を含む地物位置取得方法。 The feature information acquisition means is on the road surface having a shape different from the shape of the first feature and the first feature with respect to the information indicating the position of the first feature that is a plurality of paints on the road surface of a predetermined shape . Information indicating a relative positional relationship with the second feature that is a paint, the distance between the first feature and the second feature along the traveling direction of the vehicle, and the traveling direction of the vehicle as the front Information indicating whether the second feature viewed from the first feature is in the left or right direction when the line including the first feature is parallel to the traveling direction. acquiring feature information defined in association with,
Image information acquisition step of acquiring image information indicating an image captured by the onboard camera,
A step of determining whether or not the image analysis means has photographed the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information based on the image information; ,
When the feature position acquisition means has photographed the first feature and the second feature that have the same relative positional relationship as the relative positional relationship indicated by the feature information, the relative positional relationship in the feature information. the position of the first feature information is associated indicating a acquires a position of the photographed first feature step,
Feature position acquisition method including
複数の所定形状の路面上のペイントである第1地物の位置を示す情報に対して当該第1地物と当該第1地物の形状と異なる形状の路面上のペイントである第2地物との相対位置関係を示す情報であって、車両の進行方向に沿った前記第1地物と前記第2地物との距離と、前記車両の進行方向を前方とし、当該進行方向に平行であるとともに前記第1地物を含む線を基準とした場合に、前記第1地物からみた前記第2地物が左右のいずれの方向に存在するかを示す情報を対応付けて規定された地物情報を取得する地物情報取得手段、
車載カメラによって撮影された画像を示す画像情報を取得する画像情報取得手段、
前記画像情報に基づいて、前記地物情報が示す相対位置関係と同一の相対位置関係にある前記第1地物および前記第2地物が撮影されたか否かを判定する画像解析手段、
前記地物情報が示す相対位置関係と同一の相対位置関係にある前記第1地物および前記第2地物が撮影された場合、前記地物情報において当該相対位置関係を示す情報が対応付けられている前記第1地物の位置を、撮影された前記第1地物の位置として取得する地物位置取得手段、
として機能させる地物位置取得プログラム。 Computer
The second feature that is paint on the road surface having a shape different from the shape of the first feature and the first feature with respect to information indicating the position of the first feature that is paint on the road surface having a plurality of predetermined shapes. The distance between the first feature and the second feature along the traveling direction of the vehicle, the traveling direction of the vehicle as the front, and parallel to the traveling direction In addition, when a line including the first feature is used as a reference, the ground is defined by associating information indicating in which direction the right and left of the second feature viewed from the first feature are present. Feature information acquisition means for acquiring object information;
Image information acquisition means for acquiring image information indicating an image taken by the in-vehicle camera;
Image analysis means for determining, based on the image information, whether or not the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information have been photographed;
When the first feature and the second feature having the same relative positional relationship as the relative positional relationship indicated by the feature information are photographed, information indicating the relative positional relationship is associated with the feature information. A feature position acquisition means for acquiring a position of the first feature as a position of the photographed first feature;
Feature location acquisition program to function as .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010176098A JP5549468B2 (en) | 2010-08-05 | 2010-08-05 | Feature position acquisition apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010176098A JP5549468B2 (en) | 2010-08-05 | 2010-08-05 | Feature position acquisition apparatus, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012037312A JP2012037312A (en) | 2012-02-23 |
JP5549468B2 true JP5549468B2 (en) | 2014-07-16 |
Family
ID=45849469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010176098A Expired - Fee Related JP5549468B2 (en) | 2010-08-05 | 2010-08-05 | Feature position acquisition apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5549468B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6469066B2 (en) * | 2016-11-17 | 2019-02-13 | 株式会社ゼンリン | Driving support system |
FR3114417B1 (en) * | 2020-09-22 | 2022-08-26 | Valeo Vision | Method for differentiating a secondary ground marking of a road from a primary ground marking |
KR20230022339A (en) * | 2021-08-06 | 2023-02-15 | 현대자동차주식회사 | System for displaying attention to nearby vehicles and method for providing an alarm using the same |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006208223A (en) * | 2005-01-28 | 2006-08-10 | Aisin Aw Co Ltd | Vehicle position recognition device and vehicle position recognition method |
JP4577655B2 (en) * | 2005-12-27 | 2010-11-10 | アイシン・エィ・ダブリュ株式会社 | Feature recognition device |
JP4703605B2 (en) * | 2007-05-31 | 2011-06-15 | アイシン・エィ・ダブリュ株式会社 | Feature extraction method, image recognition method and feature database creation method using the same |
JP4936070B2 (en) * | 2007-12-28 | 2012-05-23 | アイシン・エィ・ダブリュ株式会社 | Navigation device and navigation program |
JP2011128049A (en) * | 2009-12-18 | 2011-06-30 | Alpine Electronics Inc | Traffic sign recognition device and traffic sign recognition method |
-
2010
- 2010-08-05 JP JP2010176098A patent/JP5549468B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012037312A (en) | 2012-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7074438B2 (en) | Vehicle position estimation device | |
CN105270410B (en) | Exact curvature algorithm for estimating for the path planning of autonomous land vehicle | |
EP2372304B1 (en) | Vehicle position recognition system | |
CN101246010B (en) | Lane determining device, method, and program | |
JP4506790B2 (en) | Road information generation apparatus, road information generation method, and road information generation program | |
JP6859927B2 (en) | Vehicle position estimation device | |
US20090118994A1 (en) | Vehicle and lane recognizing device | |
WO2010035781A1 (en) | Lane determining device and navigation system | |
WO2019203084A1 (en) | Map information updating system and map information updating program | |
JP4702149B2 (en) | Vehicle positioning device | |
US11042759B2 (en) | Roadside object recognition apparatus | |
JP6129268B2 (en) | Vehicle driving support system and driving support method | |
KR102037129B1 (en) | Apparatus and Method for Compensating Position of Vehicle, System for Compensating Position of Vehicle and Unmanned Vehicle Using the Same | |
JP5742558B2 (en) | POSITION DETERMINING DEVICE, NAVIGATION DEVICE, POSITION DETERMINING METHOD, AND PROGRAM | |
JP2009205403A (en) | Road sign recognition device and road sign recognition method | |
JP6943127B2 (en) | Position correction method, vehicle control method and position correction device | |
CN112124304A (en) | Library position positioning method and device and vehicle-mounted equipment | |
JP4731380B2 (en) | Self-vehicle position recognition device and self-vehicle position recognition method | |
JP4924270B2 (en) | Road information acquisition device, road information acquisition method, and road information acquisition program | |
JP5974923B2 (en) | Road edge detection system, method and program | |
JP5549468B2 (en) | Feature position acquisition apparatus, method and program | |
JP4953015B2 (en) | Own vehicle position recognition device, own vehicle position recognition program, and navigation device using the same | |
JP4492592B2 (en) | Vehicle detection device, navigation device, vehicle detection program, and vehicle detection method | |
JP5682302B2 (en) | Traveling road estimation device, method and program | |
JP2021114059A (en) | Risk determination system and risk determination program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140505 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5549468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |