JP7342499B2

JP7342499B2 - tagging device

Info

Publication number: JP7342499B2
Application number: JP2019141133A
Authority: JP
Inventors: 力米森
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2023-09-12
Anticipated expiration: 2039-07-31
Also published as: JP2021026287A

Description

本発明は、タグ付与装置に関する。 The present invention relates to a tagging device.

車両に搭載されたカメラにより取得された、車両の周辺状況を示す画像を用いて走行制御装置が車両の走行を制御する技術が知られている。走行制御装置は、カメラが撮像する画像に基づいて認識された物体や地物など物体等の情報を、車両の動力、制動、操舵といった走行動作の制御のために用いる。 2. Description of the Related Art There is a known technology in which a travel control device controls the travel of a vehicle using an image showing the surrounding situation of the vehicle, which is acquired by a camera mounted on the vehicle. The driving control device uses information about objects such as objects and terrestrial features recognized based on images captured by a camera to control driving operations such as power, braking, and steering of the vehicle.

人工知能を搭載した走行制御装置による走行制御の精度を向上させるため、人工知能に識別させるべき属性がタグとして付与された教師データを用いて人工知能に学習させることが求められる。例えば、車両に搭載されたカメラにより生成された画像に対し、画像に撮影された地物の情報をタグとして付与することにより、教師データが作成される。 In order to improve the accuracy of driving control by a driving control device equipped with artificial intelligence, it is necessary to have the artificial intelligence learn using training data that has been tagged with attributes that the artificial intelligence should identify. For example, teacher data is created by tagging an image generated by a camera mounted on a vehicle with information about a feature photographed in the image.

特許文献１には、撮影された画像と、画像に応じて検索された地物特定情報とを重畳して表示する画像表示装置が記載されている。 Patent Document 1 describes an image display device that displays a photographed image and feature identification information retrieved according to the image in a superimposed manner.

特開２０１２－１７０１００号公報Japanese Patent Application Publication No. 2012-170100

特許文献１に記載の技術によると、画像表示装置は、撮影位置と撮影方位と姿勢とに基づいて撮影空間を特定し、特定された撮影空間内に代表点座標が位置する地物を、地物特定情報記憶部から検索する。したがって、大量に登録された地物の中から撮影空間に存在する地物を迅速に特定することは容易ではない。 According to the technology described in Patent Document 1, an image display device specifies a photographing space based on a photographing position, a photographing direction, and an orientation, and displays a feature whose representative point coordinates are located within the specified photographic space on the ground. Search from the object identification information storage unit. Therefore, it is not easy to quickly identify a feature existing in the photographic space from among a large number of registered features.

本発明は、撮影装置により撮影された画像に対し、画像に含まれる地物の情報を迅速に特定するタグ付与装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a tagging device that quickly identifies information on a feature included in an image photographed by a photographing device.

本発明にかかるタグ付与装置は、撮影装置により撮影されたときの撮影装置の位置を示す撮影位置および撮影装置の向いている方位を示す撮影方位を含む撮影条件が関連づけられた画像に対応する、少なくとも撮影位置を含む対象エリアを特定する対象エリア特定部と、所定領域に存在する地物について、少なくとも地物の名称および当該地物に対応する地図上の位置を示す地物範囲を含む地物情報を記憶するサーバから、対象エリアに前記地物範囲の少なくとも一部が含まれる地物情報を取得する地物情報取得部と、取得した地物情報に含まれる地物範囲と、画像における撮影位置および撮影方位に基づいて定められる、画像に撮影された領域が地図上に占める範囲を示す撮影範囲と重複するか否かを判定する重複判定部と、撮影範囲と重複すると判定された地物範囲に対応する地物名称をタグとして画像に付与するタグ付与部とを備える。 The tagging device according to the present invention corresponds to an image associated with a photographing condition including a photographing position indicating the position of the photographing device when the photograph was taken by the photographing device and a photographing direction indicating the direction in which the photographing device is facing. A target area specifying unit that identifies a target area including at least a photographing position; and a feature range that indicates at least the name of the feature and the position on the map corresponding to the feature for features existing in the predetermined area; a feature information acquisition unit that acquires feature information that includes at least a part of the feature range in the target area from a server that stores information; a feature information acquisition unit that obtains feature information that includes at least a part of the feature range in the target area; An overlap determination unit that determines whether or not an area photographed in an image overlaps with a photographing range indicating an area occupied on a map, which is determined based on the position and photographing direction, and a feature determined to overlap with the photographing range. and a tagging unit that tags the image with a feature name corresponding to the range.

本発明にかかるタグ付与装置によれば、撮影装置により撮影された画像について、画像に含まれる地物の情報を迅速に特定することができる。 According to the tagging device according to the present invention, it is possible to quickly identify information on a feature included in an image photographed by a photographing device.

タグ付与装置の動作概要図である。FIG. 2 is a schematic diagram of the operation of the tagging device. タグ付与装置が実装される車両の概略構成図である。FIG. 1 is a schematic configuration diagram of a vehicle in which a tagging device is installed. タグ付与装置のハードウェア模式図である。FIG. 2 is a schematic hardware diagram of a tagging device. タグ付与装置が有するプロセッサの機能ブロック図である。FIG. 3 is a functional block diagram of a processor included in the tagging device. 対象エリアの特定を説明する図である。It is a figure explaining specification of a target area. 重複判定処理を説明する図である。It is a figure explaining duplication determination processing. タグ付与処理のフローチャートである。It is a flowchart of tagging processing. 異なる重複判定処理を説明する図である。It is a figure explaining different duplication determination processing. （ａ）は地物高さを用いた重複判定処理を説明する図であり、（ｂ）は地物高さを用いた画像へのタグ付与を説明する図である。(a) is a diagram illustrating duplication determination processing using the height of a feature, and (b) is a diagram illustrating tagging to an image using the height of a feature.

以下、図面を参照してタグ付与装置について詳細に説明する。ただし、本発明は図面または以下に記載される実施形態に限定されないことを理解されたい。 Hereinafter, the tagging device will be described in detail with reference to the drawings. However, it is to be understood that the invention is not limited to the embodiments described in the drawings or below.

タグ付与装置は、撮像装置により撮影された画像に対し、画像に含まれる地物の情報をタグとして付与する。このとき、タグ付与装置は、少なくとも画像に関連づけられた撮影位置を含む対象エリアを特定する。そして、タグ付与装置は、サーバから対象エリアに対応する地物情報を取得する。そして、タグ付与装置は、地物情報に含まれる地物範囲と、画像に関連づけられた撮影位置および撮影方位とに基づいて定められる撮影範囲とが重複するか否かを判定し、重複すると判定された地物の名称をタグとして画像に付与する。これにより、このタグ付与装置は、撮像装置により撮影された画像について、画像に含まれる地物の情報を迅速に特定することができる。 The tagging device tags an image captured by the imaging device with information about a feature included in the image. At this time, the tagging device specifies a target area that includes at least a shooting position associated with the image. The tagging device then acquires feature information corresponding to the target area from the server. The tagging device then determines whether or not the feature range included in the feature information overlaps with the shooting range determined based on the shooting position and shooting direction associated with the image, and determines that they overlap. The name of the feature is added to the image as a tag. Thereby, this tagging device can quickly identify information on a feature included in an image captured by the imaging device.

以下では、タグ付与装置を車両に搭載した実施形態について説明する。タグ付与装置は、車両に搭載されたカメラにより撮影された画像にタグを付与する。 Below, an embodiment in which a tagging device is mounted on a vehicle will be described. The tagging device tags images taken by a camera mounted on a vehicle.

図１は、タグ付与装置の動作概要図であり、図２はタグ付与装置が実装される車両の概略構成図である。 FIG. 1 is a schematic diagram of the operation of the tagging device, and FIG. 2 is a schematic configuration diagram of a vehicle in which the tagging device is installed.

車両Ｖは、撮影装置の一例であるカメラ１と、タグ付与装置２と、ＧＮＳＳ受信機３と、データ通信モジュール４を有する。カメラ１は、所定時間（ごとに車両の周囲の領域を撮影する。タグ付与装置２は、カメラ１により撮影された画像にタグを付与する。ＧＮＳＳ受信機３は、人工衛星から送信される信号に基づいて位置情報を出力する。タグ付与装置２は、ＧＮＳＳ受信機３が出力する位置情報に基づいて、車両Ｖの進行方向が示す車両方位を推定する。また、タグ付与装置２は、車両Ｖの車体に対するカメラ１の撮影方向、カメラ１の画角といった情報を予め記憶している。データ通信モジュール４は、外部ネットワーク６に含まれる無線基地局７に接続するための通信インタフェース回路を有する。カメラ１、タグ付与装置２、ＧＮＳＳ受信機３、データ通信モジュール４は、車内ネットワーク５を介して通信可能に接続される。車両Ｖは、車両Ｖの走行を制御し、車内ネットワークに接続されるＥＣＵ（Electronic Control Unit、不図示）をさらに有していてもよい。この場合、タグ付与装置２は、車両Ｖに搭載された各種センサの出力を用いた位置情報補正処理によりＥＣＵが作成する車両Ｖの詳細位置情報を、ＥＣＵから取得して利用することができる。 The vehicle V includes a camera 1 which is an example of a photographing device, a tagging device 2, a GNSS receiver 3, and a data communication module 4. The camera 1 photographs the area around the vehicle at predetermined intervals. The tagging device 2 tags the image photographed by the camera 1. The GNSS receiver 3 photographs the area around the vehicle at predetermined intervals. The tagging device 2 estimates the vehicle orientation indicated by the traveling direction of the vehicle V based on the location information output by the GNSS receiver 3. Information such as the shooting direction of the camera 1 and the viewing angle of the camera 1 with respect to the vehicle body of the V is stored in advance.The data communication module 4 has a communication interface circuit for connecting to a wireless base station 7 included in the external network 6. The camera 1, the tagging device 2, the GNSS receiver 3, and the data communication module 4 are communicably connected via the in-vehicle network 5.The vehicle V controls the traveling of the vehicle V and is connected to the in-vehicle network. The tagging device 2 may further include an ECU (Electronic Control Unit, not shown). In this case, the tagging device 2 is configured to perform positional information correction processing using the outputs of various sensors mounted on the vehicle V. Detailed position information of the vehicle V can be obtained from the ECU and used.

タグ付与装置２は、カメラ１が位置Ｏ（N_O,E_O）にあるときに撮影された画像Ｉの入力を受け付ける。タグ付与装置２は、位置Ｏを所定の緯度幅と経度幅とで区分したメッシュに対応づけ、メッシュＸ１と位置Ｏを含むメッシュＸ２とを対象エリアとして特定する。対象エリアの特定の詳細については後述する。 The tagging device 2 receives an input of an image I taken when the camera 1 is at the position O (N _O , E _O ). The tagging device 2 associates the position O with a mesh divided by a predetermined latitude width and longitude width, and specifies the mesh X1 and the mesh X2 including the position O as a target area. Specific details of the target area will be described later.

タグ付与装置２は、対象エリアの情報をサーバ８に送信し、サーバ８から対象エリアに対応する地物情報を取得する。サーバ８は、所定領域に存在する地物についての地物情報を記憶するデータベースを有し、外部ネットワーク６に接続される。タグ付与装置２は、車内ネットワーク５、データ通信モジュール４、無線基地局７、外部ネットワーク６を介して、サーバ８と通信可能である。地物情報とは、地図上に表現可能な物の概念である地物を示す情報である。地物には、道路、建物、街路樹といった地図上で所定の範囲を占める物体が含まれる。サーバ８は、各メッシュに関連づけて地物情報を記憶している。タグ付与装置２は、対象エリアであるメッシュＸ１に関連づけられた、ビルＰに関する地物情報とビルＱに関する地物情報とを取得する。また、タグ付与装置２は、対象エリアであるメッシュＸ２に関連づけられた、ビルＲに関する地物情報とビルＳに関する地物情報とを取得する。地物情報には、地物の名称および地物が地図上に占める範囲を示す地物範囲が含まれる。 The tagging device 2 transmits information on the target area to the server 8 and acquires feature information corresponding to the target area from the server 8. The server 8 has a database that stores feature information about features existing in a predetermined area, and is connected to the external network 6. The tagging device 2 is capable of communicating with the server 8 via the in-vehicle network 5 , data communication module 4 , wireless base station 7 , and external network 6 . The feature information is information indicating a feature that is a concept of something that can be represented on a map. The terrestrial features include objects that occupy a predetermined range on the map, such as roads, buildings, and street trees. The server 8 stores feature information in association with each mesh. The tagging device 2 acquires feature information regarding the building P and feature information regarding the building Q, which are associated with the mesh X1 that is the target area. The tagging device 2 also acquires feature information regarding the building R and feature information regarding the building S, which are associated with the mesh X2 that is the target area. The feature information includes the name of the feature and a feature range indicating the area that the feature occupies on the map.

タグ付与装置２は、取得した地物情報に含まれる地物範囲と、画像に撮影された領域が地図上に占める範囲を示す撮影範囲とが重複するか否かを判定する。撮影範囲は、撮影位置および撮影方位に基づいて定められる。撮影位置は、画像が撮影された時に対応するＧＮＳＳ受信機３からの位置情報である。撮影方位は、車体に対する撮影方向および画像が撮影されたときの車両方位に基づいて算出される、画像が撮影されたときにカメラ１が向く方位である。図１の例では、扇形の破線で示す撮影範囲はビルＰの地物範囲と重複しており、他の地物範囲とは重複していない。 The tagging device 2 determines whether or not the feature range included in the acquired feature information overlaps with a photographing range indicating the range that the region photographed in the image occupies on the map. The photographing range is determined based on the photographing position and the photographing direction. The photographing position is position information from the GNSS receiver 3 corresponding to when the image was photographed. The photographing direction is the direction toward which the camera 1 faces when the image is photographed, which is calculated based on the photographing direction with respect to the vehicle body and the direction of the vehicle when the image is photographed. In the example of FIG. 1, the imaging range indicated by the fan-shaped broken line overlaps with the feature range of building P, but does not overlap with other feature ranges.

タグ付与装置２は、撮影範囲と重複すると判定された地物範囲に対応する地物の地物名称「ビルＰ」を、画像Ｉに属性として付与する。 The tagging device 2 adds the feature name "Building P" of the feature corresponding to the feature range determined to overlap the photographing range to the image I as an attribute.

図３は、タグ付与装置２のハードウェア模式図である。 FIG. 3 is a schematic hardware diagram of the tagging device 2. As shown in FIG.

タグ付与装置２は、少なくとも車両Ｖに設置されたカメラ１により撮影された画像の撮影位置を含む対象エリアを特定する。また、タグ付与装置２は、サーバ８から対象エリアに対応する地物情報を取得する。そして、タグ付与装置２は、地物情報に含まれる地物範囲と、画像に関連づけられた撮影位置および撮影方位とに基づいて定められる撮影範囲とが重複するか否かを判定し、重複すると判定された地物の名称をタグとして画像に付与する。そのために、タグ付与装置２は、入出力インタフェース２１と、メモリ２２と、プロセッサ２３と、ストレージ２４とを備える。 The tagging device 2 specifies a target area that includes at least the photographing position of the image photographed by the camera 1 installed in the vehicle V. The tagging device 2 also acquires feature information corresponding to the target area from the server 8. Then, the tagging device 2 determines whether or not the feature range included in the feature information overlaps with the shooting range determined based on the shooting position and shooting direction associated with the image. The name of the determined feature is added to the image as a tag. For this purpose, the tagging device 2 includes an input/output interface 21, a memory 22, a processor 23, and a storage 24.

入出力インタフェース２１は、通信部の一例であり、タグ付与装置２と外部とのデータの入出力を行うためのインタフェース回路を有する。入出力インタフェース２１は、受信したデータをプロセッサ２３に供給する。また、入出力インタフェース２１は、プロセッサ２３から供給されたデータを外部に出力する。入出力インタフェース２１は、例えばＣＡＮ（Controller Area Network）に準拠した通信を行うための回路である。 The input/output interface 21 is an example of a communication unit, and includes an interface circuit for inputting and outputting data between the tagging device 2 and the outside. The input/output interface 21 supplies the received data to the processor 23. Further, the input/output interface 21 outputs data supplied from the processor 23 to the outside. The input/output interface 21 is a circuit for performing communication based on, for example, CAN (Controller Area Network).

メモリ２２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３による処理に用いられる各種データ、例えばカメラ１から受け付けた画像、サーバ８から受信した地物情報、タグ付与処理に用いる各種閾値等を記憶する。 The memory 22 is an example of a storage unit, and includes a volatile semiconductor memory and a nonvolatile semiconductor memory. The memory 22 stores various data used in processing by the processor 23, such as images received from the camera 1, feature information received from the server 8, and various thresholds used in tagging processing.

プロセッサ２３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。プロセッサ２３は、カメラ１から画像を受信するたびに、受信した画像に対してタグ付与処理を実行する。なお、プロセッサ２３は、カメラ１から所定数の画像を受信するたびに、その時に受信した画像に対してタグ付与処理を実行してもよい。また、プロセッサ２３は、車両Ｖの位置情報の変位量が閾値を超えたこと、画像から新たな物体が検出されたことといった条件に従って、タグ付与処理の対象となる画像を選択してもよい。 The processor 23 is an example of a control unit, and includes one or more processors and their peripheral circuits. Processor 23 may further include other arithmetic circuits such as a logic arithmetic unit, a numerical arithmetic unit, or a graphics processing unit. Every time the processor 23 receives an image from the camera 1, it performs tagging processing on the received image. Note that each time the processor 23 receives a predetermined number of images from the camera 1, the processor 23 may perform tagging processing on the images received at that time. Further, the processor 23 may select images to be subjected to tagging processing according to conditions such as that the amount of displacement of the position information of the vehicle V exceeds a threshold value, and that a new object is detected from the image.

ストレージ２４は、記憶部の一例であり、不揮発性のＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）を有する。ストレージ２４は、プロセッサ２３によりタグが付与された画像を記憶する。ストレージ２４に記憶された画像は、入出力インタフェース２１を介して外部に出力可能である。 The storage 24 is an example of a storage unit, and includes a nonvolatile SSD (Solid State Drive) or HDD (Hard Disk Drive). The storage 24 stores images tagged by the processor 23. Images stored in the storage 24 can be output to the outside via the input/output interface 21.

図３は、タグ付与装置２が有するプロセッサ２３の機能ブロック図である。 FIG. 3 is a functional block diagram of the processor 23 included in the tagging device 2.

タグ付与装置２のプロセッサ２３は、機能ブロックとして、対象エリア特定部２３１と、地物情報取得部２３２と、重複判定部２３３と、タグ付与部２３４とを有する。プロセッサ２３が有するこれらの各部は、プロセッサ２３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてタグ付与装置２に実装されてもよい。 The processor 23 of the tagging device 2 includes a target area specifying section 231, a feature information acquiring section 232, a duplication determining section 233, and a tagging section 234 as functional blocks. Each of these units included in the processor 23 is a functional module implemented by a program executed on the processor 23. Alternatively, each of these parts of the processor 23 may be implemented in the tagging device 2 as an independent integrated circuit, microprocessor, or firmware.

対象エリア特定部２３１は、カメラ１から入力された画像ごとに、少なくとも画像に関連づけられた撮影条件に含まれる撮影位置を含む対象エリアを特定する。カメラ１は、例えばExif（Exchangeable image file format）規格により定められる所定の領域に撮影条件が埋め込まれた画像を出力する。撮影条件に含まれる撮影位置は、画像が撮影されたときにＧＮＳＳ受信機３が出力する位置情報であってよい。ＧＮＳＳ受信機３が出力する位置情報は、WGS84測地系における座標（緯度、経度、標高）であってよい。 The target area identifying unit 231 identifies, for each image input from the camera 1, a target area that includes at least a photographing position included in the photographing conditions associated with the image. The camera 1 outputs an image in which shooting conditions are embedded in a predetermined area defined by the Exif (Exchangeable image file format) standard, for example. The photographing position included in the photographing conditions may be position information output by the GNSS receiver 3 when the image is photographed. The position information output by the GNSS receiver 3 may be coordinates (latitude, longitude, altitude) in the WGS84 geodetic system.

図５は、対象エリアの特定を説明する模式図である。 FIG. 5 is a schematic diagram illustrating specifying a target area.

模式図５００は、撮影位置Ｏ（N_O,E_O）とメッシュとの関係を示している。なお、撮影位置Ｏ（N_O,E_O）とは、位置Ｏの北緯がN_Oであり、東経がE_Oであることを示している。 A schematic diagram 500 shows the relationship between the imaging position O (N _O , E _O ) and the mesh. Note that the photographing position O (N _O , E _O ) indicates that the northern latitude of the position O is N _O and the east longitude is E _O.

撮影位置０は、メッシュＸ２に含まれる。この場合、メッシュＸ２は対象エリアとして特定される。 Photographing position 0 is included in mesh X2. In this case, mesh X2 is specified as the target area.

メッシュＸ２において、撮影位置と、メッシュＸ２の北側を区分する境界Ｂ₁₂との距離はd_nbである。同様に、撮影位置とメッシュＸ２の東側、南側、西側を区分する境界Ｂ_XY、Ｂ₂₃、Ｂ_WXとの距離は、それぞれd_eb、d_sb、d_wbである。 In the mesh X2, the distance between the photographing position and the boundary _B12 that divides the north side of the mesh X2 is d _nb . Similarly, the distances between the photographing position and the boundaries B _XY , B ₂₃ , and B _WX that divide the east, south, and west sides of the mesh X2 are d _eb , d _sb , and d _wb , respectively.

対象エリア特定部２３１は、撮影位置Ｏと境界との距離d_nb、d_eb、d_sbおよびd_wbを、メモリ２２に記憶された距離閾値と比較する。模式図５００の例において、距離d_nbは距離閾値未満であり、距離d_eb、d_sbおよびd_wbは距離閾値未満でない。この場合、対象エリア特定部２３１は、撮影位置Ｏからの距離が距離d_nbである境界Ｂ₁₂により、撮影位置Ｏを含むメッシュＸ２と区分されるメッシュＸ１を、対象エリアとしてさらに特定する。 The target area specifying unit 231 compares the distances d _nb , d _eb , d _sb and d _wb between the photographing position O and the boundary with distance thresholds stored in the memory 22 . In the example of schematic diagram 500, distance d _nb is less than the distance threshold and distances d _eb , d _sb and d _wb are not less than the distance threshold. In this case, the target area specifying unit 231 further specifies the mesh X1 that is separated from the mesh X2 that includes the photographing position O by the boundary B ₁₂ whose distance from the photographing position O is the distance d _nb as the target area.

地物情報取得部２３２は、対象エリア特定部２３１により特定された対象エリアを示す情報をサーバ８に送信する。対象エリアを示す情報は、対象エリアとして特定されたメッシュの緯度方向における位置と経度方向における位置との組み合わせ（例えば「Ｘ１」）といった、対象エリアを一意に特定する情報である。 The feature information acquisition unit 232 transmits information indicating the target area specified by the target area specifying unit 231 to the server 8. The information indicating the target area is information that uniquely identifies the target area, such as a combination of the position in the latitude direction and the position in the longitudinal direction of the mesh specified as the target area (for example, "X1").

サーバ８は、メッシュに関連づけて地物情報を記憶している。サーバ８は、地物情報取得部２３２から受信した対象エリアを示す情報に応じて、対象エリアとして特定されたメッシュに関連づけられた地物情報を地物情報取得部２３２に送信する。地物情報取得部２３２は、サーバ８から対応エリアに関連づけられた地物情報を取得する。 The server 8 stores feature information in association with meshes. The server 8 transmits the feature information associated with the mesh specified as the target area to the feature information acquisition unit 232, in accordance with the information indicating the target area received from the feature information acquisition unit 232. The feature information acquisition unit 232 obtains feature information associated with the corresponding area from the server 8 .

重複判定部２３３は、画像に撮影された領域が地図上に占める範囲を示す撮影範囲を定める。そして、重複判定部２３３は、地物情報取得部２３２が取得した地物情報に含まれる地物範囲と撮影範囲とが重複するか否かを判定する。 The overlap determining unit 233 determines a photographing range indicating the range occupied on the map by the region photographed in the image. Then, the overlap determination unit 233 determines whether the feature range included in the feature information acquired by the feature information acquisition unit 232 and the shooting range overlap.

地物範囲は、地物に対応する地図上の位置を示す情報であり、例えばWGS84測地系における座標（緯度、経度、標高）を用いて特定される。地物範囲は、地物が占める範囲に外接する多角形の各頂点の座標により特定される。このとき、各頂点の座標における標高は、当該地物の位置する位置における地表の標高である。また、各頂点の座標における標高は、当該地物の最高地点の標高であってもよい。また、地物範囲は、地図上の一点に対応する座標により特定されてもよい。また、地物範囲は、地図上の線に対応する複数の地点の座標により特定されてもよい。 The feature range is information indicating the position on the map corresponding to the feature, and is specified using, for example, coordinates (latitude, longitude, elevation) in the WGS84 geodetic system. The feature range is specified by the coordinates of each vertex of a polygon circumscribing the range occupied by the feature. At this time, the altitude at the coordinates of each vertex is the altitude of the ground surface at the position where the feature is located. Further, the elevation in the coordinates of each vertex may be the elevation of the highest point of the feature. Further, the terrestrial feature range may be specified by coordinates corresponding to one point on the map. Further, the feature range may be specified by the coordinates of a plurality of points corresponding to lines on the map.

重複判定部２３３は、撮影位置および撮影方位を含む撮影条件に基づいて撮影範囲を定める。撮影位置が、カメラ１が画像を撮影したときにＧＮＳＳ受信機３により出力される位置情報であって、カメラ１の位置とＧＮＳＳ受信機３が出力する位置とがずれている場合、重複判定部２３３は、撮影位置の位置情報がカメラ１の位置を示すよう、撮影位置を修正してよい。具体的には、重複判定部２３３は、メモリ２２に記憶されているカメラ１の取り付け位置の情報とＧＮＳＳ受信機３の取り付け位置の情報と撮影方位とに基づいて、撮影位置を修正する。なお、このとき、撮影位置はWGS84測地系における座標を用いて特定されているとする。 The overlap determining unit 233 determines a photographing range based on photographing conditions including a photographing position and a photographing direction. If the photographing position is position information output by the GNSS receiver 3 when the camera 1 photographs an image, and the position of the camera 1 and the position output by the GNSS receiver 3 are different, the duplication determination unit 233 may correct the photographing position so that the position information of the photographing position indicates the position of the camera 1. Specifically, the duplication determining unit 233 corrects the photographing position based on the information on the mounting position of the camera 1, the information on the mounting position of the GNSS receiver 3, and the photographing direction stored in the memory 22. Note that at this time, it is assumed that the photographing position is specified using coordinates in the WGS84 geodetic system.

重複判定部２３３は、撮影位置および地物範囲に用いられる座標を、既知の換算式を用いてWGS84測地系からUTM座標系に変換する。重複判定部２３３は、撮影位置を中心とし、撮影方位に向けて画角を中心角とする所定の半径（例えば60m）の扇形を、撮影範囲として定める。 The overlap determination unit 233 converts the coordinates used for the photographing position and the feature range from the WGS84 geodetic system to the UTM coordinate system using a known conversion formula. The overlap determining unit 233 defines a fan-shaped sector having a predetermined radius (for example, 60 m) with the shooting position as the center and the angle of view as the center angle toward the shooting direction as the shooting range.

図６は、重複判定処理を説明する図である。 FIG. 6 is a diagram illustrating the duplication determination process.

図６において、画像Ｉに対応する撮影範囲ＩＡは、中心を撮影位置Ｏとする扇形で示される。画像Ｉの撮影方位は、撮影位置Ｏから進行方向位置Ｗに向かう直線で示される。撮影範囲ＩＡにおいて、扇形の半径は撮影位置Ｏから進行方向位置Ｗまでの距離ｄであり、扇形の中心角は2θである。また、図６において、地物Ｐ－Ｓに対応する地物範囲ＦＡ_P－ＦＡ_Sが示される。 In FIG. 6, the photographing range IA corresponding to the image I is shown in a fan shape with the photographing position O at the center. The photographing direction of the image I is indicated by a straight line from the photographing position O toward the position W in the traveling direction. In the photographing range IA, the radius of the sector is the distance d from the photographing position O to the position W in the traveling direction, and the central angle of the sector is 2θ. Further, in FIG. 6, a feature range FA _P -FA _S corresponding to the feature PS is shown.

重複判定部２３３は、撮影範囲に地物範囲の少なくとも一部が含まれるか否かを判定し、図６の例では、地物範囲ＦＡ_Pと、地物範囲ＦＡ_Pの少なくとも一部を含む撮影範囲ＩＡとが重複すると判定される。 The overlap determining unit 233 determines whether or not the photographing range includes at least a part of the feature range, and in the example of FIG. 6, includes the feature range FA _P and at least a part of the feature range FA _P. It is determined that the photographing range IA overlaps with the photographing range IA.

撮影位置Ｏと地物範囲ＦＡ_Pにおける頂点Ｅ_P1とを結ぶ直線が進行方向となす角をαとする。このとき、重複判定部２３３は、画像Ｉの左右方向における中心線からtanα×ｄの距離にある線状のいずれかの位置に頂点Ｅ_P1が表わされると推定することができる。 Let α be the angle that a straight line connecting the photographing position O and the vertex E _P1 in the feature range _FAP makes with the direction of travel. At this time, the overlap determining unit 233 can estimate that the vertex E _P1 is expressed at any linear position at a distance of tanα×d from the center line of the image I in the left-right direction.

タグ付与部２３４は、撮影範囲と重複すると判定された地物範囲に対応する地物名称を、タグとして画像Ｉに付与する。タグ付与部２３４は、Exif規格により定められる所定の領域に地物名称を埋め込むことによって画像Ｉにタグを付与する。タグを付与された画像Ｉは、ストレージ２４に記憶される。また、タグ付与部２３４は、画像の識別子と地物名称とを関連づけて記憶するデータベースに対し、画像Ｉの識別子と対応する地物名称とを関連づけて記憶させることによって画像Ｉにタグを付与してもよい。 The tagging unit 234 tags the image I with a feature name corresponding to a feature range determined to overlap with the photographing range. The tagging unit 234 tags the image I by embedding a feature name in a predetermined area defined by the Exif standard. The tagged image I is stored in the storage 24. The tagging unit 234 also tags the image I by storing the identifier of the image I and the corresponding feature name in a database that stores the image identifiers and the feature names in association with each other. It's okay.

図７は、タグ付与処理のフローチャートである。プロセッサ２３は、カメラ１により撮影された画像を受け付ける度にタグ付与処理を実行する。 FIG. 7 is a flowchart of tagging processing. The processor 23 executes tagging processing every time it receives an image photographed by the camera 1.

対象エリア特定部２３１は、まず、少なくとも画像の撮影位置を含む対象エリアを特定する（ステップＳ１）。 The target area specifying unit 231 first specifies a target area that includes at least the photographing position of the image (step S1).

次に、地物情報取得部２３２は、特定された対象エリアを示す情報をサーバ８に送信し、サーバ８から対象エリアに関連づけられた地物情報を取得する（ステップＳ２）。 Next, the feature information acquisition unit 232 transmits information indicating the specified target area to the server 8, and acquires feature information associated with the target area from the server 8 (step S2).

次に、重複判定部２３３は、取得した地物情報に含まれる地物範囲と、画像の撮影位置および撮影方位に基づいて定められる撮影範囲とが重複するか否かを判定する（ステップＳ３）。地物範囲と撮影範囲とが重複しないと判定された場合（ステップＳ３：Ｎ）、プロセッサ２３はタグ付与処理を終了する。 Next, the overlap determining unit 233 determines whether or not the feature range included in the acquired feature information overlaps with the photographing range determined based on the photographing position and photographing direction of the image (step S3). . If it is determined that the feature range and the photographing range do not overlap (step S3: N), the processor 23 ends the tagging process.

地物範囲と撮影範囲とが重複すると判定された場合（ステップＳ３：Ｙ）、タグ付与部２３４は当該地物範囲に対応する地物名称をタグとして画像に付与し（ステップＳ４）、タグ付与処理を終了する。 If it is determined that the feature range and the shooting range overlap (Step S3: Y), the tagging unit 234 adds the feature name corresponding to the feature range to the image as a tag (Step S4), and adds the tag. Finish the process.

変形例によれば、重複判定部２３３は、撮影範囲ＩＶと重複すると判定された複数の地物範囲が互いに重複するかを判定してもよい。この場合、タグ付与部２３４は、互いに重複すると判定された複数の地物範囲のうち、撮影位置Ｏからの位置が大きい地物範囲に対応する地物名称と、当該地物が他の地物により遮蔽されていることを示す遮蔽情報とをタグとして画像に付与する。 According to a modification, the overlap determination unit 233 may determine whether a plurality of feature ranges determined to overlap with the imaging range IV overlap with each other. In this case, the tagging unit 234 includes a feature name corresponding to a feature range having a large position from the photographing position O among a plurality of feature ranges determined to overlap with each other, and a feature name corresponding to a feature range having a large position from the photographing position O, and occlusion information indicating that the image is occluded is added to the image as a tag.

図８は、異なる重複判定処理を説明する図である。 FIG. 8 is a diagram illustrating different duplication determination processing.

図８の例では、撮影範囲ＩＶは、地物Ｕに対応する地物範囲ＦＡ_Uおよび地物Ｖに対応する地物範囲ＦＡ_Vと重複する。地物範囲ＦＡ_Uは頂点Ｅ_U1およびＥ_U2を含む。地物範囲ＦＡ_Vは頂点Ｅ_V1およびＥ_V2を含む。 In the example of FIG. 8, the imaging range IV overlaps with the feature range FAU corresponding to the feature _U and the feature range FAV corresponding to the feature _V. The feature range FA _U includes vertices E _U1 and E _U2 . The feature range FA _V includes vertices E _V1 and E _V2 .

重複判定部２３３は、撮影位置Ｏから見た地物範囲ＦＡ_Uおよび地物範囲ＦＡ_Vの位置関係を特定する。具体的には、重複判定部２３３は、まず、撮影位置Ｏと地物範囲ＦＡ_Vの頂点Ｅ_V1およびＥ_V2とを結ぶ線分が、地物範囲ＦＡ_Uと重なるか否かを判定する。また、重複判定部２３３は、撮影位置Ｏと地物範囲ＦＡ_Uの頂点Ｅ_U1およびＥ_U2とを結ぶ線分が、地物範囲ＦＡ_Vと重なるか否かを判定する。 The overlap determining unit 233 identifies the positional relationship between the feature range _FAU and the feature range _FAV viewed from the photographing position O. Specifically, the overlap determining unit 233 first determines whether a line segment connecting the photographing position O and the vertices _EV1 and _EV2 of the feature range FA _V overlaps with the feature range FA _U. Further, the overlap determining unit 233 determines whether a line segment connecting the photographing position O and the vertices E _U1 and E _U2 of the feature range _FAU overlaps with the feature range _FAV .

図８の例においては、重複判定部２３３は、撮影位置Ｏと地物範囲ＦＡ_Vの頂点Ｅ_V1およびＥ_V2とを結ぶ線分は地物範囲ＦＡ_Uと重なると判定し、撮影位置Ｏと地物範囲ＦＡ_Uの頂点Ｅ_U1およびＥ_U2とを結ぶ線分は、地物範囲と重ならないと判定する。 In the example of FIG. 8, the overlap determining unit 233 determines that the line segment connecting the photographing position O and the vertices E _V1 and E _V2 of the feature range FA _V overlaps with the feature range FA _U , and It is determined that the line segment connecting the vertices E _U1 and E _U2 of the feature range FA _U does not overlap with the feature range.

重複判定部２３３は、地物範囲ＦＡ_Uに重なると判定された地物範囲ＦＡ_Vに対応する地物名称と、当該地物範囲が他の地物により遮蔽されていることを示す遮蔽情報とを、タグとして画像に付与する。 The overlap determination unit 233 determines the feature name corresponding to the feature range FA _V that is determined to overlap the feature range FA _U , and occlusion information indicating that the feature range is blocked by another feature. is added to the image as a tag.

図８の例において、頂点Ｅ_U1およびＥ_U2に対応する水平位置は、点Ｅ′_U1およびＥ′_U2である。また、撮影範囲ＩＶに対する画像において、頂点Ｅ_V1およびＥ_V2に対応する水平位置は、点Ｅ′_V1およびＥ′_V2である。重複判定部２３３は、画像における点Ｅ′_U1とＥ′_U2との間の領域を地物Ｕに対応する領域として特定する。また、重複判定部２３３は、画像における点Ｅ′_V1とＥ′_V2との間の領域を地物Ｖに対応する領域として特定する。 In the example of FIG. 8, the horizontal positions corresponding to vertices E _U1 and E _U2 are points E' _U1 and E' _U2 . Further, in the image for the photographing range IV, the horizontal positions corresponding to the vertices E _V1 and E _V2 are points E' _V1 and E' _V2 . The overlap determining unit 233 identifies the area between points _E'U1 and _E'U2 in the image as the area corresponding to the feature U. Further, the overlap determining unit 233 identifies the area between the points _E'V1 and _E'V2 in the image as the area corresponding to the feature V.

タグ付与部２３４は、重複判定部２３３により特定された地物範囲に対応する領域を特定する領域情報を、タグとして画像に付与する。タグ付与部２３４は、地物Ｕの背後にあるため隠蔽された（画像には表われていない可能性のある）地物Ｖに対応する領域情報（点Ｅ′_V1－Ｅ′_V2）を画像にタグとして付与するにあたり、遮蔽されていることを示す遮蔽情報をあわせてタグとして付与してもよい。 The tagging unit 234 adds area information that specifies an area corresponding to the feature range specified by the overlap determining unit 233 to the image as a tag. The tagging unit 234 adds area information (point E' _V1 - E' _V2 ) corresponding to the feature V that is hidden (possibly not shown in the image) because it is behind the feature U to the image. When adding a tag to a tag, shielding information indicating that the object is shielded may also be added as a tag.

上記変形例において、重複判定部２３３は、地物の高さを示す地物高さをさらに含む地物情報に基づいて、地物範囲と撮影範囲とが重複するか否かを判定してもよい。この場合、タグ付与部２３４は、地物高さを用いて遮蔽情報をタグとして付与する。 In the above modification, the overlap determining unit 233 may determine whether the feature range and the photographing range overlap based on feature information that further includes feature height indicating the height of the feature. good. In this case, the tagging unit 234 uses the height of the feature to add shielding information as a tag.

図９（ａ）は地物高さを用いた重複判定処理を説明する図であり、図９（ｂ）は地物高さを用いた画像へのタグ付与を説明する図である。 FIG. 9(a) is a diagram illustrating duplication determination processing using the height of a feature, and FIG. 9(b) is a diagram illustrating tagging to an image using the height of a feature.

図９（ａ）は、撮影位置Ｏにおいて画像Ｉを撮影したときの撮影範囲と地物範囲との関係を示している。地物Ｕ、Ｖの地物範囲ＦＡ_U、ＦＡ_Uは、それぞれ地物高さＨ_U、Ｈ_Vを用いて定められる。地物Ｕよりも撮影位置Ｏから遠い地物Ｖの地物高さＨ_Vは、地物Ｕの地物高さＨ_Uよりも大きい。 FIG. 9A shows the relationship between the photographing range and the feature range when the image I is photographed at the photographing position O. The feature ranges FA _U and FA _U of the features U and V are determined using the feature heights _HU and _HV , respectively. The feature height H _V of the feature V which is farther from the photographing position O than the feature U is larger than the feature height H _U of the feature U.

重複判定部２３３は、地物の高さを示す地物高さをさらに含む地物情報に基づいて、地物範囲ＦＡ_U、ＦＡ_Uと撮影範囲ＩＡとが重複するか否かを判定する。図９（ａ）に示す例では、地物範囲ＦＡ_U、ＦＡ_Uと撮影範囲ＩＡとが重複すると判定される。 The overlap determination unit 233 determines whether or not the feature ranges _FAU , _FAU and the imaging range IA overlap based on feature information that further includes a feature height indicating the height of the feature. In the example shown in FIG. 9(a), it is determined that the feature ranges _FAU , _FAU and the photographing range IA overlap.

タグ付与部２３４は、図９（ｂ）に示すように画像Ｉにタグを付与する。すなわち、タグ付与部２３４は、画像Ｉのうち地物範囲ＦＡ_Uに対応する領域ＴＡ_Uと地物Ｕの名称とをタグとして画像Ｉに付与する。また、タグ付与部２３４は、画像Ｉのうち地物範囲ＦＡ_Vに対応する領域ＴＡ_Vと地物Ｖの名称とをタグとして画像Ｉに付与する。このとき、タグ付与部２３４は、領域ＴＡ_Vを、地物範囲における地物高さを超える領域ＴＡ_V1と超えない領域ＴＡ_V2とに分けて、異なるタグとして画像Ｉに付与してよい。 The tagging unit 234 tags the image I as shown in FIG. 9(b). That is, the tagging unit 234 tags the image I with the area TA _U corresponding to the feature range FA _U and the name of the feature U in the image I. The tagging unit 234 also tags the area TA _V of the image I that corresponds to the feature range FA _V and the name of the feature V to the image I. At this time, the tagging unit 234 may divide the area TA _V into an area TA _V1 that exceeds the height of the feature in the feature range and an area TA _V2 that does not exceed the height of the feature, and may apply them to the image I as different tags.

すなわち、地物範囲における地物高さを超える領域ＴＡ_V1では、地物Ｖは画像Ｉに表われているため、タグ付与部２３４は、領域ＴＡ_V1が地物Ｖに対応する領域であることを示すタグを付与する。一方、地物範囲における地物高さを超えない領域ＴＡ_V2では、地物Ｖは地物Ｕに遮蔽されて画像Ｉに表われていないため、タグ付与部２３４は、領域ＴＡ_V2が地物Ｖに対応する領域であり、かつ遮蔽されていることを示すタグを付与する。このとき、タグ付与部２３４は、領域ＴＡ_Vに対する領域ＴＡ_V2の割合に応じた遮蔽度を、タグとして画像Ｉに付与してもよい。 That is, since the feature V appears in the image I in the area TA _V1 exceeding the feature height in the feature range, the tagging unit 234 determines that the area TA _V1 is an area corresponding to the feature V. Add a tag indicating. On the other hand, in the area TA _V2 _that does not exceed the height of the feature in the feature range, the feature V is blocked by the feature U and does not appear in the image I. A tag indicating that the area corresponds to V and is shielded is added. At this time, the tagging unit 234 may tag the image I with a degree of shielding that corresponds to the ratio of the area TA _V2 to the area TA _V.

他の変形例によれば、プロセッサ２３は、画像から物体の名称を抽出する物体名称抽出部（不図示）をさらに備え、タグ付与部２３４は、物体の名称と地物種別との組み合わせに応じて定められるシーン特性を、タグとして画像に付与してもよい。物体名称抽出部は、表わされる物体の種別に応じて画像を複数のクラスに分類するよう重み付けが設定されたニューラルネットワークを用いて構成される。物体名称抽出部は、画像の入力を受け付けると、画像に表わされる物体の種別に対応するクラスを、物体の名称として出力する。メモリ２２は、シーン特性と、物体の名称と地物名称との組み合わせとを関連づけて記憶している。シーン特性とは、例えば、地物名称「黄色センターライン」と物体名称「救急車」とに関連づけられた「追い越し禁止道路での救急車による追い越し」といった特性である。タグ付与部２３４は、重複判定部２３３により撮影範囲と重複すると判定された地物範囲に対応する地物名称と、物体名称抽出部により出力された物体の名称との組み合わせに関連づけられたシーン特性をメモリ２２から読み出し、画像にタグとして付与する。 According to another modification, the processor 23 further includes an object name extraction unit (not shown) that extracts the name of the object from the image, and the tagging unit 234 corresponds to the combination of the object name and the feature type. The scene characteristics determined by the above may be added to the image as a tag. The object name extraction unit is configured using a neural network in which weighting is set to classify images into a plurality of classes according to the type of object represented. When the object name extraction section receives an image input, it outputs a class corresponding to the type of object represented in the image as the object name. The memory 22 stores scene characteristics and combinations of object names and feature names in association with each other. The scene characteristic is, for example, a characteristic such as "overtaking by an ambulance on a road where overtaking is prohibited" associated with the feature name "yellow center line" and the object name "ambulance". The tagging unit 234 generates scene characteristics associated with the combination of the feature name corresponding to the feature range determined to overlap with the shooting range by the duplication determination unit 233 and the object name output by the object name extraction unit. is read from the memory 22 and added to the image as a tag.

上述した実施形態または変形例によるタグ付与装置は、カメラ１以外の車両Ｖの周囲に存在する物体を検知するためのセンサにより取得されたセンサ信号に対して適用されてもよい。そのような、所定の検知範囲内に存在する物体を検出するためのセンサとして、例えば、車両Ｖに搭載されたＬＩＤＡＲ（Light Detection and Ranging）センサ、または、ＲＡＤＡＲ（Radio Detection and Ranging）センサが用いられてもよい。この場合、重複判定部２３３は、ＬＩＤＡＲセンサまたはＲＡＤＡＲセンサにより取得される距離画像を用いて、地物範囲が撮影範囲と重複するか否かの判定を行う。距離画像は、各画素が当該画素に表わされた物体までの距離に応じた値を持つ距離画像である。タグ付与部２３４は、距離画像の各画素に表された距離に応じた値を、UTM座標系の座標に変換する。タグ付与部２３４は、UTM座標系で表わされた地物範囲と対比することにより、画像において地物範囲に対応する領域を特定する。 The tagging device according to the embodiment or modification example described above may be applied to a sensor signal acquired by a sensor for detecting an object existing around the vehicle V other than the camera 1. As a sensor for detecting objects existing within a predetermined detection range, for example, a LIDAR (Light Detection and Ranging) sensor or a RADAR (Radio Detection and Ranging) sensor mounted on the vehicle V may be used. It's okay to be hit. In this case, the overlap determining unit 233 uses a distance image acquired by a LIDAR sensor or a RADAR sensor to determine whether or not the feature range overlaps the photographing range. A distance image is a distance image in which each pixel has a value corresponding to the distance to the object represented by the pixel. The tagging unit 234 converts the value corresponding to the distance represented by each pixel of the distance image into coordinates in the UTM coordinate system. The tagging unit 234 identifies an area corresponding to the feature range in the image by comparing it with the feature range expressed in the UTM coordinate system.

さらに他の変形例によれば、上述の実施形態または変形例によるタグ付与装置は、車載機器以外の機器として実装されてもよい。例えば、上述の実施形態または変形例によるタグ付与装置は、記録媒体または通信ネットワークを介して車両に搭載されたカメラにより撮影された画像の入力を受け付ける据置型コンピュータとして実装されてもよい。 According to yet another modification, the tagging device according to the above-described embodiment or modification may be implemented as a device other than in-vehicle equipment. For example, the tagging device according to the above-described embodiment or modification may be implemented as a stationary computer that receives input of an image taken by a camera mounted on a vehicle via a recording medium or a communication network.

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。 It should be understood that those skilled in the art can make various changes, substitutions, and modifications thereto without departing from the spirit and scope of the invention.

１カメラ
２タグ付与装置
２３１対象エリア特定部
２３２地物情報取得部
２３３重複判定部
２３４タグ付与部 1 Camera 2 Tagging device 231 Target area identification unit 232 Feature information acquisition unit 233 Duplication determination unit 234 Tagging unit

Claims

An object that includes at least the photographing position and corresponds to an image associated with a photographing condition including a photographing position indicating the position of the photographing device when photographed by the photographing device and a photographing direction indicating the direction in which the photographing device is facing. a target area identification unit that identifies an area;
Regarding features existing in a predetermined area, a server that stores feature information including at least the name of the feature and the feature range indicating the position on the map corresponding to the feature, sends the feature to the target area. a feature information acquisition unit that obtains the feature information that includes at least a part of the range;
the feature range included in the acquired feature information; and a shooting range indicating the range occupied by the area photographed in the image on the map, which is determined based on the photographing position and the photographing direction in the image; a duplication determination unit that determines whether or not there are duplicates;
a tagging unit that tags the image with a feature name corresponding to the feature range determined to overlap with the photographing range;
Tagging device.