JP7346979B2 - タグ付与装置 - Google Patents

Description

本発明は、タグ付与装置に関する。

車両に搭載されたカメラにより生成された車両の周辺状況を示す画像等の各種データを用いて走行制御装置が車両の走行を制御する技術が知られている。走行制御装置は、カメラにより生成された画像に基づいて認識された物体や地物など物体等の情報を、車両の動力、制動、操舵といった走行動作の制御のために用いる。

人工知能を搭載した走行制御装置による走行制御の精度を向上させるため、人工知能に識別させるべき属性がタグとして付与された教師データを用いて人工知能に学習させることが求められる。例えば、車両に搭載されたカメラにより生成された画像に対し、画像に撮影された地物の情報をタグとして付与することにより、教師データが作成される。

特許文献１には、収集された現場情報を保存し、属性によって分類する情報整理システムが記載されている。

特開２００１－１８４３９７号公報

特許文献１に記載の技術によると、情報整理システムを構成するウェアラブルパソコンに表示された地図画像上の所定位置に表示されたアイコンをユーザが指定すると、ウェアラブルパソコンは、所定位置に関連づけられたデータを表示する。そのため、特許文献１に記載の技術によると、生成されたデータに適切な属性情報をタグとして付与できない場合がある。

本発明は、車両に搭載されたセンサにより生成されたデータに適切な属性情報をタグとして付与するタグ付与装置を提供することを目的とする。

本発明にかかるタグ付与装置は、車両に設置されたセンサにより生成されたデータごとに、少なくとも当該データが生成されたときの車両の位置を含む所定の範囲を対象範囲として特定する対象範囲特定部と、ある地点の位置を示す位置情報と当該地点の属性を示す属性情報とを関連づけて記憶するサーバから、対象範囲に含まれる地点に関連づけられる１以上の属性情報を取得する属性情報取得部と、取得した１以上の属性情報から、対象範囲に最も多く含まれる一の属性情報を決定する属性情報決定部と、決定された一の属性情報を前記データにタグとして付与するタグ付与部と、を備える。

本発明にかかるタグ付与装置によれば、車両に搭載されたセンサにより生成されたデータに適切な属性情報をタグとして付与することができる。

タグ付与装置の動作概要図である。 タグ付与装置が実装される車両の概略構成図である。 タグ付与装置のハードウェア模式図である。 タグ付与装置が有するプロセッサの機能ブロック図である。 （ａ）は車両の位置を中心とする円による対象範囲の特定を説明する模式図であり、（ｂ）は車両の位置を中心とする扇形による対象範囲の特定を説明する模式図である。 （ａ）はメッシュ数による属性情報の決定を説明する模式図であり、（ｂ）は面積による属性情報の決定を説明する模式図である。 タグ付与処理のフローチャートである。

以下、図面を参照してタグ付与装置について詳細に説明する。ただし、本発明は図面または以下に記載される実施形態に限定されないことを理解されたい。

車両の走行を制御する人工知能の教師データとして、土地利用情報をタグとして付与した画像が用いられることがある。タグとして付与する土地利用情報は、地点と土地利用情報とを関連づけて記憶するデータベースに対し、画像が生成された位置の情報を指定して検索することにより取得できる。

土地利用情報が局所的に変動している場合（例えば「市街地」の中で樹木がある場所が「山間部」に関連づけられているなど）、異なる土地利用情報の境界付近で生成された画像では、画像が生成された位置が近接しているにもかかわらず異なるタグを付与され得る。発明者は、このように、局所的な変動の影響を受けて適切なタグ付けができない場合があることに着目した。

タグ付与装置は、車両の設置されたセンサにより生成されたデータごとに、当該データが生成されたときの車両の位置の地点の属性を示す属性情報をタグとして付与する。このとき、タグ付与装置は、少なくともデータが生成されたときの車両の位置を含む所定の範囲を対象範囲として特定する。そして、タグ付与装置は、位置情報と属性情報とを関連づけて記憶するサーバから、対象範囲に含まれる位置に関連づけられる１以上の属性情報を取得する。そして、タグ付与装置は、取得した１以上の属性情報から、対象範囲に最も多く含まれる一の属性情報を決定し、決定された属性情報をタグとしてデータに付与する。これにより、このタグ付与装置は、車両に搭載されたセンサにより生成されたデータに適切な属性情報をタグとして付与することができる。

以下では、タグ付与装置を車両に搭載した実施形態について説明する。タグ付与装置は、車両に搭載されたセンサにより生成されたデータにタグを付与する。

図１は、タグ付与装置の動作概要図であり、図２はタグ付与装置が実装される車両の概略構成図である。

車両Ｖは、センサの一例であるカメラ１と、タグ付与装置２と、ＧＮＳＳ受信機３と、データ通信モジュール４を有する。カメラ１は、所定時間ごとに車両の周囲の領域を撮影し、画像を生成する。タグ付与装置２は、カメラ１により生成された画像にタグを付与する。ＧＮＳＳ受信機３は、人工衛星から送信される信号に基づいて位置情報を出力する。タグ付与装置２は、ＧＮＳＳ受信機３が出力する位置情報に基づいて、車両Ｖの進行方向を示す車両方位を推定する。また、タグ付与装置２は、車両Ｖの車体に対するカメラ１の撮影方向、カメラ１の画角といった情報を予め記憶している。データ通信モジュール４は、外部ネットワーク６に含まれる無線基地局７に接続するための通信インタフェース回路を有する。カメラ１、タグ付与装置２、ＧＮＳＳ受信機３、データ通信モジュール４は、車内ネットワーク５を介して通信可能に接続される。車両Ｖは、車両Ｖの走行を制御し、車内ネットワークに接続されるＥＣＵ（Electronic Control Unit、不図示）をさらに有していてもよい。この場合、タグ付与装置２は、車両Ｖに搭載された各種センサの出力を用いた位置情報補正処理によりＥＣＵが作成する、車両Ｖの位置をより詳細に特定した詳細位置情報を、ＥＣＵから取得して利用することができる。

タグ付与装置２は、カメラ１が位置Ｏ（N_O,E_O）にあるときに生成された画像Ｉの入力を受け付ける。タグ付与装置２は、少なくとも位置Ｏを含む所定の範囲を対象範囲として特定する。具体的には、タグ付与装置２は、地図Ｍを所定の緯度幅と経度幅とで区分したメッシュにおいて、位置Ｏを中心とする半径ｒの範囲と重複するメッシュであるメッシュＢ２－Ｄ４を対象範囲として特定する。対象範囲の特定の詳細については後述する。

タグ付与装置２は、対象範囲の情報をサーバ８に送信し、サーバ８から対象範囲に含まれる位置に関連づけられる複数の土地利用情報を取得する。土地利用情報は、ある地点が利用されている用途を示す情報（例えば市街地、田畑、山間部等）であり、属性情報の一例である。サーバ８は、ある地点の位置を示す位置情報と当該地点の土地利用情報とを関連づけて記憶するデータベースであり、外部ネットワーク６に接続される。タグ付与装置２は、車内ネットワーク５、データ通信モジュール４、無線基地局７、外部ネットワーク６を介して、サーバ８と通信可能である。サーバ８は、各メッシュに関連づけて土地利用情報を記憶している。タグ付与装置２は、対象範囲として特定されたメッシュＢ２－Ｄ４にそれぞれ関連づけられた１以上の土地利用情報を取得する。

タグ付与装置２は、取得した１以上の土地利用情報から、対象範囲に最も多く含まれる一の土地利用情報を決定する。図１の例では、タグ付与装置２は、メッシュＢ２、Ｃ３、Ｄ３に関連づけられた土地利用情報「山間部」と、メッシュＣ２、Ｄ２、Ｂ３、Ｂ４、Ｃ４、Ｄ４に関連づけられた土地利用情報「市街地」とを取得している。すなわち、図１の例では、土地利用情報「山間部」は対象範囲に３つ含まれ、土地利用情報「市街地」は対象範囲に６つ含まれる。そのため、タグ付与装置２は、取得した１以上の土地利用情報のうち、対象範囲に最も多く含まれる土地利用情報「市街地」を、一の土地利用情報として決定する。

タグ付与装置２は、決定された土地利用情報「市街地」を、画像Ｉに属性として付与する。

図３は、タグ付与装置２のハードウェア模式図である。

タグ付与装置２は、車両Ｖに設置されたカメラ１により生成された画像ごとに、少なくとも画像が生成されたときの車両の位置を含む所定の範囲を対象範囲として特定する。また、タグ付与装置２は、サーバ８から対象範囲に対応する１以上の属性情報を取得する。そして、タグ付与装置２は、取得した１以上の属性情報から、対象範囲に最も多く含まれる一の属性情報を決定し、決定された一の属性情報をタグとして画像に付与する。そのために、タグ付与装置２は、入出力インタフェース２１と、メモリ２２と、プロセッサ２３と、ストレージ２４とを備える。

入出力インタフェース２１は、通信部の一例であり、タグ付与装置２と外部とのデータの入出力を行うためのインタフェース回路を有する。入出力インタフェース２１は、受信したデータをプロセッサ２３に供給する。また、入出力インタフェース２１は、プロセッサ２３から供給されたデータを外部に出力する。入出力インタフェース２１は、例えばＣＡＮ（Controller Area Network）に準拠した通信を行うための回路である。

メモリ２２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３による処理に用いられる各種データ、例えばカメラ１から受け付けた画像、サーバ８から受信した属性情報、タグ付与処理に用いる各種閾値等を記憶する。

プロセッサ２３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。プロセッサ２３は、カメラ１から画像を受信するたびに、受信した画像に対してタグ付与処理を実行する。なお、プロセッサ２３は、カメラ１から所定数の画像を受信するたびに、その時に受信した画像に対してタグ付与処理を実行してもよい。また、プロセッサ２３は、車両Ｖの位置情報の変位量が閾値を超えたこと、画像から新たな物体が検出されたことといった条件に従って、タグ付与処理の対象となる画像を選択してもよい。

ストレージ２４は、記憶部の一例であり、不揮発性のＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）を有する。ストレージ２４は、プロセッサ２３によりタグが付与された画像を記憶する。ストレージ２４に記憶された画像は、入出力インタフェース２１を介して外部に出力可能である。

図３は、タグ付与装置２が有するプロセッサ２３の機能ブロック図である。

タグ付与装置２のプロセッサ２３は、機能ブロックとして、対象範囲特定部２３１と、属性情報取得部２３２と、属性情報決定部２３３と、タグ付与部２３４とを有する。プロセッサ２３が有するこれらの各部は、プロセッサ２３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてタグ付与装置２に実装されてもよい。

対象範囲特定部２３１は、カメラ１から入力された画像ごとに、少なくとも画像が生成されたときの車両Ｖの位置を示すデータ位置を含む所定の範囲を対象範囲として特定する。カメラ１は、例えばExif（Exchangeable image file format）規格により定められる所定の領域に撮影条件が埋め込まれた画像を出力する。撮影条件に含まれる撮影位置は、画像が生成されたときにＧＮＳＳ受信機３が出力する位置情報であってよい。ＧＮＳＳ受信機３が出力する位置情報は、WGS84測地系における座標（緯度、経度、標高）であってよい。

図５（ａ）は車両の位置を中心とする円による対象範囲の特定を説明する模式図であり、図５（ｂ）は車両の位置を中心とする扇形による対象範囲の特定を説明する模式図である。

模式図５００ａおよび模式図５００ｂは、撮影位置Ｏ（N_O,E_O）とメッシュとの関係を示している。なお、撮影位置Ｏ（N_O,E_O）とは、位置Ｏの北緯がN_Oであり、東経がE_Oであることを示している。撮影位置０は、メッシュＣ３に含まれる。

模式図５００ａにおいて、対象範囲特定部２３１は、撮影位置Ｏを中心とする半径ｒの円の範囲と重複するメッシュであるメッシュＢ２－Ｄ４を対象範囲として特定する。対象範囲には、撮影位置Ｏが含まれる。

模式図５００ａにおいて、対象範囲特定部２３１は、撮影位置Ｏを中心とする半径ｒ′、中心角θの扇形の範囲と重複するメッシュであるメッシュＣ３－Ｅ３、Ｄ４－Ｅ４、Ｅ５を対象範囲として特定する。対象範囲には、撮影位置Ｏが含まれる。なお、扇形は撮影位置０から車両Ｖの進行方向を示す方位ＡＺに向いている。対象範囲特定部２３１は、ＧＮＳＳ受信機３が出力する位置情報に基づいて、方位ＡＺを推定する。

属性情報取得部２３２は、対象範囲特定部２３１により特定された対象範囲を示す情報をサーバ８に送信する。対象範囲を示す情報は、対象範囲に対応するメッシュの緯度方向における位置と経度方向における位置との組み合わせ（例えば「Ｃ３」）といった、メッシュを一意に特定する情報である。

サーバ８は、地点に関連づけられた土地利用情報をメッシュ単位で記憶している。サーバ８は、属性情報取得部２３２から受信した対象範囲を示す情報に応じて、対象範囲に含まれる地点に関連づけられた土地利用情報を属性情報取得部２３２に送信する。属性情報取得部２３２は、サーバ８から対象範囲に含まれる地点に関連づけられた１以上の土地利用情報を取得する。

属性情報決定部２３３は、取得した１以上の土地利用情報から、対象範囲に最も多く含まれる一の土地利用情報を決定する。

図６（ａ）はメッシュ数による属性情報の決定を説明する模式図であり、図６（ｂ）は面積による属性情報の決定を説明する模式図である。

模式図６００ａおよび模式図６００ｂは、車両の位置を中心とする円により特定された対象範囲に対応するメッシュおよび各メッシュに関連づけられた土地利用情報を示している。模式図６００ａおよび模式図６００ｂにおいてドット柄で示されるメッシュＢ２、Ｃ３、Ｄ３には、土地利用情報「山間部」が関連づけられている。模式図６００ａおよび模式図６００ｂにおいて斜線で示されるメッシュＢ３－４、Ｃ２、Ｃ４、Ｄ２、Ｄ４には、土地利用情報「市街地」が関連づけられている。

属性情報決定部２３３は、取得した土地利用情報のうち、関連づけられたメッシュの数が多い土地利用情報を、一の属性情報として決定してよい。模式図６００ａにおいて、土地利用情報「山間部」は、メッシュＢ２、Ｃ３、Ｄ３の３つに関連づけられている。一方、土地利用情報「市街地」は、メッシュＢ３－４、Ｃ２、Ｃ４、Ｄ２、Ｄ４の６つに関連づけられている。この場合、属性情報決定部２３３は、関連づけられたメッシュが対象範囲に最も多く含まれる土地利用情報「市街地」を、一の属性情報として決定する。

また、属性情報決定部２３３は、取得した土地利用情報のうち、関連づけられたメッシュのうち対象範囲と重複する部分の面積が大きい土地利用情報を、一の属性情報として決定してよい。模式図６００ｂにおいて、土地利用情報「山間部」に関連づけられたメッシュＢ２、Ｃ３、Ｄ３が対象範囲と重複する部分の面積の合計は１．５７６である。一方、土地利用情報「市街地」に関連づけられたメッシュＢ３－４、Ｃ２、Ｃ４、Ｄ２、Ｄ４が対象範囲と重複する部分の面積の合計は２．２２５である。この場合、属性情報決定部２３３は、関連づけられたメッシュのうち対象範囲と重複する部分の面積が大きい土地利用情報「市街地」を、一の属性情報として決定する。

タグ付与部２３４は、一の属性情報として決定された土地利用情報を、タグとして画像Ｉに付与する。タグ付与部２３４は、Exif規格により定められる所定の領域に土地利用情報を埋め込むことによって画像Ｉにタグを付与する。また、タグ付与部２３４は、画像の識別子と土地利用情報とを関連づけて記憶するデータベースに対し、画像Ｉの識別子と対応する土地利用情報とを関連づけて記憶させることによって画像Ｉにタグを付与してもよい。

図７は、タグ付与処理のフローチャートである。プロセッサ２３は、カメラ１により生成された画像を受け付ける度にタグ付与処理を実行する。

対象範囲特定部２３１は、まず、少なくとも画像が生成されたときの車両の位置を含む所定の範囲を対象範囲として特定する（ステップＳ１）。

次に、属性情報取得部２３２は、特定された対象範囲を示す情報をサーバ８に送信し、サーバ８から対象範囲に含まれる地点に関連づけられた１以上の土地利用情報を取得する（ステップＳ２）。

次に、属性情報決定部２３３は、取得した１以上の土地利用情報から、対象範囲に最も多く含まれる一の土地利用情報を決定する（ステップＳ３）。

タグ付与部２３４は、決定された一の土地利用情報をタグとして画像に付与し（ステップＳ４）、タグ付与処理を終了する。

変形例によれば、属性情報決定部２３３は、カメラ１により生成された画像の領域ごとに、一の属性情報を決定してもよい。例えば、属性情報決定部２３３は、画像の右側領域および左側領域のそれぞれについて、一の属性情報を決定する。また、属性情報決定部２３３は、画像の上側領域および下側領域のそれぞれについて、一の属性情報を決定する。この場合、属性情報決定部は、取得した複数の属性情報のうち、データ位置から遠い位置に対応する属性情報を、画像の上側領域に対応する一の属性情報として決定してもよい。

上述した実施形態または変形例によるタグ付与装置は、カメラ１以外の車両Ｖの周囲に存在する物体を検知するためのセンサにより生成されたセンサ信号に対して適用されてもよい。そのような、所定の検知範囲内に存在する物体を検出するためのセンサとして、例えば、車両Ｖに搭載されたＬＩＤＡＲ（Light Detection and Ranging）センサ、または、ＲＡＤＡＲ（Radio Detection and Ranging）センサが用いられてもよい。

さらに他の変形例によれば、上述の実施形態または変形例によるタグ付与装置は、車載機器以外の機器として実装されてもよい。例えば、上述の実施形態または変形例によるタグ付与装置は、記録媒体または通信ネットワークを介して車両に搭載されたカメラにより生成された画像の入力を受け付ける据置型コンピュータとして実装されてもよい。

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１ カメラ
２ タグ付与装置
２３１ 対象範囲特定部
２３２ 属性情報取得部
２３３ 属性情報決定部
２３４ タグ付与部

Claims (1)

1. 車両に設置されたセンサにより生成されたデータごとに、少なくとも当該データが生成されたときの前記車両の位置を中心とする円により対象範囲を特定する対象範囲特定部と、
   それぞれが所定の単位面積を有する複数のメッシュごとに当該メッシュに含まれる地点の属性を示す属性情報を関連づけて記憶するサーバから、前記複数のメッシュのうち前記対象範囲と重複する１以上のメッシュのそれぞれに関連づけられる１以上の属性情報および当該メッシュが前記対象範囲と重複する部分の面積を取得する属性情報取得部と、
   取得した前記１以上の属性情報から、前記対象範囲と重複する１以上のメッシュのうちの前記対象範囲と重複する部分の面積が最も大きいメッシュに関連づけられる属性情報を決定する属性情報決定部と、
   決定された前記属性情報を前記データにタグとして付与するタグ付与部と、を備え、
   前記対象範囲の面積は前記単位面積よりも大きい、
   タグ付与装置。

Images