JP7295710B2 - 学習用画像データ生成装置 - Google Patents

Description

本発明は、学習用データ構造及び学習用画像データ生成装置に関する。

車両の運転者をサポートする際、及び、車両を自動運転する際には、画像処理によって交通標識を高精度で認識できるようにすることが好ましい。

例えば特許文献１には、以下の技術が記載されている。まず、車両に搭載された装置が、画像解析によって道路標識を認識し、認識結果を情報センタに送信する。情報センタは、この認識結果を含む情報を、他の車両に配信する。

また、特許文献２には、以下の技術が記載されている。まず、車載カメラによって撮影された画像に対して明暗に関する補正を行うことにより、明暗補正画像を生成する。また、同じ画像に対して色に関する補正を行うことにより、色補正画像を生成する。次いで、明暗補正画像を用いて物体を検出するとともに、色補正画像を用いて物体検出を行う。そして、２つの物体検出処理結果を用いて、標識及び表示を認識する。

一方、近年は機械学習に関する開発が行われている。機械学習の精度は、教師データの質及び量に大きく影響される。これに対して特許文献３には、背景の特徴量を別の値に置換することにより、シルエット画像から複数の学習用の画像を生成することが記載されている。

特開２００４－１７１１５９号公報 特開２０１８－７２８９３号公報 特開２００８－５９１１０号公報

上記したように、機械学習の精度は、学習データの質及び量に大きく影響される。一方、交通標識は様々な場所に配置されているが、その見え方はその時の環境によって大きく変わる。このため、機械学習の結果を用いて交通標識を精度よく認識できるようにするためには、様々な環境の下で撮影された画像を学習用のデータとして準備する必要がある。

本発明が解決しようとする課題としては、交通標識を認識するための学習用のデータを準備しやすくすることが一例として挙げられる。

請求項１に記載の発明は、第１交通標識を含む撮影画像から取得される前記第１交通標識の外観に影響を与える標識処理データと、前記第１交通標識とは異なる第２交通標識の画像を用いて生成される、前記第２交通標識を学習するための学習用画像データと、
前記学習用画像データが前記第２交通標識を含むことを示す属性データと、
を有する学習用データ構造である。

請求項４に記載の発明は、第１交通標識を含む撮影画像から、前記第１交通標識の外観に影響を与える標識処理データを取得する取得手段と、
前記第１交通標識とは異なる第２交通標識の画像と、前記標識処理データとを用いて前記第２交通標識を学習するための学習用画像データを生成する生成手段と、
を有する学習用画像データ生成装置である。

請求項１１に記載の発明は、第１交通標識を含む複数の撮影画像から、ＧＡＮ（Generative Adversarial Networks）を用いて生成される第１の特徴量空間を用いて、前記第１の特徴量空間において指定された点に対応する画像の特徴量である指定点特徴量と前記第１の特徴量空間における前記第１交通標識を示す所定の標準画像の特徴量である標準特徴量との差分により標識処理データを取得する取得手段と、
前記第１交通標識とは異なる第２交通標識の画像の標識特徴量と、前記標識処理データとを用いて前記第２交通標識の学習用画像データを生成する生成手段と、
を有する学習用画像データ生成装置である。

請求項１４に記載の発明は、標識が設置される道路の道路種別が高速道路である第１交通標識を含む撮影画像から、前記第１交通標識の外観に影響を与える標識処理データを取得する取得手段と、
前記第１交通標識とは異なり標識が設置される道路の道路種別が高速道路である第２交通標識の画像と、前記標識処理データと、高速道路の風景画像とを用いて前記第２交通標識を学習するための学習用画像データを生成する生成手段と、
を有する学習用画像データ生成装置である。

請求項１５に記載の発明は、第１交通標識を含む撮影画像から、前記第１交通標識の外観に影響を与える標識処理データを取得する取得手段と、
前記第１交通標識とは異なる第２交通標識の画像と、前記標識処理データと、風景を撮影した風景画像を用いて前記第２交通標識を学習するための学習用画像データを生成する生成手段と、を有し、
前記撮影画像および前記風景画像の撮影時間帯が同一である学習用画像データ生成装置である。

第１実施形態に係る学習用画像データ生成装置の機能構成を示す図である。 生成部の処理を模式的に説明するための図である。 取得部及び生成部が行う処理の例を説明するための図である。 撮影画像記憶部が記憶している撮影画像の一例を示す図である。 撮影画像記憶部が記憶している撮影画像の一例を示す図である。 撮影画像記憶部が記憶しているデータのデータ構造の第１例を示す図である。 撮影画像記憶部が記憶しているデータのデータ構造の第２例を示す図である。 標識処理データ記憶部が記憶しているデータのデータ構造の一例を示す図である。 学習用画像データ生成装置のハードウェア構成例を示す図である。 取得部による標識処理データの生成処理の一例を示す図である。 生成部による学習用画像データの生成処理の第１例を示す図である。 生成部による学習用画像データの生成処理の第２例を示す図である。 生成部による学習用画像データの生成処理の第３例を示す図である。 生成部による学習用画像データの生成処理の第４例を示す図である。 第２実施形態に係る学習用画像データ生成装置の機能構成を示す図である。 第２実施形態に係る生成部が行う処理の第１例を示す図である。 第２実施形態に係る生成部が行う処理の第２例を示す図である。 第３実施形態に係る学習用画像データ生成装置の機能構成を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［第１実施形態］
図１は、本実施形態に係る学習用画像データ生成装置１０の機能構成を示す図である。この学習用画像データ生成装置１０は、取得部１１０及び生成部１２０を備えている。取得部１１０は、第１交通標識を含む撮影画像から、標識処理データを取得する。標識処理データは、第１交通標識の外観に影響を与えるデータ、言い換えると交通標識の外観を変更するためのパラメータである。生成部１２０は、第１交通標識とは異なる第２交通標識の画像と、標識処理データとを用いて第２交通標識を学習するための学習用画像データを生成する。学習用画像データは、機械学習によって処理される。以下、学習用画像データ生成装置１０について詳細に説明する。

本実施形態において、取得部１１０は撮影画像を撮影画像記憶部１３０から取得する、撮影画像記憶部１３０は、複数の撮影画像を記憶している。撮影画像は、実際に設置されている交通標識を撮影した画像であり、例えば車載カメラによって生成されている。ただし、撮影画像は車載カメラ以外のカメラ、例えば定点カメラや人が保持しているカメラによって生成されていてもよい。

また、取得部１１０は標識処理データを生成する際に、第１交通標識を示す標準画像を用いる。この標準画像は、例えば、背景や陰影を含まない第１交通標識の画像（以下、テンプレート画像と記載）である。ただし標準画像は、撮影画像から第１交通標識をトリミングすることにより生成されていてもよい。本実施形態において、取得部１１０は標識標準画像記憶部１４０から標準画像を取得する。そして取得部１１０は、この標準画像と、撮影画像中の第１交通標識との差分により、標識処理データを取得する。標識処理データは、例えば図６を用いて後述するように、特徴量空間における座標である。

そして取得部１１０は、一つの撮影画像につき一つの標識処理データを生成する。撮影画像記憶部１３０は複数の撮影画像を記憶しているため、取得部１１０は、複数の標識処理データを生成できる。

図１に示す例において、取得部１１０は標識処理データを標識処理データ記憶部１５０に記憶させる。そして生成部１２０は、標識処理データ記憶部１５０から標識処理データを読み出す。標識処理データ記憶部１５０は不揮発性の記憶部である。ただし、標識処理データ記憶部１５０はメモリなど揮発性の記憶部であってもよい。この場合、標識処理データ記憶部１５０は、取得部１１０が生成した標識処理データを一時的に記憶する。

取得部１１０は、例えば機械学習を用いて標識処理データを生成する。この機械学習の一例は、ＧＡＮ（Generative Adversarial Networks）であるが、他の手法、例えばＶＡＥ（Variational Auto Encoder）やＣＶＡＥ（Conditional Variational Auto Encoder）を用いてもよい。

生成部１２０は、上記したように、第２交通標識の画像と、標識処理データとを用いて、第２交通標識を学習するための学習用画像データを生成する。図１に示す例において、生成部１２０は、第２交通標識の標準画像を標識標準画像記憶部１４０から読み出して使用する。そして生成部１２０は、生成した学習用画像データをその画像の属性データとともに学習用データ記憶部１６０に記憶させる。すなわち学習用画像データと属性データによりデータ構造が構成されている。属性データは、少なくとも、この学習用画像データが第２交通標識を含むことを示している。

上記したように、生成部１２０は学習用画像データを生成する際に、標識処理データを用いている。標識処理データは、上記したように、ＧＡＮなどの機械学習を用いて生成されている。このように、学習用画像データは、一般的な画像合成のみを用いて生成された画像データではなく、機械学習を用いて生成された画像データである。

なお、標識標準画像記憶部１４０は、交通標識の標準画像を、その交通標識が設置される道路の種別（例えば一般道、高速道路、及び有料道路）を特定する情報に紐づけて記憶していてもよい。このようにすると、道路種が指定されると、その道路種に対応した第２交通標識を選択し、選択した第２交通標識に関する学習用画像データを生成することができる。すなわち、道路種別に、その道路に設置される可能性が高い交通標識を含む学習用画像データを生成できる。

特に、後述する他の実施例において図１５を用いて説明するように、標識の背景画像についても道路種別が紐づけられている場合、その道路の種別に応じた背景画像を選択できるため、より良い学習用画像データを生成できる。

また、山間部に警戒標識が多い、人口の多いところに駐車禁止が多い等、特定の交通標識が存在しやすい道路種別や地域属性がある。このため、交通標識に、道路種別や地域属性を紐づけており、第２交通標識が選択されると、その第２交通標識に紐付いた道路種別や地域属性を選択し、さらにこの道路種別や地域属性に紐付いた背景画像を選択してもよい。このようにすると、現実に近い教師用画像データを生成できる。

一方、背景画像を選択する際に、道路種別や地域属性を考慮しなくてもよい。このようにすると、例外的な組み合わせに従った教師用画像データが生成されるため、教師用画像データのバリエーションは増える。このように、学習用画像データ生成装置１０を用いると、その用途に合わせて教師用画像データを生成できる。

なお、地域属性の一例は、後述するように、都市、郊外、トンネル、及び山間部などの地域の特徴、並びに人口密度の少なくとも一方である。そしてこの地域属性は、例えば、道路種別や一般的な地理情報などから判断できる。

生成部１２０の機能により、学習用データ記憶部１６０は、第２交通標識に関する複数の学習用画像データを記憶することができる。これら複数の学習用画像データは機械学習の教師データとして使用される。そしてこの機械学習の結果（例えば分類器）は、車載カメラが撮像した画像が第２交通標識を含むか否かを判別する際に用いられる。学習用画像データ生成装置１０は、さらに、この判別処理を行ってもよい。

なお、学習用データ記憶部１６０は、学習用画像データの代わりに、後述する特徴量空間の座標を学習用データとして記憶していてもよい。

図１に示した例において、撮影画像記憶部１３０、標識標準画像記憶部１４０、標識処理データ記憶部１５０、及び学習用データ記憶部１６０は、いずれも学習用画像データ生成装置１０の一部である。ただし、これら記憶部の少なくとも一つは、学習用画像データ生成装置１０の外部のストレージであってもよい。この場合、学習用画像データ生成装置１０とこのストレージは、通信回線を介して互いに接続する。この通信回線の少なくとも一部は無線であってもよい。

図２は、生成部１２０の処理を模式的に説明するための図である。撮影画像は、実際に設置されている第１交通標識の画像である。このため、この画像には、陰影や白とびなど、環境起因の様々な影響が加わっている。生成部１２０は、撮影画像と第１交通標識の標準画像の差分を、この影響を他の画像に再現するためのデータ（すなわち標識処理データ）として生成する。

そして、この標識処理データを用いて第２交通標識の画像を処理することにより、学習用画像データを生成する。この学習用画像データは、第２交通標識に対して、撮影画像と同様の影響が加わった画像となっている。

図３は、取得部１１０及び生成部１２０が行う処理の例を説明するための図である。画像を機械学習するアルゴリズムの大部分は、画像から複数種類の特徴量を抽出し、これら複数種類の特徴量のそれぞれを座標軸とした多次元の特徴量空間における座標を、学習対象にする。

取得部１１０は、画像を処理することにより、上述した特徴量を生成する。そして、この特徴量空間における、撮影画像の座標（指定点特徴量の一例）と標準画像の座標（標準特徴量の一例）の差分、すなわち各特徴量の差分を、標識処理データとして生成する。この場合、標識処理データは、例えば標準画像の座標を原点とした、撮影画像の座標のベクトルとして示される。

そして生成部１２０は、第２標識画像に関する特徴量空間において、第２標識画像の座標（標識特徴量の一例）を上記した差分ほど移動させ（例えばベクトルを加える）、この移動後の座標（特徴量）を用いることにより、学習用画像データを生成する。

なお、特徴量空間で用いられる特徴量としては、例えば、標識の姿勢(yaw、pitch、及びrollの少なくとも一つ)、明度、汚れ具合、左右反転（Ｈ－Ｆｌｉｐ）、並びに上下反転（Ｖ－Ｆｌｉｐ）の少なくとも２つ以上であるが、これらをすべて用いるのが好ましい。また、撮影画像が背景を含む場合、特徴量空間で用いられる特徴量には、地域属性(都市、郊外、トンネル、及び山間部などの区別、及び人口密度の少なくとも一方)の確からしさ、緑の多さ、建物の多さ、及び車両の多さの少なくとも一つを含めることができる。また、撮影画像に、その撮影画像を撮影した時の天候情報が紐付いている場合、特徴量空間で用いられる特徴量にこの天候情報を含めてもよい。ここで用いられる天候情報は、例えば、日照量、雨の有無及びその降水量、霧の有無、並びに雪の有無その降水量の少なくとも一つである。

図４及び図５のそれぞれは、撮影画像記憶部１３０が記憶している撮影画像の一例を示している。これらの図に示すように、撮影画像記憶部１３０は、同一の交通標識を含む撮影画像を複数有している。図４に示す例において、撮影画像記憶部１３０は、交通標識をトリミングした画像を撮影画像として記憶している。一方、図５に示すように、撮影画像記憶部１３０は、背景を含む画像を撮影画像として記憶していてもよい。

図６は、撮影画像記憶部１３０が記憶しているデータのデータ構造の第１例を示す図である。上記したように、撮影画像記憶部１３０は、同一の交通標識（第１交通標識）を含む画像を複数記憶している。また、本図に示す例において、撮影画像記憶部１３０は、撮影画像を、その画像の属性に紐づけて記憶している。画像の属性としては、例えば画像が撮影された地域を特定する情報（例えば緯度経度情報や住所情報）、その第１交通標識が設けられていた道路の種別（例えば一般道、高速道路、及び有料道路）を特定する情報、標識の形状を特定する情報、並びに撮影日時（又は時間帯のみ）の少なくとも一つである。このようにすると、取得部１１０は、指定された属性を有する撮影画像のみを選択して処理することにより、属性別に標識処理データを生成することができる。

なお、撮影画像記憶部１３０は、複数の交通標識それぞれについて、複数の撮影画像を記憶していてもよいし、一つの交通標識について複数の撮影画像を記憶していてもよい。前者の場合、撮影画像記憶部１３０は、図６に示すように、交通標識を特定する情報（以下、標識特定情報と記載）を、撮影画像に紐づけて記憶している。

図７は、撮影画像記憶部１３０が記憶しているデータのデータ構造の第２例を示す図である。本図に示す例において、撮影画像記憶部１３０は、標識の種類を区別せずに撮影画像を記憶している。その代わりに、撮影画像のそれぞれを、その撮影画像の属性情報に紐づけて記憶するとともに、その撮影画像が含む交通標識の標識特定情報に紐付づけて記憶している。

図８は、標識処理データ記憶部１５０が記憶しているデータのデータ構造の一例を示す図である。本図に示す例において、標識処理データ記憶部１５０は、属性毎に複数の標識処理データ（図中データ群と記載）を記憶している。この属性の具体例は、撮影画像に紐づけられた属性と同様であり、少なくとも、交通標識が存在する地域を示す地域属性、設置される道路の道路種別を示す道路種別属性、及び交通標識の形状を示す形状属性の少なくとも一つを含む。本図に示す例において、標識処理データ記憶部１５０は、道路の種別に標識処理データを記憶している。ただし標識処理データ記憶部１５０は、地域別又は標識の形状別に標識処理データを記憶していてもよい。

なお、取得部１１０が、属性に関係ない状態で標識処理データを生成していることも有る。この場合、取得部１１０は、複数の標識処理データを属性に紐付けない状態で記憶する。

図８は、学習用画像データ生成装置１０のハードウェア構成例を示す図である。学習用画像データ生成装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は学習用画像データ生成装置１０の各機能（例えば取得部１１０及び生成部１２０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、学習用画像データ生成装置１０と各種入出力機器とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、学習用画像データ生成装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

図１０は、取得部１１０による標識処理データの生成処理の一例を示す図である。取得部１１０は、属性の指定を取得する（ステップＳ１０２）。この指定は、例えば、キーボード、マウス、音声認識デバイス等の入力デバイスを介して、学習用画像データ生成装置１０のユーザから入力される。また、ここで特定される属性は、図６を用いて説明した通りであり、例えば、交通標識が存在する地域を示す地域属性、及び、設置される道路の道路種別を示す道路種別属性、及び交通標識の形状を示す形状属性の少なくとも一つである。

すると取得部１１０は、撮影画像記憶部１３０から、指定された属性に対応する撮影画像を複数読み出す。また取得部１１０は、読み出した各撮影画像に紐付いた標識特定情報を認識し、この標識特定情報に対応する標準画像を標識標準画像記憶部１４０から読み出す（ステップＳ１０４）。次いで取得部１１０は、読み出した撮影画像及び標準画像を用いて、標識処理データを生成する。取得部１１０は、標識処理データの生成処理を、複数の撮影画像それぞれに対して行う。そして取得部１１０は、生成した複数の標識処理データを、ステップＳ１０２で取得した属性に紐づけて標識処理データ記憶部１５０に記憶させる（ステップＳ１０６）。

図１１は、生成部１２０による学習用画像データの生成処理の第１例を示す図である。生成部１２０は、第２交通標識の指定を取得する。この指定は、例えば、キーボード、マウス、音声認識デバイス等の入力デバイスを介して、学習用画像データ生成装置１０のユーザから入力される（ステップＳ２０２）。

次いで生成部１２０は、指定された第２交通標識の標準画像を、標識標準画像記憶部１４０から読み出す。また生成部１２０は、複数の標識処理データを標識処理データ記憶部１５０から読み出す（ステップＳ２０４）。次いで生成部１２０は、読み出した標準画像を、標識処理データを用いて処理することにより学習用画像データを生成する。生成部１２０は、学習用画像データの生成処理を、複数の標識処理データ毎に行う。このため、生成部１２０は、一つの標準画像から複数の学習用画像データを生成する。

次いで生成部１２０は、生成した複数の学習用画像データを、その学習用画像データの属性情報とともに学習用データ記憶部１６０に記憶させる（ステップＳ２０６）。学習用画像データの属性情報は、少なくとも、その学習用画像データが第２交通標識を含むことを示している。

図１２は、生成部１２０による学習用画像データの生成処理の第２例を示す図である。本図に示す例において、生成部１２０は、第２交通標識の指定を取得するとともに、生成される学習用画像データの属性を取得する（ステップＳ２１２）。この属性は、例えば、交通標識が存在する地域を示す地域属性、及び、設置される道路の道路種別を示す道路種別属性の少なくとも一つである。これらの取得は図１１のステップＳ２０２と同様である。

すると生成部１２０は、第２交通標識の標準画像を標識標準画像記憶部１４０から読み出すとともに、取得した属性に対応する標識処理データを、標識処理データ記憶部１５０から読み出す（ステップＳ２１４）。そして生成部１２０は、読み出した第２交通標識の標準画像及び標識処理データを用いて学習用画像データを生成し、生成した学習用画像データを、属性情報に紐づけて学習用データ記憶部１６０に記憶させる（ステップＳ２１６）。ステップＳ２１６の処理は、図１１のステップＳ２０６と同様である。ただし、学習用画像データに紐付いた属性情報には、その学習用画像データが第２交通標識を含むことの他に、ステップＳ２１２で取得した属性が含まれる。

なお、標識標準画像記憶部１４０において第２交通標識の標準画像に属性が紐付いている場合、生成部１２０は、ステップＳ２１２において学習用画像データの属性を取得する代わりに、ステップＳ２１４において、標識標準画像記憶部１４０から、第２交通標識の標準画像に紐付いた属性を読み出してもよい。

図１３は、生成部１２０による学習用画像データの生成処理の第３例を示す図である。本図に示す例において、標識処理データ記憶部１５０には予め標識処理データが記憶されていない。

本図において、ステップＳ２２２に示した処理は、図１２のステップＳ２１２に示した処理と同様である。また、ステップＳ２２８に示した処理は、図１２のステップＳ２１６に示した処理と同様である。ただし、ステップＳ２１６に示した処理の代わりに、ステップＳ２２４，Ｓ２２６を有している。

具体的には、生成部１２０は、ステップＳ２２２で取得した属性に対応する複数の撮影画像を撮影画像記憶部１３０から読み出す（ステップＳ２２４）。次いで生成部１２０は、ステップＳ２２４で読み出した複数の撮影画像を用いて、複数の標識処理データを生成する（ステップＳ２２６）。そしてステップＳ２２８において、生成部１２０は、ステップＳ２２６で生成した標識処理データを用いる。

図１４は、生成部１２０による学習用画像データの生成処理の第４例を示す図である。まず生成部１２０は、標識処理データ記憶部１５０から標識処理データを読み出す。この際、生成部１２０は、標識処理データ記憶部１５０から、読み出した標識処理データの属性も取得する（ステップＳ２３２）。この属性は、上記したように、交通標識が存在する地域を示す地域属性、設置される道路の道路種別を示す道路種別属性、及び交通標識の形状を示す形状属性の少なくとも一つである。

ここで生成部１２０は、まず、属性の指定を入力デバイスを介して取得してもよい。この場合、ステップＳ２３２において、生成部１２０は、標識処理データ記憶部１５０から、指定された属性を有する標識処理データを複数読み出す。

次いで生成部１２０は、ステップＳ２３２で読み出した属性と同一の属性を有する第２交通標識の標準画像を標識標準画像記憶部１４０から読み出す（ステップＳ２３４）。次いで生成部１２０は、ステップＳ２３４で読み出した第２交通標識の標準画像を、ステップＳ２３２で読み出した複数の標識処理データを用いて処理することにより、複数の学習用画像データを生成して学習用データ記憶部１６０に記憶させる（ステップＳ２３６）。ステップＳ２３４において複数の第２交通標識が読み出されていた場合、生成部１２０は、これら複数の第２交通標識のそれぞれに対してステップＳ２３６に示した処理を行う。

以上、本実施形態によれば、生成部１２０は、第２交通標識の標準画像を、第１交通標識を含む撮影画像から取得された標識処理データを用いて処理することにより、第２交通標識を含む学習用画像データを生成する。従って、学習用画像データ生成装置１０のユーザは、学習用画像データを容易に準備することができる。特に、学習用画像データ生成装置１０を用いると、実際に設置されている場所が少ない交通標識についても、多くの学習用画像データを容易に準備することができる。

［第２実施形態］
図１５は、第２実施形態に係る学習用画像データ生成装置１０の機能構成を示す図である。本実施形態に係る学習用画像データ生成装置１０は、以下の点を除いて第１実施形態に係る学習用画像データ生成装置１０と同様の構成である。

まず、学習用画像データ生成装置１０は風景画像憶部１７０を有している。風景画像憶部１７０は、風景画像すなわち標識の背景となるべき画像を記憶している。風景画像は風景を撮影した画像である。例えば風景画像憶部１７０は、風景の属性毎に、複数の標準画像を記憶している。ここで用いられる風景の属性は、図６で説明した属性と同様であり、例えば、都市部、郊外部、トンネル、及び山岳部などの地域特性や、一般道、高速道路、及び有料道路などの道路の種別である。

そして生成部１２０は、標識処理データを用いて処理した後の第２標識画像と、風景画像憶部１７０が記憶している風景画像とを合成することにより、学習用画像データを生成する。この学習用画像データは、例えば風景画像の中に第２標識画像が嵌めこまれた状態を示している。

生成部１２０は、標識処理データの属性及び第２標識画像の属性の少なくとも一方が指定されている場合（例えば第１実施形態の図１２～図１４を用いて説明した例）、同一の属性を有する風景画像を風景画像憶部１７０から読み出し、読み出した風景画像にはめ込むことにより、学習用画像データを生成する。ここで読み出された風景画が複数ある場合、生成部１２０は、読み出された複数の風景画のそれぞれを用いて、学習用画像データを生成する。この場合、生成部１２０が用いた標識処理データ、第２標識画像、及び風景画像がそれぞれｌ個、ｍ個、及びｎ個ある場合、学習用画像データは、ｌ×ｍ×ｎ個生成される。

なお、ここで用いられる属性は、地域（すなわち撮影場所）、及び撮影時間帯の少なくとも一方が含まれるのが好ましい。

図１６は、本実施形態に係る生成部１２０が行う処理の第１例を示す図である。本図に示す処理は、第１実施形態において図１２を用いて説明した処理に近い。

まず生成部１２０は、第２交通標識の指定を取得するとともに、生成される学習用画像データの属性を取得する（ステップＳ２４２）。これらの取得は図１２のステップＳ２１２で説明した通りである。

すると生成部１２０は、第２交通標識の標準画像を標識標準画像記憶部１４０から読み出すとともに、取得した属性に対応する標識処理データを、標識処理データ記憶部１５０から読み出す（ステップＳ２４４）。また生成部１２０は、取得した属性に対応する背景画像を風景画像憶部１７０から読み出す（ステップＳ２４６）。そして生成部１２０は、読み出した第２交通標識の標準画像、標識処理データ、及び背景画像を用いて学習用画像データを生成し、生成した学習用画像データを、属性情報に紐づけて学習用データ記憶部１６０に記憶させる（ステップＳ２４８）。例えば生成部１２０は、図１２のステップＳ２１６と同様の処理を行うことにより、第２交通標識の標準画像を処理し、処理後の第２交通標識を風景画像にはめ込むことにより、学習用画像データを生成する。

図１７は、本実施形態に係る生成部１２０が行う処理の第２例を示す図である。本図に示す処理は、第１実施形態において図１４を用いて説明した処理に近い。まず生成部１２０は、標識処理データ記憶部１５０から標識処理データを読み出す。この際、生成部１２０は、標識処理データ記憶部１５０から、読み出した標識処理データの属性も取得する（ステップＳ２５２）。この属性の一例は、交通標識が存在する地域を示す地域属性、設置される道路の道路種別を示す道路種別属性、または交通標識の形状を示す形状属性の少なくとも一つである。

ここで生成部１２０は、まず、属性の指定を入力デバイスを介して取得してもよい。この場合、ステップＳ２５２において、生成部１２０は、標識処理データ記憶部１５０から、指定された属性を有する標識処理データを複数読み出す。

次いで生成部１２０は、ステップＳ２５２で取得した属性と同一の属性を有する第２交通標識の標準画像を、標識標準画像記憶部１４０から読み出す（ステップＳ２５４）。また生成部１２０は、この属性と同一の属性を有する背景画像を風景画像憶部１７０から読み出す（ステップＳ２５６）。次いで生成部１２０は、読み出した第２交通標識の標準画像、標識処理データ、及び背景画像を用いて学習用画像データを生成し、生成した学習用画像データを、属性情報に紐づけて学習用データ記憶部１６０に記憶させる（ステップＳ２５８）。ここで行われる学習用データの生成処理は、図１７のステップＳ２４８で説明した処理と同様である。また、ステップＳ２５４において複数の第２交通標識が読み出されていた場合、生成部１２０は、これら複数の第２交通標識のそれぞれに対してステップＳ２５８に示した処理を行う。

本実施形態によっても、第１実施形態と同様に、学習用画像データ生成装置１０のユーザは、学習用画像データを容易に準備することができる。また、学習用画像データ生成装置１０のユーザは、所望の背景を有する学習用画像データを容易に準備することができる。

［第３実施形態］
図１８は、第３実施形態に係る学習用画像データ生成装置１０の機能構成を示す図である。本実施形態に係る学習用画像データ生成装置１０は、更新部１３２を有している点を除いて、第２実施形態に係る学習用画像データ生成装置１０と同様の構成である。

更新部１３２は、車載カメラに接続している車載装置又は車載カメラと通信を行い、車載カメラが撮影した画像（例えば動画を構成するフレーム画像）であって交通標識を含む画像を取得する。そして更新部１３２は、この画像、又はこの画像から交通標識をトリミングした画像を、撮影画像として撮影画像記憶部１３０に記憶させる。この際、更新部１３２は、撮影画像の属性情報も取得し、撮影画像記憶部１３０に記憶させる。

また更新部１３２は、交通標識を含む画像から交通標識をトリミングした画像を標準画像として標識標準画像記憶部１４０に記憶させてもよいし、交通標識を含まない画像を風景画像として風景画像憶部１７０に記憶させてもよい。いずれの場合においても、更新部１３２は、必要な属性情報を画像とともに取得し、標識標準画像記憶部１４０や風景画像憶部１７０に記憶させる。

なお、第１実施形態に係る学習用画像データ生成装置１０に、本実施形態で示した更新部１３２を設けてもよい。

本実施形態によっても、第２実施形態と同様に、所望の背景を有する学習用画像データを容易に準備することができる。また、学習用画像データは標識処理データを用いて生成されるが、本実施形態では、この標識処理データの基となる撮影画像を容易に増やすことができる。このため、容易に学習用画像データの数を増やすことができる。

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

１０ 学習用画像データ生成装置
１１０ 取得部
１２０ 生成部
１３０ 撮影画像記憶部
１３２ 更新部
１４０ 標識標準画像記憶部
１５０ 標識処理データ記憶部
１６０ 学習用データ記憶部
１７０ 風景画像憶部

Claims (9)

1. 第１交通標識を含む撮影画像から、前記第１交通標識の外観に影響を与える標識処理データを取得する取得手段と、
   前記第１交通標識とは異なる第２交通標識の画像と、前記標識処理データとを用いて前記第２交通標識を学習するための学習用画像データを生成する生成手段と、を有し、
   前記生成手段は、標識が存在する地域を示す地域属性、設置される道路の道路種別を示す道路種別属性、または交通標識の形状を示す形状属性のうち、少なくともいずれかの属性が前記第２交通標識の画像の属性と同一である第１交通標識を含む撮影画像から取得した標識処理データを選択する、学習用画像データ生成装置。
2. 請求項１に記載の学習用画像データ生成装置において、
   前記取得手段は、前記第１交通標識を示す所定の標準画像と、前記撮影画像中の第１交通標識との差分により前記標識処理データを取得する学習用画像データ生成装置。
3. 請求項１または請求項２に記載の学習用画像データ生成装置において、
   前記生成手段は、前記第２交通標識の画像として、第２交通標識を示す所定の標準画像を用いる学習用画像データ生成装置。
4. 請求項１から請求項３のいずれか一項に記載の学習用画像データ生成装置において、
   前記生成手段は、さらに風景を撮影した風景画像を用いて前記学習用画像データを生成する学習用画像データ生成装置。
5. 請求項４に記載の学習用画像データ生成装置において、
   前記生成手段は、画像の撮影時間帯または撮影場所の特徴が同一である前記風景画像と前記撮影画像を用いて生成する学習用画像データ生成装置。
6. 第１交通標識を含む複数の撮影画像から、ＧＡＮ（Generative Adversarial Networks）を用いて生成される第１の特徴量空間を用いて、前記第１の特徴量空間において指定された点に対応する画像の特徴量である指定点特徴量と前記第１の特徴量空間における前記第１交通標識を示す所定の標準画像の特徴量である標準特徴量との差分により標識処理データを取得する取得手段と、
   前記第１交通標識とは異なる第２交通標識の画像の標識特徴量と、前記標識処理データとを用いて前記第２交通標識の学習用画像データを生成する生成手段と、
   を有する学習用画像データ生成装置。
7. 請求項６に記載の学習用画像データ生成装置において、
   前記生成手段は、標識が存在する地域を示す地域属性、設置される道路の道路種別を示す道路種別属性、または交通標識の形状を示す形状属性のうち、少なくともいずれかの属性が第１交通標識と同一である第２交通標識の画像を選択する学習用画像データ生成装置。
8. 請求項６に記載の学習用画像データ生成装置において、
   前記生成手段は、標識が存在する地域を示す地域属性、設置される道路の道路種別を示す道路種別属性、または交通標識の形状を示す形状属性のうち、少なくともいずれかの属性が前記第２交通標識の画像の属性と同一である第１交通標識を含む撮影画像から取得した標識処理データを選択する学習用画像データ生成装置。
9. 標識が設置される道路の道路種別が高速道路である第１交通標識を含む撮影画像から、前記第１交通標識の外観に影響を与える標識処理データを取得する取得手段と、
   前記第１交通標識とは異なり標識が設置される道路の道路種別が高速道路である第２交通標識の画像と、前記標識処理データと、高速道路の風景画像とを用いて前記第２交通標識を学習するための学習用画像データを生成する生成手段と、を有し、
   前記生成手段は、標識が存在する地域を示す地域属性、設置される道路の道路種別を示す道路種別属性、または交通標識の形状を示す形状属性のうち、少なくともいずれかの属性が前記第２交通標識の画像の属性と同一である第１交通標識を含む撮影画像から取得した標識処理データを選択する、学習用画像データ生成装置。

Images