JP7117720B1 - 画像生成装置 - Google Patents

Abstract

【課題】学習用データを用意する労力を軽減する画像生成装置を提供する。
【解決手段】画像生成装置１は、第１画像を生成する画像生成部１１１と、第２画像を取得する画像取得部１１２と、第１画像と第２画像とを用いて、第２画像が有する文字等情報を識別する第１識別部１１５と、第２画像が有する文字等情報を識別できた場合に、第１識別部が行った識別結果を機械学習させる識別機械学習部１１３と、第２画像が有する文字等情報を識別できなかった場合に、第２画像を模した擬似第２画像を生成する生成部１１４と、第１画像に基づき擬似第２画像が有する文字等情報を識別する第２識別部１１５と、第２識別部１１５の識別結果を用いて、擬似第２画像の生成に用いるデータを機械学習させる生成機械学習部１１６と、を備える。識別機械学習部１１３は、第１画像及び擬似第２画像を用いて、第２識別部の識別結果を機械学習させる。
【選択図】図１

Description

本発明は、対象を撮影した画像の認識に用いる学習データを生成することのできる画像生成装置に関する。

自動車登録番号等を提供するナンバープレート及び道路に関する情報等を提供する道路標識等によって例示される、各種の情報を提供する物品（以下、単に対象とも称する。）がある。これらの対象を撮影した画像を電子的に処理し、対象が提供する情報を取得する要望がある。

対象を撮影した画像を電子的に処理することによって対象が提供する情報を取得することに関し、特許文献１によれば、ナンバープレートのナンバー等の特徴量データを学習用データとした機械学習により重みパラメータとなる検出用データを更新し、特徴量データに一致または類似する補正用データを推論することができる機能が開示されている。特許文献１によれば、機械学習により更新した補正用データをもとに対象を撮影した画像の不鮮明な領域を補正し、対象が提供する情報をより確実に取得することを見込み得る。

特開２０１５－１９１６６６号公報

学習用データが多ければ多いほど、機械学習の効果を高め得る。しかしながら、ナンバープレート等の対象を撮影した画像を多数集めることは、多大な労力を要し得る。特許文献１は、多くの学習用データを用意する労力を軽減する点において、さらなる改良の余地がある。

本発明は、このような事情に鑑みてなされたものであり、その目的は、学習用データを用意する労力を軽減することの可能な画像生成装置を提供することである。

本発明者らは、上記課題を解決するために鋭意検討した結果、文字等情報を用いて生成した第１画像に基づく画像生成を行い、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ、ＧＡＮ）を用いてこの画像生成を機械学習することで上述の課題を解決可能であることを見出し、本発明を完成させるに至った。具体的に、本発明は以下のものを提供する。

第１の特徴に係る発明は、文字、図形、記号若しくは立体的形状若しくはこれらの結合又はこれらと色彩との結合に関する文字等情報を用いて第１画像を生成する画像生成部と、前記文字等情報を有する対象を撮影した第２画像を取得する画像取得部と、前記第１画像と前記画像取得部が取得した前記第２画像とを用いて、前記第２画像が有する前記文字等情報を識別する第１識別部と、前記第１識別部により、前記第２画像が有する前記文字等情報を識別できたか否かを判断する判断部と、前記判断部により、前記第２画像が有する前記文字等情報を識別できた場合に、前記第１識別部が行った識別結果を、識別ニューラルネットワークに機械学習させる識別機械学習部と、前記判断部により、前記第２画像が有する前記文字等情報を識別できなかった場合に、前記第１画像と生成ニューラルネットワークとを用いて、前記第２画像を模した擬似第２画像を生成する生成部と、前記識別ニューラルネットワークを用いて、前記第１画像に基づき前記擬似第２画像が有する前記文字等情報を識別する第２識別部と、前記第２識別部の識別結果を用いて、前記生成ニューラルネットワークに前記擬似第２画像の生成に用いるデータを機械学習させる生成機械学習部と、を備え、前記識別機械学習部は、前記第１画像及び前記擬似第２画像を用いて、前記識別ニューラルネットワークに、前記第２識別部の識別結果を機械学習させる、画像生成装置である。

文字等情報を有する対象を撮影した画像を学習用データとして用いる機械学習では、学習用データとして利用される画像が対象を撮影した画像と同様の特徴を備えていることが好ましい。すなわち、学習用データとして利用される画像は、対象を撮影した本物の画像のように見える画像であることが好ましい。

第１の特徴に係る発明によれば、識別機械学習部が第１画像と第２画像との対応付けの識別の教師あり学習を行える。対象を撮影した第２画像に基づく教師あり学習を行えることにより、第１画像と第２画像との対応付けをより的確に識別できる。

第１の特徴に係る発明によれば、教師あり学習を行った識別ニューラルネットワークを用いて、文字等情報を用いて生成した第１画像と文字等情報を有する対象を撮影した第２画像との対応付けを識別し得る。これにより、生成部が生成した擬似第２画像のうち、第１画像と対応し、対象を撮影した第２画像であると識別される、本物のように見える画像のみを提供し得る。したがって、文字等情報を有する対象を撮影した画像を学習用データとして用いる機械学習における学習用データとして利用可能な画像を提供し得る。

第１の特徴に係る発明によれば、第１識別部による識別結果を用いて生成ニューラルネットワークに生成を機械学習させるため、生成ニューラルネットワークは、対象を撮影した第２画像であるとよりいっそう識別される、本物のように見える第２画像を生成するよう機械学習し得る。

第１の特徴に係る発明によれば、対象を撮影した第２画像だけでなく、生成部が生成した擬似第２画像を用いて、識別ニューラルネットワークに識別結果を機械学習させるため、識別ニューラルネットワークは、対象を撮影した第２画像と生成部が生成した擬似第２画像との違いを機械学習し得る。これにより、第２識別部が第２画像であると識別する擬似第２画像は、対象を撮影した第２画像が有する特徴をより多く備え、生成部が生成した擬似第２画像が有する特徴をより少なく備える画像となり得る。すなわち、よりいっそう本物のように見える画像となり得る。

第１の特徴に係る発明によれば、生成部を生成器とし、識別部を識別器とする、敵対的生成ネットワークを用いた機械学習を実現し得る。本物のように見える画像を生成するニューラルネットワークの機械学習に関し、敵対的生成ネットワークを用いた機械学習を行うことにより、ニューラルネットワークの教師なし学習を効果的に行い得ることが知られている。

識別ニューラルネットワークの教師あり学習では、対象を撮影した第２画像が必要となる。対象を撮影した第２画像を多数用意するためには、多大な労力を必要とし得る。第１の特徴に係る発明によれば、敵対的生成ネットワークを用いた教師なし学習によって、より対象を撮影した画像のように見える擬似第２画像を生成するよう機械学習し得るため、対象を撮影した第２画像を多数用意する労力を軽減しつつ、よりいっそう本物のように見える画像を提供できる。

したがって、第１の特徴に係る発明によれば、文字等情報を有する対象を撮影した画像を学習用データとして用いる機械学習における学習用データとして利用可能な画像を提供し得る。

第２の特徴に係る発明は、第１の特徴に係る発明であって、前記第２識別部の識別結果は、前記第２画像であるか前記生成部が生成した擬似第２画像であるか否かの識別結果を含み、前記識別機械学習部は、前記識別結果を前記識別ニューラルネットワークに機械学習させることが可能である、画像生成装置を提供する。

第２の特徴に係る発明によれば、画像取得部が取得した第２画像であるか、生成部が生成した擬似第２画像であるかを識別するため、画像取得部が取得した画像であると識別部が識別する、より本物のように見える擬似第２画像のみを提供し得る。識別機械学習部が識別ニューラルネットワークにこの判別を機械学習させることにより、識別部が識別する精度を高め得る。したがって、より高い精度の識別に基づく、さらにいっそう本物のように見える画像のみを提供し得る。

したがって、第２の特徴に係る発明によれば、文字等情報を有する対象を撮影した画像を学習用データとして用いる機械学習における学習用データとして利用可能な画像を提供し得る。

第３の特徴に係る発明は、第１又は第２の特徴に係る発明であって、前記生成部は、前記画像取得部が取得した前記第２画像であると前記識別部が識別する前記擬似第２画像を生成可能であり、前記生成機械学習部は、前記画像取得部が取得した前記第２画像であると前記識別部が識別する前記擬似第２画像の生成を前記生成ニューラルネットワークに機械学習させることが可能である、画像生成装置を提供する。

第３の特徴に係る発明によれば、画像取得部が取得した第２画像であると識別部が識別する擬似第２画像を生成可能であることにより、より本物のように見える画像を提供し得る。生成機械学習部が生成ニューラルネットワークに機械学習させることにより、生成部は、さらにいっそう本物のように見える擬似第２画像を生成し得る。したがって、機械学習を行った生成ニューラルネットワークに基づく、さらにいっそう本物のように見える画像のみを提供し得る。

したがって、第３の特徴に係る発明によれば、文字等情報を有する対象を撮影した画像を学習用データとして用いる機械学習における学習用データとして利用可能な画像を提供し得る。

第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明であって、前記対象は、立体的形状を有し、前記画像生成部は、立体的形状を表現した前記第１画像を生成可能である、画像生成装置を提供する。

ナンバープレート及び交通標識等によって例示される立体的形状を有する対象を撮影した画像では、立体的形状に由来する画像の特徴（例えば、影、ハイライト。）が、第１画像と第２画像との対応付けの識別におけるノイズとなり得る。したがって、対象が立体的形状を有する場合において識別部が行う識別は、識別の精度という点において、さらなる改良の余地がある。

第４の特徴に係る発明によれば、画像生成部が立体的形状を表現した第１画像を生成可能であることにより、立体的形状に由来する第２画像の特徴が第１画像と第２画像との対応付けの識別におけるノイズとなることを軽減し得る。これにより、対象が立体的形状を有する場合に識別部が行う識別の精度をよりいっそう高め得る。また、識別学習部が機械学習する精度を高め得る。したがって、より高い精度の識別に基づく、さらにいっそう本物のように見える画像のみを提供し得る。

したがって、第４の特徴に係る発明によれば、文字等情報を有する対象を撮影した画像を学習用データとして用いる機械学習における学習用データとして利用可能な画像を提供し得る。

本発明によれば、文字等情報を有する対象を撮影した画像を、多数用意する労力を軽減することの可能な画像生成装置を提供できる。

図１は、本実施形態の画像生成装置１について、その構成の一例を示すブロック図である。 図２は、教師用画像テーブル１２１の一例を示す図である。 図３は、生成画像テーブル１２２の一例を示す図である。 図４は、画像生成装置１が行う画像生成処理の一例を示すフローチャートである。 図５は、画像生成部１１１が行う第１画像を生成する処理の一例を示すフローチャートである。 （Ａ）は、第１画像の一例を示す模式図、（Ｂ）は、第２画像及び擬似第２画像を包括して示す模式図である。

以下、本発明を実施するための好適な形態の一例について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

＜画像生成装置１＞
図１は、本実施形態の画像生成装置１について、その構成の一例を示すブロック図である。以下、図１を用いて、本実施形態の画像生成装置１における好適な構成の一例を説明する。

画像生成装置１は、少なくとも、制御部１１と記憶部１２とを備える。画像生成装置１は、ネットワーク１０を介して外部の端末２０と通信することを可能にする通信部１３をさらに備えることが好ましい。これにより、画像生成装置１は、ネットワーク１０を介した画像の取得または提供のうちの少なくとも一方を行い得る。端末２０は、カメラにより対象を撮影した画像を画像生成装置１へ送る機能を有するもの、及び画像生成装置１から学習データの提供を受けるものを含む。

〔制御部１１〕
制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えるマイクロコンピュータである。

制御部１１は、所定のプログラムを読み込み、必要に応じて記憶部１２または通信部１３のうちの少なくとも一方と協働することで、画像生成装置１におけるソフトウェア構成の要素である画像生成部１１１、画像取得部１１２、識別機械学習部１１３、生成部１１４、識別部１１５、生成機械学習部１１６、及び判断部１７等を実現する。画像生成部１１１は、第１画像を生成する機能を有する。第１画像には、補助データが添付される。補助データの意味は後述する。画像取得部１１２は、外部の端末２０から通信部１３を介して第２画像を取得する機能と、端末２０から取得されて記憶部１２に記憶されている第２画像を取得する機能と、を有する。生成部１１４は、生成ニューラルネットワークにより、第１画像を用いて擬似第２画像を生成する機能を有する。画像取得部１１２が取得する第２画像は、対象を撮影した画像である。

生成部１１４が生成する擬似第２画像は、対象を撮影した第２画像を模した擬似的な画像である。擬似第２画像には、補助データが添付される。補助データの意味は後述する。識別部１１５は、ニューラルネットワークにより、第１画像と第２画像との対応付けを識別（認識）する機能と、第１画像と擬似第２画像との対応付けを識別（認識）する機能と、を有する。なお、「第１画像と第２画像との対応付けを識別」の意味、「第１画像と擬似第２画像との対応付けを識別」の意味は、後述する。また、「擬似第２画像」の意味は後述する。生成機械学習部１１６は、識別部１１５が行った識別結果を用いて、生成ニューラルネットワークに、生成部１１４が行う「擬似第２画像の生成」に用いたデータを機械学習させる機能を有する。判断部１７は、「識別部１１５により第１画像と第２画像との対応付けの識別を行うことができたか否か」を判断する機能を有する。

〔記憶部１２〕
記憶部１２は、データやファイルが記憶される装置であって、ハードディスク、半導体メモリ、記録媒体、及びメモリカード等によって例示される記憶手段の１以上を用いて実現される、データのストレージ部を有する。記憶部１２は、ネットワーク１０を介してＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、クラウドストレージ、ファイルサーバ及び／又は分散ファイルシステム等の記憶装置又は記憶システムとの接続を可能にする仕組みを有してもよい。

記憶部１２には、マイクロコンピュータで実行される制御プログラム、教師用画像テーブル１２１、生成画像テーブル１２２、識別ニューラルネットワーク、生成ニューラルネットワーク等が記憶されている。

［教師用画像テーブル１２１］
図２は、教師用画像テーブル１２１の一例を示す図である。教師用画像テーブル１２１は、第１画像と第２画像との対応付けを識別ニューラルネットワークに機械学習させる処理において教師データ（学習用データとも称する。）となる、文字等情報を用いて生成された第１画像と、該文字等情報を有する対象を撮影した第２画像とを、対応付けたデータを格納するテーブルである。

教師用画像テーブル１２１は、第１画像と第２画像とを対応付けたデータと、該データを識別可能な教師用画像ＩＤとを、関連付けて格納することが好ましい。これにより、教師用画像ＩＤを用いてデータ及び関連付けられた各種情報を識別し、格納及び／又は取得し得る。

必須の態様ではないが、教師用画像テーブル１２１は、第１画像と第２画像とを対応付けたデータと第１画像の生成に用いられた文字等情報とを関連付けて格納することが好ましい。これにより、第１画像及び／又は第２画像と関連する文字等情報を取得し、利用し得る。例えば、特定の文字等情報を含む文字等情報と関連付けられたデータのみを教師データとして用いる機械学習を行い得る。

図２の教師用画像ＩＤ「Ｔ０００１」には、文字列「川崎９９９ お２０－４６」を自動車のナンバープレート（自動車登録番号標）を模して配置した第１画像と、自動車登録番号「川崎９９９ お２０－４６」を示すナンバープレートを撮影した第２画像と、文字等情報「ナンバープレート 川崎９９９ お２０－４６ 白地に緑文字」と、が関連付けられて格納されている。

また、教師用画像ＩＤ「Ｔ０００２」には、那須まで直進４ｋｍであることを示す道路標識に関する第１画像、第２画像、及び文字等情報が関連付けられて格納されている。教師用画像ＩＤ「Ｔ０００３」には、イチョウを象った旗に関する第１画像、第２画像、及び文字等情報が関連付けられて格納されている。

図２の教師用画像テーブル１２１に格納されたデータに関して説明する。文字等情報を用い、対象を模して生成された第１画像は、文字等情報とその立体的形状の表現とを有する。これに対して、対象を撮影した第２画像は、文字等情報及び立体的形状を有することに加えて、ぼやけ、ブレ、反射、汚れ、傾き、及びゆがみ等によって例示される撮影に由来するノイズをも有する。これは、対象が各種の移動体、例えば、車両、自動二輪車、原動機付自転車等に取り付けられるナンバープレートであると、屋外を走行する移動体のナンバープレートをカメラで撮影する場合に特有のノイズである。移動体の走行中または停止状態でナンバープレートをカメラで撮影すると、移動体の移動速度、天候、移動体の周囲の環境における照明の有無、太陽に対する移動体の走行向き、１日のうちの時間帯、等の条件により、第２画像におるノイズの種類、ノイズのレベルの少なくとも一方が異なる。

図６（Ａ）には、第１画像５０の詳細が示され、図６（Ｂ）には、第２画像６０の詳細が示されている。第１画像５０及び第２画像６０の対象として、ナンバープレートが例示されている。第１画像は、文字等情報が表示される領域として、地名表示部５１、分類番号表示部５２、ひらがな表示部５３、一連指定番号表示部５４を有する。第２画像６０は、文字等情報が表示される領域として、地名表示部６１、分類番号表示部６２、ひらがな表示部６３、一連指定番号表示部６４を有する。地名表示部５１，６１には、移動体が登録されている地域名が表示され、分類番号表示部５２，６２には、移動体の分類番号が表示される。ひらがな表示部５３，６３には、ひらがな１文字が表示され、一連指定番号表示部５４，６４には、２桁の算用数字に次いでハイフンが記号で表示され、さらに、２桁の算用数字が表示される。

例えば、教師用画像ＩＤ「Ｔ０００１」の第２画像は、撮影時における焦点の不一致に由来する「川」の字がぼやけるノイズ、撮影時の反射に由来する「０」の一部が反射で凹むノイズ、及び撮影時のブレに由来する「９」の字がつぶれるノイズ等を含んでいる。教師用画像テーブル１２１には、このような第１画像と第２画像とを対応付けたデータが格納される。つまり、教師用画像テーブル１２１は、文字等情報を有する第１画像を提供すること、撮影に由来するノイズをも有する画像を、第１画像と対応付けられた第２画像であると識別するデータを提供すること、ができる。また、教師用画像テーブル１２１は、識別結果を、識別ネットワークに機械学習させる教師データとして提供することもできる。教師用画像テーブル１２１に格納する第２画像は、図２において例示した、対象としてのナンバープレート、道路標識、及び旗を撮影した第２画像に限定されず、例えば、電光掲示板を撮影した第２画像等、文字等情報を有する各種の対象を撮影した第２画像でよい。

［生成画像テーブル１２２］
図３は、生成画像テーブル１２２の一例を示す図である。生成画像テーブル１２２は、文字等情報を用いて生成された第１画像と、第１画像を用いて生成部１１４が生成した第２画像とを関連付けて格納するテーブルである。

生成画像テーブル１２２は、第２画像と該第２画像を識別可能な生成画像ＩＤとを関連付けて格納することが好ましい。これにより、生成画像ＩＤを用いて第２画像及び関連付けられた各種情報を識別し、格納及び／又は取得し得る。

必須の態様ではないが、生成画像テーブル１２２は、第１画像の生成に用いられた文字等情報と第２画像とを関連付けて格納することが好ましい。これにより、第１画像及び／又は第２画像と関連する文字等情報を取得し、利用し得る。例えば、特定の文字等情報を含む文字等情報と関連付けられた第２画像のみを、生成された第２画像として取得し、提供する処理を行い得る。

必須の態様ではないが、生成画像テーブル１２２は、識別部１１５による第２画像の識別に関する識別結果を格納可能であることが好ましい。これにより、例えば、第１画像に対応し、画像取得部１１２によって取得された第２画像であると識別されたことを示す識別結果等によって例示される特定の識別結果と関連付けられた第２画像を指定して取得し得る。

図３の生成画像ＩＤ「Ｇ０００１」には、文字等情報「ナンバープレート 川崎９９９ お１１－９２ 白地に緑文字」と、文字列「川崎９９９ お１１－９２」を自動車のナンバープレートを模して配置した第１画像と、該第１画像を用いて生成された第２画像と、該第２画像が該第１画像に「対応」し、かつ、生成部１１４によって「生成」された第２画像である、と識別されたことを示す識別結果「対応 生成」と、が関連付けられて格納されている。

図３の生成画像ＩＤ「Ｇ０００２」には、文字等情報「ナンバープレート 那須９９９ お２０－１１ 白地に緑文字」と、該文字等情報に関する第１画像及び第２画像と、該第２画像が該第１画像に「対応」し、かつ、画像取得部１１２によって「取得」された第２画像である、と識別されたことを示す識別結果「対応 取得」と、が関連付けられて格納されている。

これらの第２画像等が格納されていることにより、生成された第２画像を取得し、学習用データとして利用し得る。

［識別ニューラルネットワーク］
識別部１１５が用いるニューラルネットワークは、第１画像と第２画像との対応付けを識別可能なニューラルネットワークである。識別ニューラルネットワークは、特に限定されず、従来技術のニューラルネットワークでよい。

識別ニューラルネットワークの種類は、特に限定されず、例えば、順伝播型ニューラルネットワーク（フィードフォワードニューラルネットワーク、又はＦＦＮＮとも称される。）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ、又は、ＣｏｎｖＮｅｔとも称される。）、Ｄｅｅｐ ｓｔａｃｋｉｎｇ ｎｅｔｗｏｒｋ（ＤＳＮとも称される。）、ＲＢＦネットワーク（Ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋとも称される。）、回帰型ニューラルネットワーク（リカレントニューラルネットワーク、又は、ＲＮＮとも称される。）、モジュール型ニューラルネットワーク（Ｍｏｄｕｌａｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）等によって例示される従来技術のニューラルネットワークの１以上を含むニューラルネットワークでよい。

識別ニューラルネットワークは、なかでも、画像認識に優れる畳み込みニューラルネットワークを含むことが好ましい。識別ニューラルネットワークが畳み込みニューラルネットワークを含むことにより、第１画像と第２画像との対応付けをよりいっそう的確に識別し得る。

［生成ニューラルネットワーク］
生成部１１４が用いる生成ニューラルネットワークは、第１画像を用いて擬似第２画像を生成可能なニューラルネットワークである。生成ニューラルネットワークは、特に限定されず、従来技術のニューラルネットワークでよい。

文字等情報とニューラルネットワークとを用いて画像を生成する場合、画像と異なる種類の情報である文字等情報から画像を生成するため、所望の画像が得られない場合があり得る。生成ニューラルネットワークが第１画像を用いて擬似第２画像を生成可能なニューラルネットワークであることにより、本物の第２画像と同じ種類の情報である第１画像から擬似第２画像を生成できる。これにより、所望の擬似第２画像をよりいっそう生成し得る。

生成ニューラルネットワークの種類は、特に限定されず、例えば、順伝播型ニューラルネットワーク（フィードフォワードニューラルネットワーク、又はＦＦＮＮとも称される。）、逆畳み込みニューラルネットワーク（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、Ｄｅｅｐ ｓｔａｃｋｉｎｇ ｎｅｔｗｏｒｋ（ＤＳＮとも称される。）、ＲＢＦネットワーク（Ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋとも称される。）、回帰型ニューラルネットワーク（リカレントニューラルネットワーク、又は、ＲＮＮとも称される。）、モジュール型ニューラルネットワーク（Ｍｏｄｕｌａｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）等によって例示される従来技術のニューラルネットワークの１以上を含むニューラルネットワークでよい。

生成ニューラルネットワークは、なかでも、画像生成に優れる逆畳み込みニューラルネットワークを含むことが好ましい。生成ニューラルネットワークが逆畳み込みニューラルネットワークを含むことにより、第１画像から第２画像を生成することをよりいっそう的確に実現し得る。

〔通信部１３〕
画像生成装置１は、画像生成装置１の外部の装置との通信を行う通信部１３を備えてもよい。画像生成装置１が通信部１３を備えることにより、生成した第２画像等を外部の装置に送信できる。画像生成装置１が通信部１３を備えることにより、対象を撮影した第２画像を、外部の装置から受信できる。画像生成装置１が通信部１３を備えることにより、外部の端末２０から画像生成に関する指令を受信し得る。

〔表示部〕
画像生成装置１は、図１のように、生成した第２画像等を表示可能な表示部１４を備えることが好ましい。表示部１４は、制御部１１に通信可能に接続されている。表示部１４の種類は、特に限定されない。表示部１４として、例えば、モニタ、タッチパネル、プロジェクタ、外部の装置に生成した第２画像を表示させるビデオカード等が挙げられる。

〔入力部〕
画像生成装置１は、画像生成装置１を利用する利用者からの入力を可能とする入力部１５を備えることが好ましい。入力部１５は制御部１１に通信可能に接続されている。入力部１５の種類は、特に限定されない。入力部１５として、例えば、キーボード、マウス、タッチパネル、外部の装置から入力を受信する通信デバイス等が挙げられる。

〔画像生成装置１で実行される画像生成処理のメインフローチャート〕
図４は、画像生成装置１を用いた画像生成処理の好ましい流れの一例を示すフローチャートである。

［ステップＳ１：文字等情報を受信したか否かを判別］
制御部１１は、記憶部１２と協働して判断部１７を実行し、文字等情報を受信したか否かを判断する（ステップＳ１）。制御部１１は、ステップＳ１でＹｅｓと判断した、つまり、文字等情報を受信したならば、ステップＳ２に進む。制御部１１は、ステップＳ１でＮｏと判断した、つまり、文字等情報を受信していないならば、制御部１１は、ステップＳ１の判断を繰り返す。制御部１１が、文字等情報を受信したか否かを判別することにより、文字等情報を受信した場合に、ステップＳ２で実行される第１画像を生成する処理を実行できる。

文字等情報を受信したか否かを判断する判断部１７は、通信部１３を介して外部の端末２０から文字等情報を受信したか否かを判断する機能、制御部１１及び／又は記憶部１２を介して他のプログラムから文字等情報を受信したか否かを判断する機能、並びに入力部１５を介して利用者から文字等情報を受信したか否かを判断する機能等を有する。

［ステップＳ２：第１画像を生成］
制御部１１は、記憶部１２と協働して画像生成部１１１を実行し、ステップＳ１で受信した文字等情報を用いて第１画像（モデル）を生成する（ステップＳ２）。第１画像の対象がナンバープレートであると、第１画像の文字等情報は、地名、分類番号、ひらがな、一連指定番号を含む。これにより、第２画像と同じ種類の情報であり、かつ、文字等情報を有する第１画像を生成できる。必須の態様ではないが、文字等情報を有する対象が立体的形状を有する場合、画像生成部１１１は、立体的形状を表現した第１画像を生成可能であることが好ましい。

ナンバープレート及び交通標識等によって例示される立体的形状を有する対象を撮影した画像では、立体的形状に由来する画像の特徴（例えば、影、ハイライト。）が、第１画像と第２画像との対応付けの識別におけるノイズとなり得る。したがって、対象が立体的形状を有する場合において識別部１１５が行う識別は、識別の精度という点において、さらなる改良の余地がある。

画像生成部１１１が立体的形状を表現した第１画像を生成可能であることにより、立体的形状に由来する第２画像の特徴が第１画像と第２画像との対応付けの識別におけるノイズとなることを軽減し得る。これにより、対象が立体的形状を有する場合に識別部１１５が行う識別の精度をよりいっそう高め得る。したがって、より高い精度の識別に基づく、さらにいっそう本物のように見える画像のみを提供し得る。また、画像生成部１１１は、第１画像としてナンバープレートを生成する場合、ナンバープレートが取り付けられる移動体の走行速度、天候、移動体の周囲の環境における照明の有無、太陽に対する移動体の走行向き等の補助データも、第１画像に添付することができる。ステップＳ２において画像生成部１１１が行う第１画像を生成する処理については、後に図５を用いてより詳細に説明する。制御部１１は、ステップＳ２の処理に次いで、ステップＳ３０の処理を行う。

［ステップＳ３０：第１画像と第２画像との対応の識別処理］
制御部１１は、ステップＳ３０において、記憶部１２及び識別部１１５とが協働して、画像取得部１１２が取得した第２画像を用い、第１画像と第２画像との対応付けの識別を行う。第２画像は、文字等情報を有する対象を撮影した画像である。ここで、「第１画像と第２画像との対応付けの識別」は、第１画像に基づいて、第２画像に含まれる文字等情報を認識すること、を含む。

また、制御部１１は、ステップＳ３０において、第２画像に付与されている補助データ、例えば、画像の撮影日時、撮影場所、移動体の走行速度、天候、移動体の周囲の環境における照明の有無等も認識できる。識別部１１５が、第１画像と第２画像との対応の識別を行う場合、ニューラルネットワークとして、ResNet18を用いることができる。ResNet18は、深さが１８層の畳み込みニューラルネットワークである。また、識別部１１５が第１画像と第２画像との対応の識別を行う場合、アルゴリズムとしてＹＯＬＯを用いて対象における文字等情報の位置を推論することができる。また、認識した文字等情報の種類も推論できる。制御部１１がステップＳ３０の処理を行うことにより、第２画像に含まれる文字等情報を認識できる。

［ステップＳ３１：第１画像と第２画像との対応の識別を行えたか否かの判断］
制御部１１は、上記ステップＳ３０において、第１画像と第２画像との対応付けの識別を行うことができる場合と、第１画像と第２画像との対応付けの識別を行うことができない場合とがある。例えば、第２画像が不鮮明であること、または、第２画像の撮影環境の照度が不足していること、第２画像の撮影時の天候が雨天であること、等の場合、第１画像と第２画像との対応付けの識別を行うことができない。そこで、制御部１１の判断部１７は、ステップＳ３０に次ぐステップＳ３１において、第１画像と第２画像との対応の識別を行えたか否かを判断する。

［ステップＳ４：第１画像と第２画像との対応の識別結果を教師あり機械学習］
制御部１１は、ステップＳ３１でＹｅｓと判断すると、ステップＳ４に進み、第１画像と第２画像との対応の識別結果を、図２に示す教師用画像テーブル１２１に格納する。これと併せて、第２画像に付与されている補助データも、図２に示す教師用画像テーブル１２１に格納できる。一方、制御部１１は、ステップＳ３１でＮｏと判断すると、制御部１１は、ステップＳ５に進む。

制御部１１が、ステップＳ３１で「第１画像と第２画像との対応を識別できたか否か」を判断することにより、第２画像を取得した場合にステップＳ４で教師あり学習を行うこと、及び第２画像を取得していない場合にステップＳ５で擬似第２画像を生成すること、を両立できる。文字等情報を有する対象を撮影した第２画像を取得する手段は、特に限定されず、通信部１３を介して外部の端末２０から第２画像を取得する手段、制御部１１及び／又は記憶部１２を介して他のプログラムから第２画像を取得する手段、並びに記憶部１２から第２画像を取得する手段等によって例示される、従来技術のマイクロコンピュータにおいて画像を取得することに利用可能な各種の手段でよい。

［ステップＳ４：対応付けの識別結果を、教師あり機械学習させる］
制御部１１は、記憶部１２と協働して識別機械学習部１１３を実行し、図２に示す教師用画像テーブル１２１に格納された第１画像と、本物の第２画像と対応付けたデータを用いて、第１画像と第２画像との対応付けの識別を行い、かつ、その識別結果を、識別ニューラルネットワークに教師あり機械学習させる（ステップＳ４）。ここで、「第１画像と第２画像との対応付けの識別」は、第１画像に基づいて、第２画像に含まれている文字等情報を認識すること、を含む。制御部１１は、ステップＳ４の処理後、ステップＳ１に戻る。

これにより、識別機械学習部１１３は、対象を撮影した第２画像に基づいて、第１画像と第２画像との対応付けの識別結果を、教師あり機械学習できる。この教師あり機械学習においては、第２画像に付与される補助データと、第２画像におけるノイズの種類、ノイズのレベル等との関連付けが行われる。したがって、ステップＳ４以降にステップＳ１を経由し、再度、ステップＳ４に進んだ場合に、識別機械学習部１１３は、第１画像と第２画像との対応付けの識別を的確に行うことができる。

教師あり機械学習に利用するアルゴリズムは、特に限定されず、誤差逆伝播法、Ｗｉｄｒｏｗ－Ｈｏｆｆ法（デルタルールとも称される。）等の確率的勾配降下法、勾配降下法、オンライン学習、バッチ学習、ロジスティック関数、シグモイド関数、及び／又は最大値関数等の１以上を用いる、既知のニューラルネットワークの教師あり学習に関する機械学習アルゴリズムを利用できる。

［ステップＳ５：擬似第２画像を生成］
制御部１１は、記憶部１２と協働して生成部１１４を実行し、ステップＳ２において生成した第１画像と生成ニューラルネットワークとを用いて擬似第２画像を生成し、擬似第２画像と第１画像とを関連付けて生成画像テーブル１２２に格納する（ステップＳ５）。ステップＳ５で実行される処理により、第１画像に基づく擬似第２画像を生成できる。擬似第２画像は、ステップＳ３０で識別部１１５が認識できなかった第２画像に近似した画像データである。図６（Ｂ）には、擬似第２画像６０Ａの一例が示されている。擬似第２画像６０Ａは、第２画像６０と同様に、文字等情報が表示される領域として、地名表示部６１、分類番号表示部６２、ひらがな表示部６３、一連指定番号表示部６４を有する。

必須の態様ではないが、生成部１１４が生成する擬似第２画像は、ステップＳ３０で識別部１１５が認識できるようなものを生成可能であることが好ましい。これにより、より本物のように見える画像を提供し得る。制御部１１は、ステップＳ５の処理後、ステップＳ６に進む。

［ステップＳ６：第１画像と擬似第２画像との識別結果を機械学習］
制御部１１は、記憶部１２と協働して識別部１１５を実行し、識別ニューラルネットワークを用いて、ステップＳ２で生成された第１画像と、ステップＳ５で生成された擬似第２画像との対応付けを識別する（ステップＳ６）。

ステップＳ６で実行される処理により、生成部１１４が生成した擬似第２画像のうち、第１画像と対応し、対象を撮影した第２画像であると識別される、本物のように見える画像のみを提供し得る。したがって、文字等情報を有する対象を撮影した画像を学習用データとして用いる機械学習における学習用データとして利用可能な画像を提供し得る。

ステップＳ６における処理は、ステップＳ３０で行われた識別結果と、ステップＳ５で生成した擬似第２画像とを関連付けて、生成画像テーブル１２２に格納する処理を含むことが好ましい。これにより、ステップＳ６で識別部１１５が行った識別結果に応じた学習用データを記憶部１２に記憶し、かつ、その学習用データを外部へ提供し得る。

ステップＳ６で識別部１１５が行う識別は、画像取得部１１２が取得した本物の第２画像であるか、生成部１１４が生成した擬似第２画像であるかを識別することを含む。これにより、以後、識別部１１５が、画像取得部１１２により取得した第２画像であると判断する画像、つまり、より本物のように見える擬似第２画像のみを、生成部１１４で生成し得る。制御部１１は、ステップＳ６の処理後、ステップＳ７に進む。

［ステップＳ７：擬似第２画像の生成を機械学習］
制御部１１は、記憶部１２と協働して生成機械学習部１１６を実行し、ステップＳ６で行った識別結果を用いて、生成ニューラルネットワークに擬似第２画像の生成を機械学習させる（ステップＳ７）。つまり、制御部１１は、生成部１１４が生成した擬似第２画像を自己評価及び推論する。制御部１１は、ステップＳ７の処理後、ステップＳ８に進む。

ステップＳ７における処理では、識別部１１５による識別を用いて生成ニューラルネットワークに擬似第２画像の生成を機械学習させるため、生成ニューラルネットワークは、以後のステップＳ６において、対象を撮影した第２画像であると識別される、本物のように見える擬似第２画像を生成するよう機械学習し得る。

ステップＳ７における処理では、第１画像と擬似第２画像との対応の識別結果を用いて、生成ニューラルネットワークに、生成部１１４が行う擬似第２画像の生成を機械学習させることが好ましい。これにより、以後、生成部１１４が、ステップＳ５において行う擬似第２画像の生成精度を高めることができる。

擬似第２画像を生成するため機械学習に利用するアルゴリズムは、教師なし学習に関するアルゴリズムであれば特に限定されず、クラスター分析、主成分分析、ベクトル量子化、自己組織化写像、敵対的生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ又はＧＡＮとも称される。）、ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ （ＤＢＮとも称される。）、ヘッブの法則等の１以上を用いる、既知のニューラルネットワークの教師なし学習に関する機械学習アルゴリズムを利用できる。

なかでも、擬似第２画像生成の機械学習に利用するアルゴリズムは、敵対的生成ネットワークを用いる機械学習であることが好ましい。これにより、生成部１１４を生成器とし、識別部１１５を識別器とする、敵対的生成ネットワーク（ＧＡＮ）を用いた機械学習を実現し得る。例えば、生成ニューラルネットワークが生成ネットワーク（ｇｅｎｅｒａｔｏｒ）とし、識別ニューラルネットワークが識別ネットワーク（ｄｉｓｃｒｉｍｉｎａｔｏｒ）とすることで、敵対的生成ネットワークを用いた機械学習を実現できる。

本物の第２画像のように見える擬似第２画像を生成するニューラルネットワークの機械学習に関し、敵対的生成ネットワークを用いた機械学習を行うことにより、ニューラルネットワークの教師なし学習を効果的に行い得ることが知られている。擬似第２画像の生成の機械学習に利用するアルゴリズムが敵対的生成ネットワークを用いる機械学習であることにより、生成ニューラルネットワークの教師なし学習を効果的に行い得る。

文字等情報を有する対象が立体的形状を有し、画像生成部１１１が立体的形状を表現した第１画像を生成可能である場合、擬似第２画像の生成の機械学習に利用するアルゴリズムは、敵対的生成ネットワークを用いる機械学習であることが好ましい。これにより、立体的形状を表現した第１画像から立体的形状を有する対象を撮影した本物の画像のように見える画像を生成することを、敵対的生成ネットワークを用いてよりいっそう効果的に行い得る。第１画像と、擬似第２画像とがともに立体的形状に関するため、敵対的生成ネットワークを用いた学習の効果をよりいっそう高め得る。

必須の態様ではないが、ステップＳ７において、生成機械学習部１１６は、画像取得部１１２が取得した第２画像である、と以後のステップＳ６で識別部１１５が判別するような擬似第２画像の生成を生成ニューラルネットワークに機械学習させることが可能であることが好ましい。

これにより、生成部１１４は、さらにいっそう本物のように見える画像を生成し得る。したがって、機械学習を行った生成ニューラルネットワークに基づく、さらにいっそう本物のように見える画像のみを提供し得る。制御部１１は、ステップＳ７で擬似第２画像の生成を生成ニューラルネットワークに機械学習させる際に、ある一定条件に一致したら自動で機械学習を止め、過学習しなくてもよい。

例えば、第１画像（正解値）と、擬似第２画像とにより出力された予測値（モデル）と、のずれである損失値（損失関数）が、最小の時に機械学習を止めることができる。また、制御部１１は、ステップＳ７で擬似第２画像を自己評価する場合に、生成ニューラルネットワークとしてResNet18を用いることができる。ResNet18は、深さが１８層の畳み込みニューラルネットワークである。

［ステップＳ８：対応付けの識別を教師なし学習］
制御部１１は、記憶部１２と協働して識別機械学習部１１３を実行し、識別ニューラルネットワークに、ステップＳ６で行われた識別結果を、教師なし学習させ（ステップＳ８）、学習データを改善する。制御部１１は、ステップＳ８の処理後、ステップＳ１に戻る。

ステップＳ８の処理が行われると、対象を撮影した本物の第２画像だけでなく、生成部１１４が生成した擬似第２画像を用いて、識別ニューラルネットワークに識別結果を機械学習させることができる。このため、識別ニューラルネットワークは、対象を撮影した第２画像と、生成部１１４が生成した擬似第２画像との違いを機械学習し得る。これにより、識別部１１５が「対象を撮影した第２画像である」と識別する第２画像は、対象を撮影した第２画像が有する特徴をより多く備え、生成部１１４が生成した擬似第２画像が有する特徴をより少なく備える画像となり得る。すなわち、擬似第２画像は、よりいっそう本物の第２画像のように見える画像となり得る。さらに、制御部１１は、ステップＳ８において識別ニューラルネットワークにより、第１画像を教師なし機械学習させる。つまり、第１画像（モデル）の評価を行うことができる。

対応付けの識別の教師なし学習に利用するアルゴリズムは、教師なし学習に関するアルゴリズムであれば特に限定されず、クラスター分析、主成分分析、ベクトル量子化、自己組織化写像、敵対的生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ又はＧＡＮとも称される。）、ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ（ＤＢＮとも称される。）、ヘッブの法則等の１以上を用いる、既知のニューラルネットワークの教師なし学習に関する機械学習アルゴリズムを利用できる。

なかでも、対応付けの識別結果の教師なし学習に利用するアルゴリズムは、敵対的生成ネットワークを用いる機械学習であることが好ましい。これにより、生成部１１４を生成器とし、識別部１１５を識別器とする、敵対的生成ネットワーク（ＧＡＮ）を用いた機械学習を実現し得る。例えば、生成ニューラルネットワークが生成ネットワーク（ｇｅｎｅｒａｔｏｒ）とし、識別ニューラルネットワークが識別ネットワーク（ｄｉｓｃｒｉｍｉｎａｔｏｒ）とすることで、敵対的生成ネットワークを用いた機械学習を実現できる。

本物のように見える画像を生成するニューラルネットワークの機械学習に関し、敵対的生成ネットワークを用いた機械学習を行うことにより、ニューラルネットワークの教師なし学習を効果的に行い得ることが知られている。対応付けの識別の教師なし学習に利用するアルゴリズムが敵対的生成ネットワークを用いる機械学習であることにより、生成ニューラルネットワークの教師なし学習を効果的に行い得る。

ステップＳ８で実行される処理によれば、生成部１１４を生成器とし、識別部１１５を識別器とする、敵対的生成ネットワークを用いた機械学習を実現し得る。本物のように見える擬似第２画像を生成するニューラルネットワークの機械学習に関し、敵対的生成ネットワークを用いた機械学習を行うことにより、ニューラルネットワークの教師なし学習を効果的に行い得ることが知られている。

識別ニューラルネットワークの教師あり学習では、画像取得部１１２が取得した第２画像である、対象を撮影した第２画像が必要となる。対象を撮影した第２画像を多数用意するためには、多大な労力を必要とし得る。これに対して、ステップＳ８の処理を行うと、敵対的生成ネットワークを用いた教師なし学習によって、対象を撮影した本物の画像のように見える擬似第２画像を自動で生成する機械学習を行える。したがって、対象を撮影した本物の第２画像を多数用意する労力を軽減できる。また、本物の第２画像のように見える擬似第２画像を、外部の端末２０へ提供できる。

ステップＳ６で識別部１１５が行う識別結果は、画像取得部１１２が取得した本物の第２画像であるか、生成部１１４が生成した擬似第２画像であるかを識別した結果を含む場合、ステップＳ８において識別機械学習部１１３は、この識別結果を識別ニューラルネットワークに機械学習させることが好ましい。

また、図４のステップＳ５乃至Ｓ８を経由してステップＳ１に戻り、かつ、ステップＳ４に進んだ場合、識別部１１５は、本物の第２画像であるか擬似第２画像であるかを識別し、識別機械学習部１１３は、その識別結果を、識別ニューラルネットワークに機械学習させることができる。このため、識別部１１５が行う識別の精度を高め得る。したがって、本物のように見える擬似第２画像を、外部の端末２０へ提供し得る。さらに、本開示では、第２画像の教師あり機械学習に用いる学習データを自動で生成して記憶部１２に記憶でき、かつ、生成した学習データを端末２０へ提供することもできる。さらに、機械学習用の学習データを生成するにあたり、屋外を走行する移動体のナンバープレートをカメラで撮影する場合に特有のノイズを考慮できる。

ステップＳ８において、識別ニューラルネットワークは、遺伝的アルゴリズムを用いて教師なし機械学習を行うことができる。遺伝的アルゴリズムは、生物の進化過程をモデル化した計算手法を用いた、解の探索アルゴリズムである。本実施形態では、第１画像を自己評価した結果、識別部１１５が認識できなかった第２画像に対し、擬似第２画像を生成できるパラメータを推定する。推定したパラメータを中心とした正規分布で擬似第２画像を生成して学習データに追加することで、誤認識画像を認識できるように学習データを改善できる。

さらに、ステップＳ８において、識別ニューラルネットワークが教師なし機械学習を行うにあたり、コサイン類似度を用いることができる。本実施形態では、擬似第２画像のデータと、本物の第２画像のデータとをベクトル化し、それぞれのベクトルのコサイン類似度を算出する。コサイン類似度が大きい程、擬似画像が第２画像をよく再現できているものと判断する。

〔第１画像を生成する処理〕
図５は、画像生成部１１１が、図４のステップＳ２において行う第１画像を生成する処理の一例を示すフローチャートである。画像生成部１１１は、文字等情報を拡張して第１画像を生成する。

［ステップＳ２１：文字等情報を有する画像を生成］
制御部１１は、画像生成部１１１を実行し、ステップＳ１で取得した文字等情報を用いて文字等情報を有する画像を生成する（ステップＳ２１）。制御部１１は、ステップＳ２１の処理後、ステップＳ２２に進む。これにより、文字等情報を有する画像を生成できる。図５の文字等情報を有する画像Ｉ１は、図３の生成画像ＩＤ「Ｇ０００２」に関連付けられた文字等情報「ナンバープレート 那須９９９ お２０－１１ 白地に緑文字」を用いて生成された画像である。文字等情報を有する画像Ｉ１は、「ナンバープレート」によって示される自動車登録番号標を模した配置で文字列「那須９９９ お２０－１１」を平面的に表現している。

［ステップＳ２２：生成した画像を収縮］
制御部１１は、画像生成部１１１を実行し、ステップＳ２で生成した画像を収縮する（ステップＳ２２）。制御部１１は、ステップＳ２２の処理後、ステップＳ２３に進む。ステップＳ２２の処理における収縮する画像処理は、画像を構成する処理対象画素それぞれについて、周辺に背景を表現する背景画素がある場合に処理対象画素を背景画素と同様の画素に置き換え、周辺に背景を表現する背景画素がない場合に処理対象画素を置き換えない画像処理である。これにより、文字等情報を有する画像において表現されている文字・記号等の線を細くすることができる。図５の収縮された画像Ｉ２は、文字等情報を有する画像Ｉ１において表現されている文字・記号等の線を細くした画像となっている。

［ステップＳ２３：収縮した画像を半透明化］
制御部１１は、画像生成部１１１を実行し、ステップＳ３で収縮した画像を半透明化する（ステップＳ２３）。制御部１１は、ステップＳ２３の処理後、ステップＳ２４に進む。半透明化することにより、ステップＳ２４において半透明化した画像を重畳する処理を実行できる。

ステップＳ２３において半透明化された画像の透明度は、特に限定されない。半透明化された画像の透明度の下限は、１０％以上であることが好ましく、３０％以上であることがより好ましく、４０％以上であることがさらに好ましい。透明度の下限を上述のとおり定めることにより、半透明化された画像がよりいっそう透明となる。これにより、より多くの半透明化された画像を重畳しても、重畳された画像が半透明となる。したがって、半透明化された画像を重畳する数を用いて透明度をよりきめ細かく制御する処理を実行し得る。

半透明化された画像の透明度の上限は、９０％以下であることが好ましく、７０％以下であることがより好ましく、６０％以下であることがさらに好ましい。透明度の上限を上述のとおり定めることにより、多数の半透明化された画像を重畳することなく、不透明な画像を表現し得る。

図５に示す半透明化された画像Ｉ３は、ステップＳ２で収縮された画像Ｉ２を透明度５０％になるよう半透明化した画像である。これにより、重畳しない半透明化された画像Ｉ３を用いて透明度５０％を表現し、画像Ｉ２の半透明化された画像Ｉ３を重畳して透明度０％、すなわち、不透明な画像を表現できる。

［ステップＳ２４：複数の半透明化した画像を重畳］
制御部１１は、画像生成部１１１を実行し、ステップＳ２３で半透明化した画像と、該半透明化した画像を所定の微小距離移動させた画像の１以上とを重畳する（ステップＳ２４）。制御部１１は、ステップＳ２４に次いで、ステップＳ２５の処理を行う。重畳することにより、立体的形状を表現した画像を生成できる。

半透明化した画像と、該半透明化した画像を所定の微小距離移動させた画像の１以上とを重畳することにより、半透明化した画像における文字等情報を表現した部分のうち、背景を表現した部分からの距離が所定の微小距離以下である部分では、微小距離移動させた画像における文字等情報を表現した部分と重畳されず、半透明となる。

一方、半透明化した画像における文字等情報を表現した部分のうち、背景を表現した部分からの距離が所定の微小距離以上である部分では、半透明化した画像と微小距離移動させた画像とが重畳され、半透明化した画像より不透明となる。これらの部分が隣り合って生じるため、文字等情報を表現した部分に光源に由来するハイライト及び／又は影がある表現となる。すなわち、立体的形状を表現した画像となる。

図５の重畳した画像Ｉ４は、半透明化された画像Ｉ３と、半透明化された画像Ｉ３を所定の微小距離移動させた第２の画像と、第２の画像を所定の微小距離移動させた第３の画像と、を重畳し、立体的形状を表現した画像となっている。

［ステップＳ２５：重畳した画像を背景と合成し、色彩等を付与］
制御部１１は、画像生成部１１１を実行し、ステップＳ２４で重畳した画像を背景と合成し、色彩等を付与する（ステップＳ２５）。制御部１１は、ステップＳ２５の処理後、図５の処理を終了し、図４のステップＳ３に進む。これにより、立体的形状を表現し、色彩等を有する第１画像を生成できる。

ステップＳ２１からステップＳ２５までにおいて実行される処理により、立体的形状を表現し、色彩等を有する第１画像を生成できる。各ステップで実行される処理がいずれも基本的な画像処理であるため、制御部１１に多大な計算負荷を与えることなく、立体的形状を表現し、色彩等を有する第１画像を生成できる。また、画像生成部１１１は、ステップＳ２において第１画像を生成するにあたり、ウェーブレット変換を行うことができる。ウェーブレット変換は、画像の近似、圧縮、ノイズ除去、特徴抽出等に用いられる。２次元画像に対してウェーブレット変換を行うと、高周波成分と低周波成分とに分解することが可能である。そして、画像の高周波成分のみで構成した第１画像を用いることで、２次元画像のエッジの抽出を行い、ブレ、ボケという特徴を数値化し、定量的な判断を実現できる。

さらに、画像の輝度の平均を設定した値に揃えることで、画像の明るさをそろえることが可能である。画像の正規化は、ディープラーニングにおいて普遍的に用いられる。具体的には、画像をグレースケール化し、カラー画像から白黒画像へ変換する。白黒画像からライブラリ関数を用いて、平均輝度と標準偏差を求める。求めた平均輝度を引いて、標準偏差で割ることで、輝度平均「零」の画像を生成する。画像に任意の標準偏差をかけて、平均輝度を足す。本実施形態では、エッジ検出及び対象検出において、第１画像生成の前処理として用いる。画像によってコントラストが異なるという問題を正規化して明るさをそろえることで、文字の輪郭を明確にし、画像のエッジ検出及び対象検出の精度向上を実現できる。

＜画像生成装置１の使用例＞
続いて、本実施形態における画像生成装置１の使用例を説明する。
〔教師あり機械学習を行う〕
利用者は、文字、図形、記号若しくは立体的形状若しくはこれらの結合又はこれらと色彩との結合に関する文字等情報を画像生成装置１に提供し、さらに、該文字等情報を有する対象（例えば、自動車のナンバープレート）を撮影した本物の第２画像を画像生成装置１に提供する。画像生成装置１は、文字等情報を用いて第１画像を生成する。

画像生成装置１は、生成した第１画像と、本物の第２画像とを対応付けたデータを教師データとする教師あり機械学習を行い、識別ニューラルネットワークに第１画像と、本物の第２画像との対応付けを機械学習させる。

〔擬似第２画像を生成する〕
利用者は、文字等情報を画像生成装置１に提供する。画像生成装置１は、文字等情報と生成ニューラルネットワークとを用いて提供された文字等情報を有する対象を模した擬似第２画像を生成する。

〔生成した擬似第２画像を識別する〕
画像生成装置１は、生成した擬似第２画像を識別する。利用者は、第１画像と対応し、対象を撮影した第２画像であると識別された擬似第２画像を取得する。このような擬似第２画像は、対象を撮影した本物の第２画像であるように見える画像であるため、機械学習における教師用データとして利用できる。利用者は、第１画像と対応する、対象を撮影した第２画像を取得することもできる。このような第２画像は、対象を撮影した本物の画像であるため、機械学習における教師用データとして利用できる。

利用者は、取得した第２画像を用いて他のニューラルネットワークに対象を撮影した画像から文字等情報を取得する処理等を機械学習させることができる。これにより、利用者は、対象を撮影した画像を多数取得するために多大な労力を費やすことなく、他のニューラルネットワークに対象を撮影した画像から文字等情報を取得する処理等を機械学習させることができる。

これにより、例えば、ナンバープレートを撮影した画像からナンバープレートが有する文字等情報を取得する処理をニューラルネットワークに機械学習させ、事故等が発生した場合にナンバープレートが有する文字等情報を証拠として記録する処理に利用可能なニューラルネットワークとし得る。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したものに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

また、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。本実施形態で説明した画像生成装置１は、画像認識装置または学習データ生成装置として定義することもできる。図４に示されたフローチャートは、画像形成方法または学習データ生成方法として定義することもできる。さらに、図１に記載された画像生成装置１、ネットワーク１０及び端末２０により、画像認識システムが構成されている。図１に示す識別部１１５は、第１識別部及び第２識別部の一例である。

１ 画像生成装置
１１ 制御部
１４ 表示部
１５ 入力部
１７ 判断部
１１１ 画像生成部
１１２ 画像取得部
１１３ 識別機械学習部
１１４ 生成部
１１５ 識別部
１１６ 生成機械学習部
１２ 記憶部
１２１ 教師用画像テーブル
１２２ 生成画像テーブル
１３ 通信部
Ｉ１ 文字等情報を有する画像
Ｉ２ 収縮された画像
Ｉ３ 半透明化された画像
Ｉ４ 重畳された画像

Claims (5)

1. 文字、図形、記号若しくは立体的形状若しくはこれらの結合又はこれらと色彩との結合に関する文字等情報を用いて第１画像を生成する画像生成部と、
   前記文字等情報を有する対象を撮影した第２画像を取得する画像取得部と、
   前記第１画像と前記画像取得部が取得した前記第２画像とを用いて、前記第２画像が有する前記文字等情報を識別する第１識別部と、
   前記第１識別部により、前記第２画像が有する前記文字等情報を識別できたか否かを判断する判断部と、
   前記判断部により、前記第２画像が有する前記文字等情報を識別できた場合に、前記第１識別部が行った識別結果を、識別ニューラルネットワークに機械学習させる識別機械学習部と、
   前記判断部により、前記第２画像が有する前記文字等情報を識別できなかった場合に、前記第１画像と生成ニューラルネットワークとを用いて、前記第２画像を模した擬似第２画像を生成する生成部と、
   前記識別ニューラルネットワークを用いて、前記第１画像に基づき前記擬似第２画像が有する前記文字等情報を識別する第２識別部と、
   前記第２識別部の識別結果を用いて、前記生成ニューラルネットワークに前記擬似第２画像の生成に用いるデータを機械学習させる生成機械学習部と、
   を備え、
   前記識別機械学習部は、前記第１画像及び前記擬似第２画像を用いて、前記識別ニューラルネットワークに、前記第２識別部の識別結果を機械学習させる、画像生成装置。
2. 前記第２識別部は、前記第２画像と前記擬似第２画像とを識別する機能を有し、
   前記識別機械学習部は、前記第２識別部が前記第２画像と前記擬似第２画像とを識別した結果を、前記識別ニューラルネットワークに機械学習させる、請求項１に記載の画像生成装置。
3. 前記生成部は、前記第２識別部により前記第２画像であると識別される、前記擬似第２画像を生成可能であり、
   前記生成機械学習部は、前記第２識別部により前記第２画像であると識別される前記擬似第２画像の生成を、前記生成ニューラルネットワークに機械学習させることが可能である、請求項２に記載の画像生成装置。
4. 前記対象は、立体的形状を有し、
   前記画像生成部は、立体的形状を表現した前記第１画像を生成可能である、請求項１乃至３の何れか１項記載の画像生成装置。
5. 前記対象は、移動体に設けられるナンバープレートを含む、請求項１乃至３の何れか１項記載の画像生成装置。
   
   

Images