JP7327810B2 - Image generation program, character recognition system, image generation method, image generation device, and character recognition model - Google Patents
Image generation program, character recognition system, image generation method, image generation device, and character recognition model Download PDFInfo
- Publication number
- JP7327810B2 JP7327810B2 JP2020072831A JP2020072831A JP7327810B2 JP 7327810 B2 JP7327810 B2 JP 7327810B2 JP 2020072831 A JP2020072831 A JP 2020072831A JP 2020072831 A JP2020072831 A JP 2020072831A JP 7327810 B2 JP7327810 B2 JP 7327810B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- information
- image
- image generation
- character information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
本開示は画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデルに関する。 The present disclosure relates to an image generation program, a character recognition system, an image generation method, an image generation device, a data structure and a character recognition model.
機械学習により学習した文字認識モデルを用いて、撮像された文字画像に含まれる文字情報を認識する文字認識システムが知られている。ここで文字認識モデルを学習するための学習用データは、撮像された文字画像に対して、文字情報の正解ラベルをアノテーション情報として付与することで生成される。特許文献1では、新規の文字切り出し画像とその「読み」とを管理者が紐づけることにより、学習用データを生成する方法が記載されている。
A character recognition system is known that recognizes character information contained in a captured character image using a character recognition model learned by machine learning. Here, learning data for learning a character recognition model is generated by adding a correct label of character information as annotation information to a captured character image.
ここで文字認識システムの認識精度を向上させるためには、大量の学習用データが必要となる。しかし上述の特許文献1に記載の方法では、大量の文字切り出し画像を入手することが困難であるという問題がある。また大量の学習用の文字切り出し画像に対して、管理者が手作業でアノテーションを行うため、学習用データの生成に膨大な時間と労力がかかるという問題がある。
In order to improve the recognition accuracy of the character recognition system, a large amount of learning data is required. However, the method described in
本開示の目的は、上述した課題を鑑み、アノテーション情報が付与された学習用データを効率よく生成することが可能な画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデルを提供することにある。 In view of the problems described above, an object of the present disclosure is to provide an image generation program, a character recognition system, an image generation method, an image generation device, a data structure, and a character capable of efficiently generating learning data to which annotation information is attached. It is to provide a recognition model.
本開示の一態様における画像生成プログラムは、文字情報を取得する取得機能と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成機能と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与機能と、
をコンピュータに実現させる。
An image generation program according to an aspect of the present disclosure includes an acquisition function of acquiring character information, an image generation function of generating a character image including a graphic corresponding to the character information from the character information, and the character information, An annotation adding function for adding annotation information to the character image and generating learning data;
is realized by a computer.
本開示の一態様における画像生成装置は、文字情報を取得する取得部と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部と、を備える。 An image generation device according to an aspect of the present disclosure includes an acquisition unit that acquires character information, an image generation unit that generates a character image including a graphic corresponding to the character information from the character information, and the character information, an annotation adding unit that adds annotation information to the character image and generates learning data.
本開示の一態様における文字認識システムは、画像生成装置と、前記画像生成装置により生成された前記学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識する文字認識装置と、を備える。 A character recognition system according to an aspect of the present disclosure uses an image generation device and a character recognition model trained using the learning data generated by the image generation device to generate character information included in an input character image. and a character recognition device that recognizes the
本開示の一態様における画像生成方法は、文字情報を取得する段階と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する段階と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成する段階と、を備える。 An image generating method according to an aspect of the present disclosure includes obtaining character information, generating a character image including a graphic corresponding to the character information from the character information, and generating the character image using the character information. a step of adding annotation information to and generating learning data.
本開示の一態様におけるデータ構造は、文字情報を用いて生成されるアノテーション情報であって、撮像された入力画像に基づいて、前記入力画像に含まれる文字情報を出力する文字認識モデルの学習処理に用いられる、アノテーション情報と、前記文字情報に関連付けられた描画点情報に基づいて生成される、前記文字情報に対応する図形を含む文字画像であって、前記文字認識モデルの学習処理に用いられる、文字画像と、を備える。 The data structure in one aspect of the present disclosure is annotation information generated using character information, and learning processing of a character recognition model that outputs character information included in the input image based on the captured input image. A character image including a figure corresponding to the character information generated based on annotation information and drawing point information associated with the character information, and used for learning processing of the character recognition model , a character image, and .
本開示の一態様における文字認識モデルは、撮像された文字画像に基づいて、前記撮像された文字画像に含まれる文字情報を出力する機能をコンピュータに実現させるための学習済みの文字認識モデルである。文字認識モデルは、コンピュータが、文字情報を取得し、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成し、前記文字情報を用いて、前記文字画像にアノテーション情報を付与することで学習用データを生成し、前記学習用データに基づいて学習することにより生成される。 A character recognition model in one aspect of the present disclosure is a learned character recognition model for causing a computer to realize a function of outputting character information contained in a captured character image based on the captured character image. . In the character recognition model, a computer acquires character information, generates a character image including a graphic corresponding to the character information from the character information, and uses the character information to add annotation information to the character image. is generated by generating learning data in and learning based on the learning data.
本開示により、アノテーション情報が付与された学習用データを効率よく生成することが可能な画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデルを提供することができる。 According to the present disclosure, it is possible to provide an image generation program, a character recognition system, an image generation method, an image generation device, a data structure, and a character recognition model capable of efficiently generating learning data to which annotation information is added. .
(実施形態1)
以下、図面を参照して本開示の実施形態1について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
図1は、実施形態1にかかる画像生成装置10の構成を示すブロック図である。画像生成装置10は、取得部100と、画像生成部101と、アノテーション付与部103とを備える。
(Embodiment 1)
FIG. 1 is a block diagram showing the configuration of an
取得部100は、文字情報を取得する。
画像生成部101は、文字情報から文字情報に対応する図形を含む文字画像を生成する。
アノテーション付与部103は、文字情報を用いて、文字画像にアノテーション情報を付与し、学習用データを生成する。
The
The
このように実施形態1によれば、画像生成装置10は、取得した文字情報から文字画像を生成し、生成した文字画像に対して自動でアノテーション情報を付与する。したがって画像生成装置10は、大量の文字画像を入手することができる。そして画像生成装置10は、管理者の作業負担を最小限に抑えて、文字画像に対して効率よくアノテーション情報を付与することができる。これにより、アノテーション情報が付与された学習用データを効率よく生成することができる。
As described above, according to the first embodiment, the
(実施形態2)
次に図2~10を用いて、本開示の実施形態2について説明する。図2は、実施形態2にかかる文字認識システム2が適用されることができる管理システム1の一例を示す概略構成図である。
管理システム1は、管理対象に関連する図形を含む被写体を撮像し、文字認識を行うことで、管理対象を管理する。図形は、数字、漢字、仮名文字、アルファベットおよび記号等の図形文字を含む。本実施形態2では管理システム1は、車両のナンバープレートを撮像し、ナンバープレートに記載された車両登録番号等の文字情報を取得することで車両情報を管理する。一例として管理システム1は、1または複数の撮像装置6と、管理装置7と、文字認識システム2とを備え、これらがネットワーク9を介して通信可能に接続される構成をとる。
(Embodiment 2)
Next,
The
ネットワーク9は、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成される。またネットワーク9は、インターネットと分離された専用回線を含んでもよい。
The
撮像装置6は、車両登録番号等が記載された車両のナンバープレートを撮像するカメラ等である。たとえば撮像装置6は、車載カメラ、交通監視カメラおよび駐車場監視カメラ等であってよい。撮像装置6は、文字情報を表す図形を含む撮像文字画像を取得したことに応じて、ネットワーク9を介して撮像文字画像を管理装置7に送信してよい。
The
管理装置7は、車両の車両登録番号等を含む車両情報を管理するサーバ・コンピュータ等のコンピュータである。管理装置7は、撮像装置6から撮像文字画像を受信したことに応じて撮像文字画像を文字認識システム2に送信し、文字認識システム2から車両登録番号等の文字情報を受信する。管理装置7は、取得した文字情報を車両情報として記憶してよい。
The
文字認識システム2は、管理装置7を介して撮像装置6から受信した撮像文字画像に含まれる文字情報を認識するコンピュータ等である。文字認識システム2は、認識した文字情報を管理装置7に送信してよい。
なお、文字認識システム2は管理装置7を介さず撮像装置6から撮像文字画像を取得してもよい。
The
Note that the
図3は、実施形態2にかかる文字認識システム2の学習用データを説明するための図である。学習用データは、文字情報に対応する図形を含む文字画像である。本図では、図形は図形文字である。
たとえば認識対象の文字画像がナンバープレートの画像である場合、学習用データの文字画像は、文字情報である車両登録番号に対応する図形文字を有する。ここで車両登録番号は、その種別を示す複数の分類項目に分けられる。分類項目は、陸運支局T、分類番号C、用途Uおよび一連番号Sを含む。たとえば陸運支局Tは、漢字または仮名文字等であり、本図では「足立」である。また分類番号Cは、数字等であり、本図では「48」である。また用途Uは、仮名文字またはアルファベット等であり、本図では「く」である。一連番号Sは、数字等であり、本図では「30-30」である。このように文字情報は、複数の分類項目のそれぞれに対応する文字情報を有する。
FIG. 3 is a diagram for explaining learning data of the
For example, if the character image to be recognized is an image of a license plate, the character image of the learning data has graphic characters corresponding to the vehicle registration number, which is character information. Here, the vehicle registration number is divided into a plurality of classification items indicating its type. Classification items include land transportation branch office T, classification number C, usage U and serial number S. For example, the land transport branch office T is represented by kanji characters or kana characters, and is "Adachi" in this figure. The classification number C is a number or the like, and is "48" in this figure. The usage U is a kana character, an alphabet, or the like, and is "ku" in this figure. The serial number S is a number or the like, and is "30-30" in this figure. In this way, the character information has character information corresponding to each of a plurality of classification items.
各分類項目には、文字画像においてその分類項目に対応する文字情報に対応する図形が描画され得る領域(描画領域)を示す区画領域Pが割り当てられている。なお各区画領域Pには、分類項目の文字数に応じて1文字ごとの描画領域である文字領域Lが割り当てられてよい。
なお図形文字および背景の色は、「事業用車両」、「自家用車」、「軽自動車」、あるいは「普通車」若しくは「大型車」等の車両種別に応じて異なってよい。
Each classification item is assigned a partitioned area P indicating an area (drawing area) in which a figure corresponding to the character information corresponding to the classification item can be drawn in the character image. A character area L, which is a drawing area for each character, may be assigned to each partition area P according to the number of characters in the classification item.
The colors of graphic characters and background may differ according to the type of vehicle such as "business vehicle", "private car", "light car", or "ordinary car" or "large car".
このような学習用データの文字画像には、分類項目の区画領域Pごとに、または文字領域Lごとに正解ラベルの文字情報がアノテーション情報として付与されている。すなわち学習用データは、アノテーション情報と文字画像とを含むデータ構造を有する。 Character information of a correct label is added as annotation information to the character image of such learning data for each partitioned area P or each character area L of the classification item. That is, the learning data has a data structure including annotation information and character images.
図4は、実施形態2にかかるアノテーション情報の一例を示す図である。
本図に示すように、たとえばアノテーション情報は、分類項目と、区画領域Pおよび文字領域Lの位置座標と、正解ラベルとを含み、これらが互いに関連付けられた構成をとってよい。区画領域Pおよび文字領域Lの位置座標は、当該領域を決定する頂点の座標または当該領域の中心の座標といった、当該領域の代表点の座標であってよい。なお区画領域Pおよび文字領域Lは、後述する書式情報FMによって決定される。
FIG. 4 is a diagram illustrating an example of annotation information according to the second embodiment;
As shown in this figure, for example, the annotation information includes classification items, positional coordinates of the partitioned area P and the character area L, and correct labels, which may be associated with each other. The positional coordinates of the partitioned area P and the character area L may be the coordinates of the representative point of the area, such as the coordinates of the vertex that determines the area or the coordinates of the center of the area. Note that the partitioned area P and the character area L are determined by format information FM, which will be described later.
図5は、実施形態2にかかる文字認識システム2の構成を示すブロック図である。文字認識システム2は、画像生成装置20と文字認識装置26とを有する。
FIG. 5 is a block diagram showing the configuration of the
画像生成装置20は、文字認識装置26が用いる文字認識モデルの学習用データを生成するためのコンピュータ等である。たとえば画像生成装置20のオペレーティングシステムまたはアプリケーションの実行環境は、.NET Framework(登録商標)等であってよい。また画像生成装置20は、OpenCV(登録商標)およびOpenCVSharp(登録商標)等のライブラリを用いてよい。
画像生成装置20は、取得部200と、画像生成部201と、アノテーション付与部203と、記憶部204とを有する。
The
The
記憶部204は、学習用データ生成のために必要な各種情報および学習用データを記憶する記憶媒体である。記憶部204は、書式情報FMと、描画点情報データベース205と、学習用データベース206とを記憶する。
描画点情報データベース205は、文字情報に対応する図形を描画するための描画点情報DRを記憶する。描画点情報DRおよび書式情報FMの詳細については、後述する。
学習用データベース206は、上述した学習用データを記憶する。
The
The drawing
The
取得部200は、ユーザから学習用データにかかる文字情報等の各種情報を取得する。そして取得部200は、取得した文字情報等を画像生成部201に出力する。取得部200はまた、ユーザから描画点情報DRに関連する各種情報を取得する。そして取得部200は、取得した描画点情報DRに関連する各種情報を記憶部204の描画点情報データベース205に格納する。
The
画像生成部201は、取得した文字情報から文字情報に対応する図形を含む文字画像を生成する。ここで画像生成部201は、記憶部204の描画点情報データベース205に記憶される、書式情報FMおよび文字情報に関連付けられた描画点情報DRに基づいて、文字画像を生成する。そして画像生成部201は、文字情報および文字画像をアノテーション付与部203に出力する。
The
アノテーション付与部203は、文字情報を用いてアノテーション情報を生成し、文字画像にアノテーション情報を付与し、学習用データを生成する。アノテーション付与部203は、生成された学習用データを記憶部204の学習用データベース206に格納する。
The
文字認識装置26は、画像生成装置20により生成された学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識するコンピュータ等である。文字認識装置26は、取得部260と、文字認識部262と、出力部264と、学習部266とを有する。
The
取得部260は、画像生成装置20の学習用データベース206に接続され、学習用データベース206から学習用データを取得する。そして取得部260は取得した学習用データを学習部266に出力する。また取得部260は、ネットワーク9を介して管理装置7または撮像装置6から撮像された認識対象の文字画像を取得する。そして取得部260は、取得した認識対象の撮像文字画像を文字認識部262に出力する。
The
文字認識部262は、学習部266から出力された学習済みの文字認識モデルを用いて、認識対象の撮像文字画像から文字情報を認識する。ここで文字認識モデルは、認識対象の撮像文字画像に基づいて、文字画像に含まれる文字情報を出力する。文字認識モデルは、重みおよびバイアス等をパラメータとして有する畳み込みニューラルネットワークまたはその他の任意のニューラルネットワークを含んでよい。文字認識部262は、認識結果を出力部264に出力する。
The
出力部264は、認識結果を外部出力する。出力部264は、ネットワーク9を介して管理装置7に認識結果を送信してよい。
The
学習部266は、アノテーション情報および文字画像を含む学習用データを用いて文字認識モデルに対して学習処理をし、文字認識モデルを最適化する。学習部266は、最適化した文字認識モデルを文字認識部262に出力する。
なお、画像生成装置20および文字認識装置26は、複数のコンピュータ等で構成されてもよく、単一のコンピュータ等で構成されてもよい。
The
Note that the
図6は、実施形態2にかかる書式情報FMおよび描画点情報DRを説明するための図である。本図は、文字画像上における、書式情報FMが示す書式と、描画点情報DRが示す描画点とを示す。
本図に示すように、書式は、分類項目ごとの区画領域Pおよび文字領域Lを画定する位置および寸法等である。したがって、書式情報FMは、分類項目ごとの区画領域Pおよび文字領域Lを画定する位置情報および寸法情報を含む。なお書式情報FMは、法律、政令または省令等の法令で定められるナンバープレートの様式等に基づいて決定されてよい。
FIG. 6 is a diagram for explaining format information FM and drawing point information DR according to the second embodiment. This figure shows the format indicated by the format information FM and the drawing points indicated by the drawing point information DR on the character image.
As shown in this figure, the format includes the positions and dimensions that define the partitioned area P and the character area L for each classification item. Therefore, the format information FM includes positional information and dimensional information that define the partitioned area P and the character area L for each classification item. Note that the format information FM may be determined based on a license plate format or the like defined by laws, government ordinances, or ministerial ordinances.
描画点は、文字画像に含まれる文字情報に対応する図形を描画するための点である。したがって描画点情報DRは、このような描画点の位置座標を示す。ここで位置座標は、ビットマップ座標であってよい。本実施形態2で描画点情報DRは、当該図形に含まれる全ての描画点のうち、当該図形を画定する外枠および内枠を含む枠線を形成する描画点の位置座標であってよい。また描画点情報DRは、当該図形に含まれる全ての描画点のうち、当該外枠および内枠の中間点の位置座標であってもよい。このように描画点情報DRを一部の描画点の位置座標と定めることで、全ての描画点の位置座標を描画点情報データベース205に格納する場合と比べて必要なメモリ容量が最小限に抑えられる。また後述する図形の色の塗りつぶし処理が容易となる。
なお本実施形態2で描画点情報DRは、このような描画点の、区画領域Pまたは文字領域Lの代表点に対する相対的な位置座標であってよい。
A drawing point is a point for drawing a figure corresponding to character information included in a character image. Therefore, the drawing point information DR indicates the position coordinates of such a drawing point. The position coordinates here may be bitmap coordinates. In the second embodiment, the drawing point information DR may be the position coordinates of the drawing points forming the frame line including the outer frame and the inner frame defining the figure among all the drawing points included in the figure. Also, the drawing point information DR may be position coordinates of an intermediate point between the outer frame and the inner frame among all the drawing points included in the figure. By defining the drawing point information DR as the position coordinates of some of the drawing points in this way, the required memory capacity can be minimized compared to the case where the position coordinates of all the drawing points are stored in the drawing
Note that the drawing point information DR in the second embodiment may be relative positional coordinates of such a drawing point with respect to a representative point of the partition area P or the character area L. FIG.
図7は、実施形態2にかかる描画点情報データベース205のデータ構造の一例を示す図である。図7(a)、(b)、(c)および(d)はそれぞれ、分類項目が「陸運支局」、「分類番号」、「用途」および「一連番号」である場合のデータ構造の一例を示す。
図7(a)~(d)に示すように、描画点情報データベース205は、分類項目と、分類項目に対応する文字情報と、分類項目に対応する区画領域Pまたは文字領域Lの代表点に対する描画点の相対的な位置座標とを関連付けて記憶する。
なお本図では描画点情報データベース205のデータ構造をテーブル形式で表したが、これに限らず、描画点の相対的な位置座標を記憶するファイルの集合体であってもよい。ファイルは、XMLファイル等のテキストファイルであってよい。なお各ファイルは、分類項目および分類項目に対応する文字情報に関連付けられてよい。
FIG. 7 is a diagram showing an example of the data structure of the drawing
As shown in FIGS. 7A to 7D, the drawing
Although the data structure of the drawing
次に画像生成装置20の学習用データ生成処理を、図9を参照しながら図8を用いて説明する。図8は、実施形態2にかかる画像生成装置20の学習用データ生成処理を示すフローチャート図である。図9は、実施形態2にかかる画像生成部201による描画方法を説明するための図である。
Next, learning data generation processing of the
まずS10において、画像生成装置20の取得部200は、分類項目ごとに、学習用データの正解ラベルとなる文字情報を取得する。このとき取得部200は、画像生成装置20の入力部(不図示)がユーザからの入力を受け付けることによって、またはネットワーク9を介してユーザ端末(不図示)から学習用データにかかる文字情報を取得してよい。このとき取得部200は、図形および背景の色を決定する車両種別情報を取得してもよい。取得部200は、分類項目、文字情報および車両種別情報等を画像生成部201に出力する。
First, in S10, the
次にS12において、画像生成部201は、分類項目と文字情報とに基づいて、分類項目に対応する文字情報に関連付けられた描画点情報DRを記憶部204の描画点情報データベース205から取得する。また画像生成部201は、記憶部204から書式情報FMを取得する。
Next, in S12, the
次にS14において、画像生成部201は、取得した描画点情報DRおよび書式情報FMに基づいて、文字情報に対応する図形を描画し、文字画像を生成する。
ここで本実施形態2では、図9に示すように、画像生成部201は、区画領域Pまたは文字領域Lの代表点を基準として、取得した描画点情報DRに含まれる位置座標をプロットし、図形の外枠および内枠を形成する。そして画像生成部201は、図形の外枠および内枠で囲まれた領域および外枠外の背景を、車両種別情報に応じた色を用いて塗りつぶす処理を行う。画像生成部201は、.NET Frameworkの標準機能を用いて、このような塗りつぶし処理を行ってよい。そして画像生成部201は、このように生成された文字画像と分類項目ごとの文字情報とをアノテーション付与部203に出力する。
Next, in S14, the
Here, in the second embodiment, as shown in FIG. 9, the
S16において、アノテーション付与部203は、生成された文字画像に対して、図4に示すような分類項目に対応する区画領域Pまたは区画領域Pと、文字情報である正解ラベルとが関連付けられたアノテーション情報を付与する。このようにして、アノテーション付与部203は学習用データを生成する。
In S16, the
そしてS18において、アノテーション付与部203は、アノテーション情報が付与された文字画像を学習用データベース206に格納する。
Then, in S<b>18 , the
なおS10において取得部200の車両種別情報の取得は、省略されてもよい。この場合画像生成部201は、S14において、分類番号Cおよび用途Uに対応する文字情報に基づいて、図形および背景の色を推定してよい。
It should be noted that acquisition of the vehicle type information by the
このように実施形態2によれば、画像生成装置20が、取得した文字情報から文字画像を生成し、生成した文字画像に対して自動でアノテーション情報を付与する。したがって画像生成装置20は、大量の文字画像を入手することができる。そして画像生成装置20は、管理者の作業負担を最小限に抑えて、文字画像に対して効率よくアノテーション情報を付与することができる。これにより、アノテーション情報が付与された学習用データを効率よく生成することができる。
As described above, according to the second embodiment, the
そして画像生成装置20は、図形を単なる明朝体またはゴシック体などの文字フォントを用いて生成するのではなく、予め定められた文字情報に対応する図形の描画点情報に基づいて画像を生成する。したがって生成される学習用データの文字画像を実際の文字画像に近づけることが可能となる。したがって学習対象の文字認識モデルの精度が向上する。
The
また画像生成装置20は、実際に使用される様式に応じた書式情報FMに基づいて学習用データの文字画像を生成するため、学習対象の文字認識モデルの精度がさらに向上する。
In addition, since the
図10は、実施形態2にかかる文字認識システム2の学習処理を示すフローチャートである。
まずS20において、文字認識システム2の文字認識装置26の学習部266は、取得部260を介して学習用データベース206から学習用データを取得する。
S21において、学習部266は、文字認識モデルを取得する。
そしてS22において、学習部266は文字認識処理を行う。このとき学習部266は、学習用データの文字画像を文字認識モデルに入力し、文字認識モデルから出力された出力値を取得する。
FIG. 10 is a flowchart showing learning processing of the
First, in S<b>20 , the
In S21, the
In S22, the
S23において、学習部266は、入力した文字画像に付与されたアノテーション情報に基づいて、アノテーション情報が示す正解ラベルと出力値との間の誤差を算出する。
In S23, the
そしてS24において、学習部266は、学習を終了するか否かを判定する。たとえば学習部266は、パラメータの更新回数が予め定められた回数に達したか否かを判定することにより、学習を終了するか否かを判定してよい。また学習部266は、算出した誤差が閾値未満であるか否かを判定することにより、学習を終了するか否かを判定してよい。学習部266は、学習を終了する場合(S24でY)処理をS26に進め、そうでない場合(S24でN)処理をS25に進める。
In S24, the
S25において、学習部266は、誤差に基づいて文字認識モデルのニューラルネットワークの各種パラメータを更新する。そして学習部266は、処理をS22に戻す。
S26において、学習部266は学習を終了し、各種パラメータおよび文字認識モデルを決定する。そして学習部266は処理を終了する。
In S25, the
In S26, the
このように文字認識システム2の文字認識装置26の文字認識モデルは、学習用データを用いて学習することにより生成される。
なお学習用データベース206は、画像生成装置20に代えて文字認識装置26に含まれてもよい。また学習用データベース206は、文字認識システム2と通信可能に接続された他の装置(不図示)に含まれてもよい。このとき学習部266は、任意の通信手段(不図示)を介して当該他の装置から学習用データを取得してよい。
Thus, the character recognition model of the
Note that the
(実施形態3)
次に本開示の実施形態3について説明する。
たとえば実際のナンバープレートにおいては、用途Uの文字情報が同一であっても、陸運支局Tに応じて用途Uの文字情報に対応する図形の形状が異なる場合がある。実施形態3では、画像生成装置20は、このように描画点情報データベース205の分類項目の描画点情報DRが他の分類項目に応じて異なることに特徴を有する。なお実施形態3の画像生成装置20は、実施形態2の画像生成装置20と同様の構成および機能を有するコンピュータ等である。ただし実施形態3の画像生成装置20は、描画点情報データベース205のデータ構造の少なくとも一部が異なる点で実施形態2の画像生成装置20と相違する。
(Embodiment 3)
Next,
For example, in an actual license plate, the shape of the figure corresponding to the character information of purpose U may differ depending on the land transport branch office T even if the character information of purpose U is the same. The third embodiment is characterized in that the drawing point information DR of the classification item of the drawing
図11は、実施形態3にかかる描画点情報データベース205のデータ構造の一例を示す図である。本図に示すデータ構造は、図7(c)に対応するものである。なお実施形態3の描画点情報データベース205のデータ構造は、図7(a)、(b)および(d)と同様のデータ構造を有してよい。
FIG. 11 is a diagram showing an example of the data structure of the drawing
本図に示すように、第1の分類項目(本図では、用途U)に対応する文字情報は、第2の分類項目(本図では、陸運支局T)に対応する文字情報に応じて異なる描画点情報DRに関連付けられる。たとえば、用途Uに対応する「あ」の描画点情報DRは、陸運支局Tが「足立」である場合と「多摩」である場合とで異なってよい。
この場合、画像生成部201は、図8に示すS12において、第1の分類項目と、第1の分類項目に対応する文字情報と、第2の分類項目と、第2の分類項目に対応する文字情報とに基づいて、第1の分類項目に対応する文字情報の描画点情報DRを取得する。画像生成部201は、その他の分類項目に対応する文字情報の描画点情報DRについては、分類項目と、分類項目に対応する文字情報とに基づいて取得してよい。そして図8に示すS14において、画像生成部201は、取得した描画点情報DRおよび書式情報FMに基づいて、文字情報に対応する図形を描画し、文字画像を生成する。
As shown in this figure, the character information corresponding to the first classification item (usage U in this figure) differs depending on the character information corresponding to the second classification item (land transport branch office T in this figure). It is associated with drawing point information DR. For example, the drawing point information DR of "a" corresponding to the purpose U may be different depending on whether the land transportation branch office T is "Adachi" or "Tama".
In this case, in S12 shown in FIG. 8, the
このように実施形態3によれば、画像生成装置20は、認識対象であるナンバープレートの実際の運用に沿った学習用データを生成することができる。したがって、学習対象の文字認識モデルの精度をさらに向上させることができる。
As described above, according to the third embodiment, the
(実施形態4)
次に図12~14を用いて、本開示の実施形態4について説明する。実施形態4は、画像生成装置30が撮像された基準文字画像から描画点情報DRを取得することに特徴を有する。図12は、実施形態4にかかる文字認識システム3の構成を示すブロック図である。実施形態4の文字認識システム3は、実施形態2~3の文字認識システム2と基本的に同様の構成および機能を有するコンピュータ等である。ただし文字認識システム3は、画像生成装置20に代えて画像生成装置30を有する点で文字認識システム2と相違する。
(Embodiment 4)
Next,
画像生成装置30は、画像生成装置20と基本的に同様の構成および機能を有するコンピュータ等である。ただし画像生成装置30は、画像生成装置20の構成に加えて、描画点情報取得部308を有する。
The
描画点情報取得部308は、撮像された基準文字画像を取得し、当該基準文字画像に基づいて描画点情報DRを取得する。ここで基準文字画像は、撮像装置6により撮像され、取得部200が撮像装置6または管理装置7からネットワーク9を介して取得した撮像文字画像であってよい。たとえば基準文字画像は、実際のナンバープレートの撮像文字画像であってよい。基準文字画像は、撮像文字画像のうちナンバープレート部分を正規化した正規化画像であってよい。描画点情報取得部308は、記憶部204の描画点情報データベース205に描画点情報DRを格納する。
The drawing point
次に画像生成装置30の描画点情報DRの取得処理について、図14を参照しながら図13を用いて説明する。図13は、実施形態4にかかる画像生成装置30の描画点情報DRの取得処理を示すフローチャートである。また図14は、実施形態4にかかる画像生成装置30の描画点情報DRの取得処理における表示の一例を示す図である。
Next, the drawing point information DR acquisition processing of the
S30において、描画点情報取得部308は、取得部200を介して基準文字画像を取得する。本実施形態4で基準文字画像は、図14に示すように、分類項目に対応する区画領域Pまたは文字領域Lごとに切り出された、複数の切り出し基準文字画像を含んでよい。
In S<b>30 , the drawing point
S32において、描画点情報取得部308は、基準文字画像から描画点情報DRを取得する。本実施形態4で描画点情報取得部308は、複数の切り出し基準文字画像のそれぞれから描画点情報DRを取得する。たとえば描画点情報取得部308は、図14に示すように、画像生成装置30の表示装置(不図示)に指定された分類項目に対応する切り出し基準文字画像を表示させる。そして描画点情報取得部308は、表示された切り出し基準文字画像上の図形をユーザがポインティングデバイス等の入力装置(不図示)を用いてトレースしたことに応じて、その軌跡を示すパス情報を取得する。そして描画点情報取得部308は、パス情報に対応する位置座標を描画点情報DRとして取得する。
なおこれに限らず、描画点情報取得部308は、切り出し基準文字画像の画素値に基づいて描画点の位置座標を抽出し、描画点情報DRを取得してよい。このとき描画点情報取得部308は、OpenCVを用いて切り出し基準文字画像を二値化した後、画素値に基づいて描画点の位置座標を抽出し、描画点情報DRを取得してよい。
In S32, the drawing point
Note that the drawing point
S34において描画点情報取得部308は、取得した描画点情報DRを描画点情報データベース205に格納する。そして描画点情報取得部308は、処理を終了する。
In S<b>34 , the drawing point
このように実施形態4によれば、画像生成装置30は、撮像された基準文字画像から描画点情報DRを取得し、これに基づいて学習用データの文字画像を生成する。したがって、実際の文字画像に近い文字画像を学習用データとして生成することができるため、学習対象の文字認識モデルの精度がさらに向上する。
As described above, according to the fourth embodiment, the
(実施形態5)
次に図15~20を用いて、本開示の実施形態5について説明する。文字認識装置26の文字認識モデルに入力される撮像文字画像は、撮像状況によって様々な特徴を有している。図15は、実施形態5にかかる認識対象の撮像文字画像を説明するための図である。
(Embodiment 5)
Next, Embodiment 5 of the present disclosure will be described with reference to FIGS. 15 to 20. FIG. The captured character image input to the character recognition model of the
ここで本図に示すように、撮像装置6は車載カメラであり、対向車のナンバープレートを撮像するものであるとする。対向車は撮像装置6から水平方向(進行方向と直交する方向)で距離dだけ離れた位置であって、撮像装置6の水平方向から見て角度θの位置に位置する。撮像装置6がこのような状況で対向車のナンバープレートを撮像した場合、撮像文字画像は、本図の右下に示すように、真正面から撮像した場合に比べてθだけひずんだ画像となる。なお撮像文字画像は、ひずみに限らず、撮像状況によって傾きおよびぶれ等を有している場合があり、また、解像度が低い場合がある。
実施形態5は、このような撮像文字画像に対する文字認識の精度を高めるために、画像生成装置40が画素値を補正した文字画像を学習用データとして生成することに特徴を有する。
Here, as shown in this figure, it is assumed that the
Embodiment 5 is characterized in that the
図16は、実施形態5にかかる文字認識システム4の構成を示すブロック図である。実施形態5の文字認識システム4は、実施形態4の文字認識システム3と基本的に同様の構成および機能を有するコンピュータ等である。ただし文字認識システム4は、画像生成装置30に代えて画像生成装置40を有する点で文字認識システム3と相違する。
FIG. 16 is a block diagram showing the configuration of the
画像生成装置40は、画像生成装置30と基本的に同様の構成および機能を有するコンピュータ等である。ただし画像生成装置40は、画像生成装置30の構成に加えて、補正部402と抽出処理部407とを有する。
The
補正部402は、画像生成部201から出力された文字画像の画素値を変換し、文字画像を補正する。補正部402は、補正した文字画像をアノテーション付与部203に出力する。なおアノテーション付与部203は、文字情報を用いて、補正された文字画像にアノテーション情報を付与し、学習用データを生成する。
The
抽出処理部407は、撮像装置6が撮像し、撮像装置6または管理装置7から取得部200を介して取得した文字画像のうち、文字認識の対象領域を切り出して、正規化された基準文字画像を抽出する。そして抽出処理部407は、正規化された基準文字画像から、区画領域Pおよび文字領域Lごとに切り出し基準文字画像を生成する。抽出処理部407は、抽出した切り出し基準文字画像を描画点情報取得部308に出力する。
The
図17は、実施形態5にかかる画像生成装置40の学習用データ生成処理を示すフローチャート図である。図17に示すステップは、実施形態2の図8に示すステップに加えて、S45を有する。なお、図8に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
FIG. 17 is a flowchart showing learning data generation processing of the
S45において、補正部402は、S14において画像生成部201が生成した文字画像に対して、画素値を変換し、文字画像を補正する。そして補正部402は、補正した文字画像をアノテーション付与部203に出力する。
In S45, the
図18は、実施形態5にかかる補正部402による補正処理を説明するための図である。
本図に示すように、本実施形態5で補正部402は、様々な画素値変換処理を行う。たとえば、図18(a)に示すように、補正部402は文字画像を所定角度だけ回転させてよい。また図18(b)に示すように、補正部402は、文字画像に含まれる図形のエッジ検出をし、図形の輪郭を強調させてよい。また図18(c)に示すように、補正部402は、文字画像の解像度を圧縮させて、輪郭を不明瞭にしてよい。また図18(d)に示すように、補正部402は、文字画像に対してひずみ補正を行ってよい。また図18(e)に示すように、補正部402は、ガウシアンフィルタ、中央値フィルタおよびバイラテラルフィルタ等のフィルタを用いて文字画像の画素値を変換してよい。また図18(f)に示すように、補正部402は、ガウシアンノイズ、インパルスノイズ等のノイズを文字画像の各画素に対して付与し、文字画像を平滑化させてよい。補正部402は、これらの処理をOpenCV等を用いたアプリケーションを用いて実行してよい。
FIG. 18 is a diagram for explaining correction processing by the
As shown in this figure, the
図19は、実施形態5にかかる抽出処理部407による抽出処理における表示の一例を示す図である。たとえば本図の左表示枠内に示すように、撮像装置6が撮像した文字画像は、対象領域(ナンバープレート)以外に背景を含む場合がある。また撮像装置6が撮像した文字画像は、文字認識モデルに入力される撮像文字画像と同様に、撮像状況によって対象領域が傾いている、またはひずんでいる場合がある。抽出処理部407は、このような文字画像に対して、文字画像の画素値を変換して、ひずみまたは傾きを補正する。そして抽出処理部407は、対象領域の位置を検出し、位置に基づいて文字画像の画素値を変換して、文字画像から対象領域だけを抽出する。なお抽出処理部407の処理は、補正部402の補正処理と同様のアルゴリズムを用いるため、補正処理と同様のアプリケーションにより容易に実装することができる。
このようにして抽出処理部407は、本図の右表示枠内に示すような、正規化された基準文字画像を抽出することができる。
FIG. 19 is a diagram showing an example of display in extraction processing by the
In this manner, the
図20は、実施形態5にかかる画像生成装置40の学習用データ生成処理における表示の一例を示す。
画像生成装置40の取得部200は、画像生成装置40の表示装置(不図示)に分類項目に応じた入力画面を表示させ、ユーザからの入力を受け付けることで分類項目に対応する文字情報を取得する。
FIG. 20 shows an example of display in the learning data generation process of the
The
また画像生成装置40の取得部200は、「ノイズ付与」、「回転」、「圧縮ぼかし」および「ぼかし」等の補正処理に対応する項目を選択する入力画面を表示させ、補正処理の内容を取得してよい。そして取得部200は、取得した補正処理の内容を補正部402に出力してよい。
Further, the
また取得部200は、「事業用車両」、「自家用車」、「軽自動車」、あるいは「普通車」若しくは「大型車」等の車両種別を選択する入力画面を表示させ、ユーザからの入力を受け付けることで、車両種別情報を取得してよい。
The
そして画像生成装置40は、予め定められたアルゴリズムを用いて、学習用データを一括で生成してよい。このとき取得部200は、学習用データの一括生成を行うか否かをユーザに選択させる入力ボタンを表示させ、ユーザからの入力を受け付けてよい。
Then, the
なお取得部200は、学習用データ生成処理だけでなく、抽出処理および描画点情報DRの取得処理においても本表示画面を表示させてよい。本表示画面において、取得部200は、描画点情報DR取得用の文字画像を取得したことに応じて、抽出処理においてひずみまたは傾き補正を行うか否かをユーザに選択させてよい。また取得部200は、表示画面を図14に示すようなユーザに図形のトレースさせる画面に切り替えるための入力ボタンを表示させてよい。
The
上述の実施形態1~5ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、LAN(ローカル・エリア・ネットワーク)のサーバ、コンピュータ(パソコン)通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。 In the first to fifth embodiments described above, the computer is configured by a computer system including a personal computer, a word processor, and the like. However, the computer is not limited to this, and can be configured by a LAN (local area network) server, a computer (personal computer) communication host, a computer system connected to the Internet, or the like. It is also possible to distribute the functions to each device on the network and configure the computer over the entire network.
なお上述の実施形態1~5では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述の学習用データ生成処理、描画点情報の取得処理、抽出処理、補正処理、文字認識処理および学習処理等の各種処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより各種機能を実現することも可能である。各種機能は、取得機能(取得部に対応)、画像生成機能(画像生成部に対応)、アノテーション付与機能(アノテーション付与部に対応)、描画点情報取得機能(描画点情報取得部に対応)、補正機能(補正部に対応)又は抽出機能(抽出処理部に対応)等を含む。 In addition, in the above-described first to fifth embodiments, this disclosure has been described as a hardware configuration, but this disclosure is not limited to this. This disclosure is based on the idea that a CPU (Central Processing Unit) executes a computer program to perform various processes such as the above-described learning data generation process, drawing point information acquisition process, extraction process, correction process, character recognition process, and learning process. It is also possible to realize various functions by Various functions include acquisition function (corresponding to the acquisition unit), image generation function (corresponding to the image generation unit), annotation addition function (corresponding to the annotation addition unit), drawing point information acquisition function (corresponding to the drawing point information acquisition unit), It includes a correction function (corresponding to the correction section) or an extraction function (corresponding to the extraction processing section).
図21は、実施形態1~5にかかるコンピュータ1900の構成図の一例である。本図に示すように、コンピュータ1900は、システム全体を制御するための制御部1000を備えている。この制御部1000には、データバス等のバスラインを介して、入力装置1050、記憶装置1200、記憶媒体駆動装置1300、通信制御装置1400、および入出力I/F1500が接続されている。
FIG. 21 is an example of a configuration diagram of a
制御部1000は、プロセッサ1010と、ROM1020と、RAM1030とを備えている。
プロセッサ1010は、ROM1020や記憶装置1200等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ROM1020は、プロセッサ1010が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。
The
The
The
RAM1030は、プロセッサ1010にワーキングメモリとして使用されるランダムアクセスメモリである。このRAM1030には、本実施形態1~5による各種処理を行うための各種エリアが確保可能になっている。
入力装置1050は、キーボード、マウスおよびタッチパネル等のユーザからの入力を受け付ける入力装置である。たとえばキーボードは、テンキー、各種機能を実行するための機能キーおよびカーソルキー等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置1100に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置1100の表面に配置される入力機器で、表示装置1100に画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。
The
表示装置1100は、例えばCRTや液晶ディスプレイ等が使用される。この表示装置には、キーボードやマウスによる入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。また表示装置1100は、コンピュータ1900の各種機能に応じて、タッチパネルから必要な各種操作を行うための操作キーを画像表示する。
A CRT, a liquid crystal display, or the like, for example, is used as the
記憶装置1200は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。
この記憶装置1200に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置1300で使用される非一時的なコンピュータ可読媒体を使用するようにしてもよい。
記憶装置1200は、データ格納部1210、プログラム格納部1220および図示しないその他の格納部(例えば、この記憶装置1200内に格納されているプログラムやデータ等をバックアップするための格納部)等を有している。プログラム格納部1220には、本実施形態1~5における各種処理を実現するためのプログラムが格納されている。データ格納部1210には、本実施形態1~5にかかる各種データベースの各種データを格納する。
The
The storage medium used in this
The
記憶媒体駆動装置1300は、プロセッサ1010が外部の記憶媒体(外部記憶媒体)からコンピュータプログラムや文書を含むデータ等を読み込むための駆動装置である。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が記憶される非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置1300を介して、各種プログラムをコンピュータに供給できる。
Storage
Here, the external storage medium is a non-temporary computer-readable medium that stores computer programs, data, and the like. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)). Various programs may also be provided to the computer by various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply various programs to the computer via a wired communication path such as electric wires and optical fibers, or a wireless communication path and the
つまりコンピュータ1900は、制御部1000のプロセッサ1010が、記憶媒体駆動装置1300にセットされた外部の記憶媒体から各種プログラムを読み込んで、記憶装置1200の各部に格納する。
In other words, in
そして、コンピュータ1900が各種処理を実行する場合、記憶装置1200から該当プログラムをRAM1030に読み込み、実行するようになっている。但しコンピュータ1900は、記憶装置1200からではなく、記憶媒体駆動装置1300により外部の記憶媒体から直接RAM1030にプログラムを読み込んで実行することも可能である。また、コンピュータによっては各種プログラム等を予めROM1020に記憶させておき、これをプロセッサ1010が実行するようにしてもよい。さらに、コンピュータ1900は、各種プログラムやデータを、通信制御装置1400を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。
When the
通信制御装置1400は、コンピュータ1900と他のパーソナルコンピュータやワードプロセッサ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置1400は、これら各種外部電子機器からコンピュータ1900にアクセスすることを可能とする。
The
入出力I/F1500は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続するためのインターフェースである。
The input/output I/
なお、プロセッサ1010として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(digital signal processor)およびASIC(application specific integrated circuit)等が用いられてもよい。また、これらのうち複数個を並列に用いてもよい。
The
特許請求の範囲、明細書、および図面中において示したシステムおよび方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。 The execution order of each process in the system and method shown in the claims, specification, and drawings is not specified as "before", "before", etc., and the preceding process As long as the outputs are not used in later processing, they can be implemented in any order. Regarding the operation flow in the claims, the specification and the drawings, even if the description is made using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. isn't it.
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
文字情報を取得する取得機能と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成機能と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与機能と、
をコンピュータに実現させるための画像生成プログラム。
(付記2)
前記画像生成機能は、前記文字情報に関連付けられた描画点情報に基づいて、前記文字画像を生成する機能を含む、
付記1に記載の画像生成プログラム。
(付記3)
前記文字情報は、第1の分類項目に対応する文字情報と、第2の分類項目に対応する文字情報とを有し、
前記第1の分類項目に対応する文字情報は、前記第2の分類項目に対応する文字情報に応じて異なる描画点情報に関連付けられる、
付記2に記載の画像生成プログラム。
(付記4)
撮像された基準文字画像に基づいて前記描画点情報を取得する描画点情報取得機能をさらに前記コンピュータに実現させる、
付記2または3のいずれか一項に記載の画像生成プログラム。
(付記5)
前記文字画像の画素値を変換し、前記文字画像を補正する補正機能をさらに前記コンピュータに実現させ、
前記アノテーション付与機能は、前記文字情報を用いて、補正された前記文字画像にアノテーション情報を付与し、学習用データを生成する機能を含む、
付記1から4のいずれか一項に記載の画像生成プログラム。
(付記6)
文字情報を取得する取得部と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部とを有する画像生成装置と、
前記画像生成装置により生成された前記学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識する文字認識装置と、
を備える文字認識システム。
(付記7)
前記画像生成部は、前記文字情報に関連付けられた描画点情報に基づいて、前記文字画像を生成する、
付記6に記載の文字認識システム。
(付記8)
文字情報を取得する段階と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する段階と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成する段階と、
を備える画像生成方法。
(付記9)
文字情報を取得する取得部と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部と、
を備える画像生成装置。
(付記10)
前記画像生成部は、前記文字情報に関連付けられた描画点情報に基づいて、前記文字画像を生成する、
付記9に記載の画像生成装置。
(付記11)
文字情報を用いて生成されるアノテーション情報であって、撮像された入力画像に基づいて、前記入力画像に含まれる文字情報を出力する文字認識モデルの学習処理に用いられる、アノテーション情報と、
前記文字情報に関連付けられた描画点情報に基づいて生成される、前記文字情報に対応する図形を含む文字画像であって、前記文字認識モデルの学習処理に用いられる、文字画像と、
を備えるデータ構造。
(付記12)
撮像された文字画像に基づいて、前記撮像された文字画像に含まれる文字情報を出力する機能をコンピュータに実現させるための学習済みの文字認識モデルであって、
コンピュータが、
文字情報を取得し、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成し、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与することで学習用データを生成し、
前記学習用データを用いて学習することにより生成された、
文字認識モデル。
It should be noted that the present disclosure is not limited to the above embodiments, and can be modified as appropriate without departing from the scope of the present disclosure. Moreover, part or all of the above-described embodiments can be described as the following additional remarks, but are not limited to the following.
(Appendix 1)
an acquisition function for acquiring character information;
an image generation function for generating a character image including a figure corresponding to the character information from the character information;
An annotation adding function of adding annotation information to the character image using the character information to generate learning data;
Image generation program for realizing on a computer.
(Appendix 2)
The image generation function includes a function of generating the character image based on drawing point information associated with the character information.
The image generation program according to
(Appendix 3)
The character information has character information corresponding to a first classification item and character information corresponding to a second classification item,
The character information corresponding to the first classification item is associated with different drawing point information according to the character information corresponding to the second classification item,
The image generation program according to
(Appendix 4)
causing the computer to further implement a drawing point information acquisition function for acquiring the drawing point information based on the captured reference character image;
4. The image generating program according to any one of
(Appendix 5)
causing the computer to further implement a correction function for converting the pixel values of the character image and correcting the character image;
The annotation adding function includes a function of adding annotation information to the corrected character image using the character information and generating learning data.
5. The image generation program according to any one of
(Appendix 6)
An acquisition unit that acquires character information, an image generation unit that generates a character image including a figure corresponding to the character information from the character information, and an annotation information is added to the character image using the character information for learning. an image generation device having an annotation adding unit that generates data for
a character recognition device that recognizes character information included in an input character image using a character recognition model learned using the learning data generated by the image generation device;
A character recognition system with
(Appendix 7)
The image generation unit generates the character image based on drawing point information associated with the character information.
The character recognition system according to
(Appendix 8)
obtaining character information;
generating a character image including a figure corresponding to the character information from the character information;
a step of adding annotation information to the character image using the character information to generate learning data;
An image generation method comprising:
(Appendix 9)
an acquisition unit that acquires character information;
an image generation unit that generates a character image including a figure corresponding to the character information from the character information;
an annotation adding unit that adds annotation information to the character image using the character information to generate learning data;
An image generation device comprising:
(Appendix 10)
The image generation unit generates the character image based on drawing point information associated with the character information.
9. The image generation device according to
(Appendix 11)
annotation information that is generated using character information and that is used for learning processing of a character recognition model that outputs character information contained in a captured input image based on the captured input image;
a character image including a graphic corresponding to the character information generated based on drawing point information associated with the character information, the character image being used for learning processing of the character recognition model;
A data structure with
(Appendix 12)
A learned character recognition model for causing a computer to realize a function of outputting character information contained in the imaged character image based on the imaged character image,
the computer
Get character information,
generating a character image including a figure corresponding to the character information from the character information;
generating learning data by adding annotation information to the character image using the character information;
generated by learning using the learning data,
character recognition model.
1 管理システム、2,3,4 文字認識システム、6 撮像装置、7 管理装置、9 ネットワーク、20,30,40 画像生成装置、26 文字認識装置、100,200,260 取得部、101,201 画像生成部、103,203 アノテーション付与部、204 記憶部、205 描画点情報データベース、206 学習用データベース、262 文字認識部、264 出力部、266 学習部、308 描画点情報取得部、402 補正部、407 抽出処理部、T 陸運支局、C 分類番号、U 用途、S 一連番号、L 文字領域、P 区画領域、FM 書式情報、DR 描画点情報、1010 プロセッサ、1020 ROM、1030 RAM、1050 入力装置、1100 表示装置、1200 記憶装置、1210 データ格納部、1220 プログラム格納部、1300 記憶媒体駆動装置、1400 通信制御装置、1500 入出力I/F、1900 コンピュータ
1
Claims (9)
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成機能と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与機能と、
をコンピュータに実現させるための画像生成プログラム。 an acquisition function for acquiring character information from a user;
an image generation function for generating a character image including a figure corresponding to the character information from the character information;
An annotation adding function of adding annotation information to the character image using the character information to generate learning data;
Image generation program for realizing on a computer.
請求項1に記載の画像生成プログラム。 The image generation function includes a function of generating the character image based on drawing point information associated with the character information.
2. The image generation program according to claim 1.
前記第1の分類項目に対応する文字情報は、前記第2の分類項目に対応する文字情報に応じて異なる描画点情報に関連付けられる、
請求項2に記載の画像生成プログラム。 The character information has character information corresponding to a first classification item and character information corresponding to a second classification item,
The character information corresponding to the first classification item is associated with different drawing point information according to the character information corresponding to the second classification item,
3. The image generating program according to claim 2.
請求項2または3のいずれか一項に記載の画像生成プログラム。 causing the computer to further implement a drawing point information acquisition function for acquiring the drawing point information based on the captured reference character image;
4. The image generating program according to claim 2 or 3.
前記アノテーション付与機能は、前記文字情報を用いて、補正された前記文字画像にアノテーション情報を付与し、学習用データを生成する機能を含む、
請求項1から4のいずれか一項に記載の画像生成プログラム。 causing the computer to further implement a correction function for converting the pixel values of the character image and correcting the character image;
The annotation adding function includes a function of adding annotation information to the corrected character image using the character information and generating learning data.
The image generation program according to any one of claims 1 to 4.
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部とを有する画像生成装置と、
前記画像生成装置により生成された前記学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識する文字認識装置と、
を備える文字認識システム。 an acquisition unit that acquires character information from a user;
an image generation unit that generates a character image including a figure corresponding to the character information from the character information;
an image generation device having an annotation adding unit that adds annotation information to the character image using the character information and generates learning data;
a character recognition device that recognizes character information included in an input character image using a character recognition model learned using the learning data generated by the image generation device;
A character recognition system with
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する段階と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成する段階と、
を備える画像生成方法。 obtaining textual information from a user;
generating a character image including a figure corresponding to the character information from the character information;
a step of adding annotation information to the character image using the character information to generate learning data;
An image generation method comprising:
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部と、
を備える画像生成装置。 an acquisition unit that acquires character information from a user;
an image generation unit that generates a character image including a figure corresponding to the character information from the character information;
an annotation adding unit that adds annotation information to the character image using the character information to generate learning data;
An image generation device comprising:
コンピュータが、
ユーザから文字情報を取得し、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成し、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与することで学習用データを生成し、
前記学習用データを用いて学習することにより生成された、
文字認識モデル。 A learned character recognition model for causing a computer to realize a function of outputting character information contained in the imaged character image based on the imaged character image,
the computer
Get character information from the user,
generating a character image including a figure corresponding to the character information from the character information;
generating learning data by adding annotation information to the character image using the character information;
generated by learning using the learning data,
character recognition model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020072831A JP7327810B2 (en) | 2020-04-15 | 2020-04-15 | Image generation program, character recognition system, image generation method, image generation device, and character recognition model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020072831A JP7327810B2 (en) | 2020-04-15 | 2020-04-15 | Image generation program, character recognition system, image generation method, image generation device, and character recognition model |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021170213A JP2021170213A (en) | 2021-10-28 |
JP7327810B2 true JP7327810B2 (en) | 2023-08-16 |
Family
ID=78150074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020072831A Active JP7327810B2 (en) | 2020-04-15 | 2020-04-15 | Image generation program, character recognition system, image generation method, image generation device, and character recognition model |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7327810B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020008556A1 (en) | 2018-07-04 | 2020-01-09 | 三菱重工機械システム株式会社 | Vehicle number identification device, vehicle number identification method, and program |
-
2020
- 2020-04-15 JP JP2020072831A patent/JP7327810B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020008556A1 (en) | 2018-07-04 | 2020-01-09 | 三菱重工機械システム株式会社 | Vehicle number identification device, vehicle number identification method, and program |
Non-Patent Citations (3)
Title |
---|
Tomas Bjorklund ret al,Automatic license plate recognition with convolutional neural networks trained on synthetic data,2017 IEEE 19th International Workshop on Multimedia Signal Processing (MMSP),米国,IEEE,2017年10月18日,https://ieeexplore.ieee.org/document/8122260 |
V.Ribeiro et al,Brazilian Mercosur License Plate Detection: a Deep Learning Approach Relying on Synthetic Imagery,2019 IX Brazilian Symposium on Computing Systems Engineering (SBESC),米国,IEEE,2019年11月22日,https://ieeexplore.ieee.org/document/9046091 |
福谷 祐貴 他3名,機械学習による劣化ナンバープレート数字認識の方法と性能比較,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2013年03月04日,Vol.112 No.475,p.103~106 |
Also Published As
Publication number | Publication date |
---|---|
JP2021170213A (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI492166B (en) | Systems and methods for mobile image capture and processing | |
CN108446698B (en) | Method, device, medium and electronic equipment for detecting text in image | |
CN110942074B (en) | Character segmentation recognition method and device, electronic equipment and storage medium | |
RU2634194C1 (en) | Verification of optical character recognition results | |
CN110222694B (en) | Image processing method, image processing device, electronic equipment and computer readable medium | |
CN112949455B (en) | Value-added tax invoice recognition system and method | |
CN113673519B (en) | Character recognition method based on character detection model and related equipment thereof | |
KR102610456B1 (en) | Object recognition methods and devices, electronic devices, and storage media | |
CN111401322A (en) | Station entering and exiting identification method and device, terminal and storage medium | |
US8538157B2 (en) | Device, method and computer program for detecting characters in an image | |
CN111597845A (en) | Two-dimensional code detection method, device and equipment and readable storage medium | |
CN111209909B (en) | Construction method, device, equipment and storage medium for qualification recognition template | |
CN110991440B (en) | Pixel-driven mobile phone operation interface text detection method | |
JP2017120503A (en) | Information processing device, control method and program of information processing device | |
JP7035656B2 (en) | Information processing equipment and programs | |
JP4565396B2 (en) | Image processing apparatus and image processing program | |
CN113177542A (en) | Method, device and equipment for identifying characters of seal and computer readable medium | |
CN111767924B (en) | Image processing method, image processing apparatus, electronic device, and storage medium | |
JP7327810B2 (en) | Image generation program, character recognition system, image generation method, image generation device, and character recognition model | |
US20220207724A1 (en) | Method of determining a distribution of stem cells in a cell image, electronic device, and storage medium | |
CN115359502A (en) | Image processing method, device, equipment and storage medium | |
CN113807343A (en) | Character recognition method and device, computer equipment and storage medium | |
US20220237397A1 (en) | Identifying handwritten signatures in digital images using ocr residues | |
CN112801960A (en) | Image processing method and device, storage medium and electronic equipment | |
JP7075770B2 (en) | Character recognition system, character sharpening system, character sharpening program, character sharpening method, and character sharpening image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230421 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230727 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7327810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |