JP7172351B2 - 文字列認識装置及び文字列認識プログラム - Google Patents
文字列認識装置及び文字列認識プログラム Download PDFInfo
- Publication number
- JP7172351B2 JP7172351B2 JP2018177565A JP2018177565A JP7172351B2 JP 7172351 B2 JP7172351 B2 JP 7172351B2 JP 2018177565 A JP2018177565 A JP 2018177565A JP 2018177565 A JP2018177565 A JP 2018177565A JP 7172351 B2 JP7172351 B2 JP 7172351B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- gaze
- module
- character string
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
- G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
- G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
- G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
- G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
本発明は、文字列認識装置及び文字列認識プログラムに関する。
特許文献１には、ニューラルネットワークを用いた文字認識装置に、リカレント型ニューラルネットワークを採用して、装置規模の縮小、認識速度の高速化、認識率の向上を行うことを目的とし、文字入力手段、ニューラルネットワーク、認識結果出力手段よりなる文字認識装置で、ニューラルネットワークを構成する各々のノードが内部にフィードバックを持つリカレント型ニューラルネットワークであることが開示されている。
非特許文献１～６には、機械学習の技術が開示されている。
非特許文献１～６には、機械学習の技術が開示されている。
関野雅則, 木村俊一, and 越裕. "視覚情報処理モデルに基づいて改良した畳込みニューラルネットワーク文字認識." 人工知能学会, JSAI (2013).
Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.
Donahue, Jeff, et al. "DeCAF: A deep convolutional activation feature for generic visual recognition." International conference on machine learning. 2014.
Cho, Kyunghyun, et al. "Learning phrase representations using RNN encoder-decoder for statistical machine translation." arXiv preprint arXiv:1406.1078 (2014).
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
Chan, William, et al. "Listen, attend and spell: A neural network for large vocabulary conversational speech recognition." Acoustics, Speech and Signal Processing (ICASSP), 2016 IEEE International Conference on. IEEE, 2016.
一般的な文字列認識は、入力画像と出力ラベル系列（いわゆる文字コード列）のペアのセットである学習データからパラメータを算出する。ゆえに、文字列認識の精度は、出力ラベル系列に含まれるラベルの頻度に大きく依存する。具体的には、低頻度であるラベルほど良好なパラメータが学習されず、認識精度が低くなる。同様に、学習データにないラベルは出力しない。特に、日本語のように文字種の多い言語では、ラベルの数が膨大であるため、既存の文字列データはラベルの偏りが大きく、極めて低頻度であるラベルも多い。
ラベル依存の文字列認識技術に比べて、本発明は、文字列認識の精度を向上させることができる文字列認識装置及び文字列認識プログラムを提供することを目的としている。
ラベル依存の文字列認識技術に比べて、本発明は、文字列認識の精度を向上させることができる文字列認識装置及び文字列認識プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、認識対象の文字列である入力パターン内の部分パターンの系列に対して算出した単文字確信度と、再帰的ニューラルネットワークで算出した注視情報から、注視単文字確信度を算出し、認識結果であるラベル間でパラメータを共有した予測器を有しており、前記予測器は、前記注視単文字確信度を特徴量のひとつとして利用する、文字列認識装置である。
請求項１の発明は、認識対象の文字列である入力パターン内の部分パターンの系列に対して算出した単文字確信度と、再帰的ニューラルネットワークで算出した注視情報から、注視単文字確信度を算出し、認識結果であるラベル間でパラメータを共有した予測器を有しており、前記予測器は、前記注視単文字確信度を特徴量のひとつとして利用する、文字列認識装置である。
請求項２の発明は、前記注視単文字確信度に非文字用の値を追加し、前記予測器が利用する特徴量に非文字であるか否かを示す非文字用情報を追加し、前記特徴量のうち非文字用の注視確信度を引用するものは非文字であることを示す非文字用情報とする、請求項１に記載の文字列認識装置である。
請求項３の発明は、前記入力パターンの部分パターンに対して算出した単文字特徴量の系列を、前記再帰的ニューラルネットワークの符号化部の入力とする、請求項１又は請求項２に記載の文字列認識装置である。
請求項４の発明は、前記単文字特徴量から、前記注視単文字確信度を算出する単文字認識器をさらに有する請求項３に記載の文字列認識装置である。
請求項５の発明は、前記単文字認識器が畳み込みニューラルネットワークである、請求項４に記載の文字列認識装置である。
請求項６の発明は、認識結果を確認するための表示を行う表示手段をさらに有し、前記表示手段は、前記注視情報と、前記注視単文字確信度を、それぞれ表示する、請求項１、請求項２、請求項３、請求項４、請求項５のいずれか１項に記載の文字列認識装置である。
請求項７の発明は、前記入力パターンの部分パターンとして、文字列が記載された入力画像の部分画像を対象とする、請求項１に記載の文字列認識装置である。
請求項８の発明は、前記入力パターンの部分パターンとして、手書き入力パターンの部分パターンを対象とする、請求項１に記載の文字列認識装置である。
請求項９の発明は、コンピュータを、認識対象の文字列である入力パターン内の部分パターンの系列に対して算出した単文字確信度と、再帰的ニューラルネットワークで算出した注視情報から、注視単文字確信度を算出し、認識結果であるラベル間でパラメータを共有した予測器として機能させ、前記予測器は、前記注視単文字確信度を特徴量のひとつとして利用する、文字列認識プログラムである。
請求項１の文字列認識装置によれば、ラベル依存の文字列認識技術に比べて、文字列認識の精度を向上させることができる。
請求項２の文字列認識装置によれば、認識対象の最初と最後を制御することができる。
請求項３の文字列認識装置によれば、単文字特徴量の系列を、再帰的ニューラルネットワークの符号化部の入力としない場合に比べて、文字列認識の精度を向上させることができる。
請求項４の文字列認識装置によれば、単文字特徴量を用いて、注視単文字確信度を算出することができる。
請求項５の文字列認識装置によれば、畳み込みニューラルネットワークを用いて、単文字認識器とすることができる。
請求項６の文字列認識装置によれば、注視情報と、注視単文字確信度を、ユーザーは知ることができる。
請求項７の文字列認識装置によれば、文字列が記載された入力画像を対象として文字列認識ができる。
請求項８の文字列認識装置によれば、手書き入力パターンを対象として文字列認識ができる。
請求項９の文字列認識プログラムによれば、ラベル依存の文字列認識技術に比べて、文字列認識の精度を向上させることができる。
まず、本実施の形態を説明する前に、その前提又は本実施の形態を利用する文字列認識装置について、図２～図８の例を用いて説明する。なお、この説明は、本実施の形態の理解を容易にすることを目的とするものである。
モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
図２は、ニューラルネットワークを用いた文字認識の例を示す説明図である。
文字入力手段、ニューラルネットワーク、認識結果出力手段よりなる文字認識装置で、ニューラルネットワークを構成する各々のノードが内部にフィードバックを持つリカレント型ニューラルネットワークである（特許文献１参照）。
例えば、ニューラルネットワークを用いたオンンライン文字認識装置において、ａ）認識対象文字の時系列データを生成する文字入力手段を備え、ｂ）前記ニューラルネットワークは、内部状態値を記憶する記憶手段、記憶されている内部状態値と外部入力値により内部状態値を更新する更新手段、及び内部状態値から外部出力値を生成する生成手段を持つ神経細胞様素子から構成され、ｃ）前記時系列データを前記ニューラルネットワークの入力として用いている。
文字入力手段、ニューラルネットワーク、認識結果出力手段よりなる文字認識装置で、ニューラルネットワークを構成する各々のノードが内部にフィードバックを持つリカレント型ニューラルネットワークである（特許文献１参照）。
例えば、ニューラルネットワークを用いたオンンライン文字認識装置において、ａ）認識対象文字の時系列データを生成する文字入力手段を備え、ｂ）前記ニューラルネットワークは、内部状態値を記憶する記憶手段、記憶されている内部状態値と外部入力値により内部状態値を更新する更新手段、及び内部状態値から外部出力値を生成する生成手段を持つ神経細胞様素子から構成され、ｃ）前記時系列データを前記ニューラルネットワークの入力として用いている。
図３は、文字列認識の概要を示す説明図である。文字列認識とは、文字列パターン（文字画像認識では文字列画像、又は、オンライン文字認識では文字列ストローク）を入力として、その読みであるラベルの系列（いわゆる文字コード列である。以下、ラベル列ともいう）を出力する処理である。なお簡単のため、以下の説明では入力を文字列画像とする。なお、文字列画像内のひとつの文字を以下、単文字、とする。図３（ａ）の例に示すように、文字認識モジュール３００は、画像（文字列）３１０を受け付け、ラベル列３２０を出力する。例えば、図３（ｂ）に示すように「富士 零太郎」という画像（文字列）３１２を受け付け、図３（ｃ）に示すように「富，士，零，太，郎」（なお、「，」は単なる区切り符号）という文字コード列であるラベル列３２２を出力する。
図４は、単文字の認識の概要を示す説明図である。図４（ａ）の例に示すように、単文字認識モジュール４００は、画像（単文字）４１０を受け付け、ラベル４２０を出力する。例えば、図４（ｂ）に示すように「富」という画像（単文字）４１２を受け付け、図４（ｃ）に示すように「富」という文字コードであるラベル４２２を出力する。
文字列認識は、図４に概要を示すような単文字の認識と異なり、入力に不特定多数の単文字が含まれるため、出力すべき文字数が曖昧（特定できない）である。特に、日本語のように単文字が偏や旁からなる言語は単文字どうしの境界が曖昧であるため認識すべき単文字の領域の特定が困難である。ゆえに、精度の高い単文字認識器があるだけでは精度の高い文字列認識の実現は困難といえる。
図４は、単文字の認識の概要を示す説明図である。図４（ａ）の例に示すように、単文字認識モジュール４００は、画像（単文字）４１０を受け付け、ラベル４２０を出力する。例えば、図４（ｂ）に示すように「富」という画像（単文字）４１２を受け付け、図４（ｃ）に示すように「富」という文字コードであるラベル４２２を出力する。
文字列認識は、図４に概要を示すような単文字の認識と異なり、入力に不特定多数の単文字が含まれるため、出力すべき文字数が曖昧（特定できない）である。特に、日本語のように単文字が偏や旁からなる言語は単文字どうしの境界が曖昧であるため認識すべき単文字の領域の特定が困難である。ゆえに、精度の高い単文字認識器があるだけでは精度の高い文字列認識の実現は困難といえる。
そこで、再帰的ニューラルネットワーク（以下、例示としてＳｅｑ２Ｓｅｑを用いて説明する）による文字列認識がその解決手段としてあげられる。図５にその概要を示す。なお以下では、「～特徴量」と称するものはいずれも数値ベクトル（以下の説明では、固定長の数値ベクトルであるが、可変長の数値ベクトルであってもよい）である。
まず、Ｅｍｂ＿ｅ５１０が入力である文字列画像である画像（文字列）３１２の部分画像５０８から入力特徴量５１２を算出する。いわゆる特徴量抽出処理を行う。ここで、部分画像５０８は、画像（文字列）３１２内において、固定サイズの領域を文字列方向へ逐次移動して得られる部分領域を切り出した画像である。
次に、符号化モジュール５１５が入力特徴量５１２から入力系列特徴量５２２を算出する。符号化モジュール５１５はＣｅｌｌ＿ｅ５２０を単位とする再帰的な処理である。すなわち、図５におけるＣｅｌｌ＿ｅ５２０（Ｃｅｌｌ＿ｅ５２０ａ等）は全て共通のモジュールであり、個々のＣｅｌｌ＿ｅ５２０は対応する入力特徴量５１２と直前の自身の出力（入力系列特徴量５２２）を入力として、続く入力系列特徴量５２２を算出する。この様子を図６に示す。図６は、符号化モジュール５１５内の再帰的な処理の最小単位における処理例を示す説明図である。Ｃｅｌｌ＿ｅ５２０は、入力特徴量５１２、（直前の）入力系列特徴量５２２－１を受け付け、入力系列特徴量５２２－２を出力する。この入力系列特徴量５２２－２を、Ｃｅｌｌ＿ｅ５２０自身が（直前の）入力系列特徴量５２２－１として受け付け、次の入力系列特徴量５２２－２を出力する。この処理を画像（文字列）３１２内の最後の部分画像５０８まで続けることになる。
このように過去の情報を利用することで他の部分画像５０８の情報を加味したより高精度な認識が可能となる。なお、再帰的な処理におけるＣｅｌｌ＿ｅ５２０への初期の入力は入力系列特徴量と同じサイズを持つゼロ等で初期化された数値ベクトルである。なお、Ｃｅｌｌ＿ｅ５２０（また、後述のＣｅｌｌ＿ｄ５６０）としては、Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）（非特許文献２参照）やＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）（非特許文献４参照）等が提案されている。
続いて、符号化モジュール５１５（Ｃｅｌｌ＿ｅ５２０）が最後に算出した入力系列特徴量５２２から復号モジュール５５０が出力系列特徴量５６２を算出する。復号モジュール５５０も符号化モジュール５１５と同様の再帰的な処理を行い、図５の例におけるＣｅｌｌ＿ｄ５６０（Ｃｅｌｌ＿ｄ５６０ａ等）は全て共通のモジュールである。Ｃｅｌｌ＿ｄ５６０は、対応する出力特徴量５５７と出力系列特徴量５６２から、次の出力系列特徴量５６２を出力する。そして、Ｐｒｅｄ５６５が、対応する出力系列特徴量５６２から出力ラベル５６７を出力する。なお、図５におけるＰｒｅｄ５６５（Ｐｒｅｄ５６５ａ等）は全て共通のモジュールである。また、出力特徴量５５７は、Ｅｍｂ＿ｄ５５５が直前の出力ラベル５６７から算出する。なお、図５におけるＥｍｂ＿ｄ５５５（Ｅｍｂ＿ｄ５５５ａ等）は全て共通のモジュールである。出力系列５９０の先頭には直前の出力ラベル５６７がないため、始端用のラベル＜ｂｏｓ＞（ｂｅｇｉｎｎｉｎｇ ｏｆ Ｓｔｒｉｎｇｓ）を設定する。また、復号モジュール５５０の再帰的な処理は、終端用のラベル＜ｅｏｓ＞（ｅｎｄ ｏｆ Ｓｔｒｉｎｇｓ）の出力があったときに停止する。
まず、Ｅｍｂ＿ｅ５１０が入力である文字列画像である画像（文字列）３１２の部分画像５０８から入力特徴量５１２を算出する。いわゆる特徴量抽出処理を行う。ここで、部分画像５０８は、画像（文字列）３１２内において、固定サイズの領域を文字列方向へ逐次移動して得られる部分領域を切り出した画像である。
次に、符号化モジュール５１５が入力特徴量５１２から入力系列特徴量５２２を算出する。符号化モジュール５１５はＣｅｌｌ＿ｅ５２０を単位とする再帰的な処理である。すなわち、図５におけるＣｅｌｌ＿ｅ５２０（Ｃｅｌｌ＿ｅ５２０ａ等）は全て共通のモジュールであり、個々のＣｅｌｌ＿ｅ５２０は対応する入力特徴量５１２と直前の自身の出力（入力系列特徴量５２２）を入力として、続く入力系列特徴量５２２を算出する。この様子を図６に示す。図６は、符号化モジュール５１５内の再帰的な処理の最小単位における処理例を示す説明図である。Ｃｅｌｌ＿ｅ５２０は、入力特徴量５１２、（直前の）入力系列特徴量５２２－１を受け付け、入力系列特徴量５２２－２を出力する。この入力系列特徴量５２２－２を、Ｃｅｌｌ＿ｅ５２０自身が（直前の）入力系列特徴量５２２－１として受け付け、次の入力系列特徴量５２２－２を出力する。この処理を画像（文字列）３１２内の最後の部分画像５０８まで続けることになる。
このように過去の情報を利用することで他の部分画像５０８の情報を加味したより高精度な認識が可能となる。なお、再帰的な処理におけるＣｅｌｌ＿ｅ５２０への初期の入力は入力系列特徴量と同じサイズを持つゼロ等で初期化された数値ベクトルである。なお、Ｃｅｌｌ＿ｅ５２０（また、後述のＣｅｌｌ＿ｄ５６０）としては、Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）（非特許文献２参照）やＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）（非特許文献４参照）等が提案されている。
続いて、符号化モジュール５１５（Ｃｅｌｌ＿ｅ５２０）が最後に算出した入力系列特徴量５２２から復号モジュール５５０が出力系列特徴量５６２を算出する。復号モジュール５５０も符号化モジュール５１５と同様の再帰的な処理を行い、図５の例におけるＣｅｌｌ＿ｄ５６０（Ｃｅｌｌ＿ｄ５６０ａ等）は全て共通のモジュールである。Ｃｅｌｌ＿ｄ５６０は、対応する出力特徴量５５７と出力系列特徴量５６２から、次の出力系列特徴量５６２を出力する。そして、Ｐｒｅｄ５６５が、対応する出力系列特徴量５６２から出力ラベル５６７を出力する。なお、図５におけるＰｒｅｄ５６５（Ｐｒｅｄ５６５ａ等）は全て共通のモジュールである。また、出力特徴量５５７は、Ｅｍｂ＿ｄ５５５が直前の出力ラベル５６７から算出する。なお、図５におけるＥｍｂ＿ｄ５５５（Ｅｍｂ＿ｄ５５５ａ等）は全て共通のモジュールである。出力系列５９０の先頭には直前の出力ラベル５６７がないため、始端用のラベル＜ｂｏｓ＞（ｂｅｇｉｎｎｉｎｇ ｏｆ Ｓｔｒｉｎｇｓ）を設定する。また、復号モジュール５５０の再帰的な処理は、終端用のラベル＜ｅｏｓ＞（ｅｎｄ ｏｆ Ｓｔｒｉｎｇｓ）の出力があったときに停止する。
Ｓｅｑ２Ｓｅｑは、全ての構成要素がニューラルネットワークである。これにより、誤差逆伝播法によるＳｅｑ２Ｓｅｑ全体のパラメータ学習を実現している（ただし、Ｅｍｂ＿ｅ５１０は必ずしもニューラルネットワークである必要はなく、その場合、Ｅｍｂ＿ｅ５１０のパラメータは学習の対象とならない）。すなわち、Ｓｅｑ２Ｓｅｑによる文字列認識は、入力画像と出力であるラベル列のペアのセットを学習データとして、すべての構成要素について自動的に最適なパラメータを算出することが可能である。これにより、出力すべき文字数が未知である問題と、単文字どうしの境界が曖昧である問題を解決し、精度の高い文字列認識を実現している。
Ｓｅｑ２Ｓｅｑによる文字列認識の精度をさらに高める技術として注視技術（非特許文献５参照）がある。図５の例に示すようなＳｅｑ２Ｓｅｑは、画像（文字列）３１２のサイズや出力系列５９０の系列長が大きい場合に、復号モジュール５５０へ渡す入力特徴量５１２に十分な情報を埋め込みきれない場合がある。これに対して注視技術は、あるラベルを算出するために注視すべき入力系列特徴量を選択的に切り出し、これを復号部の出力特徴量とすることでこの問題を解決する。注視技術利用の概要を図７の例に示す。
まず、図５の例と同様に、符号化モジュール５１５（Ｃｅｌｌ＿ｅ５２０）は入力系列特徴量５２２を算出する。次に、復号モジュール５５０では、Ａｌｉｇｎ７１０が全ての入力系列特徴量５２２と、直前の出力系列特徴量５６２から、続く出力ラベル５６７を算出するために注視すべき領域を表す注視情報７１２を算出する。注視情報７１２の例を図８に示す。横軸８１０として画像（文字列）３１２におけるｉ番目の入力系列特徴量５２２を示し、縦軸８２０として注視情報強度を示している。そして、注視情報８３０のグラフは、ｊ番目の出力系列ラベルのための注視情報７１２である。つまり、注視情報８３０は、ｊ番目の出力系列ラベルの算出のためにｉ番目の入力列特徴量をどの程度利用するか、に相当する量を要素とするベクトルである。
次に、Ａｔｔｅｎｔｉｏｎ７２０が、注視情報７１２と入力系列特徴量５２２の線型結合として注視系列特徴量７２２を算出する。Ｃｅｌｌ＿ｄ５６０ｂは、直前の出力系列特徴量５６２と、直前の出力ラベル５６７から算出された出力特徴量５５７と注視系列特徴量７２２を連結した特徴量から、続く出力系列特徴量５６２を算出する。Ａｌｉｇｎ７１０とＡｔｔｅｎｔｉｏｎ７２０は図５の例と同様にニューラルネットワークであるため、注視技術利用の場合も、図５と同様にＳｅｑ２Ｓｅｑのパラメータ学習が可能である。
なお、再帰的ニューラルネットワークを利用し、特に注視処理を行う先行技術として特許文献１があげられるが、これはＳｅｑ２Ｓｅｑの構成でなく、予測器の学習を行わない。また、学習のために文字どうしの境界の情報が必要となる。
まず、図５の例と同様に、符号化モジュール５１５（Ｃｅｌｌ＿ｅ５２０）は入力系列特徴量５２２を算出する。次に、復号モジュール５５０では、Ａｌｉｇｎ７１０が全ての入力系列特徴量５２２と、直前の出力系列特徴量５６２から、続く出力ラベル５６７を算出するために注視すべき領域を表す注視情報７１２を算出する。注視情報７１２の例を図８に示す。横軸８１０として画像（文字列）３１２におけるｉ番目の入力系列特徴量５２２を示し、縦軸８２０として注視情報強度を示している。そして、注視情報８３０のグラフは、ｊ番目の出力系列ラベルのための注視情報７１２である。つまり、注視情報８３０は、ｊ番目の出力系列ラベルの算出のためにｉ番目の入力列特徴量をどの程度利用するか、に相当する量を要素とするベクトルである。
次に、Ａｔｔｅｎｔｉｏｎ７２０が、注視情報７１２と入力系列特徴量５２２の線型結合として注視系列特徴量７２２を算出する。Ｃｅｌｌ＿ｄ５６０ｂは、直前の出力系列特徴量５６２と、直前の出力ラベル５６７から算出された出力特徴量５５７と注視系列特徴量７２２を連結した特徴量から、続く出力系列特徴量５６２を算出する。Ａｌｉｇｎ７１０とＡｔｔｅｎｔｉｏｎ７２０は図５の例と同様にニューラルネットワークであるため、注視技術利用の場合も、図５と同様にＳｅｑ２Ｓｅｑのパラメータ学習が可能である。
なお、再帰的ニューラルネットワークを利用し、特に注視処理を行う先行技術として特許文献１があげられるが、これはＳｅｑ２Ｓｅｑの構成でなく、予測器の学習を行わない。また、学習のために文字どうしの境界の情報が必要となる。
図５、図７の例に示すようなＳｅｑ２Ｓｅｑによる文字列認識は、入力画像と出力ラベル系列のペアのセットである学習データからパラメータを算出する。ゆえに、文字列認識の精度が、出力ラベル系列に含まれるラベルの頻度に大きく依存する。具体的には、低頻度であるラベルほど良好なパラメータが学習されず、認識精度が低くなる。同様に、学習データにないラベルは出力しない。特に、日本語のように文字種の多い言語では、ラベルの数が膨大であるため、既存の文字列データはラベルの偏りが大きく、極めて低頻度であるラベルも多い。
そこで、本実施の形態は、以下の処理を行う。
（１）部分画像に対して、画像が出力候補のラベルである可能性の高さを表す数値ベクトル（以下、単文字確信度ともいう）を算出する。
（２）注視情報を利用して、入力特徴量方向について、単文字確信度を切り出す値（以下、注視単文字確信度ともいう）を算出する。
（３）注視単文字確信度とラベル間でパラメータを共有した予測器により、ラベルを算出する。
（１）部分画像に対して、画像が出力候補のラベルである可能性の高さを表す数値ベクトル（以下、単文字確信度ともいう）を算出する。
（２）注視情報を利用して、入力特徴量方向について、単文字確信度を切り出す値（以下、注視単文字確信度ともいう）を算出する。
（３）注視単文字確信度とラベル間でパラメータを共有した予測器により、ラベルを算出する。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図９の例は、本実施の形態の中心的な構成例についての概念的なモジュール構成図である。なお、Ａｌｉｇｎ９１０は、図７に例示のＡｌｉｇｎ７１０に相当し、Ａｔｔｅｎｔｉｏｎ９２０ａ、Ａｔｔｅｎｔｉｏｎ´９２０ｂは、図７に例示のＡｔｔｅｎｔｉｏｎ７２０に相当し、Ｃｅｌｌ＿ｄ９６０は、図７に例示のＣｅｌｌ＿ｄ５６０に相当し、Ｐｒｅｄ´９６５は、図７に例示のＰｒｅｄ５６５に相当する。
図９は、復号モジュール（図１の例に示す復号モジュール１６０）の再帰的な処理についてひとつのラベル分の処理を取り出したものである。なお、各記号の意味は以下の表１の通りである。
本実施の形態は、単文字認識器の出力する単文字確信度を利用する。単文字確信度とは、図１０に例に示す単文字確信度１０００のように、入力の画像（部分画像である単文字画像）がそのラベルである可能性の高さを表す数値ベクトルである。具体的には、ラベル１０１０と確信度１０２０のペアであり、例えば、図１０では、ラベル「士（さむらい）」の確信度は「０．５０」であり、ラベル「土（つち）」の確信度は「０．２０」であり、ラベル「±（プラスマイナス）」の確信度は「０．１７」であり、ラベル「十」の確信度は「０．０２」であり、ラベル「巌」の確信度は「０．００」であることを示している。
図９の例は、本実施の形態の中心的な構成例についての概念的なモジュール構成図である。なお、Ａｌｉｇｎ９１０は、図７に例示のＡｌｉｇｎ７１０に相当し、Ａｔｔｅｎｔｉｏｎ９２０ａ、Ａｔｔｅｎｔｉｏｎ´９２０ｂは、図７に例示のＡｔｔｅｎｔｉｏｎ７２０に相当し、Ｃｅｌｌ＿ｄ９６０は、図７に例示のＣｅｌｌ＿ｄ５６０に相当し、Ｐｒｅｄ´９６５は、図７に例示のＰｒｅｄ５６５に相当する。
図９は、復号モジュール（図１の例に示す復号モジュール１６０）の再帰的な処理についてひとつのラベル分の処理を取り出したものである。なお、各記号の意味は以下の表１の通りである。
まず、入力特徴量を算出した部分画像について前述の単文字確信度を算出する。そして、Ａｔｔｅｎｔｉｏｎ´９２０ｂで、注視情報を利用し、注視系列特徴量と同様に、注視単文字確信度を算出する。最後に、Ｐｒｅｄ´９６５にて、直前のラベル、出力系列特徴量、及び、注視単文字確信度から、続くラベルを出力する。なお、直前のラベルは、学習済みのラベルの条件付き確率Ｐ（ｙｊ｜ｙｊ－１）等があれば利用すればよく、必須ではない。図５、図７におけるＰｒｅｄ５６５がラベルごとに異なるパラメータを持つのに対し、本実施の形態におけるＰｒｅｄ´９６５は、ラベル間でひとつのパラメータを共有するラベル非依存の予測である。ラベル間でひとつのパラメータを共有する場合、単一の特徴量からは単一の評価値のみしか得られず、認識が実現できない。ゆえに、本実施の形態のＰｒｅｄ´９６５では、ラベルごとの特徴量を入力し、ラベルごとの評価値を算出し、うち最大（評価値が正解らしさを示す場合は最大である。又は、評価値が誤答（エラー）らしさを示す場合は最小）のものを認識結果のラベルとして出力する。具体的には、ラベルごとの注視単文字確信度からラベルごとに異なる特徴量を作成する。
単文字識別器を利用し、ラベル間でパラメータを共有することで、本実施の形態は、例えばＳｅｑ２Ｓｅｑによる文字列認識の精度が学習データのラベルの頻度に依存する問題を解決する。同時に、注視単文字確信度を算出することで、例えばＳｅｑ２Ｓｅｑによる文字列認識の長所である、出力すべき文字数と単文字どうしの境界が曖昧である問題を解決したパラメータ学習機能を維持する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
本実施の形態である文字列認識装置１００は、文字列の認識機能を有しており、図１の例に示すように、符号化モジュール１１０、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０、ラベル非依存予測モジュール１７０を有している。全体は、前述したように、Ｓｅｑ２Ｓｅｑ等の再帰的ニューラルネットワークによって構成されている。
本実施の形態である文字列認識装置１００は、文字列の認識機能を有しており、図１の例に示すように、符号化モジュール１１０、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０、ラベル非依存予測モジュール１７０を有している。全体は、前述したように、Ｓｅｑ２Ｓｅｑ等の再帰的ニューラルネットワークによって構成されている。
符号化モジュール１１０は、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０と接続されている。符号化モジュール１１０は、単文字特徴量１０８を受け付け、注視情報算出モジュール１３０に入力系列特徴量１１２を渡す。符号化モジュール１１０は、入力パターンの部分パターンに対して算出した単文字特徴量の系列である単文字特徴量１０８を入力する。
系列認識パラメータ記憶モジュール１２０は、符号化モジュール１１０、復号モジュール１６０、ラベル非依存予測モジュール１７０と接続されている。
注視情報算出モジュール１３０は、符号化モジュール１１０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０と接続されている。注視情報算出モジュール１３０は、符号化モジュール１１０より入力系列特徴量１１２を受け取り、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０に注視情報１３２を渡す。
注視処理（１）モジュール１４０は、符号化モジュール１１０、注視情報算出モジュール１３０、復号モジュール１６０と接続されている。注視処理（１）モジュール１４０は、注視情報算出モジュール１３０より注視情報１３２を受け取り、復号モジュール１６０に注視系列特徴量１４２を渡す。
系列認識パラメータ記憶モジュール１２０は、符号化モジュール１１０、復号モジュール１６０、ラベル非依存予測モジュール１７０と接続されている。
注視情報算出モジュール１３０は、符号化モジュール１１０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０と接続されている。注視情報算出モジュール１３０は、符号化モジュール１１０より入力系列特徴量１１２を受け取り、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０に注視情報１３２を渡す。
注視処理（１）モジュール１４０は、符号化モジュール１１０、注視情報算出モジュール１３０、復号モジュール１６０と接続されている。注視処理（１）モジュール１４０は、注視情報算出モジュール１３０より注視情報１３２を受け取り、復号モジュール１６０に注視系列特徴量１４２を渡す。
注視処理（２）モジュール１５０は、注視情報算出モジュール１３０、ラベル非依存予測モジュール１７０と接続されている。注視処理（２）モジュール１５０は、単文字確信度１４８を受け付け、注視情報算出モジュール１３０より注視情報１３２を受け取り、ラベル非依存予測モジュール１７０に注視単文字確信度１５２を渡す。注視処理（２）モジュール１５０は、認識対象の文字列である入力パターン内の部分パターンの系列に対して算出した単文字確信度１４８と、再帰的ニューラルネットワークである注視情報算出モジュール１３０で算出した注視情報１３２から、注視単文字確信度１５２を算出する。なお、「部分パターン」は、１文字とその文字の境界を含むもの（文字画像認識の場合は画像、オンライン文字認識の場合はベクトル列）である。
なお、注視単文字確信度１５２に非文字用の値を追加し、ラベル非依存予測モジュール１７０が利用する特徴量に非文字であるか否かを示す非文字用情報を追加し、その特徴量のうち非文字用の注視確信度を引用するものは非文字であることを示す非文字用情報とする。なお、非文字用情報として、前述の始端用のラベル＜ｂｏｓ＞、終端用のラベル＜ｅｏｓ＞がある。
また、注視処理（２）モジュール１５０は、単文字特徴量から、前記注視単文字確信度を算出する
なお、注視単文字確信度１５２に非文字用の値を追加し、ラベル非依存予測モジュール１７０が利用する特徴量に非文字であるか否かを示す非文字用情報を追加し、その特徴量のうち非文字用の注視確信度を引用するものは非文字であることを示す非文字用情報とする。なお、非文字用情報として、前述の始端用のラベル＜ｂｏｓ＞、終端用のラベル＜ｅｏｓ＞がある。
また、注視処理（２）モジュール１５０は、単文字特徴量から、前記注視単文字確信度を算出する
復号モジュール１６０は、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、ラベル非依存予測モジュール１７０と接続されている。復号モジュール１６０は、注視処理（１）モジュール１４０より注視系列特徴量１４２を受け取り、ラベル非依存予測モジュール１７０に出力系列特徴量１６２を渡す。
ラベル非依存予測モジュール１７０は、系列認識パラメータ記憶モジュール１２０、注視処理（２）モジュール１５０、復号モジュール１６０と接続されている。ラベル非依存予測モジュール１７０は、注視処理（２）モジュール１５０より注視単文字確信度１５２を、復号モジュール１６０より出力系列特徴量１６２を受け取り、出力系列１７２を出力する。ラベル非依存予測モジュール１７０は、認識結果であるラベル間でパラメータを共有して、出力系列１７２を出力する。その際、ラベル非依存予測モジュール１７０は、注視単文字確信度１５２を特徴量のひとつとして利用する。
ラベル非依存予測モジュール１７０は、系列認識パラメータ記憶モジュール１２０、注視処理（２）モジュール１５０、復号モジュール１６０と接続されている。ラベル非依存予測モジュール１７０は、注視処理（２）モジュール１５０より注視単文字確信度１５２を、復号モジュール１６０より出力系列特徴量１６２を受け取り、出力系列１７２を出力する。ラベル非依存予測モジュール１７０は、認識結果であるラベル間でパラメータを共有して、出力系列１７２を出力する。その際、ラベル非依存予測モジュール１７０は、注視単文字確信度１５２を特徴量のひとつとして利用する。
単文字特徴量１０８は、図５、図７の例に示した入力特徴量５１２であり、予め算出されているものとする。また、同様に単文字確信度１４８も予め算出されているものとする。ニューラルネットワークの学習を行うときなど、単文字特徴量１０８と単文字確信度１４８が固定である場合があり、これらの特徴量があらかじめ算出されていることは自然な状況である。
まず、符号化モジュール１１０が入力系列特徴量１１２を数１のように算出する。
なお、ベクトルｈｉはｉ番目の入力系列特徴量１１２、ベクトルｇｉはｉ番目の単文字特徴量１０８である。ＣｅｌｌｅはＬＳＴＭやＧＲＵ等でよく、系列認識パラメータに含まれる学習すべきパラメータを持つ。
また、符号化モジュール１１０は、図５の例に示す一方向型のものの他にも、双方向型であるＢｉｄｉｒｅｃｔｉｏｎａｌ ＲＮＮ（非特許文献５参照）や、積層型であるＰｙｒａｍｉｄａｌ ＲＮＮ（非特許文献６参照）であってもよい。このように、過去の情報を利用することで他の部分画像の情報を加味したより高精度な認識が可能となる。
また、符号化モジュール１１０は、図５の例に示す一方向型のものの他にも、双方向型であるＢｉｄｉｒｅｃｔｉｏｎａｌ ＲＮＮ（非特許文献５参照）や、積層型であるＰｙｒａｍｉｄａｌ ＲＮＮ（非特許文献６参照）であってもよい。このように、過去の情報を利用することで他の部分画像の情報を加味したより高精度な認識が可能となる。
次に、注視情報算出モジュール１３０が、注視情報１３２を数２のように算出する。
本処理は、図９の例に示すＡｌｉｇｎ９１０に対応する。なお、ベクトルＶＥ、Ｗｈ、Ｗｓは、学習すべきパラメータであり系列認識パラメータに含まれる。ａｉｊは、注視情報であるベクトルａｊのｉ番目の要素である。ベクトルｓｊはｊ番目の出力系列特徴量である。ニューラルネットで構成することにより、注視情報の抽出そのものも学習可能であるため、対象に適した注視処理が実現される。
次に、注視処理（１）モジュール１４０が、注視系列特徴量１４２を数３のように算出する。
本処理は、図９の例に示すＡｔｔｅｎｔｉｏｎ９２０ａに対応する。
また同様に、注視処理（２）モジュール１５０が、出力系列特徴量１６２を数４のように算出する。
本処理は図９の例に示すＡｔｔｅｎｔｉｏｎ´９２０ｂに対応する。
また同様に、注視処理（２）モジュール１５０が、出力系列特徴量１６２を数４のように算出する。
次に、復号モジュール１６０が、出力系列特徴量１６２を数５のように算出する。
ＣｅｌｌｄはＬＳＴＭやＧＲＵなどでよく、系列認識パラメータに含まれる学習すべきパラメータを持つ。
最後に、ラベル非依存予測モジュール１７０が、ラベルを算出することで、出力系列１７２が得られる。本処理は、図９の例に示すＰｒｅｄ´９６５に対応する。具体的には、数６のようにラベルを算出する。
なお、ベクトルＶｅ、Ｗｆ、ｂは学習すべきパラメータであり系列認識パラメータに含まれる。前記の通り、これらパラメータはラベル間で同一のものを共有している。ｋはラベルを表し、ｃ’
ｊｋはｊ番目の注視単文字確信度１５２のラベルｋの値である。σは入力ベクトルの各要素にシグモイド関数を適用した結果のベクトルを返す関数である。ｃ’’
ｊｋは非文字用の値を追加した単文字確信度である、これは必ずしもゼロである必要はなく、行列演算のためのパディングである。ｃｏｎｃａｔはベクトルを連結する関数である。
図１１の例を用いて、図１の例に示した文字列認識装置１００に、窓処理モジュール１１１０、統計情報記憶モジュール１１８０を付加した構成例を説明する。
文字列認識装置１１００は、窓処理モジュール１１１０、符号化モジュール１１０、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０、ラベル非依存予測モジュール１７０、統計情報記憶モジュール１１８０を有している。
文字列認識装置１１００は、学習済みの単文字認識器（窓処理モジュール１１１０）と統計情報（統計情報記憶モジュール１１８０）を利用する例を示している。
文字列認識装置１１００は、窓処理モジュール１１１０、符号化モジュール１１０、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０、ラベル非依存予測モジュール１７０、統計情報記憶モジュール１１８０を有している。
文字列認識装置１１００は、学習済みの単文字認識器（窓処理モジュール１１１０）と統計情報（統計情報記憶モジュール１１８０）を利用する例を示している。
窓処理モジュール１１１０は、符号化モジュール１１０、注視処理（２）モジュール１５０と接続されている。窓処理モジュール１１１０は、入力画像１１０８を受けつけ、符号化モジュール１１０に単文字特徴量１０８を、注視処理（２）モジュール１５０に単文字確信度１４８を渡す。
符号化モジュール１１０は、窓処理モジュール１１１０、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０と接続されている。符号化モジュール１１０は、窓処理モジュール１１１０より単文字特徴量１０８を受け取り、注視情報算出モジュール１３０に入力系列特徴量１１２を渡す。
系列認識パラメータ記憶モジュール１２０は、符号化モジュール１１０、復号モジュール１６０、ラベル非依存予測モジュール１７０と接続されている。
注視情報算出モジュール１３０は、符号化モジュール１１０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０と接続されている。注視情報算出モジュール１３０は、符号化モジュール１１０より入力系列特徴量１１２を受け取り、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０に注視情報１３２を渡す。
注視処理（１）モジュール１４０は、符号化モジュール１１０、注視情報算出モジュール１３０、復号モジュール１６０と接続されている。注視処理（１）モジュール１４０は、注視情報算出モジュール１３０より注視情報１３２を受け取り、復号モジュール１６０に注視系列特徴量１４２を渡す。
注視処理（２）モジュール１５０は、窓処理モジュール１１１０、注視情報算出モジュール１３０、ラベル非依存予測モジュール１７０と接続されている。注視処理（２）モジュール１５０は、窓処理モジュール１１１０より単文字確信度１４８、注視情報算出モジュール１３０より注視情報１３２を受け取り、ラベル非依存予測モジュール１７０に注視単文字確信度１５２を渡す。
復号モジュール１６０は、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、ラベル非依存予測モジュール１７０と接続されている。復号モジュール１６０は、注視処理（１）モジュール１４０より注視系列特徴量１４２を受け取り、ラベル非依存予測モジュール１７０に出力系列特徴量１６２を渡す。復号モジュール１６０は、
ラベル非依存予測モジュール１７０は、系列認識パラメータ記憶モジュール１２０、注視処理（２）モジュール１５０、復号モジュール１６０、統計情報記憶モジュール１１８０と接続されている。ラベル非依存予測モジュール１７０は、注視処理（２）モジュール１５０より注視単文字確信度１５２を、復号モジュール１６０より出力系列特徴量１６２を受け取り、出力系列１７２を出力する。
統計情報記憶モジュール１１８０は、ラベル非依存予測モジュール１７０と接続されている。
符号化モジュール１１０は、窓処理モジュール１１１０、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０と接続されている。符号化モジュール１１０は、窓処理モジュール１１１０より単文字特徴量１０８を受け取り、注視情報算出モジュール１３０に入力系列特徴量１１２を渡す。
系列認識パラメータ記憶モジュール１２０は、符号化モジュール１１０、復号モジュール１６０、ラベル非依存予測モジュール１７０と接続されている。
注視情報算出モジュール１３０は、符号化モジュール１１０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０と接続されている。注視情報算出モジュール１３０は、符号化モジュール１１０より入力系列特徴量１１２を受け取り、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０に注視情報１３２を渡す。
注視処理（１）モジュール１４０は、符号化モジュール１１０、注視情報算出モジュール１３０、復号モジュール１６０と接続されている。注視処理（１）モジュール１４０は、注視情報算出モジュール１３０より注視情報１３２を受け取り、復号モジュール１６０に注視系列特徴量１４２を渡す。
注視処理（２）モジュール１５０は、窓処理モジュール１１１０、注視情報算出モジュール１３０、ラベル非依存予測モジュール１７０と接続されている。注視処理（２）モジュール１５０は、窓処理モジュール１１１０より単文字確信度１４８、注視情報算出モジュール１３０より注視情報１３２を受け取り、ラベル非依存予測モジュール１７０に注視単文字確信度１５２を渡す。
復号モジュール１６０は、系列認識パラメータ記憶モジュール１２０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、ラベル非依存予測モジュール１７０と接続されている。復号モジュール１６０は、注視処理（１）モジュール１４０より注視系列特徴量１４２を受け取り、ラベル非依存予測モジュール１７０に出力系列特徴量１６２を渡す。復号モジュール１６０は、
ラベル非依存予測モジュール１７０は、系列認識パラメータ記憶モジュール１２０、注視処理（２）モジュール１５０、復号モジュール１６０、統計情報記憶モジュール１１８０と接続されている。ラベル非依存予測モジュール１７０は、注視処理（２）モジュール１５０より注視単文字確信度１５２を、復号モジュール１６０より出力系列特徴量１６２を受け取り、出力系列１７２を出力する。
統計情報記憶モジュール１１８０は、ラベル非依存予測モジュール１７０と接続されている。
単文字認識器（窓処理モジュール１１１０）は、単文字認識を行うために内部で入力画像１１０８の特徴量を作成している場合がある。すなわち、図１２の例に示すように、入力画像１１０８に対して単文字特徴量１０８を算出し、さらに単文字確信度１４８を行う（なお、単文字確信度算出はニューラルネットワークやサポートベクトルマシンなどであることが一般的である）。
単文字認識器（窓処理モジュール１１１０）は、特徴量抽出モジュール１２１０、単文字確信度算出モジュール１２２０を有している。特徴量抽出モジュール１２１０は、単文字確信度算出モジュール１２２０と接続されている。特徴量抽出モジュール１２１０は、入力画像１１０８を受け付け、単文字特徴量１０８を出力する。
単文字確信度算出モジュール１２２０は、特徴量抽出モジュール１２１０と接続されている。特徴量抽出モジュール１２１０は、単文字確信度１４８を出力する。単文字確信度算出モジュール１２２０は、単文字特徴量１０８から、単文字確信度１４８を算出する。単文字確信度算出モジュール１２２０を畳み込みニューラルネットワークで構成してもよい。
単文字認識器（窓処理モジュール１１１０）は、特徴量抽出モジュール１２１０、単文字確信度算出モジュール１２２０を有している。特徴量抽出モジュール１２１０は、単文字確信度算出モジュール１２２０と接続されている。特徴量抽出モジュール１２１０は、入力画像１１０８を受け付け、単文字特徴量１０８を出力する。
単文字確信度算出モジュール１２２０は、特徴量抽出モジュール１２１０と接続されている。特徴量抽出モジュール１２１０は、単文字確信度１４８を出力する。単文字確信度算出モジュール１２２０は、単文字特徴量１０８から、単文字確信度１４８を算出する。単文字確信度算出モジュール１２２０を畳み込みニューラルネットワークで構成してもよい。
文字列認識装置１１００では、窓処理モジュール１１１０から得られた単文字特徴量１０８、単文字確信度１４８を利用する。
以下、文字列認識装置１１００について、図１の例に示す文字列認識装置１００と異なる部分を中心に説明する。
まず、窓処理モジュール１１１０が学習済みの単文字認識器により単文字特徴量１０８と単文字確信度１４８を算出する。具体的には、入力画像１１０８について固定サイズの領域を文字列方向へ逐次移動して得られる部分画像列に対して単文字特徴量１０８と単文字確信度１４８を算出する。もし、単文字認識器が畳み込みニューラルネットワーク（非特許文献１、非特許文献３参照）である場合、予め部分画像列を作成するのではなく、画像全体に対する畳み込み処理から得られる特徴量画像を部分領域に分ける処理順が計算速度と容量の観点から効率がよい。
また、ラベル非依存予測モジュール１７０は、直前のラベルを利用する。さらに、非文字用フラグ（「非文字であるか否かを示す非文字用情報」の一例）を利用する。なお、非文字とは＜ｂｏｓ＞や＜ｅｏｓ＞を指す。非文字フラグを利用することで非文字か否かの識別が容易となる。この場合は、数７を用いて特徴量を算出する。
ｚｋは、非文字用フラグである。Ｐ（ｋ｜ｋ’）はラベルｋ’で条件付けられたラベルｋの生起確率、Ｐ（ｋ）はラベルｋの生起確率に相当する関数であり、統計情報に含まれる学習済みの値である。
文字列認識装置１１００は、単文字認識器を含むため、予め単文字特徴量１０８を算出しておく必要がない。また、非文字フラグと統計情報記憶モジュール１１８０内の統計情報を利用するため、より精度の高い文字列認識を実現する。
以下、文字列認識装置１１００について、図１の例に示す文字列認識装置１００と異なる部分を中心に説明する。
まず、窓処理モジュール１１１０が学習済みの単文字認識器により単文字特徴量１０８と単文字確信度１４８を算出する。具体的には、入力画像１１０８について固定サイズの領域を文字列方向へ逐次移動して得られる部分画像列に対して単文字特徴量１０８と単文字確信度１４８を算出する。もし、単文字認識器が畳み込みニューラルネットワーク（非特許文献１、非特許文献３参照）である場合、予め部分画像列を作成するのではなく、画像全体に対する畳み込み処理から得られる特徴量画像を部分領域に分ける処理順が計算速度と容量の観点から効率がよい。
また、ラベル非依存予測モジュール１７０は、直前のラベルを利用する。さらに、非文字用フラグ（「非文字であるか否かを示す非文字用情報」の一例）を利用する。なお、非文字とは＜ｂｏｓ＞や＜ｅｏｓ＞を指す。非文字フラグを利用することで非文字か否かの識別が容易となる。この場合は、数７を用いて特徴量を算出する。
文字列認識装置１１００は、単文字認識器を含むため、予め単文字特徴量１０８を算出しておく必要がない。また、非文字フラグと統計情報記憶モジュール１１８０内の統計情報を利用するため、より精度の高い文字列認識を実現する。
データエントリー業務等では、文字列認識装置１００又は文字列認識装置１１００によって出力された出力系列１７２を、操作者によって確認することが行われる。そのために、表示モジュールは、出力系列１７２を表示する。その場合、表示モジュールが、入力画像１１０８と対応させて出力系列１７２を表示すると、認識対象の文字列と認識結果である出力系列１７２を比較することができるので、出力系列１７２の誤りを発見（又は、誤りがないことを確認）しやすい。
そして、表示モジュールは、出力系列１７２だけでなく、注視情報１３２と、注視単文字確信度１５２を、それぞれ出力系列１７２内の各文字に対応させて表示するようにしてもよい。例えば、図１３、図１４の例に示す表示を行う。
つまり、注視単文字確信度１５２を利用し、文字認識結果（出力系列１７２）を分析する上で有用な可視化の例を説明する。データエントリー業務等では、文字列認識結果を分析し、必要に応じて誤りの検出・訂正を人間が行う作業がある。このとき、図１３、図１４の例に示すように、入力画像と出力系列に加え、注視情報、注視単文字確信度があることで、より効率的な分析が可能となる。さらに、出力確信度を含めて表示するようにしてもよい。なお、出力確信度とは、数６のｅｊｋ、又は、それを正規化した値である。
そして、表示モジュールは、出力系列１７２だけでなく、注視情報１３２と、注視単文字確信度１５２を、それぞれ出力系列１７２内の各文字に対応させて表示するようにしてもよい。例えば、図１３、図１４の例に示す表示を行う。
つまり、注視単文字確信度１５２を利用し、文字認識結果（出力系列１７２）を分析する上で有用な可視化の例を説明する。データエントリー業務等では、文字列認識結果を分析し、必要に応じて誤りの検出・訂正を人間が行う作業がある。このとき、図１３、図１４の例に示すように、入力画像と出力系列に加え、注視情報、注視単文字確信度があることで、より効率的な分析が可能となる。さらに、出力確信度を含めて表示するようにしてもよい。なお、出力確信度とは、数６のｅｊｋ、又は、それを正規化した値である。
図１３の例では、上から順に、ラベルごとに区別して、（ａ）注視情報、（ｂ）入力画像、（ｃ）出力系列、（ｄ）注視単文字確信度、（ｅ）出力確信度を表示している。ここでの注視情報は、図８の例に示したようにグラフ表現にしている。また、ラベル毎に色を異ならせるように表示して、対応がわかりやすいようにしている。例えば、左端の注視情報のグラフ、出力系列の「富」を同じ赤色で表示している。このほか、左端の注視単文字確信度、左端の出力確信度も同じ赤色で表示してもよい。
注視情報により、作業者があるラベルが入力画像のどの位置に相当するかを判別することを可能にする。注視単文字確信度は単文字としての認識の確信度であるのに対して、出力確信度は前後関係を加味した認識の確信度である。この違いを利用して作業者は認識結果を多角的に分析することが可能となる。
また、図１４の例では、上から順に、ラベルごとに区別して、（ａ）入力画像上での注視情報、（ｂ）出力系列、（ｃ）注視単文字確信度、（ｄ）出力確信度を表示している。ここでの注視情報は、入力画像上において濃淡で表示している。また、作業者が選択した部分のみ強調されて表示するようにしてもよい。図１４の例では、マウスカーソル１４１０のある位置の「士」について、出力系列の枠を実線（他の出力系列は点線の枠）にし、注視情報を入力画像内の濃淡で表示し（該当部分画像を白で表示し）、注視単文字確信度と出力確信度を太字にしている。
注視情報により、作業者があるラベルが入力画像のどの位置に相当するかを判別することを可能にする。注視単文字確信度は単文字としての認識の確信度であるのに対して、出力確信度は前後関係を加味した認識の確信度である。この違いを利用して作業者は認識結果を多角的に分析することが可能となる。
また、図１４の例では、上から順に、ラベルごとに区別して、（ａ）入力画像上での注視情報、（ｂ）出力系列、（ｃ）注視単文字確信度、（ｄ）出力確信度を表示している。ここでの注視情報は、入力画像上において濃淡で表示している。また、作業者が選択した部分のみ強調されて表示するようにしてもよい。図１４の例では、マウスカーソル１４１０のある位置の「士」について、出力系列の枠を実線（他の出力系列は点線の枠）にし、注視情報を入力画像内の濃淡で表示し（該当部分画像を白で表示し）、注視単文字確信度と出力確信度を太字にしている。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１５に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１５０１を用い、記憶装置としてＲＡＭ１５０２、ＲＯＭ１５０３、ＨＤＤ１５０４を用いている。ＨＤＤ１５０４として、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュ・メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を用いてもよい。符号化モジュール１１０、注視情報算出モジュール１３０、注視処理（１）モジュール１４０、注視処理（２）モジュール１５０、復号モジュール１６０、ラベル非依存予測モジュール１７０、窓処理モジュール１１１０等のプログラムを実行するＣＰＵ１５０１と、そのプログラムやデータを記憶するＲＡＭ１５０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１５０３と、系列認識パラメータ記憶モジュール１２０、統計情報記憶モジュール１１８０等としての機能を有する補助記憶装置であるＨＤＤ１５０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置１５０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１５０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１５０７、そして、それらをつないでデータのやりとりをするためのバス１５０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１５に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
なお、図１５に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
前述の実施の形態においては、文字列画像を認識対象とした例を示したが、オンライン文字認識における文字列ストロークを対象としてもよい。つまり、入力パターンの部分パターンとして、文字列が記載された入力画像の部分画像を対象としてもよいし、入力パターンの部分パターンとして、手書き入力パターンの部分パターンを対象としてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ－ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ－ＲＯＭ）、ＣＤレコーダブル（ＣＤ－Ｒ）、ＣＤリライタブル（ＣＤ－ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ－ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ－ＲＯＭ）、ＣＤレコーダブル（ＣＤ－Ｒ）、ＣＤリライタブル（ＣＤ－ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
１００…文字列認識装置
１０８…単文字特徴量
１１０…符号化モジュール
１１２…入力系列特徴量
１２０…系列認識パラメータ記憶モジュール
１３０…注視情報算出モジュール
１３２…注視情報
１４０…注視処理（１）モジュール
１４２…注視系列特徴量
１４８…単文字確信度
１５０…注視処理（２）モジュール
１５２…注視単文字確信度
１６０…復号モジュール
１６２…出力系列特徴量
１７０…ラベル非依存予測モジュール
１７２…出力系列
３００…文字認識モジュール
４００…単文字認識モジュール
５０８…部分画像
５１０…Ｅｍｂ＿ｅ
５１２…入力特徴量
５１５…符号化モジュール
５２０…Ｃｅｌｌ＿ｅ
５２２…入力系列特徴量
５２２－１…（直前の）入力系列特徴量
５２２－２…入力系列特徴量
５５０…復号モジュール
５５５…Ｅｍｂ＿ｄ
５５７…出力特徴量
５６０…Ｃｅｌｌ＿ｄ
５６２…出力系列特徴量
５６５…Ｐｒｅｄ
５６７…出力ラベル
５９０…出力系列
７１０…Ａｌｉｇｎ
７１２…注視情報
７２０…Ａｔｔｅｎｔｉｏｎ
７２２…注視系列特徴量
９１０…Ａｌｉｇｎ
９２０…Ａｔｔｅｎｔｉｏｎ
９６０…Ｃｅｌｌ＿ｄ
９６５…Ｐｒｅｄ´
１０００…単文字確信度
１０１０…ラベル
１０２０…確信度
１１００…文字列認識装置
１１０８…入力画像
１１１０…窓処理モジュール
１１７２…出力系列
１１８０…統計情報記憶モジュール
１２１０…特徴量抽出モジュール
１２２０…単文字確信度算出モジュール
１０８…単文字特徴量
１１０…符号化モジュール
１１２…入力系列特徴量
１２０…系列認識パラメータ記憶モジュール
１３０…注視情報算出モジュール
１３２…注視情報
１４０…注視処理（１）モジュール
１４２…注視系列特徴量
１４８…単文字確信度
１５０…注視処理（２）モジュール
１５２…注視単文字確信度
１６０…復号モジュール
１６２…出力系列特徴量
１７０…ラベル非依存予測モジュール
１７２…出力系列
３００…文字認識モジュール
４００…単文字認識モジュール
５０８…部分画像
５１０…Ｅｍｂ＿ｅ
５１２…入力特徴量
５１５…符号化モジュール
５２０…Ｃｅｌｌ＿ｅ
５２２…入力系列特徴量
５２２－１…（直前の）入力系列特徴量
５２２－２…入力系列特徴量
５５０…復号モジュール
５５５…Ｅｍｂ＿ｄ
５５７…出力特徴量
５６０…Ｃｅｌｌ＿ｄ
５６２…出力系列特徴量
５６５…Ｐｒｅｄ
５６７…出力ラベル
５９０…出力系列
７１０…Ａｌｉｇｎ
７１２…注視情報
７２０…Ａｔｔｅｎｔｉｏｎ
７２２…注視系列特徴量
９１０…Ａｌｉｇｎ
９２０…Ａｔｔｅｎｔｉｏｎ
９６０…Ｃｅｌｌ＿ｄ
９６５…Ｐｒｅｄ´
１０００…単文字確信度
１０１０…ラベル
１０２０…確信度
１１００…文字列認識装置
１１０８…入力画像
１１１０…窓処理モジュール
１１７２…出力系列
１１８０…統計情報記憶モジュール
１２１０…特徴量抽出モジュール
１２２０…単文字確信度算出モジュール
Claims (9)
- 認識対象の文字列である入力パターン内の部分パターンの系列に対して算出した単文字確信度と、
再帰的ニューラルネットワークで算出した注視情報から、
注視単文字確信度を算出し、
認識結果であるラベル間でパラメータを共有した予測器
を有しており、
前記予測器は、前記注視単文字確信度を特徴量のひとつとして利用する、
文字列認識装置。 - 前記注視単文字確信度に非文字用の値を追加し、
前記予測器が利用する特徴量に非文字であるか否かを示す非文字用情報を追加し、
前記特徴量のうち非文字用の注視確信度を引用するものは非文字であることを示す非文字用情報とする、
請求項１に記載の文字列認識装置。 - 前記入力パターンの部分パターンに対して算出した単文字特徴量の系列を、前記再帰的ニューラルネットワークの符号化部の入力とする、
請求項１又は請求項２に記載の文字列認識装置。 - 前記単文字特徴量から、前記注視単文字確信度を算出する単文字認識器
をさらに有する請求項３に記載の文字列認識装置。 - 前記単文字認識器が畳み込みニューラルネットワークである、
請求項４に記載の文字列認識装置。 - 認識結果を確認するための表示を行う表示手段
をさらに有し、
前記表示手段は、前記注視情報と、前記注視単文字確信度を、それぞれ表示する、
請求項１、請求項２、請求項３、請求項４、請求項５のいずれか１項に記載の文字列認識装置。 - 前記入力パターンの部分パターンとして、文字列が記載された入力画像の部分画像を対象とする、
請求項１に記載の文字列認識装置。 - 前記入力パターンの部分パターンとして、手書き入力パターンの部分パターンを対象とする、
請求項１に記載の文字列認識装置。 - コンピュータを、
認識対象の文字列である入力パターン内の部分パターンの系列に対して算出した単文字確信度と、
再帰的ニューラルネットワークで算出した注視情報から、
注視単文字確信度を算出し、
認識結果であるラベル間でパラメータを共有した予測器
として機能させ、
前記予測器は、前記注視単文字確信度を特徴量のひとつとして利用する、
文字列認識プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177565A JP7172351B2 (ja) | 2018-09-21 | 2018-09-21 | 文字列認識装置及び文字列認識プログラム |
| US16/365,688 US11126883B2 (en) | 2018-09-21 | 2019-03-27 | Character string recognition apparatus, and non-transitory computer readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177565A JP7172351B2 (ja) | 2018-09-21 | 2018-09-21 | 文字列認識装置及び文字列認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020047213A JP2020047213A (ja) | 2020-03-26 |
| JP7172351B2 true JP7172351B2 (ja) | 2022-11-16 |
Family
ID=69883213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018177565A Active JP7172351B2 (ja) | 2018-09-21 | 2018-09-21 | 文字列認識装置及び文字列認識プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11126883B2 (ja) |
| JP (1) | JP7172351B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10984279B2 (en) * | 2019-06-13 | 2021-04-20 | Wipro Limited | System and method for machine translation of text |
| JP6813704B1 (ja) * | 2020-05-15 | 2021-01-13 | 株式会社東芝 | 情報処理装置、情報処理方法、およびプログラム |
| CN114359679A (zh) * | 2020-09-30 | 2022-04-15 | 京东方科技集团股份有限公司 | 文本识别方法和文本识别系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016212473A (ja) | 2015-04-30 | 2016-12-15 | 富士ゼロックス株式会社 | 情報処理装置および情報処理プログラム |
| JP2017091525A (ja) | 2015-11-03 | 2017-05-25 | バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ | 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク（ａｂｃ−ｃｎｎ）のシステム及び方法 |
| JP2017215859A (ja) | 2016-06-01 | 2017-12-07 | 日本電信電話株式会社 | 文字列認識装置、方法、及びプログラム |
| JP2018045359A (ja) | 2016-09-13 | 2018-03-22 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0644409A (ja) | 1992-07-27 | 1994-02-18 | Seiko Epson Corp | 文字認識装置 |
| US5418862A (en) * | 1992-08-10 | 1995-05-23 | United Parcel Service Of America | Method and apparatus for detecting artifact corners in two-dimensional images |
| US5880451A (en) * | 1997-04-24 | 1999-03-09 | United Parcel Service Of America, Inc. | System and method for OCR assisted bar code decoding |
| JP3246432B2 (ja) * | 1998-02-10 | 2002-01-15 | 株式会社日立製作所 | 宛名読取り装置および郵便物等区分機 |
| US20060008148A1 (en) * | 2004-07-06 | 2006-01-12 | Fuji Photo Film Co., Ltd. | Character recognition device and method |
| JP4158937B2 (ja) * | 2006-03-24 | 2008-10-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 字幕修正装置 |
| JP5029030B2 (ja) * | 2007-01-22 | 2012-09-19 | 富士通株式会社 | 情報付与プログラム、情報付与装置、および情報付与方法 |
| JP5853488B2 (ja) * | 2011-08-19 | 2016-02-09 | 富士ゼロックス株式会社 | 情報処理装置およびプログラム |
| JP5774558B2 (ja) * | 2012-08-10 | 2015-09-09 | 株式会社東芝 | 手書き文書処理装置、方法及びプログラム |
| JP5962419B2 (ja) * | 2012-10-15 | 2016-08-03 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| US10564714B2 (en) * | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| JP6342298B2 (ja) * | 2014-10-31 | 2018-06-13 | 株式会社東芝 | 文字認識装置、画像表示装置、画像検索装置、文字認識方法およびプログラム |
| US10235332B2 (en) * | 2015-04-09 | 2019-03-19 | Veritoll, Llc | License plate distributed review systems and methods |
| JP2017151493A (ja) * | 2016-02-22 | 2017-08-31 | 富士ゼロックス株式会社 | 画像処理装置、画像読み取り装置及びプログラム |
| JP6679350B2 (ja) * | 2016-03-09 | 2020-04-15 | キヤノン株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| JP6801637B2 (ja) * | 2017-12-08 | 2020-12-16 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
| JP7234495B2 (ja) * | 2018-01-25 | 2023-03-08 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及びプログラム |
-
2018
- 2018-09-21 JP JP2018177565A patent/JP7172351B2/ja active Active
-
2019
- 2019-03-27 US US16/365,688 patent/US11126883B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016212473A (ja) | 2015-04-30 | 2016-12-15 | 富士ゼロックス株式会社 | 情報処理装置および情報処理プログラム |
| JP2017091525A (ja) | 2015-11-03 | 2017-05-25 | バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ | 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク（ａｂｃ−ｃｎｎ）のシステム及び方法 |
| JP2017215859A (ja) | 2016-06-01 | 2017-12-07 | 日本電信電話株式会社 | 文字列認識装置、方法、及びプログラム |
| JP2018045359A (ja) | 2016-09-13 | 2018-03-22 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
Non-Patent Citations (1)
| Title |
|---|
| Suman K. Ghosh et al.，Visual attention models for scene text recognition，2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR)，米国，IEEE，2017年，p.943－p.948，https://ieeexplore.ieee.org/document/8270089 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200097750A1 (en) | 2020-03-26 |
| JP2020047213A (ja) | 2020-03-26 |
| US11126883B2 (en) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7193252B2 (ja) | 画像の領域のキャプション付加 | |
| JP7457647B2 (ja) | 画像コンテンツ認識のための方法およびシステム | |
| US20220375225A1 (en) | Video Segmentation Method and Apparatus, Device, and Medium | |
| US11461638B2 (en) | Figure captioning system and related methods | |
| US20130259378A1 (en) | Methods and systems for assessing the quality of automatically generated text | |
| JP7172351B2 (ja) | 文字列認識装置及び文字列認識プログラム | |
| RU2641225C2 (ru) | Способ выявления необходимости обучения эталона при верификации распознанного текста | |
| US20180260735A1 (en) | Training a hidden markov model | |
| WO2023173560A1 (zh) | 基于rpa和ai的文本纠错方法、训练方法及其相关设备 | |
| US20210166138A1 (en) | Systems and methods for automatically detecting and repairing slot errors in machine learning training data for a machine learning-based dialogue system | |
| CN111079432A (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| JP2019153293A (ja) | 人工ニューラルネットワークを用いたｏｃｒシステムのための、線認識最大−最小プーリングを用いたテキスト画像の処理 | |
| US20240346808A1 (en) | Machine learning training dataset optimization | |
| CN112749277A (zh) | 医学数据的处理方法、装置及存储介质 | |
| CN112699671B (zh) | 一种语言标注方法、装置、计算机设备和存储介质 | |
| Qureshi et al. | A novel offline handwritten text recognition technique to convert ruled-line text into digital text through deep neural networks | |
| JP6986287B2 (ja) | 音声における記号シーケンスの推定 | |
| US11410443B2 (en) | Labelling training method and system for implementing the same | |
| CN113761845A (zh) | 一种文本生成方法、装置、存储介质及电子设备 | |
| CN111552780B (zh) | 医用场景的搜索处理方法、装置、存储介质及电子设备 | |
| CN114492386A (zh) | 网络文本中药物名称及药物不良反应的联合检测方法 | |
| JP5888222B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP6511942B2 (ja) | 情報処理装置および情報処理プログラム | |
| RU2777354C2 (ru) | Система распознавания изображения: beorg smart vision | |
| US20240282093A1 (en) | Fine-tuning computer vision neural neworks using task rewards |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221017 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7172351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |