JP7806509B2 - 推定装置、推定方法、及びプログラム - Google Patents

Description

本発明は、推定装置、推定方法、及びプログラムに関する。

特許文献１には、画像信号に基づいて画像処理した文字数字パタ－ンを複数の文字数字パタ－ンと参照することにより撮像された文字数字を認識したうえ認識した文字数字デ－タを出力することが記載されている。特許文献２及び特許文献３には、三次元計測データを用いて文字数字を判別することが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平１０－１９８８０４号公報
［特許文献２］ 特開２００７－２１９９４３号公報
［特許文献３］ 特開２０１６－３３７９７号公報

三次元計測データを用いずに精度よく文字を判別できることが望まれている。

本発明の一態様に係る推定装置は、表面に文字列が形成された対象物を撮像することで得られる画像データを取得する取得部を備えてよい。推定装置は、画像データから予め定められた大きさの部分画像データを予め定められた方向に走査することで順次トリミングするトリミング部を備えてよい。推定装置は、部分画像データを予め定められた大きさの複数の分割画像データに分割する分割部を備えてよい。推定装置は、特定の文字を示す画像データと特定の文字との組み合わせを教師データとして機械学習させ、画像データに示される文字を予測する学習モデルに従って、複数の分割画像データのそれぞれに示される文字候補、及び文字候補の確信度を分割画像データごとに特定する特定部を備えてよい。推定装置は、それぞれの部分画像データに対応するそれぞれの分割画像データの確信度に基づいて、文字列を推定する推定部を備えてよい。

推定装置は、複数の部分画像データのそれぞれに対して、予め定められた複数の条件で、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つを含む画像補正を行い、１つの部分画像データから画像補正された複数の部分画像データを生成する画像補正部をさらに備えてよい。分割部は、画像補正された複数の部分画像データのそれぞれを、予め定められた大きさの複数の分割画像データに分割してよい。特定部は、画像補正された複数の分割画像データのそれぞれについて、学習モデルに従って、複数の分割画像データのそれぞれに示される文字候補、及び文字候補の確信度を特定してよい。推定部は、複数の部分画像データのそれぞれに対応する複数の分割画像データのそれぞれの確信度に基づいて、文字列を推定してよい。

推定装置は、複数の分割画像データのそれぞれに対して、予め定められた複数の条件で、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つを含む画像補正を行い、１つの分割画像データから画像補正された複数の分割画像データを生成する画像補正部をさらに備えてよい。特定部は、画像補正された複数の分割画像データのそれぞれについて、学習モデルに従って、複数の分割画像データのそれぞれに示される文字候補、及び文字候補の確信度を特定してよい。推定部は、複数の部分画像データのそれぞれに対応する複数の分割画像データのそれぞれの確信度に基づいて、文字列を推定してよい。

特定部は、画像補正された複数の分割画像データのそれぞれについて特定された文字候補の確信度の平均値が最も高い文字候補を最終的な文字候補と特定し、文字候補の確信度の平均値を、最終的な文字候補の確信度と特定してよい。

トリミング部は、予め定められた方向に第１間隔で対象物の画像データから複数の部分画像データを順次トリミングした後、特定部により特定される複数の部分画像データのそれぞれの複数の分割画像データの確信度に基づいて、対象物の画像データの画像領域から文字列が含まれる可能性が高い候補領域を絞り込み、候補領域について予め定められた方向に第１間隔より短い第２間隔で複数の部分画像データを順次トリミングしてよい。

対象物の表面は、円形部分を含み、文字列は、円形部分の縁部分に形成されてよい。トリミング部は、円形部分の円弧に沿った予め定められた方向に走査することで画像データから部分画像データを順次トリミングしてよい。

推定部は、推定された文字列が予め定められた規則に従った文字列でない場合、推定エラーと判断してよい。

推定部は、文字列を構成する少なくとも１つの文字候補の確信度が閾値以下の場合、推定エラーと判断してよい。

推定装置は、予め定められた期間に特定部により特定された複数の分割画像データのそれぞれの文字候補の確信度に基づいて、学習モデルの再学習が必要か否かを判定する判定部を備えてよい。推定装置は、学習モデルの再学習が必要である場合、学習モデルの再学習を促すメッセージを通知する通知部を備えてよい。

文字列は、対象物の表面に凹凸状に形成されてよい。

本発明の一態様に係る推定方法は、表面に文字列が形成された対象物を撮像することで得られる画像データを取得する段階を備えてよい。推定方法は、画像データから予め定められた大きさの部分画像データを予め定められた方向に走査することで順次トリミングする段階を備えてよい。推定方法は、部分画像データを予め定められた大きさの複数の分割画像データに分割する段階を備えてよい。推定方法は、特定の文字を示す画像データと特定の文字との組み合わせを教師データとして機械学習させ、画像データに示される文字を予測する学習モデルに従って、複数の分割画像データのそれぞれに示される文字候補、及び文字候補の確信度を分割画像データごとに特定する段階を備えてよい。推定方法は、それぞれの部分画像データに対応するそれぞれの分割画像データの確信度に基づいて、文字列を推定する段階を備えてよい。

本発明の一態様に係るプログラムは、上記推定装置として、コンピュータを機能させるためのプログラムでよい。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

文字列推定システムの全体構成の一例を示す図である。 推定装置の機能ブロックの一例を示す図である。 トリミング部が走査する様子の一例を示す図である。 画像補正について説明するための図である。 文字候補及び確信度の特定方法について説明するための図である。 文字列を推定する方法について説明するための図である。 文字列を推定する手順の一例を示すフローチャートである。 再学習の必要性の有無を判定する手順の一例を示すフローチャートである。 ハードウェア構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

シリンダヘッド、またはシリンダブロックなどの鋳物部品、排水管などの鋳鉄管、自動車用タイヤのサイドウォールなどの表面には、凹凸状に形成された文字列が鋳出しされ、刻印されることがある。このような文字列を画像認識により判別することが要求される場合がある。

凹凸状に形成された文字を判別する場合に、文字をＣＣＤカメラなどの撮像装置で撮像することで得られる画像データと、予め登録された文字を示す画像データとをパターンマッチングすることで、画像データに示される文字を認識することが考えられる。しかし、素地、すなわち背景と、文字とが同系色であると、画像データを人間の目で確認すれば文字を認識できるが、パターンマッチング等の画像処理による文字の判別は精度よく行えない場合がある。

一方、凹凸の高さを示す三次元計測データを用いて文字を判別することで、素地と文字とが同系色の場合でも判別の精度の低下を抑制することが考えられる。しかしながら、三次元計測データを利用するためには、三次元計測装置が必要になり、二次元画像データを利用するために必要なＣＣＤカメラなどに比べると処理の負担が増加し、コストも増加する。

そこで、本実施形態では、三次元計測データを用いることなく、精度よく文字の判別が可能なシステムを提供する。

図１は、本実施形態に係る文字列推定システム１０の全体構成の一例を示す図である。文字列推定システム１０は、撮像装置３０、画像収集装置５０、及び推定装置１００を備える。撮像装置３０は、対象物２０を撮像して、画像データを出力する。撮像装置３０は、ＣＣＤまたはＣＭＯＳなどのイメージセンサを備える。対象物２０は、表面に文字列２２が形成されている。対象物２０は、シリンダヘッド、またはシリンダブロックなどの鋳物部品、排水管などの鋳鉄管、自動車用タイヤなどでよい。対象物２０の表面には、凹凸状に形成された文字列が鋳出しされ、刻印されている。

撮像装置３０は、対象物２０の表面を撮像して得られる画像データを出力する。画像収集装置５０は、撮像装置３０から出力された画像データを収集して、メモリに保存する。画像収集装置５０は、ネットワーク上に存在するデータベースに画像データを格納してもよい。推定装置１００は、画像収集装置５０により収集された画像データを用いて、対象物２０の表面に形成された文字列を推定する。

図２は、推定装置１００の機能ブロックの一例を示す。推定装置１００は、取得部１０２、トリミング部１０４、分割部１０６、画像補正部１０８、特定部１１０、推定部１１２、判定部１１４、及び通知部１１６を備える。

取得部１０２は、表面に文字列が形成された対象物２０を撮像することで得られる画像データを、画像収集装置５０を介して取得する。トリミング部１０４は、画像データから予め定められた大きさの部分画像データを予め定められた方向に走査することで順次トリミングする。トリミング部１０４は、画像データから部分画像データを文字列の並ぶ方向に沿って走査することで順次トリミングしてよい。予め定められた大きさは、画像データの画像領域内の文字列の大きさに対応する。

対象物２０の文字列２２が形成されている部分は、管のフランジ部分などの円形部分、リング状部分でよい。文字列２２は、円形部分の縁部分に形成されてよい。トリミング部１０４は、円形部分の円弧に沿った予め定められた方向に走査することで画像データから複数の部分画像データを順次トリミングしてよい。

図３は、トリミング部１０４が走査する様子の一例を示す。トリミング部１０４は、画像データの画像領域から対象物２０の円形部分を検知する。トリミング部１０４は、例えば、エッジ検出により、画像領域から対象物２０の円形部分を検知してよい。トリミング部１０４は、検知された円形部分の円の半径ｒと、中心Ｐの座標情報から中心座標を軸心として軸心回りに一定微小変位角ごとに周方向に、予め定められた大きさのトリミング枠２４を一周分以上走査して、画像データから部分画像データを順次トリミングする。

トリミング部１０４は、検知された円形部分の円の半径ｒと、中心Ｐの座標情報を用いて極座標変換を行い、中心座標を軸心として軸心回りに一定微小変位角ごとに周方向に、トリミング枠２４を一周分以上走査して、画像データから部分画像データを順次トリミングしてもよい。トリミング部１０４は、ハフ変換を用いて、円形部分の円の半径ｒと、中心Ｐの座標情報とを特定し、円形部分の円の半径ｒと、中心Ｐの座標情報とを用いて極座標変換を行い、中心座標を軸心として軸心回りに一定微小変位角ごとに周方向に、トリミング枠２４を一周分以上走査して、画像データから部分画像データを順次トリミングしてもよい。

トリミング部１０４がトリミング枠２４を微小変位角ごとに走査する場合、特定部１１０は、トリミング枠２４の重心と、特定対象の文字列の重心とが近いときにトリミングされた部分画像データを用いて文字を特定することが好ましい。また、外乱光などの影響で撮像装置３０により撮像される画像データの輝度、コントラスト、及び彩度などが変化し、文字の特定の精度が低下する場合がある。

そこで、画像補正部１０８は、複数の部分画像データのそれぞれに対して、予め定められた複数の条件で、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つを含む画像補正を行い、１つの部分画像データから画像補正された複数の部分画像データを生成してよい。画像補正部１０８は、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つのパラメータをランダムに変更した複数の条件で、複数の部分画像データのそれぞれを画像補正して、１つの部分画像データから画像補正された複数の部分画像データを生成してよい。

分割部１０６は、画像補正された部分画像データを予め定められた大きさの複数の分割画像データに分割する。予め定められた大きさは、画像データの画像領域内で想定される文字の予め定められた大きさに対応する。

例えば、図４に示すように、画像補正部１０８は、１つの部分画像データ２１０に対して、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つのパラメータをランダムに変更した複数の条件で画像補正を行い、複数の部分画像データ２１０を生成する。分割部１０６は、複数の部分画像データ２１０のそれぞれを予め定められた大きさの複数の分割画像データ２０２に分割する。

特定部１１０は、特定の文字を示す画像データと特定の文字との組み合わせを教師データとして機械学習させ、画像データに示される文字を予測する学習モデルに従って、複数の分割画像データ２０２のそれぞれに示される文字候補、及び文字候補の確信度を分割画像データ２０２ごとに特定する。学習モデルは、深層学習モデルでよい。特定部１１０は、特定された文字候補と、文字候補の確信度とを対応付けてテーブル２５０に登録してよい。特定部１１０は、Ｓｏｆｔｍａｘ関数の出力などを用いて確信度を特定してよい。特定部１１０は、教師データとなる文字を示す画像データの特徴ベクトルと、分割画像データの特徴ベクトルとの類似度、例えばＣＯＳ類似度を用いて確信度を特定してよい。

なお、画像補正部１０８は、分割部１０６により分割されたそれぞれの分割画像データに対して個別に画像補正を行ってよい。すなわち、画像補正部１０８は、複数の分割画像データ２０２のそれぞれに対して、予め定められた複数の条件で、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つを含む画像補正を行い、１つの分割画像データ２０２から画像補正された複数の分割画像データ２０２を生成してよい。そして、特定部１１０は、画像補正された複数の分割画像データのそれぞれについて、学習モデルに従って、複数の分割画像データ２０２のそれぞれに示される文字候補、及び文字候補の確信度を特定してよい。

鋳出し文字であっても人間の目では、ほとんどの文字を判別できる。したがって、人間の文字認識手段と近い深層学習モデルによる学習方法を用いることで、特定部１１０は、精度よく文字を特定できる。

例えば、図５に示すように、画像補正を行った後に、特定部１１０は、画像補正後のそれぞれの分割画像データ２０２について文字候補ごとに確信度を特定する。そして、特定部１１０は、複数の分割画像データ２０２のそれぞれについて特定された候補文字の確信度の平均値が最も高い候補文字を最終的な候補文字と特定する。図５に示す例では、特定部１１０は、文字候補「Ｅ」の確信度の平均値が最も高いので、最終的な文字候補を「Ｅ」、確信度を文字候補「Ｅ」の確信度の平均値である「０．７３」と特定する。

このように、特定部１１０は、複数の分割画像データ２０２のそれぞれについて特定された候補文字の確信度の平均値が最も高い候補文字を最終的な候補文字と特定し、文字候補の確信度の平均値を、最終的な候補文字の確信度と特定する。これにより、隣接する文字が見切れているような場合、または外乱などの影響で誤認識率が高くなることを防止できる。

実際のデータでは、各文字の出現頻度が異なる不均衡なデータセットになることが多い。このような場合、データの不均衡性による深層学習モデルの出力の偏りを補正するようなＦｏｃａｌ Ｌｏｓｓなどの学習方法を用いることが一般的である。しかし、画像内で見切れる文字への誤分類、特徴的な形状の文字「８」などが見切れている場合、単純な形状「１」などの文字よりも、見切れている文字へと誤分類する可能性が高い。一方、本実施形態によれば、画像補正された複数の分割画像データのそれぞれの分類結果と確信度の平均値を用いることで、特定部１１０が候補文字を誤分類する確率を小さくできる。

推定部１１２は、それぞれの部分画像データ２１０に対応するそれぞれの分割画像データ２０２の確信度に基づいて、文字列を推定する。推定部１１２は、図６に示すように、それぞれの部分画像データ２１０のそれぞれの分割画像データの文字候補の確信度を合計して、合計確信度を導出する。すなわち、推定部１１２は、１つの部分画像データ２１０から分割された複数の分割画像データ２０２のそれぞれの文字候補の確信度を合計して、１つの部分画像データ２１０に対して、１つの合計確信度を導出する。そして、推定部１１２は、最も合計確信度が高い部分画像データを選択して、文字列を推定する。推定部１１２は、例えば、図６に示す例では、確信度が「４．１」の部分画像データ２１０を選択して、文字列を「ＡＢＣ２２３」と推定する。

このように、推定部１１２が、分割画像データごとに確信度を特定して、合計確信度に基づいて文字列を推定する。これにより、推定部１１２は、文字列２２の重心１２０と、トリミングされた部分画像データ２１０の重心２１４とが最も重複する部分画像データ２１０を用いて文字列２２を推定できる。

なお、製造番号など予め定められた規則に基づく文字列を推定する場合には、推定部１１２は、推定された文字列が予め定められた規則に基づく文字列である場合に、最終的に推定された文字列を確定してよい。推定部１１２は、推定された文字列が予め定められた規則に基づく文字列でない場合、推定エラー、すなわち読み取り不可と判断してよい。また、推定部１１２は、文字列を構成する少なくとも１つの文字候補の確信度が閾値以下の場合、推定エラーと判断してよい。

トリミング部１０４は、予め定められた方向に第１間隔で対象物２０の画像データから複数の部分画像データ２１０を順次トリミングした後、特定部１１０により特定される複数の部分画像データ２１０のそれぞれの複数の分割画像データ２０２の確信度に基づいて、対象物２０の画像データの画像領域から文字列２２が含まれる可能性が高い候補領域を絞り込み、候補領域について予め定められた方向に第１間隔より短い第２間隔で複数の部分画像データ２１０を順次トリミングしてよい。画像データの画像領域の中で、文字列が存在する領域は、一部の領域である。したがって、まず、トリミング部１０４は、画像領域を比較的大きい間隔でトリミングして、少ない数の分割画像データ２０２の確信度に基づいて、文字列が存在する可能性が高い候補領域を絞り込む。その後、トリミング部１０４は、さらに候補領域を比較的小さい間隔でトリミングしてよい。推定部１１２は、候補領域内のそれぞれの部分画像データ２１０のそれぞれの分割画像データ２０２の確信度に基づいて、最終的に文字列２２を推定してよい。これにより、文字列の推定の処理負担を低減できる。

なお、トリミング部１０４は、処理負担の影響が少ない場合、例えば、画像領域全体の走査範囲が少ないなどの場合、２回のトリミングは行わず、１回目のトリミングの段階で、上記の第２間隔と同等の間隔で、画像データをトリミングし、特定部１１０は、トリミングして得られた複数の部分画像データ２１０に基づいて文字候補及び確信度を特定し、推定部１１２が文字列２２を推定しても構わない。

また、対象物２０が撮像される環境の変化などにより、撮像装置３０による撮像される画像データと、教師データとして用いられた画像データとの間の誤差が大きくなり、特定部１１０が、学習モデルに従って特定した候補の文字列及びその確信度の精度が低下する可能性がある。すなわち、特定部１１０により特定される確信度が継続的に低くなる可能性がある。このような場合、新たな教師データを利用して学習モデルの再学習をすることが好ましい。

そこで、判定部１１４は、予め定められた期間に特定部１１０により特定された複数の分割画像データ２０２のそれぞれの文字候補の確信度に基づいて、学習モデルの再学習が必要か否かを判定する。判定部１１４は、予め定められた期間に特定部１１０により特定された複数の分割画像データ２０２のそれぞれの文字候補の確信度の合計確信度の平均値が、予め定められた基準値以下の場合、学習モデルの再学習が必要であると判定してよい。通知部１１６は、学習モデルの再学習が必要である場合、学習モデルの再学習を促すメッセージを通知する。通知部１１６は、ユーザに電子メールなどで学習モデルの再学習を促すメッセージを通知してよい。通知部１１６は、文字列推定システム１０を管理する管理装置のディスプレイに学習モデルの再学習を促すメッセージを表示してよい。

図７は、文字列の推定の手順の一例を示すフローチャートである。

トリミング部１０４は、対象物２０を含む画像データの画像領域から部分画像データを第１間隔でトリミングする（Ｓ１００）。画像補正部１０８は、複数の部分画像データのそれぞれに対して、予め定められた複数の条件で、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つを含む画像補正を行い、１つの部分画像データから画像補正された複数の部分画像データを生成する（Ｓ１０２）。分割部１０６は、画像補正された複数の部分画像データ２１０のそれぞれを、複数の分割画像データ２０２に分割する（Ｓ１０４）。

特定部１１０は、学習モデルに従って、複数の分割画像データ２０２のそれぞれに示される文字候補、及び文字候補の確信度を分割画像データ２０２ごとに特定する（Ｓ１０６）。トリミング部１０４は、分割画像データ２０２の確信度に基づいて、画像データの画像領域から候補領域を決定する（Ｓ１０８）。文字列が含まれない領域の分割画像データ２０２の確信度は０または０に近い値である可能性が高い。一方、文字列の少なくとも一部を含む領域の分割画像データ２０２の確信度は、０より高い、例えば、０．５０以上である可能性が高い。そこで、トリミング部１０４は、分割画像データ２０２の確信度が比較的高い領域に候補領域を絞り込み、候補領域について予め定められた方向に第１間隔より短い第２間隔で複数の部分画像データ２１０を順次トリミングする（Ｓ１１０）。

画像補正部１０８は、１つの部分画像データに対して、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つのパラメータをランダムに変更した複数の条件で画像補正を行い、複数の部分画像データを生成する（Ｓ１１２）。分割部１０６は、画像補正された複数の部分画像データ２１０のそれぞれを、複数の分割画像データ２０２に分割する（Ｓ１１４）。次いで、特定部１１０は、学習モデルに従って、複数の分割画像データ２０２のそれぞれに示される文字候補、及び文字候補の確信度を分割画像データ２０２ごとに特定する（Ｓ１１６）。推定部１１２は、それぞれの部分画像データ２１０に対応するそれぞれの分割画像データ２０２の確信度に基づいて、文字列を推定する（Ｓ１１８）。

以上のように、トリミング部１０４は、文字列が存在する可能性が高い候補領域を絞り込んで、推定部１１２が最終的に文字列２２を推定する。よって、文字列の推定の処理負担を低減できる。特定部１１０は、学習済みの学習モデルに従って文字を特定するので、凹凸状に形成された文字列を認識するために三次元計測装置及び計測するための計測台を用いることなく、精度よく文字を認識できる。

さらに、特定部１１０は、複数の条件で画像補正した後の複数の分割画像データを用いて、学習モデルに従って文字を特定する。これにより、特定部１１０が、撮像環境の違いにより教師データとして用いられた画像データと輝度などが異なる画像データを用いて、学習モデルに従って文字を特定する場合でも、確信度の高い文字候補を特定しやすくできる。

図８は、再学習の有無を判定する手順の一例を示すフローチャートである。判定部１１４は、予め定められた期間に特定部１１０により特定された複数の分割画像データ２０２のそれぞれの文字候補の確信度の合計確信度の平均値を導出する（Ｓ２００）。次いで、判定部１１４は、合計確信度の平均値が基準値以下か否かを判定する（Ｓ２０２）。合計確信度の平均値が基準値以下であれば、通知部１１６は、学習モデルの再学習が必要である場合、学習モデルの再学習を促すメッセージを通知する（Ｓ２０４）。

以上の通り、確信度が低下してきた場合に、学習モデルの再学習を促すメッセージが通知されるので、再学習の必要性をユーザは即座に把握できる。

図９は、本発明の複数の態様が全体的または部分的に具現化してよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたは全てに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＤ－ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ（登録商標））、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 文字列推定システム
２０ 対象物
２２ 文字列
２４ トリミング枠
３０ 撮像装置
５０ 画像収集装置
１００ 推定装置
１０２ 取得部
１０４ トリミング部
１０６ 分割部
１０８ 画像補正部
１１０ 特定部
１１２ 推定部
１１４ 判定部
１１６ 通知部
１２０ 重心
２０２ 分割画像データ
２１０ 部分画像データ
２５０ テーブル
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (11)

1. 表面に文字列が形成された対象物を撮像することで得られる画像データを取得する取得部と、
   前記画像データから予め定められた大きさの部分画像データを予め定められた方向に走査することで順次トリミングするトリミング部と、
   前記部分画像データを予め定められた大きさの複数の分割画像データに分割する分割部と、
   特定の文字を示す画像データと前記特定の文字との組み合わせを教師データとして機械学習させ、画像データに示される文字を予測する学習モデルに従って、前記複数の分割画像データのそれぞれに示される文字候補、及び前記文字候補の確信度を分割画像データごとに特定する特定部と、
   それぞれの部分画像データに対応するそれぞれの分割画像データの確信度に基づいて、前記文字列を推定する推定部と
   を備え、
   前記対象物の前記表面は、円形部分を含み、前記文字列は、前記円形部分の縁部分に形成されており、
   前記トリミング部は、前記円形部分の円弧に沿った前記予め定められた方向に走査することで前記画像データから前記部分画像データを順次トリミングする、推定装置。
2. 複数の前記部分画像データのそれぞれに対して、予め定められた複数の条件で、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つを含む画像補正を行い、１つの部分画像データから画像補正された複数の部分画像データを生成する画像補正部をさらに備え、
   前記分割部は、画像補正された前記複数の部分画像データのそれぞれを、前記予め定められた大きさの複数の分割画像データに分割し、
   前記特定部は、画像補正された前記複数の分割画像データのそれぞれについて、前記学習モデルに従って、前記複数の分割画像データのそれぞれに示される文字候補、及び前記文字候補の確信度を特定し、
   前記推定部は、前記複数の部分画像データのそれぞれに対応する前記複数の分割画像データのそれぞれの確信度に基づいて、前記文字列を推定する、請求項１に記載の推定装置。
3. 複数の前記分割画像データのそれぞれに対して、予め定められた複数の条件で、輝度、コントラスト、彩度、回転、及び平行移動の少なくとも１つを含む画像補正を行い、１つの分割画像データから画像補正された複数の分割画像データを生成する画像補正部をさらに備え、
   前記特定部は、画像補正された前記複数の分割画像データのそれぞれについて、前記学習モデルに従って、前記複数の分割画像データのそれぞれに示される文字候補、及び前記文字候補の確信度を特定し、
   前記推定部は、複数の前記部分画像データのそれぞれに対応する前記複数の分割画像データのそれぞれの確信度に基づいて、前記文字列を推定する、請求項１に記載の推定装置。
4. 前記特定部は、画像補正された前記複数の分割画像データのそれぞれについて特定された文字候補の確信度の平均値が最も高い文字候補を最終的な文字候補と特定し、文字候補の確信度の平均値を、最終的な文字候補の確信度と特定する、請求項２または３に記載の推定装置。
5. 前記トリミング部は、前記予め定められた方向に第１間隔で前記対象物の画像データから複数の部分画像データを順次トリミングした後、前記特定部により特定される前記複数の部分画像データのそれぞれの複数の分割画像データの確信度に基づいて、前記対象物の前記画像データの画像領域から文字列が含まれる可能性が高い候補領域を絞り込み、前記候補領域について前記予め定められた方向に前記第１間隔より短い第２間隔で複数の部分画像データを順次トリミングする、請求項１から４の何れか１つに記載の推定装置。
6. 前記推定部は、推定された前記文字列が予め定められた規則に従った文字列でない場合、推定エラーと判断する、請求項１から５の何れか１つに記載の推定装置。
7. 前記推定部は、前記文字列を構成する少なくとも１つの前記文字候補の前記確信度が閾値以下の場合、推定エラーと判断する、請求項１から６の何れか１つに記載の推定装置。
8. 予め定められた期間に前記特定部により特定された前記複数の分割画像データのそれぞれの文字候補の確信度に基づいて、前記学習モデルの再学習が必要か否かを判定する判定部と、
   前記学習モデルの再学習が必要である場合、前記学習モデルの再学習を促すメッセージを通知する通知部と
   をさらに備える、請求項１から７の何れか１つに記載の推定装置。
9. 前記文字列は、前記対象物の表面に凹凸状に形成されている、請求項１から８の何れか１つに記載の推定装置。
10. 表面に文字列が形成された対象物を撮像することで得られる画像データを取得する段階と、
    前記画像データから予め定められた大きさの部分画像データを予め定められた方向に走査することで順次トリミングする段階と、
    前記部分画像データを予め定められた大きさの複数の分割画像データに分割する段階と、
    特定の文字を示す画像データと前記特定の文字との組み合わせを教師データとして機械学習させ、画像データに示される文字を予測する学習モデルに従って、前記複数の分割画像データのそれぞれに示される文字候補、及び前記文字候補の確信度を分割画像データごとに特定する段階と、
    それぞれの部分画像データに対応するそれぞれの分割画像データの確信度に基づいて、前記文字列を推定する段階と
    を備え、
    前記対象物の前記表面は、円形部分を含み、前記文字列は、前記円形部分の縁部分に形成されており、
    前記順次トリミングする段階は、前記円形部分の円弧に沿った前記予め定められた方向に走査することで前記画像データから前記部分画像データを順次トリミングする段階を含む、推定方法。
11. 請求項１から９の何れか１つに記載の推定装置として、コンピュータを機能させるためのプログラム。