JP7468472B2 - 学習済みモデル生成方法、認識方法、及び情報処理装置 - Google Patents

Description

本開示は、学習済みモデル生成方法、認識方法、及び情報処理装置に関する。

計算負荷、記憶容量の増大を招くことなく、高速に文字方向識別処理を実現できる文字方向識別装置が知られている（例えば特許文献１参照）。

特開２００６－２６０２７４号公報

歪み、滲み、又は欠落等の変形が生じた文字の識別が求められる。

そこで、本開示は、変形が生じた文字の識別を支援できる、学習済みモデル生成方法、認識方法、及び情報処理装置を提供することを目的とする。

本開示の一実施形態に係る学習済みモデル生成方法は、物体に付された表示の画像から前記表示の認識結果を出力する学習済みモデルを生成する。前記学習済みモデル生成方法は、前記表示の画像に対して、前記表示の外形を表す第１ラベルを付与したデータを教師データとして生成する第１ステップを含む。前記学習済みモデル生成方法は、前記教師データに基づいて学習することによって前記学習済みモデルを生成する第２ステップを含む。

本開示の一実施形態に係る認識方法は、前記学習済みモデル生成方法を実行することによって生成した前記学習済みモデルを用いて前記表示を認識する第３ステップを含む。

本開示の一実施形態に係る情報処理装置は、前記学習済みモデル生成方法又は前記認識方法を実行する制御部を備える。

本開示に係る学習済みモデル生成方法、認識方法、及び情報処理装置によれば、変形が生じた文字の識別が支援され得る。

本開示の一実施形態に係る情報処理システムの構成例を示すブロック図である。 本開示の一実施形態に係る学習済みモデル生成方法の手順例を示すフローチャートである。 本開示の一実施形態に係る認識方法の手順例を示すフローチャートである。 傾きが小さい表示を写した画像の例を示す図である。 反時計回りに傾いた表示を写した画像の例を示す図である。 時計回りに傾いた表示を写した画像の例を示す図である。 反時計回りに傾き、歪んだ表示を写した画像の例を示す図である。 各要素が異なる角度で傾いた表示を写した画像の例を示す図である。 比較例において、表示の各要素に対して各要素を囲む矩形のラベルを付した例を示す図である。 本開示の一実施形態において表示の各要素に対して各要素の輪郭を囲む領域としてラベルを付した例を示す図である。 表示の各要素が数字である場合に、０から９までの数字にラベルを付した例を示す図である。 鋼材ロールの側面に表示を付した例を示す図である。 表示が歪んだ場合に各要素にラベルを付した例を示す図である。 表示を写した画像の回転角度と、表示の各要素のうち前半の３つの要素の認識結果の信頼度との関係を示す図である。 表示を写した画像の回転角度と、表示の各要素のうち後半の３つの要素の認識結果の信頼度との関係を示す図である。 内側に輪郭を有する要素にラベルを付した例を示す図である。 スラブ端面に付した表示と、その表示にラベルを付した例を示す図である。 凹凸を有する表面に付した表示と、その表示にラベルを付した例を示す図である。 一部が欠けた表示と、その表示にラベルを付した例を示す図である。

以下、本開示に係る学習済みモデル生成方法、認識方法、及び情報処理装置１０（図１参照）の実施形態が図面に基づいて説明される。各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下の実施形態は、本開示の技術的思想を具体化するための装置又は方法を例示するものであり、構成を下記のものに特定するものでない。すなわち、本開示の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

（情報処理システム１の概要）
図１に示されるように、一実施形態に係る情報処理システム１は、情報処理装置１０と、撮像装置２０とを備える。撮像装置２０は、物体に付された表示を撮影する。情報処理装置１０は、撮像装置２０で撮影した画像に写っている表示を認識する。情報処理装置１０は、画像を学習済みモデルに入力し、その画像に写っている表示の認識結果を学習済みモデルから取得する。学習済みモデルは、入力された画像に写っている表示の認識結果を出力するように構成される。情報処理装置１０は、物体に付された表示に関する教師データに基づく学習を実行することによって、学習済みモデルを生成してもよい。

情報処理装置１０は、制御部１２と、通信部１４と、出力部１６と、入力部１８とを備える。制御部１２は、情報処理装置１０の種々の機能を制御及び管理するために、例えばＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の少なくとも１つのプロセッサを含んで構成されてよい。制御部１２は、１つのプロセッサで構成されてよいし、複数のプロセッサで構成されてよい。制御部１２を構成するプロセッサは、後述する記憶部に格納されたプログラムを読み込んで実行することによって、情報処理装置１０の機能を実現してよい。

制御部１２は、記憶部を備えてよい。記憶部は、各種の情報又はデータ等を格納する。記憶部は、例えば制御部１２において実行されるプログラム、又は、制御部１２において実行される処理で用いられるデータ若しくは処理の結果等を格納してよい。また、記憶部は、制御部１２のワークメモリとして機能してよい。記憶部は、例えば半導体メモリ等を含んで構成されてよいがこれに限定されない。例えば、記憶部は、制御部１２として用いられるプロセッサの内部メモリとして構成されてもよいし、制御部１２からアクセス可能なハードディスクドライブ（ＨＤＤ）として構成されてもよい。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、制御部１２と一体に構成されてもよいし、制御部１２と別体として構成されてもよい。

通信部１４は、有線又は無線によって撮像装置２０等の他の装置と通信するための通信インタフェースを含んで構成されてよい。通信インタフェースは、ネットワークを介して他の装置と通信可能に構成されてよい。通信部１４は、他の装置との間でデータを入出力する入出力ポートを含んで構成されてよい。通信部１４は、プロセスコンピュータ又は上位システムに対して、必要なデータ及び信号を送受信する。通信部１４は、有線通信規格に基づいて通信してよいし、無線通信規格に基づいて通信してもよい。例えば無線通信規格は３Ｇ、４Ｇ及び５Ｇ等のセルラーフォンの通信規格を含んでよい。また、例えば無線通信規格は、ＩＥＥＥ８０２．１１及びＢｌｕｅｔｏｏｔｈ（登録商標）等を含んでよい。通信部１４は、これらの通信規格の１つ又は複数をサポートしてよい。通信部１４は、これらの例に限られず、種々の規格に基づいて他の装置と通信したりデータを入出力したりしてよい。

出力部１６は、制御部１２から取得した情報を出力する。出力部１６は、直接又は外部装置等を介して、文字、図形、又は画像等の視覚情報を出力することによってユーザに情報を通知してよい。出力部１６は、表示デバイスを備えてもよいし、表示デバイスと有線又は無線で接続されてもよい。表示デバイスは、例えば液晶ディスプレイ等の種々のディスプレイを含んでよい。出力部１６は、直接又は外部装置等を介して、音声等の聴覚情報を出力することによってユーザに情報を通知してもよい。出力部１６は、スピーカ等の音声出力デバイスを備えてもよいし、音声出力デバイスと有線又は無線で接続されてもよい。出力部１６は、振動デバイスを備えてもよい。出力部１６は、視覚情報、聴覚情報又は触覚情報だけでなく、直接又は外部装置等を介して、ユーザが他の感覚で知覚できる情報を出力することによってユーザに情報を通知してもよい。

入力部１８は、ユーザからの入力を受け付ける入力デバイスを含んでもよい。入力デバイスは、例えば、キーボード又は物理キーを含んでもよいし、タッチパネル若しくはタッチセンサ又はマウス等のポインティングデバイスを含んでもよい。入力デバイスは、これらの例に限られず、他の種々のデバイスを含んでもよい。

撮像装置２０は、例えばカメラ等を含んで構成されてよい。撮像装置２０は、撮像素子を含んで構成されてよい。撮像装置２０の設置環境に合わせて、粉塵又は油滴の対策が行われてもよい。撮像装置２０は、物体に付された表示を撮影し、その撮影画像を情報処理装置１０に出力する。情報処理装置１０は、通信部１４で撮影画像を取得してよい。

情報処理システム１が表示を読み取る対象とする物体は、種々の材料又は製品等を含んでよい。物体は、例えば鋼板又は鋼管等の種々の鋼材を含んでよい。物体は、例えば板状の鋼材を巻き取ってロール状にしたコイル８０（図４等参照）を含んでよい。物体は、例えば、鋼材を製造する途中の工程で産出されるスラブ又はビレット等の中間材を含んでもよい。物体は、例えば、鋼材に限られず、木材又は石材等の種々の材質で構成されてもよい。物体は、工業製品等の種々の製品を含んでもよい。

情報処理システム１が読み取る対象とする表示は、物体に対して印字、刻印又はマーキングされた、線若しくは点、又は、線と点との組み合わせを含んでよい。表示は、例えば文字、記号、又は図形等を含んで構成されてよい。表示は、それぞれ独立して認識可能な１つの文字等を要素として含む。要素は、例えば、１つの文字、記号又は図形等で構成されてよいし、２つ以上の文字、記号又は図形等の集合で構成されてもよい。要素は、文字、記号又は図形等の組み合わせで構成されてもよい。印字は、例えばインク又は塗料等によって描かれた点又は線を含んでよい。刻印は、例えば版を物体に押し付けることによって作られた物体表面の凹凸によって描かれた点又は線を含んでよい。マーキングは、例えばレーザマーカ等によって作られた物体表面の凹凸によって描かれた点又は線を含んでよい。

（情報処理システム１の動作例）
情報処理システム１は、学習済みモデルを用いて物体に付された表示を読み取る。学習済みモデルは、物体に付された表示を写した画像を学習済みモデルに入力することによって、表示の認識結果を出力するように構成される。学習済みモデルは、表示に含まれる要素毎に認識結果を出力するように構成されてよいし、表示に含まれる各要素の認識結果をまとめて出力するように構成されてもよい。

情報処理システム１は、物体に付された表示を写した画像を教師データとして学習することによって学習済みモデルを生成する。情報処理システム１は、表示の各要素の画像を教師データとして学習してもよいし、複数の要素を写した画像を教師データとして学習してもよい。本実施形態において、以下、要素は文字であるとして説明される。

情報処理装置１０の制御部１２は、図２に例示されるフローチャートの手順を含む学習済みモデル生成方法を実行することによって、学習済みモデルを生成してよい。また、制御部１２は、図３に例示されるフローチャートの手順を含む認識方法を実行することによって、物体に付された表示を認識してよい。学習済みモデル生成方法及び認識方法は、制御部１２を構成するプロセッサに実行させる学習済みモデル生成プログラム及び認識プログラムとして実現されてもよい。学習済みモデル生成プログラム及び認識プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

制御部１２は、表示を写した画像を取得する（ステップＳ１）。具体的に、制御部１２は、撮像装置２０から画像を取得する。制御部１２は、撮像装置２０を制御して、物体に付された表示を撮像装置２０に撮影させてよい。図４から図８までに、コイル８０に付された表示３０を写した画像の例が示される。図４の画像に写っている表示３０の各文字は、画像の水平方向に沿って並んでいる。図５の画像に写っている表示３０の各文字は、画像の水平方向に対して反時計回りに回転した方向に沿って並んでいる。図６の画像に写っている表示３０の各文字は、画像の水平方向に対して時計回りに回転した方向に沿って並んでいる。図７の画像に写っている表示３０の各文字は、画像の水平方向に対して反時計回りに回転した方向に沿って並んでいるものの、それぞれ異なる大きさに変形している。図８の画像に写っている表示３０の各文字は、一方向に沿って並ばずに曲線に沿って並んでいる。また、図８の画像に写っている表示３０の各文字は、異なる大きさに変形している。

制御部１２は、回転画像を生成する（ステップＳ２）。具体的に、制御部１２は、取得した画像を時計回り又は反時計回りに所定角度だけ回転させた画像を生成する。制御部１２は、所定角度を例えば１度又は２度等ずつ増えた値に設定してよい。本実施形態において制御部１２は、所定角度として時計回り及び反時計回りそれぞれに２０度まで回転させた回転画像を生成する。所定角度は、２０度までに限られず１８０度までに設定されてもよい。

工業製品の製造ラインにおいて製造中の製品としての物体に付された表示３０を認識する場合、表示３０を写した画像において、表示３０の向きは不定である。学習済みモデルを生成するための学習の教師データとして回転画像を生成することによって、種々の向きに回転した表示３０の認識精度が向上され得る。制御部１２は、回転処理とあわせて、画像のコントラスト若しくは輝度の調整、又は、ノイズの調整を行ってもよい。

制御部１２は、ラベル５０を付与する（ステップＳ３）。具体的に、制御部１２は、表示３０を輪郭で囲む領域としてラベル５０を付してよい。比較例として、図９Ａに、表示３０の各文字に対して各文字を囲む矩形のバウンディングボックスのラベル９０を付した例が示される。一方、本開示に係る一実施形態として、図９Ｂに、表示３０の各文字に対して各文字の輪郭を囲む領域のラベル５０を付した例が示される。比較例のようなバウンディングボックスのラベル９０は、表示３０の各文字が歪んだり滲んだりしている場合に各文字の形状を正確に捉えにくい。本開示に係る一実施形態のように各文字の輪郭を囲む領域のラベル５０は、各文字の形状を正確に捉えやすい。

表示３０の形状の輪郭に沿った境界線として付与されるラベル５０は、第１ラベルとも称される。第１ラベルは、表示３０に含まれる各要素（各文字）の外形を表すように生成され得る。第１ラベルは、表示３０の各要素が内周を有する場合、内周の形状を表すように生成されてもよい。

制御部１２によって各文字に対して付されるラベル５０は、図１０に示されるように、辺５２と頂点５４とを有する多角形として表されてよい。図１０において、表示３０が０から９までの数字を含む場合に、制御部１２は、各数字に多角形のラベル５０を付す。つまり、第１ラベルは、表示３０の外形の輪郭を複数の直線で近似した多角形として表され得る。

また、図１１に示されるように、表示３０がコイル８０の側面に付されている場合、表示３０の領域は、コイル８０を構成する複数の鋼板８２にまたがって広がる。コイル８０において鋼板８２の巻き取りが緩むことがある。コイル８０が緩んだ場合、巻き取られている鋼板８２の位置関係が変化し得る。その結果、複数の鋼板８２にまたがっている表示３０が歪んだり拡大したり縮小したりして変形し得る。制御部１２は、図１２に示されるように、変形した各数字に対しても多角形のラベル５０を付してよい。

制御部１２は、画像に写った表示３０の各要素（各文字）の領域を画像のセグメンテーションによって検出し、検出した領域にラベル５０を付してよい。また、制御部１２は、表示３０の各要素にラベル５０を付すために、表示３０の各要素の位置を検出してよい。制御部１２は、セグメンテーションによって表示３０の各要素の位置を検出してよいし、表示３０の各要素を矩形ボックスで囲むことによって表示３０の各要素の位置を検出してもよい。

制御部１２は、表示３０を写した画像に対して、その表示３０の内容を表す第２ラベルを付与してもよい。第２ラベルは、例えば、表示３０が文字若しくは記号、又は図形であることを特定する情報を含んでよい。第２ラベルは、表示３０の各要素がどの種類の文字を表しているか等を特定する情報を含んでよい。制御部１２は、表示３０を写した画像に対して第１ラベル又は第２ラベルを付した情報を、後述する学習に用いる教師データとして生成する。また、制御部１２は、表示３０を写した画像を回転させた回転画像に対して、第１ラベル又は第２ラベルを付した情報を、教師データとして生成してもよい。

制御部１２は、ラベル５０を付与した各要素（各文字）の画像を教師データとして学習することによって学習済みモデルを生成する（ステップＳ４）。具体的に、制御部１２は、ラベル５０を付与した各要素の画像に対してその要素が表す内容の正解データを関連づけて学習する。制御部１２は、学習済みモデルにおける物体検出のアルゴリズムとして、例えばDetectronを用いてよいし、Faster RCNN(Regions with Convolutional Neural Networks)又はYOLO(You Only Look Once)等を用いてもよい。

制御部１２は、学習において、表示３０を認識する学習済みモデルにおける一般的なハイパーパラメーターである学習回数、交差検定に用いるデータ割合、振動若しくは過学習に関わる学習率、モーメンタム、又は重み減衰等を調整してもよい。

本実施形態において、制御部１２は、アルゴリズムとしてDetectronを用いて学習する。例えば制御部１２は、学習回数を４０００階とし、交差検定に割くデータ数を２０％とし、学習率を０．００１とし、モーメンタムを０．９とし、重み減衰を０．０００５として学習する。また、制御部１２は、表示３０に含まれる要素（文字等）の数が６文字に固定されるとして学習する。

制御部１２は、回転画像に第１ラベルを付与した教師データに基づいて学習してもよい。

制御部１２は、ステップＳ４の手順の実行後、図２のフローチャートの手順の実行を終了する。

図２のフローチャートに例示される手順を含む学習済みモデル生成方法によれば、表示３０の各要素（各文字）の形状が正確に捉えられやすくなる。また、教師データとして回転画像を用いることによって、表示３０の各要素の向きが違う場合でも、各要素が正確に認識されやすくなる。

制御部１２は、生成した学習済みモデルを用いて、図３のフローチャートの手順を実行することによって、表示３０の各要素（各文字）を認識できる。制御部１２は、認識対象の表示３０が写った画像を取得する（ステップＳ１１）。制御部１２は、回転画像を生成する（ステップＳ１２）。具体的に、制御部１２は、時計回り及び反時計回りそれぞれに複数の角度で画像を回転させて回転画像を生成してよい。

制御部１２は、回転画像を学習済みモデルに入力する（ステップＳ１３）。制御部１２は、学習済みモデルから出力される、各回転画像における表示３０の認識結果を取得する（ステップＳ１４）。

制御部１２は、各回転画像における表示３０の認識結果に基づいて、各回転画像の信頼度を評価する（ステップＳ１５）。具体的に、制御部１２は、各回転画像の認識結果として、各回転画像における表示３０の各要素（各文字）の認識結果を取得する。学習済みモデルにおいて表示３０を認識するための推論は、情報処理装置１０がネットワークに接続される場合、クラウド上で使用可能状態になっている学習済みモデルをAPI(Application Programming Interface)の形で利用することによって実行されてよい。

学習済みモデルは、入力された回転画像に写った文字を検出し、検出した文字の種類を認識結果として出力する。制御部１２は、学習済みモデルから、各回転画像に写った文字の認識結果を取得する。この時点で、制御部１２は、文字の種類だけの認識結果を先に取得する。文字の種類の認識結果は、その文字の種類の推定結果と、その推定結果がどの程度信頼できるかを表す信頼度の値とを含む。

例えば図１３Ａ及び図１３Ｂに示されるように、「１７０４７０」という６つの数字を含む表示３０が認識されるとする。学習済みモデルは、この表示３０を、複数の回転角度の回転画像それぞれにおいて検出する。図１３Ａにおいて６つの数字のうちの左半分の３つの数字（「１７０」）の認識結果が示される。図１３Ｂにおいて６つの数字のうちの右半分の３つの数字（「４７０」）の認識結果が示される。図１３Ａ及び図１３Ｂの横軸は、画像の回転角度を表す。回転角度が正の値の場合に時計回りの回転を表し、負の値の場合に反時計回りの回転を表す。縦軸は、認識した文字の種類の信頼度を表す。信頼度は、１に近いほど、認識した文字の種類が正解である可能性が高いことを表す。

図１３Ａの「１」の認識結果において、画像を反時計回りに２２度回転した場合（回転角度が－２２度の場合）に信頼度が最も１に近く、画像を反時計回りに１４度から３４度までの角度で回転した場合に他の角度よりも信頼度が高い。図１３Ａの「７」の認識結果において、画像を反時計回りに３０度回転した場合（回転角度が－３０度の場合）に信頼度が最も１に近く、画像を反時計回りに２０度から３４度までの角度で回転した場合に他の角度よりも信頼度が高い。図１３Ａの「０」の認識結果において、画像を反時計回りに２０度回転した場合（回転角度が－２０度の場合）に信頼度が最も１に近く、画像を反時計回りに６度から３０度までの角度で回転した場合に他の角度よりも信頼度が高い。図１３Ｂの「４」の認識結果において、画像を反時計回りに２４度回転した場合（回転角度が－２４度の場合）に信頼度が最も１に近く、画像を反時計回りに６度から３０度までの角度で回転した場合に他の角度よりも信頼度が高い。図１３Ｂの「７」の認識結果において、画像を反時計回りに１８度回転した場合（回転角度が－１８度の場合）に信頼度が最も１に近く、画像を反時計回りに１８度から２２度までの角度で回転した場合に他の角度よりも信頼度が高い。図１３Ｂの「０」の認識結果において、画像を反時計回りに１８度回転した場合（回転角度が－１８度の場合）に信頼度が最も１に近く、画像を反時計回りに６度から３２度までの角度で回転した場合に他の角度よりも信頼度が高い。

言い換えれば、制御部１２は、表示３０が写った画像を複数の角度でそれぞれ回転させた複数の回転画像を生成し、各回転画像を学習済みモデルに入力することによって各回転画像における表示３０の認識結果を取得してよい。また、制御部１２は、各回転画像における表示３０の認識結果の信頼度に基づいて複数の回転画像から少なくとも１枚の回転画像を選択し、選択した回転画像における表示３０の認識結果を出力してよい。また、制御部１２は、表示３０の各要素（各文字）について適切な回転角度の回転画像を選択してもよい。

制御部１２は、各回転画像の信頼度に基づいて画像を選択する（ステップＳ１６）。具体的に、図１３Ａ及び図１３Ｂに示した認識結果のうち、図１３Ｂの「７」の認識結果について、信頼度が高くなる回転角度の範囲は、他の文字の認識結果よりも狭い。したがって、制御部１２は、図１３Ｂの「７」（６つの数字のうち左から５番目の数字）を認識できるように、反時計回りに１８度又は２０度回転させた回転画像を選択する。

制御部１２は、認識した表示の配列を推定する（ステップＳ１７）。本ステップの実行前の時点において、選択した回転画像に写った表示３０の各要素（各文字）の種類の認識結果の信頼度が高いことしかわかっていない。制御部１２は、本ステップを実行することによって、表示３０の各要素の配列を推定する。制御部１２は、図１３Ａ及び図１３Ｂに示されるように、６つの数字が「１」、「７」、「０」、「４」、「７」及び「０」であることを特定しているものの、これらの配列についてまだ特定できていない。制御部１２は、これらの６つの数字の配列が「１７０４７０」であるか、又は、それ以外の配列であるか推定する。

具体的に、制御部１２は、各文字の位置に基づいて、各文字の配列を推定する。文字が歪んだり文字同士が重なったり接触したりする場合において、各文字の配列が推定されにくい。制御部１２は、例えば撮像装置２０の画角に対して水平方向にｘ座標、鉛直方向にｙ座標を採った際の、各文字が存在する範囲のｘ座標の最大値及び最小値から中心座標を算出し、その中心座標を基準にして各文字を配列してよい。

各要素（各文字）の配列の動作について言い換えれば、制御部１２は、表示３０に含まれる各要素の認識結果を取得し、各要素の配列を推定し、推定結果に基づいて各要素を配列した結果を、表示３０の認識結果として出力してよい。

制御部１２は、推定結果が妥当か判定する（ステップＳ１８）。制御部１２は、各文字の認識結果のうち、文字の種類及び配列それぞれが妥当であるか判定してよいし、文字の種類及び配列を総合して妥当であるか判定してもよい。

具体的に、制御部１２は、各文字が存在する範囲のｘ座標の最大値及び最小値のそれぞれが、隣接する文字が存在する範囲の最大値及び最小値と同様な大小関係を満たす場合のみに文字の配列が妥当であると判定してよい。このようにすることによって配列が間違いにくくなる。制御部１２は、各文字の位置関係が条件を満たさない場合に配列の推定結果を出力せずにエラーを出力してもよい。

制御部１２は、推定結果が妥当でない場合（ステップＳ１８：ＮＯ）、ステップＳ１６の回転画像の選択の手順に戻り、他の回転角度の回転画像において推定結果が妥当か再判定する。制御部１２は、推定結果が妥当である場合（ステップＳ１８：ＹＥＳ）、推定結果を学習済みモデルによる認識結果として出力する（ステップＳ１９）。制御部１２は、ステップＳ１９の手順の実行後、図３のフローチャートの手順の実行を終了する。

制御部１２は、上述した認識方法を実行することによって、表示３０を写した画像から表示３０の各要素（各文字）を認識できる。具体例として、制御部１２は、時計回り及び反時計回りそれぞれに２０度まで１度ずつ増加させた角度で回転した回転画像を生成し、各回転画像における各要素の認識の信頼度を算出し、信頼度が高くなる回転画像を採用した。制御部１２は、採用した回転画像において、各要素の配列を推定し、最終的な認識結果を取得する。制御部１２は、表示３０を読み取れなかった画像のみでなく、すべての検証データについて事前画像処理をしてもよいし、再配列の際に各文字のｘ座標の中心又は各文字が存在する範囲の最小値の順に配列してもよい。具体例において、各要素の配列の際に再配列時の確度を上げるために、隣接する文字が存在する範囲のｘ座標の最小値又は中心座標が同様の大小関係となることを条件としたフィルターが用いられた。

上述した具体例において、制御部１２は、画像に写った表示３０の各文字を、１００％の正答率、かつ、０％の誤答率という高い精度で読み取ることができた。また、制御部１２は、各文字を正しい順序に配列することができた。ここで、正答率は、１枚の画像データに写っている６つの文字の全ての文字を読み取れた場合にその画像データを正答とみなし、複数の画像データのうちの正答となった画像データの割合を表す。正答率が１００％であることは、全ての画像データにおいて、その画像データに写っている６つの文字の全ての文字を読み取れたことを意味する。また、誤答率は、画像データから文字を読み取ったものの、異なる文字として読み取った割合を表す。誤答率が０％であることは、画像データから読み取った全ての文字が正しく読み取られていたことを表す。

一方で、比較例として、図９Ａに示されるように表示３０の各文字に対して各文字を囲む矩形のバウンディングボックスのラベル９０を付して表示３０が認識された。この場合において、正答率は、本開示の一実施形態に係る認識方法における１００％から、約２０％にまで低下した。また、誤答率は、本開示の一実施形態に係る認識方法における０％から約２～５％にまで上昇した。以上のことから、本開示の一実施形態に係る認識方法は、比較例のように単に矩形のラベル９０を付す方法よりも、表示３０の各要素（各文字）に対して各要素の輪郭を囲む領域のラベル５０を付すことによって、正答率を向上させ、誤答率を低下させることができる。つまり、本開示の一実施形態に係る認識方法によれば、表示３０の各要素の認識精度が向上され得る。

以上述べてきたように、本開示の一実施形態に係る学習済みモデル生成方法及び認識方法によれば、表示３０の各要素（各文字）を囲む領域のラベル５０を付すことによって、人間の作業を介さずに、学習済みモデルを用いて表示３０の各要素が高精度で認識され得る。また、各要素の配列が高精度で推定され得る。認識された表示３０は、あらかじめ準備されている正しい情報と照合して識別異常を防止する手段として利用され得る。そこで、表示３０の各要素が正しい順序に配列される。

本開示の一実施形態に係る学習済みモデル生成方法及び認識方法によれば、画像を回転させて表示３０の各要素（各文字）が識別され得る。画像を回転させることによって、表示３０の各要素の向きが違う場合でも、各要素の認識精度を向上できる。

（他の実施形態）
以下、他の実施形態が説明される。

表示３０の中で隣接する要素（文字）の境界が不明瞭であることがある。例えば、図１４に示されるように、「２６３００１」という表示３０のうち、左から３番目の「３」と左から４番目の「０」との境界、及び、左から４番目の「０」と左から５番目の「０」との境界が不明瞭であるとする。この場合において、制御部１２は、要素の輪郭にとらわれずに、要素に固有の形状にラベル５０を付してもよい。具体的に、制御部１２は、「０」という数字の内周を輪郭として、内周に沿った頂点５８及び辺５６を有する多角形をラベル５０として付してよい。また、制御部１２は、「０」という数字の内側の空いている領域そのものに対して内部領域を表すラベル５９を付してもよい。このようにすることで、表示３０の各要素が識別されやすくなる。

表示３０の各要素（各文字）にラベル５０として付される多角形は、全ての頂点において凸になっていてもよいし、一部の頂点において凹になっていてもよい。多角形の頂点の数は、任意の数にされてよい。

また、ラベル５０は、ある要素（文字）に付される場合、隣接する要素をラベリングしないように付されてよい。ラベル５０は、要素の滲んだ部分を範囲外にするように付されてよい。このようにすることで、表示３０の各要素が識別されやすくなる。

表示３０が付される物体として、コイル８０の側面を例示した実施形態が説明されてきた。本開示に係る学習済みモデル生成方法及び認識方法によれば、コイル８０だけでなく、他の種々の物体に付された表示３０が認識され得る。例えば、図１５Ａに示されるように、コイル８０として巻き取られる鋼板８２に延伸する前段階であるスラブの端面に付されている表示３０の各要素（各文字）に対してラベル５０が付され得る。また、図１５Ｂに示されるように、スラブの端面に切断等に起因する凹凸がある場合でも、その面に付されている表示３０の各要素に対してラベル５０が付され得る。また、図１５Ｃに示されるように、表示３０の一部が酸化膜（錆）の剥がれ等に起因して欠落している場合でも、表示３０の各要素に対してラベル５０が付され得る。他に、鋼管の表面のように曲面に付された表示３０について、曲面に起因して表示３０が変形していても、表示３０の各要素に対してラベル５０が付され得る。このように、表示３０が変形したり滲んだり欠落したりしている場合であってもラベル５０が付され得る。その結果、種々の態様の表示３０の各要素が高精度で認識され得る。

上述してきた実施形態において、画像の回転角度を変化させる間隔は、１度又は２度等の値に設定された。回転角度の間隔は、適宜設定されてよい。例えば、回転角度の間隔が４度又は８度等の大きい値に設定されることによって、表示３０の認識の信頼度の傾向が大まかに把握されてよい。信頼度が高くなる回転角度の近傍で、回転角度の間隔が小さい値に設定されることによって、各回転角度における信頼度が詳細に把握されてよい。このようにすることで、信頼度の評価対象となる回転画像の枚数が減らされ得る。その結果、信頼度の評価のための演算負荷が低減され得る。

具体的に、図１３Ｂに示される左から５番目の「７」について、信頼度が高くなるときの回転角度の範囲は－１８度から－２６度までの８度しかない。この場合、回転角度が－２０度である場合に信頼度が高くなることを把握することによって、回転角度として－２０度の前後に１度ずつ変化させて各角度における信頼度が算出されてよい。

本開示の実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は装置が備えるプロセッサにより実行されるプログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

１ 情報処理システム
１０ 情報処理装置（１２：制御部、１４：通信部、１６：出力部、１８：入力部）
２０ 撮像装置
３０ 表示
５０ ラベル（５２：外周の辺、５４：外周の頂点、５６：内周の辺、５８：内周の頂点、５９：内部領域を表すラベル）
８０ コイル（８２：鋼板）

Claims (11)

1. 物体に付された表示の画像から前記表示の認識結果を出力する学習済みモデルを生成する学習済みモデル生成方法であって、
   前記表示の画像に対して、前記表示の形状を表す第１ラベルを付与したデータを教師データとして生成する第１ステップと、
   前記教師データに基づいて学習することによって前記学習済みモデルを生成する第２ステップと
   を含み、
   前記第１ステップにおいて、前記表示の外形の輪郭に沿った境界線及び前記表示の外形より内側の領域を表すように前記第１ラベルを付与する、
   学習済みモデル生成方法。
2. 前記第１ステップにおいて、前記第１ラベルとして、前記表示の外形の輪郭を複数の直線で近似した多角形を生成する、請求項１に記載の学習済みモデル生成方法。
3. 前記第１ステップにおいて、前記表示に含まれる複数の要素それぞれの外形を表すように前記第１ラベルを付与する、請求項１又は２に記載の学習済みモデル生成方法。
4. 前記第１ステップにおいて、前記第１ラベルとして、前記表示に固有の形状を表す線又は領域を生成する、請求項１から３までのいずれか一項に記載の学習済みモデル生成方法。
5. 前記第１ステップにおいて、前記表示の内容を表す第２ラベルを更に付与したデータを前記教師データとして生成する、請求項１から４までのいずれか一項に記載の学習済みモデル生成方法。
6. 前記第１ステップにおいて、前記第２ラベルとして、前記表示が文字若しくは記号、又は図形であることを特定する情報を生成する、請求項５に記載の学習済みモデル生成方法。
7. 前記第１ステップにおいて前記表示の画像を回転させた画像に前記第１ラベルを付与したデータを前記教師データとして生成し、前記第２ステップにおいて前記第１ラベルが付与された画像を回転させた画像に基づいて学習する、請求項１から６までのいずれか一項に記載の学習済みモデル生成方法。
8. 請求項１から７までのいずれか一項に記載の学習済みモデル生成方法を実行することによって生成した前記学習済みモデルを用いて前記表示を認識する第３ステップを含む認識方法。
9. 前記第３ステップにおいて、前記表示の画像を複数の角度でそれぞれ回転させた複数の回転画像を生成し、前記各回転画像を前記学習済みモデルに入力することによって前記各回転画像における前記表示の認識結果を取得し、前記各回転画像における前記表示の認識結果の信頼度に基づいて前記複数の回転画像から少なくとも１枚の回転画像を選択し、選択した回転画像における前記表示の認識結果を出力する、請求項８に記載の認識方法。
10. 前記第３ステップにおいて、前記表示に含まれる各要素の認識結果を取得し、前記各要素の配列を推定し、推定結果に基づいて前記各要素を配列した結果を、前記表示の認識結果として出力する、請求項８又は９に記載の認識方法。
11. 請求項１から７までのいずれか一項に記載の学習済みモデル生成方法、又は、請求項８から１０までのいずれか一項に記載の認識方法を実行する制御部を備える、情報処理装置。

Images