JP6542406B1 - 読取システム、読取方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】セグメントディスプレイの数値の読み取り精度を向上できる、読取システム、読取方法、プログラム、及び記憶媒体を提供する。【解決手段】実施形態に係る読取システムは、抽出部、判定部、及び読取部を備える。抽出部は、入力画像からセグメントディスプレイが撮影された部分の候補となる候補画像を抽出する。判定部は、候補画像と予め設定されたマスクとを用いて、候補画像にセグメントディスプレイが含まれる確度を示す適合率を算出し、適合率が予め設定された閾値以上である場合に、候補画像をセグメントディスプレイの画像であると判定する。読取部は、セグメントディスプレイの画像と判定された候補画像から、セグメントディスプレイに表示された数値を読み取る。【選択図】図１

Description

本発明の実施形態は、読取システム、読取方法、プログラム、及び記憶媒体に関する。

セグメントディスプレイに表示された数値を読み取るシステムがある。このシステムにおいて、数値の読み取りの精度は、高いことが望ましい。

特開２００８−２４３１０３号公報

本発明が解決しようとする課題は、セグメントディスプレイの数値の読み取り精度を向上できる、読取システム、読取方法、プログラム、及び記憶媒体を提供することである。

実施形態に係る読取システムは、抽出部、判定部、及び読取部を備える。前記抽出部は、入力画像からセグメントディスプレイが撮影された部分の候補となる候補画像を抽出する。前記判定部は、前記候補画像と予め設定されたマスクとを用いて、前記候補画像にセグメントディスプレイが含まれる確度を示す適合率を算出し、前記適合率が予め設定された閾値以上である場合に、前記候補画像をセグメントディスプレイの画像であると判定する。前記読取部は、セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取る。

実施形態に係る読取システムの構成を表すブロック図である。 実施形態に係る読取システムの動作を表すフローチャートである。 実施形態に係る読取システムにおける処理を例示する図である。 実施形態の第１変形例に係る読取システムの構成を表すブロック図である。 実施形態の第２変形例に係る読取システムの構成を表すブロック図である。 実施形態の第３変形例に係る読取システムの構成を表すブロック図である。 実施形態に係る読取システムを実現するためのハードウェア構成を表すブロック図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施形態に係る読取システムの構成を表すブロック図である。
実施形態に係る読取システムは、セグメントディスプレイを含む画像から、セグメントディスプレイに表示された数値を読み取るために用いられる。本実施形態において、セグメントディスプレイとは、複数のセグメントの表示によって構成される数字や文字等の何らかの表示情報を含むものを表す。

図１に表したように、実施形態に係る読取システム１は、撮像部１１、抽出部１２、変換部１３、切出部１４、判定部１５、読取部１６、及び記憶部１８を備える。

撮像部１１は、セグメントディスプレイを撮影し、静止した画像を取得する。撮像部１１は、取得した画像を抽出部１２に出力する。撮像部１１により動画が撮影される場合は、その動画から静止画像を切り出して抽出部１２に出力する。撮影される画像には、セグメントディスプレイ以外のものが写っていても良い。

抽出部１２は、入力された画像から、セグメントディスプレイの画像の候補を抽出する。ここでは、撮像部１１によって撮影され、抽出部１２に入力される画像を、入力画像と呼ぶ。入力画像の一部であって、セグメントディスプレイの候補となる画像を、候補画像と呼ぶ。候補画像は、セグメントディスプレイが撮影されていると抽出部１２によって判定された、入力画像の一部である。抽出部１２から出力される候補画像は複数であっても良い。

具体的な一例として、抽出部１２は、加工部１２ａ、二値化部１２ｂ、輪郭抽出部１２ｃ、第１選定部１２ｄ、四角形抽出部１２ｅ、第２選定部１２ｆを有する。

加工部１２ａは、例えば、入力画像を、グレイスケールに変換した加工画像を生成する。加工部１２ａは、加工画像を二値化部１２ｂに出力する。この際に、加工部１２ａは、例えば、入力画像を予め設定されたサイズに縮小した加工画像を、二値化部１２ｂに出力してもよい。その際、加工部１２ａは、縮小されていない原寸画像を記憶部１８に記憶する。

二値化部１２ｂは、入力された加工画像を二値化し、白色と黒色で表される二値画像を生成する。輪郭抽出部１２ｃは、二値画像において、例えば白色で表されている領域の輪郭を抽出する。

第１選定部１２ｄは、輪郭で囲まれた領域の面積を算出する。複数の輪郭が抽出された場合は、それぞれの領域の面積を算出する。第１選定部１２ｄは、算出された各面積と所定の閾値とを比較し、面積が閾値以上の領域のみを選定する。これにより、面積が小さすぎる領域が候補から除外される。四角形抽出部１２ｅは、選定された領域を直線近似し、四角形を抽出する。例えば、四角形抽出部１２ｅは、抽出された四角形の頂点の座標を取得する。

第２選定部１２ｆは、抽出された四角形の領域を予め設定された条件と比較し、条件に適合する領域を選定する。条件としては、例えば、四角形の縦寸法と横寸法の比率が所定範囲内にあること、頂点の角度が所定範囲内にあること、四角形のいずれかの頂点も画像の外枠近傍（例えば、外枠から３ピクセル以内）にないこと、などが用いられる。第２選定部１２ｆは、選定された四角形を、最終的な候補画像として、変換部１３に出力する。

変換部１３は、以下の第１処理及び第２処理を行う。
第１処理において、変換部１３は、抽出部１２から入力された候補画像が歪んでいないか判定する。候補画像が歪んでいると判定された場合、変換部１３は、候補画像が正面から撮影された画像に近づくように、その歪みを補正する。
第２処理において、変換部１３は、候補画像のサイズが、予め設定された規定サイズと一致するか判定する。候補画像のサイズが規定サイズと一致しない場合、変換部１３は、候補画像のサイズが規定サイズに近づくように、候補画像を補正する。
第１処理及び第２処理を行う順序は任意である。または、第１処理と第２処理が同時に行われても良い。変換部１３は、例えば、候補画像を射影変換することで、第１処理及び第２処理を同時に行い、歪み及びサイズを補正する。変換部１３は、補正した候補画像を切出部１４に出力する。候補画像が歪んでおらず、候補画像のサイズが規定サイズに一致すると判定された場合、変換部１３は、入力された候補画像をそのまま切出部１４に出力する。

切出部１４は、記憶部１８を参照する。記憶部１８には、予め設定されたマスクと、その情報が記憶されている。本実施形態では、マスクは、読み取り対象のセグメントディスプレイに対応した画像である。また、マスクは、対象のセグメントディスプレイを読み取る際の参照情報となる。例えば、全てのセグメントが点灯した状態のセグメントディスプレイの二値画像が、マスクとして用いられる。切出部１４は、マスクの縦寸法及び横寸法、実際のセグメントディスプレイにおけるマスクの対応位置を記憶部１８から取得する。切出部１４は、これらの情報に基づいて、入力された候補画像から、その一部を切り出す。切出部１４は、切り出した候補画像を判定部１５に出力する。

判定部１５は、記憶部１８を参照し、入力された候補画像とマスクとを用いて適合率を算出する。適合率は、候補画像にセグメントディスプレイが含まれる確度を示す値である。例えば、適合率が大きいほど、候補画像にセグメントディスプレイが含まれる可能性が高い。

判定部１５は、適合率を予め設定された閾値と比較する。適合率が閾値以上である場合、判定部１５は、その候補画像がセグメントディスプレイの画像であると判定し、読取部１６に出力する。候補画像が複数存在する場合、判定部１５は、それぞれの候補画像に対して、適合率の算出及び判定を行う。

判定部１５は、具体的には、二値化部１５ａ、論理演算部１５ｂ、適合率算出部１５ｃ、及び比較部１５ｄを有する。
二値化部１５ａは、候補画像を二値化する。論理演算部１５ｂは、二値画像とマスクとの論理積を計算する。論理積から得られた処理画像では、マスクにおいて白色で表され、且つ二値画像において白色で表されている領域のみが、白色で表される。

適合率算出部１５ｃは、処理画像に対する二値画像の一致率を適合率として算出する。すなわち、処理画像において白色で表された領域の面積Ａ１（白色で表されたピクセル数）に対する、二値画像において白色で表された領域の面積Ａ２の割合（Ａ２／Ａ１）が、適合率として算出される。

比較部１５ｄは、適合率を閾値と比較する。適合率が閾値以上の場合、読取部１６に候補画像を出力する。適合率が閾値未満の場合、比較部１５ｄは、その候補画像はセグメントディスプレイの画像では無いと判定し、例えば処理を終了する。

読取部１６は、入力された候補画像から、セグメントディスプレイに表示された数値を読み取る。例えば、読取部１６は、入力された候補画像から数字を切り出し、点灯しているセグメントを検出することで、数値を読み取る。読取部１６は、例えば、読み取った数値を、モニタに表示させたり、データベースに出力したりする。

記憶部１８は、読取システム１の処理に必要な情報や、処理の過程で生成されたデータを記憶する。例えば、記憶部１８には、上述したマスクの他、判定が行われる際に比較される閾値等が記憶される。

図２及び図３を参照して、実施形態に係る読取システム１の動作について説明する。
図２は、実施形態に係る読取システムの動作を表すフローチャートである。
図３は、実施形態に係る読取システムにおける処理を例示する図である。

撮像部１１は、セグメントディスプレイを撮影し、画像を取得する（図２のステップＳ１１）。加工部１２ａは、入力画像を加工する（ステップＳ１２ａ）。これにより、入力画像を縮小してグレイスケール化した加工画像と、入力画像をグレイスケール化のみした原寸画像と、が生成される。図３（ａ）は、加工画像の一例である。二値化部１２ｂは、加工画像を二値化し、図３（ｂ）に表したように、二値画像を生成する（ステップＳ１２ｂ）。輪郭抽出部１２ｃは、二値画像の輪郭を抽出する（ステップＳ１２ｃ）。

第１選定部１２ｄは、輪郭で囲まれた領域を選定する（ステップＳ１２ｄ）。これにより、例えば、図３（ｃ）に表したように、枠Ａで囲まれた領域が選定される。四角形抽出部１２ｅは、選定された領域における四角形の抽出結果に基づき、原寸画像から四角形を抽出する（ステップＳ１２ｅ）。第２選定部１２ｆは、抽出された四角形を選定し（ステップＳ１２ｆ）、候補画像として出力する。図３（ｄ）は、候補画像として出力される四角形を表す。

変換部１３は、図３（ｅ）に表したように、歪み及び大きさを補正するよう候補画像を変換する。変換部１３は、例えば、候補画像を射影変換することで、歪み及びサイズを補正する（ステップＳ１３）。図３（ｈ）は、マスクの例を表す。切出部１４は、マスクのサイズに合わせて候補画像の一部を切り出す（ステップＳ１４）。これにより、図３（ｆ）に表した画像が得られる。

二値化部１５ａは、図３（ｇ）に表したように、切り出された候補画像を二値化する（ステップＳ１５ａ）。論理演算部１５ｂは、二値画像とマスクの論理積を計算する（ステップＳ１５ｂ）。これにより、図３（ｉ）に表した画像が得られる。適合率算出部１５ｃは、図３（ｇ）と図３（ｉ）の画像を用いて、適合率を算出する（ステップＳ１５ｃ）。比較部１５ｄは、適合率を予め設定された閾値と比較する（ステップＳ１５ｄ）。適合率が閾値以上の場合、読取部１６は、その候補画像から、セグメントディスプレイの数値を読み取る（ステップＳ１６）。

判定部１５は、ステップＳ１５ａ〜Ｓ１５ｄが未だ行われていない、他の候補画像が無いか判定する（ステップＳ１７）。他の候補画像がある場合、その候補画像について、ステップＳ１５ａが行われる。他の候補画像がない場合、処理を終了する。

実施形態の効果を説明する。
セグメントディスプレイを読み取る際には、上述したように、入力画像の中から、セグメントディスプレイが撮影された部分の候補となる候補画像が抽出される。従来は、例えば、抽出された候補画像に対して歪みなどの補正を適宜行い、候補画像からセグメントディスプレイの数値を読み取っていた。
しかし、候補画像には。例えば、セグメントディスプレイに似た表示器が含まれる場合がある。この場合、別の表示器の数値をセグメントディスプレイの数値として読み取ってしまい、誤検出が生じる可能性がある。

実施形態に係る読取システム１は、このような誤検出を抑制するために、判定部１５を備える。判定部１５は、候補画像と予め設定されたマスクとを用いて、候補画像にセグメントディスプレイが含まれる確度を示す適合率を算出する。そして、判定部１５は、この適合率が予め設定された閾値以上である場合に、候補画像をセグメントディスプレイの画像であると判定する。

このような判定が行われることで、セグメントディスプレイである可能性がより高い候補画像に対してのみ読み取りを行うことができる。特に本実施形態では、読み取り対象のセグメントディスプレイに対応するマスクを予め用意しておき、このマスクを用いて候補画像の絞り込みを行う。このため、セグメントディスプレイに似た表示器や、別のセグメントディスプレイが入力画像に含まれる場合でも、読み取り対象のセグメントディスプレイのみをより精度良く選定でき、誤検出の可能性を大きく低減できる。

なお、図１に表した例では、実施形態に係る読取システム１が撮像部１１を備えているが、読取システム１は撮像部１１を備えていなくても良い。例えば、他の撮像装置で撮影された画像が読取システム１へ入力され、その入力画像から読取システム１によってセグメントディスプレイの数値が読み取られても良い。

また、読取システム１は、変換部１３及び切出部１４を備えていなくても良いが、読取の精度を向上させるためには、これらの構成を備えていることが望ましい。
例えば、変換部１３により候補画像の歪みが補正されることで、適合率の精度を向上させることができる。これにより、セグメントディスプレイが撮影された候補画像をより正確に選別できるようになる。
切出部１４により、マスクを用いて候補画像の一部が切り出されることで、読み取り対象以外の被写体を候補画像から除外できる。これにより、適合率の精度を向上させることができる。

なお、上述した説明では、変換部１３は、第１処理において、候補画像が歪んでいると判定された場合に、候補画像の歪みを補正していた。この方法に代えて、変換部１３は、第１処理において、候補画像が歪んでいると判定された場合に、候補画像の歪みに合わせて、マスクを歪ませても良い。この場合も、その後の判定部１５による処理において、適合率の精度を向上させることができる。

また、図３では、７セグメントディスプレイに対応したマスクを用いて、７セグメントディスプレイに表示された数値を読み取る例を示した。しかし、実施形態に係る読取システム１で読み取り可能なセグメントディスプレイは、７セグメントディスプレイに限定されない。読み取り対象のセグメントディスプレイは、１４セグメントディスプレイまたは１６セグメントディスプレイであっても良い。

マスクとしては、複数のセグメントの少なくとも一部が点灯した、セグメントディスプレイの画像が用いられる。より望ましくは、全てのセグメントが点灯したセグメントディスプレイの二値画像がマスクとして用いられる。このようにすることで、読み取り対象のセグメントディスプレイの表示情報によらず、より精度良く、セグメントディスプレイが撮影された候補画像を選定できるようにしている。

なお、マスクとして、全てのセグメントが点灯した二値画像を用いる場合、セグメントが増えるほど、マスクにおける白色領域の面積が増加する。例えば、候補画像にノイズが多く含まれ、ノイズによる白色領域が多い場合は、候補画像がセグメントディスプレイを含まないにも拘わらず、候補画像とマスクとの適合率が高くなる可能性がある。このため、適合率と比較する閾値は、読み取るセグメントディスプレイにおけるセグメント数に応じて調整されることが望ましい。

例えば、７セグメントディスプレイの数値を読み取る場合、閾値を０．６以上とすることで、７セグメントディスプレイが写された候補画像を、より精度良く選別できる。
また、閾値が高いと、候補画像に７セグメントディスプレイが写されていても、７セグメントディスプレイの画像では無いと判定される可能性が高くなる。このため、閾値は０．８以下であることが望ましい。
すなわち、７セグメントディスプレイの数値を読み取る場合、閾値を０．６以上、０．８以下とすることで、数値の読み取りの精度を向上できる。

また、抽出部１２における処理は、候補画像を抽出できれば、適宜変更可能である。例えば、入力画像のサイズが小さい場合、または入力画像が予め二値化されている場合などは、加工部１２ａまたは二値化部１２ｂは不要である。また、入力画像から候補画像を抽出するための処理も適宜変更可能である。これらの変形例について、以下で説明する。

（第１変形例）
図４は、実施形態の第１変形例に係る読取システムの構成を表すブロック図である。
図１〜図３の例では、セグメントディスプレイの表示領域の枠が四角形であった。そのため、当該表示領域の形状に合わせて、抽出部１２には、四角形抽出部１２ｅが設けられていた。

表示領域の枠が円形の場合には、図４に表した読取システム２のように、抽出部１２において、四角形抽出部１２ｅに代えて、楕円抽出部１２ｇが設けられる。楕円抽出部１２ｇは、第１選定部１２ｄによって選定された領域から楕円を抽出する。このとき、楕円抽出部１２ｇは、抽出された楕円の座標を取得する。楕円抽出部１２ｇは、原寸画像において、上記座標に対応する楕円の画像を抽出し、第２選定部１２ｆに出力する。

第２選定部１２ｆは、入力された楕円の画像を予め設定された条件と比較し、条件に適合する楕円を選定する。条件としては、例えば、楕円の扁平率、輝度の分布などが用いられる。第２選定部１２ｆは、選定された楕円の画像を候補画像として変換部１３に出力する。以降の処理は、図１〜図３で説明した例と同様である。すなわち、変換部１３は、候補画像の歪みを補正し、切出部１４は、候補画像の一部を切り出す。そして、判定部１５による判定を経て、読取部１６によってセグメントディスプレイの数値が読み取られる。

なお、一般的に、セグメントディスプレイの数値は、所定の方向に並んで配列されている。従って、セグメントディスプレイの表示領域の枠が円または楕円の場合でも、一般的に、セグメントディスプレイに表示される数値は、四角形に収まる。すなわち、表示領域の枠が円または楕円の場合でも、マスクの外形は、四角形に設定される。マスクの外形を四角形にすることで、マスクの全面積に対して数値が表示される面積の割合を高めることができる。この結果、候補画像におけるノイズ等が適合率に与える影響を低減でき、適合率の精度を向上させることができる。

（第２変形例）
図５は、実施形態の第２変形例に係る読取システムの構成を表すブロック図である。
図５に表した読取システム３は、読取システム１との比較において、抽出部１２、変換部１３、及び切出部１４に代えて、抽出部２１を備える。

読取システム３では、セグメントディスプレイの数値を読み取る前に、撮像部１１により、読み取り対象のセグメントディスプレイのみを正面から撮影する。ここでは、セグメントディスプレイのみを正面から撮影した画像を、テンプレート画像と呼ぶ。

抽出部２１は、特徴量抽出部２１ａ、マッチング部２１ｂ、変換部２１ｃ、及び探索部２１ｄを有する。
特徴量抽出部２１ａは、入力画像の特徴量を抽出する。また、特徴量抽出部２１ａは、記憶部１８に記憶されたテンプレート画像を参照し、テンプレート画像の特徴量を抽出する。あるいは、予め、特徴量抽出部２１ａによって、テンプレート画像の特徴量が抽出されて記憶部１８に記憶されていても良い。この場合、特徴量抽出部２１ａは、記憶部１８に記憶されたテンプレート画像の特徴量を参照する。特徴量抽出部２１ａは、入力画像の特徴量及びテンプレート画像の特徴量を、マッチング部２１ｂに出力する。

マッチング部２１ｂは、入力画像の特徴量を、テンプレート画像の特徴量とマッチングさせるために必要な、入力画像の補正量を算出する。例えば、マッチング部２１ｂは、入力画像において歪んでいるセグメントディスプレイを、正面から撮影された画像に近づけるために必要な補正量を算出する。マッチング部２１ｂは、算出した補正量及び入力画像を、変換部１３に出力する。
なお、特徴量同士をマッチング出来ない場合は、入力画像にセグメントディスプレイが含まれていない可能性が高い。従って、この場合、例えば、補正量を算出せずに処理を終了する。

変換部２１ｃは、入力された補正量に基づき、入力画像を変換する。これにより、入力画像がテンプレート画像に対して歪んでいる場合には、その歪みが補正される。

探索部２１ｄは、記憶部１８に記憶されたテンプレート画像を参照する。そして、探索部２１ｄは、入力画像から、テンプレート画像とマッチングする部分を探索する。探索部２１ｄは、マッチングした部分を、候補画像として判定部１５に出力する。
以降の判定部１５及び読取部１６における処理は、図１に表した読取システム１と同様である。

なお、特徴量抽出部２１ａによる特徴量の抽出は、例えば、KAZE、AKAZE(Accelerated KAZE)、またはSIFT(Scale-invariant feature transform)などを用いて行われる。マッチング部２１ｂにおけるマッチングは、例えば、KNN(K Nearest Neighbor)、またはFLANN(Fast Library for Approximate Nearest Neighbors)などを用いて行われる。探索部２１ｄによる探索は、例えば、画像間の類似度に基づくパターンマッチングを用いて行われる。

例えば、ある平面上に複数のセグメントディスプレイが設けられており、これらのセグメントディスプレイを撮影した場合、入力画像において、それらのセグメントディスプレイは同じ様に歪む。本変形例に係る読取システム３では、特徴量を用いた入力画像の変換、及びテンプレート画像を用いたマッチングが行われる。すなわち、入力画像の全領域を変換する。このため、それぞれの候補画像について歪みを補正していく必要が無く、同一平面上に複数のセグメントディスプレイが存在する場合等に、読取システム１に比べて処理を高速化できる。

（第３変形例）
図６は、実施形態の第３変形例に係る読取システムの構成を表すブロック図である。
図６に表した読取システム４は、読取システム１との比較において、抽出部１２、変換部１３、及び切出部１４に代えて抽出部３１を備える。抽出部３１は、学習部３１ａ、入力部３１ｂ、検出部３１ｃ、及び処理部３１ｄを有する。

読取システム４では、ニューラルネットワークを用いて、入力画像からセグメントディスプレイが撮影された候補画像が抽出される。例えば、抽出部３１には、事前に、教師データが入力され、ニューラルネットワークの学習が行われる。教師データは、例えば、セグメントディスプレイを含む歪んだ画像と、その画像においてセグメントディスプレイの位置を示すデータと、その画像の歪み量と、を含む。

学習部３１ａは、画像データが入力された際に、セグメントディスプレイが撮影された部分のデータに対してニューロンが反応（発火）し、且つ、その画像の歪み量に対応するニューロンが反応するよう、ニューラルネットワークを学習させる。学習部３１ａは、学習させたニューラルネットワークを記憶部１８に記憶する。なお、学習部３１ａによる上記学習は、判定部１５や読取部１６による処理が実行される処理装置で行われても良いし、これとは異なる別の処理装置を用いて行われても良い。上記学習には、好ましくは、より高速な演算性能を有する処理装置が用いられる。

その後、撮像部１１により、セグメントディスプレイの数値を読み取るために画像が取得され、画像が抽出部３１に入力される。画像が入力されると、入力部３１ｂは、記憶部１８に記憶された学習済みのニューラルネットワークを参照する。そして、入力部３１ｂは、このニューラルネットワークに、画像のデータを入力する。

ニューラルネットワークに画像データが入力されている間、ニューロンの反応があると、検出部３１ｃはその反応を検出する。そして、検出部３１ｃは、ニューロンが反応した画像の座標及び歪み量を検出し、処理部３１ｄに出力する。

処理部３１ｄは、入力された座標に基づき、入力画像から候補画像を抽出する。また、処理部３１ｄは、入力された歪み量に基づいて、候補画像の歪みを補正する。処理部３１ｄは、補正された候補画像を判定部１５に出力する。
なお、候補画像の抽出と、歪みの補正と、が行われる順序は、適宜変更できる。例えば、処理部３１ｄにおいて、入力画像の歪みが補正された後に、候補画像が抽出されても良い。
以降の判定部１５及び読取部１６における処理は、図１に表した読取システム１と同様である。

本変形例に係る読取システム３では、ニューラルネットワークを用いて画像の切り出しや補正を行う。このため、セグメントディスプレイの表示領域とその外枠とのコントラスト比が大きくなく、２値化画像から輪郭を抽出しにくい場合にも、より高精度に候補画像を抽出できる。従って、読取システム１に比べて、入力画像中のセグメントディスプレイの数値を、より高精度に読み取ることが可能となる。

図７は、実施形態に係る読取システムを実現するためのハードウェア構成を表すブロック図である。
例えば、実施形態に係る読取システムは、図７に表した読取装置５及び撮像装置６から構成される。読取装置５は、例えばコンピュータであり、ＲＯＭ(Read Only Memory)５１、ＲＡＭ(Random Access Memory)５２、ＣＰＵ(Central Processing Unit)５３、およびＨＤＤ(Hard Disk Drive)５４を有する。

ＲＯＭ５１は、コンピュータの動作を制御するプログラムを格納している。ＲＯＭ５１には、コンピュータを、上述した実施形態における、抽出部、変換部、切出部、判定部、読取部、探索部などとして機能させるために必要なプログラムが格納されている。

ＲＡＭ５２は、ＲＯＭ５１に格納されたプログラムが展開される記憶領域として機能する。ＣＰＵ５３は、ＲＯＭ５１に格納された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータの動作を制御する。また、ＣＰＵ５３は、コンピュータの動作によって得られた様々なデータをＲＡＭ５２に展開する。ＨＤＤ５４は、上述した実施形態における記憶部１８として機能し、読み取りに必要な情報や、読み取りの過程で得られた情報を記憶する。

読取装置５を用いて、ニューラルネットワークを利用した処理システム４を実現させる場合、読取装置５は、さらに、ＧＰＵ（Graphics Processing Unit）や、ニューラルネットワークの処理に特化した専用チップを有していても良い。また、読取装置５は、ＨＤＤ５４に代えて、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）、ＳＳＨＤ（Solid State Hybrid Drive）などを有していても良い。

撮像装置６は、被写体（セグメントディスプレイ）を撮影し、取得した画像を読取装置５へ送信する。撮像装置６は、例えば、カメラである。
出力装置７は、読取装置５から出力されたデータ（読み取られたセグメントディスプレイの数値）を、ユーザが認識できるように出力する。出力装置７は、例えば、モニタ、プリンタ、またはスピーカなどである。

読取装置５、撮像装置６、及び出力装置７は、例えば、有線又は無線で相互に接続される。または、これらはネットワークを介して相互に接続されていても良い。あるいは、読取装置５、撮像装置６、及び出力装置７の少なくとも２つが、１つの装置に組み込まれていても良い。例えば、読取装置５が、撮像装置６の画像処理部などと一体に組み込まれていても良い。

以上で説明した実施形態に係る読取システム及び読取方法を用いることで、セグメントディスプレイに表示された数値を、より高精度に読み取ることが可能となる。同様に、コンピュータを、読取システムとして動作させるためのプログラムを用いることで、セグメントディスプレイに表示された数値を、より高精度にコンピュータに読み取らせることが可能となる。

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１〜４ 読取システム、 ５ 読取装置、 ６ 撮像装置、 ７ 出力装置、 １１ 撮像部、 １２、２１、３１ 抽出部、 １３ 変換部、 １４ 切出部、 １５ 判定部、 １６ 読取部、 １８ 記憶部

Claims (15)

1. 入力画像からセグメントディスプレイが撮影された部分の候補となる候補画像を抽出する抽出部と、
   前記候補画像と予め設定されたマスクとを用いて、前記候補画像にセグメントディスプレイが含まれる確度を示す適合率を算出し、前記適合率が予め設定された閾値以上である場合に、前記候補画像をセグメントディスプレイの画像であると判定する判定部と、
   セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取る読取部と、
   を備えた読取システム。
2. 前記マスクは、全てのセグメントが点灯したセグメントディスプレイの画像である請求項１記載の読取システム。
3. 前記候補画像が歪んでいる場合に、前記候補画像を正面から撮影された画像に近づけるよう変換する第１処理と、
   前記候補画像のサイズが、予め設定された規定サイズと異なる場合に、前記候補画像の前記サイズを前記規定サイズに近づけるよう補正する第２処理と、
   を行う変換部をさらに備え、
   前記判定部は、変換された前記候補画像と前記マスクとを用いて前記適合率を算出する請求項１または２に記載の読取システム。
4. 前記候補画像が歪んでいる場合に、前記候補画像の歪みに合わせて前記マスクを歪ませる第１処理と、
   前記候補画像のサイズが予め設定された規定サイズと異なる場合に、前記候補画像の前記サイズを前記規定サイズに近づけるよう補正する第２処理と、
   を行う変換部をさらに備え、
   前記判定部は、変換された前記候補画像と歪ませた前記マスクとを用いて前記適合率を算出する請求項１または２に記載の読取システム。
5. 前記マスクの大きさ及び形状に基づいて、前記候補画像の一部を切り出す切出部をさらに備え、
   前記判定部は、切り出された前記候補画像を用いて前記適合率を算出する請求項１〜４のいずれか１つに記載の読取システム。
6. 前記抽出部は、
   前記入力画像から輪郭を抽出し、
   前記輪郭で囲まれた領域の面積を算出し、
   前記面積が予め設定された閾値以上の場合、前記輪郭に基づいて、前記入力画像から所定の形状の画像を抽出し、
   予め設定された条件を満たす前記抽出された画像を、前記候補画像として出力する、
   請求項１〜５のいずれか１つに記載の読取システム。
7. 前記抽出部は、前記入力画像から、予め用意された、読み取り対象のセグメントディスプレイのテンプレート画像とマッチングする部分を探索し、マッチングした前記部分を候補画像として抽出する請求項１または２に記載の読取システム。
8. 前記抽出部は、
   前記入力画像から特徴量を抽出し、
   抽出された前記特徴量が、前記テンプレート画像の特徴量とマッチングするように、前記入力画像を補正し、
   補正された前記入力画像から、前記テンプレート画像とマッチングする前記候補画像を抽出する、
   請求項７記載の読取システム。
9. 前記抽出部は、
   前記入力画像のデータを、予め学習されたニューラルネットワークに入力し、
   前記ニューラルネットワークの出力結果に基づいて、前記入力画像においてセグメントディスプレイが撮影された前記部分を検出し、前記候補画像として抽出する、
   請求項１または２に記載の読取システム。
10. 前記抽出部は、前記ニューラルネットワークの前記出力結果に基づいて、さらに、前記候補画像の歪みを補正する請求項９記載の読取システム。
11. 前記判定部は、
    前記候補画像を二値化し、
    二値化された前記候補画像と前記マスクとを重ね合わせて論理積を計算し、
    前記論理積から得られた画像と前記候補画像との一致率を前記適合率として算出する、
    請求項１〜１０のいずれか１つに記載の読取システム。
12. 前記マスクは、７セグメントディスプレイの二値画像であり、
    前記閾値は、０．６以上に設定される請求項１〜１１のいずれか１つに記載の読取システム。
13. 入力画像からセグメントディスプレイが撮影された部分の候補となる候補画像を抽出し、
    前記候補画像と予め設定されたマスクとを用いて、前記候補画像にセグメントディスプレイが含まれる確度を示す適合率を算出し、前記適合率が予め設定された閾値以上である場合に、前記候補画像をセグメントディスプレイの画像であると判定し、
    セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取る、読取方法。
14. コンピュータに、
    入力画像からセグメントディスプレイが撮影された部分の候補となる候補画像を抽出させ、
    前記候補画像と予め設定されたマスクとを用いて、前記候補画像にセグメントディスプレイが含まれる確度を示す適合率を算出させ、前記適合率が予め設定された閾値以上である場合に、前記候補画像をセグメントディスプレイの画像であると判定させ、
    セグメントディスプレイの画像と判定された前記候補画像から、セグメントディスプレイに表示された数値を読み取らせる、
    プログラム。
15. 請求項１４のプログラムを記憶した記憶媒体。