JP7213387B1 - 照合装置、照合システム、照合プログラム - Google Patents

Abstract

【課題】認作業の工数を低減することが可能な照合装置を提供する。【解決手段】端末装置２０は、値札が含まれる画像データを撮像により取得可能な撮像部２１と、画像データを時系列画像として表示可能な表示部２２と、画像データから値札要素を検出する値札検出部２５１と、値札要素に含まれる情報と商品マスタデータベースに登録されている情報とを照合する照合部２５６と、を備える。表示部２２は、時系列画像において値札と照合部の照合結果とを対応付けて表示する。【選択図】図３

Description

特許法第３０条第２項適用 令和３年９月２４日、令和３年１０月１４日、令和３年１０月１５日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル片平店にて、長坂知明、山田仁志、郡司稔也、一ノ瀬貴義、及び三好利昇が発明した照合装置を使用した実証試験を行った。 令和３年１０月２６日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル台新店にて、長坂知明、山田仁志、郡司稔也、一ノ瀬貴義、及び三好利昇が発明した照合装置を使用した実証試験を行った。 令和３年１１月１２日、令和３年１１月１３日、令和３年１２月１４日、令和３年１２月１５日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル田彦西店にて、長坂知明、山田仁志、郡司稔也、一ノ瀬貴義、及び三好利昇が発明した照合装置を使用した実証試験を行った。 令和４年７月２６日 株式会社セブン＆アイ・ホールディングスが、ヨークベニマル金屋店にて、長坂知明、山田仁志、郡司稔也、一ノ瀬貴義、及び三好利昇が発明した照合装置を使用した実証試験を行った。

本発明は、照合装置、照合システム、及び照合プログラムに関する。

従来、下記の特許文献１に記載の端末装置がある。この端末装置は、商品に付されているバーコードを読み込むとともに、読み込まれたバーコードに含まれる商品の価格情報をディスプレイに表示する。

特開２００２－４２０４９号公報

特許文献１に記載の端末装置を用いれば、ディスプレイに表示される価格と、商品に付されている値札の価格とが一致しているか否かをユーザが照合することにより、値札に記載されている価格が正しいか否かを確認することが可能である。しかしながら、このような方法を用いる場合、種別が異なる商品が多数存在すると、それらの商品に対応したバーコードの全てを個別に端末装置で読み込む必要がある。これが、商品の価格等を確認する作業の工数を増加させる要因となっている。

本発明は、こうした実情に鑑みてなされたものであり、その目的は、確認作業の工数を低減することが可能な照合装置、照合システム、及び照合プログラムを提供することにある。

上記課題を解決する照合装置は、撮像部と、表示部と、値札検出部と、照合部と、を備える。撮像部は、値札が含まれる画像データを撮像により取得可能である。表示部は、撮像部により逐次取得される画像データを時系列画像として表示可能である。値札検出部は、画像データから、値札に関連する要素である値札要素を検出する。照合部は、値札要素に含まれる情報と、商品マスタデータベースに登録されている情報とを照合する。表示部は、時系列画像において値札と照合部の照合結果とを対応付けて表示する。

上記課題を解決する他の照合システムは、撮像部と、表示部と、値札検出部と、照合部と、を備える。撮像部は、値札が含まれる画像データを撮像により取得可能である。表示部は、撮像部により逐次取得される画像データを時系列画像として表示可能である。値札検出部は、画像データから、値札に関連する要素である値札要素を検出する。照合部は、値札要素に含まれる情報と、商品マスタデータベースに登録されている情報とを照合する。表示部は、時系列画像において値札と照合部の照合結果とを対応付けて表示する。

上記課題を解決する他の照合プログラムは、コンピュータを、画像データ取得部と、表示制御部と、値札検出部と、照合部と、として機能させる。画像データ取得部は、値札が含まれる画像データを撮像部から取得する。表示制御部は、撮像部により逐次取得される画像データを時系列画像として表示部に表示させる。値札検出部は、画像データから、値札に関連する要素である値札要素を検出する。照合部は、値札要素に含まれる情報と、商品マスタデータベースに登録されている情報とを照合する。表示制御部は、時系列画像において値札と照合部の照合結果とを対応付けて表示部に表示させる。

これらの構成によれば、ユーザは、表示部に表示される時系列画像を見ることにより値札の照合結果を容易に確認することができる。そのため、ユーザの確認作業の工数を低減することが可能である。

本発明の照合装置、照合システム、及び照合プログラムによれば、確認作業の工数を低減することが可能である。

実施形態の照合システムの概略構成を示すブロック図。 実施形態の端末装置及びサーバ装置のハードウェア的な構成を示すブロック図。 実施形態の端末装置の機能的な構成を示すブロック図。 実施形態の値札検出部により実行される処理の手順を示すフローチャート。 実施形態の値札検出部による値札要素の検出例を示す図。 （Ａ），（Ｂ）は、値札検出部により検出される値札本体の奥行きと頻度との関係を示すヒストグラムの例を示すグラフ。 実施形態の値札構造化部により実行される処理の手順を示すフローチャート。 実施形態の値札のレイアウト情報の一例を模式的に示す図。 実施形態の照合対象判定部により実行される処理の手順の一部を示すフローチャート。 実施形態の照合対象判定部により実行される処理の手順の一部を示すフローチャート。 （Ａ）～（Ｅ）は、実施形態の照合対象判定部による照合の手順の一例を示す図。 実施形態の追跡成功値札及び構造化値札の一例を示す 実施形態の値札要素認識部により実行される処理の手順を示すフローチャート。 （Ａ）～（Ｅ）は、実施形態の表示部による値札の表示例を示す図。 実施形態の端末装置の動作例の一部を示すフローチャート。 実施形態の端末装置の動作例の一部を示すフローチャート。

以下、照合装置、照合システム、及び照合プログラムの一実施形態について図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
（照合システムの概要）
コンビニエンスストアやスーパー等の店舗では、その従業員等が、商品に付されている値札に記載の売価が正しいか否かを確認する作業を行う。図１に示される本実施形態の照合システム１０は、このような確認作業を行う際に用いられるものである。図１に示されるように、照合システム１０は、端末装置２０と、サーバ装置３０とを備えている。端末装置２０及びサーバ装置３０はネットワーク回線Ｎを介して相互に通信可能に接続されている。

端末装置２０は例えばスマートフォンやタブレット端末である。端末装置２０は、店舗の従業員等であるユーザにより使用される。端末装置２０は、ユーザの操作に基づいて端末装置２０の前方の所定領域を撮像するとともに、撮像された画像データを表示する。端末装置２０は、画像データに対して画像処理を施すことにより、画像データ内に商品の値札が存在するか否かを判定するとともに、商品の値札が存在する場合には、値札に記載の商品情報及び価格情報を取得する。商品情報には、商品の識別番号、名称、種別等が含まれる。端末装置２０は、取得した商品情報をサーバ装置３０にネットワーク回線Ｎを介して送信することで、商品の正しい価格情報をサーバ装置３０からネットワーク回線Ｎを介して取得する。端末装置２０は、値札に記載の価格情報と、サーバ装置３０から取得した商品の正しい価格情報とを照合し、その照合結果を表示する。したがって、ユーザは、端末装置２０に表示される照合結果を見ることにより、店舗に配置されている値札に記載の価格情報が正しいか否かを確認することができる。本実施形態では、端末装置２０が照合装置に相当する。

サーバ装置３０は商品マスタデータベース３１を備えている。商品マスタデータベース３１は、店舗で販売されている商品ごとに、商品情報と価格情報とが関連付けられて登録されている。サーバ装置３０は、端末装置２０からネットワーク回線Ｎを介して送信される商品情報を受信すると、商品情報に関連付けられた価格情報を商品マスタデータベース３１から読み込むとともに、読み込んだ価格情報を端末装置２０にネットワーク回線Ｎを介して送信する。

（端末装置及びサーバ装置のハードウェア的な構成）
図２に示されるように、端末装置２０は、ハードウェア的な構成として、プロセッサ１１、記憶装置１２、通信装置１３、入力装置１４、出力装置１５、及び撮像装置１６等を有している。プロセッサ１１はＣＰＵ（Central Processing Unit）やＧＰＵ（Graphical Processing Unit）等である。記憶装置１２は、例えばメモリ、ＨＤＤ（Hard Disk Drive）、及びＳＳＤ（Solid State Drive）の少なくとも一つにより構成される。通信装置１３は有線通信又は無線通信を行う。入力装置１４は、ユーザの入力操作を受け付ける装置であり、例えばキーボード、タッチパネル、マウス、マイクの少なくとも一つにより構成される。出力装置１５は、情報の出力を行う装置であり、例えばディスプレイ、タッチパネル、及びスピーカの少なくとも一つにより構成される。撮像装置１６はカメラ等である。

サーバ装置３０は、端末装置２０と同一又は類似のハードウェア的な構成を有している。なお、サーバ装置３０は撮像装置１６を有していなくてもよい。
（端末装置２０の機能的な構成）
図３に示されるように、端末装置２０は、その機能的な構成として、撮像部２１と、表示部２２と、記憶部２３と、通信部２４と、制御部２５とを備えている。

撮像部２１は、端末装置２０の前方の所定領域を逐次撮像するとともに、撮像された所定領域に対応した画像データを逐次生成する。撮像部２１により取得される画像データは、例えば色情報と距離情報とを含むＲＧＢＤ画像である。撮像部２１は、図２に示される撮像装置１６により実現可能である。

表示部２２は、撮像部２１により撮像された画像データを時系列画像で表示する、換言すれば動画形式で表示する。また、表示部２２は、値札に記載の価格情報と、サーバ装置３０から取得した商品の正しい価格情報との照合結果を表示する。表示部２２は、図２に示される出力装置１５により実現可能である。

記憶部２３は、端末装置２０が有する各種情報が記憶されている。記憶部２３は、図２に示される記憶装置１２により実現可能である。
通信部２４は、図１に示されるネットワーク回線Ｎを介してサーバ装置３０と各種通信を行う。通信部２４は、例えば記憶部２３に予め記憶されているプログラムを図２に示されるプロセッサ１１が実行して通信装置１３を制御することにより実現可能である。

制御部２５は端末装置２０を統括的に制御する。制御部２５は、例えば記憶部２３に予め記憶されているプログラムを図２に示されるプロセッサ１１が実行することにより実現可能である。本実施形態では、制御部２５がコンピュータに相当する。制御部２５は、プロセッサ１１がプログラムを実行することにより実現される機能的な構成として、画像データ取得部２５０と、値札検出部２５１と、値札構造化部２５２と、値札追跡部２５３と、照合対象判定部２５４と、値札要素認識部２５５と、照合部２５６と、表示制御部２５７とを備えている。

（画像データ取得部の構成）
画像データ取得部２５０は、撮像部２１により生成される画像データを取得するとともに、取得した画像データを値札検出部２５１や表示制御部２５７等に送信する。画像データ取得部２５０による画像データの取得、及び画像データ取得部２５０から値札検出部２５１等への画像データの送信は所定の周期で行われる。

（値札検出部の構成）
値札検出部２５１は、画像データ取得部２５０から所定の周期で送信される画像データに対して所定の画像処理を施すことにより、画像データ内に含まれている値札要素を検出する。値札要素は、値札に関連する要素であって、例えば値札本体要素、商品名要素、価格要素、及びバーコード要素と、それらの画像内の座標、幅、高さ等の領域情報とを含む。値札本体要素は値札全体を示すものである。商品名要素、価格要素、及びバーコード要素は、値札に文字やコード等で記載されている商品名、価格、及びバーコードを示すものである。商品名要素、価格要素、及びバーコード要素は、値札本体に付帯されている値札付帯要素に相当する。

値札検出部２５１は、画像データから値札要素を抽出する機械学習モデルを有しており、画像データ取得部２５０により取得された画像データを機械学習モデルに入力することにより、画像データに含まれる各種値札要素を検出する。
図４は、値札検出部２５１により実行される値札要素検出処理の手順を示したものである。なお、図４に示される処理は、画像データ取得部２５０から値札検出部２５１に画像データが送信される都度、値札検出部２５１により実行される。

図４に示されるように、値札検出部２５１は、まず、画像データ取得部２５０により取得された画像データを機械学習モデルに入力することにより値札要素を検出する（ステップＳ１０）。本実施形態では、機械学習モデルにより分類される値札要素のクラスとして、「値札本体」、「商品名」、「価格」、及び「バーコード」が用いられている。

例えば図５に示されるような画像データ５０が画像データ取得部２５０から値札検出部２５１に送信された場合、値札検出部２５１は、画像データ５０を機械学習モデルに入力することにより、分類クラスが「値札本体」である領域として、図５に二点鎖線で示されるな３つの値札５１～５３にそれぞれ対応した３つの領域ＰＴ１～ＰＴ３を検出する。「領域」には画像データ５０内の位置、幅、高さ等の情報が含まれる。

なお、画像データ５０では、３つの値札５１～５３のうち、値札５１に関してはその全体が画像データ５０に表れている。そのため、値札検出部２５１は、値札５１の実際の外縁に対応した領域を値札５１の値札本体領域ＰＴ１として検出する。値札５３に関しても同様である。これに対して、画像データ５０では、値札５２の右側の部分が値札５１に重なっている。そのため、値札検出部２５１は、画像データ５０内に表れている値札５２の左側の部分の外縁のみを値札５２の値札本体領域ＰＴ２として検出する。

また、値札検出部２５１は、実際に値札５１～５３の本体が存在している領域ＰＴ１～ＰＴ３だけでなく、例えば図５に二点鎖線で示される領域ＰＴ４のような、値札が存在していない領域を誤って値札本体領域として検出する場合もある。
一方、値札検出部２５１は、各値札５１～５３において商品名、価格、及びバーコードが表示されている領域を検出する。例えば、値札検出部２５１は、画像データ５０から、分類クラスが「商品名」である領域として、図５に二点鎖線で示されるような３つの領域ＰＮ１～ＰＮ３、すなわち３つの値札５１～５３のそれぞれにおいて商品名が存在している領域ＰＮ１～ＰＮ３を検出する。また、値札検出部２５１は、画像データ５０から、分類クラスが「価格」である領域として、図５に二点鎖線で示されるような３つの領域ＰＰ１～ＰＰ３、すなわち３つの値札５１～５３のそれぞれにおいて価格が存在している領域ＰＰ１～ＰＰ３を検出する。さらに、値札検出部２５１は、画像データ５０から、分類クラスが「バーコード」である領域として、図５に二点鎖線で示されるような３つの領域ＢＣ１～ＢＣ４、すなわち３つの値札５１～５３のそれぞれにおいてバーコードが存在している領域ＢＣ１～ＢＣ３と、値札５１～５３とは別にバーコードが存在している領域ＢＣ４とを検出する。領域ＢＣ４に存在するバーコードは、商品５４に直接印字されているバーコードである。

なお、値札５２に対応した商品名の一部は値札５１と重なっているため、商品名領域ＰＮ２としては、値札５２に記載の商品名の一部に対応した領域が検出される。値札５２に対応した価格領域ＰＰ２及びバーコード領域ＢＣ２に関しても同様である。
値札検出部２５１は、値札本体領域ＰＴ１～ＰＴ４を値札本体要素として特定するとともに、商品名領域ＰＮ１～ＰＮ３を商品名要素として特定する。また、値札検出部２５１は、価格領域ＰＰ１～ＰＰ３を価格要素として特定するとともに、バーコード領域ＢＣ１～ＢＣ４をバーコード要素として特定する。以下では、便宜上、値札本体領域ＰＴ１～ＰＴ４を「値札本体要素ＰＴ１～ＰＴ４」とも称し、商品名領域ＰＮ１～ＰＮ３を「商品名要素ＰＮ１～ＰＮ３」とも称する。また、価格領域ＰＰ１～ＰＰ３を「価格要素ＰＰ１～ＰＰ３」とも称し、バーコード領域ＢＣ１～ＢＣ４を「バーコード要素ＢＣ１～ＢＣ４」とも称する。

図４に示されるように、値札検出部２５１は、ステップＳ１０の処理に続いて、未確認の値札要素が存在するか否かを判断する（ステップＳ１１）。具体的には、値札検出部２５１は、ステップＳ１０の処理により今回の画像データから検出された値札要素の中に、前回の画像データから検出された値札要素とは異なる新たな値札要素が含まれていない場合には、未確認の値札要素が存在していないと判定する（ステップＳ１１：ＮＯ）。この場合、値札検出部２５１は、図４に示される処理を一旦終了する。

一方、値札検出部２５１は、ステップＳ１０の処理により今回の画像データから検出された値札要素の中に、前回の画像データから検出された値札要素とは異なる新たな値札要素が含まれている場合には、未確認の値札要素が存在していると判定する（ステップＳ１１：ＹＥＳ）。この場合、値札検出部２５１は、未確認の値札要素を取得した後（ステップＳ１２）、当該値札要素の奥行きのヒストグラムを画像データから算出する（ステップＳ１３）。

ステップＳ１３の処理において値札検出部２５１により作成されるヒストグラムは、未確認の値札要素として、図５に示される値札本体要素ＰＴ１を取得した場合と、値札本体要素ＰＴ４を取得した場合とで異なる。
具体的には、値札は一般的に平板状に形成されているため、その値札本体要素の奥行きのヒストグラムは図６（Ａ）に示されるような単峰性の傾向を示す。したがって、未確認の値札本体要素の奥行きのヒストグラムが単峰性の傾向を示していれば、その未確認の値札本体要素は、実際の値札から検出された要素である可能性が高い。これに対して、未確認の値札要素の奥行きのヒストグラムが図６（Ｂ）に示されるような多峰性の傾向を示している場合、その未確認の値札要素は、例えば図５の領域ＰＴ４に示されるように、実際の値札とは別の物体から検出された要素である可能性が高い。

このようなヒストグラムの傾向は、値札本体要素だけでなく、商品名要素、価格要素、及びバーコード要素にも共通する。したがって、所定の値札要素の奥行きのヒストグラムが単峰性の傾向を示していれば、その値札要素は実際の値札から検出されたものである可能性が高いと言える。

なお、値札検出部２５１は、奥行きのヒストグラムを、他の値札要素ＰＴ２，ＰＴ３、並びに商品名要素ＰＮ１～ＰＮ３、価格要素ＰＰ１～ＰＰ３、及びバーコード要素ＢＣ１～ＢＣ４のそれぞれに対しても同様に作成する。
図４に示されるように、値札検出部２５１は、ステップＳ１３の処理に続いて、値札要素の奥行きのヒストグラムが多峰性の傾向を示しているか否かを判断する（ステップＳ１４）。値札検出部２５１は、値札要素の奥行きのヒストグラムが多峰性の傾向を示している場合（ステップＳ１４：ＹＥＳ）、すなわちその値札要素が実際の値札から検出された可能性が低い場合には、その値札要素を排除した後（ステップＳ１５）、ステップＳ１１の処理に戻る。一方、値札検出部２５１は、値札要素の奥行きのヒストグラムが多峰性の傾向を示していない場合（ステップＳ１４：ＮＯ）、すなわちその値札要素が実際の値札から検出された要素である可能性が高い場合には、その値札要素を排除することなく、ステップＳ１１の処理に戻る。ステップＳ１５の処理で排除された値札要素、及びステップＳ１４の処理で否定的な判定が行われることにより排除されなかった値札要素は、以降、確認済みの値札要素として扱われる。

値札検出部２５１は、ステップＳ１１の処理に戻った後、今回の画像データから検出された値札要素の中に未確認の値札要素が残っている場合には、ステップＳ１１の処理で肯定的な判断を行って（ステップＳ１１：ＹＥＳ）、その未確認の値札要素に対してステップＳ１２～ステップＳ１５の処理を更に実行する。値札検出部２５１は、今回の画像データから検出された値札要素の全てが確認済みの状態になるまで、ステップＳ１１～ステップＳ１５の処理を繰り返し実行する。値札検出部２５１は、今回の画像データから検出された値札要素の全てが確認済みの状態になった場合には、ステップＳ１１の処理で否定的な判断を行って、図４に示される処理を一旦終了する。

（値札構造化部の構成）
値札構造化部２５２は、値札検出部２５１により検出された値札要素を値札ごとに構造化する。なお、値札検出部２５１により検出された値札要素には、図４に示されるステップＳ１５の処理で排除された値札要素は含まれておらず、ステップＳ１４の処理で否定的な判定が行われた値札要素のみが含まれている。

値札構造化部２５２は、例えば図５に示されるような画像データ５０を取得した場合、値札５１を構成する値札本体要素ＰＴ１、商品名要素ＰＮ１、価格要素ＰＰ１、及びバーコード要素ＢＣ１を１つの「値札Ａ１」として構造化する。同様に、値札構造化部２５２は、値札５２を構成する値札本体要素ＰＴ２、商品名要素ＰＮ２、価格要素ＰＰ２、及びバーコード要素ＢＣ２を１つの「値札Ａ２」として構造化する。さらに、値札構造化部２５２は、値札５３を構成する値札本体要素ＰＴ３、商品名要素ＰＮ３、価格要素ＰＰ３、及びバーコード要素ＢＣ３を１つの「値札Ａ３」として構造化する。それぞれ構造化された値札Ａ１～Ａ３は互いに異なる値札として認識される。

図７は、このような値札構造化部２５２により実行される値札要素構造化処理の手順を示したものである。
図７に示されるように、値札構造化部２５２は、まず、値札検出部２５１により検出された値札要素のうち、分類クラスが「値札本体」である値札要素を全て抽出する（ステップＳ２０）。例えば、値札検出部２５１が、図５に示されるような画像データ５０に対して図４に示される処理を実行した場合、値札本体要素ＰＴ１～ＰＴ３を検出する一方、値札本体要素ＰＴ４を排除する。そのため、値札構造化部２５２は、分類クラスが「値札本体」である値札要素として、値札本体要素ＰＴ１～ＰＴ３を抽出する。

続いて、値札構造化部２５２は、未対応の値札要素があるか否かを判断する（ステップＳ２１）。具体的には、値札構造化部２５２は、分類クラスが「商品名」、「価格」、「バーコード」である値札要素のうち、構造化が行われていない値札要素が存在するか否かを判断する。値札構造化部２５２は、未対応の値札要素がない場合には（ステップＳ２１：ＮＯ）、図７に示される処理を一旦終了する。

一方、値札構造化部２５２は、未対応の値札要素がある場合には（ステップＳ２１：ＹＥＳ）、その未対応の値札要素を取得するとともに（ステップＳ２２）、取得した値札要素と重なるように配置される「値札本体」が存在するか否かを判断する（ステップＳ２３）。

例えば図５に示されるバーコード要素ＢＣ４の構造化のみが行われていない場合、値札構造化部２５２は、バーコード要素ＢＣ４を未対応の値札要素と判断する。このとき、ステップＳ２０の処理において図５に示される値札本体要素ＰＴ１～ＰＴ３が抽出されている場合には、画像データ５０において、バーコード要素ＢＣ４は値札本体要素ＰＴ１～ＰＴ３のいずれとも重なっていない。この場合、値札構造化部２５２は、バーコード要素ＢＣ４と重なるように配置される「値札本体」が存在しないと判断して（ステップＳ２３：ＮＯ）、ステップＳ２１の処理に戻る。この場合、バーコード要素ＢＣ４は、値札として構造化されることはなく、対応済みの値札要素として登録される。

一方、図５に示される商品名要素ＰＮ１の構造化が行われていない場合、値札構造化部２５２は、商品名要素ＰＮ１を未対応の値札要素と判断する。このとき、ステップＳ２０の処理において図５に示される値札本体要素ＰＴ１～ＰＴ３が抽出されている場合には、図５に示される画像データ５０において、未対応の値札要素である商品名要素ＰＮ１が値札本体要素ＰＴ１に重なる形で配置されている。換言すれば、値札本体要素ＰＴ１の領域内に商品名要素ＰＮ１が含まれている。この場合、値札構造化部２５２は、値札要素と重なるように配置される「値札本体」が存在すると判断して（ステップＳ２３：ＹＥＳ）、取得した値札要素と重なる面積が最大の値札本体要素及び重なる面積率を取得する（Ｓ２４）。

例えば、取得した値札要素が商品名要素ＰＮ１である場合、図５に示される画像データ５０では、値札本体要素ＰＴ１～ＰＴ３のうち、商品名要素ＰＮ１が重なるものは値札本体要素ＰＴ１だけである。そのため、値札構造化部２５２は、商品名要素ＰＮ１と重なる面積が最大の値札本体要素として値札本体要素ＰＴ１を取得する。また、値札構造化部２５２は、画像データ５０において商品名要素ＰＮ１の全領域の面積に対する、値札本体要素ＰＴ１と重なっている部分の面積の比率である面積率を取得する。なお、図５に示される画像データでは、商品名要素ＰＮ１の全体が値札本体要素ＰＴ１に含まれているため、値札構造化部２５２は、値札本体要素ＰＴ１に対する商品名要素ＰＮ１の重なる面積率を、例えば１００％と演算する。

続いて、値札構造化部２５２は、ステップＳ２４で演算された面積率が第１面積率閾値以上であるか否かを判断する（ステップＳ２５）。第１面積率閾値は、商品名要素、価格要素、及びバーコード要素等が値札本体要素に含まれるものであるか否かを判定することができるように予め設定されており、記憶部２３に記憶されている。上記のように値札本体要素ＰＴ１に対する商品名要素ＰＮ１の重なる面積率が１００％であると演算された場合、値札構造化部２５２は、ステップＳ２４で演算された面積率が第１面積率閾値以上であると判定して（ステップＳ２５：ＹＥＳ）、画像データ５０から対象の値札本体要素と値札要素のそれぞれの奥行き情報を取得するとともに（ステップＳ２６）、対象の値札要素の奥行きの平均値が値札本体要素の奥行きの範囲に含まれているか否かを判断する（ステップＳ２７）。

例えば、値札構造化部２５２は、図４に示されるステップＳ１３の処理で取得された商品名要素ＰＮ１の奥行きのヒストグラムに基づいて商品名要素ＰＮ１の奥行きの平均値Ｄａｖｅを算出する。また、値札構造化部２５２は、算出された値札本体要素ＰＴ１の奥行きのヒストグラムとして、図６（Ａ）に示されるようなヒストグラムが取得されている場合には、値札本体要素ＰＴ１の奥行きＤの範囲として「Ｄ１≦Ｄ≦Ｄ２」を取得する。この場合、値札構造化部２５２は、商品名要素ＰＮ１の奥行きの平均値Ｄａｖｅが「Ｄ１≦Ｄａｖｅ≦Ｄ２」を満たしている場合には、商品名要素ＰＮ１の奥行きの平均値Ｄａｖｅが値札本体要素ＰＴ１の奥行きＤの範囲に含まれていると判断する（ステップＳ２７：ＹＥＳ）。そして、値札構造化部２５２は、取得した商品名要素ＰＮ１及び値札本体要素ＰＴ１を値札Ａ１として構造化するとともに（ステップＳ２８）、商品名要素ＰＮ１を対応済みの値札要素として登録した後、ステップＳ２１の処理に戻る。

なお、値札構造化部２５２は、商品名要素ＰＮ１及び値札本体要素ＰＴ１を値札Ａ１として構造化する際に、値札の種別ごとのレイアウト情報を利用してもよい。例えば、図５に示される「除菌アルコール本体１００枚」という商品は「生活用品」という種類に属する。「生活用品」の種別に対応する値札５１では、図８に示されるように、その値札本体の領域ＰＴ１内において、商品名が記載されている領域ＰＮ１、価格が記載されている領域ＰＰ１、及びバーコードが記載されている領域ＢＣ１が予め定められている。記憶部２３には、このようなレイアウト情報が値札の種別ごとに記憶されている。レイアウト情報は、例えば値札本体の全領域において商品名、価格、及びバーコードがそれぞれ表示されている領域を座標等で表すものである。値札構造化部２５２は、記憶部２３に記憶されている値札の種別ごとのレイアウト情報に基づいて、値札本体に対する商品名、価格、及びバーコードのそれぞれの領域を特定しつつ、それらの要素の構造化を行う。例えば、値札構造化部２５２は、図５に示される値札本体要素ＰＴ１及び商品名要素ＰＮ１を構造化する際には、図８に示されるレイアウト情報に基づいて、値札本体要素ＰＴ１及び商品名要素ＰＮ１のそれぞれの領域を特定しつつ、それらを構造化する。

図７に示されるように、値札構造化部２５２は、ステップＳ２５の処理で否定的な判断を行った場合（ステップＳ２５：ＮＯ）、あるいはステップＳ２７の処理で否定的な判断を行った場合には（ステップＳ２７：ＮＯ）、取得された未対応の値札要素を構造化することなく、ステップＳ２１の処理に戻る。この場合にも、値札構造化部２５２は、その値札要素を対応済みの値札要素として登録する。

値札構造化部２５２は、ステップＳ２１の処理に戻ることにより、未対応の値札要素が残っているか否かを再び判断する。例えば、図５に示される商品名要素ＰＮ２の構造化が未だ行われていない場合には、値札構造化部２５２は、未対応の値札要素が残っていると判断して（ステップＳ２１：ＹＥＳ）、その商品名要素ＰＮ２を取得する（ステップＳ２２）。続いて、値札構造化部２５２は、商品名要素ＰＮ２と重なる値札本体要素が存在するか否かを判断する（ステップＳ２３）。このとき、図５に示されるように、商品名要素ＰＮ２は値札本体要素ＰＴ１だけでなく、値札本体要素ＰＴ２にも重なっているため、値札構造化部２５２は、商品名要素ＰＮ２と重なる値札本体要素が存在すると判断して（ステップＳ２３：ＹＥＳ）、商品名要素ＰＮ２と重なる面積が最大の値札本体要素及び重なる面積率を算出する（ステップＳ２４）。このとき、商品名要素ＰＮ２の大部分は値札本体要素ＰＴ２と重なっているため、値札構造化部２５２は、商品名要素ＰＮ２と重なる面積が最大の値札本体要素として値札本体要素ＰＴ２を取得する。そして、値札構造化部２５２は、画像データ５０において商品名要素ＰＮ２の全領域の面積に対する、値札本体要素ＰＴ２と重なっている部分の面積の比率である面積率を算出する。以降、値札構造化部２５２は、ステップＳ２５の処理で肯定的な判断を行うとともに（ステップＳ２５：ＹＥＳ）、ステップＳ２６の処理を実行した後、更にステップＳ２７の処理で肯定的な判断を行った場合には（ステップＳ２７：ＹＥＳ）、値札本体要素ＰＴ２及び商品名要素ＰＮ２を値札Ａ２として構造化する（ステップＳ２８）。

値札構造化部２５２は、画像データ５０において未対応の値札要素が存在しなくなるまで、換言すれば画像データ５０から検出された値札要素の全てが対応済みの値札要素として登録されるまでステップＳ２１～Ｓ２８の処理を繰り返し実行する。そして、値札構造化部２５２は、画像データ５０において未対応の値札要素が存在しなくなると、ステップＳ２１の処理で否定的な判断を行って（ステップＳ２１：ＮＯ）、図７に示される処理を一旦終了する。

値札構造化部２５２が図７に示される処理を例えば図５に示される画像データ５０に対して実行することにより、値札５１を構成する値札本体要素ＰＴ１、商品名要素ＰＮ１、価格要素ＰＰ１、及びバーコード要素ＢＣ１を１つの「値札Ａ１」として構造化する。同様に、値札構造化部２５２は、値札５２を構成する値札本体要素ＰＴ２、商品名要素ＰＮ２、価格要素ＰＰ２、及びバーコード要素ＢＣ２を１つの「値札Ａ２」として構造化する。さらに、値札構造化部２５２は、値札５３を構成する値札本体要素ＰＴ３、商品名要素ＰＮ３、価格要素ＰＰ３、及びバーコード要素ＢＣ３を１つの「値札Ａ３」として構造化する。それぞれ構造化された値札Ａ１～Ａ３は互いに異なる値札として認識される。

以下では、値札構造化部２５２により構造化された値札Ａ１～Ａ３を「構造化値札Ａ１～Ａ３」と称する。
（値札追跡部の構成）
値札追跡部２５３は、照合部２５６により既に照合が完了している照合済み値札が存在する場合、画像データ取得部２５０により今回取得された画像データにおける照合済み値札の位置を追跡する。例えば、値札追跡部２５３は、画像データ取得部２５０により前回取得された画像データ内における照合済み値札の位置の情報を取得した上で、前回の画像データと今回の画像データとからカルマンフィルタやパーティクルフィルタ等を用いて２つの画像データ間の照合済み値札の動きを推定することにより、今回取得された画像データにおける照合済み値札の位置を推定する。なお、値札追跡部２５３は、前回取得された１つの画像データに代えて、前回までに取得された複数の画像データを用いてもよい。以下では、値札追跡部２５３により追跡することができた値札を「追跡成功値札」と称する。

なお、値札追跡部２５３は、今回の画像データにおいて追跡成功値札を検出することができた場合、その追跡の信頼性を数値化した信頼度を演算する。
（照合対象判定部の構成）
照合対象判定部２５４は、値札構造化部２５２により構造化された値札のうち、既に照合が完了している値札を照合対象から除外することにより、照合処理の負担を軽減する。

図９及び図１０は、照合対象判定部２５４により実行される照合対象判定処理の手順を示したものである。
図９に示されるように、照合対象判定部２５４は、まず、今回の画像データにおいて値札構造化部２５２により構造化された値札から、予め照合が不要であると判定されている値札を除外する（ステップＳ３０）。例えば、照合対象判定部２５４は、構造化値札の構成と、予め登録されている照合の不要な値札の構成とを比較して、構造化値札の構成が照合の不要な値札の構成と一致する場合には、その構造化値札を照合対象から除外する。結果的に、照合対象判定部２５４がステップＳ３０の処理を実行することにより、構造化値札のうち、照合の必要な値札のみが残る。

続いて、照合対象判定部２５４は、値札追跡部２５３により今回の画像データ内で追跡することができた全ての追跡値札の中に、図９及び図１０に示される処理で照合の必要があるか否かの確認が完了していない追跡成功値札が存在するか否かを判断する（ステップＳ３１）。例えば今回の画像データの中に追跡成功値札が存在しない場合、照合対象判定部２５４は、未確認の追跡成功値札は存在しないと判断して（ステップＳ３１：ＮＯ）、図９に示される処理を一旦終了する。

一方、未確認の追跡成功値札として、例えば図１１（Ａ）に示されるような追跡成功値札Ｂ１～Ｂ３が存在している場合、照合対象判定部２５４は、図９に示されるステップＳ３１の処理において、未確認の追跡成功値札が存在すると判断するとともに（ステップＳ３１：ＹＥＳ）、その未確認の追跡成功値札の情報を取得する（ステップＳ３２）。ステップＳ３２の処理では、未確認の３つの追跡成功値札Ｂ１～Ｂ３のうちの１つ、例えば図１１（Ａ）に一点鎖線で示される追跡成功値札Ｂ１の情報が取得される。照合対象判定部２５４は、ステップＳ３２の処理に続いて、図１０に示される処理を実行する。

図１０に示されるように、照合対象判定部２５４は、まず、今回の画像データで検出された構造化値札の中に、図９及び図１０に示される処理で照合の必要があるか否かの確認が完了していない構造化値札が存在するか否かを判断する（ステップＳ３３）。未確認の構造化値札として、例えば図１１（Ａ）に示されるように構造化値札Ｃ１～Ｃ３が存在している場合、照合対象判定部２５４は、図１０に示されるステップＳ３３の処理において、未確認の構造化値札が存在すると判断するとともに（ステップＳ３３：ＹＥＳ）、その未確認の構造化値札の情報を取得する（ステップＳ３４）。ステップＳ３４の処理では、未確認の３つの構造化値札Ｃ１～Ｃ３のうちの１つ、例えば図１１（Ａ）に一点鎖線で示される構造化値札Ｃ１の情報が取得される。

続いて、照合対象判定部２５４は、今回の画像データにおいて、ステップＳ３２の処理で取得した未確認の追跡成功値札の全面積に対する、ステップＳ３４の処理で取得した未確認の構造化値札が重なっている部分の面積の比率である面積率を算出するとともに（ステップＳ３５）、算出された面積率が第２面積率閾値以上であるか否かを判断する（ステップＳ３６）。第２面積率閾値は、追跡成功値札と構造化値札とが同一のものであるか判定することができるように予め設定されており、記憶部２３に記憶されている。例えば図１１（Ａ）に示される例では、照合対象判定部２５４は、追跡成功値札Ｂ１の全面積に対する、構造化値札Ｃ１が重なっている部分の面積の比率である面積率を算出する。図１２に示されるように、追跡成功値札Ｂ１の領域が二点鎖線で囲われる領域であって、且つ構造化値札Ｃ１の領域が一点鎖線で囲われる領域である場合に、追跡成功値札Ｂ１に対して構造化値札Ｃ１が重なっている部分の面積は、図中にハッチングで示される部分の面積で定義される。

図１０に示されるように、照合対象判定部２５４は、算出された面積率が第２面積率閾値未満である場合には（ステップＳ３６：ＮＯ）、未確認の構造化値札は未確認の追跡成功値札とは別のものであると判定して、ステップＳ３３の処理に戻る。このとき、照合対象判定部２５４は、面積率の算出を行った未確認の構造化値札を確認済みの構造化値札として登録する。例えば図１１（Ａ）に示されるように面積率に基づいて未確認の追跡成功値札Ｂ１及び未確認の構造化値札Ｃ１を比較した結果、未確認の構造化値札Ｃ１は未確認の追跡成功値札Ｂ１とは別のものであると判定した場合、照合対象判定部２５４は、図１１（Ｂ）に示されるように構造化値札Ｃ１を確認済みの構造化値札として登録する。

図１０に示されるように、照合対象判定部２５４は、ステップＳ３３の処理に戻ると、構造化値札Ｃ２及び構造化値札Ｃ３が未確認の状態であるため、ステップＳ３３の処理で肯定的な判断を行う（ステップＳ３３：ＹＥＳ）。この場合にも、照合対象判定部２５４は、ステップＳ３４及びステップＳ３５の処理を実行した後、ステップＳ３６の処理で否定的な判断を行った場合には（ステップＳ３６：ＮＯ）、図１１（Ｃ）に示されるように構造化値札Ｃ２を確認済みの構造化値札として登録した後、図１０に示されるステップＳ３３の処理に再び戻る。

照合対象判定部２５４は、ステップＳ３３の処理に戻ると、構造化値札Ｃ３が未確認の状態であるため、ステップＳ３３の処理で肯定的な判断を行う（ステップＳ３３：ＹＥＳ）。この場合にも、照合対象判定部２５４は、ステップＳ３４及びステップＳ３５を実行した後、ステップＳ３６の処理で肯定的な判断を行った場合には（ステップＳ３６：ＹＥＳ）、未確認の構造化値札Ｃ３が追跡成功値札Ｂ１と同一のものであると判定して、構造化値札Ｃ３を照合済み値札として登録する（ステップＳ３６）。この際、照合対象判定部２５４は、図１１（Ｄ）に示されるように構造化値札Ｃ３を確認済みの構造化値札として登録した後、図１０に示されるステップＳ３３の処理に戻る。このように、照合対象判定部２５４は、今回の画像データで検出された構造化値札の全てが確認済みになるまでステップＳ３３以降の処理を繰り返し実行する。

図１１（Ｄ）に示されるように今回の画像データで検出された構造化値札Ｃ１～Ｃ３の全てが確認済みになると、照合対象判定部２５４は、図１０に示されるステップＳ３３の処理で否定的な判断を行った後（ステップＳ３３：ＮＯ）、未確認の追跡成功値札Ｂ１が、いずれの構造化値札Ｃ１～Ｃ３とも第２面積率閾値以上の面積率で重ならなかったか否かを判断する（ステップＳ３８）。図１１（Ｄ）に示されるように、構造化値札Ｃ１が照合済み値札として登録されている場合、構造化値札Ｃ１は未確認の追跡成功値札Ｂ１に対して第２面積率閾値以上の面積率で重なっていることになるため、照合対象判定部２５４は、図１０に示されるステップＳ３８の処理で否定的な判断を行う（ステップＳ３８：ＮＯ）。この場合、照合対象判定部２５４は、図９に示されるステップＳ３１の処理に戻る。このとき、図１１（Ｅ）に示されるように、照合対象判定部２５４は、追跡成功値札Ｂ１を確認済みの追跡成功値札として登録するとともに、構造化値札Ｃ１～Ｃ３のうち、照合済み値札として登録されていない構造化値札Ｃ１，Ｃ２を未確認の状態に戻す。

照合対象判定部２５４は、ステップＳ３１の処理に戻ったときに、追跡成功値札Ｂ２，Ｂ３が未確認の状態であるため、ステップＳ３１の処理で肯定的な判断を行う（ステップＳ３１：ＹＥＳ）。この場合、照合対象判定部２５４は、例えば未確認の追跡成功値札Ｂ２の情報を取得した後、残りの構造化値札Ｃ１，Ｃ２に対してステップＳ３３以降の処理を実行する。

一方、追跡成功値札Ｂ２が検出されている場合であっても、それに対応する構造化値札が今回の画像データで検出されていない場合がある。この場合、未確認の追跡成功値札Ｂ２に対して、いずれの構造化値札Ｃ１，Ｃ２も第２面積率閾値以上の面積率で重ならない。そのため、照合対象判定部２５４は、図１０に示されるステップＳ３８の処理で肯定的な判断を行う（ステップＳ３８）。この場合、照合対象判定部２５４は、未確認の追跡成功値札Ｂ１の追跡の信頼度を値札追跡部２５３から取得するとともに、その信頼度が閾値以上であるか否かを判断する（ステップＳ３９）。照合対象判定部２５４は、追跡成功値札Ｂ２の信頼度が閾値以上である場合には（ステップＳ３９：ＹＥＳ）、その追跡成功値札Ｂ２を照合済み値札として登録した後（ステップＳ４０）、図９に示されるステップＳ３１の処理に戻る。一方、照合対象判定部２５４は、追跡成功値札Ｂ１の信頼度が閾値未満である場合には（ステップＳ３９：ＮＯ）、その追跡成功値札Ｂ１を認証済み値札として登録することなく、図９に示されるステップＳ３１の処理に戻る。

照合対象判定部２５４は、追跡成功値札Ｂ１～Ｂ３及び構造化値札Ａ１～Ａ３の確認を完了した場合、ステップＳ３１の処理に戻ったときに、追跡成功値札Ｂ２，Ｂ３が未確認の状態であるため、ステップＳ３１の処理で肯定的な判断を行う（ステップＳ３１：ＹＥＳ）。この場合、照合対象判定部２５４は、例えば未確認の追跡成功値札Ｂ２の情報を取得した後、残りの構造化値札Ｃ１，Ｃ３に対してステップＳ３３以降の処理を実行する。

照合対象判定部２５４は、今回の画像データで検出された追跡成功値札Ｂ１～Ｂ３の全てが確認済みになるまでステップＳ３１以降の処理を繰り返し実行する。そして、今回の画像データで検出された追跡成功値札Ｂ１～Ｂ３の全てが確認済みになると、照合対象判定部２５４は、ステップＳ３１の処理で否定的な判断を行った後（ステップＳ３１：ＮＯ）、図９及び図１０に示される処理を一旦終了する。

（値札要素認識部の構成）
値札要素認識部２５５は、今回の画像データで検出された構造化値札のうち、照合対象判定部２５４により照合済み値札であると判定された構造化値札及び追跡成功値札を除く値札、すなわち未照合の構造化値札及び追跡成功値札に含まれる情報を認識する。以下では、未照合の構造化値札及び追跡成功値札をまとめて「未照合値札」と称する。

図１３は、値札要素認識部２５５により実行される値札要素認識処理の手順を示したものである。なお、図１３に示される処理は、未照合値札が複数存在する場合、複数の未照合値札に対して個別に実行される。
図１３に示されるように、値札要素認識部２５５は、まず、未照合値札の画像データを取得する（ステップＳ５０）。続いて、値札要素認識部２５５は、未照合値札に価格要素が含まれているか否かを判断する（ステップＳ５１）。値札要素認識部２５５は、未照合値札に価格要素が含まれている場合には（ステップＳ５１：ＹＥＳ）、未照合値札の画像データから価格要素の領域に対応した画像データを切り抜くとともに（ステップＳ５２）、切り抜いた画像データから価格情報を認識する（ステップＳ５３）。例えば、値札要素認識部２５５は、切り抜いた画像データに対してＯＣＲ（Optical Character Recognition）処理等の文字認識処理を施すことにより、画像データに含まれている文字情報を抽出する。具体的には、値札要素認識部２５５は、図５に示される構造化値札Ａ１が未照合値札に相当し、当該構造化値札Ａ１に図５に示されるような価格要素ＰＰ１が含まれている場合には、価格要素ＰＰ１から「３９８円」という文字情報を抽出する。値札要素認識部２５５は、ステップＳ５３の処理を実行した場合、あるいは未照合値札に価格要素が含まれていない場合には（ステップＳ５１：ＮＯ）、ステップＳ６０の処理に進む。

一方、値札要素認識部２５５は、ステップＳ５１～５３の処理に並行して、未照合値札にバーコード要素が含まれているか否かを判断する（ステップＳ５４）。値札要素認識部２５５は、未照合値札にバーコード要素が含まれている場合には（ステップＳ５４：ＹＥＳ）、未照合値札の画像データからバーコード要素に対応した画像データを切り抜くとともに（ステップＳ５５）、切り抜いた画像データに対してＯＣＲ処理等を施すことによりバーコード情報を認識する（ステップＳ５６）。値札要素認識部２５５は、ステップＳ５６の処理を実行した場合、あるいは未照合値札にバーコード要素が含まれていない場合には（ステップＳ５４：ＮＯ）、ステップＳ６０の処理に進む。

また、値札要素認識部２５５は、ステップＳ５１～５６の処理に並行して、未照合値札に商品名要素が含まれているか否かを判断する（ステップＳ５７）。値札要素認識部２５５は、未照合値札に商品名要素が含まれている場合には（ステップＳ５７：ＹＥＳ）、未照合値札の画像データから商品名要素に対応した画像データを切り抜くとともに（ステップＳ５８）、切り抜いた画像データに対してＯＣＲ処理等を施すことにより商品名情報を認識する（ステップＳ５９）。値札要素認識部２５５は、ステップＳ５９の処理を実行した場合、あるいは未照合値札に商品名要素が含まれていない場合には（ステップＳ５７：ＮＯ）、ステップＳ６０の処理に進む。

値札要素認識部２５５は、ステップＳ６０として、バーコード情報及び商品名情報の少なくとも一方を認識することができ、且つ価格情報を認識することができたか否かを判断する。値札要素認識部２５５は、ステップＳ６０の処理で肯定的な判断を行った場合（ステップＳ６０：ＹＥＳ）、その未照合値札を認識成功の値札として登録した後（ステップＳ６１）、図１３に示される処理を一旦終了する。一方、値札要素認識部２５５は、バーコード情報及び商品名情報の両方を認識できない場合、あるいは価格情報を認識できない場合には（ステップＳ６０：ＮＯ）、その未照合値札を認識失敗の値札として登録した後（ステップＳ６２）、図１３に示される処理を一旦終了する。

（照合部の構成）
照合部２５６は、値札要素認識部２５５により認識成功の値札として登録された未照合値札が存在する場合、その未照合値札に対応するバーコード情報及び商品名情報の少なくとも一方及び価格情報を値札要素認識部２５５から取得する。

照合部２５６は、未照合値札に対応するバーコード情報を取得できない一方、商品名情報及び価格情報を取得できた場合には、商品名情報を、図１に示されるネットワーク回線Ｎを介してサーバ装置３０に送信する。これにより、サーバ装置３０は、商品マスタデータベース３１から商品名情報に対応した最新の価格情報を取得するとともに、取得した商品マスタの価格情報を端末装置２０にネットワーク回線Ｎを介して送信する。照合部２５６は、サーバ装置３０から送信される商品マスタの価格情報と、値札要素認識部２５５により認識された価格情報とを照合する。

一方、照合部２５６は、未照合値札に対応する商品名情報を取得できない一方、バーコード情報及び価格情報を取得できた場合には、バーコード情報に含まれる情報、例えば商品の識別番号や名称等の情報を、図１に示されるネットワーク回線Ｎを介してサーバ装置３０に送信する。これによりサーバ装置３０は、商品マスタデータベース３１から商品の識別番号や名称等に対応した最新の価格情報を取得するとともに、取得した商品マスタの価格情報を端末装置２０にネットワーク回線Ｎを介して送信する。照合部２５６は、サーバ装置３０から送信される商品マスタの価格情報と、値札要素認識部２５５により認識された価格情報とを照合する。

なお、照合部２５６は、未照合値札に対応する商品名情報及びバーコード情報の両方を取得できた場合には、商品名情報及びバーコード情報のいずれかを用いてサーバ装置３０から商品マスタの価格情報を取得するとともに、取得した商品マスタの価格情報と、値札要素認識部２５５により認識された価格情報とを照合する。

照合部２５６は、商品マスタの価格情報と、値札要素認識部２５５により認識された価格情報とが一致する場合には、その未照合値札を価格一致の照合済み値札として登録する。また、照合部２５６は、商品マスタの価格情報よりも、値札要素認識部２５５により認識された価格情報が安い場合には、その未照合値札を価格不一致の照合済み値札として登録する。さらに、照合部２５６は、商品マスタの価格情報よりも、値札要素認識部２５５により認識された価格情報が高い場合にも、その未照合値札を価格不一致の照合済み値札として登録する。

（表示制御部の構成）
表示制御部２５７は表示部２２の表示出力を制御する。具体的には、表示制御部２５７は、画像データ取得部２５０により撮像部２１から逐次取得される画像データを時系列画像として表示部２２に表示する。

また、表示制御部２５７は、時系列画像に併せて、照合部２５６の照合結果を図１４（Ａ）～（Ｄ）に示されるように表示する。なお、図１４（Ａ）～（Ｄ）では、表示色の差異が点ハッチングの点の密度の差異として表されている。また、図１４（Ａ）～（Ｄ）に示される値札Ｄ１～Ｄ４は構造化値札及び追跡成功値札のいずれかである。

例えば、表示制御部２５７は、照合部２５６により価格一致の照合済み値札として判定された値札Ｄ１に関しては、図１４（Ａ）に示されるように、値札Ｄ１の領域全体を第１の色ＣＬ１で表示する。第１の色ＣＬ１は例えば透過性を有する緑色である。また、表示制御部２５７は、商品マスタの価格情報よりも、値札要素認識部２５５により認識された価格情報が安いと照合部２５６により判定された値札Ｄ２に関しては、図１４（Ｂ）に示されるように、値札Ｄ２の領域全体を第２の色ＣＬ２で表示する。第２の色ＣＬ２は例えば透過性を有する赤色である。さらに、表示制御部２５７は、商品マスタの価格情報よりも、値札要素認識部２５５により認識された価格情報が高いと照合部２５６により判定された値札Ｄ３に関しては、図１４（Ｃ）に示されるように、値札Ｄ３の領域全体を第３の色ＣＬ３で表示する。第３の色ＣＬ３は例えば透過性を有する青色である。

また、表示制御部２５７は、照合部２５６による照合が完了していない未照合値札Ｄ４に関しては、例えば図１４（Ｄ）に示されるように、未照合値札Ｄ４の領域全体を第４の色ＣＬ４で表示する。なお、未照合値札Ｄ４には、例えば図１３に示されるステップＳ６２の処理で認識失敗の値札として登録された構造化値札又は追跡成功値札が含まれる。第４の色ＣＬ４は例えば透過性を有する白色である。

さらに、表示制御部２５７は、図９に示されるステップＳ３０に示される処理で、照合が不要であると判定された照合不要値札Ｄ５に関しては、例えば図１４（Ｅ）に示されるように、照合不要値札Ｄ５の領域全体を第５の色ＣＬ５で表示する。第５の色ＣＬ５は例えば透過性を有する黒色である。

（制御部の動作の流れ）
次に、図１５及び図１６を参照して、本実施形態の制御部２５の動作例について総括する。
図１５に示されるように、制御部２５では、まず、画像データ取得部２５０が撮像部２１から今回の画像データを取得した後（ステップＳ７０）、値札検出部２５１が画像データに対して図４に示される値札要素検出処理を実行することにより（ステップＳ７１）、画像データから値札要素を検出する。続いて、値札構造化部２５２が図７に示される値札要素構造化処理を実行することにより（ステップＳ７２）、ステップＳ７１の処理で検出された値札要素を構造化する。

一方、制御部２５では、ステップＳ７１，Ｓ７２の処理に並行してステップＳ７３～Ｓ７５の処理が実行される。具体的には、値札追跡部２５３が、前回の画像データに照合済み値札が存在しているか否かを判断する（ステップＳ７３）。照合済み値札には、前回の画像データで照合部２５６により価格一致の照合済み値札として登録された構造化値札、及び価格不一致の照合済み値札として登録された構造化値札が含まれる。値札追跡部２５３は、照合済み値札が存在していると判断した場合には（ステップＳ７３：ＹＥＳ）、前回の画像データ及び今回の画像データに基づいて照合済み値札の追跡処理を実行して（ステップＳ７４）、追跡が成功した値札を追跡成功値札として登録する（ステップＳ７５）。

ステップＳ７２の処理及びステップＳ７５の処理が実行された後、照合対象判定部２５４は、追跡成功値札が存在するか否かを判定する（ステップＳ７６）。このとき、照合対象判定部２５４は、追跡成功値札が存在すると判定した場合には（ステップＳ７６：ＹＥＳ）、追跡成功値札と、ステップＳ７２の処理で構造化された構造化値札とを用いて図９及び図１０に示される照合対象判定処理を実行することにより（ステップＳ７７）、構造化値札及び追跡成功値札のうち、既に照合が完了している値札を照合済み値札として登録する。結果として、構造化値札及び追跡成功値札の中に、照合済み値札として登録されていない値札が存在する場合には、その値札が未照合値札として残ることになる。ステップＳ７７の処理が実行された後、図１６に示されるステップＳ７８の処理が実行される。

一方、ステップＳ７６の処理において追跡成功値札が存在しないと照合対象判定部２５４により判定された場合にも（ステップＳ７６：ＮＯ）、図１６に示されるステップＳ７８の処理が実行される。この場合には、構造化値札の中に、照合済み値札として登録されていない値札が存在する場合には、その値札が未照合値札として残ることになる。

また、ステップＳ７３の処理において照合済み値札が存在しないと値札追跡部２５３により判定された場合にも（ステップＳ７３：ＮＯ）、図１６に示されるステップＳ７８の処理が実行される。この場合にも、構造化値札の中に、照合済み値札として登録されていない値札が存在する場合には、その値札が未照合値札として残ることになる。

図１６に示されるように、値札要素認識部２５５は、ステップＳ７８の処理として、未照合値札が存在するか否かを判断する（ステップＳ７８）。値札要素認識部２５５は、未照合値札が存在する場合には（ステップＳ７８：ＹＥＳ）、ステップＳ７９以降の処理を実行する。なお、未照合値札が複数存在する場合、ステップＳ７９～Ｓ８５の処理は複数の未照合値札に対して個別に実行される。

値札要素認識部２５５は、未照合値札が存在する場合には（ステップＳ７８：ＹＥＳ）、まず、未照合値札に対して図１３に示される値札要素認識処理を実行することにより（ステップＳ７９）、未照合値札の値札要素、具体的には価格要素、バーコード要素、及び商品名要素を認識する。続いて、値札要素認識部２５５は、未照合値札の認識が成功したか否かを判断する（ステップＳ８０）。具体的には、値札要素認識部２５５は、未照合値札に記載の商品名及びバーコードの少なくとも一方及び価格の認識が成功した場合には、その未照合値札の認識が成功したと判断する（ステップＳ８０：ＹＥＳ）。この場合、照合部２５６は、ステップＳ８０の処理で認識された価格情報と、サーバ装置３０の商品マスタデータベース３１に登録されている商品マスタの価格情報とを照合して（ステップＳ８１）、それらが一致しているか否かを判断する（ステップＳ８２）。照合部２５６は、それらが一致している場合には（ステップＳ８２：ＹＥＳ）、その未照合値札を価格一致の照合済み値札として登録する（ステップＳ８３）。

一方、照合部２５６は、ステップＳ８０の処理で認識された価格情報と、サーバ装置３０の商品マスタデータベース３１に登録されている商品マスタの価格情報とが一致しなかった場合には（ステップＳ８２：ＮＯ）、その未照合値札を価格不一致の照合済み値札として登録する（ステップＳ８４）。

さらに、ステップＳ８０の処理において値札要素認識部２５５による未照合値札の認識が成功しなかった場合（ステップＳ８０：ＮＯ）、表示制御部２５７は未照合値札を表示部２２に表示する（ステップＳ８５）。具体的には、表示制御部２５７は、図１４（Ｄ）に示される態様で未照合値札を表示部２２に表示する。

図１５に示されるように、ステップＳ８３～Ｓ８５のいずれかの処理が実行された後、値札要素認識部２５５により未照合値札が存在するか否かが判定されて（ステップＳ７８）、未照合値札が存在する場合には（ステップＳ７８：ＹＥＳ）、ステップＳ７９～Ｓ８５の処理が再び実行される。これにより、未照合の値札の全てに対してステップＳ８３～Ｓ８５のいずれかの処理が実行されると、値札要素認識部２５５が、ステップＳ７８の処理で、未照合値札が存在しないと判定するようになる（ステップＳ７８：ＮＯ）。この場合、表示制御部２５７は、ステップＳ８３及びＳ８４の処理で登録された照合済み値札を表示部２２に表示する（ステップＳ８６）。具体的には、表示制御部２５７は、図１４（Ａ）～（Ｃ）に示される態様で照合済み値札を表示する。続いて、画像データ取得部２５０は、画像データ取得部２５０により取得された次の画像データが存在するか否かを判断して（ステップＳ８７）、次の画像データが存在する場合には（ステップＳ８７：ＹＥＳ）、図１５に示されるステップＳ７０の処理に戻る。一方、次の画像データが存在しない場合には（ステップＳ８７：ＮＯ）、制御部２５は図１５及び図１６に示される処理を終了する。

（作用及び効果）
以上説明した本実施形態の照合システム１０によれば以下の作用及び効果を得ることが可能である。
端末装置２０は、撮像部２１と、表示部２２と、値札検出部２５１と、照合部２５６とを備える。撮像部２１は、値札が含まれる画像データを撮像により取得可能である。表示部２２は、撮像部２１により逐次取得される画像データを時系列画像として表示可能である。値札検出部２５１は画像データから値札要素を検出する。照合部２５６は、値札要素に含まれる情報と、商品マスタデータベース３１に登録されている情報とを照合する。表示部２２は、時系列画像において値札と照合部２５６の照合結果とを対応付けて表示する。
この構成によれば、ユーザは、表示部２２に表示される時系列画像を見ることにより値札の照合結果を容易に確認することができる。そのため、ユーザの確認作業の工数を低減することが可能である。

端末装置２０は値札構造化部２５２を更に備える。値札構造化部２５２は、値札検出部２５１により検出された値札要素を値札ごとに構造化する。
この構成によれば、値札要素を１つのまとまりとして構造化することができるため、より高い精度で値札を検出することが可能となる。

照合部２５６は、照合が完了した値札を照合済み値札として登録する。端末装置２０は照合対象判定部２５４を更に備える。照合対象判定部２５４は、画像データから取得された構造化値札のうち、照合済み値札に登録する値札を照合部２５６の照合の対象から除外する。
この構成によれば、既に照合が完了している値札が今回の画像データ内に存在する際に、その値札を照合部２５６が再度照合することを回避できる。そのため、照合部２５６の処理負担を軽減することが可能である。

端末装置２０は値札追跡部２５３を更に備える。値札追跡部２５３は、時系列画像において照合済み値札を追跡値札として追跡する。照合対象判定部２５４は、値札追跡部２５３により追跡された追跡値札と、構造化された値札とが同一のものであると判定した場合、構造化された値札を照合の対象から除外する。
この構成によれば、追跡値札を利用することにより、構造化値札のうち、既に照合済みの値札を照合の対象から容易に除外することができる。また、追跡値札を用いない場合、時系列画像のフレームごとに構造化値札を検出する必要がある。この場合、構造化値札に関してはフレーム毎に検出されることが望ましいが、例えば機械学習モデルの検出精度により構造化値札を適切に検出できない場合がある。このような場合、時系列画像のフレーム間で構造化値札の検出及び非検出が連続して発生することになるため、値札の検出結果及び照合結果の表示及び非表示が連続して発生する、いわゆる画面のちらつきが発生する可能性がある。この点、本実施形態のように追跡値札を用いれば、何らかの理由により構造化値札を検出することができなかった場合でも、その非検出の構造化値札を追跡値札で補うことができる。結果的に、値札の検出結果及び照合結果を安定して表示させることができるため、上記の画面のちらつきの発生を抑制することが可能である。

値札検出部２５１は、値札要素として、値札本体要素と、値札本体に付されている情報である値札付帯要素とを検出する。値札付帯要素には、価格要素、バーコード要素、及び商品名要素が含まれている。値札構造化部２５２は、値札の種別に対応した、予め設定されている値札のレイアウト情報に基づいて、値札本体要素における値札付帯要素の領域を特定しつつ、値札要素の構造化を行う。
この構成によれば、より高い精度で、且つより容易に値札要素を構造化することが可能である。

値札構造化部２５２は、値札検出部２５１により検出された値札要素の奥行きの分布情報に基づいて、値札要素を構造化の対象として用いるか否かを判定する。具体的には、値札構造化部２５２は、値札要素の奥行きのヒストグラムが多峰性の傾向を示している場合には、この値札要素を構造化の対象から除外する。また、値札構造化部２５２は、値札要素の奥行きのヒストグラムが単峰性の傾向を示している場合には、この値札要素を構造化の対象とする。
この構成によれば、値札要素の奥行きの分布情報に基づいて、構造化すべきでない外乱の要素を排除しつつ、値札要素を構造化することが可能となる。

表示部２２は、照合部２５６の照合結果に応じた色を表示する。具体的には、価格要素から取得可能な価格情報と、商品マスタデータベース３１に登録されている価格情報が一致する第１の状況であるとき、表示部２２は第１の色ＣＬ１を表示する。価格要素から取得可能な価格情報よりも、商品マスタデータベース３１に登録されている価格情報の方が安い第２の状況であるとき、表示部２２は第２の色ＣＬ２を表示する。価格要素から取得可能な価格情報よりも、商品マスタデータベース３１に登録されている価格情報の方が高い第３の状況であるとき、表示部２２は第３の色ＣＬ３を表示する。
この構成によれば、ユーザは価格の照合結果を視覚的に把握することが可能であるため、よりスムーズに確認作業を進めることが可能となる。

（第１変形例）
機械学習モデル等により画像データ内の値札要素を検出する場合、画像データ内に含まれる値札要素を適切に検出できない可能性がある。本変形例では、このような場合にユーザが画像データ内の値札要素の領域を指定することにより、値札要素を手動で特定することが可能となっている。本変形例の具体的な構成は以下の通りである。

図３に破線で示されるように、本変形例の端末装置２０は、その機能的な構成として、入力部２６を更に備えている。入力部２６は、文字や数値等を入力する機能や、画像データ内の領域を指定する機能を有するものであって、図２に示される入力装置１４により実現可能である。入力部２６では、表示部２２に表示される画像データ内の値札要素の領域を、具体的には値札本体要素の領域、商品名要素の領域、価格要素の領域、及びバーコード要素の領域の少なくとも１つの領域を数値等の入力操作で指定すること、あるいはドラッグアンドドロップ操作により指定することが可能である。

図３に破線で示されるように、制御部２５は、入力情報取得部２５８と、学習部２５９とを更に備えている。
入力情報取得部２５８は、入力部２６に入力された値札要素の指定領域の情報を取得すると共に、取得した値札要素の指定領域の情報を値札検出部２５１に送信する。値札検出部２５１は、入力情報取得部２５８から送信される値札要素の指定領域の情報に基づいて、画像データ内の値札要素の領域を特定しつつ、当該領域に含まれる値札要素を検出する。

学習部２５９は、入力部２６に入力された値札要素の指定領域の情報に基づいて、画像データからの値札要素の検出を学習する。具体的には、学習部２５９は、入力部２６に入力された値札要素の指定領域の情報に基づいて、画像データから値札要素を抽出する機械学習モデルを再学習させる。

この構成によれば、仮に画像データ内の値札が適切に検出されていない場合であっても、ユーザは画像データ内の値札の領域を手動で指定することができる。そのため、より適切に画像データ内の値札を検出することが可能となる。また、画像データから値札要素を検出するための機械学習モデルを再学習させることができるため、より適切に値札要素を検出することが可能となる。

（第２変形例）
画像データ内に含まれる値札要素を検出することができた場合であっても、値札要素認識部２５５により認識された値札要素の情報が誤っている可能性がある。本変形例では、このような場合にユーザが値札要素の情報を手動で指定することが可能となっている。なお、本変形例の構成は第１変形例の構成と類似であるため、以下では相違点を中心に説明する。

図３に破線で示される制御部２５の入力情報取得部２５８は、入力部２６に入力される文字情報や数値情報を取得する。例えば、入力情報取得部２５８は、商品名に対応する文字情報が入力部２６に入力された場合には、その文字情報を取得する。また、入力情報取得部２５８は、商品の価格に対応する数値情報が入力部２６に入力された場合には、その数値情報を取得する。

制御部２５の照合部２５６は、構造化された値札要素に含まれる情報として、値札要素認識部２５５により取得された商品名又は価格に代えて、入力情報取得部２５８により取得された商品名又は価格を用いる。
制御部２５の学習部２５９は、入力部２６に入力される文字情報や数値情報に基づいて、画像データからの値札要素の検出を学習する。具体的には、学習部２５９は、入力部２６に入力される文字情報や数値情報に基づいて、値札要素認識部２５５により実行される文字認識処理を再学習する。

この構成によれば、仮に値札要素認識部２５５により認識された値札要素の情報が誤っている場合であっても、ユーザが入力部２６を操作することで、値札要素の誤った情報を手動で修正することができる。よって、より適切に値札の実際の価格と商品マスタデータベース３１の価格とを照合させることができる。また、画像データから文字や数値を認識する処理を更新することができるため、より高い精度で画像データから文字や数値を認識することが可能となる。

（第３変形例）
図３に破線で示されるように、本変形例の端末装置２０は、その機能的な構成として、通知部２７を更に備えている。通知部２７は、音によりユーザに各種通知を行う機能を有するものであって、図２に示される出力装置１５により実現可能である。通知部２７から出力される音には、音声やブザー音等が含まれる。

図３に破線で示されるように、制御部２５は通知制御部２６０を更に備えている。通知制御部２６０は、照合部２５６の照合結果を通知部２７から音により出力する。
この構成によれば、ユーザは、表示部２２の表示とは別に、通知部２７から出力される音により照合結果を確認することができるため、更に容易に照合結果を認識することが可能となる。

（第４変形例）
図３に破線で示されるように、本変形例の制御部２５は作業時間記録部２６１を更に備えている。作業時間記録部２６１は、ユーザが値札の情報と商品マスタデータベース３１の登録情報とを照合する作業を開始した時点から、当該作業が終了した時点までの作業時間を記録する。例えば、作業時間記録部２６１は、表示部２２に表示される作業開始のボタンをユーザが操作した時点から、表示部２２に表示される作業終了のボタンをユーザが操作した時点までの経過時間を作業時間として記録する。

表示制御部２５７は、ユーザの作業が終了した時点で、例えば作業終了のボタンをユーザが操作した時点で、作業時間記録部２６１により記録された作業時間を表示部２２に表示する。
この構成によれば、確認作業の工数をユーザが容易に確認することが可能であるため、利便性を高めることが可能である。

（第５変形例）
本変形例の表示制御部２５７は、照合部２５６の照合結果において、価格要素及びバーコード要素から取得可能な価格情報と、商品マスタデータベース３１に登録されている価格情報とが一致しない場合、商品マスタデータベース３１に登録されている正しい価格の情報を表示部２２に表示する。

この構成によれば、ユーザは表示部２２を見るだけで商品の正しい価格を知ることができるため、確認作業を進め易くなる。
（他の実施形態）
なお、上記実施形態は、以下の形態にて実施することもできる。

・商品マスタデータベース３１は端末装置２０の記憶部２３に記憶されていてもよい。したがって、照合システム１０ではサーバ装置３０を省略可能である。
・撮像部２１により取得される画像データは、ＲＧＢＤ画像に限らず、例えば色情報のみを含むＲＧＢ画像であってもよい。この場合、制御部２５は、画像データの奥行きに関する処理を省略可能である。具体的には、図４に示される値札要素検出処理では、ステップＳ１１～Ｓ１５の処理が省略可能である。図７に示される値札要素構造化処理では、ステップＳ２６及びＳ２７の処理が省略可能である。

・値札付帯要素には、価格要素、バーコード要素、及び商品名要素の少なくとも１つが含まれていればよい。また、値札付帯要素には、価格要素、バーコード要素、及び商品名要素とは異なる要素が含まれていてもよい。
・本開示は上記の具体例に限定されるものではない。上記の具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素、及びその配置、条件、形状等は、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。

１０：照合システム、２０：端末装置（照合装置）、２１：撮像部、２２：表示部、２５：制御部（コンピュータ）、２６：入力部、２７：通知部、２５０：画像データ取得部、２５１：値札検出部、２５２：値札構造化部、２５３：値札追跡部、２５４：照合対象判定部、２５６：照合部、２５７：表示制御部、２５９：学習部、２６１：作業時間記録部。

Claims (19)

1. 値札が含まれる画像データを撮像により取得可能な撮像部と、
   前記撮像部により逐次取得される前記画像データを時系列画像として表示可能な表示部と、
   前記画像データから、値札に関連する要素である値札要素を検出する値札検出部と、
   前記値札要素に含まれる情報と、商品マスタデータベースに登録されている情報とを照合する照合部と、を備え、
   前記表示部は、前記時系列画像において前記値札と前記照合部の照合結果とを対応付けて表示する
   照合装置。
2. 前記値札検出部により検出された前記値札要素を前記値札ごとに構造化する値札構造化部を更に備え、
   前記照合部は、前記値札構造化部により構造化された前記値札に含まれる情報と、前記商品マスタデータベースに登録されている情報とを照合する
   請求項１に記載の照合装置。
3. 前記照合部は、前記照合が完了した値札を照合済み値札として登録し、
   前記値札構造化部により構造化された値札のうち、前記照合済み値札に対応する値札を前記照合の対象から除外する照合対象判定部を更に備える
   請求項２に記載の照合装置。
4. 前記時系列画像において前記照合済み値札を追跡値札として追跡する値札追跡部を更に備え、
   前記照合対象判定部は、前記値札追跡部により追跡された追跡値札と、前記構造化された値札とが同一のものであると判定した場合、当該構造化された値札を前記照合の対象から除外する
   請求項３に記載の照合装置。
5. 前記値札検出部は、前記値札要素として、値札本体の要素と、前記値札本体に付されている要素である値札付帯要素とを検出し、
   前記値札構造化部は、前記値札の種別に対応した、予め設定されている前記値札のレイアウト情報に基づいて、前記値札本体の要素における前記値札付帯要素の領域を特定しつつ前記値札要素の構造化を行う
   請求項２に記載の照合装置。
6. 前記値札構造化部は、前記値札検出部により検出される前記値札要素の奥行きの分布情報に基づいて、前記値札要素を構造化の対象として用いるか否かを判定する
   請求項５に記載の照合装置。
7. 前記値札付帯要素には、価格要素、バーコード要素、及び商品名要素の少なくとも一つが含まれている
   請求項５又は６に記載の照合装置。
8. 前記画像データ内の値札要素の領域を手動で指定可能な入力部を更に備え、
   前記値札検出部は、前記入力部により指定された前記値札要素の領域の情報に基づいて前記画像データ内の前記値札の領域を特定する
   請求項１に記載の照合装置。
9. 前記値札要素の領域の情報に基づいて前記画像データからの前記値札要素の検出を学習する学習部を更に備える
   請求項８に記載の照合装置。
10. 前記値札要素に含まれる情報を手動で入力可能な入力部を更に備え、
    前記照合部は、前記値札要素の情報に基づいて前記照合を更に行う
    請求項１に記載の照合装置。
11. 前記値札要素の情報に基づいて、前記画像データからの前記値札要素の検出を学習する学習部を更に備える
    請求項１０に記載の照合装置。
12. 前記表示部は、前記照合部の照合結果に応じた色を表示する
    請求項１に記載の照合装置。
13. 前記表示部は、
    前記値札要素から取得可能な価格情報と、前記商品マスタデータベースに登録されている価格情報とが一致している状況を第１の状況とし、
    前記値札要素から取得可能な価格情報が、前記商品マスタデータベースに登録されている価格情報よりも安い状況を第２の状況とし、
    前記値札要素から取得可能な価格情報が、前記商品マスタデータベースに登録されている価格情報よりも高い状況を第３の状況とするとき、
    前記第１の状況、前記第２の状況、及び前記第３の状況のそれぞれで異なる色を表示する
    請求項１２に記載の照合装置。
14. 前記照合部の照合結果を前記表示部への表示とは異なる方法で通知する通知部を更に備える
    請求項１に記載の照合装置。
15. 前記通知部は、前記表示部への表示とは異なる方法として、前記照合部の照合結果を音で通知するものである
    請求項１４に記載の照合装置。
16. ユーザが前記値札の情報と前記商品マスタデータベースの登録情報とを照合する作業を開始した時点から、当該作業が終了した時点までの作業時間を記録する作業時間記録部を更に備え、
    前記表示部は、前記作業時間記録部により記録された前記作業時間を表示する
    請求項１に記載の照合装置。
17. 前記表示部は、前記値札要素に含まれる価格の情報と、前記商品マスタデータベースに登録されている価格の情報とが一致していない場合、前記商品マスタデータベースに登録されている価格を表示する
    請求項１に記載の照合装置。
18. 値札が含まれる画像データを撮像により取得可能な撮像部と、
    前記撮像部により逐次取得される前記画像データを時系列画像として表示可能な表示部と、
    前記画像データから、値札に関連する要素である値札要素を検出する値札検出部と、
    前記値札要素に含まれる情報と、商品マスタデータベースに登録されている情報とを照合する照合部と、を備え、
    前記表示部は、前記時系列画像において前記値札と前記照合部の照合結果とを対応付けて表示する
    照合システム。
19. コンピュータを、
    値札が含まれる画像データを撮像部から取得する画像データ取得部と、
    前記撮像部により逐次取得される前記画像データを時系列画像として表示部に表示させる表示制御部と、
    前記画像データから、値札に関連する要素である値札要素を検出する値札検出部と、
    前記値札要素に含まれる情報と、商品マスタデータベースに登録されている情報とを照合する照合部と、として機能させ、
    前記表示制御部は、前記時系列画像において前記値札と前記照合部の照合結果とを対応付けて前記表示部に表示させる
    照合プログラム。

Images