JP6801677B2 - 情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、商品の精算に用いる装置に関する。

スーパーマーケット等の店舗における商品登録装置（例えば POS（Point of Sales）レジスタ）では、商品を精算対象として登録する処理が行われる。例えばこのような処理は、商品に付されているバーコードなどを、商品登録装置に設けられているバーコードリーダーなどに読み取らせることで行われる。

商品登録装置を効率よく運用するための技術が開発されている。例えば特許文献１は、載置台に置かれた複数の商品を、複数の撮像装置でそれぞれ異なる方向から撮像することで、複数の商品を一括で精算対象として登録する技術を開示している。

特開２０１３−０５４６７３号公報

特許文献１の発明は、全ての商品が載置台に置かれた後に撮像装置によって商品を撮像することで、商品を一括で精算対象として登録する。そのため、一部の商品を載置台に置いても、残りの商品が載置台に置かれるまでは、載置台に置いた商品を精算対象として登録することができない。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、商品を精算対象として登録する作業の効率を高める技術を提供することである。

本発明の第１の情報処理装置は、１）映像の第２のフレームから検出される複数の商品それぞれについて、前記映像において前記第２のフレームよりも前の時間に生成された第１のフレームからも検出されるか否かを判定することで、前記複数の商品の中から、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている１つ以上の商品を割り出す比較手段と、２）前記割り出された１つ以上の商品を精算対象として登録する登録手段と、を有し、
前記登録手段は、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない。
本発明の第２の情報処理装置は、１）映像の第１のフレームから複数の商品を検出する第１検出手段と、２）前記映像の第１のフレームよりも後の時間に生成された第２のフレームから複数の商品を検出する第２検出手段と、３）前記第２のフレームから検出された複数の商品それぞれについて、前記第１のフレームからも検出されているか否かを判定する判定手段と、４）前記第２検出手段で検出した前記複数の商品の中から、前記第１のフレームに含まれておらず、前記第２のフレームに含まれている商品を特定する特定手段と、
前記特定手段によって前記商品が特定された場合に、該商品を精算対象として登録する登録手段と、を有し、
前記登録手段は、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）映像の第２のフレームから検出される複数の商品それぞれについて、前記映像において前記第２のフレームよりも前の時間に生成された第１のフレームからも検出されるか否かを判定することで、前記複数の商品の中から、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている１つ以上の商品を割り出す比較ステップと、２）前記割り出された１つ以上の商品を精算対象として登録する登録ステップと、を有し、
前記登録ステップにおいて、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない。

本発明のプログラムは、本発明の制御方法の各ステップをコンピュータに実行させる。

本発明によれば、商品を精算対象として登録する作業の効率を高める技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る商品登録装置を例示するブロック図である。 実施形態１の商品登録装置を実現する計算機のハードウエア構成を例示する図である。 図３は撮像装置の設置場所を例示する図である。 実施形態１の商品登録装置によって実行される処理の流れを例示するフローチャートである。 第１フレームと第２フレームを例示する第１の図である。 第１フレームと第２フレームを例示する第２の図である。 オブジェクトのマッチングを行う様子を例示する図である。 １つのフレームに特徴量の類似度合いが高い複数のオブジェクトが含まれる様子を例示する図である。 処理対象のフレームを決定する方法を例示する図である。 精算情報をテーブル形式で例示する図である。 ２つの商品が載置台の上に積み重ねられて置かれるケースを例示する図である。 実施形態２の商品登録装置の動作を説明するための図である。 ２つのオブジェクトによって表される商品が異なる商品である場合を例示する図である。 ２つのオブジェクトによって表される商品が同じ商品である場合を例示する図である。 実施形態２の商品登録装置によって実行される処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１に係る商品登録装置２０を例示するブロック図である。商品登録装置２０は、商品を精算対象として登録する処理（以下、商品登録処理）に用いられる。商品登録装置２０のユーザ（店員や顧客など）は、商品登録装置２０を操作して、顧客が購入する各商品について商品登録処理を行う。

そのために、商品登録装置２０は比較部２２及び登録部２４を有する。比較部２２は、撮像装置によって生成された映像（以下、商品映像）の第１フレームと第２フレームとを比較する。第２フレームは、第１フレームよりも後の時間に生成されたものである。比較部２２は、第１フレームには含まれておらず、なおかつ第２フレームには含まれている商品を割り出す。そして登録部２４は、上記割り出された商品（第１フレームには含まれておらず、なおかつ第２フレームには含まれている商品）を精算対象として登録する。

本実施形態の商品登録装置２０によれば、商品映像に新たな商品が含まれると、その商品が精算対象として登録される。そのため、撮像装置の撮像範囲に商品を入れるだけで、商品登録装置２０にその商品を精算対象として登録させることができる。よって、商品の登録処理を容易に行うことができる。

また、本実施形態の商品登録装置２０によれば、複数の商品を精算対象として登録する場合に、全ての商品が撮像装置の撮影範囲に入る（例えば載置台に置かれる）ことを待つことなく、撮影範囲に入った商品が精算対象として登録される。よって、商品の登録処理の効率が高くなる。

例えば、店員ＡとＢの二人で商品の登録作業を行うとする。店員Ａは、商品を買い物カゴから取り出して載置台に置く。店員Ｂは、商品登録装置２０によって精算対象として登録された商品を袋に詰める。ここで本実施形態の商品登録装置２０を利用すれば、店員Ｂは、全ての商品が載置台に置かれることを待つことなく、精算対象として登録された商品を袋に詰めていくことができる。よって、全ての商品が載置台に置かれることを待たなければいけない場合よりも、登録作業全体に要する時間を短縮することができる。

以下、本実施形態についてさらに詳細を述べる。

＜商品登録装置２０を実現するハードウエアの例＞
商品登録装置２０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

図２は、実施形態１の商品登録装置２０を実現する計算機２００のハードウエア構成を例示する図である。この計算機２００は、レジ端末用途に設計された専用装置を用いて実装されてもよいし、PC（Personal Computer）や携帯端末などの汎用装置を用いて実装されてもよい。

計算機２００は、バス２０２、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２を有する。バス２０２は、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ２０４は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ２０６は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ２０８は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ２０８は、RAM や ROM などのメモリであってもよい。

入出力インタフェース２１０は、計算機２００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース２１０には、タッチパネル２１４、ドロア２１６、釣り銭機２１８、及びレシートプリンタ２２０などが接続される。タッチパネル２１４は、例えば商品の金額を手動で入力するために利用される。また、タッチパネル２１４は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア２１６は硬貨や紙幣を格納する。釣り銭機２１８は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。レシートプリンタ２２０はレシート等の発行を行う。なお計算機２００には、キーボードなど、タッチパネル２１４以外の入力インタフェースが接続されていてもよい。

ネットワークインタフェース２１２は、計算機２００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース２１２は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば商品登録装置２０を実現する計算機２００は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。

ストレージ２０８は商品登録装置２０の各機能を実現するプログラムモジュールを記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ２０４は、上記各モジュールを実行する際、これらのモジュールをメモリ２０６上に読み出してから実行してもよいし、メモリ２０６上に読み出さずに実行してもよい。

計算機２００のハードウエア構成は図２に示した構成に限定されない。例えば、各プログラムモジュールはメモリ２０６に格納されてもよい。この場合、計算機２００は、ストレージ２０８を備えていなくてもよい。

また計算機２００は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機２００はネットワークインタフェース２１２を有さなくてもよい。

また計算機２００が代金の支払いの処理に利用されない場合、計算機２００はドロア２１６、釣り銭機２１８、及びレシートプリンタ２２０を備えなくてもよい。

＜＜撮像装置３０の詳細＞＞
撮像装置３０は、周囲を撮像して動画を生成することができる任意の撮像装置である。なお撮像装置３０は、撮像装置専用の筐体に設けられているものであってもよいし、他の装置と一体として設けられているもの（スマートフォンに組み込まれているカメラなど）でもよい。

撮像装置３０の設置場所は、商品を撮像できる任意の場所でよい。例えば撮像装置３０は、店員が精算対象の商品の登録処理を行う際に利用する載置台を真下に見下ろす位置に固定される。図３は撮像装置３０の設置場所を例示する図である。図３において、撮像装置３０は商品が置かれている載置台４０を真下に見下ろしている。ただし、撮像装置３０の設置位置は図３に示した位置に限定されない。

＜処理の流れ＞
図４は、実施形態１の商品登録装置２０によって実行される処理の流れを例示するフローチャートである。比較部２２は、第２フレームに含まれている商品の中に、第１フレームに含まれていない商品があるか否かを判定する（Ｓ１０２）。第２フレームに含まれている商品の中に、第１フレームに含まれていない商品がある場合（Ｓ１０２：ＹＥＳ）、登録部２４は該当する商品を精算対象として登録する（Ｓ１０４）。第２フレームに含まれている商品の中に、第１フレームに含まれていない商品がない場合（Ｓ１０２：ＮＯ）、図４の処理は終了する。

＜商品映像の取得方法＞
商品登録装置２０が商品映像を取得する方法は任意である。例えば商品登録装置２０は、撮像装置３０から商品映像を取得する。この場合、商品登録装置２０は撮像装置３０と通信可能に接続されている。

また例えば、撮像装置３０が商品映像を外部の記憶装置に記憶する場合、商品登録装置２０はこの記憶装置から商品映像を取得してもよい。この場合、商品登録装置２０はこの記憶装置と通信可能に接続されている。

商品登録装置２０は、商品映像を常時取得してもよいし、特定の期間だけ取得してもよい。後者の場合、例えば商品登録装置２０は、商品の登録処理を開始するタイミングで商品映像の取得を開始し、商品の登録処理を終了するタイミングで商品映像の取得を終了する。商品の登録処理は、例えばユーザが商品登録装置２０に対して所定の入力操作を行うことによって開始又は終了する。

＜フレームの比較方法＞
比較部２２は、第１フレームと第２フレームとを比較して、第２フレームに含まれている商品の中から、第１フレームに含まれていない商品を割り出す（Ｓ１０２）。以下、その方法を具体的に説明する。

図５は、第１フレームと第２フレームを例示する第１の図である。フレーム６０−１は第１フレームを表し、フレーム６０−２は第２フレームを表す。各フレームは、載置台４０を真上から見下ろすように固定されている撮像装置３０によって生成されたものである。また図５に示す例において、精算対象として登録すべき商品を入れた買い物カゴが、載置台４０を平面視した場合における撮像装置３０の撮像範囲の右の外側に置かれている。商品登録装置２０のユーザ（店員や顧客など）は、買い物カゴから商品を取り出し、商品を右から左へ移動させて載置台４０の上に置く。

図５において、フレーム６０−１には商品が含まれていない。その後、ユーザが買い物カゴから商品５０−１を取り出して移動させた結果、フレーム６０−２には商品５０−１が含まれている。そこで比較部２２は、商品５０−１を、フレーム６０−２には含まれているがフレーム６０−１には含まれていない商品として割り出す。その結果、登録部２４により、商品５０−１が精算対象として登録される。

図６は、第１フレームと第２フレームを例示する第２の図である。図６の各フレームは、図５のフレーム６０−２よりも後に生成されたものである。そのため図６では、既に商品５０−１が載置台４０に置かれている。よって、商品５０−１はフレーム６０−１に含まれている。

その後、ユーザが商品５０−２を買い物カゴから取り出して移動させた結果、フレーム６０−２には、商品５０−１だけでなく、商品５０−２も含まれている。そこで比較部２２は、フレーム６０−２には含まれているがフレーム６０−１には含まれていない商品として、商品５０−２を割り出す。その結果、登録部２４により、商品５０−２が精算対象として登録される。

なお、図６の例において、商品５０−１はフレーム６０−１にも含まれている。そのため、図６に示したフレーム同士の比較の結果では、商品５０−１は精算対象として登録されない。この場合、商品５０−１は、載置台４０に置くために移動されたタイミング（例えば図５のフレーム６０−１及びフレーム６０−２が比較部２２によって比較されたタイミング）で、既に精算対象として登録されている。

＜＜商品を区別する方法＞＞
２つのフレームに含まれている商品を比較するために、比較部２２は、各フレームに含まれている商品を区別する必要がある。以下、比較部２２が商品を区別する方法を例示する。

＜＜方法１＞＞
例えば比較部２２は、商品が撮像範囲に含まれていない状態で撮像装置３０によって生成される撮像画像を、基準の画像として予め保持しておく。そして比較部２２は、第１フレームと基準画像との差分を抽出することにより、第１フレームから、基準画像に含まれていないオブジェクトを抽出する。そして、抽出した各オブジェクトを商品として扱う。比較部２２は、同様の処理を第２フレームについても行う。

次に比較部２２は、第１フレームから抽出したオブジェクトと第２フレームから抽出したオブジェクトとのマッチングを行う。より具体的には、比較部２２は、第１フレームから抽出した各オブジェクトの特徴量と、第２フレームから抽出した各オブジェクトの特徴量とを比較し、特徴量の一致度合いが高い（類似度合いが高い）オブジェクト同士を、同一のオブジェクトとして扱う。そして比較部２２は、第２フレームから抽出したオブジェクトの内、第１フレームから抽出されたどのオブジェクトともマッチングされなかったオブジェクト（第１フレームから抽出されたどのオブジェクトとも類似度が低いオブジェクト）を、第２フレームには含まれているものの第１フレームには含まれていない商品として扱う。なお、オブジェクトの特徴量とは、そのオブジェクトの形状、色及び模様などの特徴を表す情報である。

図７は、オブジェクトのマッチングを行う様子を例示する図である。図７において、フレーム６０−１にはオブジェクト８０−１が含まれている。一方、フレーム６０−２にはオブジェクト８０−２及びオブジェクト８０−３が含まれている。ここで、オブジェクト８０−１の形状は、オブジェクト８０−２の形状との類似度合いは高い一方で、オブジェクト８０−３の形状との類似度合いが低い。そこで比較部２２は、オブジェクト８０−１とオブジェクト８０−２が同じ商品を表していることを割り出す。その結果、比較部２２は、オブジェクト８０−３によって表される商品を、フレーム６０−２には含まれているもののフレーム６０−１には含まれていない商品として扱う。

ここで、ユーザが同じ種類の商品を複数購入する場合がある。この場合、特徴量の類似度合いが高い複数のオブジェクトがフレームに含まれる場合がある。図８は、１つのフレームに特徴量の類似度合いが高い複数のオブジェクトが含まれる様子を例示する図である。図８において、フレーム６０−１にはオブジェクト８０−１が含まれており、フレーム６０−２にはオブジェクト８０−２及びオブジェクト８０−３が含まれている。ここで、オブジェクト８０−１とオブジェクト８０−２は同じ商品を表す。また、オブジェクト８０−３によって表される商品は、オブジェクト８０−１及びオブジェクト８０−２によって表される商品と同じ種類の商品である。よって、オブジェクト８０−１からオブジェクト８０−３についてそれぞれ算出される特徴量は、互いに一致度合いが高い。

このような場合、比較部２２は、各オブジェクト８０の位置を利用して、同じ商品を表しているオブジェクト８０を特定する。具体的には、比較部２２は、フレーム６０−１に含まれているオブジェクト８０−１との距離が短いオブジェクト８０−２によって表される商品を、オブジェクト８０−１によって表される商品と同じ商品として扱う。一方、比較部２２は、オブジェクト８０−１との距離が長いオブジェクト８０−３によって表される商品を、オブジェクト８０−１によって表される商品とは異なる商品（撮像装置３０によって新たに撮像された商品）として扱う。つまり、比較部２２は、オブジェクト８０−３によって表される商品を、フレーム６０−２には含まれているがフレーム６０−１には含まれていない商品として扱う。

＜＜方法２＞＞
比較部２２は、フレームに含まれている商品の識別子（以下、商品ＩＤ（Identifier））を割り出し、その商品ＩＤを用いて商品を区別してもよい。例えば、商品ＩＤは、各商品に関する情報を管理する商品データベースにおいて、商品の画像と対応付けられて記憶されている。まず比較部２２は、方法１で説明した方法と同様の方法で、フレームからオブジェクトを抽出する。そして比較部２２は、抽出したオブジェクトと、商品データベースに格納されている各商品の画像とをマッチングすることにより、フレームに含まれている各オブジェクトが表す商品の商品ＩＤを特定する。こうすることで、比較部２２は、フレームに含まれている各商品を、その商品の商品ＩＤによって区別する。

なお、商品ＩＤを特定する方法は上述の方法に限定されない。例えば比較部２２は、フレームに含まれている商品に付された種々のコード（バーコードや QR コード（登録商標）など）を解析することで、その商品の商品ＩＤを特定してもよい。

ここで、同じ種類の商品に同じ商品ＩＤが割り当てられている場合、比較部２２は、１つのフレームに含まれている同じ種類の商品を商品ＩＤで区別することができない。この場合、比較部２２は、方法１で図８を用いて説明した方法と同様に、各オブジェクトの位置を利用して、同じ商品を表しているオブジェクトを特定する。

例えば図８に示した例において、オブジェクト８０−１及びオブジェクト８０−２によって表される商品と、オブジェクト８０−３によって表される商品とに、同じ商品ＩＤが割り当てられているとする。この場合、比較部２２は、フレーム６０−１に含まれているオブジェクト８０−１との距離が短いオブジェクト８０−２によって表される商品を、オブジェクト８０−１によって表される商品と同じ商品として扱う。一方、比較部２２は、オブジェクト８０−１との距離が長いオブジェクト８０−３によって表される商品を、オブジェクト８０−１によって表される商品とは異なる商品（撮像装置３０によって新たに撮像された商品）として扱う。

＜どのフレームを第１フレームと第２フレームとして扱うか＞
比較部２２は、商品映像に含まれる２つの互いに異なるフレームを、第１フレームと第２フレームとして扱う。前述したように、第２フレームは第１フレームよりも後に生成されたフレームである。比較部２２が、商品映像に含まれるフレームのうち、どのフレームを第１フレームと第２フレームとして扱うか（どのフレームを比較処理の対象とするか）を決定する方法は様々である。図９は、処理対象のフレームを決定する方法を例示する図である。ここで、第１フレームをフレーム a、第２フレームをフレーム b とした場合において、第１フレームと第２フレームのペアを P(a, b) と表記する。a と b はそれぞれフレーム番号である。

図９（ａ）において、比較部２２は、時系列において連続する２つのフレームを第１フレーム及び第２フレームとしている。つまり、第１フレームのフレーム番号を F_i とすれば、第１フレームと第２フレームのペアは P(F_i, F_i+1) である。また図９（ａ）において、比較部２２は、フレーム F₁ からフレーム F_n（F_n > F₁）に含まれる全てのペア P(F_i, F_i+1) について比較処理を行う。よって、P(F_i, F_i+1) の次のペアは P(F_i+1, F_i+2) である。なお、最初のフレーム F₁ と最後のフレーム F_n の決定方法については後述する。

図９（ｂ）では、図９（ａ）と同様に、時系列において連続する２つのフレームのペアである P(F_i, F_i+1) が比較部２２によって比較される。ただし、比較部２２は、所定間隔k を空けて各ペアを選択している。よって、P(F_i, F_i+1) の次のペアは、P(F_n+k, F_n+k+1) である。k の値は任意に設定可能である。k を示す情報は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶部に記憶されていてもよい。

図９（ｃ）において、比較部２２は、第１フレームよりも所定の数 m 後のフレームを第２フレームとする。つまり、P(F_i, F_i+m) のペアが第１フレームと第２フレームとして選択される。また図９（ｃ）において、比較部２２が第１フレームとして扱うフレームは、その前の比較処理で第２フレームとして扱われたフレームである。よって、P(F_i, F_i+m) の次のペアは P(F_i+m, F_i+2m) である。m の値は任意に設定可能である。k を示す情報は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶部に記憶されていてもよい。

図９（ｄ）において、比較部２２は、図９（ｃ）の場合と同様に、P(F_i, F_i+m) のペアを第１フレームと第２フレームとする。ただし図９（ｄ）では、所定の間隔 k（k > m）を空けて各ペアを選択している。よって、P(F_i, F_i+m) の次のペアは P(F_i+k, F_i+k+m) である。

上述の図９（ａ）から図９（ｄ）を用いて説明した各方法の内、どの方法を用いて第１フレームと第２フレームのペアを決定するかを示す情報は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶装置に記憶されていてもよい。また、第１フレームと第２フレームのペアを決定する方法は、上述の方法に限定されない。

＜＜最初のフレーム F₁ と最後のフレーム F_n の決定方法＞＞
最初のフレーム F₁ と最後のフレーム F_n の決定方法は様々である。例えば比較部２２は、商品登録装置２０の実行を開始してから商品登録装置２０の実行を終了するまでに生成された商品映像を比較処理の対象とする。この場合、F₁ は商品登録装置２０の実行を開始した際に生成されたフレームであり、F_n は商品登録装置２０の実行を終了する直前に生成されたフレームである。

また例えば、比較部２２は、精算対象の登録処理の開始を指示する入力操作を受け付けてから、精算対象の登録処理の終了を指示する入力操作を受け付けるまでの間に生成される商品映像を比較処理の対象としてもよい。この場合、F₁ は精算対象の登録処理の開始を指示する入力操作を受け付けたタイミングで生成されたフレームであり、F_n は精算対象の登録処理の終了を指示する入力操作を受け付けたタイミングで生成されたフレームである。ここで、精算対象の登録処理の開始を指示する操作は、例えば「登録開始」というボタンを押す操作である。また、精算対象の登録処理の終了を指示する操作は、例えば「小計」というボタンを押す操作である。

このように、精算対象の登録処理の開始から終了までの間に生成される商品映像のみを比較処理の対象とすることで、比較処理の対象とするフレームの数を減らすことができるため、商品登録装置２０によって使用される計算機資源の量が削減される。

＜商品の登録について＞
登録部２４は、第２フレームに含まれている商品の内、第１フレームに含まれていない商品を精算対象として登録する（Ｓ１０４）。例えば登録部２４は、精算対象として登録される商品に関する精算情報を生成することで、商品を精算対象として登録する。精算情報は、精算対象として登録された商品の精算処理に関する情報である。例えば登録部２４は、生成した精算情報を、商品登録装置２０の内部又は外部の記憶部に記憶する。

一度の精算の精算対象には、複数の商品が含まれうる。例えば商品登録装置２０は、精算対象の登録処理の開始を指示する入力操作を受け付けた後から、精算対象の登録処理の終了を指示する入力操作を受け付けるまでの間に登録された１つ又は複数の商品を、一度の精算の精算対象として登録する。

一度の精算の精算対象を表す精算情報は、精算対象として登録された各商品のＩＤなどを示す。また精算情報は、精算対象として登録された商品の個数、取引番号、各商品の金額、及び精算金額などをさらに示してもよい。

図１０は、精算情報をテーブル形式で例示する図である。図１０に示す精算情報を、精算情報３００と表記する。精算情報３００は、精算情報ＩＤ３０２及び商品リスト３０４という２つの列を有する。商品リスト３０４は、精算対象として登録された商品ＩＤのリストである。商品ＩＤ３０６は、精算対象として登録された商品のＩＤである。

なお、精算対象の商品について精算情報を生成する具体的な方法には様々な既知の技術を利用できるため、この方法に関する説明は省略する。

＜商品ＩＤの特定について＞
商品登録装置２０は、商品映像を用いて、精算対象として登録する商品の商品ＩＤを特定する。ここで、商品登録装置２０が商品映像に含まれている商品の商品ＩＤを特定するタイミングは様々である。例えば前述したように、比較部２２が、比較対象のフレームから各商品の商品ＩＤを特定する。そして登録部２４は、比較部２２によって特定された商品のＩＤを用いる。また、比較部２２がフレーム同士の比較に商品ＩＤを用いない場合、例えば登録部２４は、商品を精算対象として登録する際に、その商品の商品ＩＤを特定する。なお、商品映像を用いて商品の商品ＩＤを特定する方法については、前述した通りである。

＜商品登録装置２０について＞
商品登録装置２０は、店員によって操作される装置であってもよいし、顧客によって操作される装置であってもよい。後者の場合、顧客が自ら商品登録装置２０に商品の登録処理を行わせる。

商品登録装置２０は、精算対象として登録された商品の精算処理を行う機能を有していてもよいし、有していなくてもよい。例えば精算処理は、精算情報に示されている精算金額を顧客に提示する処理、顧客による代金の投入を受け付ける処理、投入された代金を数え上げる処理、顧客に対しておつりを排出する処理、及びレシートを発行する処理などを含む。商品登録装置２０が精算処理を行う機能を有していない場合、店舗には別途、精算処理を行う機能を有する装置が設置される。

＜他の動作例＞
実施形態１の商品登録装置２０の別の動作例についてさらに説明する。この動作例では、ユーザが複数の商品５０を積み重ねて載置台４０に置いている。図１１は、２つの商品が載置台４０の上に積み重ねられて置かれるケースを例示する図である。この場合、まず比較部２２により、商品５０−２の上に重ねられた状態の商品５０−１が含まれる前のフレームを第１フレームとし、商品５０−２の上に重ねられた状態の商品５０−１が含まれた後のフレームを第２フレームとして比較処理が行われる。その結果、比較部２２は、商品５０−１が、第２フレームに含まれているものの第１フレームには含まれていない商品であると判定する。よって、登録部２４は、商品５０−１を精算対象として登録する。ここで、商品５０−２は商品５０−１に隠れて商品映像３２に含まれていないため、このタイミングでは精算対象として登録されない。

その後ユーザは、積み重ねられた状態の商品５０−１と商品５０−２を載置台４０に置く。そしてユーザは、商品５０−２の上に乗っている商品５０−１を移動させる。これにより、その後の商品映像３２には商品５０−２が含まれる。そのため、商品５０−２が含まれる前のフレームを第１フレームとし、商品５０−２が含まれた後のフレームを第２フレームとして、比較部２２による比較処理が行われる。その結果、比較部２２は、商品５０−２が、第２フレームに含まれているものの第１フレームには含まれていない商品であると判定する。よって、登録部２４は、商品５０−２を精算対象として登録する。

図１１に示した例によれば、ユーザは、複数の商品５０を積み重ねた状態で載置台４０の上に置き、その後に上の商品から順に移動させていけば、各商品５０を精算対象として登録させることができる。よって、複数の商品５０を一度に載置台４０へ置くことができるため、商品５０を移動する労力が削減される。

［実施形態２］
実施形態２の商品登録装置２０は、実施形態１の商品登録装置２０と同様に、例えば図１に示される構成を有する。以下で説明する点を除き、実施形態２の商品登録装置２０は、実施形態１の商品登録装置２０と同様の機能を有する。

実施形態２の商品登録装置２０は、商品が一時的に撮像装置３０によって撮像されなくなった場合などにおいて、その商品が誤って２回精算対象として登録されることが無いように動作する。以下、具体的に説明する。

図１２は、実施形態２の商品登録装置２０の動作を説明するための図である。ここで以下、商品映像３２のフレーム a からフレーム b によって構成される映像を、部分映像 V(a, b) と表記する。図１２において、部分映像 V(F_n1, F_n2) からは、オブジェクト８０−１が抽出される。また、部分映像 V(F_n3, F_n4) からは、オブジェクト８０−２が抽出される。ここで、オブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品は、同じ種類の商品である。そして、部分映像 V(F_n2+1, F_n3-1) らは、オブジェクト８０−１とオブジェクト８０−２のいずれもが抽出されない。

図１２の例では、１）オブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品が異なる商品である場合と、２）オブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品が同じ商品である場合の２つのケースが考えられる。図１３は、オブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品が異なる商品である場合を例示する図である。一方、図１４は、オブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品が同じ商品である場合を例示する図である。

図１３の例では、ユーザはまず、商品５０−１を買い物カゴから取り出し、載置台４０の上で商品５０−１を通過させる。そのため、部分映像 V(F_n1, F_n2) からは、商品５０−１を表すオブジェクト８０−１が抽出される。しばらく後、ユーザは商品５０−２を買い物カゴから取り出して、載置台４０の上で商品５０−２を通過させる。そのため、部分映像 VF_n3, F_n4) からは、商品５０−２を表すオブジェクト８０−２が抽出される。また、部分映像 V(F_n2+1, F_n3-1) からは、オブジェクト８０−１とオブジェクト８０−２のいずれもが抽出されない。この場合、登録部２４は、オブジェクト８０−１によって表される商品５０−１とオブジェクト８０−２によって表される商品５０−２の双方を精算対象として登録する必要がある。

図１４の例では、ユーザはまず、商品５０−１を買い物カゴから取り出して載置台４０の上に置く。そのため、部分映像 V(F_n1, F_n2) からは、商品５０−１を表すオブジェクト８０−１が抽出される。その後、部分映像 V(F_n2+1, F_n3-1) が生成される間、ユーザの手９０が商品５０−１を覆い隠すように撮像装置３０の撮像範囲に入っている。そのためこの間、商品５０−１が商品映像３２に含まれない。さらにその後、ユーザの手９０が商品映像３２に含まれなくなり、再び商品５０−１が商品映像３２に含まれる。そのため、部分映像 V(F_n3, F_n4)からは、商品５０−１を表すオブジェクト８０−２が抽出される。また、部分映像 V(F_2n+1, F_3n-1)からは、商品５０−１を表すオブジェクトが抽出されない。この場合、登録部２４は、オブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品が同一の商品であることを把握し、商品５０−１を１つ精算対象として登録すべきである。もし登録部２４がオブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品を個々に登録してしまうと、１つの商品を誤って２度精算対象として登録してしまうことになる（いわゆる二度読みが発生する）。

そこで実施形態２の商品登録装置２０は、次のように動作する。まず比較部２２は、第２フレームに含まれているものの第１フレームには含まれていない商品があった場合、第２フレームよりも所定数前のフレームから第２フレームの直前までのフレーム列の中に、該当商品と同じ種類の商品が含まれているフレームがあるか否かを判定する。そして登録部２４は、そのフレーム列の中に該当商品と同じ種類の商品が含まれているフレームがあれば、該当商品を精算対象として登録しない。一方登録部２４は、そのフレーム列の中に該当商品と同じ種類の商品が含まれているフレームがなければ、該当商品を精算対象として登録する。

例えば図１２の例において、比較部２２が、フレーム F_3n を第２フレームとし、フレーム F_3n-1 を第１フレームとして比較処理を行うとする。この場合、オブジェクト８０−２によって表される商品は、第２フレームに含まれているものの第１フレームには含まれていない商品であると判定される。そこで比較部２２は、フレーム F_3n よりも所定数前のフレームからフレーム F_3n-1 までのフレーム列の中に、オブジェクト８０−２によって表される商品と同じ種類の商品が含まれているか否かを判定する。

ここで、上記所定数が F_3n-F_2n 以上であれば、上記フレーム列にはフレーム F_2n 以前のフレームが含まれる。よって、上記フレーム列の中には、オブジェクト８０−１が抽出されるフレームがある。そして、オブジェクト８０−１によって表される商品とオブジェクト８０−２によって表される商品は同じ種類の商品である。そのため登録部２４は、フレーム F_3n から抽出されたオブジェクト８０−２によって表される商品を、精算対象として登録しない。

一方、上記所定数が F_3n-F_2n より小さければ、上記フレーム列にはフレーム F_2n 以前のフレームが含まれない。よって、上記フレーム列の中には、オブジェクト８０−２によって表される商品と同じ商品が含まれているフレームがない。そこで登録部２４は、フレーム F_3n に含まれているオブジェクト８０−２によって表される商品を、精算対象として登録する。

上述の処理は、図１４のように或る商品が一時的に商品映像３２に含まれない時間の長さ（図１４における部分映像 V(F_n2+1, F_n3-1) の長さ）と、図１３のように同じ種類の異なる商品をそれぞれ登録する場合においてそれらの商品が商品映像３２に含まれない時間の長さ（図１３における部分映像 V(F_n2+1, F_n3-1) の長さ）の違いに着目している。一般に、図１４のように或る商品が一時的に商品映像３２に含まれなくなる時間の長さは、２つの異なる商品を精算対象として登録させる場合において１つ目の商品を登録させてから次の商品を登録させるまでの時間よりも短いと考えられる。

そこで、比較部２２は、第２フレームよりも所定数前のフレームから第２フレームの直前までのフレーム列の中に、第２フレームに含まれているものの第１フレームには含まれていない商品と同じ種類の商品が含まれている場合、その商品を精算対象として登録しない。こうすることで、実施形態２の商品登録装置２０は、一時的に商品映像３２に含まれなかった商品を誤って２度精算対象として登録してしまうことを防止し、精算対象として登録される商品の個数を正確に把握する。

なお、上記所定数は任意の数に設定することができる。この所定数は、比較部２２に予め設定されていてもよいし、比較部２２からアクセス可能な記憶装置に記憶されていてもよい。なお、所定数の代わりに、所定時間が設定されていてもよい。この場合、比較部２２は、商品映像３２のフレームレートと所定時間の積を算出することで、上記所定数を算出する。

また、上述した処理において比較部２２は、「第２フレーム列よりも所定数前のフレームから第２フレームの直前までのフレーム列」を用いているが、このフレーム列の末尾は必ずしも第２フレームの直前に限定されない。例えば比較部２２は、「第２フレーム列よりも第１所定数前のフレームから、第２フレームよりも第２所定数前のフレームまでのフレーム列」を用いてもよい。ここで、第１所定数は第２所定数よりも大きい。第１所定数と第２所定数は任意の数に設定することができる。

＜処理の流れ＞
図１５は、実施形態２の商品登録装置２０によって実行される処理の流れを例示するフローチャートである。まず比較部２２は、第２フレームに含まれている商品の中に、第１フレームに含まれていない商品があるか否かを判定する（Ｓ２０２）。第２フレームに含まれている商品の中に第１フレームに含まれていない商品がある場合（Ｓ２０２：ＹＥＳ）、図１５の処理はＳ２０４に進む。一方、第２フレームに含まれている商品の中に、第１フレームに含まれていない商品がない場合（Ｓ２０２：ＮＯ）、図１５の処理は終了する。

Ｓ２０４において、比較部２２は、第２フレームより所定数前のフレームから第２フレームの直前までのフレーム列の中に、第２フレームに含まれているものの第１フレームに含まれていない商品（以下、該当商品）と同じ種類の商品が含まれているフレームがあるか否かを判定する。上記フレーム列の中に該当商品と同じ種類の商品が含まれているフレームがある場合（Ｓ２０２：ＹＥＳ）、図１５の処理は終了する。一方、上記フレーム列の中に該当商品と同じ種類の商品が含まれているフレームがない場合（Ｓ２０２：ＮＯ）、図１５の処理はＳ２０６に進む。Ｓ２０６において、登録部２４は該当商品を精算対象として登録する。

＜ハードウエア構成例＞
実施形態２の商品登録装置２０は、実施形態１と同様に計算機２００を用いて実現される（図２参照）。本実施形態において、前述したストレージ２０８に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較手段と、
前記割り出された商品を精算対象として登録する登録手段と、
を有する情報処理装置。
２． 前記比較手段は、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、１．に記載の情報処理装置。
３． 前記比較手段は、
前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、１．に記載の情報処理装置。
４． 前記登録手段は、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、１．乃至４．いずれか一つに記載の情報処理装置。
６． コンピュータによって実行される制御方法であって、
映像の第１のフレームと、前記映像において前記第１のフレームよりも後の時間に生成された第２のフレームとを比較して、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す比較ステップと、
前記割り出された商品を精算対象として登録する登録ステップと、
を有する制御方法。
７． 前記比較ステップは、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、６．に記載の制御方法。
８． 前記比較ステップは、
前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、６．に記載の制御方法。
９． 前記登録ステップは、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、６．乃至８．いずれか一つに記載の制御方法。
１０． 前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、６．乃至９．いずれか一つに記載の制御方法。
１１． ６．乃至１０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

この出願は、２０１６年１月２１日に出願された日本出願特願２０１６−００９７４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 映像の第２のフレームから検出される複数の商品それぞれについて、前記映像において前記第２のフレームよりも前の時間に生成された第１のフレームからも検出されるか否かを判定することで、前記複数の商品の中から、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている１つ以上の商品を割り出す比較手段と、
   前記割り出された１つ以上の商品を精算対象として登録する登録手段と、を有し、
   前記登録手段は、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、情報処理装置。
2. 前記比較手段は、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、請求項１に記載の情報処理装置。
3. 前記比較手段は、
   前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
   商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
   前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、請求項１に記載の情報処理装置。
4. 前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、請求項１乃至３いずれか一項に記載の情報処理装置。
5. コンピュータによって実行される制御方法であって、
   映像の第２のフレームから検出される複数の商品それぞれについて、前記映像において前記第２のフレームよりも前の時間に生成された第１のフレームからも検出されるか否かを判定することで、前記複数の商品の中から、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている１つ以上の商品を割り出す比較ステップと、
   前記割り出された１つ以上の商品を精算対象として登録する登録ステップと、を有し、
   前記登録ステップにおいて、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、制御方法。
6. 前記比較ステップにおいて、前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、前記第２のフレームから抽出されたオブジェクトの内、前記第１のフレームから抽出された各オブジェクトとの類似度合いが低いオブジェクトによって表される商品を、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品とする、請求項５に記載の制御方法。
7. 前記比較ステップにおいて、
   前記第１のフレームと前記第２のフレームからそれぞれオブジェクトを抽出し、
   商品の画像と識別子とを対応付けた情報を用いて、前記抽出された各オブジェクトによって表される商品の識別子を割り出し、
   前記第１のフレームに含まれている各商品の識別子と、前記第２のフレームに含まれている各商品の識別子とを比較することで、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を割り出す、請求項５に記載の制御方法。
8. 前記映像を生成する撮像装置は精算対象の商品が置かれる台を上方から撮影する、請求項５乃至７いずれか一項に記載の制御方法。
9. 請求項５乃至８いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
10. 映像の第１のフレームから複数の商品を検出する第１検出手段と、
    前記映像の第１のフレームよりも後の時間に生成された第２のフレームから複数の商品を検出する第２検出手段と、
    前記第２のフレームから検出された複数の商品それぞれについて、前記第１のフレームからも検出されているか否かを判定する判定手段と、
    前記第２検出手段で検出した前記複数の商品の中から、前記第１のフレームに含まれておらず、前記第２のフレームに含まれている商品を特定する特定手段と、
    前記特定手段によって前記商品が特定された場合に、該商品を精算対象として登録する登録手段と、を有し、
    前記登録手段は、前記第２のフレームより所定数前のフレームから前記第２のフレームの直前までのフレーム列の中に、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品と同じ種類の商品が含まれているフレームがある場合、前記第１のフレームに含まれておらずなおかつ前記第２のフレームに含まれている商品を精算対象として登録しない、情報処理装置。

Images