JP5349554B2

JP5349554B2 - 情報処理装置及びプログラム

Info

Publication number: JP5349554B2
Application number: JP2011193213A
Authority: JP
Inventors: 正嗣福田
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2011-09-05
Filing date: 2011-09-05
Publication date: 2013-11-20
Anticipated expiration: 2031-09-05
Also published as: US20130057670A1; JP2013054593A

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、スーパーマーケット等の各種店舗では、会員登録を行った会員（顧客）に対し、所定の特典を提供することで販売促進を図ることが行われている。会員に対する特典としては、例えば、ポイントを発行するポイントサービス制度が利用されている。係るポイントサービス制度では、会員となった顧客に対して取引金額に応じたポイントを付与し、そのポイントを次回以降の取引時に値引等に利用できるものとしている。

上記の会員登録に際して、店舗側では会員となる各顧客に対し、会員番号等の固有の会員識別情報を記録した会員カードを配布することで、各会員の管理を行っている。例えば、上記ポイントサービス制度では、店舗側は会員識別情報を記憶した会員カードを各会員に発行し、各会員の会員識別情報とポイント数と対応付けて管理している。そして、商品の決済時等において、会員カードに記憶された会員識別情報をカードリーダ装置等で読み取り、この会員識別情報に対応する会員に付与されたポイントを特定している。

また、従来、撮像手段で撮像した顧客の顔画像に基づいて顧客を認識し、認識した顧客に関連付けて記憶していた購買履歴等の情報を、店舗側のオペレータ（販売員）に提示する技術が知られている。

しかしながら、上記従来の会員管理に関する技術では、会員（顧客）はポイントサービス制度等の恩恵を受けるために店舗側から発行された会員カードを持参する必要があり、利便性に欠けるものとなっている。また、上記従来の顔認識に関する技術は、販売員側への情報提供及びワントゥーワンマーケティングの実現が主な目的であるため、会員への特典付与の管理に適用することは困難である。

実施の形態の情報処理装置は、購入対象の商品を撮像する第１撮像手段と、前記第１撮像手段で撮像された第１画像と、予め記憶された各商品の商品画像とを照合し、この照合により得られる前記各商品の商品画像との類似度に基づいて、前記第１撮像手段で撮像された商品を認識する商品認識手段と、前記商品を購入する顧客の顔を撮像する第２撮像手段と、前記第２撮像手段で撮像された第２画像と、第１記憶手段に予め記憶された各会員の顔画像とを照合し、この照合により得られる前記各会員の顔画像との類似度に基づいて、前記第２撮像手段で撮像された顧客が会員か否かを判定する会員判定手段と、前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が会員と判定した顧客に対し所定の特典を付与する特典付与手段と、前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が非会員と判定した顧客の前記第２画像を、この取引を識別する取引識別情報と関連付けて第２記憶手段に格納する格納手段と、前記取引識別情報を、会員登録を促すメッセージととともに印字した用紙を出力する出力手段と、前記用紙に印字された前記取引識別情報の入力を受け付けると、当該取引識別情報関連付けられた前記第２画像を前記第２記憶手段から読み出し、前記会員の顔画像として前記第１記憶手段に格納する会員登録手段と、を備える。

図１は、実施形態に係るチェックアウトシステムの一例を示す斜視図である。図２は、ＰＯＳ端末及び商品撮像装置のハードウェア構成を示すブロック図である。図３は、ＰＬＵファイルのデータ構成を例示する概念図である。図４は、会員管理ファイルのデータ構成を例示する概念図である。図５は、ＰＯＳ端末及び商品撮像装置の機能構成を示すブロック図である。図６は、ＰＯＳ端末が出力するレシートの一例を示す図である。図７は、商品撮像装置が行う画像出力処理の手順を示すフローチャートである。図８は、ＰＯＳ端末が行う売上登録処理の手順を示すフローチャートである。図９は、商品撮像装置の他の構成例を示す図である。

以下、チェックアウトシステムを例に、本実施形態にかかる情報処理装置及びプログラムを説明する。なお、本実施形態では、飲食店やスーパーマーケット等の店舗に導入されたチェックアウトシステムに適用した例について説明する。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ（Point Of Sale）端末１１と、商品撮像装置１０１とを備える。

ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品撮像装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、紙箱やレジ袋等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品撮像装置１０１が設置されている。商品撮像装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０８が設置されている。

また、商品撮像装置１０１は、画像取得部１１０（図２参照）を備えている。画像取得部１１０は、読取窓１０３の奥側に設けられた第１撮像部１６４（図２参照）と、顧客用表示デバイス１０８の上部に設けられた第２撮像部１６５とを有している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品撮像装置１０１を操作するオペレータの手によって第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品撮像装置１０１の読取窓１０３に向けられる。この際、第１撮像部１６４（図２参照）は、読取窓１０３に向けられた商品Ｇを撮像する。

商品撮像装置１０１では、第１撮像部１６４により撮像された画像に含まれる商品Ｇの全部又は一部を検出する。商品撮像装置１０１では、第１撮像部１６４で撮像された画像に商品Ｇの全部又は一部が含まれることを検出した場合、その撮像された画像を商品画像としてＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ｇの各々について、商品Ｇの売上登録に係る情報と商品Ｇの商品画像とが関連付けて登録されたＰＬＵ（Price LookUp）ファイルＦ１（図３参照）を参照して、画像取得部１１０の第１撮像部１６４で撮像された商品画像からＰＬＵファイルＦ１に登録された商品Ｇを特定する。そして、ＰＯＳ端末１１は、その特定した商品Ｇの商品ＩＤ、販売価格、販売点数等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

また、第１の買物カゴ１５３ａを持ち込んだ顧客は、ＰＯＳ端末１１での精算を待機するため、第２の買物カゴ１５３ｂの近傍に移動する。第２撮像部１６５は、第２の買物カゴ１１５３ｂの近傍に移動した顧客の顔部を撮像する。なお、図１では、第２撮像部１６５を顧客用表示デバイス１０８の上部に設置する形態としたが、顧客の顔部を撮像可能な位置であれば設置位置は特に問わず、商品撮像装置１０１と別体として設ける形態としてもよい。

商品撮像装置１０１では、第２撮像部１６５により撮像された画像に含まれる顧客の顔部を検出する。商品撮像装置１０１では、第２撮像部１６５で撮像された画像に顔を表す画像が含まれることを検出した場合、その撮像された画像を顔画像としてＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、予め会員登録を行った顧客（以下、会員という）の各々について、会員ごとにユニークに割り当てられた会員ＩＤ（IDentification）、氏名、連絡先等の会員自身に係る会員情報と、その会員の顔画像と、ポイントの累積値等の会員特典に係る特典情報とが関連付けられた会員管理ファイルＦ２（図４参照）を参照して、第２撮像部１６５で撮像された顔画像から会員管理ファイルＦ２に登録された会員を特定する。そして、ＰＯＳ端末１１は、特定した会員に対し、商品の買い上げ金額に応じたポイント等の特典を付与する。

図２は、ＰＯＳ端末１１及び商品撮像装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ここで、ＨＤＤ６４に記憶されているプログラムは、商品販売データ処理用のプログラムＰＲ等である。また、ＨＤＤ６４に記憶されているファイルは、ＰＬＵファイルＦ１及び会員管理ファイルＦ２等である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇに関する商品情報と、その商品Ｇの商品画像との関連付けが設定されたデータファイルである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する商品情報と、その商品を撮像した商品画像とを格納する。なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取ることが可能な各商品についての後述する特徴量（色合いや表面の状態等）や、類似度の判定に係る閾値を、商品毎に関連付けて格納する形態としてもよい。

会員管理ファイルＦ２は、店舗に対して会員登録を行った顧客（会員）の各々について、会員に関する会員情報と、その会員の顔画像と、付与された特典に関する特典情報との関連付けが設定されたデータファイルである。

図４は、会員管理ファイルＦ２のデータ構成を例示する概念図である。図４に示すように、会員管理ファイルＦ２は、会員毎に、ユニークに割り当てられた会員ＩＤ、氏名、連絡先等の会員に関する会員情報と、その会員の顔を撮像した顔画像と、ポイントの累積値等のこの会員に付与された特典に関する特典情報とを格納する。なお、会員管理ファイルＦ２のデータ構成は図３の例に限らず、他の情報を関連付けて格納する形態としてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータ２０１及び会員登録端末３０１とデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ここで、ストアコンピュータ２０１は、店舗のバックヤード等に設置されている。ストアコンピュータ２０１のＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１や会員管理ファイルＦ２が記憶されている。また、会員登録端末３０１は、店舗のサービスカウンタ等に配置されている。会員登録端末３０１のＨＤＤ（図示せず）には、ＰＯＳ端末１１から入力される顔画像と、後述する取引識別情報とを関連付けて格納するためのファイルが記憶されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品撮像装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品撮像装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。

商品撮像装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、第１撮像部１６４、第２撮像部１６５、音声出力部１６６が各種の入出力回路（いずれも図示せず）を介して接続されている。第１撮像部１６４、第２撮像部１６５及び音声出力部１６６は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、画像取得部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、画像取得部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

第１撮像部１６４及び第２撮像部１６５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＯＭＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば第１撮像部１６４、第２撮像部１６５では、３０ｆｐｓ（Frames Per Second）の動画像の撮像を行う。第１撮像部１６４及び第２撮像部１６５が所定のフレームレートで順次撮像した画像はＲＡＭ１６３に保存される。

音声出力部１６６は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６６は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図５を参照して説明する。

図５は、ＰＯＳ端末１１及び商品撮像装置１０１の機能構成を示すブロック図である。図５に示すように、商品撮像装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、商品画像出力部１６１３、顔検出部１６１４、顔画像出力部１６１５としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、照合用データ切替部６１１、認識処理部６１２、売上登録部６１３、特典付与部６１４、レシート生成部６１５としての機能を備える。

画像取込部１６１１は、第１撮像部１６４及び第２撮像部１６５に撮像オン信号を出力することで撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に第１撮像部１６４が撮像してＲＡＭ１６３に保存された画像を順次取り込む。また、画像取込部１６１１は、撮像動作開始後に第２撮像部１６５が撮像してＲＡＭ１６３に保存された画像を順次取り込む。以下、第１撮像部１６４が撮像した画像を第１画像、第２撮像部１６５が撮像した画像を第２画像と表記する。なお、画像取込部１６１１による第１画像及び第２画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、画像取込部１６１１により取り込まれた第１画像から、商品Ｇの全部または一部を表す画像を公知のパターンマッチング技術等を用いて検出する。具体的には、取り込まれた第１画像を２値化した画像から輪郭線等を抽出する。次いで、直近の第１画像から抽出された輪郭線と、今回の第１画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、読取窓１０３に向けられた商品の写り込みを検出する。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

商品画像出力部１６１３は、商品検出部１６１２により商品Ｇの全部又は一部が検出された第１画像を商品画像として、接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。

顔検出部１６１４は、画像取込部１６１１により取り込まれた第２画像から、顧客の顔を表す画像を公知のパターンマッチング技術や顔検出等を用いて検出する。具体的には、取り込まれた第２画像から顔の輪郭線や、目、口、鼻等の配置位置を検出する。

顔画像出力部１６１５は、顔検出部１６１４により顔が検出された第２画像を顔画像として、接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。なお、商品画像及び顔画像は、互いの画像種別を識別可能な画像識別情報とともに、ＰＯＳ端末１１へ出力されるものとする。

照合用データ切替部６１１は、商品撮像装置１０１から入力された画像が、商品画像か顔画像かを判別し、この判別結果に応じて認識処理部６１２が認識処理に用いる照合用の画像データ（以下、照合用画像という）を切り替える。具体的に、照合用データ切替部６１１は、商品撮像装置１０１から入力された画像を商品画像と判別した場合に、ＰＬＵファイルＦ１に格納された各商品画像を、認識処理部６１２の照合用画像に設定する。また、照合用データ切替部６１１は、商品撮像装置１０１から入力された画像を顔画像と判別した場合、会員管理ファイルＦ２に格納された各顔画像を、認識処理部６１２の照合用画像に設定する。

認識処理部６１２は、商品撮像装置１０１から入力された商品画像又は顔画像と、照合用データ切替部６１１が設定した照合用画像とを照合し、商品画像又は顔画像で表されたオブジェクト（商品又は顧客）を認識する。

具体的に、認識処理部６１２は、商品撮像装置１０１から入力された商品画像から、商品Ｇの形状や色合い、色の配置状態等を特徴量として読み取る。また、認識処理部６１２は、商品画像から読み取った特徴量と、この商品画像により照合用データ切替部６１１が照合用画像に設定したＰＬＵファイルＦ１の各商品画像の特徴量とを照合（比較）することで、商品ＧとＰＬＵファイルＦ１に登録された各商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。例えば、特徴量の種別に応じて重み付けを変えるようにしてもよい。

そして、認識処理部６１２は、ＰＬＵファイルＦ１の各商品画像について算出した類似度が、予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた商品画像の商品を、商品撮像装置１０１の第１撮像部１６４で撮像された商品Ｇとして認識（特定）する。

なお、認識処理部６１２での処理の結果、類似度が閾値を超えた商品画像が複数存在する場合には、これらの商品画像を表示デバイス２３に表示させることで、ＰＯＳ端末１１のオペレータに選択させるものとする。また、認識処理部６１２での処理の結果、閾値を超える商品画像が存在しなかった場合には、商品Ｇに対応する商品を手動で選択するための画面（グラフィカルユーザインターフェース）を表示デバイス２３に表示させることで、ＰＯＳ端末１１のオペレータに選択させるものとする。

また、認識処理部６１２は、商品撮像装置１０１から入力された顔画像から、顧客の顔の形状や色合い、目、鼻、口等の配置状態等を特徴量として読み取る。また、認識処理部６１２は、顔画像から読み取った特徴量と、この顔画像により照合用データ切替部６１１が照合用画像に設定した会員管理ファイルＦ２の各顔画像の特徴量とを照合（比較）することで、顧客の顔と会員管理ファイルＦ２に登録された各会員の顔画像との類似度を算出する。ここで、類似度は、会員管理ファイルＦ２に記憶されている各会員の顔画像を１００％とした場合に、顧客の顔画像がどの程度類似しているかを示すものである。なお、例えば、特徴量の種別に応じて重み付けを変えるようにしてもよい。

そして、認識処理部６１２は、会員管理ファイルＦ２の各顔画像について算出した類似度が、予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超える顔画像の会員が存在するか否かを判定する。ここで、類似度が閾値を超える顔画像が会員管理ファイルＦ２に存在する場合、認識処理部６１２は、商品撮像装置１０１の第２撮像部１６５で撮像された顧客が、この閾値を超えた顔画像の会員であると認識する。また、類似度が閾値を超える顔画像が会員管理ファイルＦ２に存在しない場合、認識処理部６１２は、第２撮像部１６５で撮像された顧客を特定できないと判定する。

なお、認識処理部６１２での処理の結果、類似度が閾値を超えた顔画像が複数存在する場合には、これらの顔画像を表示デバイス２３に表示させることで、ＰＯＳ端末１１のオペレータに選択させるものとする。

ところで、画像に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。認識処理部６１２は、これらの各種認識技術や公知の顔認証技術等を用いて、商品画像及び顔画像から、商品や人物の認識処理を行うものとする。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

このように、本実施形態の認識処理部６１２は、上記一般物体認識等に係る技術を商品及び顧客の認識に用いることで、第１撮像部１６４が撮像した第１画像（商品画像）から当該第１画像中に含まれた商品Ｇを認識（特定）するとともに、第２撮像部１６５が撮像した第２画像（顔画像）から当該第２画像中に含まれた顧客が、会員か否かを判定する。これにより、認識処理部６１２を共用することができるため、認識処理部６１２を効率的に利用することができる。なお、商品及び顧客の認識用に認識処理部６１２をそれぞれ備える形態としてもよい。

売上登録部６１３は、認識処理部６１２で認識された商品に係る商品情報を、ＰＬＵファイルＦ１から読み出し、その商品の単価と販売点数から販売金額を算出する。そして、売上登録部６１３は、その商品の商品名、商品ＩＤ、販売金額等を含んだ売上登録データを売上マスタファイル（図示しない）に記録し売上登録を行う。また、売上登録部６１３は、売上登録した各商品についての販売金額の合計金額を算出する。

特典付与部６１４は、認識処理部６１２が会員と認識した顧客に対し、予め定められた特典を付与する。ここで、付与する特典の内容は特に問わないものとする。例えば、特典付与部６１４で算出された各商品についての販売金額の合計金額に応じて、値引きやポイントを付与する形態としてもよい。なお、特典として値引きを行った場合には、特典付与部６１４が算出した合計金額から所定の値引き額を値引きする。

また、特典付与部６１４は、取引終了時において、認識処理部６１２が顧客を特定できないと判断していた場合、今回の取引を識別することが可能な取引識別情報と、商品撮像装置１０１から入力された顔画像とを、会員登録端末３０１に送信することで、会員登録端末３０１のＨＤＤに取引識別情報と顔画像とを関連付けて格納する。ここで、取引識別情報は、例えば、取引毎に発行する固有の取引ＩＤや、各ＰＯＳ端末１１に予め割り当てられた固有のレジ番号と現在日時とを組み合わせた情報等を用いることができる。

レシート生成部６１５は、売上登録部６１３にて売上登録された売上登録データに含まれる商品名、単価等の所定の情報や、特典付与部６１４が付与した特典内容等を含んだレシート印刷用の印刷データを生成し、プリンタ６６から出力させる。また、レシート生成部６１５は、特典付与部６１４が顔画像を会員登録端末３０１に格納した場合、即ち認識処理部６１２が顧客を特定できないと判断していた場合に、売上登録部６１３にて売上登録された売上登録データに含まれる所定の情報と、今回の取引に係る取引識別情報と、会員登録を促すメッセージとを含んだレシート印刷用の印刷データを生成し、プリンタ６６から出力させる。なお、取引識別情報は、平文のまま出力させる形態としてもよいし、バーコードや二次元コード等のシンボルコードに変換して出力させる形態としてもよい。

ここで、図６は、認識処理部６１２が顧客を特定することができなかった場合に出力されるレシートの一例を示す図である。同図に示すように、レシート７０は、売上登録された各商品の商品名、販売価格が印刷される登録商品印刷領域７１と、商品の合計金額が印刷される合計金額印刷領域７２と、顧客が支払った金額とお釣り金額とが印刷される支払額印刷領域７３と、取引識別情報が印刷される取引識別情報印刷領域７４と、会員登録を促すメッセージ等の各種コメントが印刷されるコメント印刷領域７５とを備えている。なお、図６では、取引識別情報を二次元コードに変換して印刷する形態としたが、これに限らないものとする。

図６に示すレシートを手にした顧客は、当該レシートを、会員登録端末３０１を操作するオペレータに手渡し、会員登録する旨を通知する。会員登録端末３０１では、顧客から手渡されたレシート中の取引識別情報が、図示しないキーボードやコードスキャナ等を介して入力されると、この取引識別情報に関連付けて格納された顔写真を図示しないＨＤＤから読み出す。そして、会員登録端末３０１は、読み出した顔写真を、別途入力された会員ＩＤ、氏名、連絡先等の会員情報と関連付け、ストアコンピュータ２０１や各ＰＯＳ端末１１が管理する会員管理ファイルＦ２に登録することで、顧客の会員登録を実行する。

このように、顧客が会員未登録の場合には、レシートに印字された取引識別情報を用いて、商品登録時に撮像された顔画像を読み出す。これにより、商品登録時に撮像された顔画像を用いて会員登録を行うことができるため、会員登録に係る手続きを円滑に進めることができる。なお、会員管理ファイルＦ２に登録する顔画像は、商品登録時に撮像されたものに限らず、変更が可能であるとする。

次に、図７及び図８を参照して、チェックアウトシステム１の動作を説明する。まず、図７を参照して、商品撮像装置１０１で実行される画像出力処理について説明する。ここで、図７は、商品撮像装置１０１が行う画像出力処理の手順を示すフローチャートである。

商品撮像装置１０１のＣＰＵ１６１は、ＰＯＳ端末１１からの信号により取引開始が指示されると、画像出力処理を開始する。画像取込部１６１１は、第１撮像部１６４及び第２撮像部１６５に撮像オン信号を出力し、当該第１撮像部１６４及び第２撮像部１６５による撮像動作を開始させる（ステップＳ１１）。次いで、画像取込部１６１１は、第１撮像部１６４及び第２撮像部１６５で撮像された第１画像及び第２画像を、ＲＡＭ１６３に取り込む（ステップＳ１２）。

商品検出部１６１２は、ステップＳ１２で取り込まれた第１画像から、商品Ｇの全部または一部を表す画像を検出できたか否かを判定する（ステップＳ１３）。ここで、商品検出部１６１２が、第１画像から商品Ｇの全部または一部を表す画像を検出した場合（ステップＳ１３；Ｙｅｓ）、商品画像出力部１６１３は、この第１画像を商品画像としてＰＯＳ端末１１へ出力し（ステップＳ１４）、ステップＳ１５に移行する。なお、ステップＳ１３において、第１画像から商品Ｇの全部または一部を表す画像を検出できない場合には（ステップＳ１３；Ｎｏ）、ステップＳ１５に直ちに移行する。

顔検出部１６１４は、ステップＳ１２で取り込まれた第２画像から、顧客の顔を表す画像を検出できたか否かを判定する（ステップＳ１５）。ここで、顔検出部１６１４が第２画像から顔を表す画像を検出した場合（ステップＳ１５；Ｙｅｓ）、顔画像出力部１６１５は、この第２画像を顔画像としてＰＯＳ端末１１へ出力し（ステップＳ１６）、ステップＳ１７に移行する。なお、ステップＳ１５において、第２画像から顔部を表す画像を検出できない場合には（ステップＳ１５；Ｎｏ）、ステップＳ１７に直ちに移行する。

続くステップＳ１７において、ＣＰＵ１６１は、ＰＯＳ端末１１からの信号により取引終了が指示されたか否かを判定する（ステップＳ１７）。取引終了が指示されない場合には（ステップＳ１７；Ｎｏ）、ステップＳ１２に再び戻り、ステップＳ１２〜Ｓ１７を取引終了が指示されるまで繰り返し実行する。また、取引終了が指示された場合（ステップＳ１７；Ｙｅｓ）、画像取込部１６１１は、第１撮像部１６４及び第２撮像部１６５に撮像オフ信号を出力し（ステップＳ１８）、第１撮像部１６４及び第２撮像部１６５による撮像動作を停止させる。

次に、図８を参照し、ＰＯＳ端末１１で実行される売上登録処理の手順について説明する。ここで、図８は、ＰＯＳ端末１１が行う売上登録処理の手順を示すフローチャートである。

まず、ＰＯＳ端末１１のＣＰＵ６１は、キーボード２２の所定のキー操作に応じて、取引開始を指示する信号を商品撮像装置１０１に送信する（ステップＳ２１）。これにより、商品撮像装置１０１では上述した商品読取処理を開始する。

続いて、照合用データ切替部６１１は、商品撮像装置１０１から画像が入力されるまで待機する（ステップＳ２２；Ｎｏ）。商品撮像装置１０１から画像が入力されると（ステップＳ２２；Ｙｅｓ）、照合用データ切替部６１１は、この入力された画像が商品画像か顔画像かを判別する（ステップＳ２３）。

ステップＳ２３において、入力された画像が顔画像と判別した場合（ステップＳ２３；Ｎｏ）、照合用データ切替部６１１は、会員管理ファイルＦ２に格納された各顔画像を、認識処理部６１２の照合用画像に設定する（ステップＳ２４）。続いて、認識処理部６１２は、ステップＳ２２で入力された顔画像から特徴量を読み取ると、ステップＳ２４で設定された照合用画像（会員管理ファイルＦ２の各顔画像）と照合する（ステップＳ２５）。そして、認識処理部６１２は、類似度が所定の閾値を超えた照合用画像（顔画像）が存在するか否かを判定する（ステップＳ２６）。

ここで、類似度が閾値を超える照合用画像が存在すると判定した場合（ステップＳ２６；Ｙｅｓ）、認識処理部６１２は、ステップＳ２２で入力された顔画像の顧客が、この照合用画像の会員であると認識し（ステップＳ２７）、ステップＳ２２に再び戻る。また、ステップＳ２６において、類似度が閾値を超える照合用画像が存在しないと判定した場合（ステップＳ２６；Ｎｏ）、認識処理部６１２は顧客を特定できないと判断し、ステップＳ２２に再び戻る。

なお、一取引中において、顧客が会員であることを一度認識すればよい。そのため、顧客が会員であることを認識した場合には、それ以降に発生したステップＳ２４〜Ｓ２７の処理をスキップすることで、顧客の認識処理が不用意に行われてしまうことを防止する形態としてもよい。また、認識済みである旨を商品撮像装置１０１のＣＰＵ１６１に通知することで、第２撮像部１６５の撮像動作を停止させたり、画像取込部１６１１による第２画像の取り込みを停止させたり、顔検出部１６１４及び顔画像出力部１６１５の動作を停止させる形態としてもよい。

一方、ステップＳ２３において、商品画像と判別すると（ステップＳ２３；Ｙｅｓ）、照合用データ切替部６１１は、ＰＬＵファイルＦ１に格納された各商品画像を、認識処理部６１２の照合用画像に設定する（ステップＳ２８）。続いて、認識処理部６１２は、ステップＳ２２で入力された商品画像から読み取った特徴量と、ステップＳ２４で設定された照合用画像（ＰＬＵファイルＦ１の各商品画像）とを照合する（ステップＳ２９）。そして、認識処理部６１２は、ステップＳ２２で入力された商品画像に含まれる商品Ｇが、類似度が所定の閾値を超えた照合用画像（商品画像）の商品であると認識する（ステップＳ３０）。

なお、ステップＳ２９での照合の結果、類似度が閾値を超えた商品画像が複数存在する場合には、これらの商品画像を表示デバイス２３に表示させることで、ＰＯＳ端末１１のオペレータに選択させるものとする。また、閾値を超える商品画像が存在しない場合には、商品Ｇに対応する商品を手動で選択するための画面（ＧＵＩ）を表示デバイス２３に表示させることで、ＰＯＳ端末１１のオペレータに選択させるものとする。

売上登録部６１３は、ステップＳ３０で認識された商品に係る商品情報をＰＬＵファイルＦ１から読み出し、この商品情報に基づき生成した売上登録データを、図示しない売上マスタファイルに売上登録する（ステップＳ３１）。次いで、売上登録部６１３は、これまでに売上登録した各商品の販売金額を合計し、合計金額を算出する（ステップＳ３２）。

ＣＰＵ６１は、キーボード２２から「締め」キーを表わすキー情報の入力を受け付けたか否かを判定する（ステップＳ３３）。ここで、「締め」キーの入力を確認できない場合には（ステップＳ３３；Ｎｏ）、ステップＳ２２に再び戻る。また、ステップＳ３３において、「締め」キーの入力を受け付けた場合（ステップＳ３３；Ｙｅｓ）、ＣＰＵ６１は、接続インターフェース６５を介して、取引の終了を指示する信号を商品撮像装置１０１に出力する（ステップＳ３４）。

続いて、特典付与部６１４は、ステップＳ２６及びＳ２７での処理結果に基づき、顧客が会員であることが認識済か否かを判定する（ステップＳ３５）。ここで、会員であることが認識済と判定した場合（ステップＳ３５；Ｙｅｓ）、特典付与部６１４は、ステップＳ３２で算出された合計金額等に基づき、この会員に所定の特典を付与する（ステップＳ３６）。

ここで、特典として、合計金額に応じたポイントを付与した場合には、この会員の特典情報（ＰＬＵファイルＦ１）に格納されたポイント累積値に、付与したポイントの加算を行うものとする。また、特典として、値引きを行う場合には、ステップＳ３２で算出された合計金額から所定の金額の値引きを行うものとする。

そして、レシート生成部６１５は、オペレータの操作等に応じて、商品代金の精算が完了したことを確認すると、これまでに売上登録された各売上登録データに含まれる所定の項目、特典内容を示す項目等を有したレシートをプリンタ６６から出力させ（ステップＳ３７）、本処理を終了する。

また、ステップＳ３５において、顧客を特定できないと判断されていた場合（ステップＳ３５；Ｎｏ）、特典付与部６１４は、この取引の取引識別情報と、ステップＳ２２で入力された顔画像とを会員登録端末３０１に送信することで、当該会員登録端末３０１に取引識別情報と顔画像とを関連付けて格納する（ステップＳ３８）。なお、会員登録端末３０１に送信する顔画像は一つでよく、例えば、商品撮像装置１０１から入力された最新の顔画像を会員登録端末３０１に送信する。

そして、レシート生成部６１５は、オペレータの操作等に応じて、商品代金の精算が完了したことを確認すると、これまでに売上登録された売上登録データに含まれる所定の項目、取引識別情報、会員登録を促すメッセージ等を有したレシートをプリンタ６６から出力させ（ステップＳ３９）、本処理を終了する。

以上のように、本実施形態によれば、ＰＯＳ端末１１は、商品撮像装置１０１の第１撮像部１６４で撮像された第１画像（商品画像）に基づいて、この画像中に含まれた商品を特定するとともに、商品撮像装置１０１の第２撮像部１６５で撮像された第２画像（顔画像）に基づいて、この画像中に含まれた顧客が会員か否かを判定する。また、ＰＯＳ端末１１は、第２画像（顔画像）中に含まれた顧客が会員である場合には、所定の特典を付与し、顧客が会員でない場合には、会員登録に係る手続きの円滑化を図るため、この第２画像（顔画像）と取引識別情報とを関連付けて会員登録端末３０１に格納し、この取引識別情報を含んだレシートを出力する。

これにより、店舗側では顧客に会員カードの提示を要求することなく、その顧客が会員であるか否かを判定し、会員である場合に特典を付与することができるため、会員に対する特典の付与を効率的に行うことができる。また、顧客側においても、会員カードを携帯する必要がなく、会員であることを店員に通知する必要もないため、利便性を向上させることができる。

ところで、上記実施形態におけるＰＯＳ端末１１での撮像に係る構成は、種々の形態を採用することが可能である。例えば、図１の構成では、商品画像及び顔画像の撮像用に第１撮像部１６４と第２撮像部１６５とを個別に設ける形態としたが、１台の撮像部を用いて第１画像（商品画像）及び第２画像（顔画像）を撮像する形態としてもよい。

例えば、図９に示すように、撮像方向（破線矢印参照）を、商品撮像装置１０１のオペレータ側と、顧客側とに切り替えることが可能な一の撮像部１６７を備えることで、この撮像部１６７を用いて第１画像及び第２画像を取得する形態としてもよい。この形態を採用する場合には、撮像方向（オペレータ側／顧客側）の切り替えを商品撮像装置１０１からＰＯＳ端末１１に通知する構成とし、ＰＯＳ端末１１の照合用データ切替部６１１では、商品撮像装置１０１から通知された撮像方向に応じて、認識処理部６１２の照合用画像を切り替える構成としてもよい。

なお、図９では、撮像部本体の回転により、撮像方向をオペレータ側及び顧客側に向けることが可能に構成された撮像部１６７を、表示・操作部１０４の上部に配置した例を示しているが、撮像方向をオペレータ側及び顧客側に向けることが可能であり、且つ、商品及び顧客の顔を撮像可能な位置であれば、その構成や配置位置は、この例に限らないものとする。また、反射鏡（ミラー）等を用いることで、撮像部１６７の撮像範囲を、オペレータ側及び顧客側方向に向ける形態としてもよい。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、商品撮像装置１０１が第２撮像部１６５及び顔検出部１６１４を備える形態としたが、これに限らず、ＰＯＳ端末１１が第２撮像部１６５及び顔検出部１６１４を備える形態としてもよい。

また、上記実施形態では、ＰＯＳ端末１１と商品撮像装置１０１とを個別に設ける形態としたが、これに限らず、ＰＯＳ端末１１及び商品撮像装置１０１の機能を、一台の端末装置で実現する形態としてもよい。

また、上記実施形態では、取引識別情報及び会員登録を促すメッセージを、レシートとして出力する形態としたが、これに限らず、レシートとは異なる独立した用紙に出力（印字）する形態としてもよい。

また、上記実施形態では、図７に示すように、顧客を特定できない場合に出力されるレシートに取引識別情報を含めることとしたが、これに限らず、この取引識別情報を、顧客が会員である場合に出力されるレシートに含めてて出力してもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１チェックアウトシステム
１１ＰＯＳ端末
６１ＣＰＵ
６１１照合用データ切替部
６１２認識処理部
６１３売上登録部
６１４特典付与部
６１５レシート生成部
１０１商品撮像装置
１６１ＣＰＵ
１６１１画像取込部
１６１２商品検出部
１６１３商品画像出力部
１６１４顔検出部
１６１５顔画像出力部
１６４第１撮像部
１６５第２撮像部
１６７撮像部

特開２００４−３２６２０８号公報

Claims

購入対象の商品を撮像する第１撮像手段と、
前記第１撮像手段で撮像された第１画像と、予め記憶された各商品の商品画像とを照合し、この照合により得られる前記各商品の商品画像との類似度に基づいて、前記第１撮像手段で撮像された商品を認識する商品認識手段と、
前記商品を購入する顧客の顔を撮像する第２撮像手段と、
前記第２撮像手段で撮像された第２画像と、第１記憶手段に予め記憶された各会員の顔画像とを照合し、この照合により得られる前記各会員の顔画像との類似度に基づいて、前記第２撮像手段で撮像された顧客が会員か否かを判定する会員判定手段と、
前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が会員と判定した顧客に対し所定の特典を付与する特典付与手段と、
前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が非会員と判定した顧客の前記第２画像を、この取引を識別する取引識別情報と関連付けて第２記憶手段に格納する格納手段と、
前記取引識別情報を、会員登録を促すメッセージととともに印字した用紙を出力する出力手段と、
前記用紙に印字された前記取引識別情報の入力を受け付けると、当該取引識別情報関連付けられた前記第２画像を前記第２記憶手段から読み出し、前記会員の顔画像として前記第１記憶手段に格納する会員登録手段と、
を備える情報処理装置。
前記商品認識手段及び前記会員判定手段は、認識対象となる物体を撮像した撮像画像と、各種の物体を撮像した照合用画像とを照合し、この照合により得られる前記各種の物体の照合用画像との類似度に基づいて、前記撮像画像中に含まれた物体を認識する一の認識手段により構成される請求項１に記載の情報処理装置。
前記第１撮像手段及び前記第２撮像手段からの出力画像に応じて、前記認識手段が当該出力画像との照合に用いる前記照合用画像を、前記各商品の商品画像又は前記各会員の顔画像に切り替える切替手段を更に備える請求項２に記載の情報処理装置。
前記第１撮像手段及び前記第２撮像手段は、一の撮像装置を用いて実現される請求項１〜３の何れか一項に記載の情報処理装置。
コンピュータを、
購入対象の商品を撮像する第１撮像手段と、
前記第１撮像手段で撮像された第１画像と、予め記憶された各商品の商品画像とを照合し、この照合により得られる前記各商品の商品画像との類似度に基づいて、前記第１撮像手段で撮像された商品を認識する商品認識手段と、
前記商品を購入する顧客の顔を撮像する第２撮像手段と、
前記第２撮像手段で撮像された第２画像と、第１記憶手段に予め記憶された各会員の顔画像とを照合し、この照合により得られる前記各会員の顔画像との類似度に基づいて、前記第２撮像手段で撮像された顧客が会員か否かを判定する会員判定手段と、
前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が会員と判定した顧客に対し所定の特典を付与する特典付与手段と、
前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が非会員と判定した顧客の前記第２画像を、この取引を識別する取引識別情報と関連付けて第２記憶手段に格納する格納手段と、
前記取引識別情報を、会員登録を促すメッセージととともに印字した用紙を出力する出力手段と、
前記用紙に印字された前記取引識別情報の入力を受け付けると、当該取引識別情報関連付けられた前記第２画像を前記第２記憶手段から読み出し、前記会員の顔画像として前記第１記憶手段に格納する会員登録手段と、
して機能させるためのプログラム。