JP7398219B2 - 情報処理システムおよび情報処理方法 - Google Patents

Description

本発明の実施形態は、情報処理システムおよび情報処理方法に関する。

従来、ＰＯＳ端末や会計装置において、客用表示部を利用して、商品を購入する顧客に対して、例えば店内で販売する商品等の情報をコンテンツとして表示する仕組みが存在する。このような仕組みによって、顧客に対して、店舗が販売を強化したい商品等をプロモーションすることができる。

しかしながら、店舗にとって顧客に見せたいコンテンツであっても、顧客にとって関心が低いコンテンツを表示することは、顧客に対して不快感を与えることに繋がる可能性があった。

本発明が解決しようとする課題は、顧客が関心を示す可能性が高いコンテンツを表示することが可能な情報処理システムおよび情報処理方法を提供することである。

実施形態の情報処理システムは、顧客を特定する顧客特定情報に対応付けて当該顧客に係る顧客情報を記憶する顧客管理装置と、表示部を備え販売する商品に係る情報を処理する情報処理装置と、を少なくとも含む情報処理システムであって、顧客特定部と、分析部と、蓄積部と、問い合わせ部と、表示制御部と、を備える。顧客特定部は、前記顧客特定情報を取得することにより顧客を特定する。分析部は、前記表示部が表示したコンテンツを見る顧客をカメラで撮像した撮像画像に基づいて、当該コンテンツについての前記顧客の関心度を分析する。蓄積部は、前記分析部が分析した前記関心度が所定値以上となったコンテンツを前記顧客特定部が特定した顧客の前記顧客特定情報と関連付けて蓄積させる。問い合わせ部は、前記顧客特定部による前記顧客特定情報の取得に伴って前記顧客管理装置に問い合わせ、前記顧客特定情報に関連づけられた前記関心度が所定値以上となったコンテンツがあれば当該コンテンツを取得し、前記顧客特定情報に関連づけられた前記関心度が所定値以上となったコンテンツが取得できなければ売上登録処理に伴って登録された商品に関連づけられたコンテンツを取得する。表示制御部は、前記売上登録処理の実行中に、前記問い合わせ部が取得したコンテンツを前記表示部に表示させる。

図１は、実施形態に係る情報処理システムを示す図である。 図２は、商品登録装置のハードウェア構成を示すブロック図である。 図３は、会計装置のハードウェア構成を示すブロック図である。 図４は、顧客管理装置のハードウェア構成を示すブロック図である。 図５は、顧客ＤＢのメモリ構成を示す図である。 図６は、コンテンツ情報部のメモリ構成を示す図である。 図７は、カテゴリー情報部のメモリ構成を示す図である。 図８は、商品登録装置の機能構成を示す機能ブロック図である。 図９は、商品登録装置の制御処理の流れを示すフローチャートである。 図１０は、会計装置の機能構成を示す機能ブロック図である。 図１１は、会計装置の制御処理の流れを示すフローチャートである。 図１２は、顧客管理装置の機能構成を示す機能ブロック図である。 図１３は、顧客管理装置の制御処理の流れを示すフローチャートである。

以下、図面を参照して、実施形態にについて説明する。実施形態では、セミセルフＰＯＳ（Point of Sales）における商品登録装置と会計装置を情報処理装置の一例として説明する。なお、以下に説明する実施形態により、この発明が限定されるものではない。

まず、実施形態に係る情報処理システムについて説明する。図１は、実施形態に係る情報処理システムを示す図である。図１に示すように、情報処理システム１０は、商品登録装置１と、会計装置３と顧客管理装置５を含む。商品登録装置１と、会計装置３と顧客管理装置５は、例えばＬＡＮ（Local Area Network）等の通信回線Ｌで接続されており、相互に通信が可能である。商品登録装置１と、商品登録装置１当該に接続された１台または複数台の会計装置３の組み合わせを、セミセルフＰＯＳという。実施形態では、１台の商品登録装置１に１台の会計装置３が接続されたセミセルフＰＯＳを用いて説明する。

店員は、商品登録装置１において、店舗で販売する商品の売上登録操作を行う。商品登録装置１は、店員が行った売上登録操作に従って、売上登録処理を実行する。商品登録装置１は、売上登録処理された商品の商品情報（商品名、価格等）を会計装置３に送信する。顧客は、会計装置３において会計操作を行う。会計装置３は、顧客が行った会計操作に伴い、商品登録装置１から受信した商品情報に基づいて会計処理を実行する。

ここで、売上登録処理とは、商品登録装置１が商品に付されたシンボルを読み取って、当該シンボルに係る商品コードに基づいて、商品マスタ（図示せず）から当該商品の商品情報（商品名、価格等）読み出し、読み出した当該商品の商品情報を表示するとともに、商品情報を商品情報部（図示せず）に記憶する処理をいう。会計処理とは、商品登録装置１から受信した商品情報に基づいて、取引に係る合計金額や税額の表示、顧客から預かった預り金に基づいて釣銭を計算して表示する処理、商品情報や会計情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。なお、商品情報と会計情報を合わせた情報を売上情報という。

商品登録装置１は、客用表示部２３とカメラ２５（いずれも図２を参照）を備える。商品登録装置１は、商品を購入する顧客に対し、客用表示部２３にコンテンツを表示する。コンテンツとは、例えば、顧客が購入した商品、店舗が販売を促進する商品等の画像や動画である。なお、コンテンツは、商品以外の、例えば店舗の特売プロモーションに係る画像や動画であってもよい。カメラ２５は、商品登録装置１の、例えば客用表示部２３の周縁部に設けられる。カメラ２５は、客用表示部２３の表示を見る顧客の顔を、略正面から撮像する。

商品登録装置１は、カメラ２５で撮像した顧客の顔画像に基づいて、客用表示部２３に表示したコンテンツを見た顧客の表情を分析する。例えば、商品登録装置１は、カメラ２５で撮像した顧客の顔画像に基づいて、顧客の表情分析を行う。表情分析とは、カメラ２５が撮像した顧客の顔の表情に基づいて、笑顔度を決定する。笑顔度とは、顧客がどの程度笑顔であるかの度合いを示す。笑顔度が高いと、顧客は当該コンテンツに関心を示している。笑顔度が低いと、顧客は当該コンテンツに対する関心が低いことを示している。

具体的には、顧客が示す顔の表情（笑い、喜び、微笑、悲しみ、驚き、怒り、軽蔑、恐れ、無表情等）を判断して、当該顧客の笑顔度を判断する。顧客の顔の表情は、公知の顔検出技術（例えば、「映像情報メディア学会誌Ｖｏｌ.６２ Ｎｏ.５ ｐｐ.７０８～７１３（２００８）」に掲載された技術）を用いて人の目や口を検出し、当該目や口に係る特徴量に基づいて、顔の表情を判断する。具体的には、メモリ部１４（図２を参照）に、笑い、喜び、微笑、悲しみ、驚き、怒り、軽蔑、恐れ、無表情等に対応付けて、それぞれの典型的な目と口の形状や顔に生じる影の情報が記憶されている。そして、撮像した顔画像の目と口がメモリ部１４に記憶されているどの表情に最も似ているかによって、撮像した顔画像の表情を判断する。そして商品登録装置１は、判断した顔の表情に基づいて当該顧客の笑顔度（関心の程度）を決定する。例えば、顧客が笑っていると判断した場合には、笑顔度５、顧客が喜んでいると判断した場合には笑顔度３、顧客が微笑んでいると判断した場合には笑顔度１のように、どの程度笑顔であるかによって、笑顔度を点数化する。また、顧客が無表情であると判断した場合には笑顔度０、逆に顧客が悲しんでいたり、怒っていたり、軽蔑の表情等をしていると判断した場合には、笑顔度にマイナス点を付す。

すなわち、商品登録装置１は、客用表示部２３に表示されたコンテンツを見た顧客の顔の表情に基づいて、顧客が当該コンテンツに対して関心を示した場合にはプラス点を与え、顧客が当該コンテンツに対して関心が低い場合にはマイナス点を与え、当該コンテンツに対する顧客の反応を点数化する。

また、商品登録装置１は、公知の視線検知技術を用いて顧客の表情を分析する。顧客の表情を分析する具体的なやり方は、顧客が、客用表示部２３に表示されたコンテンツをどの程度の時間凝視していたかの凝視度（凝視する時間が長いか短いかの程度）を判断する。視線を動かさずコンテンツを長い時間見ていたと判断した場合には、顧客は関心を示して当該コンテンツを見ていたため、凝視度としてプラス点を与え、視線が定まらず凝視していないと判断した場合には、関心が低いため凝視度としてマイナス点を与える。

また、会計装置３は、客用表示部４２とカメラ４５（図３を参照）を備える。会計装置３は、会計操作をする顧客の顔画像をカメラ４５で撮像する。会計装置３は、会計操作をする顧客に対し、客用表示部４２にコンテンツを表示する。なお、会計装置３は、主に、店舗が推奨する商品のコンテンツを表示する。

会計装置３は、カメラ４５で撮像した顧客の顔画像に基づいて、客用表示部４２に表示したコンテンツに対する顧客の反応を分析（商品登録装置１と同様の分析）する。すなわち、会計装置３は、客用表示部４２に表示されたコンテンツを見た顧客の顔の表情に基づいて、当該コンテンツに対する顧客の表情を点数化する。また、会計装置３は、客用表示部４２に表示されたコンテンツを凝視していた凝視度に基づいて、当該コンテンツに対する顧客の表情を点数化する。

顧客管理装置５は、商品登録装置１で売上登録処理され、会計装置３で会計処理された店舗の売上情報を、会計装置３から受信して集計し、店舗の売上げを管理する。顧客管理装置５は、顧客ＤＢ（Database）５４２（図４を参照）を備える。顧客ＤＢ５４２は、顧客別に、顧客に係る種々の情報を記憶する。例えば、顧客ＤＢ５４２は、顧客が購入した商品の購入履歴を記憶する。また例えば、顧客ＤＢ５４２は、顧客に表示するコンテンツを、顧客の笑顔度を示す点数とともに記憶する。顧客管理装置５は、店舗のバックグラウンドに設けられる。顧客管理装置５は、１台または複数台のサーバで構成される。なお、顧客管理装置５はクラウド上に設けてもよい。

ここからは、商品登録装置１のハードウェアについて説明する。図２は、商品登録装置１のハードウェア構成を示すブロック図である。図２に示すように、商品登録装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備えている。ＣＰＵ１１は制御主体となる。ＲＯＭ１２は各種プログラムを記憶する。ＲＡＭ１３はプログラムや各種データを展開する。メモリ部１４は各種プログラムを記憶する。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラムに従って動作することによって、後述する商品登録装置１の制御処理を実行する。

ＲＡＭ１３は、顧客情報部１３１、商品情報部１３２、コンテンツ部１３３、分析結果部１３４を備える。顧客情報部１３１は、顧客カードリーダ２４（後述）が読み取った顧客を特定する顧客ＩＤ（Identity）を記憶する。商品情報部１３２は、売上登録処理した商品の商品情報を記憶する。コンテンツ部１３３は、顧客情報部１３１に記憶された顧客ＩＤに基づいて顧客管理装置５から受信した、当該顧客が過去に関心を示した１または複数のコンテンツを記憶する。分析結果部１３４は、客用表示部２３（後述）に表示したコンテンツを見た顧客の表情（関心の程度）を分析した結果の点数と顧客がコンテンツを凝視して時間に基づく点数の合計点を記憶する。

メモリ部１４は、ＨＤＤ（Hard Disc Drive）やフラッシュメモリ等で構成されており、電源を遮断しても記憶内容を維持する。メモリ部１４は、制御プログラム部１４１、表情情報部１４２、視線情報部１４３を備える。制御プログラム部１４１は商品登録装置１を制御するための制御プログラムを記憶する。表情情報部１４２は、表情の種類（笑い、喜び、微笑、悲しみ、驚き、怒り、軽蔑、恐れ、無表情等）にそれぞれ対応して、笑顔度（笑顔の程度）を示す点数を記憶している。笑顔度を求めるとは、笑顔度の点数を決定することである、例えば、表情情報部１４２は、笑いは笑顔度＋５、喜びは笑顔度＋３、微笑は笑顔度＋１、無表情は笑顔度０、軽蔑は笑顔度－１、驚きは笑顔度－３、悲しみ・怒り・恐れは笑顔度－５を記憶する。視線情報部１４３は、コンテンツを凝視した時間と笑顔度を示す点数とを記憶する。例えば、視線情報部１４３は、コンテンツを５秒以上凝視した場合に＋３、コンテンツを３秒～５秒凝視した場合に＋１、コンテンツを１秒～３秒凝視した場合に０、コンテンツを凝視した時間が１秒未満の場合は－３を記憶している。凝視度を求めるとは、凝視している時間に基づく点数を決定することである。

また、制御部１００は、バス１５とコントローラ１６を介して、操作部２１、店員用表示部２２、客用表示部２３、顧客カードリーダ２４、カメラ２５、シンボル読取部２６を備える。操作部２１は、転送キー２１１を含むキーボードである。転送キー２１１は、顧客情報部１３１に記憶している顧客ＩＤ、商品情報部１３２が記憶している商品の商品情報、コンテンツ部１３３が記憶しているコンテンツ情報、分析結果部１３４が記憶している、表示されたコンテンツに対する顧客の表情の分析結果（合計点）等を、会計装置３に転送するために操作するキーである。店員用表示部２２は、店員に商品情報等の情報を表示する。客用表示部２３は、顧客に商品情報等の情報を表示する。また、客用表示部２３は、コンテンツ部１３３に記憶されているコンテンツを顧客に表示する。顧客カードリーダ２４は、走査あるいは挿入された顧客カードから、顧客ＩＤを読み取る。カメラ２５は、商品登録装置１の正面に立つ顧客の顔を撮像する。シンボル読取部２６は、商品に付された例えばバーコード等のシンボルを光学的または撮像して読み取る。商品登録装置１は、読み取ったシンボルに基づいて、当該シンボルが付された商品を特定する商品コードを取得する。

また、制御部１００は、バス１５を介して、通信Ｉ／Ｆ２７と接続する。通信Ｉ／Ｆ２７は、通信回線Ｌを介して会計装置３や顧客管理装置５と、相互に情報の送受信が可能に接続する。

次に、会計装置３のハードウェアについて説明する。図３は、会計装置３のハードウェア構成を示すブロック図である。図３に示すように、会計装置３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４等を備えている。ＣＰＵ３１は制御主体となる。ＲＯＭ３２は各種プログラムを記憶する。ＲＡＭ３３はプログラムや各種データを展開する。メモリ部３４は各種プログラムを記憶する。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにバス３５を介して接続されている。ＣＰＵ３１とＲＯＭ３２とＲＡＭ３３が、制御部３００を構成する。すなわち、制御部３００は、ＣＰＵ３１がＲＯＭ３２やメモリ部３４に記憶されＲＡＭ３３に展開された制御プログラムに従って動作することによって、後述する会計装置３の制御処理を実行する。

ＲＡＭ３３は、顧客情報部３３１、商品情報部３３２、コンテンツ部３３３、分析結果部３３４を備える。顧客情報部３３１は、商品登録装置１から受信した顧客ＩＤを記憶する。商品情報部３３２は、商品登録装置１から受信した商品情報を記憶する。コンテンツ部３３３は、商品登録装置１から受信した一または複数のコンテンツを記憶する。分析結果部３３４は、商品登録装置１から受信した、コンテンツを見た顧客の表情を分析した結果の合計点、および客用表示部４２に表示したコンテンツを見た顧客の表情の分析した結果の合計点を記憶する。

メモリ部３４は、ＨＤＤやフラッシュメモリ等で構成されており、電源を遮断しても記憶内容を維持する。メモリ部３４は、制御プログラム部３４１、表情情報部３４２、視線情報部３４３を備える。制御プログラム部３４１は会計装置３を制御するための制御プログラムを記憶する。表情情報部３４２は、表情情報部１４２と同等の情報を記憶する。視線情報部３４３は、視線情報部１４３と同等の情報を記憶する。

また、制御部３００は、バス３５とコントローラ３６を介して、操作部４１、客用表示部４２、プリンタ４３、クレジットカードリーダ４４、カメラ４５を備える。操作部４１は、終了キー４１１を含むキーボードである。終了キー４１１は、会計操作を終了する場合に顧客が操作するキーである。客用表示部４２は、顧客に商品情報等の情報を表示する。また、客用表示部４２は、コンテンツ部３３３に記憶されているコンテンツを顧客に表示する。プリンタ４３は、顧客情報部３３１に記憶された顧客ＩＤ、商品情報部３３２に記憶された商品情報、商品情報に基づいて算出された会計情報等を印字して、レシートを発行する。クレジットカードリーダ４４は、走査あるいは挿入されたクレジットカードから、クレジット処理に係る情報を読み取る。カメラ４５は、会計装置３の正面に立つ顧客の顔を撮像する。

また、制御部３００は、バス３５を介して、通信Ｉ／Ｆ４６と接続する。通信Ｉ／Ｆ４６は、通信回線Ｌを介して商品登録装置１や顧客管理装置５と、相互に情報の送受信が可能に接続する。

次に、顧客管理装置５のハードウェアについて説明する。図４は、顧客管理装置５のハードウェア構成を示すブロック図である。図４に示すように、顧客管理装置５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、メモリ部５４等を備えている。ＣＰＵ５１は制御主体となる。ＲＯＭ５２は各種プログラムを記憶する。ＲＡＭ５３はプログラムや各種データを展開する。メモリ部５４は各種プログラムを記憶する。ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、メモリ部５４は、互いにバス５５を介して接続されている。ＣＰＵ５１とＲＯＭ５２とＲＡＭ５３が、制御部５００を構成する。すなわち、制御部５００は、ＣＰＵ５１がＲＯＭ５２やメモリ部５４に記憶されＲＡＭ５３に展開された制御プログラムに従って動作することによって、後述する顧客管理装置５の制御処理を実行する。

ＲＡＭ５３は、売上情報部５３１を備える。売上情報部５３１は、会計装置３から受信した売上情報（商品情報と会計情報）を記憶する。

メモリ部５４は、ＨＤＤやフラッシュメモリ等で構成されており、電源を遮断しても記憶内容を維持する。メモリ部５４は、制御プログラム部５４１、顧客ＤＢ５４２、カテゴリー情報部５４３を備える。制御プログラム部５４１は顧客管理装置５を制御するための制御プログラムを記憶する。顧客ＤＢ５４２は図５および図６で後述する。また、カテゴリー情報部５４３については図７で後述する。

また、制御部５００は、バス５５とコントローラ５６を介して、操作部６１、表示部６２を備える。操作部６１は、キーボードである。表示部６２は、操作者に情報を表示する。

また、制御部５００は、バス５５を介して、通信Ｉ／Ｆ６３と接続する。通信Ｉ／Ｆ６３は、通信回線Ｌを介して商品登録装置１や会計装置３と、相互に情報の送受信が可能に接続する。

ここからは、顧客ＤＢ５４２について説明する。図５は、顧客ＤＢのメモリ構成を示す図である。図５に示すように、顧客ＤＢ５４２は、顧客ＩＤ部５４２１、顧客情報部５４２２、購入履歴部５４２３、コンテンツ情報部５４２４を有する。顧客ＩＤ部５４２１は、顧客を特定する顧客ＩＤを記憶する。顧客情報部５４２２は、顧客ＩＤ部５４２１に記憶されている顧客ＩＤで特定される顧客の種々の情報（氏名、住所、電話番号、生年月日、家族構成等）が記憶される。購入履歴部５４２３は、顧客ＩＤ部５４２１に記憶されている顧客ＩＤで特定される顧客が過去に購入した商品の商品情報を記憶する。コンテンツ情報部５４２４は、顧客ＩＤ部５４２１に記憶されている顧客ＩＤで特定される顧客に対して、過去に表示したコンテンツを記憶する。なお、コンテンツ情報部５４２４に記憶された、顧客に表示する必要がなくなったコンテンツ（例えば特売期限が切れた商品のコンテンツ）は、制御部１００によって削除される。

次に、コンテンツ情報部５４２４について説明する。図６は、コンテンツ情報部５４２のメモリ構成を示す図である。図６に示すように、コンテンツ情報部５４２４は、コンテンツ部５４２４１、購入商品部５４２４２、点数部５４２４３、カテゴリー記憶部５４２４４を有する。コンテンツ部５４２４１は、顧客に表示したコンテンツを記憶する。コンテンツ部５４２４１に記憶されているコンテンツは、当該コンテンツの内容に適した顧客の属性情報が含まれている。購入商品部５４２４２は、コンテンツを表示した際に顧客が購入した商品の商品情報を記憶する。点数部５４２４３は、コンテンツ部５４２４１に記憶されているコンテンツを表示した際の顧客の表情を分析した笑顔度と凝視度の合計点を蓄積的に記憶する。カテゴリー記憶部５４２４４は、点数部５４２４３に記憶された合計点が所定値以上となったコンテンツが属するカテゴリーを、後述するカテゴリー情報部５４３から抽出して記憶する。

次に、カテゴリー情報部５４３について説明する。図７は、カテゴリー情報部５４３のメモリ構成を示す図である。図７に示すように、カテゴリー情報部５４３は、商品のカテゴリー（例えば複数の商品を一つのグループにまとめた分類）別に、当該カテゴリーに属する商品とコンテンツを記憶する。カテゴリー情報部５４３は、カテゴリーコード部５４３１、商品コード部５４３２、コンテンツ部５４３３を有する。カテゴリーコード部５４３１は、カテゴリーを特定するカテゴリーコードを記憶する。商品コード部５４３２は、各カテゴリーコードのカテゴリーに属する一または複数の商品の商品コードを記憶する。コンテンツ部５４３３は、各カテゴリーに属する一または複数のコンテンツを記憶する。例えば、カテゴリー１が飲料水のカテゴリーである場合、商品コード部５４３２には飲料水に係る商品の商品コードを記憶する。また、コンテンツ部５４３３は、飲料水に係る複数のコンテンツ（例えば飲料水のコマーシャル）を記憶する。当該コンテンツは、商品コード部５４３２に記憶されている商品に関連するコンテンツである。なお、コンテンツ部５４３３に記憶されているコンテンツは、当該コンテンツの内容に適した顧客の属性情報が含まれている。

ここからは、商品登録装置１の機能構成について説明する。図８は、商品登録装置１の機能構成を示す機能ブロック図である。図８に示すように、商品登録装置１の制御部１００は、制御プログラム部１４１に記憶され、ＲＡＭ１３に展開された制御プログラムに従うことで、顧客特定部１０１、分析部１０２、記憶部１０３、送信部１０４、問い合わせ部１０５、表示制御部１０６として機能する。

顧客特定部１０１は、顧客を特定する（第１工程）。具体的には、顧客特定部１０１は、顧客カードリーダ２４によって読み取られた顧客ＩＤを顧客情報部１３１に記憶することで、顧客を特定する。

分析部１０２は、客用表示部２３が表示したコンテンツを見る顧客を撮像したカメラ２５の撮像画像に基づいて、当該コンテンツを見る当該顧客の関心度を分析する（第２工程）。具体的には、分析部１０２は、客用表示部２３が表示したコンテンツを見る顧客を撮像したカメラ２５の撮像画像に基づいて顧客の笑顔度（どの程度の笑顔であるか）と凝視度（凝視した時間の程度）を求める。笑顔度および凝視度を求めることが関心度を分析することに相当する。

記憶部１０３は、分析部１０２が分析した結果を、当該コンテンツとともに分析結果部１３４に記憶する。

送信部１０４は、記憶部１０３が記憶したコンテンツと分析結果を、顧客コードと関連付けて会計装置３に送信する。

問い合わせ部１０５は、顧客特定部１０１が特定した顧客ＩＤに基づいて、当該顧客に対して表示するコンテンツの問い合わせを、顧客管理装置５に対して行う。また、問い合わせ部１０５は、以前に関心を示した一または複数のコンテンツをコンテンツ部１３３に記憶していない場合に、直前に売上登録処理した商品が含まれるカテゴリーに対応したコンテンツを問い合わせる。

表示制御部１０６は、顧客ＤＢ５４２に蓄積したコンテンツを客用表示部２３に表示する（第４工程）。具体的には、表示制御部１０６は、問い合わせ部１０５の問い合わせに対して顧客ＤＢ５４２から受信したコンテンツを、客用表示部２３に表示する。

ここからは、商品登録装置１の制御について説明する。図９は、商品登録装置１の制御処理の流れを示すフローチャートである。図９に示すように、商品登録装置１の制御部１００は、顧客カードリーダ２４によって、顧客カードに記憶されている顧客ＩＤを読み取ったかを判断する（Ｓ１１）。顧客ＩＤを読み取ったと判断した場合には（Ｓ１１のＹｅｓ）、顧客特定部１０１は、読み取られた顧客ＩＤを顧客情報部１３１に記憶する（Ｓ１２）。

次に問い合わせ部１０５は、顧客情報部１３１に記憶した顧客ＩＤに基づいて、当該顧客に対応して顧客ＤＢ５４２に記憶されている、当該顧客が以前に関心を示した一または複数のコンテンツを問い合わせる（Ｓ１３）。そして制御部１００は、問い合わせに対する応答としてコンテンツを受信したかを判断する（Ｓ１４）。コンテンツを受信したと判断した場合には（Ｓ１４のＹｅｓ）、制御部１００は、受信したコンテンツをコンテンツ部１３３に記憶する（Ｓ１５）。そして制御部１００は、Ｓ１１に戻る。また、コンテンツを受信していないと判断した場合には（Ｓ１４のＮｏ）、制御部１００は、Ｓ１１に戻る。

また、顧客ＩＤの読み取りではないと判断した場合には（Ｓ１１のＮｏ）、制御部１００は、シンボル読取部２６によって商品に付されたシンボルが読み取られたかを判断する（Ｓ２１）。商品に付されたシンボルが読み取られたと判断した場合には（Ｓ２１のＹｅｓ）、制御部１００は、読み取られたシンボルに基づいて商品コードを取得し、当該商品に係る売上登録処理を実行する（Ｓ２２）。次に制御部１００は、Ｓ１５の処理においてコンテンツ部１３３にコンテンツが記憶されたかを判断する（Ｓ２３）。Ｓ１５の処理においてコンテンツ部１３３にコンテンツが記憶されていないと判断した場合には（Ｓ２３のＮｏ）、問い合わせ部１０５は、Ｓ２２で直前に売上登録処理した商品が含まれるカテゴリーに対応したコンテンツを、顧客管理装置５に問い合わせる（Ｓ２４）。そして制御部１００は、顧客管理装置５からコンテンツを受信したかを判断する（Ｓ２５）。顧客管理装置５からコンテンツを受信するまで待機し（Ｓ２５のＮｏ）、顧客管理装置５からコンテンツを受信した場合には（Ｓ２５のＹｅｓ）、制御部１００は、受信したコンテンツをコンテンツ部１３３に記憶する。そして表示制御部１０６は、コンテンツ部１３３に記憶したコンテンツを客用表示部２３に表示する（Ｓ２６）。

次に制御部１００は、カメラ２５を起動して、カメラ２５が撮像した、客用表示部２３に表示されたコンテンツを見る顧客の顔の画像を入力する（Ｓ２７）。次に分析部１０２は、客用表示部２３に表示されたコンテンツを見る顧客を撮像したカメラの撮像画像に基づいて、当該コンテンツに対する当該顧客の関心度を分析する（Ｓ２８）。すなわち、分析部１０２は、客用表示部２３に表示されたコンテンツを見る顧客の顔を表情に基づいて、顧客の笑顔度を求める。また、分析部１０２は、客用表示部２３に表示されたコンテンツを見る顧客の凝視度を求める。

次に記憶部１０３は、分析部１０２が分析した笑顔度と凝視度（すなわち関心度）を、当該コンテンツに関連付けて分析結果部１４３に記憶する（Ｓ２９）。そして制御部１００は、Ｓ１１に戻る。このＳ２２～Ｓ２９の処理は、Ｓ２１においてシンボルを読み取る毎に実行される。なお、Ｓ１５の処理において、コンテンツ部１３３に一または複数のコンテンツが記憶されたと判断した場合には（Ｓ２３のＹｅｓ）、制御部１００は、Ｓ２３～Ｓ２５の処理を実行することなく、Ｓ２６～Ｓ２９の処理を実行する。すなわち、表示制御部１０６は、コンテンツ部１３３に記憶したコンテンツを客用表示部２３に表示する（Ｓ２６）。そして制御部１００は、カメラ２５を起動して、カメラ２５が撮像した、客用表示部２３に表示されたコンテンツを見る顧客の顔の画像を入力する（Ｓ２７）。次に分析部１０２は、客用表示部２３または客用表示部４２が表示したコンテンツを見る顧客を撮像したカメラの撮像画像に基づいて、当該顧客の表情を分析する（Ｓ２８）。次に記憶部１０３は、分析部１０２が分析した結果を分析結果部１３４に記憶する。（Ｓ２９）。そして制御部１００は、Ｓ１１に戻る。

また、商品に付されたシンボルの読み取りではないと判断した場合には（Ｓ２１のＮｏ）、制御部１００は、転送キー２１１が操作されたかを判断する（Ｓ３１）。転送キー２１１が操作されたと判断した場合には（Ｓ３１のＹｅｓ）、送信部１０４は、顧客情報部１３１に記憶されている顧客ＩＤと、商品情報部１３２に記憶されている商品情報と、コンテンツ部１３３に記憶されているコンテンツと、分析結果部１３４に記憶されている分析部１０２が分析したコンテンツの分析結果を、会計装置３に送信する（Ｓ３２）。そして制御部１００は、Ｓ１１に戻る。また、転送キー２１１の操作ではないと判断した場合には（Ｓ３１のＮｏ）、制御部１００はＳ１１に戻る。

ここからは、会計装置３の機能構成について説明する。図１０は、会計装置３の機能構成を示す機能ブロック図である。図１０に示すように、会計装置３の制御部３００は、制御プログラム部３４１に記憶され、ＲＡＭ３３に展開された制御プログラムに従うことで、顧客特定部３０１、分析部３０２、記憶部３０３、送信部３０４、表示制御部３０５として機能する。

顧客特定部３０１は、顧客を特定する。具体的には、顧客特定部３０１は、商品登録装置１から受信した顧客ＩＤを顧客情報部３３１に記憶することで、顧客を特定する。

分析部３０２は、客用表示部４２が表示したコンテンツを見る顧客を撮像したカメラ４５の撮像画像に基づいて、当該顧客の表情を分析する。具体的には、分析部３０２は、客用表示部４２が表示したコンテンツを見る顧客を撮像したカメラ４５の撮像画像に基づいて顧客の笑顔度と凝視度について分析をする。

記憶部３０３は、分析部３０２が分析した結果を、当該コンテンツとともに分析結果部３３４に記憶する。

送信部３０４は、記憶部３０３が記憶したコンテンツと分析結果を、顧客コードと関連付けて顧客管理装置５に送信する。

表示制御部３０５は、コンテンツ部３３３に記憶されているコンテンツを客用表示部４２に表示する。具体的には、表示制御部３０５は、コンテンツ部３３３に記憶されているコンテンツのうち、商品登録装置１で表示していない、例えば店舗が推奨する商品に係るコンテンツを客用表示部４２に表示する。

ここからは、会計装置３の制御について説明する。図１１は、会計装置３の制御処理の流れを示すフローチャートである。図１１に示すように、会計装置３の制御部３００は、商品登録装置１から、顧客ＩＤと、商品情報と、一または複数のコンテンツと、コンテンツの分析結果を受信したかを判断する（Ｓ４１）。受信したと判断した場合には（Ｓ４１のＹｅｓ）、顧客特定部３０１は、受信した顧客ＩＤを顧客情報部３３１に記憶し（Ｓ４２）、制御部３００は、受信した商品情報を商品情報部３３２に記憶し（Ｓ４２）、制御部３００は、受信したコンテンツをコンテンツ部３３３に記憶し（Ｓ４２）、制御部３００は受信した分析結果を分析結果部３３４に記憶する（Ｓ４２）。

次に制御部３００は、カメラ４５を起動して、顧客の顔の画像を撮像する（Ｓ４３）。そして制御部３００は、撮像した顧客の顔の画像に基づいて、当該顧客の属性（性別、年齢、年代等）を判断する（Ｓ４４）。そして制御部３００は、判断した顧客の属性に基づいて前記コンテンツ部３３３を検索し、判断した顧客の属性に適したコンテンツを抽出して、客用表示部４２に表示する（Ｓ４５）。

次に分析部３０２は、Ｓ４３の処理の時点から継続して撮像している顧客の顔の画像に基づいて、当該顧客の表情を分析する（Ｓ４６）。すなわち、分析部３０２は、客用表示部４２に表示されたコンテンツを見る顧客の顔を表情に基づいて、顧客の笑顔度を求める。また、分析部３０２は、客用表示部４２に表示されたコンテンツを見る顧客の凝視度を求める。次に記憶部３０３は、分析部３０２が分析した笑顔度と凝視度を当該コンテンツに関連付けて分析結果部３３４に記憶する（Ｓ４７）。そして制御部３００は、Ｓ４１に戻る。

このようにすることで、例えば、親の顧客ＩＤが記憶されているポイントカードを使用して当該親の子供が買物をした場合、Ｓ４３において当該子供の顔の画像を撮像する。そして、Ｓ４５の処理において、撮像した子供の属性に適したコンテンツを表示することができる。

また、顧客ＩＤと、商品情報と、コンテンツと、コンテンツの分析結果の受信ではないと判断した場合には（Ｓ４１のＮｏ）、制御部３００は、終了キー４１１が操作されたかを判断する（Ｓ５１）。終了キー４１１が操作されたと判断した場合には（Ｓ５１のＹｅｓ）、制御部３００は、商品情報部３３２に記憶されている商品情報に基づいて、会計処理を実行する（Ｓ５２）。そして制御部３００は、顧客情報部３３１に記憶されている顧客ＩＤ、商品情報部３３２に記憶されている商品情報、会計処理した会計情報と商品情報とを含む売上情報、コンテンツ部３３３に記憶されているコンテンツ、分析結果部３３４に記憶されている分析結果を、顧客管理装置５に送信する（Ｓ５３）。そして制御部３００は、Ｓ４１に戻る。

ここからは、顧客管理装置５の機能構成について説明する。図１２は、顧客管理装置５の機能構成を示す機能ブロック図である。図１２に示すように、顧客管理装置５の制御部５００は、制御プログラム部５４１に記憶され、ＲＡＭ５３に展開された制御プログラムに従うことで、蓄積部５０１、コンテンツ抽出部５０２として機能する。

蓄積部５０１は、分析部１０２と分析部３０２によって顧客が関心を示したと分析されたコンテンツを顧客特定部１０１または顧客特定部３０１が特定した顧客の顧客ＩＤと関連付けて蓄積する（第３工程）。具体的には、蓄積部５０１は、会計装置３から受信した顧客ＩＤと分析結果に基づいて、顧客ＤＢに蓄積的に記憶する。すなわち、蓄積部５０１は、顧客ＩＤで特定されるコンテンツ部５４２４１に、受信したコンテンツを蓄積的に記憶する。また蓄積部５０１は、コンテンツを記憶したコンテンツ部５４２４１に対応した購入商品部５４２４２に、受信した商品情報を記憶する。また蓄積部５０１は、コンテンツを記憶したコンテンツ部５４２４１に対応した点数部５４２４３に、分析結果の笑顔度と凝視度の合計値を記憶する。

コンテンツ抽出部５０２は、商品登録装置１から、Ｓ１３の処理に係るコンテンツの問い合わせがあった場合に、顧客ＤＢを検索し、点数部５４２４３に記憶されている点数が所定値以上のコンテンツについて、コンテンツ部５４２４１から読み出して商品登録装置１に送信する。点数が所定値以上のコンテンツとは、顧客が関心を示しているコンテンツである。所定値は、例えば操作部６１から任意に設定することが可能である。また、コンテンツ抽出部５０２は、商品登録装置１から、Ｓ２４の処理に係るコンテンツの問い合わせがあった場合に、カテゴリー情報部５４３に記憶されている、直前に購入された商品が属するカテゴリーに対応した、コンテンツ部５４３３に記憶されているコンテンツを商品登録装置１に送信する。

ここからは、顧客管理装置５の制御について説明する。図１３は、顧客管理装置５の制御処理の流れを示すフローチャートである。図１３に示すように、顧客管理装置５の制御部５００は、会計装置３から、Ｓ５３の処理に係る顧客ＩＤ、商品情報、売上情報、分析結果を受信したかを判断する（Ｓ６１）。Ｓ５３の処理に係る顧客ＩＤ、商品情報、売上情報、コンテンツ、分析結果を受信したと判断した場合には（Ｓ６１のＹｅｓ）、制御部５００は、売上情報を売上情報部５３１に記憶する。また、蓄積部５０１は、受信した顧客ＩＤに対応づけて、顧客ＤＢ５４２のコンテンツ部５４２４１に、受信したコンテンツを記憶する（Ｓ６２）。また、蓄積部５０１は、コンテンツを記憶したコンテンツ部５４２４１に対応した購入商品部５４２４２に、受信した商品情報を記憶する（Ｓ６２）。また蓄積部５０１は、コンテンツを記憶したコンテンツ部５４２４１に対応した点数部５４２４３に、分析結果の笑顔度と凝視度の合計点を記憶する（Ｓ６２）。そして制御部５００は、Ｓ６１に戻る。

次に、制御部５００は、点数部５４２４３に記憶された合計点が所定値以上であるかを判断する（Ｓ６３）。合計点が所定値以上の場合、当該コンテンツを見た顧客の笑顔度と凝視度が高いことを示す。点数部５４２４３に記憶された合計点が所定値以上であると判断した場合には（Ｓ６３のＹｅｓ）、制御部５００は、カテゴリー情報部５４３を参照して、当該コンテンツにが属するカテゴリーを抽出する。そして制御部５００は、抽出したカテゴリーをカテゴリー記憶部５４２４４に記憶する（Ｓ６４）。そして制御部５００は、Ｓ６１に戻る。また、点数部５４２４３に記憶された合計点が所定値以上ではないと判断した場合には（Ｓ６３のＮｏ）、制御部５００は、Ｓ６１に戻る。

また、Ｓ５３の処理に係る顧客ＩＤ、商品情報、売上情報、コンテンツ、分析結果の受信ではないと判断した場合には（Ｓ６１のＮｏ）、制御部５００は、商品登録装置１から、Ｓ２４の処理に係るコンテンツの問い合わせを受信したかを判断する（Ｓ７１）。Ｓ２４の処理に係るコンテンツの問い合わせを受信したと判断した場合には（Ｓ７１のＹｅｓ）、コンテンツ抽出部５０２は、カテゴリー情報部５４３に記憶されている、直前に購入された商品が属するカテゴリーに属するコンテンツの一つを、コンテンツ部５４３３から抽出する（Ｓ７２）。Ｓ７２において、制御部５００は、例えば、コンテンツ部５４３３からコンテンツをランダムに抽出する。また、制御部５００は、例えば、コンテンツ部５４３３から笑顔度や凝視度が一般的に高いコンテンツを抽出する。そして制御部５００は、抽出したコンテンツを、商品登録装置１に送信する（Ｓ７３）。そして制御部５００は、Ｓ６１に戻る。

また、Ｓ２４の処理に係るコンテンツの問い合わせの受信ではないと判断した場合には（Ｓ７１のＮｏ）、制御部５００は、商品登録装置１から、Ｓ１３の処理に係るコンテンツの問い合わせを受信したかを判断する（Ｓ８１）。Ｓ１３の処理に係るコンテンツの問い合わせを受信したと判断した場合には（Ｓ８１のＹｅｓ）、制御部５００は、顧客ＤＢ５４２を検索し（Ｓ８２）、カテゴリー記憶部５４２４４にカテゴリーが記憶されているかを判断する（Ｓ８３）。カテゴリー記憶部５４２４４にカテゴリーが記憶されていると判断した場合には（Ｓ８３のＹｅｓ）、コンテンツ抽出部５０２は、カテゴリー記憶部５４２４４に記憶されているカテゴリーに属するコンテンツ（すなわち、顧客が関心を示したコンテンツに関連したコンテンツ）の一つをコンテンツ部５４３３から抽出する（Ｓ８４）。Ｓ８４において、制御部５００は、例えば、コンテンツ部５４３３からコンテンツをランダムに抽出する。また、制御部５００は、例えば、コンテンツ部５４３３から笑顔度や凝視度が一般的に高いコンテンツを抽出する。そして制御部５００は、抽出したコンテンツを、商品登録装置１に送信する（Ｓ８５）。そして制御部５００は、Ｓ６１に戻る。

また、Ｓ１３の処理に係るコンテンツの問い合わせの受信ではないと判断した場合には（Ｓ８１のＮｏ）、制御部５００は、Ｓ６１に戻る。また、所定値以上の点数が記憶されているコンテンツはないと判断した場合には（Ｓ８３のＮｏ）、制御部５００は、いずれのコンテンツをも送信せずにＳ６１に戻る。

このような実施形態の情報処理システムによれば、分析部１０２と分析部３０２が、表示したコンテンツに対する顧客の表情を分析し、分析結果をコンテンツとともに顧客ＤＢ５４２に蓄積的に記憶する。そのため、顧客が関心を示したコンテンツに関連したコンテンツを表示することにより、顧客が関心を示す可能性が高いコンテンツを顧客に提供することができる。

また、実施形態では、顧客ＤＢ５４２に蓄積的に記憶したコンテンツから所定の値以上の合計値のコンテンツを顧客に表示する。そのため、顧客が関心を示したコンテンツに関連したコンテンツを表示することにより、顧客が関心を示す可能性が高いコンテンツを顧客に提供することができる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、顧客管理装置５は、会計装置３から受信したすべてのコンテンツ（関心を示したコンテンツおよび関心が低いコンテンツ）を分析結果とともに蓄積的に記憶するようにした。しかしながらこれに限らず、例えば、会計装置３から受信したコンテンツの分析結果の合計値が所定値以上のコンテンツ（関心を示したコンテンツ）のみを、コンテンツに対する分析結果の合計値とともに蓄積的に記憶するようにしてもよい。

また、実施形態では、Ｓ４３～Ｓ４５の処理において、顧客の顔を撮像して当該顧客の属性を判断し、当該顧客の属性に適したコンテンツを抽出して表示するようにしたが、この要件は必須要件ではなく、例えば、Ｓ４２で顧客情報部３３１に記憶した顧客ＩＤに基づいて当該顧客の属性を取得し、当該顧客の属性に適したコンテンツを抽出して表示するようにしてもよい。

また、実施形態では、関心の程度として、笑顔度と凝視度を用いて説明した。しかしながらこれに限らず、例えば笑顔度あるいは凝視度のみを関心の程度としてもよい。

また、実施形態では、顧客管理装置５が顧客ＤＢ５４２を備えるものとして説明した。しかしながらこれに限らず、顧客ＤＢ５４２は顧客管理装置５以外の装置であってもよい。

また、実施形態では、カメラ２５を商品登録装置１に設け、カメラ４５を会計装置３に設けた。しかしながらこれに限らず、コンテンツを見る顧客を撮像できるカメラであれば、例えば店舗の天井等、カメラの取り付け位置はどこであってもよい。

また、実施形態では、情報処理装置を、セミセルフＰＯＳの商品登録装置１および会計装置３として説明した。しかしながらこれに限らず、情報処理装置は、セミセルフＰＯＳの商品登録装置１または会計装置３のいずれか一方であってもよい。また、情報処理装置は、例えば、顧客がすべての操作を行うセルフＰＯＳ端末や、店員がすべての操作を行う通常のＰＯＳ端末であってもよい。

また、実施形態では、「分析部」を商品登録装置１と会計装置３に設けた。しかしながらこれに限らず、顧客管理装置５に「分析部」を設けてもよい。

１ 商品登録装置
３ 会計装置
５ 顧客管理装置
１０ 情報処理システム
２３ 客用表示部
２５ カメラ
４２ 客用表示部
４５ カメラ
１００ 制御部
１０１ 顧客特定部
１０２ 分析部
１０３ 記憶部
１０４ 送信部
１０５ 問い合わせ部
１０６ 表示制御部
１３１ 顧客情報部
１３２ 商品情報部
１３３ コンテンツ部
１３４ 分析結果部
１４２ 表情情報部
１４３ 視線情報部
３００ 制御部
３０１ 顧客特定部
３０２ 分析部
３０３ 記憶部
３０４ 送信部
３０５ 表示制御部
３３１ 顧客情報部
３３２ 商品情報部
３３３ コンテンツ部
３３４ 分析結果部
３４２ 表情情報部
３４３ 視線情報部
５００ 制御部
５０１ 蓄積部
５０２ コンテンツ抽出部
５３１ 売上情報部

特開２０１０－１４０２８７号公報

Claims (7)

1. 顧客を特定する顧客特定情報に対応付けて当該顧客に係る顧客情報を記憶する顧客管理装置と、表示部を備え販売する商品に係る情報を処理する情報処理装置と、を少なくとも含む情報処理システムであって、
   前記顧客特定情報を取得することにより顧客を特定する顧客特定部と、
   前記表示部が表示したコンテンツを見る顧客をカメラで撮像した撮像画像に基づいて、当該コンテンツについての前記顧客の関心度を分析する分析部と、
   前記分析部が分析した前記関心度が所定値以上となったコンテンツを前記顧客特定部が特定した顧客の前記顧客特定情報と関連付けて蓄積させる蓄積部と、
   前記顧客特定部による前記顧客特定情報の取得に伴って前記顧客管理装置に問い合わせ、前記顧客特定情報に関連づけられた前記関心度が所定値以上となったコンテンツがあれば当該コンテンツを取得し、前記顧客特定情報に関連づけられた前記関心度が所定値以上となったコンテンツが取得できなければ売上登録処理に伴って登録された商品に関連づけられたコンテンツを取得する問い合わせ部と、
   前記売上登録処理の実行中に、前記問い合わせ部が取得したコンテンツを前記表示部に表示させる表示制御部と、
   を備える情報処理システム。
2. 前記表示制御部は、前記売上登録処理の完了後から会計処理の完了までの間に、前記問い合わせ部が取得したコンテンツのうち、未表示のものを表示する
   請求項１に記載の情報処理システム。
3. 前記表示制御部は、前記売上登録処理の完了後から会計処理の完了までの間に、前記問い合わせ部が取得したコンテンツのうち、前記撮像画像に基づいて判断される顧客の属性に適したコンテンツを表示する
   請求項２に記載の情報処理システム。
4. 前記情報処理装置は、前記顧客特定部と前記分析部を備えるとともに、販売した商品に係る商品情報を生成する前記売上登録処理を実行し、
   前記顧客管理装置は、前記コンテンツと前記商品情報とを関連付けて記憶する前記蓄積部を備える、
   請求項１乃至３のいずれか一に記載の情報処理システム。
5. 前記情報処理装置として、前記顧客特定部と前記分析部を備えるとともに前記売上登録処理を実行する商品登録装置と、前記売上登録処理で生成された前記商品情報に基づいて会計処理を実行する会計装置と、を備える、
   請求項４に記載の情報処理システム。
6. 前記分析部は、前記関心度として、前記表示部に表示されたコンテンツを見た顧客の顔の笑顔度および前記顧客が前記表示部を凝視した凝視度を求める、
   請求項１乃至４のいずれか一に記載の情報処理システム。
7. 顧客を特定する顧客特定情報に対応付けて当該顧客に係る顧客情報を記憶する顧客管理装置と、表示部を備え販売する商品に係る情報を処理する情報処理装置と、を少なくとも含む情報処理システムを利用する情報処理方法であって、
   前記顧客特定情報を取得することにより顧客を特定する第１工程と、
   前記表示部が表示したコンテンツを見る顧客をカメラで撮像した撮像画像に基づいて、当該コンテンツについての前記顧客の関心度を分析する第２工程と、
   前記第２工程で前記関心度が所定値以上となったコンテンツを前記第１工程で特定した顧客の前記顧客特定情報と関連付けて蓄積させる第３工程と、
   前記第１工程による前記顧客特定情報の取得に伴って前記顧客管理装置に問い合わせ、前記顧客特定情報に関連づけられた前記関心度が所定値以上となったコンテンツがあれば当該コンテンツを取得し、前記顧客特定情報に関連づけられた前記関心度が所定値以上となったコンテンツが取得できなければ売上登録処理に伴って登録された商品に関連づけられたコンテンツを取得する第４工程と、
   前記売上登録処理の実行中に、前記第４工程で取得したコンテンツを前記表示部に表示させる第５工程と、
   を含む情報処理方法。

Images