JP4125634B2 - 顧客情報収集管理方法及びそのシステム - Google Patents
顧客情報収集管理方法及びそのシステム Download PDFInfo
- Publication number
- JP4125634B2 JP4125634B2 JP2003147217A JP2003147217A JP4125634B2 JP 4125634 B2 JP4125634 B2 JP 4125634B2 JP 2003147217 A JP2003147217 A JP 2003147217A JP 2003147217 A JP2003147217 A JP 2003147217A JP 4125634 B2 JP4125634 B2 JP 4125634B2
- Authority
- JP
- Japan
- Prior art keywords
- customer
- information
- store
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000007726 management method Methods 0.000 title claims description 39
- 238000000034 method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 5
- 230000001737 promoting effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 235000011850 desserts Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラで顧客の画像情報を取得してマーケティングに活用する顧客情報収集管理方法及びそのシステムに関し、特に、顧客の人物特徴が個人情報としてより正確に判断できると共にその個人情報に基づく顧客層に対応した販売促進サービスを時期を失することなく提供することができる顧客情報収集管理方法及びそのシステムに関する。
【０００２】
【従来の技術】
従来、この種の顧客情報収集管理システムでは、入力作業を軽減させると共に顧客の属性についての判断のばらつきを防止することで、正確なデータベースを作成できることを目的として、システムが、出入り口それぞれのカメラで撮影された顧客の画像に基づいて、画像処理により顧客の属性を自動判別している（例えば、特許文献１参照）。
【０００３】
図７を参照して、この顧客情報収集管理システムを説明する。
【０００４】
各店舗内情報分析システム１００では、レジスタでの購買顧客を撮像するレジカメラ１０２の画像情報から制御部１０８がこの顧客の属性として性別、年齢層などを判別する。次いで、この顧客により購入された商品のデータを店員がレジスタに例えばバーコードを利用して正確に入力する。その結果、商品データと顧客の属性とが対応付けられて記録される。
【０００５】
すなわち、顧客の属性は商品購入顧客の画像情報に基づいて判別されるので、店員による入力作業が軽減されるのみならず、画像情報からの均一な基準から判断のばらつきも防止される。また、各店舗でのこれらデータは店舗内情報分析システム１００から送付されて情報分析センター１１０に集中保存され、マーケティングに活用される。
【０００６】
また、端末装置で、顧客のデータを取得しかつ分析して顧客の種別を判定し、この判定結果に基づいて商品の案内データを特定して、顧客に提供する顧客データ処理システムがある（例えば、特許文献２参照）。
【０００７】
この端末装置は、カメラ及びセンサを備え、顧客が前面に立った際に、カメラ及びセンサにより顧客情報を自動的に取得し、取得した情報から顧客種別を判別してその客層に見合う案内データをその顧客に提供する。案内データは、客層データに対応してサーバ装置に集中して保持され、複数の端末装置に提供される。ここでは、顧客の滞留時間も計測されている。
【０００８】
【特許文献１】
特開２００２−３２５５３号公報（図１）
【０００９】
【特許文献２】
特開平１１−３２８２６６号公報（図１、図２）
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来の顧客情報収集管理方法及びそのシステムでは、次のような問題点がある。
【００１１】
第一の問題は、年齢、性別、服装といった顧客の属性を判断する正確性に欠ける点である。
【００１２】
その理由は、顧客の属性情報を取得するための撮影データは複数フレーム連続して撮影せず、単一フレームによってしか判断していないためである。上記特許文献１ではレジスタで商品を購入する際のみの画像情報、また上記特許文献２では端末装置に対面する際のカメラの画像情報、それぞれから顧客を正面からの画像のみで判断するので、判別に対するデータ量が少なく、年齢、性別、服装といった人物の属性を正確に判断するには危険性がある。
【００１３】
第二の問題は、来店中の顧客の個人情報に基づく商品販売促進に際して店舗ごとの柔軟な対応が困難な点である。
【００１４】
その理由は、上記特許文献１、２では複数店舗で集中して情報分析センター又はサーバ装置が顧客データ及び販売促進商品データを管理しており、各店舗ごとの変化に迅速な対応が困難なためである。
【００１５】
第三の問題は、店舗内の商品陳列改善に、来店した顧客の購買情報を反映することが困難な点である。
【００１６】
その理由は、上記特許文献１では顧客情報と対応するものは購入商品データであり、購入商品以外のデータがないからである。上記特許文献２では、このための情報収集には、商品ごとに端末装置を備えることを提案しているからである。
【００１７】
本発明の課題は、このような問題点を解決し、商品の各提供場所において、より正確な個人情報を画像情報から取得し、各提供場所での状況の変化に迅速に時期を失することなく対応する商品データを提供し、かつ商品陳列位置改善のための情報を収集することができる顧客情報収集管理方法及びそのシステムを提供することである。
【００１８】
【課題を解決するための手段】
本発明による顧客情報収集管理方法は、マーケティングに活用するため、カメラで顧客の画像情報を取得し、画像処理部でその画像情報から顧客を判別して収集管理するものであって、少なくとも出入り口および通路に向けて備えるカメラが顧客の正面及び側面を含む複数の人物画像を取得し、前記画像処理部が、前記カメラから取得した複数の人物画像から顧客の人物属性を判定してその顧客の個人情報に生成し、前記通路に向けたカメラから取得した顧客の顔向き及び滞在時間を含む画像情報から顧客毎の注目商品群を判断して生成し、生成されたそれぞれの情報を顧客情報として顧客リストに格納することである。
【００１９】
このために、例えば店舗内では、少なくとも出入り口および通路に配備され、対象とするすべての顧客の正面又は側面を含む人物画像を少なくとも人物の位置及び顔向きの判定を可能なように定期的に連続取得して送出するカメラと、このカメラの連続取得する複数の画像を受けその画像情報から顧客の人物属性を判定してその顧客の個人情報に生成し出力する画像処理部と、この画像処理部の生成した個人情報を受けて記録する来店中顧客リストと、この来店中顧客リストに記録された情報を繰返し走査して取り出し前記個人情報とは別にその情報から取得された情報の特徴として特定時間帯の店内状況を含む一般的条件を生成する顧客管理部とが備えられている。
【００２０】
この構成により、一人の顧客に対して複数の連続する画像情報が取得できるので、顧客の属性としての個人情報がより正確に収集できる。又、カメラ位置と画像情報から分析された顔向きとから注目商品または商品群の特定、更に滞在時間と注目継続時間を分析することが可能である。
【００２１】
また、顧客の人物属性と注目商品群とを取得した際に、この注目商品群に対応する予め用意された商品の販売促進情報を可聴／可視で店内に直ちに告知している。
【００２２】
すなわち、商品陳列場所にはスピーカ、電子掲示板、及び／又は情報端末のような可聴／可視による告示機器と、販売促進商品を含む案内告示および告示条件を前記告示機器に対応して予め格納する告示情報データベースとを更に設けている。この画像処理部は、同一個人情報に基づいて連続する人物画像の人物位置及び顔向き並びに滞留時間などの前記通路でのカメラで取得したデータからその注目商品を選定し、これら情報を前記来店中顧客リストに前記個人情報に対応して記録する。また、顧客管理部は、前記来店中顧客リストに記録された情報が前記告示条件と一致した際に、その告示条件に対応する前記案内告示を告示情報データベースから取得して前記告示機器に対応する可聴／可視の情報を提供する。
【００２３】
この告示情報は同一店舗内のデータベースから提供できるので、提供条件及び提供商品の案内を適宜作成して迅速に時期を失することなく提供することができる。
【００２４】
また、連続して取得した画像から、顧客の注目商品群及びその注目時間、並びに移動経路を判定することにより、店舗内の商品陳列位置改善などのマーケティング向上に活用することができる。
【００２５】
すなわち、来店中の顧客の購買商品を登録するレジスタと今までの来店客の情報を記録する顧客データベースとが備えられている。この画像処理部は、レジスタで購買商品が登録された際には購買顧客のカメラ画像と照合して前記来店中顧客リストに登録し、出口カメラ画像が顧客を捕捉した際にはその退店を前記来店中顧客リストに記録する。また、顧客管理部は、前記来店中顧客リストで退店の記録された顧客対応情報のうちの所定情報を前記顧客データベースに追加記録している。
【００２６】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２７】
図１は本発明における店舗内カメラの配置及び人物の顔向きに係る実施の一形態を示す平面図である。図７に示される従来例との相違は店舗内の通路上にいる顧客３１〜３５の撮像画面を取得する複数のカメラ１１〜１８を設けている点である。
【００２８】
図１に示された平面図では、入り口カメラ１１、レジカメラ１２、出口カメラ１４、及び店内カメラ１５〜１８が、例えば、天井に設けられ、それぞれのカメラが定期的に連続で撮影している。店舗は、例えば、所謂コンビニエンスストアである。店舗内には、レジスタとなるＰＯＳ（販売時点情報管理）端末２０が備えられ、来店中の顧客３１〜３６がおり、スピーカ４１、電子掲示板４２及び情報端末４３が商品陳列棚以外に設けられている。
【００２９】
入り口カメラ１１は店内から出入り口に向いており入店する顧客の正面を撮影する。レジカメラ１２はレジスタとなるＰＯＳ端末２０の設置場所で購買商品を提示する顧客のほぼ正面を撮影する。出口カメラ１４は出入り口側から店舗内に向いており退店する顧客のほぼ正面を撮影する。
【００３０】
店内カメラ１５〜１８は通路上の顧客を撮影する。図１での店内カメラ１５は本棚と日用品の陳列棚との間の顧客を対象とする。店内カメラ１６は食料品と菓子類との陳列棚間の顧客を対象とする。店内カメラ１７はパン類、弁当類、及びデザート類、並びに情報機器４３に面する顧客を対象にする。店内カメラ１８は飲み物類及び電子掲示板前の顧客を対象にする。
【００３１】
図１においては、顧客３１が本棚に顔を向けている。顧客３２は電子掲示板４２に向かっているが、例えば、顔向きが電子掲示板４２方向で固定されている場合、電子掲示板４２が注目されていると判断できる。顧客３３、３４は食料品及び弁当類それぞれを注目している。顧客３５は情報端末４３にアクセスし、顧客３６はレジスタで購買商品の精算をしている。
【００３２】
次に、図２に図１を併せ参照して、本発明による顧客情報収集管理システムについて説明する。
【００３３】
この顧客情報収集管理システムは、店舗内に、入力部１０、ＰＯＳ端末２０、出力部４０、制御部５０、顧客ＤＢ（データベース）６０、及び告示情報ＤＢ７０を備えている。顧客ＤＢ６０は複数店舗で共通又は集中管理してもよい。
【００３４】
情報の入力部１０には、入り口カメラ１１、レジカメラ１２、出口カメラ１４、及び店内カメラ１５〜１８が含まれる。図示されるＰＯＳ端末２０には、キーボード２１、画面表示器２２、及び購買商品情報取得部２３が含まれる。情報の出力部４０には、スピーカ４１、電子掲示板４２、及び情報端末４３が図示されている。制御部５０は、画像処理部５１、来店中顧客リスト５２、及び顧客管理部５３を含んでいる。また、告示情報ＤＢ７０は音声案内商品情報７１及び電子刑事商品情報７２を有している。
【００３５】
カメラ１１〜１８についてはすでに図１を参照して説明したが、例えば１秒間に数フレームずつ連続して撮影した画像情報は制御部５０の画像処理部５１に順次送られる。ＰＯＳ端末２０では、情報入力には、キーボード２１以外に、例えば図示されていないバーコードリーダなどがある。情報出力には、各種情報を画面表示する画面表示器２２以外に例えば図示されていないレシート出力がある。従って、顧客の購買商品情報を記録保持する購買商品情報取得部２３が備えられている。
【００３６】
スピーカ４１は音声案内商品情報７１に格納されている商品情報などを顧客管理部５３の制御により受けて店舗内へ放送する。電子掲示板４２は電子掲示商品情報７２に格納されている商品情報などを顧客管理部５３の制御により受けて画面表示する。図示される電子掲示板４２は出入り口方向に面しているが、複数を設けて、掲示される情報によっては、店舗外部に向いていてもよい。情報端末４３は、顧客の操作を受け、告示情報ＤＢ７０に格納された商品に限らず、これ以外の情報も可視／可聴で顧客に提供できる。
【００３７】
画像処理部５１は、入力部１０から得られた複数フレームの画像情報を一フレームごとに画像処理し、顧客追跡のため、性別、年齢、服装といった人物特徴の抽出を行う。画像処理により、人物の特定とカメラ位置、顔向き、及び滞在時間から得られる注目商品情報の特定とが可能であり、更に、時間の経過と対応付けて店舗内での、一人の顧客の移動経路を追跡できる。従って、抽出して顧客ＩＤ（識別子）を付与された個人情報は来店中顧客リスト５２に送られて顧客別にＩＤにより整理される。また、画像情報から顧客が退店したと判断した際には顧客の退店を来店中顧客リスト５２に送る。
【００３８】
顧客管理部５３は、来店中顧客リスト５２に記録される顧客情報を繰り返し走査しており、予め設定された条件に一致した際に、告示情報ＤＢ７０に格納される音声案内商品情報７１及び／又は電子掲示商品情報７２から適切な告示情報を取り出して出力部４０へ送出している。顧客が退店した際には該当する顧客のデータを顧客ＤＢ６０と照合し、新規顧客情報を顧客ＤＢ６０に転送して追加する一方、同一情報は破棄される。また、特に、顧客ＤＢ６０における情報の変化が著しい場合には、これを検知して販売促進に反映させることができる。
【００３９】
顧客ＤＢ６０は、顧客それぞれの人物としての特徴に加えて、顧客層に対して購買商品、移動経路、滞在時間などの興味対象商品情報も記録される。したがって、顧客ＤＢ６０は、今後の、性別、年齢層、職業などに対応する販売促進商品の選定、店舗内の商品陳列の改善などに役立つ。
【００４０】
告示情報ＤＢ７０は、それまでの情報に基づいて販売促進のために作成された顧客層に対応したおすすめ商品の情報を、音声情報は音声案内商品情報７１、また映像情報は電子掲示商品情報７２、それぞれに、販売促進対象の顧客層条件、例えば、性別、年齢層、職業などと共に予め格納しておく。この情報は、顧客ＤＢ６０に格納される情報に基づいて定期的に改版される。
【００４１】
次に、図３及び図４を併せ参照して画像処理部５１の機能について詳細に説明する。
【００４２】
画像処理部５１は、図示される例では、カメラ対応の画像受付５１１、５１２、・・及びＩＤ編集５１０それぞれの機能を有している。例えば、画像受付５１１は、入り口カメラ１１で撮影された画像データを順次受付け、これら画像データに、このカメラ番号及び時刻を付加してＩＤ編集５１０へ送出する。
【００４３】
ＩＤ編集５１０は、受けた複数フレームの画像を一フレームごとに画像処理して、性別、年齢、服装といった人物の特徴を人物情報として抽出する。具体的には、各画像フレームごとに９０パーセントの確率で男性、３０パーセントの確率で３０歳代であるなどの判定確率を算定し、この判定確率の高さから人物特徴を判定する。一方、人物画像それぞれにおいては、同時に、カメラ位置と顔向きとから注目場所が判定できるので、興味を持った又は購買対象の商品群若しくは商品が特定される。
【００４４】
次いで、時系列で同類画像情報を集めて、図４に示されるように、一人の顧客に対して複数画像フレーム８１〜８６の情報を総合的に判断することにより、より正確な特徴抽出を実現し、個人情報の総合判断がなされ、顧客ＩＤが付与される。このように、人物の特徴は、複数カメラの追跡により多数の画像フレームの判定結果から、より信頼性の高い判定結果を採択するという方法がとられる。
【００４５】
上記総合判断で具体的には、判定確率がある閾値以上である画像フレームのみを採択するということを行う。例えば、判定確率の閾値を８０パーセントとした場合では、男性：９３パーセントの画像フレーム８１と男性：８１パーセントの画像フレーム８５との二つの画像フレームが採択され、そこから男性と判定している。このようにあいまいな判定を排除する方法により、正確な人物特徴の抽出ができる。
【００４６】
これにより信頼性の高い多数の判定結果に少数の信頼性の低い判定結果が紛れ込んでいる場合でも、信頼性の低い判定結果を除去することで、より正確な人物特徴抽出が可能になる。また、信頼性の低い大多数の判定結果に少数の信頼性の高い判定結果がある場合でも、同様に少数の信頼性の高い判定結果を採択することができ、やはり正確な人物特徴の抽出が可能である。
【００４７】
画像処理部５１で得られた顧客の追跡情報や特徴情報は来店中顧客リスト５２に送付され追加記録される。すなわち、例えば、ＩＤごとに、顧客の特徴を示す個人情報、入店時刻、滞在場所と滞在時間などが記録され、出口からの退店を検出した際に退店時刻を記録できる。上述したように、退店時刻の記録された顧客情報は来店中顧客リスト５２から顧客管理部５３により取り出される。
【００４８】
次に、図５を参照して来店中顧客リスト５２について詳細を説明する。
【００４９】
図５（Ａ）に示される来店中顧客リスト５２Ａの内容には、顧客を識別するＩＤ、性別、年齢、服装、顔向き方向から得られたステータス、滞在時間といった属性が含まれており、この情報は画像処理部５１によりリアルタイムで更新される。更に、図５（Ｂ）では、滞在時間の存在する場所を順次記録した足取りが移動コースのデータとして取得されている。
【００５０】
次に、図６に図１から図５までを併せ参照して、制御部５０の動作手順について説明する。図６は顧客管理部５３の主要動作を中心とする手順の実施の一形態を示すフローチャートである。
【００５１】
制御部５０では、画像処理部５１が、入り口カメラ１１から受ける撮像データから、顧客の来店あり（手順Ｓ１のＹＥＳ）を知ると共にこの顧客の人物データを取得（手順Ｓ２）してＩＤ符号を付与し、来店中顧客リスト５２に記録する。この来店中の顧客は店内のカメラ１１〜１８のいずれかにより撮影され、かつその画像は処理されてその処理結果が来店中顧客リスト５２に順次記録される。
【００５２】
顧客管理部５３は、来店中顧客リスト５２を繰り返し走査して、取得データの特徴を調査（手順Ｓ３）している。特徴としては個人のみならず、例えば、昼食の時間帯でスーツ着用の多くの男性顧客がお弁当と飲み物を購入している、又は多数の若い女性顧客が来店中であるなどの一般的条件もある。
【００５３】
手順Ｓ３が「ＹＥＳ」で来店中顧客リスト５２からの取得データに特徴がある場合、顧客管理部５３は、告示情報ＤＢ７０の登録情報と比較して、例えば、昼食時の男性顧客に対して推薦する本日の商品、又は多数の若い女性顧客には推薦する化粧品など、対応するＰＲ（広告、宣伝）商品の有無を確認（手順Ｓ４）する。
【００５４】
手順Ｓ４が「ＹＥＳ」で対応ＰＲ商品がある場合、顧客管理部５３は、告示情報ＤＢ７０から対応するデータを取り出して出力部４０に渡し、そのＰＲ商品をアナウンスによる音声、又は／及び電子掲示による画像で告示（手順Ｓ５）している。例えば、音声案内商品情報７１の場合にはスピーカ４１からアナウンスによる音声案内が流される。また、電子掲示商品情報７２の場合には電子掲示板４２への画面表示で来店中顧客に告示がなされる。
【００５５】
更に例えば、深夜に雑誌のコーナーで立ち読みしている１０歳代後半から２０歳代前半の若い学生顧客が多い場合には特定のＰＲ夜食をお勧めするなど、個人に特化したサービス、又は全体の客層向けのサービスを自動かつリアルタイムで行うことができるので、顧客の購買意欲を高めることが可能となる。
【００５６】
一方、画像処理部５１が出口カメラ１４から受けた撮像データから退店の顧客を識別（手順Ｓ６のＹＥＳ）した際には、来店中顧客リスト５２の該当個所に退店が、例えば時刻により記録される。顧客管理部５３は、来店中顧客リスト５２で退店の記録を有する顧客の人物特徴データを顧客ＤＢ６０に保存されるものと比較する。顧客管理部５３は、退店顧客が新規顧客（手順Ｓ７のＹＥＳ）であると判断される場合、新たにＩＤ番号を付与してその顧客の個人データを顧客ＤＢ６０に登録（手順Ｓ８）すると共に興味を有する商品、その場所の滞在時間などの所定データを顧客データとして追加登録して来店中顧客リスト５２から該当データを削除（手順Ｓ９）する。
【００５７】
上記手順Ｓ７が「ＮＯ」ですでに個人の顧客登録済みの場合、顧客管理部５３は、上記手順Ｓ８を飛ばして上記手順Ｓ９に進み、来店回数、購買商品情報、従来と異なる興味対象商品など、所定の顧客データを対応個所に追加登録して来店中顧客リスト５２から該当データを削除する。
【００５８】
次いで、顧客管理部５３は店内顧客の存在を来店中顧客リスト５２で確認（手順Ｓ１０）する。来店中顧客リスト５２に顧客の記録がないため、この手順Ｓ１０が「ＮＯ」の場合、手順は終了する。
【００５９】
手順Ｓ１０が「ＹＥＳ」で店舗内に来店中顧客がまだいる場合には、上記手順Ｓ３が「ＮＯ」で来店中顧客リスト５２に特徴ある取得データがない場合、又は上記手順Ｓ４が「ＮＯ」で対応するＰＲ商品がない場合も同様に、上記手順Ｓ２に戻り、来店中顧客の顧客データが収集される動作から上述された手順が継続して繰り返される。
【００６０】
上記説明では、来店中顧客データのＩＤと顧客ＤＢのＩＤとは独立して付与されているが、画像処理部が、来店した顧客にＩＤ付与する際に個人特徴データの一致するＩＤを顧客ＤＢから取り出して付与することとしてもよい。
【００６１】
上記説明では、複数カメラを利用して店舗内すべての顧客の撮像データを得るとしたが、全方位カメラを店舗内で中央の天井に設置し、１つのカメラで店舗内全体を追跡するという方法でもよい。
【００６２】
また、上記図４を参照した複数画像フレームの処理に関して、ある閾値以上のもののみ採択するとしたが、全ての画像フレーム８１〜８５の平均を取る方法も考えられる。具体的には、男性である確率を７２（＝（９３＋６７＋４５＋７４＋８１＋７４）／６）パーセント、また女性である確率を２８（＝（７＋３３＋５５＋２６＋１９＋２６）／６）パーセントと計算して男性と判定する方法である。この方法は、その顧客が撮影されているすべての情報を取り込むことができるため、一枚のみの画像から得る判定よりも信頼性が高くなる。更に、画像処理技術において表情が認識できるようであれば、商品への関心度の情報に加えることができる。
【００６３】
また、顧客データの取得に画像処理技術を使用して説明したが、音声を組み合わせて認識の性能を更に向上させることも可能である。この場合、例えば、店舗内にマイクを設置し、発声から男女を分析し、又は会話内容から音声認識技術を用いて商品の評判を分析するという方法を付け加えるともできる。
【００６４】
上記説明では店舗を対象としたが、自動販売機又はＡＴＭ（自動現金出し入れ装置）で利用者の追跡、及び特徴抽出を行い、利用者へ特定サービスを実行すること、又は、未成年者の利用を制限するような使い方もできる。
【００６５】
このように、図示された機能ブロックおよび手順を参照して店舗内での顧客情報管理を説明したが、機能の分離併合による配分または手順の前後入替えなどの変更は上記機能を満たす限り自由であり、対象も商品陳列棚に限定されるものではない。すなわち、上記説明が本発明を限定するものではないのみならず、本機能はカメラによる撮影可能な設備を利用した顧客の情報管理全般に適用可能なものである。
【００６６】
【発明の効果】
以上説明したように本発明によれば、次のような効果が期待できる。
【００６７】
第一の効果は効率の高いマーケティングの自動化が可能なことである。
【００６８】
その理由は、店舗内の複数個所のカメラが連続撮影することにより同一人物が多数のかつ多方面からの撮像画面で画像処理されているからである。すなわち、この画像処理から得られる個人の特徴はより信頼性が高く、より正確に他人と識別できるのみならず、店舗内での滞在場所及び滞在時間から興味を有する商品も解析できるからである。
【００６９】
第二の効果は来店中の顧客に対して購買意欲を昂騰させることが可能なことである。
【００７０】
その理由は、上述するように、画像処理から得られる顧客の特徴はより信頼性が高く、店舗内での滞在場所及び滞在時間から興味を有する商品も解析してデータベースに記録保存できるからである。したがって、保存データの特徴に対応して推薦商品の宣伝、広告を予め用意できるので、来店中の顧客の分析データとデータベースの記録データに基づいてその場でその顧客個人又は店舗内全員に取得データに対応した特有サービスを提供できるからである。
【００７１】
第三の効果は店舗内の商品陳列配置の改善に有効なことである。
【００７２】
その理由は、上述するように、顧客の店舗内の行動がより詳細に分析できるからである。すなわち、顧客の店舗内での滞在場所及び滞在時間並びに顔向きから注目商品又は商品の関心度と移動コースとが顧客データベースから特定できるためである。
【図面の簡単な説明】
【図１】本発明における店舗内カメラの配置及び人物の顔向きに係る実施の一形態を示す平面図である。
【図２】本発明における実施の一形態を示す機能ブロック図である。
【図３】図２の画像処理部における実施の一形態を示す機能ブロック図である。
【図４】図３のＩＤ編集における個人情報総合判断のために収集された複数画像フレームの実施の一形態を示す説明図である。
【図５】（Ａ）は図２の来店中顧客リストにおける実施の一形態を示す機能ブロック図であり、（Ｂ）は（Ａ）と異なる来店中顧客リストにおける実施の一形態を示す機能ブロック図である。
【図６】図２の制御部における主要動作手順の実施の一形態を示すフローチャートである。
【図７】従来の一例を示す機能ブロック図である。
【符号の説明】
１０ 入力部
１１ 入り口カメラ
１２ レジカメラ
１４ 出口カメラ
１５〜１８ 店内カメラ
２０ ＰＯＳ端末
３１〜３６ 顧客
４０ 出力部
４１ スピーカ
４２ 電子掲示板
４３ 情報端末
５０ 制御部
５１ 画像処理部
５２、５２Ａ、５２Ｂ 来店中顧客リスト
５３ 顧客管理部
６０ 顧客ＤＢ
７０ 告示情報ＤＢ
７１ 音声案内商品情報
７２ 電子掲示商品情報
８１〜８６ 画像フレーム
５１０ ＩＤ編集
５１１、５１２ 画像受付
【発明の属する技術分野】
本発明は、カメラで顧客の画像情報を取得してマーケティングに活用する顧客情報収集管理方法及びそのシステムに関し、特に、顧客の人物特徴が個人情報としてより正確に判断できると共にその個人情報に基づく顧客層に対応した販売促進サービスを時期を失することなく提供することができる顧客情報収集管理方法及びそのシステムに関する。
【０００２】
【従来の技術】
従来、この種の顧客情報収集管理システムでは、入力作業を軽減させると共に顧客の属性についての判断のばらつきを防止することで、正確なデータベースを作成できることを目的として、システムが、出入り口それぞれのカメラで撮影された顧客の画像に基づいて、画像処理により顧客の属性を自動判別している（例えば、特許文献１参照）。
【０００３】
図７を参照して、この顧客情報収集管理システムを説明する。
【０００４】
各店舗内情報分析システム１００では、レジスタでの購買顧客を撮像するレジカメラ１０２の画像情報から制御部１０８がこの顧客の属性として性別、年齢層などを判別する。次いで、この顧客により購入された商品のデータを店員がレジスタに例えばバーコードを利用して正確に入力する。その結果、商品データと顧客の属性とが対応付けられて記録される。
【０００５】
すなわち、顧客の属性は商品購入顧客の画像情報に基づいて判別されるので、店員による入力作業が軽減されるのみならず、画像情報からの均一な基準から判断のばらつきも防止される。また、各店舗でのこれらデータは店舗内情報分析システム１００から送付されて情報分析センター１１０に集中保存され、マーケティングに活用される。
【０００６】
また、端末装置で、顧客のデータを取得しかつ分析して顧客の種別を判定し、この判定結果に基づいて商品の案内データを特定して、顧客に提供する顧客データ処理システムがある（例えば、特許文献２参照）。
【０００７】
この端末装置は、カメラ及びセンサを備え、顧客が前面に立った際に、カメラ及びセンサにより顧客情報を自動的に取得し、取得した情報から顧客種別を判別してその客層に見合う案内データをその顧客に提供する。案内データは、客層データに対応してサーバ装置に集中して保持され、複数の端末装置に提供される。ここでは、顧客の滞留時間も計測されている。
【０００８】
【特許文献１】
特開２００２−３２５５３号公報（図１）
【０００９】
【特許文献２】
特開平１１−３２８２６６号公報（図１、図２）
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来の顧客情報収集管理方法及びそのシステムでは、次のような問題点がある。
【００１１】
第一の問題は、年齢、性別、服装といった顧客の属性を判断する正確性に欠ける点である。
【００１２】
その理由は、顧客の属性情報を取得するための撮影データは複数フレーム連続して撮影せず、単一フレームによってしか判断していないためである。上記特許文献１ではレジスタで商品を購入する際のみの画像情報、また上記特許文献２では端末装置に対面する際のカメラの画像情報、それぞれから顧客を正面からの画像のみで判断するので、判別に対するデータ量が少なく、年齢、性別、服装といった人物の属性を正確に判断するには危険性がある。
【００１３】
第二の問題は、来店中の顧客の個人情報に基づく商品販売促進に際して店舗ごとの柔軟な対応が困難な点である。
【００１４】
その理由は、上記特許文献１、２では複数店舗で集中して情報分析センター又はサーバ装置が顧客データ及び販売促進商品データを管理しており、各店舗ごとの変化に迅速な対応が困難なためである。
【００１５】
第三の問題は、店舗内の商品陳列改善に、来店した顧客の購買情報を反映することが困難な点である。
【００１６】
その理由は、上記特許文献１では顧客情報と対応するものは購入商品データであり、購入商品以外のデータがないからである。上記特許文献２では、このための情報収集には、商品ごとに端末装置を備えることを提案しているからである。
【００１７】
本発明の課題は、このような問題点を解決し、商品の各提供場所において、より正確な個人情報を画像情報から取得し、各提供場所での状況の変化に迅速に時期を失することなく対応する商品データを提供し、かつ商品陳列位置改善のための情報を収集することができる顧客情報収集管理方法及びそのシステムを提供することである。
【００１８】
【課題を解決するための手段】
本発明による顧客情報収集管理方法は、マーケティングに活用するため、カメラで顧客の画像情報を取得し、画像処理部でその画像情報から顧客を判別して収集管理するものであって、少なくとも出入り口および通路に向けて備えるカメラが顧客の正面及び側面を含む複数の人物画像を取得し、前記画像処理部が、前記カメラから取得した複数の人物画像から顧客の人物属性を判定してその顧客の個人情報に生成し、前記通路に向けたカメラから取得した顧客の顔向き及び滞在時間を含む画像情報から顧客毎の注目商品群を判断して生成し、生成されたそれぞれの情報を顧客情報として顧客リストに格納することである。
【００１９】
このために、例えば店舗内では、少なくとも出入り口および通路に配備され、対象とするすべての顧客の正面又は側面を含む人物画像を少なくとも人物の位置及び顔向きの判定を可能なように定期的に連続取得して送出するカメラと、このカメラの連続取得する複数の画像を受けその画像情報から顧客の人物属性を判定してその顧客の個人情報に生成し出力する画像処理部と、この画像処理部の生成した個人情報を受けて記録する来店中顧客リストと、この来店中顧客リストに記録された情報を繰返し走査して取り出し前記個人情報とは別にその情報から取得された情報の特徴として特定時間帯の店内状況を含む一般的条件を生成する顧客管理部とが備えられている。
【００２０】
この構成により、一人の顧客に対して複数の連続する画像情報が取得できるので、顧客の属性としての個人情報がより正確に収集できる。又、カメラ位置と画像情報から分析された顔向きとから注目商品または商品群の特定、更に滞在時間と注目継続時間を分析することが可能である。
【００２１】
また、顧客の人物属性と注目商品群とを取得した際に、この注目商品群に対応する予め用意された商品の販売促進情報を可聴／可視で店内に直ちに告知している。
【００２２】
すなわち、商品陳列場所にはスピーカ、電子掲示板、及び／又は情報端末のような可聴／可視による告示機器と、販売促進商品を含む案内告示および告示条件を前記告示機器に対応して予め格納する告示情報データベースとを更に設けている。この画像処理部は、同一個人情報に基づいて連続する人物画像の人物位置及び顔向き並びに滞留時間などの前記通路でのカメラで取得したデータからその注目商品を選定し、これら情報を前記来店中顧客リストに前記個人情報に対応して記録する。また、顧客管理部は、前記来店中顧客リストに記録された情報が前記告示条件と一致した際に、その告示条件に対応する前記案内告示を告示情報データベースから取得して前記告示機器に対応する可聴／可視の情報を提供する。
【００２３】
この告示情報は同一店舗内のデータベースから提供できるので、提供条件及び提供商品の案内を適宜作成して迅速に時期を失することなく提供することができる。
【００２４】
また、連続して取得した画像から、顧客の注目商品群及びその注目時間、並びに移動経路を判定することにより、店舗内の商品陳列位置改善などのマーケティング向上に活用することができる。
【００２５】
すなわち、来店中の顧客の購買商品を登録するレジスタと今までの来店客の情報を記録する顧客データベースとが備えられている。この画像処理部は、レジスタで購買商品が登録された際には購買顧客のカメラ画像と照合して前記来店中顧客リストに登録し、出口カメラ画像が顧客を捕捉した際にはその退店を前記来店中顧客リストに記録する。また、顧客管理部は、前記来店中顧客リストで退店の記録された顧客対応情報のうちの所定情報を前記顧客データベースに追加記録している。
【００２６】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２７】
図１は本発明における店舗内カメラの配置及び人物の顔向きに係る実施の一形態を示す平面図である。図７に示される従来例との相違は店舗内の通路上にいる顧客３１〜３５の撮像画面を取得する複数のカメラ１１〜１８を設けている点である。
【００２８】
図１に示された平面図では、入り口カメラ１１、レジカメラ１２、出口カメラ１４、及び店内カメラ１５〜１８が、例えば、天井に設けられ、それぞれのカメラが定期的に連続で撮影している。店舗は、例えば、所謂コンビニエンスストアである。店舗内には、レジスタとなるＰＯＳ（販売時点情報管理）端末２０が備えられ、来店中の顧客３１〜３６がおり、スピーカ４１、電子掲示板４２及び情報端末４３が商品陳列棚以外に設けられている。
【００２９】
入り口カメラ１１は店内から出入り口に向いており入店する顧客の正面を撮影する。レジカメラ１２はレジスタとなるＰＯＳ端末２０の設置場所で購買商品を提示する顧客のほぼ正面を撮影する。出口カメラ１４は出入り口側から店舗内に向いており退店する顧客のほぼ正面を撮影する。
【００３０】
店内カメラ１５〜１８は通路上の顧客を撮影する。図１での店内カメラ１５は本棚と日用品の陳列棚との間の顧客を対象とする。店内カメラ１６は食料品と菓子類との陳列棚間の顧客を対象とする。店内カメラ１７はパン類、弁当類、及びデザート類、並びに情報機器４３に面する顧客を対象にする。店内カメラ１８は飲み物類及び電子掲示板前の顧客を対象にする。
【００３１】
図１においては、顧客３１が本棚に顔を向けている。顧客３２は電子掲示板４２に向かっているが、例えば、顔向きが電子掲示板４２方向で固定されている場合、電子掲示板４２が注目されていると判断できる。顧客３３、３４は食料品及び弁当類それぞれを注目している。顧客３５は情報端末４３にアクセスし、顧客３６はレジスタで購買商品の精算をしている。
【００３２】
次に、図２に図１を併せ参照して、本発明による顧客情報収集管理システムについて説明する。
【００３３】
この顧客情報収集管理システムは、店舗内に、入力部１０、ＰＯＳ端末２０、出力部４０、制御部５０、顧客ＤＢ（データベース）６０、及び告示情報ＤＢ７０を備えている。顧客ＤＢ６０は複数店舗で共通又は集中管理してもよい。
【００３４】
情報の入力部１０には、入り口カメラ１１、レジカメラ１２、出口カメラ１４、及び店内カメラ１５〜１８が含まれる。図示されるＰＯＳ端末２０には、キーボード２１、画面表示器２２、及び購買商品情報取得部２３が含まれる。情報の出力部４０には、スピーカ４１、電子掲示板４２、及び情報端末４３が図示されている。制御部５０は、画像処理部５１、来店中顧客リスト５２、及び顧客管理部５３を含んでいる。また、告示情報ＤＢ７０は音声案内商品情報７１及び電子刑事商品情報７２を有している。
【００３５】
カメラ１１〜１８についてはすでに図１を参照して説明したが、例えば１秒間に数フレームずつ連続して撮影した画像情報は制御部５０の画像処理部５１に順次送られる。ＰＯＳ端末２０では、情報入力には、キーボード２１以外に、例えば図示されていないバーコードリーダなどがある。情報出力には、各種情報を画面表示する画面表示器２２以外に例えば図示されていないレシート出力がある。従って、顧客の購買商品情報を記録保持する購買商品情報取得部２３が備えられている。
【００３６】
スピーカ４１は音声案内商品情報７１に格納されている商品情報などを顧客管理部５３の制御により受けて店舗内へ放送する。電子掲示板４２は電子掲示商品情報７２に格納されている商品情報などを顧客管理部５３の制御により受けて画面表示する。図示される電子掲示板４２は出入り口方向に面しているが、複数を設けて、掲示される情報によっては、店舗外部に向いていてもよい。情報端末４３は、顧客の操作を受け、告示情報ＤＢ７０に格納された商品に限らず、これ以外の情報も可視／可聴で顧客に提供できる。
【００３７】
画像処理部５１は、入力部１０から得られた複数フレームの画像情報を一フレームごとに画像処理し、顧客追跡のため、性別、年齢、服装といった人物特徴の抽出を行う。画像処理により、人物の特定とカメラ位置、顔向き、及び滞在時間から得られる注目商品情報の特定とが可能であり、更に、時間の経過と対応付けて店舗内での、一人の顧客の移動経路を追跡できる。従って、抽出して顧客ＩＤ（識別子）を付与された個人情報は来店中顧客リスト５２に送られて顧客別にＩＤにより整理される。また、画像情報から顧客が退店したと判断した際には顧客の退店を来店中顧客リスト５２に送る。
【００３８】
顧客管理部５３は、来店中顧客リスト５２に記録される顧客情報を繰り返し走査しており、予め設定された条件に一致した際に、告示情報ＤＢ７０に格納される音声案内商品情報７１及び／又は電子掲示商品情報７２から適切な告示情報を取り出して出力部４０へ送出している。顧客が退店した際には該当する顧客のデータを顧客ＤＢ６０と照合し、新規顧客情報を顧客ＤＢ６０に転送して追加する一方、同一情報は破棄される。また、特に、顧客ＤＢ６０における情報の変化が著しい場合には、これを検知して販売促進に反映させることができる。
【００３９】
顧客ＤＢ６０は、顧客それぞれの人物としての特徴に加えて、顧客層に対して購買商品、移動経路、滞在時間などの興味対象商品情報も記録される。したがって、顧客ＤＢ６０は、今後の、性別、年齢層、職業などに対応する販売促進商品の選定、店舗内の商品陳列の改善などに役立つ。
【００４０】
告示情報ＤＢ７０は、それまでの情報に基づいて販売促進のために作成された顧客層に対応したおすすめ商品の情報を、音声情報は音声案内商品情報７１、また映像情報は電子掲示商品情報７２、それぞれに、販売促進対象の顧客層条件、例えば、性別、年齢層、職業などと共に予め格納しておく。この情報は、顧客ＤＢ６０に格納される情報に基づいて定期的に改版される。
【００４１】
次に、図３及び図４を併せ参照して画像処理部５１の機能について詳細に説明する。
【００４２】
画像処理部５１は、図示される例では、カメラ対応の画像受付５１１、５１２、・・及びＩＤ編集５１０それぞれの機能を有している。例えば、画像受付５１１は、入り口カメラ１１で撮影された画像データを順次受付け、これら画像データに、このカメラ番号及び時刻を付加してＩＤ編集５１０へ送出する。
【００４３】
ＩＤ編集５１０は、受けた複数フレームの画像を一フレームごとに画像処理して、性別、年齢、服装といった人物の特徴を人物情報として抽出する。具体的には、各画像フレームごとに９０パーセントの確率で男性、３０パーセントの確率で３０歳代であるなどの判定確率を算定し、この判定確率の高さから人物特徴を判定する。一方、人物画像それぞれにおいては、同時に、カメラ位置と顔向きとから注目場所が判定できるので、興味を持った又は購買対象の商品群若しくは商品が特定される。
【００４４】
次いで、時系列で同類画像情報を集めて、図４に示されるように、一人の顧客に対して複数画像フレーム８１〜８６の情報を総合的に判断することにより、より正確な特徴抽出を実現し、個人情報の総合判断がなされ、顧客ＩＤが付与される。このように、人物の特徴は、複数カメラの追跡により多数の画像フレームの判定結果から、より信頼性の高い判定結果を採択するという方法がとられる。
【００４５】
上記総合判断で具体的には、判定確率がある閾値以上である画像フレームのみを採択するということを行う。例えば、判定確率の閾値を８０パーセントとした場合では、男性：９３パーセントの画像フレーム８１と男性：８１パーセントの画像フレーム８５との二つの画像フレームが採択され、そこから男性と判定している。このようにあいまいな判定を排除する方法により、正確な人物特徴の抽出ができる。
【００４６】
これにより信頼性の高い多数の判定結果に少数の信頼性の低い判定結果が紛れ込んでいる場合でも、信頼性の低い判定結果を除去することで、より正確な人物特徴抽出が可能になる。また、信頼性の低い大多数の判定結果に少数の信頼性の高い判定結果がある場合でも、同様に少数の信頼性の高い判定結果を採択することができ、やはり正確な人物特徴の抽出が可能である。
【００４７】
画像処理部５１で得られた顧客の追跡情報や特徴情報は来店中顧客リスト５２に送付され追加記録される。すなわち、例えば、ＩＤごとに、顧客の特徴を示す個人情報、入店時刻、滞在場所と滞在時間などが記録され、出口からの退店を検出した際に退店時刻を記録できる。上述したように、退店時刻の記録された顧客情報は来店中顧客リスト５２から顧客管理部５３により取り出される。
【００４８】
次に、図５を参照して来店中顧客リスト５２について詳細を説明する。
【００４９】
図５（Ａ）に示される来店中顧客リスト５２Ａの内容には、顧客を識別するＩＤ、性別、年齢、服装、顔向き方向から得られたステータス、滞在時間といった属性が含まれており、この情報は画像処理部５１によりリアルタイムで更新される。更に、図５（Ｂ）では、滞在時間の存在する場所を順次記録した足取りが移動コースのデータとして取得されている。
【００５０】
次に、図６に図１から図５までを併せ参照して、制御部５０の動作手順について説明する。図６は顧客管理部５３の主要動作を中心とする手順の実施の一形態を示すフローチャートである。
【００５１】
制御部５０では、画像処理部５１が、入り口カメラ１１から受ける撮像データから、顧客の来店あり（手順Ｓ１のＹＥＳ）を知ると共にこの顧客の人物データを取得（手順Ｓ２）してＩＤ符号を付与し、来店中顧客リスト５２に記録する。この来店中の顧客は店内のカメラ１１〜１８のいずれかにより撮影され、かつその画像は処理されてその処理結果が来店中顧客リスト５２に順次記録される。
【００５２】
顧客管理部５３は、来店中顧客リスト５２を繰り返し走査して、取得データの特徴を調査（手順Ｓ３）している。特徴としては個人のみならず、例えば、昼食の時間帯でスーツ着用の多くの男性顧客がお弁当と飲み物を購入している、又は多数の若い女性顧客が来店中であるなどの一般的条件もある。
【００５３】
手順Ｓ３が「ＹＥＳ」で来店中顧客リスト５２からの取得データに特徴がある場合、顧客管理部５３は、告示情報ＤＢ７０の登録情報と比較して、例えば、昼食時の男性顧客に対して推薦する本日の商品、又は多数の若い女性顧客には推薦する化粧品など、対応するＰＲ（広告、宣伝）商品の有無を確認（手順Ｓ４）する。
【００５４】
手順Ｓ４が「ＹＥＳ」で対応ＰＲ商品がある場合、顧客管理部５３は、告示情報ＤＢ７０から対応するデータを取り出して出力部４０に渡し、そのＰＲ商品をアナウンスによる音声、又は／及び電子掲示による画像で告示（手順Ｓ５）している。例えば、音声案内商品情報７１の場合にはスピーカ４１からアナウンスによる音声案内が流される。また、電子掲示商品情報７２の場合には電子掲示板４２への画面表示で来店中顧客に告示がなされる。
【００５５】
更に例えば、深夜に雑誌のコーナーで立ち読みしている１０歳代後半から２０歳代前半の若い学生顧客が多い場合には特定のＰＲ夜食をお勧めするなど、個人に特化したサービス、又は全体の客層向けのサービスを自動かつリアルタイムで行うことができるので、顧客の購買意欲を高めることが可能となる。
【００５６】
一方、画像処理部５１が出口カメラ１４から受けた撮像データから退店の顧客を識別（手順Ｓ６のＹＥＳ）した際には、来店中顧客リスト５２の該当個所に退店が、例えば時刻により記録される。顧客管理部５３は、来店中顧客リスト５２で退店の記録を有する顧客の人物特徴データを顧客ＤＢ６０に保存されるものと比較する。顧客管理部５３は、退店顧客が新規顧客（手順Ｓ７のＹＥＳ）であると判断される場合、新たにＩＤ番号を付与してその顧客の個人データを顧客ＤＢ６０に登録（手順Ｓ８）すると共に興味を有する商品、その場所の滞在時間などの所定データを顧客データとして追加登録して来店中顧客リスト５２から該当データを削除（手順Ｓ９）する。
【００５７】
上記手順Ｓ７が「ＮＯ」ですでに個人の顧客登録済みの場合、顧客管理部５３は、上記手順Ｓ８を飛ばして上記手順Ｓ９に進み、来店回数、購買商品情報、従来と異なる興味対象商品など、所定の顧客データを対応個所に追加登録して来店中顧客リスト５２から該当データを削除する。
【００５８】
次いで、顧客管理部５３は店内顧客の存在を来店中顧客リスト５２で確認（手順Ｓ１０）する。来店中顧客リスト５２に顧客の記録がないため、この手順Ｓ１０が「ＮＯ」の場合、手順は終了する。
【００５９】
手順Ｓ１０が「ＹＥＳ」で店舗内に来店中顧客がまだいる場合には、上記手順Ｓ３が「ＮＯ」で来店中顧客リスト５２に特徴ある取得データがない場合、又は上記手順Ｓ４が「ＮＯ」で対応するＰＲ商品がない場合も同様に、上記手順Ｓ２に戻り、来店中顧客の顧客データが収集される動作から上述された手順が継続して繰り返される。
【００６０】
上記説明では、来店中顧客データのＩＤと顧客ＤＢのＩＤとは独立して付与されているが、画像処理部が、来店した顧客にＩＤ付与する際に個人特徴データの一致するＩＤを顧客ＤＢから取り出して付与することとしてもよい。
【００６１】
上記説明では、複数カメラを利用して店舗内すべての顧客の撮像データを得るとしたが、全方位カメラを店舗内で中央の天井に設置し、１つのカメラで店舗内全体を追跡するという方法でもよい。
【００６２】
また、上記図４を参照した複数画像フレームの処理に関して、ある閾値以上のもののみ採択するとしたが、全ての画像フレーム８１〜８５の平均を取る方法も考えられる。具体的には、男性である確率を７２（＝（９３＋６７＋４５＋７４＋８１＋７４）／６）パーセント、また女性である確率を２８（＝（７＋３３＋５５＋２６＋１９＋２６）／６）パーセントと計算して男性と判定する方法である。この方法は、その顧客が撮影されているすべての情報を取り込むことができるため、一枚のみの画像から得る判定よりも信頼性が高くなる。更に、画像処理技術において表情が認識できるようであれば、商品への関心度の情報に加えることができる。
【００６３】
また、顧客データの取得に画像処理技術を使用して説明したが、音声を組み合わせて認識の性能を更に向上させることも可能である。この場合、例えば、店舗内にマイクを設置し、発声から男女を分析し、又は会話内容から音声認識技術を用いて商品の評判を分析するという方法を付け加えるともできる。
【００６４】
上記説明では店舗を対象としたが、自動販売機又はＡＴＭ（自動現金出し入れ装置）で利用者の追跡、及び特徴抽出を行い、利用者へ特定サービスを実行すること、又は、未成年者の利用を制限するような使い方もできる。
【００６５】
このように、図示された機能ブロックおよび手順を参照して店舗内での顧客情報管理を説明したが、機能の分離併合による配分または手順の前後入替えなどの変更は上記機能を満たす限り自由であり、対象も商品陳列棚に限定されるものではない。すなわち、上記説明が本発明を限定するものではないのみならず、本機能はカメラによる撮影可能な設備を利用した顧客の情報管理全般に適用可能なものである。
【００６６】
【発明の効果】
以上説明したように本発明によれば、次のような効果が期待できる。
【００６７】
第一の効果は効率の高いマーケティングの自動化が可能なことである。
【００６８】
その理由は、店舗内の複数個所のカメラが連続撮影することにより同一人物が多数のかつ多方面からの撮像画面で画像処理されているからである。すなわち、この画像処理から得られる個人の特徴はより信頼性が高く、より正確に他人と識別できるのみならず、店舗内での滞在場所及び滞在時間から興味を有する商品も解析できるからである。
【００６９】
第二の効果は来店中の顧客に対して購買意欲を昂騰させることが可能なことである。
【００７０】
その理由は、上述するように、画像処理から得られる顧客の特徴はより信頼性が高く、店舗内での滞在場所及び滞在時間から興味を有する商品も解析してデータベースに記録保存できるからである。したがって、保存データの特徴に対応して推薦商品の宣伝、広告を予め用意できるので、来店中の顧客の分析データとデータベースの記録データに基づいてその場でその顧客個人又は店舗内全員に取得データに対応した特有サービスを提供できるからである。
【００７１】
第三の効果は店舗内の商品陳列配置の改善に有効なことである。
【００７２】
その理由は、上述するように、顧客の店舗内の行動がより詳細に分析できるからである。すなわち、顧客の店舗内での滞在場所及び滞在時間並びに顔向きから注目商品又は商品の関心度と移動コースとが顧客データベースから特定できるためである。
【図面の簡単な説明】
【図１】本発明における店舗内カメラの配置及び人物の顔向きに係る実施の一形態を示す平面図である。
【図２】本発明における実施の一形態を示す機能ブロック図である。
【図３】図２の画像処理部における実施の一形態を示す機能ブロック図である。
【図４】図３のＩＤ編集における個人情報総合判断のために収集された複数画像フレームの実施の一形態を示す説明図である。
【図５】（Ａ）は図２の来店中顧客リストにおける実施の一形態を示す機能ブロック図であり、（Ｂ）は（Ａ）と異なる来店中顧客リストにおける実施の一形態を示す機能ブロック図である。
【図６】図２の制御部における主要動作手順の実施の一形態を示すフローチャートである。
【図７】従来の一例を示す機能ブロック図である。
【符号の説明】
１０ 入力部
１１ 入り口カメラ
１２ レジカメラ
１４ 出口カメラ
１５〜１８ 店内カメラ
２０ ＰＯＳ端末
３１〜３６ 顧客
４０ 出力部
４１ スピーカ
４２ 電子掲示板
４３ 情報端末
５０ 制御部
５１ 画像処理部
５２、５２Ａ、５２Ｂ 来店中顧客リスト
５３ 顧客管理部
６０ 顧客ＤＢ
７０ 告示情報ＤＢ
７１ 音声案内商品情報
７２ 電子掲示商品情報
８１〜８６ 画像フレーム
５１０ ＩＤ編集
５１１、５１２ 画像受付
Claims (5)
- マーケティングに活用するため、カメラで顧客の画像情報を取得し、画像処理部でその画像情報から顧客を判別して収集管理する顧客情報収集管理方法において、少なくとも出入り口および通路に向けて備えるカメラが顧客の正面及び側面を含む人物画像を取得し、前記画像処理部が、前記カメラから取得した複数の人物画像から顧客の人物属性を判定してその顧客の個人情報に生成し、前記通路に向けたカメラから取得した顧客の顔向き及び滞在時間を含む画像情報から顧客毎の注目商品群を判断して生成し、生成されたそれぞれの情報を顧客情報として顧客リストに格納することを特徴とする顧客情報収集管理方法。
- 請求項１において、注目商品群に対応する商品の販売促進情報を予めデータベースに格納し、前記画像処理部は、顧客の人物属性と注目商品群とを取得した際に、この注目商品群に対応する商品の販売促進情報を所定の端末に直ちに通知することを特徴とする顧客情報収集管理方法。
- マーケティングに活用するため、カメラで顧客の画像情報を取得し、画像処理部でその画像情報から顧客を判別して顧客リストに収集管理する顧客情報収集管理システムにおいて、少なくとも出入り口および通路に配備され、対象とするすべての顧客の正面又は側面を含む人物画像を少なくとも人物の位置及び顔向きの判定を可能なように定期的に連続取得して送出するカメラと、このカメラの連続取得する複数の画像を受けその画像情報から顧客の人物属性を判定してその顧客の個人情報に生成し出力する画像処理部と、この画像処理部の生成した個人情報を受けて記録する来店中顧客リストと、この来店中顧客リストに記録された情報を繰返し走査して取り出し前記個人情報とは別にその情報から取得された情報の特徴として特定時間帯の店内状況を含む一般的条件を生成する顧客管理部とを備えることを特徴とする顧客情報収集管理システム。
- 請求項３において、商品提供場所にスピーカ、電子掲示板、及び情報端末のうちの少なくとも一つの告示機器と、販売促進商品を含む案内告示情報および告示条件を前記告示機器に対応して予め格納する告示情報データベースとを更に設け、
前記画像処理部は、同一個人情報に基づいて連続する人物画像の前記通路でのカメラで取得したデータからその注目商品を選定し、これら情報を前記来店中顧客リストに前記個人情報に対応して記録し、かつ、
前記顧客管理部は、前記来店中顧客リストに記録された情報が前記告示条件と一致した際に、その告示条件に対応する前記案内告示情報を告示情報データベースから取得して前記告示機器に提供する
ことを特徴とする顧客情報収集管理システム。 - 請求項３において、来店中の顧客の購買商品を登録するレジスタと今までの来店客の情報を記録する顧客データベースとが更に備えられており、
前記画像処理部は、レジスタで購買商品が登録された際には購買顧客のカメラ画像と照合して前記来店中顧客リストに登録し、かつ出口カメラ画像が顧客を捕捉した際にはその退店を前記来店中顧客リストに記録し、かつ、
前記顧客管理部は、前記来店中顧客リストで退店の記録された顧客対応情報のうちの所定情報を前記顧客データベースに追加記録する
ことを特徴とする顧客情報収集管理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147217A JP4125634B2 (ja) | 2003-05-26 | 2003-05-26 | 顧客情報収集管理方法及びそのシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147217A JP4125634B2 (ja) | 2003-05-26 | 2003-05-26 | 顧客情報収集管理方法及びそのシステム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008068038A Division JP4778532B2 (ja) | 2008-03-17 | 2008-03-17 | 顧客情報収集管理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004348618A JP2004348618A (ja) | 2004-12-09 |
| JP4125634B2 true JP4125634B2 (ja) | 2008-07-30 |
Family
ID=33533808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003147217A Expired - Lifetime JP4125634B2 (ja) | 2003-05-26 | 2003-05-26 | 顧客情報収集管理方法及びそのシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4125634B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103165062A (zh) * | 2011-12-15 | 2013-06-19 | 联发科技（新加坡）私人有限公司 | 多媒体播放器电源的控制方法及装置 |
| CN107924597A (zh) * | 2015-09-04 | 2018-04-17 | 瑞可利控股有限公司 | 订购处理系统和订购处理方法 |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1566788A3 (en) * | 2004-01-23 | 2017-11-22 | Sony United Kingdom Limited | Display |
| JP2006254274A (ja) * | 2005-03-14 | 2006-09-21 | Mitsubishi Precision Co Ltd | 視聴層分析装置、販売戦略支援システム、広告支援システム及びｔｖ装置 |
| JP4597726B2 (ja) * | 2005-03-18 | 2010-12-15 | 株式会社日本総合研究所 | 書籍の閲覧状況監視システム |
| JP2006293786A (ja) * | 2005-04-12 | 2006-10-26 | Biophilia Kenkyusho Kk | 視線入力装置を備えた市場調査用機器 |
| JP2006350751A (ja) * | 2005-06-17 | 2006-12-28 | Hitachi Ltd | 店舗内の販売分析装置及びその方法 |
| US10460346B2 (en) | 2005-08-04 | 2019-10-29 | Signify Holding B.V. | Apparatus for monitoring a person having an interest to an object, and method thereof |
| JP4732849B2 (ja) | 2005-10-04 | 2011-07-27 | 富士フイルム株式会社 | 自動計数装置、プログラムおよび方法 |
| JP4603975B2 (ja) * | 2005-12-28 | 2010-12-22 | 株式会社春光社 | コンテンツ注目評価装置及び評価方法 |
| JP4687488B2 (ja) * | 2006-02-09 | 2011-05-25 | 株式会社富士通ゼネラル | 緊急通報システム |
| WO2008012717A2 (en) * | 2006-07-28 | 2008-01-31 | Koninklijke Philips Electronics N. V. | Gaze interaction for information display of gazed items |
| JP5010937B2 (ja) * | 2007-02-16 | 2012-08-29 | 株式会社日立製作所 | 画像処理装置、プログラム及び画像処理方法 |
| WO2008126336A1 (ja) * | 2007-03-30 | 2008-10-23 | Pioneer Corporation | 画像処理装置及び方法 |
| US20080313037A1 (en) * | 2007-06-15 | 2008-12-18 | Root Steven A | Interactive advisory system |
| JP4970195B2 (ja) | 2007-08-23 | 2012-07-04 | 株式会社日立国際電気 | 人物追跡システム、人物追跡装置および人物追跡プログラム |
| JP2009140234A (ja) * | 2007-12-06 | 2009-06-25 | Yamaha Motor Co Ltd | 自動販売機 |
| JP5002441B2 (ja) * | 2007-12-19 | 2012-08-15 | 株式会社日立製作所 | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム |
| JP5192842B2 (ja) * | 2008-02-18 | 2013-05-08 | 株式会社日立製作所 | 注視商品データ取得方法および商品販売管理システム |
| JP5003536B2 (ja) * | 2008-03-06 | 2012-08-15 | 沖電気工業株式会社 | サービス支援システム |
| US20130027561A1 (en) * | 2011-07-29 | 2013-01-31 | Panasonic Corporation | System and method for improving site operations by detecting abnormalities |
| JP2013109051A (ja) * | 2011-11-18 | 2013-06-06 | Glory Ltd | 電子情報提供システム及び電子情報提供方法 |
| JP5707346B2 (ja) * | 2012-01-24 | 2015-04-30 | 東芝テック株式会社 | 情報提供装置とそのプログラムおよび情報提供システム |
| JP6120404B2 (ja) * | 2013-05-28 | 2017-04-26 | Kddi株式会社 | 移動体行動分析・予測装置 |
| JP6134894B2 (ja) * | 2013-09-27 | 2017-05-31 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システムおよびロボット |
| JP6150429B2 (ja) * | 2013-09-27 | 2017-06-21 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 |
| JP5683663B1 (ja) | 2013-09-27 | 2015-03-11 | パナソニックＩｐマネジメント株式会社 | 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法 |
| JP6067527B2 (ja) * | 2013-09-30 | 2017-01-25 | 株式会社日立ソリューションズ | 移動体情報管理方法及び装置並びにプログラム |
| JP2015090579A (ja) * | 2013-11-06 | 2015-05-11 | 株式会社日立ソリューションズ | 行動分析システム |
| US10339544B2 (en) * | 2014-07-02 | 2019-07-02 | WaitTime, LLC | Techniques for automatic real-time calculation of user wait times |
| JP6671764B2 (ja) * | 2014-07-25 | 2020-03-25 | 株式会社ビーマップ | 携帯端末無線ｌａｎオーダーシステム、携帯端末無線ｌａｎオーダーシステムの制御方法、携帯端末無線ｌａｎオーダーシステムのプログラム及び記録媒体 |
| JP6605822B2 (ja) * | 2015-03-17 | 2019-11-13 | 株式会社日本総合研究所 | 顧客情報システム及びプログラム |
| JP6302865B2 (ja) * | 2015-04-07 | 2018-03-28 | 東芝テック株式会社 | 販売データ処理装置およびプログラム |
| JPWO2017085771A1 (ja) * | 2015-11-16 | 2018-09-20 | 富士通株式会社 | 精算支援システム、精算支援プログラム、及び精算支援方法 |
| CN105787756A (zh) * | 2016-02-19 | 2016-07-20 | 龚齐伟 | 人体行为分析装置、方法及系统 |
| JP6739200B2 (ja) * | 2016-03-24 | 2020-08-12 | キヤノン株式会社 | 映像処理装置、映像処理システムおよび制御方法 |
| JP6069565B1 (ja) * | 2016-05-30 | 2017-02-01 | サイジニア株式会社 | レコメンド装置、レコメンド方法、およびプログラム |
| GB2560177A (en) | 2017-03-01 | 2018-09-05 | Thirdeye Labs Ltd | Training a computational neural network |
| GB2560387B (en) | 2017-03-10 | 2022-03-09 | Standard Cognition Corp | Action identification using neural networks |
| WO2019032304A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition Corp. | IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION |
| US10474988B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
| CN108197971A (zh) * | 2017-12-08 | 2018-06-22 | 北京天正聚合科技有限公司 | 信息采集方法、信息处理方法、装置及系统 |
| JP7015430B2 (ja) * | 2018-04-27 | 2022-02-03 | 達広 佐野 | 見込み客情報収集システム及びその収集法 |
| KR20200034475A (ko) | 2018-09-21 | 2020-03-31 | 주식회사 튠미디어 | 디지털 사인 시스템, 디지털 사이니지, 물품 정보제시방법 |
| WO2020066443A1 (ja) | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | 顧客情報登録装置 |
| JP7197333B2 (ja) | 2018-11-07 | 2022-12-27 | 東芝テック株式会社 | 情報提供装置及びその制御プログラム |
| JP7243236B2 (ja) | 2019-01-31 | 2023-03-22 | 三菱電機株式会社 | 照明制御システム |
| JP7395850B2 (ja) * | 2019-06-07 | 2023-12-12 | Ｔｏｐｐａｎホールディングス株式会社 | 情報処理装置、情報処理システム、及び情報処理方法 |
| CN110634091A (zh) * | 2019-09-24 | 2019-12-31 | 重庆有趣体育文化推广有限公司 | 一种综合性儿童活动中心管理方法、系统及其商业模式 |
| CN111178294A (zh) * | 2019-12-31 | 2020-05-19 | 北京市商汤科技开发有限公司 | 状态识别方法、装置、设备及存储介质 |
| JP2022002591A (ja) * | 2020-06-23 | 2022-01-11 | 株式会社ファームシップ | 陳列装置、及び植物の陳列方法 |
| JP6800509B1 (ja) * | 2020-09-30 | 2020-12-16 | アースアイズ株式会社 | 撮影システム、及び、撮影方法 |
| JP7318681B2 (ja) * | 2021-07-30 | 2023-08-01 | 富士通株式会社 | 生成プログラム、生成方法および情報処理装置 |
| WO2023042292A1 (ja) * | 2021-09-15 | 2023-03-23 | シャープＮｅｃディスプレイソリューションズ株式会社 | 情報処理装置、コンテンツ表示システム、情報処理方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3800257B2 (ja) * | 1996-08-02 | 2006-07-26 | オムロン株式会社 | 注目情報計測方法及び装置並びにそれを用いた各種システム |
| JPH11328266A (ja) * | 1998-05-13 | 1999-11-30 | Casio Comput Co Ltd | 顧客データ処理装置、顧客データ処理システムおよび記憶媒体 |
| JP2000200357A (ja) * | 1998-10-27 | 2000-07-18 | Toshiba Tec Corp | 人物動線情報の収集方法及び収集装置 |
| JP2001266258A (ja) * | 2000-03-22 | 2001-09-28 | Toshiba Corp | 自動機と自動収集システム |
| JP2002006785A (ja) * | 2000-06-20 | 2002-01-11 | Nec Yonezawa Ltd | 広告提供方法およびシステム、データ処理方法、情報記憶媒体 |
| JP2002032553A (ja) * | 2000-07-18 | 2002-01-31 | Minolta Co Ltd | 顧客情報管理システムおよびその方法ならびに顧客情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2002041770A (ja) * | 2000-07-25 | 2002-02-08 | Oki Electric Ind Co Ltd | 顧客情報収集システム |
| JP2002342640A (ja) * | 2001-05-11 | 2002-11-29 | Nippon Telegr & Teleph Corp <Ntt> | 商品紹介方法および装置 |
| JP2003016243A (ja) * | 2001-07-03 | 2003-01-17 | Nec Soft Ltd | 顧客の購買行動分析システム |
-
2003
- 2003-05-26 JP JP2003147217A patent/JP4125634B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103165062A (zh) * | 2011-12-15 | 2013-06-19 | 联发科技（新加坡）私人有限公司 | 多媒体播放器电源的控制方法及装置 |
| CN103165062B (zh) * | 2011-12-15 | 2016-07-13 | 联发科技（新加坡）私人有限公司 | 多媒体播放器电源的控制方法及装置 |
| CN107924597A (zh) * | 2015-09-04 | 2018-04-17 | 瑞可利控股有限公司 | 订购处理系统和订购处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004348618A (ja) | 2004-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4125634B2 (ja) | 顧客情報収集管理方法及びそのシステム | |
| JP4778532B2 (ja) | 顧客情報収集管理システム | |
| CN110033298B (zh) | 信息处理设备及其控制方法、系统和存储介质 | |
| JP6123140B2 (ja) | デジタル広告システム | |
| US8010402B1 (en) | Method for augmenting transaction data with visually extracted demographics of people using computer vision | |
| US20190108551A1 (en) | Method and apparatus for customer identification and tracking system | |
| US20110199486A1 (en) | Customer behavior recording device, customer behavior recording method, and recording medium | |
| US20210233103A1 (en) | Sales promotion system and sales promotion method | |
| KR102060694B1 (ko) | 개인 맞춤형 서비스를 제공하기 위한 고객 인식 시스템 | |
| US20130328765A1 (en) | Signage system and display method by the same | |
| US20170330208A1 (en) | Customer service monitoring device, customer service monitoring system, and customer service monitoring method | |
| JP2012088878A (ja) | 顧客優待管理システム | |
| JP5574685B2 (ja) | エリア情報制御装置 | |
| JP5002441B2 (ja) | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム | |
| JP2006113711A (ja) | マーケティング情報提供システム | |
| JP5034431B2 (ja) | 行動計数システム | |
| JP2017033401A (ja) | 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法 | |
| JP2008257488A (ja) | 顔認証応用インストアマーケティング分析システム | |
| JP5780348B1 (ja) | 情報提示プログラム及び情報処理装置 | |
| JP2012252613A (ja) | 顧客行動追跡型映像配信システム | |
| CN109074498A (zh) | 用于pos区域的访问者跟踪方法和系统 | |
| CN113887884A (zh) | 商超服务系统 | |
| US20190279233A1 (en) | Real-World Analytics Monitor | |
| KR101224879B1 (ko) | 얼굴인식을 이용한 매장관리시스템 및 방법 | |
| JP7092205B2 (ja) | 顧客情報登録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080317 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080416 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080508 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4125634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |