JP6241666B2 - User management device, user management system, and user management method - Google Patents
User management device, user management system, and user management method Download PDFInfo
- Publication number
- JP6241666B2 JP6241666B2 JP2014119296A JP2014119296A JP6241666B2 JP 6241666 B2 JP6241666 B2 JP 6241666B2 JP 2014119296 A JP2014119296 A JP 2014119296A JP 2014119296 A JP2014119296 A JP 2014119296A JP 6241666 B2 JP6241666 B2 JP 6241666B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- customer
- person
- time
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims description 103
- 238000012795 verification Methods 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 53
- 238000005259 measurement Methods 0.000 claims description 33
- 230000010365 information processing Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 description 59
- 230000008569 process Effects 0.000 description 47
- 230000008859 change Effects 0.000 description 25
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013073 enabling process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Description
本発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者の状態を管理する利用者管理装置、利用者管理システムおよび利用者管理方法に関するものである。 The present invention relates to a user management apparatus, a user management system, and a user management method for managing the state of a user who has visited a facility that provides services or articles to users in order based on a reception number.
銀行の窓口では、来店した順番に顧客からの依頼を受け付けて必要な業務を行うため、発券機で受付番号札を発行して、受付番号で顧客を呼び出すようにしており、顧客は呼び出しを受けるまで待合エリアで待つことになる。このとき、順番待ちの顧客が多く、顧客を長時間待たせることになると、顧客満足度を低下させることになる。このため、来店した顧客の状態を把握して、待ち時間などの問題点を解消する改善策を検討することが、顧客満足度の向上を図り、さらに店舗の効率的な運営を図る上で有益である。 At the bank counter, in order to receive requests from customers in the order they come to the store, they issue the reception number tag with the ticket issuing machine and call the customer with the reception number, and the customer receives the call Will wait in the waiting area. At this time, if there are many customers waiting in turn and the customer is allowed to wait for a long time, the customer satisfaction is lowered. For this reason, grasping the status of customers who visit the store and studying improvement measures to eliminate problems such as waiting time are beneficial for improving customer satisfaction and for efficient store operation. It is.
このような店舗に入店した顧客の状態を管理することに関連するものとして、従来、入室する人物および退室する人物をそれぞれカメラで撮影した画像の間で人物照合を行い、同一人物と判定された入室時の画像および退室時の画像の各撮影時刻から、入室から退室までの経過時間を滞留時間として算出する技術が知られている(特許文献1参照)。また、店舗に入店する顧客、精算を行う顧客、および店舗から退店する顧客をカメラでそれぞれ撮影して、その撮影画像から抽出された顔画像を収集し、この顔画像に基づく人物照合により人物の対応付けを行って、顧客の行動に関する情報を収集する技術が知られている(特許文献2参照)。また、受付札発行装置で受付札を受け取る顧客を撮影した画像、受付札発行装置で顧客が入力操作を行うことで取得した来店目的、受付札の発行時刻から算出された顧客の待ち時間、および接客を行う店員が所持する携帯端末装置で店員が入力操作を行うことで取得した接客行為(声掛け)の実施状況などの情報を携帯端末装置に表示する技術が知られている(特許文献3参照)。 As related to managing the status of customers who have entered such stores, conventionally, a person is collated between images taken by a camera for each person entering and leaving the room and determined to be the same person. A technique is known in which the elapsed time from entry to exit is calculated as the residence time from the respective shooting times of the entrance image and the exit image (see Patent Document 1). Also, customers who enter the store, customers who check out, and customers who leave the store are photographed with a camera, and face images extracted from the photographed images are collected, and person verification based on the face images is performed. A technique is known in which information on customer behavior is collected by associating persons (see Patent Document 2). In addition, an image of the customer who receives the receipt tag with the receipt tag issuing device, the purpose of visiting the store acquired by the customer performing an input operation with the receipt tag issuing device, the waiting time of the customer calculated from the issue time of the receipt tag, and There is known a technique for displaying information such as an implementation status of a customer service action (voice call) acquired by a store clerk performing an input operation on a mobile terminal device possessed by a store clerk who performs customer service (Patent Document 3). reference).
しかしながら、前記の特許文献1に記載された技術は、単に店舗内で商品の受け渡し等を待つ顧客の待ち時間を把握することができるに留まるものであり、また、特許文献2に記載された技術では、来店した顧客の顔画像を収集して、以前に来店した顧客が再度来店したことなど、顧客の行動を大まかに把握することができるにすぎず、来店した顧客の状態を十分に詳しく把握することができないという問題があった。
However, the technique described in
一方、特許文献3に記載された技術では、人物画像、来店目的、待ち時間、および接客行為(声掛け)の実施状況などの情報を取得することができるが、受付番号札にICタグを埋め込んで、ICタグにより取得した情報に基づいて顧客を管理するため、窓口利用客の通常の行動、すなわち発券機で受付番号札を受け取って待合エリアで待った後に呼び出しを受けて窓口で手続きを行うという通常の行動とは異なる変則的な行動を顧客がとると、そのような顧客の状態を適切に把握することができないという問題があった。
On the other hand, in the technique described in
すなわち、来店した顧客の行動は、店舗内の混雑状況や顧客自身の都合などに応じて異なり、店舗に一度は入店したものの、店内が混雑しているために直ちに退店する顧客や、待ち時間潰しをするために店舗から一時外出する顧客が存在する。また、銀行の店舗内には両替機が設置されており、この両替機を利用する顧客は、発券機で受付番号札を受け取らずに両替機で両替を済ませると退店する。そこで、このような変則的な行動をとる顧客の状態も漏れなく把握することができる技術が望まれる。 In other words, the behavior of customers who come to the store differs depending on the congestion situation in the store and the customer's own circumstances, etc., and the customer who has entered the store once but immediately leaves the store because the store is crowded, or waiting There is a customer who goes out of the store temporarily to kill time. In addition, a change machine is installed in the bank store, and a customer who uses the change machine leaves the store if the change machine completes the exchange without receiving the receipt number tag at the ticketing machine. Therefore, a technology that can grasp the state of a customer who takes such anomalous behavior without omission is desired.
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、施設に来場した利用者の状態を漏れなくユーザが把握することができる利用者管理装置、利用者管理システムおよび利用者管理方法を提供することにある。 The present invention has been devised to solve such problems of the prior art, and its main purpose is a user who can grasp the state of the user who has visited the facility without omission. A management device, a user management system, and a user management method are provided.
本発明の利用者管理装置は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理装置であって、来場した利用者に受付番号札を発行する番号札発行部と、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得する第1の画像取得部と、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第2の人物画像を取得する第2の画像取得部と、少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得する第3の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第1、第2および第3の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。 The user management apparatus according to the present invention displays a person image of a user who has visited at a facility that provides services or goods to the user in order based on the reception number, and can view the state of each user. A number management unit that issues a reception number tag to a visiting user, and a user at least at any time after entering the facility and receiving the reception number tag A first image acquisition unit that acquires a plurality of first person images taken, and a user is photographed at least at a point in time from when the call with the reception number is received until the provision of the service or article ends the second image acquisition unit, the third image acquisition unit that acquires a plurality of third person image obtained by photographing the user at the time of the exit from at least the facility of obtaining a plurality of second person image A user information management unit which manages and generates a status display information including the user image of each user, a user information presentation unit for presenting the status information generated in this user information management section to the user The user information management unit includes a person verification unit that performs person verification multiple times between the first, second, and third person images, and a user type determination that determines a user type. And detecting the state of the user related to the provision of the service or the article according to the collation result by the person collation unit, and determining the type of the user based on the detected state of the user The state display information that is determined and grouped according to the type is generated.
また、本発明の利用者管理システムは、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理システムであって、前記施設に設置されたカメラと、来場した利用者に受付番号札を発行する番号札発行装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラにより前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得する第1の画像取得部と、前記カメラにより前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した第2の人物画像を取得する複数の第2の画像取得部と、前記カメラにより少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得する第3の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第1、第2および第3の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。 In addition, the user management system of the present invention displays a person image taken at a facility that provides services or goods to the user in order based on the reception number, and browses the state of each user. A user management system that enables a camera installed in the facility, a number tag issuing device that issues a reception number tag to a visiting user, and a plurality of information processing devices. The first information processing apparatus acquires a plurality of first person images obtained by photographing a user at least at any time from when the information processing apparatus enters the facility with the camera until the receipt number tag is received. And a second image of the user taken at least at any point in time from the receipt of the call by the receipt number by the camera to the end of the provision of the service or article. A plurality of second image acquisition unit that acquires a person image, a third image acquisition unit that acquires a plurality of third person image obtained by photographing the user at the time of the exit from at least the property by the camera, use A user information management unit that generates and manages status display information including a user image for each user, and a user information presentation unit that presents the status display information generated by the user information management unit to the user. The user information management unit includes a person collation unit that performs person collation a plurality of times between the first, second, and third person images , a user type determination unit that determines a user type, and And detecting the state of the user related to the provision of the service or the article and determining the type of the user based on the detected state of the user. , Grouped by type A configuration for generating the status information.
また、本発明の利用者管理方法は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする処理を情報処理装置により行う利用者管理方法であって、来場した利用者に受付番号札を発行するステップと、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得するステップと、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第2の人物画像を取得するステップと、少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得するステップと、利用者ごとの利用者画像を含む状態表示情報を生成して管理するステップと、このステップで生成した前記状態表示情報をユーザに提示するステップと、を備え、前記状態表示情報を生成して管理するステップでは、前記第1、第2および第3の人物画像の間で複数回の人物照合を行うステップと、利用者の種類を判定するステップと、を有し、前記人物照合の結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。 In addition, the user management method of the present invention displays a person image taken at a facility that provides services to the user in order based on the reception number, and also displays the state of each user. A user management method for performing an enabling process by an information processing apparatus, the step of issuing a receipt number tag to a visiting user, and at least one of receiving the receipt number tag after entering the facility Acquiring a plurality of first person images obtained by photographing the user at the time of step (a), and receiving the user at least at a point in time from when receiving the call by the reception number to when the provision of the service or article ends. A step of acquiring a plurality of second person images taken, and a step of acquiring a plurality of third person images obtained by photographing the user at least when leaving the facility. And-up, a step of managing and generates a status display information including the user image of each user, and presenting the status information generated in this step to the user, provided with, the status information The step of generating and managing comprises the steps of performing person verification a plurality of times between the first, second and third person images, and determining the type of user, According to the result, the state of the user related to the provision of the service or the article is detected, the type of the user is determined based on the detected state of the user, and the group is displayed according to the type. The status display information is generated.
本発明によれば、施設において来場した利用者を撮影した人物画像から人物照合の結果に応じて、役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される状態表示情報を生成するようにしたので、受付番号札を受け取らない利用者など、通常の行動とは異なる変則的な行動をとる利用者も含めて、施設に来場した利用者の状態を漏れなくユーザが把握することができる。 According to the present invention, the state of a user related to the provision of services or articles is detected from a person image obtained by photographing a user who has visited the facility according to the result of person verification, and the detected state of the user is determined. Based on the type of user, the status display information that is grouped and displayed according to that type is generated. The user can grasp the state of the user who has visited the facility, including the user who takes action, without omission.
前記課題を解決するためになされた第1の発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理装置であって、来場した利用者に受付番号札を発行する番号札発行部と、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得する第1の画像取得部と、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第2の人物画像を取得する第2の画像取得部と、少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得する第3の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第1、第2および第3の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。 The first invention made to solve the above-mentioned problems is to display a person image obtained by photographing a user who has visited at a facility that provides services or goods to the user in order based on the reception number, and for each user. A user management device that enables viewing of the status of the user, a number tag issuing unit that issues a reception number tag to a visiting user, and at least one of receiving the reception number tag after entering the facility A first image acquisition unit that acquires a plurality of first person images obtained by photographing the user at the time of at least one of receiving a call by the receipt number and ending provision of the service or article acquiring a second image acquisition unit that acquires a plurality of second person image obtained by photographing the user at the time, a plurality of third person image obtained by photographing the user at the time of the exit from at least the facility A third image acquisition unit that, the user information management unit which manages and generates a status display information including the user image of each user, the state display information generated in the user information management unit to the user A user information presenting unit for presenting, the user information managing unit comprising: a person collating unit that performs person collation a plurality of times between the first, second, and third person images ; A user type determination unit that determines a type, and detects a user status related to the provision of the service or article according to a verification result by the person verification unit, and the detected user status Based on the above, the type of the user is determined, and the state display information displayed by grouping according to the type is generated.
これによると、施設において来場した利用者を撮影した人物画像から人物照合の結果に応じて、役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される状態表示情報を生成するようにしたので、受付番号札を受け取らない利用者など、通常の行動とは異なる変則的な行動をとる利用者も含めて、施設に来場した利用者の状態を漏れなくユーザが把握することができる。 According to this, according to the result of person verification from the person image taken of the user who visited the facility, the state of the user related to the service or provision of goods is detected, and based on the detected state of the user, Since the type of user is determined and the status display information that is displayed in groups according to the type is generated, anomalous behavior that is different from normal behavior, such as users who do not receive the receipt number tag, etc. The user can grasp the state of the user who has visited the facility including the user who takes it without omission.
また、第2の発明は、前記利用者情報管理部は、前記人物照合部により検知された利用者の状態、および前記人物画像の撮影時刻に基づき、利用者の状態に関する経過時間を利用者ごとに計測する時間計測部をさらに備えた構成とする。 In addition, according to a second aspect of the present invention, the user information management unit calculates an elapsed time relating to the user state for each user based on the user state detected by the person verification unit and the photographing time of the person image. Further, a time measuring unit for measuring is further provided.
これによると、利用者の状態に関する経過時間をユーザが把握することができる。これにより、施設内の混雑状態や、役務または物品の提供に係る業務の効率などを評価することができる。 According to this, the user can grasp the elapsed time related to the state of the user. Thereby, the congestion state in a facility, the efficiency of the work which concerns on provision of service or goods, etc. can be evaluated.
また、第3の発明は、前記時間計測部は、前記経過時間として、利用者が入場してから退場するまでに要した場内滞在時間を利用者ごとに計測する構成とする。 Moreover, 3rd invention is set as the structure which the said time measurement part measures the staying time in a hall | hole required until the user leaves | exited as an elapsed time for every user.
これによると、利用者ごとの場内滞在時間をユーザが把握することができる。 According to this, the user can grasp the stay time in the hall for each user.
また、第4の発明は、前記時間計測部は、前記経過時間として、前記役務または物品の提供に関する業務を開始してから終了するまでに要した業務所要時間を利用者ごとに計測する構成とする。 In addition, the fourth invention is configured such that the time measuring unit measures, as the elapsed time, the time required for work from the start to the end of the work related to the provision of the service or the article for each user. To do.
これによると、利用者ごとの業務所要時間をユーザが把握することができる。そして、利用者ごとの業務所要時間を、業務を行う窓口ごとに集計して、窓口ごとの業務所要時間を取得すると、窓口ごとの業務効率などを評価することができる。 According to this, the user can grasp the work required time for each user. Then, by summing up the time required for work for each user for each window for business, and obtaining the time required for work for each window, it is possible to evaluate the work efficiency for each window.
また、第5の発明は、前記利用者情報管理部は、前記時間計測部により取得した前記利用者ごとの経過時間を集計して、所定期間ごとの経過時間を取得する集計処理部をさらに備えた構成とする。 In addition, the fifth invention further includes a totalization processing unit in which the user information management unit totals the elapsed time for each user acquired by the time measurement unit and acquires the elapsed time for each predetermined period. The configuration is as follows.
これによると、所定期間ごとの経過時間をユーザが把握することができる。そして、所定期間ごとの経過時間を時系列で並べて表示するようにすれば、経過時間の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の経過時間を対比可能に並べて表示するようにすれば、経過時間の日時による違いをユーザが簡単に把握することができる。 According to this, the user can grasp the elapsed time for each predetermined period. If the elapsed time for each predetermined period is displayed side by side in chronological order, the user can easily grasp the temporal transition status of the elapsed time, and the elapsed time of different dates and times can be compared. If they are displayed side by side, the user can easily understand the difference in elapsed time depending on the date.
また、第6の発明は、前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、その利用者が再度入場したことが検知されると、その利用者を、施設から一時的に外出した一時外出者と判定する構成とする。 In addition, according to a sixth aspect of the invention, the user type determination unit detects that the user whose provision of services or articles is unknown has been detected by the person verification unit, and the user has entered again. If this is detected, the user is determined to be a temporary outing who has temporarily left the facility.
これによると、一時外出者をユーザが把握することができる。 According to this, a user can grasp a temporary going out person.
また、第7の発明は、前記利用者情報管理部は、前記人物画像の撮影時刻に基づき、利用者が入場してから退場するまでに要した場内滞在時間を利用者ごとに計測する時間計測部を備え、前記利用者種類判定部は、前記時間計測部による計測結果に基づき、前記利用者の種類を判定する構成とする。 According to a seventh aspect of the present invention, the user information management unit measures the time spent on-site for each user from the time the user enters to the time the user leaves based on the shooting time of the person image. A user type determination unit configured to determine the type of the user based on a measurement result by the time measurement unit.
これによると、人物画像間の人物照合のみで判定することができない利用者の種類を判別することができる。 According to this, it is possible to determine the type of user that cannot be determined only by person comparison between person images.
また、第8の発明は、前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、前記時間計測部による前記場内滞在時間が所定時間以内である場合に、その利用者を、入場した後に前記役務または物品の提供を受けないまま直ちに退場した即時退場者と判定する構成とする。 In addition, according to an eighth aspect of the present invention, the user type determination unit detects that a user whose provision of services or articles is unknown has been detected by the person verification unit, and the time measurement unit includes When the staying time is within a predetermined time, the user is determined to be an immediate exit who has immediately exited without entering the service or goods after entering.
これによると、即時退場者をユーザが把握することができる。 According to this, a user can grasp an immediate exit person.
また、第9の発明は、前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、前記時間計測部による前記場内滞在時間が所定時間を超える場合に、その利用者を、利用者の操作に応じて前記役務または物品の提供を行うセルフ機を利用したセルフ機利用者と判定する構成とする。 In addition, according to a ninth aspect of the invention, the user type determination unit detects, by the person verification unit, that a user whose provision of the service or the article is unknown has exited, and the time measurement unit detects the inside of the place When the staying time exceeds a predetermined time, the user is determined to be a self-machine user using a self-machine that provides the service or goods in accordance with the user's operation.
これによると、セルフ機利用者をユーザが把握することができる。 According to this, the user can grasp the self machine user.
また、第10の発明は、前記利用者情報管理部は、前記利用者種類判定部により取得した利用者ごとの種類を集計して、所定期間ごとの種類別の利用者の人数を取得する集計処理部をさらに備えた構成とする。 In the tenth aspect of the invention, the user information management unit totals the types for each user acquired by the user type determination unit, and acquires the number of users by type for each predetermined period. The configuration further includes a processing unit.
これによると、所定期間ごとの種類別の利用者の人数をユーザが把握することができる。そして、所定期間ごとの種類別の利用者の人数を時系列で並べて表示するようにすれば、種類別の利用者の人数の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の種類別の利用者の人数を対比可能に並べて表示するようにすれば、種類別の利用者の人数の日時による違いをユーザが簡単に把握することができる。 According to this, the user can grasp the number of users by type for each predetermined period. If the number of users by type for each predetermined period is displayed in chronological order, the user can easily grasp the temporal transition status of the number of users by type, If the numbers of users of different types at different dates and times are displayed side by side in a comparable manner, the user can easily grasp the difference in the number of users by type of date and time.
また、第11の発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理システムであって、前記施設に設置されたカメラと、来場した利用者に受付番号札を発行する番号札発行装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラにより前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得する第1の画像取得部と、前記カメラにより前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した第2の人物画像を取得する複数の第2の画像取得部と、前記カメラにより少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得する第3の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第1、第2および第3の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。 In addition, the eleventh invention displays a person image of a user who has visited at a facility that provides services or articles to the user in order based on the reception number, and enables the state of each user to be viewed. A user management system, comprising: a camera installed in the facility; a number tag issuing device that issues a reception number tag to a user who has visited; and a plurality of information processing devices; First image acquisition for acquiring a plurality of first person images obtained by photographing a user at least at any point in time from when the device enters the facility by the camera until the receipt number tag is received And a second person image obtained by photographing the user at least at a point in time from when the call by the receipt number is received by the camera to when the provision of the service or the article ends. A plurality of second image acquisition unit that, the third image acquisition unit that acquires a plurality of third person image obtained by photographing the user at the time of the exit from at least the property by the camera, the use of each user A user information management unit that generates and manages state display information including a person image, and a user information presentation unit that presents the state display information generated by the user information management unit to a user, The person information management unit includes a person collation unit that performs person collation a plurality of times between the first, second, and third person images, and a user type determination unit that determines a user type. According to the collation result by the person collation unit, the state of the user related to the provision of the service or the article is detected, and based on the detected state of the user, the type of the user is determined, and depending on the type The status displayed in groups A configuration that generates the display information.
これによると、前記第1の発明と同様に、施設に来場した利用者の状態を漏れなくユーザが把握することができる。 According to this, as in the first aspect, the user can grasp the state of the user who has visited the facility without omission.
また、第12の発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする処理を情報処理装置により行う利用者管理方法であって、来場した利用者に受付番号札を発行するステップと、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得するステップと、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第2の人物画像を取得するステップと、少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得するステップと、利用者ごとの利用者画像を含む状態表示情報を生成して管理するステップと、このステップで生成した前記状態表示情報をユーザに提示するステップと、を備え、前記状態表示情報を生成して管理するステップでは、前記第1、第2および第3の人物画像の間で複数回の人物照合を行うステップと、利用者の種類を判定するステップと、を有し、前記人物照合の結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。 In addition, the twelfth invention displays a person image of a user who has visited at a facility that provides services or goods to the user in order based on the reception number, and enables the state of each user to be viewed. A user management method in which processing is performed by an information processing device, wherein a step of issuing a receipt number tag to a visiting user, and at least one point of time after entering the facility and receiving the receipt number tag A step of acquiring a plurality of first person images obtained by photographing a user, and a plurality of images obtained by photographing a user at least at a point in time after receiving a call by the reception number and ending provision of the service or article. obtaining a second person image, acquiring a plurality of third person image obtained by photographing the user at the time of the exit from at least the facility, Comprising a step of managing and generates a status display information including the user image of each use's and presenting the status information generated in this step to the user, and to generate and maintain the status information The step of performing a plurality of person verifications between the first, second, and third person images and a step of determining the type of user, depending on the result of the person verification The status display that detects the status of the user related to the provision of the service or the article, determines the type of the user based on the detected status of the user, and displays the status grouped according to the type The information is generated.
これによると、前記第1の発明と同様に、施設に来場した利用者の状態を漏れなくユーザが把握することができる。 According to this, as in the first aspect, the user can grasp the state of the user who has visited the facility without omission.
以下、本発明の実施の形態を、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1実施形態)
図1は、第1実施形態に係る顧客管理システムの全体構成図である。この顧客管理システム(利用者管理システム)は、銀行を対象にして構築されるものであり、カメラ1a〜1cと、レコーダ(映像蓄積装置)2と、PC(利用者管理装置)3と、を備えている。
(First embodiment)
FIG. 1 is an overall configuration diagram of a customer management system according to the first embodiment. This customer management system (user management system) is constructed for banks, and includes
カメラ1a〜1cは店舗内の適所に設置され、カメラ1a〜1cにより店舗内が撮影され、これにより得られた映像がレコーダ2に蓄積される。
The
PC3には、管理者などのユーザが種々の入力操作を行うマウスなどの入力デバイス6と、監視画面を表示するモニタ(表示装置)7と、プリンタ8とが接続されている。このPC3は、店舗内の適所に設置され、ユーザが、モニタ7に表示される監視画面により、カメラ1a〜1cで撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の映像を閲覧することができる。
Connected to the
また、カメラ1a〜1c、レコーダ2およびPC3は、複数の店舗(施設)の各々に設置されており、複数の店舗を総括する本部にはPC11が設置されており、このPC11では、カメラ1a〜1cで撮影された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の画像を閲覧することができ、これにより本部で店舗内の状況を確認することができる。
The
店舗に設置されたPC3は、店舗に来店した顧客(利用者)の状態を管理する利用者管理装置として構成され、このPC3で生成した顧客情報(利用者情報)は、PC3自身で閲覧することができ、さらに、本部に設置されたPC11に送信されて、このPC11でも閲覧することができ、PC3,11が顧客情報を閲覧する閲覧装置として構成される。
The
次に、図1に示した店舗のレイアウト、カメラ1a〜1cの設置状況、および顧客の状態について説明する。図2は、店舗のレイアウト、カメラ1a〜1cの設置状況、および顧客の状態を説明する店舗の平面図である。
Next, the store layout shown in FIG. 1, the installation status of the
店舗には、出入口と、ロビーと、窓口と、バックヤードと、が設けられている。顧客は出入口から出入りし、入店した顧客はロビーに滞在する。ロビーには、待合エリアが設けられており、窓口を利用する顧客は、呼び出しを受けるまで待合エリアで待機する。窓口は複数設けられており、各窓口では、店員(テラー)が顧客からの依頼を受け付けて所要の窓口業務を行う。バックヤードでは、窓口業務を支援する後方支援業務を店員(オペレータ)が行う。 The store has an entrance, a lobby, a window, and a backyard. The customer enters and exits from the entrance, and the customer who enters the store stays in the lobby. A waiting area is provided in the lobby, and a customer using the window waits in the waiting area until a call is received. A plurality of windows are provided, and at each window, a store clerk (teller) receives a request from a customer and performs a necessary window operation. In the backyard, a store clerk (operator) performs a logistic support operation for supporting a window operation.
ロビーには、発券機21と、両替機22と、が設置されている。発券機21は、窓口を利用する顧客を来店した順番に呼び出すための受付番号札を発行するものである。両替機22は、顧客自らが操作して両替を行うものである。
In the lobby, a
窓口には、呼出表示パネル23と、操作端末24と、が設置されている。呼出表示パネル23は、受付番号を表示して顧客の呼び出しを行うものである。操作端末24は、店員(テラー)が操作するものであり、図示しない操作ボタンを備えている。先客の業務が終了して呼び出しボタンを操作すると、呼出表示パネル23に受付番号が表示される。呼び出した顧客が窓口に現れると、受付ボタンを操作する。呼び出した顧客が窓口に現れないと、不在ボタンを操作し、これに応じて次の受付番号による顧客の呼び出しが行われる。
A
また、店舗には、来店した顧客を撮影する複数のカメラ1a〜1cが設置されている。本実施形態では、出入口から入店する顧客を撮影する入店カメラ1aと、窓口で手続きを行う顧客を撮影する窓口カメラ1bと、出入口から退店する顧客を撮影する退店カメラ1cと、が設置されている。これらのカメラ1a〜1cは、顧客の顔を概ね正面から撮影するように設置されている。
In addition, a plurality of
なお、本実施形態では、1つの出入口で顧客が店舗に出入りするようにしたが、入口および出口を別々に設けるようにしてもよい。この場合、入店カメラ1aおよび退店カメラ1cは入口および出口にそれぞれ設置される。
In the present embodiment, the customer enters and exits the store at one entrance, but the entrance and the exit may be provided separately. In this case, the
店舗に来店した顧客は、来店した目的や店舗の混雑状況や顧客自身の都合などに応じて種々の行動をとる(図2の点線で示す顧客Cの経路参照)。すなわち、窓口を利用する顧客(窓口利用客)の場合には、出入口から入店すると、まず、発券機で受付番号札を受け取り、呼び出しを受けるまで待合エリアで待機する。そして、呼び出しを受けると、窓口で各種の手続きに関する業務の依頼を行い、窓口業務が終了すると、出入口から退店する。また、バックヤードでの後方支援業務に時間を要する場合には、窓口で依頼を行った後に、窓口から一時的に退席して待合エリアで再度の呼び出しを待ち、呼び出しを受けて窓口業務が終了すると、出入口から退店する。 A customer who visits the store takes various actions depending on the purpose of visiting the store, the congestion situation of the store, the convenience of the customer, and the like (see the route of customer C indicated by the dotted line in FIG. 2). That is, in the case of a customer who uses a window (a window customer), when entering the store from the entrance, first, the ticketing machine receives the receipt number tag and waits in the waiting area until the call is received. When a call is received, a request for business related to various procedures is made at the counter, and the store exits from the entrance when the counter service ends. Also, if it takes time for back support work in the backyard, after making a request at the counter, you can temporarily leave the counter, wait for a call again in the waiting area, receive the call, and the counter service will end Then, the store exits from the doorway.
また、両替機22を利用する顧客(両替機利用客)の場合には、出入口から入店すると、発券機21で受付番号札を受け取ることなく両替機22に向かい、両替機22で両替を済ませると、出入口から退店する。
Further, in the case of a customer who uses the money changer 22 (customer for money changer), when entering the store from the entrance, the
また、店舗内が混雑している、特に窓口での順番待ちの顧客が多いと、窓口を利用する目的で来店した顧客の中から、入店して直ちに帰る顧客(即時退店客)や、店舗外で待ち時間潰しをするために店舗から一時外出する顧客(一時外出客)が現れる。 In addition, if the store is crowded, especially when there are many customers waiting at the counter, customers who come to the store for the purpose of using the counter immediately enter the store (immediately exit customers) A customer who temporarily goes out of the store (temporary going out customer) appears to cut down the waiting time outside the store.
次に、図1に示したPC3で行われる顧客管理処理の概要について説明する。図3、図4、図5および図6は、PC3で行われる顧客管理処理の概要を説明する説明図である。図3は、窓口利用客の場合を示し、図4は、両替機利用客の場合を示し、図5は、即時退店客の場合を示し、図6は、一時外出客の場合を示す。
Next, an overview of customer management processing performed by the
図3(A)に示すように、窓口利用客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ1aで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が失敗する、すなわち入店した人物が登録された顧客および店員の中に存在しない場合には、新規の顧客が入店したことが検知され、その人物が新規に顧客として登録される。
As shown in FIG. 3A, in the case of a window customer, first, when a customer enters the store from the entrance, the customer is photographed by the
次に、入店した顧客は発券機21で受付番号札を受け取った後、待合エリアで呼び出しを待つ。そして、顧客が呼び出しを受けると、顧客は窓口で店員に業務の依頼を行い、その顧客が窓口カメラ1bで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、顧客に役務を提供する業務が実施されたことが検知され、該当する顧客の顧客情報が更新される。窓口での業務が終了すると、顧客は出入口から退店し、その顧客が退店カメラ1cで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、役務の提供が完了した顧客が退店したことが検知されて、顧客の登録が抹消される。
Next, the customer who entered the store receives the receipt number tag at the
また、入店時の人物画像および退店時の人物画像の各撮影時刻から入店時刻および退店時刻を取得して、入店してから退店するまでの時間、すなわち店内滞在時間が計測される。また、窓口カメラ1bにより顧客が窓口に滞在する間継続して顧客が撮影され、この間に取得した窓口利用時の人物画像の各撮影時刻から窓口業務の開始時刻および終了時刻を取得して、顧客が窓口で業務を依頼してからその業務が終了するまでに要した時間、すなわち業務所要時間を算出する。
Also, the store entry and exit times are obtained from the shooting times of the person image at the time of entry and the person image at the time of exit, and the time from entry to exit, that is, the stay time in the store is measured. Is done. Further, the customer is continuously photographed while the customer stays at the window by the
また、窓口業務に関連してバックヤードで行われる後方支援業務が時間を要するものである場合には、図3(B)に示すように、窓口業務が複数回(ここでは2回)に分けて実施される場合がある。この場合、業務所要時間の計測にあたっては、バックヤードでの後方支援業務に要する時間を含めるようにするとよく、最初の窓口業務の開始時刻から最後(ここでは2回目)の窓口業務の終了時刻までの時間が業務所要時間となる。 In addition, if the logistical support work performed in the backyard in relation to the window work is time-consuming, the window work is divided into multiple times (here, twice) as shown in FIG. May be implemented. In this case, when measuring the time required for work, it is recommended to include the time required for logistical support work in the backyard, from the start time of the first window service to the end time of the last window service (here, the second time). Is the time required for work.
図4に示すように、両替機利用客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ1aで撮影され、その撮影画像から検出された人物が顧客として登録される。そして、入店した顧客は両替機22に向かい、両替機22で両替を済ませると、出入口から退店し、そのときの顧客が退店カメラ1cで撮影される。このとき、顧客が窓口カメラ1bで撮影されないため、役務の提供が完了したことの検知はなく、退店カメラ1cによる撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われて人物照合が成功すると、役務の提供が不明な顧客が退店したことが検知されて、顧客情報が更新される。
As shown in FIG. 4, in the case of a change machine customer, first, when a customer enters the store from the entrance, the customer is photographed by the
また、入店時の人物画像および退店時の人物画像の各撮影時刻から入店時刻および退店時刻を取得して、店内滞在時間が計測される。 In addition, the store entry time and the store exit time are acquired from the photographing times of the person image at the store entrance and the person image at the store exit, and the staying time in the store is measured.
図5(A)に示すように、即時退店客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ1aで撮影され、その撮影画像から検出された人物が顧客として登録される。そして、入店した顧客は店内の様子を見て、窓口で手続きを行うことを断念すると、出入口から退店し、そのときの顧客が退店カメラ1cで撮影される。このとき、顧客は窓口カメラ1bで撮影されないため、役務の提供が完了したことの検知はなく、退店カメラ1cによる撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われて人物照合が成功すると、役務の提供が不明な顧客が退店したことが検知されて、顧客情報が更新される。また、図5(B)に示すように、顧客が発券機21で受付番号札を受け取った後に、店内の様子を見て直ちに帰る場合もあり、この場合も図5(A)に示した場合と同様である。
As shown in FIG. 5A, in the case of an immediate exit customer, when the customer enters the store from the entrance, the customer is photographed by the
また、入店時の人物画像および退店時の人物画像の各撮影時刻から入店時刻および退店時刻を取得して、店内滞在時間が計測される。 In addition, the store entry time and the store exit time are acquired from the photographing times of the person image at the store entrance and the person image at the store exit, and the staying time in the store is measured.
図6に示すように、一時外出客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ1aで撮影され、その撮影画像から検出された人物が顧客として登録される。次に、入店した顧客は発券機21で受付番号札を受け取った後、店内の様子を見て、すぐに呼び出しがないものと考えて、店外で待ち時間潰しをするため、出入口から退店し、そのときの顧客が退店カメラ1cで撮影される。このとき、顧客は窓口カメラ1bで撮影されないため、役務の提供が完了したことの検知はなく、退店カメラ1cによる撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われて人物照合が成功すると、役務の提供が不明な顧客が退店したことが検知されて、顧客情報が更新される。
As shown in FIG. 6, in the case of temporarily going out, when a customer enters the store from the entrance, the customer is photographed by the
そして、顧客が店舗に戻って出入口から入店すると、顧客が入店カメラ1aで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功する、すなわち入店した人物が登録された顧客の中に存在することで、外出した顧客が店舗に戻ったことが検知される。これ以降は、図3に示した窓口利用客と同様である。
When the customer returns to the store and enters the store from the entrance, the customer is photographed by the
ここで、一時外出客の場合には、顧客が店舗に戻るため、役務の提供が不明な状態で退店した顧客が入店したことが検知された時点で一時外出客を判別することができる。また、両替機利用客および即時退店客の場合には、一時外出客とは異なり、店舗に戻ることはないため、閉店時刻までに戻らない、あるいは所定時間が経過しても戻らないことで、一時外出客と区別することができる。 Here, in the case of a temporary outing customer, the customer returns to the store, and therefore it is possible to determine the temporary outing when it is detected that a customer who has left the store in a state where service provision is unknown is detected. . Also, in the case of customers using currency exchange machines and customers who leave the store immediately, unlike temporary going out customers, they do not return to the store. Can be distinguished from temporary going out.
一方、両替機利用客および即時退店客はともに、退店した時点では役務の提供が不明な状態であるため、人物画像による人物照合のみでは、両替機利用客と即時退店客とを判別することができない。そこで、本実施形態では、店内滞在時間に基づいて両替機利用客と即時退店客とを判別する。すなわち、両替機利用客は両替機を利用するが、即時退店客はなにもしないため、両替機利用客の方が即時退店客より店内滞在時間が長くなる場合が多い。したがって、店内滞在時間を基準時間(しきい値)と比較して、両替機利用客および即時退店客のいずれであるかの判定を行い、店内滞在時間が基準時間より長い場合には両替機利用客と判定し、店内滞在時間が基準時間より短い場合には即時退店客と判定する。 On the other hand, both the users of money changers and the customers who immediately leave the store are in a state where the provision of services is unknown when they leave the store. Can not do it. Therefore, in the present embodiment, the customer who uses the change machine and the customer who leaves the store are discriminated based on the stay time in the store. In other words, the change machine customer uses the change machine, but the customer who leaves the store does nothing at all, so the customer who uses the change machine often spends more time in the store than the customer who leaves the store. Therefore, the staying time in the store is compared with the reference time (threshold value) to determine whether the customer is an exchange machine customer or an immediate exit customer. If the staying time in the store is longer than the reference time, the change machine It is determined that the customer is a customer, and if the staying time in the store is shorter than the reference time, it is determined that the customer is an immediate customer leaving the store.
なお、両替機利用客は受付番号札を受け取らないため、図5(B)に示すように、即時退店客が受付番号札を受け取っていた場合には、受付番号による呼び出しを行った時点で不在と判断することができるため、この時点で即時退店客と判定するようにしてもよい。 Since the customer who uses the money changer does not receive the reception number tag, as shown in FIG. 5B, when the customer who has immediately left the store has received the reception number tag, Since it can be determined that the user is absent, it may be determined that the customer has left the store immediately at this point.
次に、図1に示したPC3で行われる待ち時間計測処理の概要について説明する。図7は、PC3で行われる待ち時間計測処理の概要を説明する説明図である。
Next, an outline of the waiting time measurement process performed by the
窓口利用客は、先客の業務が終了して呼び出しを受けるまで待合エリアで待つことになるが、順番待ちの顧客が多いと、顧客が長時間待たされることがあり、これは顧客にとって大きな不満に感じる。そこで、本実施形態では、PC3で入店した顧客の状態を管理し、特に顧客ごとの待ち時間を計測して、店員に必要な接客行為、すなわち長時間待たせていることを詫びる旨の声掛けを行わせるようにして、顧客満足度の向上を図るようにしている。
The customer at the window will wait in the waiting area until the customer's work is completed and the call is received, but if there are many customers waiting in turn, the customer may wait for a long time, which is a big dissatisfaction for the customer. feel. Therefore, in this embodiment, the state of the customer who entered the store on the
具体的には、顧客が店舗の出入口から入店すると、その顧客が入店カメラ1aで撮影され、このとき、撮影画像から検出された人物が顧客として登録されるとともに、待ち時間の計測が開始される。そして、先客の業務が終了して呼び出しを受けて顧客が窓口に現れると、その顧客が窓口カメラ1bで撮影され、このとき、撮影画像から抽出された人物画像と登録された人物画像との間での人物照合が成功して、顧客に役務を提供する業務が実施されたことが検知されると、待ち時間の計測が終了する。
Specifically, when a customer enters the store from the entrance of the store, the customer is photographed by the
ここで、顧客が入店したところで計測が開始された待ち時間が長くなり、この待ち時間が所定の基準時間を超えると、店員に接客行為を促す通知が行われ、これに応じて、店員は、待合エリアに滞在する顧客の中から該当する顧客を見つけ出して、その顧客に必要な接客行為、すなわち長時間待たせていることを詫びる旨の声掛けを行う。 Here, when the customer enters the store, the waiting time at which the measurement is started becomes long, and when this waiting time exceeds a predetermined reference time, a notification is made to urge the clerk to engage in customer service. Then, the customer is found out from the customers staying in the waiting area, and the customer is asked to apologize for the necessary customer service, that is, waiting for a long time.
次に、図1に示したPC3で行われる顧客管理処理について詳しく説明する。図8は、PC3の概略構成を示す機能ブロック図である。
Next, the customer management process performed by the
PC3は、第1の画像取得部31と、第2の画像取得部32と、第3の画像取得部33と、顧客情報管理部(利用者情報管理部)34と、入出力制御部35と、を備えている。
The
第1の画像取得部31では、出入口から入店してから受付番号札を受け取るまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得する。本実施形態では、入店カメラ1aにより出入口から入店する顧客を撮影した入店時の人物画像(第1の人物画像)を取得する。
The first
第2の画像取得部32では、受付番号による呼び出しを受けてから役務の提供が終了するまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得する。本実施形態では、窓口カメラ1bにより窓口で手続きを行う顧客を撮影した窓口利用時の人物画像、すなわち、役務の提供を受ける最中の顧客を撮影した役務提供時の人物画像(第2の人物画像)を取得する。
The second
第3の画像取得部33では、退店カメラ1cにより出入口から退店する顧客を撮影した退店時の人物画像(第3の人物画像)を取得する。
In the 3rd
第1〜第3の画像取得部31〜33では、カメラ1a〜1cから入力された撮影画像から人物を検出する人物検出処理と、この人物検出処理で検出された人物の顔領域の画像(顔画像)を撮影画像から切り出す画像処理と、が行われ、顔画像が人物画像として出力される。
The first to third
顧客情報管理部34は、第1〜第3の画像取得部31〜33によりそれぞれ取得した人物画像に基づいて、顧客の状態に関する顧客情報を生成して管理するものであり、除外人物登録部41と、人物照合部42と、顧客登録部43と、顧客情報蓄積部44と、時間計測部45と、顧客種類判定部46と、接客要否判定部47と、接客情報取得部48と、集計処理部49と、を備えている。
The customer
除外人物登録部41では、顧客管理の対象から除外する人物を登録する処理が行われる。顧客が滞在するロビーには、顧客を案内する業務を専門に行う店員(ロビーアテンダント)が配置され、このような店員がカメラ1a〜1cで撮影されて顧客管理の対象に含まれると、顧客管理の精度が低下する。このため、本実施形態では、除外人物登録部41において、店員などの対象外とする人物を撮影した人物画像を用いて、対象外の人物を予め登録する処理が行われる。これにより、店員などの対象外の人物が顧客として登録されることを避けることができる。
In the excluded
人物照合部42では、第1〜第3の画像取得部31〜33によりそれぞれ入店カメラ1a、窓口カメラ1bおよび退店カメラ1cによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、この人物照合の結果に応じて、顧客の状態を検知する。本実施形態では、顧客の状態として、新規の顧客が入店したこと、顧客に役務を提供する業務が実施されたこと、役務の提供が完了した顧客が退店したこと、役務の提供が不明な顧客が退店したこと、および役務の提供が不明な状態で退店した顧客が再度入場したことを検知する。
In
すなわち、人物照合部42では、第1の画像取得部31により入店カメラ1aによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された顧客の人物画像との間で人物照合が行われる。さらに、除外人物登録部41により対象外として登録された人物の人物画像との間で人物照合が行われる。そして、両方の人物照合が失敗する、すなわち入店した人物が、登録された顧客および対象外として登録された人物の中に存在しない場合には、新規の顧客が入店したことを検知する(新規顧客入店検知)。また、このときの人物画像の撮影時刻から入店時刻を取得する。
That is, in the
また、人物照合部42では、第2の画像取得部32により窓口カメラ1bによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功する、すなわち同一の人物と判定されると、顧客に役務を提供する業務が実施されたことを検知する(提供顧客検知)。また、このときの人物画像の撮影時刻から窓口業務の開始時刻および終了時刻を取得する。
In the
また、人物照合部42では、第3の画像取得部33により退店カメラ1cによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功する、すなわち同一の人物と判定されると、顧客が退店したことを検知する。そして、顧客が、役務の提供が完了した状態であれば、役務の提供が完了した顧客が退店したことを検知する(提供完了顧客退店検知)。一方、顧客が、役務の提供が完了していない状態であれば、役務の提供が不明な顧客が退店したことを検知する(提供不明顧客退店検知)。また、このときの人物画像の撮影時刻から退店時刻を取得する。
In the
また、人物照合部42では、第1の画像取得部31により入店カメラ1aによる撮影画像を取得すると、その撮影画像から抽出された人物画像と、役務の提供が不明な状態で退店した顧客の人物画像との間で人物照合が行われ、人物照合が成功する、すなわち同一の人物と判定されると、外出した顧客が店舗に戻ったことを検知する(外出顧客戻り検知)。また、このときの人物画像の撮影時刻から外出戻り時刻を取得する。
Further, in the
この人物照合には、公知の人物認識技術を用いればよく、例えば、2つの画像から抽出された特徴量データを比較して同一の人物か否かの判定を行えばよい。また、人物照合のたびに画像から特徴量データを取得する必要はなく、既に特徴量データを取得していれば、その特徴量データを用いて人物照合を行えばよい。 For this person collation, a known person recognition technique may be used. For example, feature amount data extracted from two images may be compared to determine whether or not they are the same person. Further, it is not necessary to acquire feature amount data from an image every time person verification is performed. If feature amount data has already been acquired, person verification may be performed using the feature amount data.
顧客登録部43では、人物照合部42により新規の顧客が入店したことが検知されると、人物画像に映った人物を新規の顧客として登録する処理が行われる。この顧客登録処理では、入店の順番にしたがって通し番号が顧客に付与され、人物画像および通し番号を含む顧客情報が生成される。この顧客登録処理で生成した顧客情報は顧客情報蓄積部44に蓄積される。なお、顧客情報には、人物画像および通し番号の他に、入店時の人物画像の撮影時刻、すなわち入店時刻などの情報も含まれる。
In the
また、顧客登録部43では、人物照合部42により役務の提供が完了した顧客が退店したことが検知されると、その顧客の登録を抹消する処理が行われる。なお、登録が抹消された顧客の顧客情報を顧客情報蓄積部44から消去するようにしてもよいが、履歴として残すようにしてもよい。ただし、履歴として活用する場合には、プライバシーを保護する形で顧客情報を残すことが望ましい。例えば人物画像は消去し、集計処理部49での処理に必要となる顧客の状態に関する情報は保持するようにするとよい。
Further, in the
また、顧客登録部43では、人物照合部42により、顧客に役務を提供する業務が実施されたこと、役務の提供が不明な顧客が退店したこと、および外出した顧客が店舗に戻ったことがそれぞれ検知されると、これらの顧客の状態を表す状態情報をその顧客に関する顧客情報に付加する更新処理が行われる。
In addition, in the
時間計測部45では、人物照合部42による検知結果に基づき、顧客の状態に関する経過時間を顧客ごとに計測する処理が行われる。本実施形態では、経過時間として、顧客の待ち時間をリアルタイムで計測する処理が行われる。この待ち時間計測処理では、待ち時間として、人物照合部42における新規顧客入店検知処理により取得した入店時刻から現在までの経過時間を計測する。この待ち時間計測処理は、人物照合部42により、顧客に役務を提供する業務が開始されたことが検知されるまで継続される。
The
また、本実施形態では、経過時間として、顧客が入店してから退店するまでに要した店内滞在時間を計測する。また、本実施形態では、経過時間として、役務の提供に関する業務、すなわち窓口利用客に対する窓口業務を開始してから終了するまでに要した業務所要時間を計測する(図3参照)。 In the present embodiment, as the elapsed time, the in-store stay time required from the customer entering the store to leaving the store is measured. Further, in the present embodiment, as the elapsed time, the work required time from the start to the end of the work related to the provision of the service, that is, the window work for the window customer is measured (see FIG. 3).
店内滞在時間は、人物照合部42における新規顧客入店検知処理により取得した入店時刻と、退店検知処理により取得した退店時刻とから算出する。また、業務所要時間は、人物照合部42における提供顧客検知処理により取得した窓口業務の開始時刻および終了時刻から算出する。なお、窓口業務が1回で済む場合(図3(A)参照)には、その窓口業務の開始時刻から終了時刻までの時間が業務所要時間となるが、窓口業務が複数回に分けて実施される場合(図3(B)参照)には、最初の窓口業務の開始時刻から最後の窓口業務の終了時刻までの時間が業務所要時間となる。
The in-store stay time is calculated from the store entry time acquired by the new customer entrance detection process in the
顧客種類判定部46では、人物照合部42により検知された顧客の状態に基づき、顧客の種類を判定する処理が行われる。本実施形態では、顧客の種類として、窓口利用客、両替機利用客、即時退店客および一時外出客のいずれであるかを判定する。
The customer
すなわち、窓口利用客の場合には、人物照合部42により、窓口で顧客に役務を提供する業務が実施されたことが検知されることから、この検知結果に基づいて窓口利用客と判定する。また、一時外出客の場合には、人物照合部42により、外出した顧客が店舗に戻ったことを検知されることから、この検知結果に基づいて一時外出客と判定する。
That is, in the case of a window customer, the
一方、両替機利用客および即時退店客の場合には、人物照合部42により、役務の提供が不明な顧客が退店したことが検知されるが、この検知結果は両替機利用客と即時退店客とで同一であるため、人物照合部42における検知結果のみでは両替機利用客と即時退店客とを判別することができない。そこで、本実施形態では、店内滞在時間を基準時間(しきい値)と比較して両替機利用客と即時退店客とを判別する。すなわち、店内滞在時間が基準時間より長い場合には両替機利用客と判定し、店内滞在時間が基準時間より短い場合には即時退店客と判定する。
On the other hand, in the case of a change machine customer and a customer who leaves the store immediately, the
接客要否判定部47では、時間計測部45により取得した待ち時間に基づいて、待ち時間が長くなる際に必要となる接客行為、すなわち長時間待たせていることを詫びる旨の声掛けの要否を判定する処理が行われる。この接客要否判定処理では、待ち時間を所定の基準時間と比較して、待ち時間が基準時間を超えた場合に接客行為が必要と判断する。
Based on the waiting time acquired by the
なお、人物照合部42により、役務の提供が不明な顧客が退店したことが検知された場合に、待ち時間の計測を終了するようにしてもよいが、待ち時間の計測を継続して、一時外出客にも対応するようにしてもよい。この場合、時間計測部45により取得した待ち時間が基準時間を超過していても、店舗に滞在していなければ、接客行為を不要と判断して、その顧客に関する接客要否判定を行わないようにすればよい。
Note that when the
また、例えば店舗側の方針で顧客の外出を原則禁止するような場合には、顧客が外出すると時間計測部45での待ち時間の計時を一時的に停止する、また、外出時間分だけ基準時間を長く設定する、また、顧客が店舗に戻ってきてからの待ち時間で接客要否判定を行う、また、外出から戻った顧客には接客行為(声掛け)を行わない、などの方法も可能であり、接客要否判定の条件を店舗側の必要に応じて種々に変更設定することができるようにしてもよい。
Further, for example, in the case of prohibiting the customer from going out in principle according to the store side policy, when the customer goes out, the time measurement of the waiting time in the
接客情報取得部48は、店員から接客情報を取得するものであり、この接客情報取得部48では、接客情報として、店員による接客行為の実施状況に関する情報や、接客行為の必要のない顧客に関する情報を、入出力制御部35を介して取得する処理が行われる。接客情報取得部48で取得した情報は、該当する顧客の顧客情報として顧客情報蓄積部44に蓄積される。
The customer service
集計処理部49では、時間計測部45により取得した顧客ごとの経過時間を集計して、所定期間ごとの経過時間を取得する処理が行われる。本実施形態では、時間計測部45により取得した顧客ごとの店内滞在時間を時間帯ごとに集計して、時間帯ごとの店内滞在時間を取得する。また、時間計測部45により取得した顧客ごとの窓口での業務所要時間を時間帯ごとに集計して、窓口ごとの業務所要時間を取得する。
The totaling
また、集計処理部49では、顧客種類判定部46により取得した顧客ごとの種類を集計して、所定期間ごとの種類別の顧客の人数を取得する処理が行われる。本実施形態では、顧客種類判定部46により取得した両替機利用客および即時退店客を集計して、時間帯ごとの両替機利用客および即時退店客の人数を取得する。
Further, the totaling
入出力制御部35は、モニタおよびマウスなどの入力デバイス6を用いたGUI(Graphical User Interface)により、顧客情報管理部34で生成した顧客情報を出力して店員に提示する処理、および店員の入力操作による入力情報を取得する処理を行うものであり、表示情報生成部(利用者情報提示部)51と、入力情報取得部52と、を備えている。
The input /
表示情報生成部51では、登録された顧客の顧客情報を一覧表示する顧客状態表示画面(図13参照)に関する表示情報を生成してモニタ7に出力する処理が行われ、顧客状態表示画面がモニタ7に表示される。また、表示情報生成部51では、集計処理部49で生成した集計結果情報に関する表示情報(図11,12参照)を生成してモニタ7やプリンタ8に出力する処理が行われる。入力情報取得部52では、店員が入力デバイス6を用いてモニタ7に表示された画面上で行った入力操作に応じて入力情報を取得する処理が行われる。
The display
また、本実施形態では、顧客情報管理部34において、窓口受付システムと連携して顧客情報を管理する処理が行われる。窓口受付システムは、発券機21と呼出表示パネル23と操作端末24とで構成される。発券機21は、窓口受付システムの制御部も備えている。
In the present embodiment, the customer
この窓口受付システムでは、先客に対する窓口業務が終了して、店員(テラー)が操作端末24の呼出ボタンを操作すると、呼出表示パネル23に次の受付番号が表示されて顧客を呼び出し、これに応じて顧客が窓口に来たところで、店員が操作端末24の受付ボタンを操作する。このとき、店員が操作端末24の呼出ボタンを操作した時刻を呼出時刻とし、店員が操作端末24の受付ボタンを操作した時刻を窓口受付時刻として、この呼出時刻および窓口受付時刻と受付番号とが発券機21から顧客登録部43に送られる。
In this window reception system, when the window service for the customer is finished and the store clerk (teller) operates the call button of the
顧客登録部43では、顧客と受付番号とを対応付ける処理が行われ、該当する顧客の顧客情報に受付番号が付加される。顧客と受付番号との対応付けは時刻に基づいて行われる。すなわち、第2の画像取得部32において、窓口カメラ1bにより撮影された窓口利用時の人物画像が取得され、人物照合部42により窓口業務が開始されたことが検知されると、人物画像および撮影時刻が顧客登録部43に送られ、顧客登録部43では、発券機21から取得した窓口受付時刻と撮影時刻とが近接していることを条件に、顧客と受付番号との対応付けを行う。
In the
なお、このように窓口受付システムでは呼出時刻および窓口受付時刻を取得することができ、この呼出時刻および窓口受付時刻を顧客情報として顧客情報蓄積部44に蓄積するようにすると、時間計測部45において、入店時刻から呼出時刻または窓口受付時刻までの経過時間を待ち時間として計測することもできる。
In this way, in the window reception system, the call time and the window reception time can be acquired. When the call time and the window reception time are stored as customer information in the customer
なお、図8に示したPC3の各部は、PC3のCPUに顧客管理用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのPC3に予め導入して専用の装置として構成する他、汎用OS上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
Each part of the
また、本実施形態では、接客のために顧客情報をリアルタイムでユーザに提示する都合上、第1〜第3の画像取得部31〜33、人物照合部42、顧客登録部43、および時間計測部45の各部の処理をリアルタイムで行う必要があるが、接客のための処理が必要ない場合には、前記の各部の処理はリアルタイムで実行する必要はない。この場合、第1〜第3の画像取得部31〜33はレコーダ2から画像を取得すればよい。
In the present embodiment, the first to third
次に、図8に示した除外人物登録部41で行われる除外人物登録処理について説明する。図9は、図1に示したモニタ7に表示される映像表示画面および除外人物登録画面を示す説明図である。
Next, an excluded person registration process performed by the excluded
本実施形態では、除外人物登録部41において、店員などの顧客管理の対象から除外する人物を登録する処理が行われる。この除外人物登録処理では、図9に示す映像表示画面61および除外人物登録画面62がモニタ7に表示され、この映像表示画面61および除外人物登録画面62上でユーザが所要の操作を行うことで、除外人物登録部41で除外人物登録処理が実行される。
In the present embodiment, the excluded
具体的には、映像表示画面61にカメラ1a〜1cごとの映像が表示され、登録したい人物をカメラ1a〜1cで撮影して、映像表示画面61に人物が写る映像が表示されると、STOPボタン63を操作して映像の再生を停止した上で登録ボタン64を操作すると、ホップアップで除外人物登録画面62が表示され、このとき、映像から検出された人物の顔画像が抽出されて除外人物登録画面62に表示される。この除外人物登録画面により、顧客管理の対象から除外する人物の顔画像と、その人物の属性などに関する情報を登録することができる。
Specifically, when the images of the
除外人物登録画面62には、人物ごとに、顔画像表示部71と、属性表示部72と、コメント表示部73と、が設けられている。顔画像表示部71には、人物の顔画像が表示される。属性表示部72には、顔画像および人物に関する属性(撮影日時、氏名、従業員など)が表示される。コメント表示部73には、職名などのコメントが表示される。
The excluded
また、除外人物登録画面62には、ファイル読込ボタン74、従業員ボタン75、登録顔編集ボタン76および削除ボタン77が設けられている。ファイル読込ボタン74は、別に用意した画像ファイルを読み込むものであり、その画像ファイルに格納された顔画像を用いて除外人物登録が行われる。従業員ボタン75は、従業員を選択する画面を表示させるものであり、従業員として予め登録された人物の中から該当する人物を選択すると、その人物の属性(氏名および従業員)が設定される。登録顔編集ボタン76は、顔画像に対する画像編集を開始させるものである。削除ボタン77は、除外人物登録画面62から不要な人物を削除するものである。なお、属性表示部72およびコメント表示部73では、必要な情報を直接入力することができるようにしてもよい。
The excluded
次に、図8に示した人物照合部42で行われる人物照合処理について説明する。図10は、人物照合部42で行われる人物照合処理の概要を説明する説明図である。
Next, the person verification process performed by the
本実施形態では、出入口から入店する顧客が入店カメラ1aで撮影され、第1の画像取得部31において、人物追跡により入店カメラ1aで撮影された画像から人物が検出されるたびにその人物の顔画像を取得し、この顔画像が顧客情報蓄積部44に蓄積される。これにより、顧客情報蓄積部44には、複数の人物ごとの顔画像が蓄積され、さらに1人の人物に関する複数の顔画像が蓄積される。
In this embodiment, a customer who enters a store from the entrance / exit is photographed by the
一方、出入口から退店する顧客が退店カメラ1cで撮影され、第3の画像取得部33において、人物追跡により退店カメラ1cで撮影された画像から人物が検出されるたびにその人物の顔画像を取得する。そして、人物照合部42において、第3の画像取得部33で取得した顔画像と、顧客情報蓄積部44に蓄積された全ての顔画像との間で人物照合が行われ、この人物照合は、第3の画像取得部33において顔画像を取得するたびに行われる。
On the other hand, a customer who exits from the entrance / exit is photographed by the
人物照合部42では、入店時の複数の顔画像と退店時の複数の顔画像との間で類似度を算出し、類似度が所定のしきい値以上となると、2つの顔画像を同一人物と判断する。
The
このように人物照合部42では、複数の顔画像で人物照合を行うため、誤照合の発生を抑えることができる。すなわち、第1,第3の画像取得部31,33では、必ずしも正面を向いた適切な顔画像を取得することができるとは限らないため、1つの顔画像で人物照合を行うと、誤照合が発生するおそれがあるが、本実施形態では、複数枚の顔画像で人物照合を行うため、人物照合の精度を向上させて、誤照合の発生を抑えることができる。一方、複数枚の顔画像で人物照合を行うと、人物照合の回数が増加するが、人物照合の対象となる顧客、すなわち店舗内に滞在する顧客は数十人程度であり、人物照合の処理負荷はさほど大きくなく、リアルタイムな処理が可能である。
As described above, since the
このようにして人物照合が成功すると、該当する人物の入店時の顔画像のうち、最初に取得した顔画像の撮影時刻を入店時刻とし、該当する人物の退店時の顔画像のうち、最後に取得した顔画像の撮影時刻を退店時刻とする。 If person verification succeeds in this way, the shooting time of the face image acquired first among the face images when the corresponding person enters the store is taken as the store entry time, and the face image when the corresponding person leaves the store The shooting time of the last acquired face image is set as the store closing time.
なお、窓口カメラ1bで撮影されて第2の画像取得部32で取得した窓口利用時の顔画像についても同様の要領で、顧客情報蓄積部44に蓄積された入店時の顔画像との間で人物照合が行われる。
Note that the face image at the time of use of the window acquired by the second
次に、図8に示した集計処理部49での集計結果について説明する。図11および図12は、図1に示したプリンタ8で出力される集計結果を表す帳票を示す説明図である。
Next, a summary result in the
本実施形態では、集計処理部49において、時間計測部45により取得した顧客ごとの店内滞在時間を時間帯(1時間)ごとに集計して、時間帯ごとの店内滞在時間を取得する処理が行われ、これにより図11(A)に示すグラフが表示情報生成部51において生成されてプリンタ8で出力される。この場合、集計処理部49では、顧客ごとに店舗滞在時刻に基づいて、各時間帯で店舗に滞在した顧客を抽出し、その顧客ごとの店内滞在時間を平均することで、時間帯ごとの店内滞在時間を求めればよい。なお、店舗滞在時刻は、入店時刻、退店時刻、およびその間の適宜な時刻とすればよい。
In the present embodiment, the
このグラフにより、店内滞在時間の時間的な推移状況を把握することができる。そして、店内滞在時間は、店内の混雑の程度に応じて変化することから、このグラフにより、店内の混雑状況を把握することができる。 With this graph, it is possible to grasp the temporal transition state of the staying time in the store. Since the in-store stay time changes according to the degree of congestion in the store, the graph shows the congestion status in the store.
また、本実施形態では、集計処理部49において、時間計測部45により取得した顧客ごとの窓口での業務所要時間を時間帯ごとに集計して、時間帯ごとの窓口別の業務所要時間を取得する処理が行われ、これにより図11(B)に示すグラフが表示情報生成部51において生成されてプリンタ8で出力される。この場合、集計処理部49では、顧客ごとの窓口利用時刻に基づいて、各時間帯で各窓口を利用した顧客を抽出し、その顧客ごとの業務所要時間を平均することで、時間帯ごとの窓口別の業務所要時間を求めればよい。なお、窓口利用時刻は、窓口業務の開始時刻、終了時刻、およびその間の適宜な時刻とすればよい。
Further, in the present embodiment, the
このグラフにより、窓口ごとの業務所要時間の時間的な推移状況を把握することができる。そして、窓口ごとの業務所要時間は、窓口ごとの業務効率に応じて変化することから、このグラフにより、窓口ごとの業務効率を把握することができる。 With this graph, it is possible to grasp the temporal transition state of the work required time for each window. The time required for business for each window changes according to the business efficiency for each window, so the graph can grasp the business efficiency for each window.
また、本実施形態では、集計処理部49において、顧客種類判定部46により両替機利用客および即時退店客と判定された顧客を時間帯ごとに集計して、時間帯ごとの両替機利用客および即時退店客の人数を取得する処理が行われ、これにより図12(A),(B)に示すグラフが表示情報生成部51において生成されてプリンタ8で出力される。この場合、集計処理部49では、両替機利用客および即時退店客と判定された顧客のうち、顧客ごとの店舗滞在時刻に基づいて、各時間帯で店舗に滞在した顧客を抽出し、その顧客の人数を時間帯ごとに集計することで、時間帯ごとの両替機利用客および即時退店客の人数を求めればよい。
Moreover, in this embodiment, the
これらのグラフにより、両替機利用客および即時退店客の人数の時間的な推移状況を把握することができる。 With these graphs, it is possible to grasp the temporal transition status of the number of customers using the money changer and the customers who immediately leave the store.
なお、図11および図12に示した例では、集計単位期間を時間帯としたが、集計単位期間を1日、1週間、および1月などとしてもよい。また、本実施形態では、集計結果を表す帳票をプリンタ8で出力するものとしたが、集計結果を表す画面をモニタ7に表示させるようにしてもよい。
In the example shown in FIGS. 11 and 12, the total unit period is a time zone, but the total unit period may be one day, one week, and one month. In the present embodiment, the form representing the total result is output by the
次に、顧客の状態を店員に提示する顧客状態表示画面について説明する。図13は、図1に示したモニタ7に表示される顧客状態表示画面を示す説明図である。図14は、図13に示した顧客状態表示画面の要部を示す説明図である。
Next, a customer status display screen for presenting the customer status to the store clerk will be described. FIG. 13 is an explanatory diagram showing a customer status display screen displayed on the
本実施形態では、表示情報生成部51において、呼び出し待ちの状態にある顧客の顧客情報を一覧表示する顧客状態表示画面に関する表示情報を生成する処理が行われ、図13に示す顧客状態表示画面がモニタ7に表示される。
In the present embodiment, the display
この顧客状態表示画面には、顧客ごとの顧客情報を表示する顧客情報表示部81が並べて設けられている。また、この顧客状態表示画面には、全ての顧客の待ち時間を平均した平均待ち時間が表示される。
The customer status display screen is provided with a customer
顧客情報表示部81は、顧客が存在する場所(待合エリアおよび店舗外)でグループ分けして表示されており、待合エリアの欄には、待合エリアにいると想定される顧客、すなわち店舗に滞在する顧客のうち、呼び出しを受けていない顧客が表示され、店舗外の欄には、店舗外にいる顧客、すなわち役務の提供が不明なまま退店した顧客が表示される。顧客が店舗に入店して登録されると、その顧客に関する顧客情報表示部81が待合エリアの欄に表示され、役務の提供が不明なまま顧客が退店すると、待合エリアの欄から店舗外の欄に顧客情報表示部81が移動し、顧客が店舗に戻ると、店舗外の欄から待合エリアの欄に顧客情報表示部81が移動する。
The customer
なお、一時外出客の他に、両替機利用客や即時退店客の場合も、役務の提供が不明なまま退店した顧客となることから、その顧客に関する顧客情報表示部81は店舗外の欄に表示される。 It should be noted that, in addition to temporary customers, customers who change money machines or customers who immediately leave the store are customers who have left the store without knowing the provision of services. Displayed in the column.
図14(A)に示すように、顧客情報表示部81には、通し番号表示部82と、人物画像表示部83と、待ち時間表示部84と、外出状態表示部85と、接客情報入力表示部86と、削除ボタン87とが設けられている。通し番号表示部82には、顧客登録部43で登録時に顧客に入店順に付与された通し番号が表示される。人物画像表示部83には、顧客登録部43で登録された顧客の顔画像が表示される。待ち時間表示部84には、時間計測部45で取得した待ち時間が表示される。
As shown in FIG. 14A, the customer
外出状態表示部85には、外出に関する状態情報が表示され、具体的には、退店していない場合には空欄となり、退店して店舗内にいない場合には「外出中」の文字が表示され、外出から戻った場合には「外出戻り」の文字が表示される。
The outing
接客情報入力表示部86では、店員による接客行為の実施状況、すなわち店員が実際に行った接客行為が店員により入力され、入力内容に応じた接客行為の実施状況が表示される。
In the customer service information input /
具体的には、図14(B)に示すように、接客情報入力表示部86を操作すると、プルダウンメニューとして、未対応、対応1回、対応2回、および対象外の各選択項目が表示される。この接客情報入力表示部86には、初期状態として「未対応」が表示され、最初に接客行為を行った場合に「対応1回」を選択し、2回目の接客行為を行った場合に「対応2回」を選択する。また、店員が実際に行った接客行為などにより、同伴者であることが判明した場合や、呼び出しを待つ以外の理由で待合エリアにいることが判明した場合には、接客行為の必要のない顧客と判断して「対象外」を選択する。この選択操作に応じて接客情報入力表示部86の表示文字が切り換えられる。
Specifically, as shown in FIG. 14B, when the customer service information
ここで、「対象外」が選択された顧客は、接客要否判定部47で行われる接客要否判定処理の対象外となり、その顧客については、待ち時間が超過したことに関する通知は行われない。
Here, the customer for whom “not applicable” is selected is excluded from the customer service necessity determination process performed by the customer service
また、窓口業務が複数回に分けて行われる場合(図3(B)参照)に、2回目以降の待ち状態を表す選択項目を接客情報入力表示部86に設けるようにしてもよい。このようにすると、呼び出しを2回以上待つ顧客を店員が把握することができる。
In addition, when the window service is performed in a plurality of times (see FIG. 3B), a selection item representing the second and subsequent waiting states may be provided in the customer service information
図14(A)に示したように、削除ボタン87は、手動で顧客の登録を抹消するものであり、この削除ボタン87を操作すると、顧客登録部43で登録抹消処理が実行され、その顧客の顧客情報表示部81が顧客状態表示画面から削除される。この削除ボタン87により手動で顧客の登録を抹消する場合としては、接客行為の対象外の人物、すなわち同伴者などの接客行為の必要のない人物の場合、何等かの誤った処理で同一人物が重複して登録された場合、ならびに未登録の店員が顧客として登録された場合などである。
As shown in FIG. 14A, the
また、誤操作により誤って顧客の登録が抹消されることを避けるため、削除ボタン87を操作すると、確認画面がポップアップで表示され、その確認画面でOKボタンを操作すると、削除が確定するようにするとよい。また、接客情報入力表示部86で「対象外」を選択した人物のみを削除することができるようにしてもよい。
In addition, in order to avoid accidentally deleting the customer registration due to an erroneous operation, if the
なお、人物照合部42により役務の提供が完了したことが検知された顧客については、自動的に顧客登録部43で登録抹消処理が実行され、その顧客の顧客情報表示部81が顧客状態表示画面から削除される。
In addition, about the customer from whom the provision of service was detected by the person collation
また、図13に示した顧客状態表示画面では、接客要否判定部47において、待ち時間が基準時間を超えて、接客行為、すなわち、長時間待たせていることを詫びる旨の声掛けが必要と判断された顧客を店員に通知するため、該当する顧客の顧客情報表示部81が強調表示される。特にここでは、顧客情報表示部81が反転表示される。なお、顧客情報表示部81を反転表示させる他に、顧客情報表示部81の表示色を変更するようにしてもよい。また、接客行為を促すメッセージをポップアップで表示するようにしてもよい。
Further, in the customer status display screen shown in FIG. 13, the customer service
また、図13に示した顧客状態表示画面では、接客情報入力表示部86の入力内容(未対応、対応1回、対応2回、および対象外)に応じて、接客情報入力表示部86の表示文字とともに顧客情報表示部81の表示色が変更される。
Further, in the customer status display screen shown in FIG. 13, the display of the customer service information
以上のように、本実施形態では、顧客情報管理部34により、役務の提供に係る顧客の状態を取得することができ、さらに、カメラ1a〜1cにより撮影された人物画像のみで顧客の状態を取得することができ、受付番号札に依存しないことから、受付番号札を受け取らない顧客など、通常の行動とは異なる変則的な行動をとる顧客の状態の情報をも取得することができ、これにより、店舗に来店した顧客の状態を漏れなくユーザが把握することができる。
As described above, in the present embodiment, the customer
また、本実施形態では、時間計測部45において、人物照合部42により検知された顧客の状態、および人物画像の撮影時刻に基づき、顧客の状態に関する経過時間を顧客ごとに計測するようにしたため、顧客の状態に関する経過時間をユーザが把握することができる。これにより、店舗内の混雑状態や、役務の提供に係る業務の効率などを評価することができる。
In the present embodiment, the
また、本実施形態では、時間計測部45において、経過時間として、顧客が入場してから退場するまでに要した場内滞在時間を顧客ごとに計測するようにしたため、顧客ごとの場内滞在時間をユーザが把握することができる。
Further, in the present embodiment, the
また、本実施形態では、時間計測部45において、経過時間として、役務の提供に関する業務を開始してから終了するまでに要した業務所要時間を顧客ごとに計測するようにしたため、顧客ごとの業務所要時間をユーザが把握することができる。そして、顧客ごとの業務所要時間を、業務を行う窓口ごとに集計して、窓口ごとの業務所要時間を取得すると、窓口ごとの業務効率などを評価することができる。
In the present embodiment, the
また、本実施形態では、集計処理部19において、時間計測部45により取得した顧客ごとの経過時間を集計して、所定期間ごとの経過時間に関する顧客情報を生成するようにしたため、所定期間ごとの経過時間をユーザが把握することができる。そして、所定期間ごとの経過時間を時系列で並べて表示するようにすれば、経過時間の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の経過時間を対比可能に並べて表示するようにすれば、経過時間の日時による違いをユーザが簡単に把握することができる。
In the present embodiment, the total processing unit 19 totals the elapsed time for each customer acquired by the
また、本実施形態では、顧客種類判定部46において、人物照合部42により検知された顧客の状態に基づき、顧客の種類(窓口利用客、両替機利用客、即時退店客および一時外出客)を判定するようにしたため、顧客の種類をユーザが把握することができる。
In the present embodiment, the customer
また、本実施形態では、顧客種類判定部46において、人物照合部42により、役務の提供が不明な顧客が退場したことが検知されるとともに、その顧客が再度入場したことが検知されると、その顧客を、施設から一時的に外出した一時外出客と判定するようにしたため、一時外出客をユーザが把握することができる。
In the present embodiment, in the customer
また、本実施形態では、時間計測部45において、人物画像の撮影時刻に基づき、顧客が入場してから退場するまでに要した場内滞在時間を顧客ごとに計測し、顧客種類判定部46において、時間計測部による計測結果に基づき、顧客の種類を判定するようにしたため、人物画像間の人物照合のみで判定することができない顧客の種類を判別することができる。
Further, in the present embodiment, the
また、本実施形態では、顧客種類判定部46において、人物照合部42により、役務の提供が不明な顧客が退場したことが検知されるとともに、時間計測部45による場内滞在時間が所定時間以内である場合に、その顧客を、入場した後に役務の提供を受けないまま直ちに退場した即時退場客と判定するようにしたため、即時退場客をユーザが把握することができる。
Moreover, in this embodiment, in the customer
また、本実施形態では、顧客種類判定部46において、人物照合部42により、役務の提供が不明な顧客が退場したことが検知されるとともに、時間計測部45による場内滞在時間が所定時間を超える場合に、その顧客を、顧客の操作に応じて役務の提供を行う両替機などを利用したセルフ機利用客と判定するようにしたため、セルフ機利用客をユーザが把握することができる。
Moreover, in this embodiment, in the customer
また、本実施形態では、集計処理部49において、顧客種類判定部46により取得した顧客ごとの種類を集計して、所定期間ごとの種類別の顧客の人数を取得するようにしたため、所定期間ごとの種類別の顧客の人数をユーザが把握することができる。そして、所定期間ごとの種類別の顧客の人数を時系列で並べて表示するようにすれば、種類別の顧客の人数の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の種類別の顧客の人数を対比可能に並べて表示するようにすれば、種類別の顧客の人数の日時による違いをユーザが簡単に把握することができる。
Further, in the present embodiment, the
また、本実施形態では、人物照合部42により検知された顧客の状態に関する顧客情報をリアルタイムでユーザに提示するようにしたため、役務の提供待ちの状態にある顧客、すなわち接客行為が必要とされる顧客の状態を店員が漏れなく把握することができる。これにより、店員が必要な接客行為を行い、また、顧客が役務の提供を受けないまま放置されることを避けることができるため、顧客の満足度を向上させることができる。
Further, in the present embodiment, since customer information related to the customer state detected by the
(第2実施形態)
次に、第2実施形態に係る顧客管理システムについて説明する。なお、ここで特に言及しない点は前記の第1実施形態と同様である。図15は、店舗のレイアウト、カメラ1a〜1cの設置状況、および顧客の状態を説明する店舗の平面図である。図16は、PC3で行われる顧客管理処理の概要を説明する説明図である。
(Second Embodiment)
Next, a customer management system according to the second embodiment will be described. The points not particularly mentioned here are the same as those in the first embodiment. FIG. 15 is a plan view of the store explaining the store layout, the installation status of the
この第2実施形態では、図15に示すように、両替機22を利用する顧客を撮影する両替機カメラ1dが設置されている。
In the second embodiment, as shown in FIG. 15, a
この場合、図16に示すように、顧客が出入口から入店すると、その顧客が入店カメラ1aで撮影され、その撮影画像から検出された人物が顧客として登録される。そして、顧客が両替機22で両替を行うと、その顧客が両替機カメラ1dで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、顧客が両替機22を利用したこと、すなわち役務の提供が完了したことが検知されて、該当する顧客の顧客情報が更新される。
In this case, as shown in FIG. 16, when a customer enters the store from the entrance, the customer is photographed by the
そして、顧客が両替機22で両替を済ませて出入口から退店すると、その顧客が退店カメラ1cで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、役務の提供が完了した顧客が退店したことが検知されて、顧客の登録が抹消される。
When the customer completes the exchange with the
このように第2実施形態では、顧客が両替機22を利用したことが両替機カメラ1dの映像で検知されるため、より一層精度良く両替機利用客を判別することができる。また、第1実施形態では、顧客が退店した時点では両替機利用客と一時外出客との判別ができないが、第2実施形態では、顧客が退店した時点で両替機利用客を判別することができる。
As described above, in the second embodiment, since the fact that the customer has used the
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る利用者管理装置、利用者管理システムおよび利用者管理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。 As mentioned above, although this invention was demonstrated based on specific embodiment, these embodiment is an illustration to the last, Comprising: This invention is not limited by these embodiment. In addition, all the components of the user management apparatus, the user management system, and the user management method according to the present invention described in the above embodiment are not necessarily essential, and at least as long as they do not depart from the scope of the present invention. It is possible to choose.
例えば、本実施形態では、銀行などの金融機関の例について説明したが、発券機で利用者に受付番号札を発行する施設、例えば携帯電話ショップ、旅行会社、調剤薬局、病院などの医療施設、百貨店、官公庁、およびイベント会場などに広く適用することができる。また、本実施形態では、銀行などの金融機関の例で利用者に役務を提供するものとしたが、商品などの物品を利用者に提供する店舗などに適用することも可能である。 For example, in this embodiment, an example of a financial institution such as a bank has been described. However, a facility that issues a receipt number tag to a user with a ticketing machine, such as a mobile phone shop, a travel agency, a dispensing pharmacy, a medical facility such as a hospital, It can be widely applied to department stores, government offices, and event venues. In this embodiment, the service is provided to the user in an example of a financial institution such as a bank. However, the present invention can also be applied to a store that provides an article such as a product to the user.
また、本実施形態では、セルフ機(セルフサービス型の役務提供装置)として両替機を設けたが、ATM(automated teller machine)など、この他の装置であってもよい。ATMは通常専用のエリアに設置されているが、窓口を利用する顧客が滞在するエリア(ロビー)内に設置されることもある。 In the present embodiment, the money changer is provided as a self machine (self-service type service providing device), but other devices such as an ATM (automated teller machine) may be used. The ATM is usually installed in a dedicated area, but it may be installed in an area (lobby) where customers who use the counter stay.
また、本実施形態では、発券機から受付番号札を受け取る顧客をカメラで撮影しないようにしたが、このような顧客を撮影する発券機カメラを設置するようにしてもよい。また、発券機は出入口の近傍に設置されるため、入店カメラ1aにより、出入口から入店する顧客とともに、発券機で受付番号札を受け取る顧客も撮影するようにしてもよい。
In this embodiment, the customer who receives the receipt number tag from the ticketing machine is not photographed by the camera. However, a ticketing machine camera that photographs such a customer may be installed. Further, since the ticket issuing machine is installed in the vicinity of the entrance / exit, the
また、本実施形態では、第1の画像取得部31において、入店カメラ1aにより入店する顧客を撮影した人物画像を取得するようにしたが、この第1の画像取得部31では、入店してから受付番号札を受け取るまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得すればよい。なお、両替機利用客を対象とする場合には、発券機を利用しないため、少なくとも店舗に入店する時点で利用者を撮影した人物画像を取得する必要がある。
In the present embodiment, the first
また、本実施形態では、第2の画像取得部32において、窓口カメラ1bにより窓口に現れた顧客を撮影した人物画像を取得するようにしたが、この第2の画像取得部32では、受付番号による呼び出しを受けてから役務の提供が終了するまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得すればよい。これにより、顧客に役務を提供する業務が実施されたことを検知することができる。
In the present embodiment, the second
また、本実施形態では、第1〜第3の画像取得部31〜33をPC3に設けたが、PC3とは別に画像取得装置を設けることも可能である。また、この画像取得装置をカメラ1a〜1cに一体化して画像取得機能付きカメラとして構成することも可能である。
In the present embodiment, the first to third
また、本実施形態では、PC3で人物追跡処理を行うものとしたが、この人物追跡処理をPC3とは別の装置で構成することも可能である。また、人物追跡の機能をカメラ1a〜1cに実装して人物追跡機能付きカメラとして構成することも可能である。
In the present embodiment, the person tracking process is performed by the
また、本実施形態では、顧客管理に必要な処理を、店舗に設けられたPC3に行わせるようにしたが、この必要な処理を、図1に示したように、本部に設けられたPC11や、クラウドコンピューティングシステムを構成するクラウドコンピュータ12に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で顧客管理システムが構成される。
Further, in the present embodiment, processing necessary for customer management is performed by the
このような構成では、顧客管理に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたPC3などに行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたPC11に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
In such a configuration, it is preferable to cause the
また、顧客管理に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ12に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側の装置に高速な処理能力が不要となり、ユーザが負担するコストを軽減することができる。
Further, among the processes necessary for customer management, at least a process with a large calculation amount, for example, a person detection process may be performed by the
また、クラウドコンピュータ12に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも表示情報生成処理をクラウドコンピュータ12に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたPC3,11の他に、スマートフォン13やタブレット端末14などの携帯型端末でも顧客情報を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で顧客の状態を確認することができる。
In addition, the
また、本実施形態では、店舗に設置されたPC3に顧客管理に必要な処理を行わせるとともに、PC3のモニタ7にGUIの画面を表示させて、PC3で必要な入力および出力を行うようにしたが、顧客管理に必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたPC11やタブレット端末14などの携帯型端末で必要な入力および出力を行うようにしてもよい。特に、タブレット端末14などの携帯型端末を、接客を専門に担当する店員などが閲覧および入力操作を行うことができるように、店員に所持させ、あるいは店舗の適宜な場所に設置するようにすると、利便性を高めることができる。
In the present embodiment, the
本発明にかかる利用者管理装置、利用者管理システムおよび利用者管理方法は、施設に来場した利用者の状態を漏れなくユーザが把握することができる効果を有し、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者の状態を管理する利用者管理装置、利用者管理システムおよび利用者管理方法などとして有用である。 The user management device, the user management system, and the user management method according to the present invention have the effect that the user can grasp the state of the user who has visited the facility without omission, and in order based on the reception number It is useful as a user management device, a user management system, a user management method, and the like for managing the state of a user who has visited at a facility that provides services or goods to the user.
1a 入店カメラ
1b 窓口カメラ
1c 退店カメラ
1d 両替機カメラ
2 レコーダ
3 PC
6 入力デバイス
7 モニタ
8 プリンタ
11 PC
12 クラウドコンピュータ
13 スマートフォン
14 タブレット端末
21 発券機(番号札発行部、番号札発行装置)
22 両替機(セルフ機)
31 第1の画像取得部
32 第2の画像取得部
33 第3の画像取得部
34 顧客情報管理部(利用者情報管理部)
35 入出力制御部
41 除外人物登録部
42 人物照合部
43 顧客登録部
44 顧客情報蓄積部
45 時間計測部
46 顧客種類判定部(利用者種類判定部)
49 集計処理部
51 表示情報生成部(利用者情報提示部)
6
12
22 Currency exchange machine (self-machine)
31 1st
35 Input /
49
Claims (12)
来場した利用者に受付番号札を発行する番号札発行部と、
前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得する第1の画像取得部と、
前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第2の人物画像を取得する第2の画像取得部と、
少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得する第3の画像取得部と、
利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、
この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、
を備え、
前記利用者情報管理部は、
前記第1、第2および第3の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、
前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成することを特徴とする利用者管理装置。 A user management device that displays a person image of a user who has visited at a facility that provides services or goods to a user in order based on a reception number, and enables browsing of the state of each user,
A number tag issuing unit that issues a reception number tag to visitors,
A first image acquisition unit that acquires a plurality of first person images obtained by photographing a user at least at any point in time from entering the facility to receiving the receipt number tag;
A second image acquisition unit that acquires a plurality of second person images obtained by photographing the user at least at any point in time from when the call by the reception number is received until the provision of the service or the article is completed;
A third image acquisition unit that acquires a plurality of third person images taken of the user at least when leaving the facility;
A user information management unit that generates and manages status display information including user images for each user ;
A user information presentation unit for presenting the state display information generated by the user information management unit to a user;
With
The user information management unit
A person collation unit that performs person collation a plurality of times between the first, second, and third person images, and a user type determination unit that determines the type of user,
According to the collation result by the person collation unit, the state of the user related to the provision of the service or the article is detected, the type of the user is determined based on the detected state of the user, and the group is determined according to the type. A user management apparatus that generates the state display information displayed separately .
前記人物照合部により検知された利用者の状態、および前記人物画像の撮影時刻に基づき、利用者の状態に関する経過時間を利用者ごとに計測する時間計測部をさらに備えたことを特徴とする請求項1に記載の利用者管理装置。 The user information management unit
The apparatus further comprises a time measuring unit that measures an elapsed time relating to the user state for each user based on the user state detected by the person verification unit and the photographing time of the person image. Item 2. The user management apparatus according to Item 1.
前記時間計測部により取得した前記利用者ごとの経過時間を集計して、所定期間ごとの経過時間を取得する集計処理部をさらに備えたことを特徴とする請求項2から請求項4のいずれかに記載の利用者管理装置。 The user information management unit
5. The data processing apparatus according to claim 2, further comprising a totalization processing unit that totals the elapsed time for each user acquired by the time measurement unit and acquires the elapsed time for each predetermined period. The user management device described in 1.
前記人物画像の撮影時刻に基づき、利用者が入場してから退場するまでに要した場内滞在時間を利用者ごとに計測する時間計測部を備え、
前記利用者種類判定部は、前記時間計測部による計測結果に基づき、前記利用者の種類を判定することを特徴とする請求項1に記載の利用者管理装置。 The user information management unit
Based on the shooting time of the person image, a time measuring unit that measures the staying time in the hall required for the user to enter and leave after entering,
The user management apparatus according to claim 1 , wherein the user type determination unit determines the type of the user based on a measurement result by the time measurement unit.
前記利用者種類判定部により取得した利用者ごとの種類を集計して、所定期間ごとの種類別の利用者の人数を取得する集計処理部をさらに備えたことを特徴とする請求項6から請求項9のいずれかに記載の利用者管理装置。 The user information management unit
Aggregate the type of each user obtained by the user type determining unit, wherein the claim 6, further comprising a counting processing unit for acquiring the number of Type of user for each predetermined period Item 10. The user management apparatus according to any one of Items 9 .
前記施設に設置されたカメラと、
来場した利用者に受付番号札を発行する番号札発行装置と、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記カメラにより前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得する第1の画像取得部と、
前記カメラにより前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第2の人物画像を取得する第2の画像取得部と、
前記カメラにより少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得する第3の画像取得部と、
利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、
この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、
を備え、
前記利用者情報管理部は、
前記第1、第2および第3の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、
前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成することを特徴とする利用者管理システム。 A user management system that displays a person image of a user who has visited at a facility that provides services or goods to a user in order based on a reception number, and enables browsing of the state of each user,
A camera installed in the facility;
A number tag issuing device that issues a reception number tag to visitors,
A plurality of information processing devices;
Have
Any of the plurality of information processing devices
A first image acquisition unit that acquires a plurality of first person images obtained by photographing a user at least at any time from entering the facility with the camera and receiving the receipt number tag;
A second image acquisition unit that acquires a plurality of second person images obtained by photographing the user at least at any point in time from when the call by the receipt number is received by the camera to when the provision of the service or the article ends. When,
A third image acquisition unit that acquires a plurality of third person images obtained by photographing the user at least at the time of leaving the facility by the camera;
A user information management unit that generates and manages status display information including user images for each user ;
A user information presentation unit for presenting the state display information generated by the user information management unit to a user;
With
The user information management unit
A person collation unit that performs person collation a plurality of times between the first, second, and third person images, and a user type determination unit that determines the type of user,
According to the collation result by the person collation unit, the state of the user related to the provision of the service or the article is detected, the type of the user is determined based on the detected state of the user, and the group is determined according to the type. A user management system characterized by generating the status display information displayed separately .
来場した利用者に受付番号札を発行するステップと、
前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第1の人物画像を取得するステップと、
前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第2の人物画像を取得するステップと、
少なくとも前記施設から退場する時点で利用者を撮影した複数の第3の人物画像を取得するステップと、
利用者ごとの利用者画像を含む状態表示情報を生成して管理するステップと、
このステップで生成した前記状態表示情報をユーザに提示するステップと、
を備え、
前記状態表示情報を生成して管理するステップでは、
前記第1、第2および第3の人物画像の間で複数回の人物照合を行うステップと、利用者の種類を判定するステップと、を有し、
前記人物照合の結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成することを特徴とする利用者管理方法。 Use of an information processing device to display a person image of a user who has visited a facility that provides services or goods to the user in order based on the reception number, and to make it possible to view the status of each user Management method,
Issuing a receipt number tag to the visiting user;
Acquiring a plurality of first person images taken of a user at least at any time from entering the facility to receiving the receipt number tag;
Acquiring a plurality of second person images obtained by photographing a user at least at any point in time from receiving the call by the receipt number to ending provision of the service or article;
Obtaining a plurality of third person images taken of the user at least when leaving the facility;
Generating and managing status display information including user images for each user ;
Presenting the state display information generated in this step to a user;
Equipped with a,
In the step of generating and managing the status display information ,
Performing a plurality of person verifications between the first, second and third person images, and determining a type of user,
According to the result of the person verification, the state of the user related to the provision of the service or the article is detected, the type of the user is determined based on the detected state of the user, and the user is grouped according to the type. The user management method, wherein the status display information displayed is displayed .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119296A JP6241666B2 (en) | 2014-06-10 | 2014-06-10 | User management device, user management system, and user management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119296A JP6241666B2 (en) | 2014-06-10 | 2014-06-10 | User management device, user management system, and user management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015232791A JP2015232791A (en) | 2015-12-24 |
JP6241666B2 true JP6241666B2 (en) | 2017-12-06 |
Family
ID=54934196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014119296A Active JP6241666B2 (en) | 2014-06-10 | 2014-06-10 | User management device, user management system, and user management method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6241666B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021002105A (en) * | 2019-06-20 | 2021-01-07 | Kddi株式会社 | Information processing device and combination specifying method |
US12100219B2 (en) * | 2022-08-03 | 2024-09-24 | Safie Inc. | Generating images or timelines based on user-configured thresholds for number of people and staying time in target area |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109416814A (en) * | 2016-06-22 | 2019-03-01 | 劳雷尔精机株式会社 | Window receiving system and service robot |
US20190147251A1 (en) | 2017-11-15 | 2019-05-16 | Canon Kabushiki Kaisha | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium |
JP7097721B2 (en) * | 2017-11-15 | 2022-07-08 | キヤノン株式会社 | Information processing equipment, methods and programs |
JP2019185714A (en) * | 2018-03-30 | 2019-10-24 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing system, control method of information processing apparatus, and program |
JP7161348B2 (en) * | 2018-08-31 | 2022-10-26 | 旭化成ホームズ株式会社 | Customer service system |
JP2022054282A (en) * | 2020-09-25 | 2022-04-06 | グローリー株式会社 | Management system, management device, and program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07249138A (en) * | 1994-03-09 | 1995-09-26 | Nippon Telegr & Teleph Corp <Ntt> | Residence time measuring method |
JP4374759B2 (en) * | 2000-10-13 | 2009-12-02 | オムロン株式会社 | Image comparison system and image comparison apparatus |
JP5017873B2 (en) * | 2006-02-07 | 2012-09-05 | コニカミノルタホールディングス株式会社 | Personal verification device and personal verification method |
JP2009163417A (en) * | 2007-12-28 | 2009-07-23 | Glory Ltd | Automatic reception system |
JP5260233B2 (en) * | 2008-10-29 | 2013-08-14 | 三菱電機インフォメーションシステムズ株式会社 | TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM |
JP5356615B1 (en) * | 2013-02-01 | 2013-12-04 | パナソニック株式会社 | Customer behavior analysis device, customer behavior analysis system, and customer behavior analysis method |
-
2014
- 2014-06-10 JP JP2014119296A patent/JP6241666B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021002105A (en) * | 2019-06-20 | 2021-01-07 | Kddi株式会社 | Information processing device and combination specifying method |
JP7083788B2 (en) | 2019-06-20 | 2022-06-13 | Kddi株式会社 | Information processing device and combination identification method |
US12100219B2 (en) * | 2022-08-03 | 2024-09-24 | Safie Inc. | Generating images or timelines based on user-configured thresholds for number of people and staying time in target area |
Also Published As
Publication number | Publication date |
---|---|
JP2015232791A (en) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6241666B2 (en) | User management device, user management system, and user management method | |
US10115140B2 (en) | Customer management device, customer management system and customer management method | |
JP5796228B2 (en) | Accounting work support apparatus, accounting work support system, and accounting work support method | |
JP5866522B2 (en) | Facility management support apparatus, facility management support system, and facility management support method | |
JP5438859B1 (en) | Customer segment analysis apparatus, customer segment analysis system, and customer segment analysis method | |
JP4991440B2 (en) | Product sales apparatus, product sales management system, product sales management method and program | |
US20160300181A1 (en) | Product monitoring device, product monitoring system, and product monitoring method | |
EP2854081A1 (en) | Stay duration measurement device, stay duration measurement system and stay duration measurement method | |
JP6098981B2 (en) | Accounting work support apparatus, accounting work support system, and accounting work support method | |
JP5866542B1 (en) | Facility management support apparatus, facility management support system, and facility management support method | |
EP2763086A1 (en) | Customer service status analysis device, customer service status analysis system and customer service status analysis method | |
JP2015111431A (en) | Computer system and method of managing store aisle | |
JP2016206782A (en) | Client behavior analysis device, client behavior analysis system, and client behavior analysis method | |
JP5780348B1 (en) | Information presentation program and information processing apparatus | |
JP2010181920A (en) | Area management system | |
JP2017102846A (en) | Customer servicing evaluation device and customer servicing evaluation method | |
JP2015141563A (en) | Device for monitoring employee's work, system for monitoring employee's work, and method for monitoring employee's work | |
CN110709857A (en) | Apparatus, method and program for managing number of people | |
JP6024933B2 (en) | Clerk work management device, clerk work management system, and clerk work management method | |
JP2020004202A (en) | Customer information management device, customer information management system, customer information management method, and customer information management program | |
JP3211316U (en) | Information provision system | |
JP2010277454A (en) | Automatic reception system | |
JP6587479B2 (en) | POS-linked store monitoring system | |
KR101281846B1 (en) | Smart front system | |
JP6912094B2 (en) | Store management system and management server |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170822 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171025 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6241666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |