KR101402497B1 - Apparatus and method for point of sales with customer identification - Google Patents

Apparatus and method for point of sales with customer identification Download PDF

Info

Publication number
KR101402497B1
KR101402497B1 KR1020130006418A KR20130006418A KR101402497B1 KR 101402497 B1 KR101402497 B1 KR 101402497B1 KR 1020130006418 A KR1020130006418 A KR 1020130006418A KR 20130006418 A KR20130006418 A KR 20130006418A KR 101402497 B1 KR101402497 B1 KR 101402497B1
Authority
KR
South Korea
Prior art keywords
information
module
pos
identification information
purchaser
Prior art date
Application number
KR1020130006418A
Other languages
Korean (ko)
Inventor
임영석
이영희
이정헌
이인권
이정민
최찬석
한신동
Original Assignee
주식회사 비지에프리테일
주식회사 세중아이에스
한국후지쯔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비지에프리테일, 주식회사 세중아이에스, 한국후지쯔 주식회사 filed Critical 주식회사 비지에프리테일
Priority to KR1020130006418A priority Critical patent/KR101402497B1/en
Application granted granted Critical
Publication of KR101402497B1 publication Critical patent/KR101402497B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R13/00—Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
    • H01R13/73—Means for mounting coupling parts to apparatus or structures, e.g. to a wall
    • H01R13/74—Means for mounting coupling parts in openings of a panel
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R13/00—Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
    • H01R13/44—Means for preventing access to live contacts
    • H01R13/447—Shutter or cover plate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R13/00—Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
    • H01R13/66—Structural association with built-in electrical component
    • H01R13/717—Structural association with built-in electrical component with built-in light source
    • H01R13/7175—Light emitting diodes (LEDs)

Abstract

An apparatus for managing point of sales (POS) includes: a POS module which receives information related to a product sale for a purchaser; and a customer identification module which obtains one or more identification information related to the purchaser. The customer identification module includes: a photographing unit which photographs an image; a control unit which controls the photographing unit to obtain the image information of the purchaser in response to the predetermined operation of the POS module; and an image processing unit which extracts one or more identification information about the purchaser from the image information.

Description

객층 인식 기능을 구비한 판매 시점 관리 장치 및 방법{APPARATUS AND METHOD FOR POINT OF SALES WITH CUSTOMER IDENTIFICATION}[0001] APPARATUS AND METHOD FOR POINT OF SALES WITH CUSTOMER IDENTIFICATION [0002]

실시예들은 객층 인식 기능을 구비한 판매 시점 관리 장치(Point Of Sales; POS) 및 방법에 대한 것이며, 나아가 상기 POS 장치를 포함하는 POS 시스템에 관한 것이다. Embodiments relate to point of sale (POS) and method with an object recognition function, and further to POS system including the POS device.

컴퓨터, 전자 및 통신 기술이 비약적으로 발전함에 따라 유무선 통신망을 이용한 통신 서비스가 발달하고 있다. 특히 이동 통신 단말기가 급속도로 보급되면서, 기존의 유선 통신망을 이용한 통신 서비스뿐만 아니라 무선 통신망을 이용한 통신 서비스가 다양화되고 있다. 그리고 TCP/IP(Transmission Control Protocol/Internet Protocol)를 기반으로 하는 인터넷(Internet) 등의 온라인(On-Line) 환경에서 각종 상품을 구매하고 결제할 수 있을 뿐만 아니라 판매 내역을 관리할 수 있는 전자상거래 관련 시스템 개발이 급속도로 이루어지고 있다. 따라서, 이동 통신 환경에서도 이동 통신 단말기의 사용자들이 무선 통신망을 통해 인터넷 결제 및 전자상거래 서비스를 적극적으로 이용하는 추세이다.As the computer, electronic and communication technologies have developed dramatically, communication services using wired / wireless communication networks have been developed. Particularly, with the rapid spread of mobile communication terminals, communication services using wireless communication networks as well as communication services using existing wired communication networks are diversifying. In addition, it is possible to purchase and settle various commodities in an on-line environment such as the Internet based on TCP / IP (Transmission Control Protocol / Internet Protocol) Related systems are being developed rapidly. Accordingly, users of mobile communication terminals are actively using Internet payment and electronic commerce services through a wireless communication network even in a mobile communication environment.

한편, 온라인 환경에서 매장에서 판매한 상품의 내역을 관리하는 시스템으로 판매 시점 관리(Point Of Sales; POS) 시스템이 있다. POS 시스템은 금전등록기와 컴퓨터 단말기의 기능을 결합한 시스템으로 상품 판매 매장에서 상품의 판매와 동시에 실시간으로 상품의 품목, 가격, 수량 등의 판매 정보를 컴퓨터에 입력시켜 이를 분석하고 활용할 수 있는 관리 시스템이다. POS 시스템을 사용하면, 상품의 판매 흐름을 단위 품목별로 파악할 수 있고 상품의 판매 경향과 시간대, 매출 부진 상품 등을 세부적으로 파악할 수 있기 때문에, 재고를 적정 수준으로 유지하고, 잘 팔리는 상품의 진열을 확대하는 등 상품 관리 및 업무 자동화를 달성할 수 있다.On the other hand, there is a point of sale (POS) system as a system for managing the details of products sold in stores in an online environment. The POS system is a system that combines the functions of a cash register and a computer terminal. It is a management system that enables users to input sales information such as items, prices, . POS system enables us to understand the sales flow of products by each item, and to understand the sales trends of products, time of day, and items with poor sales, so we can keep inventory at an appropriate level, Product management and business automation can be achieved.

한편, 이러한 POS 시스템을 카메라와 결합하여 사용하는 기술로서, 공개특허공보 제10-2003-0076038호는 POS 데이터와 카메라의 영상을 함께 저장하는 시스템을 개시한다. 그러나, 공개특허공보 제10-2003-0076038호에 개시된 기술은 POS 시스템에 결합된 카메라를 단지 폐쇄 회로 텔레비전(closed circuit television; CCTV)과 같은 감시 용도로 사용하는 것에 불과하여, 카메라에 의한 영상과 POS 데이터를 연계하여 사용하는 것이 아니라는 점에서 한계를 갖는다. Meanwhile, as a technique of using such a POS system in combination with a camera, Japanese Unexamined Patent Application Publication No. 10-2003-0076038 discloses a system for storing POS data and camera images together. However, the technique disclosed in Japanese Patent Application Laid-Open No. 10-2003-0076038 only uses a camera coupled to the POS system for surveillance purposes such as closed circuit television (CCTV) POS data are not used in conjunction with each other.

공개특허공보 제10-2003-0076038호Japanese Patent Application Laid-Open No. 10-2003-0076038

본 발명의 일 측면에 따르면, 상품을 구매하는 구매자의 성별 및/또는 연령 등을 인식하고, 인식된 성별 및/또는 연령 등을 데이터베이스화하여 저장할 뿐만 아니라 상품 관련 피드백(feedback) 및 광고에 활용할 수 있는, 객층 인식 기능을 구비한 판매 시점 관리(Point Of Sales; POS) 장치 및 방법을 제공할 수 있다. According to an aspect of the present invention, it is possible to recognize the gender and / or the age of a purchaser who purchases a product, store the recognized gender and / or age in a database, A point of sale (POS) device and method having an object-level recognition function can be provided.

일 실시예에 따른 판매 시점 관리(Point Of Sales; POS) 장치는, 구매자에 대한 상품 판매에 관련된 정보를 입력받는 POS 모듈; 상기 POS 모듈에 연결되며, 상기 구매자에 관련된 하나 이상의 식별 정보를 획득하도록 구성된 객층 인식 모듈을 포함할 수 있다. 상기 객층 인식 모듈은, 이미지를 촬영하기 위한 촬영부; 상기 POS 모듈의 미리 결정된 동작에 대한 응답으로 상기 구매자의 이미지 정보를 획득하도록 상기 촬영부를 제어하는 제어부; 및 상기 이미지 정보로부터 상기 구매자에 대한 하나 이상의 식별 정보를 추출하는 이미지 처리부를 포함할 수 있다.A point-of-sale (POS) device according to one embodiment includes a POS module that receives information related to merchandise sales to a purchaser; And an object recognition module connected to the POS module and configured to obtain one or more pieces of identification information related to the purchaser. The client-side recognition module includes: an imaging unit for imaging an image; A control unit for controlling the photographing unit to obtain image information of the purchaser in response to a predetermined operation of the POS module; And an image processing unit for extracting one or more pieces of identification information for the purchaser from the image information.

일 실시예에 따른 POS 시스템은, 전술한 POS 장치와 이를 통해 산출된 하나 이상의 식별 정보를 저장하는 데이터베이스를 포함할 수 있다. 또한, POS 시스템은 하나 이상의 식별 정보를 이용하여 구매자에게 광고 정보를 제공하는 광고 제공 서버를 포함할 수도 있다. The POS system according to an embodiment may include the above-described POS device and a database storing one or more pieces of identification information calculated thereby. In addition, the POS system may include an advertisement providing server that provides advertisement information to the buyer using one or more pieces of identification information.

일 실시예에 따른 POS 방법은, POS 모듈이 구매자에 대한 상품 판매에 관련된 정보를 수신하는 단계; 상기 POS 모듈에 연결된 객층 인식 모듈에 의해, 상기 POS 모듈의 미리 결정된 동작에 대한 응답으로 상기 구매자의 이미지 정보를 획득하는 단계; 및 상기 이미지 정보로부터 상기 구매자에 대한 하나 이상의 식별 정보를 산출하는 단계를 포함할 수 있다. The POS method according to one embodiment includes the steps of: the POS module receiving information related to merchandise sales to a buyer; Acquiring image information of the purchaser in response to a predetermined operation of the POS module by an ATM module connected to the POS module; And calculating one or more pieces of identification information for the buyer from the image information.

본 발명의 일 측면에 따른 판매 시점 관리(Point Of Sales; POS) 장치 및 방법에 의하면, POS 모듈에 결합된 객층 인식 모듈에 의하여 상품을 구매하는 구매자의 성별 및/또는 연령 등 식별 정보를 산출할 수 있다. 산출된 식별 정보는 구매자의 고객 정보 또는 영수증 정보 등과 연계하여 데이터베이스에 저장될 수 있으며, 상품 관련 피드백(feedback) 또는 광고에 활용될 수도 있다. According to the point of sale (POS) device and method according to one aspect of the present invention, the identification information such as the gender and / or the age of a purchaser purchasing a product by the customer-level recognition module coupled to the POS module is calculated . The calculated identification information may be stored in the database in connection with the buyer's customer information or receipt information, and may be used for product-related feedback or advertisement.

전술한 객층 인식 모듈은 POS 장치에의 적용에 적합하도록 최적화된 구성을 가짐으로써, 저사양의 POS 장치에서 활용될 수 있도록 부하를 줄이고, 데이터 손실을 최소화하기 위한 분류(classification) 알고리즘을 적용함으로써 인식률을 높이며, 카메라가 장시간 사용되지 않는 경우 운영 체제에 의하여 카메라가 강제적으로 비활성화되는 것을 방지할 수 있는 이점이 있다. The above-described object recognition module has an optimized configuration suitable for application to a POS device, thereby reducing the load to be utilized in low-end POS devices and applying a classification algorithm for minimizing data loss, There is an advantage that the camera can be forcibly deactivated by the operating system when the camera is not used for a long time.

도 1은 일 실시예에 따른 판매 시점 관리(Point Of Sales; POS) 시스템의 개략적인 블록도이다.
도 2는 일 실시예에 따른 POS 장치의 사진이다.
도 3은 일 실시예에 따른 POS 방법의 순서도이다.
도 4는 일 실시예에 따른 POS 방법에서 POS 모듈과 객층 인식 모듈의 처리 흐름을 나타내는 순서도이다.
도 5는 일 실시예에 따른 POS 방법에서 구매자의 식별 정보 추출 과정을 나타내는 순서도이다.
도 6a 및 6b는 일 실시예에 따른 POS 방법에서 데이터 클러스터링(data clustering) 기법을 설명하기 위한 개념도이다.
도 7은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 순서도이다.
도 8은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다.
도 9는 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다.
도 10은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다.
도 11은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다.
도 12는 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다.
도 13은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다.
도 14는 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 1 is a schematic block diagram of a point-of-sale (POS) system according to an embodiment.
2 is a photograph of a POS device according to one embodiment.
3 is a flow diagram of a POS method according to one embodiment.
4 is a flowchart illustrating a process flow of a POS module and an ATM module in a POS method according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating a process of extracting a buyer's identification information in the POS method according to an exemplary embodiment.
6A and 6B are conceptual diagrams illustrating a data clustering technique in the POS method according to an embodiment.
7 is a flowchart illustrating a process flow of the ATM layer recognition module in the POS method according to an exemplary embodiment.
8 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.
9 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.
10 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.
11 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.
12 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.
13 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.
14 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 일 실시예에 따른 판매 시점 관리(Point Of Sales; POS) 시스템의 개략적인 블록도이다. 1 is a schematic block diagram of a point-of-sale (POS) system according to an embodiment.

도 1을 참조하면, 일 실시예에 따른 POS 시스템은 POS 장치(1) 및 데이터베이스(2)를 포함할 수 있다. POS 장치(1)는 구매자에 대한 상품 판매에 관련된 정보가 입력되는 POS 모듈(11), 및 구매자의 이미지 정보를 획득하고 이로부터 구매자의 식별 정보를 추출하기 위한 객층 인식 모듈(12)을 포함할 수 있다. 객층 인식 모듈(12)에 의해 얻어진 식별 정보는 구매자에 관련된 고객 정보 및/또는 판매 정보와 연계하여, 또는 단독으로 데이터베이스(3)에 저장될 수 있다. Referring to FIG. 1, a POS system according to one embodiment may include a POS device 1 and a database 2. The POS device 1 includes a POS module 11 for inputting information related to merchandise sales to a purchaser and an ATM module 12 for acquiring image information of the purchaser and extracting the identification information of the purchaser from the POS module 11 . The identification information obtained by the customer layer recognition module 12 may be stored in the database 3 in association with customer information and / or sales information related to the purchaser, or alone.

POS 모듈(11)은 구매자에 대한 상품 판매를 처리하기 위한 부분으로서, 상품 판매에 관련된 정보가 POS 모듈(11)에 입력될 수 있다. 예컨대, 상품 판매에 관련된 정보란 바코드(barcode) 등을 이용한 상품의 스캔, 상품 대금에 대한 결제 정보, 결제에 수반되는 쿠폰 사용 정보 등일 수 있다. 또한, 상품 판매에 관련된 정보에는, 구매 상품 및 결제에 직접적으로 관련된 정보뿐만 아니라, 이를 구매하는 구매자의 고객 정보가 포함될 수도 있다. 즉, 본 명세서에서 상품 판매에 관련된 정보란 상품을 고객에게 판매하는 과정에서 직접 또는 간접적으로 요구될 수 있는 일체의 정보 중 임의의 것을 지칭하며, 특정 정보에 한정되지 않는다. The POS module 11 is a part for processing merchandise sales to the purchaser, and information related to merchandise sales can be input to the POS module 11. [ For example, information related to merchandise sales may be a scan of a product using a barcode or the like, payment information for a commodity price, coupon usage information accompanying payment, and the like. The information related to the sale of goods may include not only information directly related to the purchased product and payment but also customer information of the purchaser who purchases it. That is, in the present specification, the information related to the sale of merchandise refers to any information that may be directly or indirectly required in the process of selling the merchandise to the customer, and is not limited to specific information.

POS 모듈(11)은 상품 판매에 관련된 정보를 입력받고, 해당 상품이 구매자에게 판매되기 위한 일련의 데이터 처리 과정을 수행할 수 있다. POS 모듈(11)은, 예컨대, 상품을 스캔하기 위한 스캐닝 수단, 판매자가 키 입력 또는 터치스크린(touchscreen) 등을 터치하는 것에 의해 명령어를 입력하기 위한 입력 수단, 판매자 및/또는 구매자에게 상품 가격이나 수량 등 판매에 관련된 정보를 표시하기 위한 표시 수단 등을 포함하여 구성될 수 있으나, 이에 한정되지 않는다. POS 모듈(11)의 구성은 공지된 POS 시스템으로부터 통상의 기술자에게 용이하게 이해될 수 있으므로, 본 명세서에서는 상세한 설명을 생략한다. The POS module 11 receives information related to merchandise sales and can perform a series of data processing processes for selling the merchandise to the purchaser. The POS module 11 includes, for example, a scanning means for scanning a product, an input means for inputting a command by a seller touching a key input or a touch screen, a seller means and / A display means for displaying information related to sales such as quantity, and the like, but is not limited thereto. Since the configuration of the POS module 11 can be easily understood by a person skilled in the art from a known POS system, a detailed description thereof will be omitted herein.

객층 인식 모듈(12)은 POS 모듈(11)에 의해 상품 판매에 관련된 처리가 수행되는 동안 정해진 시간 구간에 구매자의 이미지 정보를 획득할 수 있다. 객층 인식 모듈(12)에 의하여 얻어지는 이미지 정보는 단일 이미지일수도 있으며, 또는 하나 이상의 프레임(frame)으로 이루어지는 연속된 이미지(즉, 동영상)의 형태일 수도 있다. 객층 인식 모듈(12)은 이미지 정보를 분석하여, 구매자의 하나 이상의 식별 정보를 산출할 수 있다. 예컨대, 객층 인식 모듈(12)은 구매자의 연령대(10대, 20대 등) 및 성별(남성 또는 여성)을 식별 정보로 산출할 수 있으나, 이에 한정되는 것은 아니다. The customer layer recognition module 12 can acquire the image information of the purchaser in a predetermined time period while the process related to the sales of the goods is performed by the POS module 11. [ The image information obtained by the object recognition module 12 may be a single image or may be in the form of a continuous image (i.e., a moving image) composed of one or more frames. The client layer recognition module 12 may analyze the image information to yield one or more identification information of the buyer. For example, the client layer recognition module 12 may calculate the age range (10s, 20s, etc.) and gender (male or female) of the purchaser as identification information, but is not limited thereto.

객층 인식 모듈(12)은 POS 모듈(11)에 결합될 수 있다. 예컨대, 실제 적용에 있어 객층 인식 모듈(12)은 기존에 사용중인 POS 장치(1)에 설치되는 형태로 POS 모듈(11)과 결합될 수 있다. POS 모듈(11)과 객층 인식 모듈(12)은 각각 하드웨어 및 이러한 하드웨어를 이용하여 운용되는 소프트웨어를 포함할 수 있다. 예컨대, POS 모듈(11) 및 객층 인식 모듈(12)은 Microsoft 사의 Windows®와 같은 운영체제에 의하여 구동될 수도 있다. The client layer recognition module 12 may be coupled to the POS module 11. For example, in an actual application, the client layer recognition module 12 may be combined with the POS module 11 in the form of being installed in the existing POS device 1. The POS module 11 and the client layer recognition module 12 may each include hardware and software operated using such hardware. For example, the POS module 11 and the client layer recognition module 12 may be operated by an operating system such as Windows 占 of Microsoft Corporation.

일 실시예에서, POS 모듈(11) 및 객층 인식 모듈(12)은 별개의 독립적인 운영체제에 의하여 구동될 수 있다. 이와 같이 구성함으로써, 객층 인식 모듈(12)에 장애가 발생하는 경우에도 POS 모듈(11)의 동작은 정상적으로 수행될 수 있다. 객층 인식 모듈(12)은, POS 모듈(11)의 운영체제의 특정 동작 또는 POS 모듈(11)의 운영체제에 의한 호출에 대한 응답으로 구동될 수 있다. 예컨대, 객층 인식 모듈(12)은 POS 모듈(11)의 운영체제에 의한 호출이 있는 경우에 카메라를 동작시킴으로써 호출이 없는 경우의 하드웨어 부하를 감소시킬 수 있다. In one embodiment, POS module 11 and client layer recognition module 12 may be driven by separate, independent operating systems. With this configuration, the operation of the POS module 11 can be normally performed even when a failure occurs in the client layer recognition module 12. [ The client layer recognition module 12 can be driven in response to a specific operation of the operating system of the POS module 11 or a call by the operating system of the POS module 11. [ For example, the client layer recognition module 12 can reduce the hardware load when there is no call by operating the camera when there is a call by the operating system of the POS module 11. [

일 실시예에서, 객층 인식 모듈(12)은, 통상적으로 저사양을 갖는 POS 장치(1)에 안면 인식 기법을 적용하기 위해 최적화된 방식으로 구동될 수 있다. 예컨대, Windows®운영체체의 소프트웨어 개발 도구(software development kit; SDK) 내 GDI+/DirectShow 기술을 사용하여 이미지 정보를 획득하게 되면 하드웨어 자원(resource) 사용량이 크므로 저사양을 갖는 POS 장치(1)에 높은 부하를 가할 수 있다. 일 실시예에서는, 객층 인식 모듈(12)에서 Intel 사의 OpenCV 기술을 적용하여 카메라를 핸들링함으로써 하드웨어의 자원 사용량을 감소시킬 수 있다. OpenCV 기술에 대해서는 본 발명의 기술분야에서 잘 알려져 있으므로 상세한 설명을 생략한다. In one embodiment, the client layer recognition module 12 may be driven in an optimized manner to apply a face recognition technique to the POS device 1, which typically has a low end. For example, when image information is acquired using GDI + / DirectShow technology in a software development kit (SDK) of a Windows ® operating system, the amount of hardware resources used is large, Load can be applied. In one embodiment, resource utilization of the hardware can be reduced by handling the camera by applying Intel's OpenCV technology in the client layer recognition module 12. The OpenCV technology is well known in the technical field of the present invention and therefore, detailed description thereof will be omitted.

또한 일 실시예에서, 객층 인식 모듈(12)은 일정 기간 동안 입력이 발생하지 않을 수도 있는 POS 장치(1)의 특성에 맞추어, 동작이 없는 경우에도 카메라의 활성화 상태를 유지하도록 구성될 수 있다. 예컨대, Windows®운영체체의 VFW(Video for Windows) 기술을 이용하여 이미지 정보를 얻을 경우 일정 기간 동안 입력 요청이 발생하지 않으면 Windows® 운영체체는 카메라의 하드웨어 연결을 강제적으로 해제하는 기능이 있다. 객층 인식 모듈(12)은, 이와 같이 운영체제에 의하여 카메라의 연결이 해제되는 것을 방지하기 위하여, 미리 결정된 시간 동안 입력이 없을 경우 자체적으로 카메라의 연결을 해제하였다가 이를 다시 연결함으로써 카메라의 활성화 상태를 유지할 수 있다. Also, in one embodiment, the client layer recognition module 12 may be configured to maintain the activated state of the camera even when there is no operation, in accordance with the characteristics of the POS device 1, which may not be input for a certain period of time. For example, when using the (Video for Windows) VFW technology in the Windows ® Operating tsetse obtained image information, if the write request for a certain period of time does not occur Windows ® operating tsetse has a function to forcibly release the hardware connection of the camera. In order to prevent the camera from being disconnected by the operating system, the client layer recognition module 12 disconnects the camera itself when there is no input for a predetermined time, .

일 실시예에서, 객층 인식 모듈(12)은 이미지를 촬영하도록 구성된 촬영부(122)와, 촬영부(122) 및 객층 인식 모듈(12)의 다른 컴포넌트들을 제어하기 위한 제어부(121)를 포함할 수 있다. The client layer recognition module 12 includes a capture section 122 configured to capture an image and a control section 121 for controlling other components of the capture section 122 and the client layer recognition module 12 .

촬영부(122)는 전술한 카메라 또는 다른 이미지 확득 수단으로서, 구매자의 이미지를 촬영하기 위하여 POS 장치(1)에서 구매자를 향하는 방향에 배치될 수 있다. 도 2는 일 실시예에 따른 POS 장치의 사진이다. 도 2에 도시된 POS 장치는 판매자를 향하는 디스플레이 장치와 구매자를 향하는 또 다른 디스플레이 장치를 포함한다. 이때, 촬영부(122)는 구매자를 향하는 디스플레이 장치의 일 부분(200)에 결합될 수 있다. 그러나, 촬영부(122)의 형태는 도시된 것에 한정되는 것은 아니며, POS 장치의 다른 위치에 결합되거나 또는/또한 디스플레이 장치에 결합되지 않는 다른 상이한 이미지 획득 수단이 촬영부로 사용될 수도 있다. The photographing section 122 may be arranged in the direction toward the purchaser in the POS apparatus 1 for photographing the image of the purchaser as the above-mentioned camera or other image obtaining means. 2 is a photograph of a POS device according to one embodiment. The POS device shown in Fig. 2 includes a display device facing the seller and another display device facing the buyer. At this time, the photographing unit 122 may be coupled to a portion 200 of the display device facing the purchaser. However, the shape of the photographing section 122 is not limited to that shown in the figure, and other different image obtaining means, which is coupled to another position of the POS apparatus and / or is not coupled to the display apparatus, may be used as the photographing section.

제어부(121)는, POS 모듈(11)에 의하여 상품 판매에 관련된 일련의 동작이 수행되는 동안, POS 모듈(11)에서 미리 결정된 동작이 수행되는 것에 대한 응답으로 구매자의 이미지 정보를 획득하도록 촬영부(122)를 제어할 수 있다. 제어부(121)에 의한 제어 흐름에 대해서는 이하에서 도 3, 도 4 및 도 7 내지 도 14를 참조하여 상세히 후술한다. The control unit 121 controls the POS module 11 to acquire image information of the purchaser in response to the predetermined operation being performed by the POS module 11 during a series of operations related to the sale of goods by the POS module 11. [ It is possible to control the display unit 122. The control flow by the control unit 121 will be described later in detail with reference to FIG. 3, FIG. 4, and FIG. 7 to FIG.

또한, 객층 인식 모듈(12)은 이미지 처리부(123)를 포함할 수 있다. 이미지 처리부(123)는 촬영부(122)에 의하여 얻어진 구매자의 이미지 정보를 처리하여, 구매자의 성별 및/또는 연령 등 하나 이상의 식별 정보를 산출할 수 있다. 이미지 처리부(123)는 이미지 정보로부터 미리 결정된 특징 정보들을 추출하고, 특징 정보들에 관련된 위치, 길이 또는 면적 등의 수치를 이용하여 식별 정보를 산출할 수도 있다. In addition, the object-level recognition module 12 may include an image processing unit 123. [ The image processing unit 123 may process the image information of the purchaser obtained by the photographing unit 122 to calculate one or more pieces of identification information such as the sex and / or age of the purchaser. The image processing unit 123 may extract the predetermined feature information from the image information, and may calculate the identification information by using numerical values such as position, length, or area related to the feature information.

이미지 정보가 복수 개의 프레임으로 이루어지는 경우, 이미지 처리부(123)는 복수 개의 프레임을 각각 처리하여 식별 정보를 산출할 수 있다. 예컨대, 이미지 처리부(123)에 의하여 산출되는 식별 정보는 각 프레임으로부터 산출된 식별 정보의 평균값일 수도 있다. 또는, 이미지 처리부(123)는 미리 결정된 시간 또는 개수만큼 이미지 정보의 프레임을 누적하고, 누적된 프레임들로부터 식별 정보를 산출할 수도 있다. When the image information is composed of a plurality of frames, the image processing unit 123 can process the plurality of frames to calculate identification information. For example, the identification information calculated by the image processing unit 123 may be an average value of the identification information calculated from each frame. Alternatively, the image processing unit 123 may accumulate frames of the image information by a predetermined time or number, and may calculate the identification information from the accumulated frames.

또한, 객층 인식 모듈(12)은 송수신부(124)를 포함할 수 있다. 송수신부(124)는 이미지 처리부(123)에 의하여 얻어진 하나 이상의 식별 정보를 데이터베이스(3)에 전송할 수 있다. 이를 위하여, POS 장치(1)는 무선 및/또는 유선 네트워크(2)를 통하여 데이터베이스(3)와 통신 가능하게 연결될 수 있다. 그러나, 이는 예시적인 것으로서, 다른 실시예에서는 데이터베이스(3)가 POS 장치(1)의 일부를 구성하도록 함으로써 식별 정보를 POS 장치(1)에 로컬(local) 저장할 수도 있다. The client layer recognition module 12 may include a transceiver 124. The transmission / reception unit 124 may transmit one or more pieces of identification information obtained by the image processing unit 123 to the database 3. To this end, the POS device 1 may be communicatively coupled with the database 3 via a wireless and / or wired network 2. However, this is an exemplary one, and in another embodiment, the database 3 may store the identification information locally in the POS device 1 by constituting a part of the POS device 1. [

일 실시예에서, 객층 인식 모듈(12)은 데이터베이스(3)에 미리 저장되어 있는 성별 및/또는 연령별 특징 데이터를 이용하여 처리 대상 이미지로부터 식별 정보를 추출할 수 있다. 즉, 처리 대상 이미지로부터 산출된 특징 정보를 데이터베이스(3)에 저장되어 있는 데이터와 비교하여 대상 이미지의 성별 및/또는 연령을 결정할 수 있다. 이때, 객층 인식 모듈(12)이 고차원 데이터에 접근할 경우 발생하는 부하를 감소시키기 위하여, 데이터 클러스터링(data clustering) 기법에 의하여 데이터베이스(3)에 저장되는 데이터의 차원 수가 감소될 수 있다. 데이터 클러스터링 기법에 대해서는 도 5 및 6을 참조하여 상세히 후술한다.In one embodiment, the client layer recognition module 12 may extract identification information from the image to be processed using gender and / or age-specific feature data stored in advance in the database 3. That is, the gender and / or the age of the target image can be determined by comparing the feature information calculated from the image to be processed with the data stored in the database 3. At this time, the number of dimensions of data stored in the database 3 may be reduced by a data clustering technique in order to reduce the load caused when the object-level recognition module 12 accesses the high-dimensional data. The data clustering technique will be described later in detail with reference to FIGS. 5 and 6. FIG.

일 실시예에서, 객층 인식 모듈(12)에 의하여 구매자의 식별 정보가 얻어진 후, 객층 인식 모듈(12)은 식별 정보에 기반한 피드백(feedback) 정보를 POS 모듈(11)에 전송할 수도 있다. 예를 들어, 식별 정보에 기반하여 구매자가 미성년자인 것으로 판정될 경우, 객층 인식 모듈(12)은 구매자가 미성년자라는 정보를 POS 모듈(11)로 전송하여 판매자가 인지할 수 있도록 함으로써, 술, 담배, 의약품, 유해 상품 등 미성년자 구매 불가 상품이 미성년자에게 판매되는 것을 방지할 수 있다. 그러나 이는 예시적인 것으로서, 식별 정보에 기반한 피드백 정보는 전술한 것에 한정되는 것은 아니며, POS 모듈(11)의 동작을 보조하기 위한 임의의 정보가 피드백 정보로서 POS 모듈(11)에 전달될 수 있다. In one embodiment, after the buyer's identification information is obtained by the customer layer recognition module 12, the customer layer recognition module 12 may send feedback information based on the identification information to the POS module 11. [ For example, when it is determined that the buyer is a minor based on the identification information, the customer layer recognition module 12 transmits information that the buyer is a minor to the POS module 11 so that the seller can recognize the customer, , Medicines, hazardous goods, etc., which are not purchasable by minors, to be sold to minors. However, this is an example, and the feedback information based on the identification information is not limited to the above, and any information for assisting the operation of the POS module 11 may be transmitted to the POS module 11 as feedback information.

일 실시예에서, POS 시스템은 광고 제공 서버(4)를 포함할 수도 있다. 광고 제공 서버(4)는 데이터베이스(3)와 유선 및/또는 무선 네트워크(2)를 통하여 통신 가능하게 연결될 수 있다. 광고 제공 서버(4)는, 데이터베이스(3)에 저장된 식별 정보를 이용하여 구매자에게 맞춤형 광고 정보를 제공할 수 있다. 광고 제공 서버(4)는 이러한 광고 정보를 POS 장치(1)를 통하여 구매자가 볼 수 있도록 POS 장치(1)에 전송할 수도 있다. POS 장치(1)는 수신한 광고 정보를 구매자를 향한 디스플레이 장치상에 표시할 수 있다. In one embodiment, the POS system may include an ad serving server 4. The advertisement providing server 4 may be communicably connected to the database 3 via the wired and / or wireless network 2. [ The advertisement providing server 4 can provide customized advertisement information to the buyer using the identification information stored in the database 3. [ The advertisement providing server 4 may transmit the advertisement information to the POS device 1 so that the buyer can view the advertisement information through the POS device 1. [ The POS device 1 can display the received advertisement information on the display device facing the buyer.

다른 실시예에서는, 광고 제공 서버는 POS 장치(1)의 일부를 구성하는 모듈의 형태로 구현될 수도 있다. 이 경우, POS 장치(1)는 유선 및/또는 무선 네트워크(2)를 경유하여 원격 서버로부터 광고 정보를 수신하는 대신, POS 장치(1) 내의 광고 제공 모듈이 POS 장치(1)에서 구매자를 향한 디스플레이 장치 또는 POS 장치(1)의 다른 컴포넌트에 광고 정보를 제공할 수도 있다. In another embodiment, the advertisement providing server may be implemented in the form of a module constituting a part of the POS device 1. [ In this case, instead of receiving the advertisement information from the remote server via the wired and / or wireless network 2, the POS device 1 is able to receive the advertisement information from the POS device 1, Or may provide advertisement information to the display device or other components of the POS device 1. [

도 3은 일 실시예에 따른 POS 방법의 순서도이다. 3 is a flow diagram of a POS method according to one embodiment.

도 3을 참조하면, 먼저 POS 장치(1)의 POS 모듈(11)에 의하여 구매자에 대한 상품 판매에 관련된 동작이 수행될 수 있다(S31). POS 모듈(11)은, 미리 결정된 시점에 객층 인식 모듈(12)을 호출할 수 있다(S32). 호출 시 POS 모듈(11)은 관련 상품 판매 정보(예컨대, 영수증 번호) 및 인식 제한 메시지(예컨대, 최대 인식 시간, 횟수 또는 프레임 수 등)을 객층 인식 모듈(12)에 전달할 수도 있다. 호출된 객층 인식 모듈(12)은, 카메라를 구동시켜 구매자의 동영상 등 이미지 정보를 획득하고(S33), 획득된 이미지 정보에서 구매자의 연령 및/또는 성별 등 하나 이상의 식별 정보를 추출할 수 있다(34). Referring to FIG. 3, the POS module 11 of the POS device 1 can perform an operation related to merchandise sales to the purchaser (S31). The POS module 11 can call the client layer recognition module 12 at a predetermined time (S32). The POS module 11 may communicate to the object recognition module 12 related merchandise sales information (e.g., receipt number) and a recognition limit message (e.g., maximum recognition time, number of times, The called-out layer recognition module 12 can drive the camera to acquire image information such as a moving image of the purchaser (S33), and extract one or more pieces of identification information such as the age and / or sex of the purchaser from the acquired image information 34).

객층 인식 모듈(12)은, POS 모듈(11)에 의해 미리 결정된 동작이 수행되는 것에 대한 응답으로 구매자의 이미지 정보를 얻도록 구성될 수 있다. 이때, 미리 결정된 동작은 상품 판매에 관련하여 POS 모듈(11)에 의해 수행되는 여러가지 동작 중 임의의 하나 이상의 동작일 수 있다. The client layer recognition module 12 may be configured to obtain image information of the purchaser in response to the predetermined operation being performed by the POS module 11. [ At this time, the predetermined operation may be any one or more of the various operations performed by the POS module 11 in connection with merchandise sales.

일 실시예에서, POS 모듈(11)은 상품 스캔, 상품 대금에 대한 결제를 위한 입력, 및 결제 후 거래 종료를 위한 입력이 발생하는 각각의 시점에 객층 인식 모듈(12)을 호출할 수 있다. 본 명세서에서 입력이란 키 입력, 마우스(mouse)에 의한 이동 또는 클릭, 또는 터치스크린에 대한 터치 등 임의의 입력 수단에 의한 동작을 지칭하며, 특정 수단에 의한 것으로 한정되지 않는다. 객층 인식 모듈(12)은 호출될 때마다 구매자의 이미지 정보를 얻고 이로부터 식별 정보를 추출할 수 있다. In one embodiment, the POS module 11 may invoke the object recognition module 12 at each point in time that an input for a goods scan, an input for payment for a commodity price, and an exit for a transaction after settlement occurs. In this specification, an input refers to an operation by any input means such as a key input, a movement or click by a mouse, or a touch to a touch screen, and is not limited to a specific means. The client layer recognition module 12 can obtain the image information of the purchaser and extract the identification information therefrom each time it is called.

다른 실시예에서, POS 모듈(11)은 상품 스캔 시점에 객층 인식 모듈(12)을 호출하며, 이후 임의의 입력을 수신하는 때마다 추가적으로 객층 인식 모듈(12)을 호출할 수 있다. 또한, POS 모듈(11)은 상품 결제 완료 후 판매 정보(예컨대, 영수증)를 저장하는 시점에 다시 객층 인식 모듈(12)을 호출할 수도 있다. 객층 인식 모듈(12)은 호출될 때마다 구매자의 이미지 정보를 얻고 이로부터 식별 정보를 추출할 수 있다.In another embodiment, the POS module 11 calls the object recognition module 12 at the point of product scanning, and thereafter calls the object recognition module 12 additionally whenever it receives any input. In addition, the POS module 11 may call the customer layer recognition module 12 again at the time of storing the sales information (e.g., receipt) after the payment of the goods has been completed. The client layer recognition module 12 can obtain the image information of the purchaser and extract the identification information therefrom each time it is called.

또 다른 실시예에서, POS 모듈(11)은 POS 모듈(11)에 구매자에 의한 입력이 수신되는 시점에 객층 인식 모듈(12)을 호출할 수도 있다. 예를 들어, POS 모듈(11)은 구매자를 향한 디스플레이 장치에 이미지 촬영 버튼을 표시하고, 구매자가 해당 버튼을 터치할 경우 객층 인식 모듈(12)을 호출할 수도 있다. 또는, POS 모듈(11)은 구매자를 향한 디스플레이 장치에 행사 참여 등 구매자의 터치가 요구되는 다른 정보를 표시하고, 구매자가 디스플레이 장치를 터치할 경우 구매자에 대한 별도의 알림 없이 객층 인식 모듈(12)을 호출할 수도 있다. 객층 인식 모듈(12)은 호출될 때마다 구매자의 이미지 정보를 얻고 이로부터 식별 정보를 추출할 수 있다.In another embodiment, the POS module 11 may invoke the client layer recognition module 12 at the time the input by the buyer is received at the POS module 11. For example, the POS module 11 may display an image shooting button on the display device facing the buyer, and may call the object layer recognition module 12 when the buyer touches the button. Alternatively, the POS module 11 may display other information required to be touched by the buyer, such as participating in an event on the display device for the buyer, . ≪ / RTI > The client layer recognition module 12 can obtain the image information of the purchaser and extract the identification information therefrom each time it is called.

또 다른 실시예에, POS 모듈(11)은 별도의 입력이 없더라도 구매자의 이미지 정보를 얻기에 적당한 시점을 결정하여 객층 인식 모듈(12)을 호출할 수도 있다. 예컨대, 구매자를 향한 디스플레이 장치에 구매자의 시선을 유도하는 화면 및/또는 소리를 출력함으로써, 구매자가 디스플레이 장치를 바라보도록 유도할 수 있다. 이러한 화면 및/또는 소리의 출력과 함께 POS 모듈(11)이 객층 인식 모듈(12)을 호출함으로써, 디스플레이 장치에 결합된 카메라를 이용하여 디스플레이 장치를 바라보는 구매자의 이미지 정보를 얻을 수 있다. In another embodiment, the POS module 11 may call the client layer recognition module 12 by determining a point of time suitable for obtaining image information of the purchaser, even if there is no separate input. For example, it is possible to induce the buyer to look at the display device by outputting a screen and / or a sound for guiding the buyer's gaze to the display device facing the buyer. The POS module 11 calls the object recognition module 12 together with the output of the screen and / or sound to obtain the image information of the buyer viewing the display device using the camera coupled to the display device.

POS 모듈(11)은 구매자에 대한 상품 판매에 관련된 정보를 데이터베이스(3)에 전송할 수 있다(S35). 상품 판매에 관련된 정보란, 상품 판매 영수증, 상품을 구매한 고객의 고객 정보, 상품 결제에 관련된 쿠폰 사용 정보 등 상품 판매에 관련된 일체의 정보 중 임의의 것을 지칭할 수 있으며, 특정 정보에 한정되지 않는다. 전송된 판매 관련 정보는 데이터베이스(3)에 저장될 수 있다(S36). 또한, 객층 인식 모듈(12)은 이미지 정보로부터 추출된 구매자의 성별 및/또는 연령 등의 식별 정보를 데이터베이스(3)에 전송할 수 있다(S37). 데이터베이스(3)는 전송된 식별 정보를 저장할 수 있다(S38).The POS module 11 may transmit information related to the sale of goods to the purchaser to the database 3 (S35). The information related to merchandise sales may be any of any information related to merchandise sales such as a merchandise sales receipt, customer information of a customer who purchased the merchandise, coupon usage information related to merchandise settlement, and is not limited to specific information . The transmitted sales-related information may be stored in the database 3 (S36). The client layer recognition module 12 may transmit identification information such as the gender and / or age of the purchaser extracted from the image information to the database 3 (S37). The database 3 may store the transmitted identification information (S38).

도 3에서는 판매 관련 정보와 식별 정보가 각각 별개의 단계에서 전송(S35, S37)되는 것으로 도시되었으나, 이는 설명을 위하여 데이터 처리 과정을 예시적으로 도식화한 것이며, 이에 한정되는 것은 아니다. 예컨대, 판매 관련 정보와 식별 정보는 POS 장치(1)에 의해 하나의 데이터 패킷으로 결합되어 데이터베이스(3)로 전송될 수도 있다. In FIG. 3, the sales-related information and the identification information are transmitted in separate steps (S35 and S37), respectively. However, the present invention is not limited thereto. For example, the sales-related information and the identification information may be combined into one data packet by the POS device 1 and transmitted to the database 3. [

일 실시예에서, 데이터베이스(3)는 판매 관련 정보와 식별 정보를 서로 연관시켜 저장할 수도 있다. 예컨대, 데이터베이스(3)는 고객의 영수증 정보 및/또는 고객 정보를 식별 정보와 동일한 테이블(table)에 함께 저장할 수 있다. 그러나 다른 실시예에서는, 영수증 정보나 고객 정보 등 판매 관련 정보와 식별 정보가 각각 상이한 별개의 테이블에 저장될 수도 있다. In one embodiment, the database 3 may store sales related information and identification information in association with each other. For example, the database 3 may store the customer's receipt information and / or customer information together in the same table as the identification information. However, in another embodiment, the sales-related information such as receipt information or customer information and the identification information may be stored in separate tables, each of which is different.

일 실시예에서는, 광고 제공 서버(4)가 데이터베이스(3)에 저장된 식별 정보를 이용하여 구매자에게 광고 정보를 제공할 수도 있다(S39). 광고 제공 서버(4)는 구매자의 성별 및/또는 연령 등의 식별 정보를 이용하여, 구매자의 잠재적인 소비 상품이나 행사에 대한 맞춤형 광고를 제공할 수 있다. 광고 제공 서버(4)는 구매자가 POS 장치(1)를 통해 광고 정보를 볼 수 있도록 POS 장치(1)에 광고 정보를 전송할 수도 있다. POS 장치(1)는 구매자의 객층에 맞게 디스플레이 장치의 화면상에 광고 및 행사 내용을 표시하거나, 또는 구매자에게 제공되는 영수증에 광고 및 행사 내용을 출력할 수 있다. 또는, 광고 제공 서버(4)는 POS 장치(1)를 거치지 않고 구매자의 휴대 전화 단말기(미도시)에 직접 광고 정보를 메시지 형태로 전송하거나, 또는 전자 메일, 우편 등을 이용하여 구매자에게 광고 정보를 전송할 수도 있다. In one embodiment, the advertisement providing server 4 may provide advertisement information to the buyer using the identification information stored in the database 3 (S39). The advertisement providing server 4 can provide a customized advertisement for the potential consumer goods or events of the buyer by using the identification information such as the gender and / or the age of the purchaser. The advertisement providing server 4 may transmit the advertisement information to the POS device 1 so that the buyer can view the advertisement information through the POS device 1. [ The POS device 1 can display the advertisement and the contents of the event on the screen of the display device according to the customer's layer of the buyer, or output the advertisement and the contents of the event to the receipt provided to the buyer. Alternatively, the advertisement providing server 4 may transmit the advertisement information directly to the mobile phone terminal (not shown) of the buyer without passing through the POS device 1, or send the advertisement information to the buyer using e-mail, Lt; / RTI >

도 4는 일 실시예에 따른 POS 방법에서 POS 모듈과 객층 인식 모듈의 처리 흐름을 나타내는 순서도이다. 4 is a flowchart illustrating a process flow of a POS module and an ATM module in a POS method according to an exemplary embodiment of the present invention.

도 4를 참조하면, POS 모듈(11)은 구매자가 상품을 구매함에 따라 바코드 등을 이용하여 상품을 스캔하고(S401), 상품 대금 결제 및 포인트 적립 등 상품 판매 동작을 수행하며(S401), 결제가 완료되면 거래 종료 버튼에 해당하는 키 입력을 수신할 수 있다(S403). 거래 종료 버튼이란 반드시 물리적인 키 입력을 지칭하는 것은 아니며, 임의의 입력 수단에 의해 POS 모듈(11)에 해당 명령을 입력하는 것을 포함하도록 의도된다. Referring to FIG. 4, the POS module 11 scans a product using a barcode or the like as a purchaser purchases a product (S401), performs a merchandise sales operation such as paying for a product and accumulating points (S401) A key input corresponding to the transaction end button may be received (S403). The transaction end button does not necessarily refer to a physical key input, but is intended to include inputting the command to the POS module 11 by any input means.

본 실시예에서, POS 모듈(11)은 상품 스캔 시에 객층 인식 모듈(12)을 호출(S404)하여 촬영 개시 메시지를 전달할 수 있다. 또한, POS 모듈(11)은 거래 종료 버튼이 입력될 때 다시 객층 인식 모듈(12)을 호출(S404)하여 촬영 종료 메시지를 전달할 수 있다. 촬영 개시 또는 종료 메시지는 POS 모듈(11)이 객층 인식 모듈(12)을 호출하기 위해 전송되는 신호에 포함된 데이터의 형태로 전달될 수 있다. In this embodiment, the POS module 11 may call the object layer recognition module 12 at the time of product scanning (S404), and may transmit a photographing start message. Also, when the transaction end button is input, the POS module 11 calls the client layer recognition module 12 again (S404) and can transmit the shooting end message. The shooting start or end message may be delivered in the form of data included in the signal transmitted by the POS module 11 to call the object recognition module 12.

호출된 객층 인식 모듈(12)은, 전달된 메시지에서 촬영 개시 또는 종료 여부를 확인하고(S411), 촬영 개시 메시지가 전달되었을 경우 카메라를 활성화시킨다(S412). 카메라가 활성화되면, 객층 인식 모듈은 구매자의 이미지 정보를 얻고 이미지 정보에서 얼굴을 인식한다(S413). 객층 인식 모듈(12)은, 일단 촬영 개시 메시지가 전달되면 이후 촬영 종료 메시지가 전달될 때까지 이상의 동작(S411-S413)을 반복할 수 있다. 따라서, 객층 인식 모듈(12)에 의한 얼굴 인식은 POS 모듈(11)의 상품 스캔(S401) 시에 시작되어 거래 종료 버튼이 눌려지는 시점(S403)까지 반복된다. 예컨대, 구매자가 여러 개의 상품을 구매하는 경우, 첫 번째 상품이 스캔되는 시점(S401)부터 구매자의 얼굴 인식을 시작하여, 계속적으로 얼굴 인식을 수행하다가, 모든 상품이 스캔되고 상품 대금이 결제되어 판매자가 거래 종료 버튼을 입력하는 시점(S403)에 인식을 종료할 수 있다. The called-out layer recognition module 12 checks whether or not the shooting is started or stopped in the transmitted message (S411), and activates the camera when the shooting start message is transmitted (S412). When the camera is activated, the object-level recognition module obtains the image information of the purchaser and recognizes the face in the image information (S413). Once the photographing start message is transmitted, the object recognition module 12 can repeat the above-described operations (S411-S413) until a photographing end message is transmitted thereafter. Accordingly, the face recognition by the object layer recognition module 12 is started at the time of scanning the goods of the POS module 11 (S401) and is repeated until the transaction end button is pressed (S403). For example, when a buyer purchases a plurality of products, the buyer's face recognition is started from the point of time when the first product is scanned (S401), and the face recognition is continuously performed. Then, all the goods are scanned, (S403) at which the transaction end button is input.

거래가 종료되면, POS 모듈(11)은 상품 판매 정보(예컨대, 영수증)을 데이터베이스에 저장할 수 있다(S405). 또한, 객층 인식 모듈(12)은 이미지 정보의 각각의 프레임에서 얼굴 인식이 성공하였는지 여부를 검사하여(S414), 인식된 얼굴 영역으로부터 구매자의 성별 및/또는 연령 등 하나 이상의 식별 정보를 산출할 수 있다(S415). 산출된 하나 이상의 식별 정보는 데이터베이스에 저장될 수 있다(S416). When the transaction ends, the POS module 11 may store merchandise sales information (e.g., receipt) in the database (S405). In addition, the object-level recognition module 12 may check whether or not the face recognition is successful in each frame of the image information (S414) and calculate one or more pieces of identification information such as the sex and / or age of the buyer from the recognized face area (S415). The calculated one or more pieces of identification information may be stored in the database (S416).

도 5는 일 실시예에 따른 POS 방법에서 구매자의 식별 정보 추출 과정을 나타내는 순서도이다. 5 is a flowchart illustrating a process of extracting a buyer's identification information in the POS method according to an exemplary embodiment.

도 5를 참조하면, 객층 인식 식별 모듈은 먼저 구매자를 촬영함으로써 구매자의 이미지 정보를 얻을 수 있다(S51). 카메라를 이용하여 이미지 정보를 얻는 과정은 Microsoft 사의 VFW(Video for Windows) 등과 같은 공지된 기술을 이용하여 수행될 수도 있다. Referring to FIG. 5, the customer layer recognition module can obtain image information of the purchaser by first photographing the purchaser (S51). The process of obtaining image information using a camera may be performed using a known technique such as VFW (Video for Windows) by Microsoft Corporation.

다음으로, 이미지 정보에서 구매자의 얼굴에 해당하는 영역을 검출할 수 있다(S52). 이미지에서 사람의 얼굴 부분을 검출하는 방법에 대해서는 다양한 알고리즘이 공지되어 있다. 일 실시예에서는, 얼굴의 특징값으로 Haar-like feature를 이용하는 Ada-boosting 알고리즘을 적용하여 얼굴 부분을 검출할 수도 있으나, 이에 한정되는 것은 아니다. Ada-boosting 알고리즘에 대해서는 본 발명의 기술분야의 통상의 기술자들에게 잘 알려져 있으므로, 자세한 설명을 생략한다.Next, an area corresponding to the buyer's face can be detected from the image information (S52). Various algorithms are known for detecting a face portion of a person in an image. In one embodiment, the face portion may be detected by applying an Ada-boosting algorithm that uses a Haar-like feature as a feature value of a face, but the present invention is not limited thereto. The Ada-boosting algorithm is well known to those of ordinary skill in the art, and therefore a detailed description thereof will be omitted.

다음으로, 검출된 얼굴 영역에 대한 조명의 영향을 보정하기 위하여, 얼굴 영역에 대한 정규화 과정을 수행할 수 있다(S53). 정규화 과정은 얼굴 영역의 픽셀 세기에 대한 평균 및 표준편차를 이용하여 픽셀 세기를 정규화하는 과정을 포함할 수 있다. 또한, 정규화 과정은 특징 추출을 위해 이미지의 크기를 정규화하는 과정을 포함할 수도 있다. Next, in order to correct the influence of the illumination on the detected face region, a normalization process for the face region may be performed (S53). The normalization process may include normalizing the pixel intensity using the mean and standard deviation of the pixel intensity of the face region. In addition, the normalization process may include a process of normalizing the size of the image for feature extraction.

다음으로, 정규화된 얼굴 영역으로부터 식별 정보의 추출을 위한 특징 정보들을 추출할 수 있다(S54). 예컨대, 특징 정보들은 얼굴의 주름, 눈썹, 눈, 코, 입 등을 정의하는 하나 이상의 픽셀들일 수 있다. 또한, 특징 정보들에 관련된 위치, 길이 또는 면적 등의 수치가 산출될 수 있다. 예컨대, 특징 정보들을 이용하여 얼굴의 전체적인 윤곽, 얼굴에 존재하는 주름, 또는 눈, 코, 입, 눈썹 등의 위치 및 크기의 상관관계 등이 산출될 수 있다. 일 실시예에서, 이상의 수치 산출 과정은 LDP(local directional pattern) 알고리즘을 이용하여 수행될 수도 있으나, 이에 한정되는 것은 아니다. LDP 알고리즘에 대해서는 본 발명의 기술분야의 통상의 기술자들에게 잘 알려져 있으므로, 자세한 설명을 생략한다.Next, the feature information for extracting the identification information from the normalized face region can be extracted (S54). For example, the feature information may be one or more pixels that define the wrinkles, eyebrows, eyes, nose, mouth, etc. of the face. Further, numerical values such as position, length or area related to the feature information can be calculated. For example, the feature information may be used to calculate the overall contour of the face, the wrinkles present on the face, or the position and size of the eyes, nose, mouth, eyebrows, etc. In one embodiment, the above-described numerical calculation process may be performed using an LDP (local directional pattern) algorithm, but is not limited thereto. The LDP algorithm is well known to those skilled in the art, and thus a detailed description thereof will be omitted.

다음으로, 특징 정보들에 관련된 수치로부터 구매자의 성별을 산출할 수 있다(S55). 또한, 성별을 산출하는 과정(S55)을 대체하여 또는 이와 병행하여, 특징 정보들에 관련된 수치로부터 구매자의 연령을 산출할 수 있다(S56). 일 실시예에서, 성별 및/또는 연령을 산출하는 방법은 데이터 클러스터링(data clustering) 기법을 이용하여 수행될 수 있다. 고차원 데이터의 접근에 따른 부하를 줄이고 POS 모듈(11)과의 연동을 최적화하기 위해, 특징 정보들에 관련된 수치의 차원 수를 감소시키는 통계적 학습(statistical leaning) 알고리즘을 적용함으로써 데이터의 평면 공간을 축소할 수 있다. Next, the sex of the purchaser can be calculated from the values related to the feature information (S55). Alternatively, the age of the purchaser can be calculated from the values related to the feature information (S56) instead of or in parallel with the process of calculating the sex (S55). In one embodiment, the method of calculating gender and / or age may be performed using a data clustering technique. In order to reduce the load due to the access of the high-dimensional data and to optimize the interworking with the POS module 11, a statistical leaning algorithm for reducing the number of dimensions related to the feature information is applied to reduce the planar space of the data can do.

즉, 구매자의 성별 및/또는 연령을 산출하는 과정(S55 및/또는 S56)은 데이터베이스(3; 도 1)에 미리 저장된 성별 및/또는 연령별 특징 데이터를 이용하여 수행될 수 있다. 단계(S54)에서 추출된 특징 정보들을 데이터베이스에 미리 저장된 성별 및/또는 연령별 특징 데이터와 비교함으로써, 단계(S54)에서 추출된 특징 정보와 가장 근접한 성별 및/또는 연령을 결정할 수 있다. 데이터베이스에 미리 저장된 특징 데이터는, 특징 정보를 추출하는 과정(S34)과 동일한 과정을 학습 이미지에 대해 수행함으로써 미리 얻어진 것일 수 있다. 이때, 데이터베이스에 저장할 특징 데이터의 차원 수를 감소시키기 위하여 데이터 마이닝(data mining) 알고리즘이 적용될 수 있다.That is, the process of calculating the sex and / or age of the purchaser (S55 and / or S56) may be performed using the sex and / or age-specific feature data stored in advance in the database 3 (FIG. The sex and / or age closest to the feature information extracted in step S54 can be determined by comparing the feature information extracted in step S54 with the gender and / or age-specific feature data stored in the database in advance. The feature data previously stored in the database may be obtained in advance by performing the same process as the process S34 of extracting the feature information on the learning image. At this time, a data mining algorithm may be applied to reduce the number of dimensions of feature data to be stored in the database.

개별 이미지에 대해 LDP 알고리즘과 같은 특징 추출 알고리즘을 적용하여 추출된 특징 데이터는 매우 고차원이므로, 데이터에 요구되는 물리적 용량 및 수학적 계산량이 매우 크다. 하드웨어 자원에 제한이 있는 POS 장치의 경우 이러한 특징 데이터를 그대로 저장하거나 이에 접근하는 것이 과중한 부하를 유발할 수 있으므로, 데이터 마이닝 알고리즘을 적용하여 특징 데이터의 차원 수를 감소시킴으로써, 특징 데이터의 저장 및 접근에 소요되는 저장 용량 및 계산량을 감소시킬 수 있다.Feature data extracted by applying a feature extraction algorithm such as an LDP algorithm to individual images are very high-dimensional, so that the physical capacity required for data and the amount of mathematical computation are very large. In the case of POS devices with limited hardware resources, storing or accessing such characteristic data may cause an excessive load. Therefore, by reducing the number of dimensions of characteristic data by applying a data mining algorithm, The required storage capacity and calculation amount can be reduced.

도 6a는 얼굴 이미지로부터 특징 데이터를 추출하는 방법에 대한 개념도이다. 도 6a를 참조하면, 좌측 이미지(A)에 도시된 것과 같이 얼굴 이미지를 복수 개의 영역으로 구분할 수 있다. 다음으로, 구분된 각 영역에 대한 특징 데이터를 추출하여 나열함으로써, 중간 이미지(B)와 같이 나이 및 성별을 나타내는 고차원 특징 데이터를 얻을 수 있다.6A is a conceptual diagram of a method of extracting feature data from a face image. Referring to FIG. 6A, the face image may be divided into a plurality of regions as shown in the left image (A). Next, by extracting and sorting feature data for each of the divided regions, high dimensional feature data representing age and sex can be obtained as in the intermediate image (B).

이때, 고차원의 데이터 조합인 특징 데이터에 대해 데이터 마이닝 알고리즘을 적용(C)함으로써, 나이 및 성별 정보의 손실 없이 고차원 특징 데이터를 우측 이미지(D)에 도시된 저차원 특징 데이터 형식으로 축소할 수 있다. 또한, 축소된 저차원 특징 데이터를 이용하여 나이 및/또는 성별의 식별을 위한 시스템을 구축할 수 있다.At this time, high-dimensional feature data can be reduced to the low-dimensional feature data format shown in the right image (D) without loss of age and gender information by applying a data mining algorithm to feature data that is a high-dimensional data combination . In addition, a system for identification of age and / or gender can be constructed using the reduced low dimensional feature data.

도 6b는 2차원 특징 데이터에 대한 2-클래스(2-class) 분류 결과를 나타내는 개념도이다. 분석 대상 이미지로부터 추출된 특징 정보를 데이터베이스에 저장되어 있는 저차원 특징 데이터와 비교함으로써, 해당 이미지를 분류할 수 있다.  FIG. 6B is a conceptual diagram showing a result of a 2-class classification of two-dimensional feature data. By comparing the feature information extracted from the analysis target image with the low dimensional feature data stored in the database, the corresponding image can be classified.

도 6b에서 각각 청색 및 적색으로 표시된 점들(601, 602)은 개별 이미지에 대응되며, 실선으로 구분되는 2개의 영역(611, 612)은 분류된 각각의 클래스에 해당된다. 또한, 각 영역(611, 612) 내의 표식(621, 622)은 각 클래스의 중심을 나타낸다. 개별 이미지에 대응되는 점(601, 602)들을 도 6a를 참조하여 전술한 저차원 특징 데이터와 비교함으로써, 해당 이미지에 대응되는 성별 및/또는 연령을 결정할 수 있다.In FIG. 6B, the points 601 and 602 indicated by blue and red respectively correspond to the individual images, and the two regions 611 and 612 separated by the solid line correspond to the classified classes. The markers 621 and 622 in the regions 611 and 612 indicate the centers of the respective classes. The gender and / or age corresponding to the image can be determined by comparing the points 601 and 602 corresponding to the individual images with the low dimensional feature data described above with reference to Fig. 6A.

도 6b에는 클래스에 대응되는 2개의 영역(611, 612)이 도시되었으나, 클래스의 개수는 실시예들에 따라 상이할 수 있다. 예컨대, 성별은 2-클래스의 식별 구조를 가지므로 SVM(support vector machine) 분류(classification)를 이용하여 뷴류될 수 있다. 또한, 연령은 다중 클래스(multi-class)의 식별 구조를 가지므로 다중 분류 SVM 알고리즘을 이용하여 분류될 수 있다.In FIG. 6B, two regions 611 and 612 corresponding to classes are shown, but the number of classes may differ according to the embodiments. For example, gender has a two-class identification structure and can be classified using support vector machine (SVM) classification. In addition, since the age has a multi-class identification structure, it can be classified using a multi-classification SVM algorithm.

그러나, 이상에서 설명한 분류 알고리즘은 예시적인 것으로서, 다른 실시예에서는 다른 상이한 방법에 의해 분석 대상 이미지 정보에 대응되는 성별 및/또는 연령을 결정할 수도 있다.However, the classification algorithm described above is an exemplary one, and in other embodiments, the gender and / or age corresponding to the analysis object image information may be determined by another different method.

도 7은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 순서도이다. 7 is a flowchart illustrating a process flow of the ATM layer recognition module in the POS method according to an exemplary embodiment.

도 7을 참조하면, 객층 인식 모듈(12)은 POS 모듈이 실행(S61)되는 것에 대한 응답으로 카메라를 활성화할 수 있다(S62). 즉, 객층 인식 모듈(12)은 POS 모듈의 실행이 개시되면 별도의 상품 판매에 관련된 동작이 수행되지 않더라도 일단 카메라를 활성화할 수 있다. Referring to FIG. 7, the client layer recognition module 12 can activate the camera in response to the execution of the POS module (S61) (S62). That is, when the execution of the POS module is started, the client layer recognition module 12 can once activate the camera even if the operation related to the sale of the commodity is not performed.

다음으로, POS 모듈에 의하여 객층 인식 모듈(12)이 호출되면(S63), 객층 인식 모듈(12)은 호출을 통해 전달된 메시지를 확인하고(S64), 확인 결과 이미지 촬영이 필요한 것으로 확인되면 구매자의 이미지 정보를 얻을 수 있다. 또한, 객층 인식 모듈은 얻어진 이미지 정보에서 얼굴을 인식하고(S65), 인식된 얼굴 부분에서 성별 및/또는 연령 등 하나 이상의 식별 정보를 산출할 수 있다(S66). 식별 정보의 산출이 성공하면, 식별 정보는 데이터베이스에 저장될 수 있다(S67). Next, when the client layer recognition module 12 is called by the POS module (S63), the client layer recognition module 12 confirms the message transmitted through the call (S64) Can be obtained. In addition, the object recognition module recognizes the face in the obtained image information (S65), and may calculate one or more pieces of identification information such as sex and / or age in the recognized face portion (S66). If the identification information is successfully calculated, the identification information can be stored in the database (S67).

도 8은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 8 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

도 8을 참조하면, 객층 인식 모듈(12)은, POS 모듈에 의한 호출을 수신(S71)하고 호출을 통해 전달된 메시지를 확인(S72)한 결과 이미지 촬영이 필요한 것으로 확인될 경우 카메라를 활성화할 수도 있다(S73). 카메라가 활성화되면, 객층 인식 모듈은 카메라를 통해 얻은 이미지 정보에서 구매자의 얼굴을 인식하고(S74), 인식된 얼굴 부분에서 성별 및/또는 연령 등 하나 이상의 식별 정보를 산출할 수 있다(S75). 산출된 식별 정보는 데이터베이스에 저장될 수 있다(S76).Referring to FIG. 8, the client layer recognition module 12 receives a call by the POS module (S71), confirms the message transmitted through the call (S72), and activates the camera (S73). When the camera is activated, the customer layer recognition module recognizes the buyer's face in the image information obtained through the camera (S74), and can calculate one or more pieces of identification information such as sex and / or age in the recognized face portion (S75). The calculated identification information can be stored in the database (S76).

도 9는 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 9 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

도 9를 참조하면, 객층 인식 모듈(12)은 POS 모듈에 의한 호출을 수신(S81)할 수 있다. 이때 호출에는 얼굴 인식이 필요한 횟수 또는 인식에 사용될 이미지 정보의 최대 프레임 수와 같은 인식 제한 메시지가 포함될 수 있다. 객층 인식 모듈(12)은, 호출을 통해 전달된 메시지를 확인(S82)한 결과 이미지 촬영이 필요한 것으로 확인될 경우, 카메라를 통해 얻은 이미지 정보에서 구매자의 얼굴을 인식하고(S83), 인식된 얼굴 부분에서 성별 및/또는 연령 등 하나 이상의 식별 정보를 산출할 수 있다(S84).Referring to FIG. 9, the client layer recognition module 12 may receive a call by the POS module (S81). At this time, the call may include a recognition limit message such as the number of times the face recognition is required or the maximum number of frames of image information to be used for recognition. When it is confirmed that the message sent through the call is confirmed (S82), the client layer recognition module 12 recognizes the buyer's face from the image information obtained through the camera (S83) One or more pieces of identification information such as gender and / or age may be calculated in the portion (S84).

전술한 것과 같이, POS 모듈에 의한 호출에는 인식 횟수 또는 최대 프레임 수와 같은 인식 제한 메시지가 포함될 수 있다. 객층 인식 모듈(12)에 의하여 식별 정보를 최초로 산출한 후, 객층 인식 모듈(12)은, 현재 인식 횟수 또는 인식에 사용된 이미지 정보의 프레임 수가, 인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임 수를 초과하였는지 여부를 확인할 수 있다(S85). As described above, the call by the POS module may include a recognition restriction message such as the recognition count or the maximum frame count. After the identification of the identification information by the object recognition module 12, the object recognition module 12 determines whether the current recognition number or the frame number of the image information used for recognition is the recognition number defined by the recognition restriction message, (S85). ≪ / RTI >

인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임 수를 초과하지 않았을 경우, 객층 인식 모듈(12)은 이미지 정보의 다음 프레임에 대하여 전술한 동작(S83 내지 S85)을 반복 수행할 수 있다. 이후 인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임 수를 초과하였을 경우, 객층 인식 모듈(12)은 현재까지 산출된 성별 및/또는 연령 중 마지막으로 산출된 값을 최종적인 성별 및/또는 연령으로 하여 최종 식별 정보를 산출할 수 있다(S86). 산출된 최종 식별 정보는 데이터베이스에 저장될 수 있다(S87).If the number of recognition times or the maximum number of frames defined by the recognition limitation message is not exceeded, the object recognition module 12 can repeat the above-described operations (S83 to S85) for the next frame of the image information. If the number of recognition times or the maximum number of frames defined by the recognition restriction message is exceeded, the object recognition module 12 determines the final calculated gender and / or age to be the final gender and / or age And the final identification information can be calculated (S86). The calculated final identification information may be stored in the database (S87).

도 10은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 10 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

도 10을 참조하면, 객층 인식 모듈(12)은 POS 모듈에 의한 호출을 수신(S91)하며, 이때 호출에는 얼굴 인식이 필요한 횟수 또는 인식에 사용될 이미지 정보의 최대 프레임 수와 같은 인식 제한 메시지가 포함될 수 있다. 객층 인식 모듈(12)은, 호출을 통해 전달된 메시지를 확인(S92)한 결과 이미지 촬영이 필요한 것으로 확인될 경우, 카메라를 통해 얻은 이미지 정보에서 구매자의 얼굴을 인식하고(S93), 인식된 얼굴 부분에서 성별 및/또는 연령 등 하나 이상의 식별 정보를 산출할 수 있다(S94). 다만, 객층 인식 모듈(12)은 상기 단계(S94)를 이미지 정보의 매 프레임마다 반복 수행함으로써 얻어지는 성별 및/또는 연령을 누적할 수 있다. 10, the client layer recognition module 12 receives a call by the POS module (S91). At this time, the call includes a recognition limit message such as the number of times the face recognition is required or the maximum number of frames of image information to be used for recognition . When it is confirmed that the image pickup is necessary as a result of confirming the message transmitted through the call (S92), the client layer recognition module 12 recognizes the buyer's face from the image information obtained through the camera (S93) One or more pieces of identification information such as sex and / or age can be calculated in the portion (S94). However, the client layer recognition module 12 may accumulate the gender and / or age obtained by repeating the step S94 for each frame of the image information.

객층 인식 모듈(12)에 의하여 식별 정보를 최초로 산출한 후, 객층 인식 모듈(12)은, 현재 인식 횟수 또는 인식에 사용된 이미지 정보의 프레임 수가, 인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임 수를 초과하였는지 여부를 확인할 수 있다(S95). After the identification of the identification information by the object recognition module 12, the object recognition module 12 determines whether the current recognition number or the frame number of the image information used for recognition is the recognition number defined by the recognition restriction message, (S95). ≪ / RTI >

인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임 수를 초과하지 않았을 경우, 객층 인식 모듈(12)은 이미지 정보의 다음 프레임에 대하여 전술한 동작(S93 및 S94)을 반복 수행할 수 있다. 이후 인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임 수를 초과하였을 경우, 객층 인식 모듈(12)은 현재까지 산출된 성별 및/또는 연령의 누적값을 최종적인 식별 정보로 하여 식별 정보를 산출할 수 있다(S96). 예컨대, 최종 식별 정보는 이미지 정보의 각 프레임으로부터 얻어진 식별 정보의 평균값으로 얻어질 수도 있다. 산출된 최종 식별 정보는 데이터베이스에 저장될 수 있다(S97).If the number of recognition times or the maximum number of frames defined by the recognition limit message is not exceeded, the object recognition module 12 may repeat the above-described operations (S93 and S94) for the next frame of the image information. When the number of recognition times or the maximum number of frames defined by the recognition limit message is exceeded, the client layer recognition module 12 calculates the identification information by using the cumulative value of the gender and / or age calculated so far as the final identification information (S96). For example, the final identification information may be obtained as an average value of the identification information obtained from each frame of the image information. The calculated final identification information can be stored in the database (S97).

도 11은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 11 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

도 11을 참조하면, 객층 인식 모듈(12)은 POS 모듈에 의한 호출을 수신(S101)하며, 이때 호출에는 얼굴 인식이 필요한 횟수 또는 인식에 사용될 이미지 정보의 최대 프레임 수와 같은 인식 제한 메시지가 포함될 수 있다. 객층 인식 모듈(12)은, 호출을 통해 전달된 메시지를 확인(S102)한 결과 이미지 촬영이 필요한 것으로 확인될 경우, 카메라를 통해 얻은 이미지 정보에서 구매자의 얼굴을 인식할 수 있다(S103). 11, the client layer recognition module 12 receives a call by the POS module (S101). At this time, the call includes a recognition limit message such as the number of times the face recognition is required or the maximum number of frames of image information to be used for recognition . When it is confirmed that the image pickup is necessary as a result of confirming the message transmitted through the call (S102), the client layer recognition module 12 can recognize the buyer's face from the image information obtained through the camera (S103).

얼굴이 최초로 인식된 후, 객층 인식 모듈(12)은, 현재 인식 횟수 또는 인식에 사용된 이미지 정보의 프레임 수가, 인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임 수를 초과하였는지 여부를 확인할 수 있다(S104). After the face is recognized for the first time, the client layer recognition module 12 can check whether the current number of recognition or the frame number of the image information used for recognition exceeds the recognition count or the maximum number of frames defined by the recognition limit message (S104).

인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임을 초과하지 않았을 경우, 객층 인식 모듈(12)은 이미지 정보의 다음 프레임에 대하여 얼굴 인식(S103)을 반복 수행할 수 있다. 이후 인식 제한 메시지에 의해 정의된 인식 횟수 또는 최대 프레임을 초과하였을 경우, 객층 인식 모듈(12)은 얼굴 인식이 성공한 횟수(또는 인식이 성공한 이미지 정보의 프레임 수) R이 미리 결정된 개수 N 이상인지를 확인하고(S105), R이 N 이상인 경우에만 성별 및/또는 연령 등 식별 정보를 산출한다(S106). 결과적으로, 미리 지정된 N개의 얼굴 영역을 대상으로 성별 및/또는 연령 등 식별 정보를 산출할 수 있다. 산출된 식별 정보는 데이터베이스에 저장될 수 있다(S107).If the recognition count or the maximum frame defined by the recognition limit message is not exceeded, the object recognition module 12 may repeat the face recognition (S103) for the next frame of the image information. If the number of recognition times or the maximum frame defined by the recognition limit message is exceeded, the object recognition module 12 determines whether the number of times the face recognition has succeeded (or the frame number of the image information that has been successfully recognized) R is greater than or equal to the predetermined number N (S105). Only when R is equal to or greater than N, identification information such as sex and / or age is calculated (S106). As a result, it is possible to calculate identification information such as sex and / or age with respect to N face regions predetermined in advance. The calculated identification information can be stored in the database (S107).

도 12는 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 12 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

도 12를 참조하면, 객층 인식 모듈(12)은 POS 모듈에 의한 호출을 수신(S111)하며, 이때 호출에는 미리 결정된 인식시간이 포함될 수 있다. 객층 인식 모듈(12)은, 호출을 통해 전달된 메시지를 확인(S112)한 결과 이미지 촬영이 필요한 것으로 확인될 경우, 카메라를 통해 얻은 이미지 정보에서 구매자의 얼굴을 인식할 수 있다(S113). 얼굴이 최초로 인식된 후, 객층 인식 모듈(12)은, 현재 인식에 소요된 시간이 호출 시 전달된 인식시간을 초과하였는지 여부를 확인할 수 있다(S114). Referring to FIG. 12, the client layer recognition module 12 receives a call by the POS module (S111), and the call may include a predetermined recognition time. When it is confirmed that the image pickup is necessary as a result of confirming the message transmitted through the call (S112), the client layer recognition module 12 can recognize the buyer's face from the image information obtained through the camera (S113). After the face is recognized for the first time, the client layer recognition module 12 can check whether the time spent for the current recognition exceeds the recognition time passed in the call (S114).

호출 시 전달된 인식시간을 초과하지 않았을 경우, 객층 인식 모듈(12)은 이미지 정보의 다음 프레임에 대하여 얼굴 인식(S113)을 반복 수행할 수 있다. 이후 호출 시 전달된 인식시간을 초과하였을 경우, 객층 인식 모듈(12)은 그때까지 인식된 얼굴 영역 이미지들로부터 성별 및/또는 연령 등 식별 정보를 산출할 수 있다(S115). 산출된 식별 정보는 데이터베이스에 저장될 수 있다(S116).If the recognition time passed at the time of the call is not exceeded, the object recognition module 12 may repeat the face recognition (S113) for the next frame of the image information. If the recognition time passed in the subsequent call is exceeded, the object recognition module 12 may calculate identification information such as sex and / or age from the recognized face region images until then (S115). The calculated identification information can be stored in the database (S116).

도 13은 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 13 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

도 14를 참조하면, 객층 인식 모듈(12)은 POS 모듈에 의한 호출을 수신(S121)하며, 이때 호출에는 미리 결정된 최대 프레임 수가 포함될 수 있다. 객층 인식 모듈(12)은, 호출을 통해 전달된 메시지를 확인(S122)한 결과 이미지 촬영이 필요한 것으로 확인될 경우, 카메라를 통해 이미지 정보를 얻고 이를 매 프레임별로 누적할 수 있다(S123). 최초 프레임의 이미지 정보가 얻어진 후, 객층 인식 모듈(12)은, 현재까지 얻어진 프레임 수가 호출 시 전달된 최대 프레임 수를 초과하였는지 여부를 확인할 수 있다(S124). Referring to FIG. 14, the ATM module 12 receives a call by the POS module (S121), and a predetermined maximum number of frames may be included in the call. When it is confirmed that the image pickup is necessary as a result of confirming the message transmitted through the call (S122), the object layer recognition module 12 may obtain the image information through the camera and accumulate the image information for each frame (S123). After the image information of the first frame is obtained, the client layer recognition module 12 can check whether the number of frames obtained so far exceeds the maximum number of frames transmitted in the call (S124).

호출 시 전달된 최대 프레임 수를 초과하지 않았을 경우, 객층 인식 모듈(12)은 다시 구매자의 이미지를 촬영하여 이미지 정보의 다음 프레임을 누적할 수 있다(S123). 이후 누적된 프레임의 수가 호출 시 전달된 최대 프레임 수를 초과하였을 경우, 객층 인식 모듈(12)은 그때까지 인식된 이미지 정보의 각 프레임으로부터 구매자의 얼굴 영역을 인식할 수 있다(S125). 또한, 객층 인식 모듈(12)은 각각의 프레임으로부터 인식된 얼굴 영역으로부터 성별 및/또는 연령 등 식별 정보를 산출할 수 있다(S126). 산출된 식별 정보는 데이터베이스에 저장될 수 있다(S127).If the maximum number of frames transmitted in the call is not exceeded, the client layer recognition module 12 may capture the image of the purchaser again and accumulate the next frame of the image information (S123). If the accumulated number of frames exceeds the maximum number of frames transmitted in the call, the object recognition module 12 can recognize the face region of the purchaser from each frame of the image information so far (S125). In addition, the client layer recognition module 12 may calculate identification information such as sex and / or age from the face area recognized from each frame (S126). The calculated identification information can be stored in the database (S127).

도 14는 일 실시예에 따른 POS 방법에서 객층 인식 모듈의 처리 흐름을 나타내는 또 다른 순서도이다. 14 is another flowchart showing the processing flow of the ATM layer recognition module in the POS method according to the embodiment.

도 14를 참조하면, 객층 인식 모듈(12)은 POS 모듈에 의한 호출을 수신(S131)하며, 이때 호출에는 미리 결정된 최대 프레임 수가 포함될 수 있다. 객층 인식 모듈(12)은, 호출을 통해 전달된 메시지를 확인(S132)한 결과 이미지 촬영이 필요한 것으로 확인될 경우, 카메라를 통해 이미지 정보를 얻고 얻어진 이미지 정보로부터 구매자의 얼굴 영역을 인식할 수 있다(S133). 얼굴 영역이 최초로 인식된 후, 객층 인식 모듈(12)은, 현재까지 인식에 사용된 이미지 정보의 프레임 수가 호출 시 전달된 최대 프레임 수를 초과하였는지 여부를 확인할 수 있다(S134). Referring to FIG. 14, the ATM module 12 receives a call by the POS module (S131), and a predetermined maximum number of frames may be included in the call. When it is confirmed that the message transmitted through the call is confirmed (S132) as a result of image capture, it is possible to obtain the image information through the camera and recognize the face region of the purchaser from the obtained image information (S133). After the face area is recognized for the first time, the object recognition module 12 can check whether the number of frames of image information used for recognition has exceeded the maximum number of frames transmitted in the call (S134).

호출 시 전달된 최대 프레임 수를 초과하지 않았을 경우, 객층 인식 모듈(12)은 다시 구매자의 이미지를 촬영하여 얼굴 영역을 인식할 수 있다(S133). 이후 인식에 사용된 프레임의 수가 호출 시 전달된 최대 프레임 수를 초과하였을 경우, 객층 인식 모듈(12)은 그때까지 인식된 얼굴 영역으로부터 성별 및/또는 연령 등 식별 정보를 산출할 수 있다(S135). 산출된 식별 정보는 데이터베이스에 저장될 수 있다(S136).If the maximum number of frames transmitted in the call has not been exceeded, the client layer recognition module 12 can recognize the face area by capturing the image of the purchaser again (S133). When the number of frames used for recognition exceeds the maximum number of frames transmitted during the call, the object recognition module 12 may calculate identification information such as sex and / or age from the recognized face area up to that time (S135) . The calculated identification information may be stored in the database (S136).

이상에서는 객층 인식 모듈이 POS 모듈의 동작 또는 호출에 대한 응답으로 구매자의 하나 이상의 식별 정보를 산출하기 위한 객층 인식 모듈의 다양한 처리 흐름을 설명하였다. 그러나, 이상에서 설명된 객층 인식 모듈의 처리 흐름은 단지 예시적인 것이며, 객층 인식 모듈은 POS 모듈의 미리 결정된 동작에 대한 응답으로 다른 상이한 처리 흐름에 따라 이미지 정보를 획득하여 식별 정보를 산출할 수도 있다. In the foregoing, various process flows of the ATM module for calculating one or more pieces of identification information of the purchaser in response to the operation or call of the POS module have been described by the ATM module. However, the processing flow of the above-described object recognition module is merely exemplary, and the object recognition module may obtain the image information according to the different process flow in response to the predetermined operation of the POS module to produce the identification information .

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.While the invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. However, it should be understood that such modifications are within the technical scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (26)

성별 및 연령에 기초한 복수 개의 그룹별로 정의된 특징 데이터를 저장하는 데이터베이스로서, 상기 특징 데이터는 학습 이미지로부터 산출된 데이터에 데이터 마이닝 알고리즘을 적용함으로써 차원이 감소된 데이터인, 상기 데이터베이스;
구매자에 대한 상품 판매에 관련된 정보를 입력받고, 인식 제한 메시지를 객층 인식 모듈에 전달함으로써 상기 객층 인식 모듈을 호출하도록 구성된 판매 시점 관리(Point Of Sales; POS) 모듈; 및
상기 POS 모듈에 연결되며, 상기 POS 모듈과 독립적으로 구동되고, 상기 POS 모듈에 의해 호출되는 것에 대한 응답으로 상기 인식 제한 메시지에 의해 정의된 조건 하에서 상기 구매자에 관련된 하나 이상의 식별 정보를 획득하도록 구성된 상기 객층 인식 모듈을 포함하되,
상기 객층 인식 모듈은,
이미지를 촬영하기 위한 촬영부;
상기 POS 모듈에 의해 호출되는 것에 대한 응답으로 상기 구매자의 이미지 정보를 획득하도록 상기 촬영부를 제어하는 제어부; 및
상기 이미지 정보로부터 하나 이상의 특징 정보를 추출하고, 추출된 상기 특징 정보를 상기 데이터베이스에 저장된 특징 데이터와 비교함으로써 상기 구매자에 대한 하나 이상의 식별 정보를 추출하는 이미지 처리부를 포함하는 것을 특징으로 하는 판매 시점 관리 장치.
Wherein the feature data is data whose dimension is reduced by applying a data mining algorithm to data calculated from a learning image, wherein the feature data is defined by a plurality of groups based on gender and age.
A point of sale (POS) module configured to receive information related to merchandise sales to a purchaser and to invoke the client layer recognition module by transmitting a recognition limit message to the client layer recognition module; And
And configured to obtain one or more identification information associated with the purchaser under conditions defined by the recognition limit message in response to being called by the POS module, An object recognition module,
The client-
A photographing unit for photographing an image;
A control unit for controlling the photographing unit to obtain image information of the purchaser in response to being called by the POS module; And
And an image processing unit for extracting at least one identification information for the purchaser by extracting one or more pieces of feature information from the image information and comparing the extracted feature information with feature data stored in the database, Device.
제 1항에 있어서,
상기 객층 인식 모듈은, 상기 하나 이상의 식별 정보를 상기 데이터베이스에 저장하는 송수신부를 더 포함하는 것을 특징으로 하는 판매 시점 관리 장치.
The method according to claim 1,
Wherein the client layer recognition module further comprises a transceiver unit for storing the one or more pieces of identification information in the database.
제 2항에 있어서,
상기 POS 모듈에는 상기 구매자에 관련된 고객 정보가 더 입력되며,
상기 송수신부는, 상기 하나 이상의 식별 정보를 상기 고객 정보와 연관시켜 상기 데이터베이스에 저장하는 것을 특징으로 하는 판매 시점 관리 장치.
3. The method of claim 2,
The customer information related to the purchaser is further input to the POS module,
Wherein the transmission / reception unit stores the one or more pieces of identification information in association with the customer information in the database.
제 2항에 있어서,
상기 송수신부는, 상기 하나 이상의 식별 정보를 상품 판매 정보와 연관시켜 상기 데이터베이스에 저장하는 것을 특징으로 하는 판매 시점 관리 장치.
3. The method of claim 2,
Wherein the transceiving unit stores the one or more pieces of identification information in association with the commodity sales information in the database.
제 1항에 있어서,
상기 하나 이상의 식별 정보는 상기 구매자의 성별 및 연령 중 하나 이상을 포함하는 것을 특징으로 하는 판매 시점 관리 장치.
The method according to claim 1,
Wherein the at least one identification information includes at least one of a gender and an age of the purchaser.
삭제delete 삭제delete 삭제delete 제 1항에 있어서,
상기 POS 모듈은, 상기 POS 모듈의 구동 개시, 상기 POS 모듈에 의한 상품 스캔, 상기 POS 모듈에 대한 미리 결정된 입력, 및 상기 POS 모듈에 의한 상품 판매 정보의 저장 중 하나 이상의 시점에 상기 객층 인식 모듈을 호출하도록 구성된 것을 특징으로 하는 판매 시점 관리 장치.
The method according to claim 1,
Wherein the POS module is operable to display the at least one of the object recognition module at one or more of start of driving of the POS module, product scan by the POS module, predetermined input of the POS module, And to call the point-of-sale management apparatus.
제 1항에 있어서,
상기 객층 인식 모듈은, 상기 하나 이상의 식별 정보에 기초하여 상기 구매자에 대한 상품 판매에 관련된 피드백 정보를 생성하고, 상기 피드백 정보를 상기 POS 모듈에 전달하는 것을 특징으로 하는 판매 시점 관리 장치.
The method according to claim 1,
Wherein the customer layer recognition module generates feedback information related to the sale of goods to the purchaser based on the one or more pieces of identification information and delivers the feedback information to the POS module.
제 1항에 있어서,
상기 하나 이상의 식별 정보에 기초하여, 상기 구매자에 대응되는 광고 정보를 제공하는 광고 제공 모듈을 더 포함하는 것을 특징으로 하는 판매 시점 관리 장치.
The method according to claim 1,
Further comprising an advertisement providing module for providing advertisement information corresponding to the purchaser based on the at least one identification information.
제 1항에 따른 판매 시점 관리 장치; 및
상기 하나 이상의 식별 정보를 저장하는 데이터베이스를 포함하는 것을 특징으로 하는 판매 시점 관리 시스템.
A point-of-sale management apparatus according to claim 1; And
And a database for storing the one or more pieces of identification information.
제 12항에 있어서,
상기 하나 이상의 식별 정보에 기초하여, 상기 구매자에 대응되는 광고 정보를 제공하는 광고 제공 서버를 더 포함하는 것을 특징으로 하는 판매 시점 관리 시스템.
13. The method of claim 12,
Further comprising an advertisement providing server for providing advertisement information corresponding to the purchaser based on the at least one identification information.
제 13항에 있어서,
상기 광고 제공 서버는, 상기 광고 정보를 상기 판매 시점 관리 장치에 전송하는 것을 특징으로 하는 판매 시점 관리 시스템.
14. The method of claim 13,
Wherein the advertisement providing server transmits the advertisement information to the point-of-sale management apparatus.
성별 및 연령에 기초한 복수 개의 그룹별로 정의된 특징 데이터를 데이터베이스에 저장하는 단계로서, 상기 특징 데이터는 학습 이미지로부터 산출된 데이터에 데이터 마이닝 알고리즘을 적용함으로써 차원이 감소된 데이터인, 상기 데이터베이스에 저장하는 단계;
판매 시점 관리(Point Of Sales; POS) 모듈이, 구매자에 대한 상품 판매에 관련된 정보를 수신하는 단계;
상기 POS 모듈이, 상기 POS 모듈에 연결되며 상기 POS 모듈과 독립적으로 구동되는 객층 인식 모듈에 인식 제한 메시지를 전달함으로써 상기 객층 인식 모듈을 호출하는 단계;
상기 객층 인식 모듈이, 상기 POS 모듈에 의해 호출되는 것에 대한 응답으로 상기 구매자의 이미지 정보를 획득하는 단계; 및
상기 객층 인식 모듈이, 상기 이미지 정보로부터 상기 구매자에 대한 하나 이상의 식별 정보를 산출하는 단계를 포함하되,
상기 하나 이상의 식별 정보를 산출하는 단계는,
상기 이미지 정보로부터 하나 이상의 특징 정보를 추출하는 단계; 및
추출된 상기 특징 정보를 상기 데이터베이스에 저장된 특징 데이터와 비교함으로써 상기 구매자의 성별 및 연령 중 하나 이상을 결정하는 단계를 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
Storing feature data defined for each of a plurality of groups based on gender and age in a database, wherein the feature data is stored in the database, the reduced data being obtained by applying a data mining algorithm to data calculated from the learning image step;
A point of sale (POS) module receiving information related to selling a product to a buyer;
Calling the client layer recognition module by transmitting the recognition limit message to the client layer module connected to the POS module and driven independently from the POS module;
Acquiring image information of the purchaser in response to being called by the POS module; And
Wherein the client layer recognition module is operable to calculate one or more pieces of identification information for the buyer from the image information,
Wherein the step of calculating the one or more pieces of identification information comprises:
Extracting one or more pieces of feature information from the image information; And
And determining at least one of the gender and age of the purchaser by comparing the extracted feature information with feature data stored in the database.
제 15항에 있어서,
상기 하나 이상의 식별 정보를 상기 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
16. The method of claim 15,
And storing the one or more pieces of identification information in the database.
제 16항에 있어서,
상기 POS 모듈이 상기 구매자에 관련된 고객 정보를 수신하는 단계를 더 포함하되,
상기 하나 이상의 식별 정보를 데이터베이스에 저장하는 단계는, 상기 하나 이상의 식별 정보를 상기 고객 정보와 연관시켜 상기 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
17. The method of claim 16,
Further comprising the step of the POS module receiving customer information related to the purchaser,
Wherein storing the one or more pieces of identification information in a database comprises storing the one or more pieces of identification information in association with the customer information in the database.
제 16항에 있어서,
상기 하나 이상의 식별 정보를 데이터베이스에 저장하는 단계는, 상기 하나 이상의 식별 정보를 상품 판매 정보와 연관시켜 상기 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
17. The method of claim 16,
Wherein storing the one or more pieces of identification information in a database comprises storing the one or more pieces of identification information in association with merchandise sales information in the database.
제 15항에 있어서,
상기 하나 이상의 식별 정보는 상기 구매자의 성별 및 연령 중 하나 이상을 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
16. The method of claim 15,
Wherein the at least one identification information includes at least one of the gender and the age of the purchaser.
삭제delete 삭제delete 삭제delete 제 15항에 있어서,
상기 객층 인식 모듈을 호출하는 단계는, 상기 POS 모듈의 구동 개시, 상기 POS 모듈에 의한 상품 스캔, 상기 POS 모듈에 대한 미리 결정된 입력, 및 상기 POS 모듈에 의한 상품 판매 정보의 저장 중 하나 이상의 시점에 상기 POS 모듈이 상기 객층 인식 모듈을 호출하는 단계를 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
16. The method of claim 15,
The step of calling the client layer recognition module may be performed at one or more of starting the driving of the POS module, scanning a product by the POS module, inputting a predetermined amount to the POS module, and storing merchandise sales information by the POS module And the POS module calling the client layer recognition module.
제 15항에 있어서,
상기 하나 이상의 식별 정보에 기초하여 상기 구매자에 대한 상품 판매에 관련된 피드백 정보를 생성하는 단계; 및
상기 피드백 정보를 상기 POS 모듈에 전달하는 단계를 더 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
16. The method of claim 15,
Generating feedback information related to the sale of goods to the buyer based on the one or more pieces of identification information; And
And forwarding the feedback information to the POS module.
제 15항에 있어서,
상기 하나 이상의 식별 정보에 기초하여, 상기 구매자에 대응되는 광고 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 판매 시점 관리 방법.
16. The method of claim 15,
Further comprising providing advertising information corresponding to the buyer based on the one or more pieces of identification information.
제 25항에 있어서,
상기 광고 정보를 제공하는 단계는, 상기 광고 정보를 상기 POS 모듈에 전송하는 단계를 포함하는 것을 특징으로 하는 판매 시점 관리 방법.26. The method of claim 25,
Wherein the step of providing the advertisement information comprises transmitting the advertisement information to the POS module.
KR1020130006418A 2013-01-21 2013-01-21 Apparatus and method for point of sales with customer identification KR101402497B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130006418A KR101402497B1 (en) 2013-01-21 2013-01-21 Apparatus and method for point of sales with customer identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130006418A KR101402497B1 (en) 2013-01-21 2013-01-21 Apparatus and method for point of sales with customer identification

Publications (1)

Publication Number Publication Date
KR101402497B1 true KR101402497B1 (en) 2014-06-17

Family

ID=51131516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130006418A KR101402497B1 (en) 2013-01-21 2013-01-21 Apparatus and method for point of sales with customer identification

Country Status (1)

Country Link
KR (1) KR101402497B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893577B1 (en) * 2017-03-02 2018-08-31 주식회사 세중아이에스 Signature Pad Device and Sales Analyzing Method Using Signature Pad
KR20200073519A (en) * 2018-12-14 2020-06-24 주식회사 세중아이에스 Stand-alone type apparatus and method for automatically analyzing clientele

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2602364B2 (en) 1990-12-28 1997-04-23 甲府日本電気株式会社 POS terminal
JP2001118146A (en) * 1999-10-20 2001-04-27 System Av:Kk Pos system and security system utilizing it
JP2001325433A (en) 2000-05-17 2001-11-22 Star Micronics Co Ltd Client managing system
JP2010033143A (en) * 2008-07-25 2010-02-12 Nec Computertechno Ltd Pos terminal device for acquiring personal attribute information, pos system, method for acquiring attribute information, and program for acquiring attribute information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2602364B2 (en) 1990-12-28 1997-04-23 甲府日本電気株式会社 POS terminal
JP2001118146A (en) * 1999-10-20 2001-04-27 System Av:Kk Pos system and security system utilizing it
JP2001325433A (en) 2000-05-17 2001-11-22 Star Micronics Co Ltd Client managing system
JP2010033143A (en) * 2008-07-25 2010-02-12 Nec Computertechno Ltd Pos terminal device for acquiring personal attribute information, pos system, method for acquiring attribute information, and program for acquiring attribute information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893577B1 (en) * 2017-03-02 2018-08-31 주식회사 세중아이에스 Signature Pad Device and Sales Analyzing Method Using Signature Pad
KR20200073519A (en) * 2018-12-14 2020-06-24 주식회사 세중아이에스 Stand-alone type apparatus and method for automatically analyzing clientele
KR102153967B1 (en) 2018-12-14 2020-09-09 주식회사 세중아이에스 Stand-alone type apparatus and method for automatically analyzing clientele

Similar Documents

Publication Publication Date Title
US11449869B2 (en) Method and system for facilitating payment based on facial recognition
US11482082B2 (en) Non-scan loss verification at self-checkout terminal
US7617981B2 (en) Method and system for targeted marketing by leveraging video-based demographic insights
CN109726759B (en) Unmanned vending method, device, system, electronic equipment and computer readable medium
US10832312B2 (en) Systems and methods for facilitating a transaction relating to newly identified items using augmented reality
CN106056397B (en) Sales data processing apparatus, control method thereof, and server
US10758066B2 (en) Methods and a system for self-checkout processing
JP6686290B2 (en) System and method
US10510218B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
KR102216514B1 (en) Service system for returning goods with fast return and refund
KR102525872B1 (en) Apparatus for outputting a continuously changed qr code reflecting the monitored logistics status
US20200034783A1 (en) Store system, electronic shelf label, processing method for store system, and non-transitory storage medium
US11379903B2 (en) Data processing method, device and storage medium
US10891669B2 (en) Virtual sales assistant kiosk
US11488126B2 (en) Cashier fraud detecting system and method and product image selection generation for artificial neural network learning related applications
US11854068B2 (en) Frictionless inquiry processing
KR101402497B1 (en) Apparatus and method for point of sales with customer identification
US20230102033A1 (en) Payment processing system, payment processing method, and recording medium
JP6903044B2 (en) Cash handling system and cash transaction method
JP2016192090A (en) Fare adjustment system, merchandise registration device, fare adjustment device, program, and fare adjustment method
JP6888243B2 (en) Information processing equipment, information processing methods, and programs
WO2021245835A1 (en) Processing device, processing method, and program
JP2016024601A (en) Information processing apparatus, information processing system, information processing method, commodity recommendation method, and program
US20220092573A1 (en) Portable terminal and information processing method for a portable terminal
JP7338706B2 (en) Processing device, processing method and program

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 7