KR102043428B1 - Apparatus for detecting a counterfeit product using similarity of package box - Google Patents

Apparatus for detecting a counterfeit product using similarity of package box Download PDF

Info

Publication number
KR102043428B1
KR102043428B1 KR1020190079045A KR20190079045A KR102043428B1 KR 102043428 B1 KR102043428 B1 KR 102043428B1 KR 1020190079045 A KR1020190079045 A KR 1020190079045A KR 20190079045 A KR20190079045 A KR 20190079045A KR 102043428 B1 KR102043428 B1 KR 102043428B1
Authority
KR
South Korea
Prior art keywords
information
product
module
image information
print similarity
Prior art date
Application number
KR1020190079045A
Other languages
Korean (ko)
Inventor
김봉석
Original Assignee
대원아트팩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대원아트팩 주식회사 filed Critical 대원아트팩 주식회사
Priority to KR1020190079045A priority Critical patent/KR102043428B1/en
Application granted granted Critical
Publication of KR102043428B1 publication Critical patent/KR102043428B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1482—Methods for optical code recognition the method including quality enhancement steps using fuzzy logic or natural solvers, such as neural networks, genetic algorithms and simulated annealing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code

Abstract

The present invention relates to an apparatus for determining a counterfeit using code authentication of a package box. To this end, according to the present invention, the apparatus comprises: a standardization module for standardizing a perspective, an angle, and a size of image information to generate standardized image information; a printing similarity calculation module for calculating printing similarity between existing standard image information received as the same product and the standardized image information on the basis of the standardized image information and received product information, and outputting printing similarity information; an authentication order calculation module for calculating an authentication order for ID information using a web log generated based on a UUID and generating authentication order information indicating the number of UUID information accessing web access information of a QR code generated for the ID information; and a counterfeit determination module for determining whether the received ID information is counterfeit based on the product information, the printing similarity information, and the authentication order information and generating counterfeit determination information.

Description

패키지 박스의 인쇄 유사도 계산을 이용한 위품 판정 장치{Apparatus for detecting a counterfeit product using similarity of package box}Apparatus for detecting a counterfeit product using similarity of package box}

본 발명은 패키지 박스의 인쇄 유사도 계산을 이용한 위품 판정 장치에 관한 것이다. The present invention relates to a product judging device using print similarity calculation of a package box.

최근 소비자들의 눈높이가 올라가고 제품에 대한 기대가 향상되면서, 소비자들의 시선을 사로잡고 구매 결정을 야기하기 위한 패키지 박스 인쇄 기술은 나날이 발전하고 있다. 특히, 최근에는 패키지 박스 내에 QR 코드나 CID 코드, 칼라 코드 등을 인쇄하여 소비자에게 다양한 감각의 경험을 제공하려는 시도가 증가하고 있다. 대표적인 예가 사용자의 모바일 디바이스와 패키지 박스에 인쇄된 디자인 또는 인쇄된 특정 코드를 이용한 증강현실 경험이다. With the recent rise in the eyes of consumers and improved expectations for products, the development of package box printing technology to catch the attention of consumers and induce purchase decisions is being developed day by day. In particular, in recent years, attempts to provide a variety of sensory experiences to consumers by printing QR codes, CID codes, color codes, etc. in the package box are increasing. Representative examples are augmented reality experiences with designs printed on a user's mobile device and package box, or with specific codes printed.

하지만, 패키지 박스 인쇄 기술이나 증강현실 기술 등의 발전에도 불구하고 패키지 박스 내의 제품에 대한 위품 여부를 판정하는 기술은 단순히 QR 코드를 이용한 위품 여부 판정 횟수를 제공하는 방식이나 정품 인증 스티커를 부착하는 방식에 한정되고 있었다. However, despite the development of package box printing technology and augmented reality technology, the technology for determining whether a product is in a package box is simply a method of providing a number of items for judgment using a QR code or a method of attaching an activation sticker. It was limited to.

QR 코드(영어: QR code, Quick Response code)은 흑백 격자무늬 패턴으로 정보를 나타내는 매트릭스 형식의 이차원 바코드이다. QR 코드는 주로 한국, 일본, 중국, 영국, 미국 등에서 많이 사용되며 명칭은 덴소 웨이브의 등록 상표 'Quick Response'에서 유래하였다. 종래에 많이 쓰이던 바코드의 용량 제한을 극복하고 그 형식과 내용을 확장한 2차원의 바코드로 종횡의 정보를 가져서 숫자 외에 문자의 데이터를 저장할 수 있다. A QR code (Qr code, Quick Response code) is a two-dimensional barcode in matrix format that displays information in a black and white lattice pattern. QR codes are commonly used in Korea, Japan, China, the United Kingdom, and the United States, and their names are derived from the registered trademark 'Quick Response' of Denso Wave. Overcoming the limitations of conventional bar codes, two-dimensional barcodes can be used to store character data in addition to numbers.

QR 코드의 구조 일반 바코드는 단방향 즉, 1차원으로 숫자나 문자 정보가 저장 가능한데 QR 코드는 종횡으로 2차원 형태를 가져서 더 많은 정보를 가질 수 있으며, 사진, 동영상, 지도, 명함 등 다양한 정보를 더 편리하게 담아낼 수 있다. 버전1부터 버전40까지 다양한 버전을 지원하고 버전마다 최대로 포함할 수 있는 정보와 크기가 다르다. QR 코드에는 데이터의 표현과 읽기를 수월하게 하고자 콰이어트 존, 위치 검출 패턴[분리자 포함], 타이밍 패턴, 정렬 패턴, 포맷 정보, 버전 정보, 데이터 영역[에러 정정 코드 영역 포함] 등의 영역이 나뉘어 있다. QR 코드는 숫자 최대 7089 자, 영문자와 숫자[코드표가 따로 존재] 최대 4296 자, 8비트 바이트 최대 2953 바이트, 한자 1817 자를 담을 수 있다.Structure of QR Code Normal barcodes can store numeric or character information in one direction, that is, in one dimension. QR codes can have more information by having two-dimensional shapes in both sides. They can add various information such as photos, videos, maps, business cards, etc. Can be stored conveniently. It supports various versions from version 1 to version 40 and each version has different information and size. In order to facilitate the expression and reading of data, the QR code is divided into areas such as a quiet zone, a position detection pattern (including separators), a timing pattern, an alignment pattern, format information, version information, and a data area (including an error correction code area). have. A QR code can contain up to 7089 numbers, up to 4296 alphanumeric characters (with a separate code table), up to 2953 bytes for 8-bit bytes, and 1817 Chinese characters.

대한민국 등록특허 10-1511918, 위변조 방지 QR 코드 및 위변조 방지 QR 코드 자동생성 시스템과 그 시스템의 운영방법, 주식회사 이노서티Republic of Korea Patent Registration 10-1511918, anti-forgery QR code and anti-forgery QR code automatic generation system and its operation method, Inosity Co., Ltd.

따라서, 본 발명의 목적은 패키지 박스에 인쇄된 QR 코드를 이용하여 패키지 박스 내의 제품의 정품 여부, 또는 위품 여부를 판정하는 패키지 박스의 코드 인증을 이용한 위품 판정 장치를 제공하는데에 있다. Accordingly, an object of the present invention is to provide an apparatus for judging a product using code authentication of a package box that determines whether a product in a package box is genuine or a product using a QR code printed on the package box.

이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.Hereinafter, specific means for achieving the object of the present invention will be described.

본 발명의 목적은, 사용자 클라이언트에서 패키지 박스의 코드부를 포함한 영상 정보, 상기 코드부에 기록된 상품 정보, 상품 ID 정보 및 UUID 정보를 수신하는 통신 모듈; 상기 코드부를 기초로 상기 영상 정보의 원근, 각도 및 크기를 표준화하여 표준화 영상 정보를 생성하는 표준화 모듈; 상기 표준화 영상 정보와 수신된 상기 상품 정보를 기초로, 동일한 상품으로서 수신된 기존의 표준화 영상 정보와 상기 표준화 영상 정보의 인쇄 유사도를 계산하여 인쇄 유사도 정보를 출력하는 인쇄 유사도 계산 모듈; 상기 UUID를 기초로 생성된 웹 로그를 이용하여 상기 상품 ID 정보에 대한 인증 순번을 계산하여, 상기 상품 ID 정보에 대한 웹 엑세스 정보에 엑세스한 상기 UUID 정보의 순번을 의미하는 인증 순번 정보를 생성하는 인증 순번 계산 모듈; 및 상기 상품 정보, 상기 인쇄 유사도 정보 및 상기 인증 순번 정보를 기초로 수신된 상기 상품 ID 정보에 대한 위품 여부를 판정하여 위품 판정 정보를 생성하는 위품 판정 모듈; 를 포함하고, 상기 위품 판정 정보는 상기 웹 엑세스 정보의 웹 페이지 또는 웹 앱을 통하여 상기 사용자 클라이언트에 출력되는 것을 특징으로 하는, 패키지 박스의 코드 인증을 이용한 위품 판정 장치를 제공하여 달성될 수 있다. An object of the present invention is a communication module for receiving image information including a code part of a package box, product information recorded in the code part, product ID information and UUID information in a user client; A standardization module configured to generate standardized image information by standardizing perspective, angle, and size of the image information based on the code unit; A print similarity calculation module configured to calculate print similarity between existing standardized image information received as the same product and the standardized image information based on the standardized image information and the received product information, and output print similarity information; Computing an authentication sequence number for the product ID information using the web log generated based on the UUID, and generating authentication sequence information indicating the sequence number of the UUID information accessed to the web access information for the product ID information. Authentication sequence calculation module; And a goods determination module configured to determine whether goods are received for the goods ID information received based on the goods information, the print similarity information, and the authentication sequence number information, to generate goods judgment information. Included, wherein the product determination information may be achieved by providing a device for determining the product using the code authentication of the package box, characterized in that output to the user client via a web page or a web app of the web access information.

또한, 상기 인쇄 유사도 계산 모듈의 상기 인쇄 유사도 정보의 계산은, 상기 표준화 영상 정보와 기존 영상 정보 사이의 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 이용하여 인쇄 유사도 정보를 계산하도록 구성되는 것을 특징으로 할 수 있다. In addition, the calculation of the print similarity information of the print similarity calculation module is configured to calculate print similarity information using color difference information, feature point distribution difference information, and text difference information between the standardized image information and the existing image information. You can do

또한, 상기 인쇄 유사도 계산 모듈의 상기 인쇄 유사도 정보의 계산에서 상기 기존의 표준화 영상 정보는, 상기 인증 순번이 1번인 기존의 영상 정보가 상기 표준화 모듈에 의해 표준화 된 정보를 의미하고, 상기 위품 판정 모듈은 동일한 상품이나 다른 상품에 대해 입력된 기존의 인쇄 유사도 정보를 클러스터링하여 상기 인쇄 유사도 정보가 상기 인증 순번이 가장 낮은 그룹에 포함되는지 여부를 기초로, 상기 영상 정보에 대해 상기 위품 판정 정보를 생성하는 것을 특징으로 할 수 있다. In addition, in the calculation of the print similarity information of the print similarity calculation module, the existing normalized image information means information in which the existing image information having the authentication sequence number 1 is standardized by the standardization module, and the product determination module Clusters existing print similarity information input for the same product or another product, and generates the product judgment information for the image information based on whether the print similarity information is included in the group having the lowest authentication sequence number. It may be characterized by.

또한, 상기 위품 판정 모듈은, 상기 기존의 표준화 영상 정보, 상기 표준화 영상 정보, 상기 상품 정보, 상기 인쇄 유사도 정보, 상기 인증 순번 정보 및 상기 UUID 정보가 Environment, 상기 위품 판정 모듈이 Agent, 상기 위품 판정 모듈의 위품 판정이 Action, 상기 상품 ID 정보에 대한 위품 여부가 Reward로 구성되는 강화학습을 구성하여 업데이트되도록 구성되는 것을 특징으로 할 수 있다. The product judging module may include the existing standardized image information, the standardized image information, the product information, the print similarity information, the authentication sequence number information, and the UUID information, the product judging module is an agent, and the product judging. Determination of the product of the module may be configured to update by configuring the reinforcement learning consisting of Action, Reward or not for the product ID information.

또한, 상기 인쇄 유사도 계산 모듈은, 상기 표준화 영상 정보를 특정 상품 정보로 분류하여 분류 정보를 생성하는 ConvNet을 포함하고, 상기 인쇄 유사도 정보는 상기 분류 정보를 포함하며, 상기 위품 판정 모듈은, 상기 분류 정보와 상기 상품 정보를 비교하여 상기 상품 ID 정보에 대한 상기 위품 판정 정보를 생성하는 것을 특징으로 할 수 있다. The print similarity calculation module may include a ConvNet for classifying the standardized image information into specific product information to generate classification information, the print similarity information including the classification information, and the product determination module including the classification information. The product determination information may be generated by comparing the product information with the product information.

상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.As described above, the present invention has the following effects.

첫째, 본 발명의 일실시예에 따르면, 소비자가 패키지 박스에 인쇄된 코드를 촬영하는 것 만으로도 위품 여부가 판정되는 효과가 발생된다. First, according to one embodiment of the present invention, there is an effect that the consumer is judged whether or not a fake only by photographing the code printed on the package box.

둘째, 본 발명의 일실시예에 따르면, 정품 판정을 위해 추가적으로 정품 인증 스티커를 패키지 박스 위에 부착하지 않아도 무방하게 되므로, 정품 인증 스티커에 대한 비용이 절감되는 효과가 발생된다. Second, according to an embodiment of the present invention, since it is not necessary to attach an additional activation sticker on the package box for the determination of authenticity, the cost of the activation sticker is reduced.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일실시에에 따른 패키지 박스의 코드 인증을 이용한 위품 판정 장치를 도시한 모식도,
도 2는 인쇄 유사도 계산 모듈(21) 및 위품 판정 모듈(23)의 제1실시예를 도시한 흐름도,
도 3은 본 발명의 제2실시예에 따른 위품 판정 모듈(23)의 학습 과정을 도시한 모식도,
도 4는 본 발명의 제2실시예에 따른 위품 판정 모듈(23)의 위품 판정 과정을 도시한 모식도,
도 5는 본 발명의 제3실시예에 따른 인쇄 유사도 계산 모듈(21)의 신경망 전이 학습을 도시한 모식도,
도 6은 본 발명의 제4실시예에 따른 위품 판정 모듈(23)의 강화학습을 도시한 모식도이다. The following drawings, which are attached to this specification, illustrate exemplary embodiments of the present invention, and together with the detailed description thereof, serve to further understand the technical spirit of the present invention. It should not be interpreted.
1 is a schematic diagram showing a product determination device using code authentication of the package box according to an embodiment of the present invention,
2 is a flowchart showing a first embodiment of the print similarity calculating module 21 and the product judging module 23;
3 is a schematic diagram showing a learning process of the product judgment module 23 according to the second embodiment of the present invention;
FIG. 4 is a schematic diagram showing a product judgment process of the product judgment module 23 according to the second embodiment of the present invention.
5 is a schematic diagram showing neural network transition learning of the print similarity calculation module 21 according to the third embodiment of the present invention;
6 is a schematic diagram showing reinforcement learning of the product judgment module 23 according to the fourth embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the principle of operation of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings. Throughout the specification, when a particular part is connected to another part, this includes not only the case where it is directly connected, but also the case where it is indirectly connected with another element in between. In addition, the inclusion of a specific component does not exclude other components unless specifically stated otherwise, it means that may further include other components.

이하에서, 코드부란 CID 코드, 칼라 코드, 디자인 랜드마크를 이용한 코드 등을 포함하여 해석될 수 있으며, 설명의 편의 상 QR 코드로 통합하여 기재될 수 있다. 본 발명의 범위는 QR 코드에 한정되지 않을 수 있다. Hereinafter, the code part may be interpreted to include a CID code, a color code, a code using a design landmark, and the like, and may be described by integrating it into a QR code for convenience of description. The scope of the present invention may not be limited to QR codes.

또한, 이하에서 사용자와 소비자는 혼용될 수 있다. Also, hereinafter, users and consumers may be used interchangeably.

패키지 박스의 코드 인증을 이용한 위품 판정 장치Deviation judgment device using code authentication of package box

도 1은 본 발명의 일실시에에 따른 패키지 박스의 코드 인증을 이용한 위품 판정 장치를 도시한 모식도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시에에 따른 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)는 사용자의 클라이언트(1)와 연결된 웹서버에 구성될 수 있으며, 표준화 모듈(20), 인쇄 유사도 계산 모듈(21), 인증 순번 계산 모듈(22), 위품 판정 모듈(23)을 포함할 수 있다. 1 is a schematic diagram showing a device for judging using code authentication of a package box according to an embodiment of the present invention. As shown in FIG. 1, the product determination device 2 using code authentication of a package box according to an embodiment of the present invention may be configured in a web server connected to a client 1 of a user, and the standardization module 20. ), The print similarity calculation module 21, the authentication sequence number calculation module 22, and the product determination module 23 may be included.

사용자 클라이언트(1)는 특정 상품을 구매하여 패키지 박스를 보유한 사용자의 클라이언트를 의미한다. 사용자 클라이언트(1)는 카메라 모듈(10), 코드 검출 모듈(11), UUID 정보 출력 모듈(12), 위치 정보 출력 모듈(13), 통신 모듈, 처리 모듈, 메모리 모듈을 포함할 수 있다. 사용자 클라이언트의 통신 모듈, 처리 모듈, 메모리 모듈은 통상의 기술자에게 자명하므로 별도의 기술을 생략한다. 사용자 클라이언트(1)는 코드부를 포함한 패키지 박스의 외관을 촬영하여 영상 정보를 생성하는데 이용되고, 위품 판정 모듈(23)에 의해 출력되는 위품 판정 정보를 코드부에 포함된 웹 엑세스 정보의 웹 페이지 또는 웹 앱을 통하여 수신하는데 이용될 수 있다. The user client 1 refers to a client of a user who purchases a specific product and holds a package box. The user client 1 may include a camera module 10, a code detection module 11, a UUID information output module 12, a location information output module 13, a communication module, a processing module, and a memory module. Communication modules, processing modules, and memory modules of the user client are obvious to those skilled in the art, and thus a separate description thereof is omitted. The user client 1 is used for photographing the appearance of the package box including the code part to generate image information, and the web page of the web access information included in the code part for the goods judgment information output by the goods judgment module 23 or Can be used to receive via a web app.

카메라 모듈(10)은 패키지 박스(3)의 코드부(30)를 촬영하여 패키지 박스(3)의 적어도 일부와 코드부(30)의 코드(QR코드, 컬러 코드, 바코드 등)를 포함하는 영상 정보를 생성하는 모듈이다. The camera module 10 photographs the code unit 30 of the package box 3 and includes an image including at least a part of the package box 3 and a code (QR code, color code, barcode, etc.) of the code unit 30. This module generates information.

코드 검출 모듈(11)은 상기 영상 정보 내에 포함된 코드부(30)를 검출하고 코드부(30)에 기록된 정보인 코드 정보를 출력하는 모듈이다. 코드 검출 모듈(11)에 의해 출력되는 코드 정보는 상품 정보(특정 상품군의 일련번호 등의 상품 식별 코드), 상품 ID 정보(생산되는 개별 상품의 고유 식별 코드), 위품 판정을 위해 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)와 연결되는, 또는 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)에 의해 호스팅되는 웹 사이트의 URL 정보(웹 엑세스 정보), 패키지 인쇄 시간 정보 등을 포함할 수 있다. 코드 검출 모듈(11)은, 코드 검출 모듈(11)에 의해 검출되는 웹 엑세스 정보를 이용하여 상기 영상 정보, 사용자 클라이언트(1)의 UUID 정보, 사용자 클라이언트(1)의 위치 정보, 코드 정보(상품 정보, 상품 ID 정보, 패키지 인쇄 시간 정보) 등을 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)로 송신하도록 구성될 수 있다. 상품 정보는 해당 상품 종류에 대한 일련번호 등의 상품 식별 코드를 의미하며, 상품 ID 정보는 해당 상품에 고유한 일련번호 등의 고유 식별 코드를 의미할 수 있다.The code detection module 11 is a module that detects the code unit 30 included in the image information and outputs code information which is information recorded in the code unit 30. The code information output by the code detection module 11 includes product information (product identification codes such as serial numbers of a specific product group), product ID information (unique identification codes of the individual products produced), and code of the package box for determining the goods. URL information (web access information), package print time information, and the like of a web site connected to the product determination device 2 using authentication or hosted by the product determination device 2 using code authentication of a package box. Can be. The code detection module 11 uses the web access information detected by the code detection module 11 to perform the video information, the UUID information of the user client 1, the location information of the user client 1, and the code information (commodity). Information, product ID information, package print time information) and the like can be configured to be transmitted to the product determination device 2 using code authentication of the package box. The product information may mean a product identification code such as a serial number for the corresponding product type, and the product ID information may mean a unique identification code such as a serial number unique to the corresponding product.

UUID 정보 출력 모듈(14)은 사용자 클라이언트(1)의 UUID 정보를 출력하여 코드 검출 모듈(11)에 송신하고, 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)에서 웹 로그를 남기고 위품 판정을 할 수 있도록 UUID를 제공하는 모듈이다. The UUID information output module 14 outputs the UUID information of the user client 1 and transmits it to the code detection module 11, and leaves the web log in the product determination device 2 using the code authentication of the package box to make a product judgment. This module provides a UUID for doing this.

위치 정보 출력 모듈(15)은 사용자 클라이언트(1)의 위치 정보를 출력하여 코드 검출 모듈(11)에 송신하고, 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)에서 위치 정보를 기초로 위품 판정을 수행할 수 있도록 하는 모듈이다. The position information output module 15 outputs the position information of the user client 1 and transmits the position information to the code detection module 11, and determines the goods on the basis of the position information in the goods determination device 2 using code authentication of the package box. This module enables you to run.

패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)는 사용자 클라이언트(1)와 연결된 웹서버에 구성될 수 있으며, 사용자 클라이언트(1)에서 코드 정보, 영상 정보, UUID 정보, 위치 정보 등을 수신할 수 있고, 표준화 모듈(20), 인쇄 유사도 계산 모듈(21), 인증 순번 계산 모듈(22), 위품 판정 모듈(23)을 포함 할 수 있다. The apparatus for determining product 2 using code authentication of a package box may be configured in a web server connected to the user client 1, and may receive code information, image information, UUID information, location information, etc. from the user client 1. And, it may include a standardization module 20, print similarity calculation module 21, authentication sequence calculation module 22, the product determination module 23.

표준화 모듈(20)은 사용자 클라이언트(1)에서 수신한 영상 정보의 코드부를 기초로 영상 정보의 원근, 각도 및 크기를 표준화하여 표준화 영상 정보를 생성하는 모듈이다. 표준화 모듈(20)은 영상 정보에서 코드부의 엣지(edge) 및 패키지 박스의 엣지(edge)를 검출하여 엣지 정보를 생성하고, 상기 엣지 정보를 이용하여 코드부의 엣지가 직사각형 등의 특정 형태가 되도록 상기 영상 정보의 원근을 조절하고, 평면 상에서의 각도를 조절하며, 코드부의 크기를 기준으로 상기 영상 정보의 크기를 표준화하도록 구성될 수 있다. The standardization module 20 is a module that generates standardized image information by standardizing perspective, angle, and size of the image information based on a code part of the image information received from the user client 1. The standardization module 20 generates edge information by detecting an edge of a code part and an edge of a package box from image information, and uses the edge information to generate a specific shape such as a rectangle. The image information may be configured to adjust perspective of the image information, adjust an angle on a plane, and standardize the size of the image information based on the size of the code part.

또는, 본 발명의 일실시예에 따른 표준화 모듈(20)은 패키지 박스의 평면 엣지(edge)를 분류하는 바운딩 박스를 출력하는 기훈련된 신경망을 이용하도록 구성될 수 있다. Alternatively, the standardization module 20 according to an embodiment of the present invention may be configured to use a trained neural network that outputs a bounding box that classifies the planar edges of the package box.

인쇄 유사도 계산 모듈(21)은 생성된 표준화 영상 정보와 상품 정보를 기초로, 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)에 동일한 상품으로서 수신되는 복수개의 영상 정보와의 인쇄 유사도를 계산하여 인쇄 유사도 정보를 출력할 수 있다. 인쇄 유사도 계산 모듈(21)은 코드 정보 상에서 동일한 상품 정보로 분류되는 기존의 표준화 영상 정보와 위품 판정을 위해 입력된 영상 정보를 기초로 신규로 생성된 표준화 영상 정보를 비교하여 인쇄 유사도 정보를 생성하도록 구성될 수 있다. 또한, 인쇄 유사도 계산 모듈(21)은 신규로 생성된 표준화 영상 정보의 촬영된 일부분에 대해서 기존의 표준화 영상 정보와 비교하여 인쇄 유사도 정보를 생성하도록 구성될 수 있다. 또한, 인쇄 유사도 계산 모듈(21)은 신규로 생성된 표준화 영상 정보와 기존의 표준화 영상 정보를 임베딩하여 벡터화하고 벡터화 된 각 정보의 거리를 기초로 인쇄 유사도 정보를 생성하도록 구성될 수 있다. 이에 따르면, 위품 판정을 수행하는 복수의 사용자에 의해 입력되는 패키지 박스의 영상 정보를 기초로 패키지 디자인의 유사도를 판정하게 되므로, 모든 상품에 대해 패키지 디자인 정보를 DB에 저장하지 않아도 패키지 디자인의 유사도를 판정할 수 있는 효과가 발생된다.The print similarity calculation module 21 calculates the print similarity with the plurality of image information received as the same product in the product judging apparatus 2 using the code authentication of the package box based on the generated standardized image information and the product information. Print similarity information can be output. The print similarity calculation module 21 generates the print similarity information by comparing the existing standardized image information classified as the same product information on the code information with the newly generated standardized image information based on the image information input for the goods. Can be configured. Also, the print similarity calculation module 21 may be configured to generate print similarity information by comparing the photographed portion of the newly generated standardized image information with the existing standardized image information. In addition, the print similarity calculation module 21 may be configured to embed the newly generated standardized image information and the existing standardized image information to vectorize and generate print similarity information based on the distance of each vectorized information. According to this, since the similarity of the package design is determined based on the image information of the package box inputted by a plurality of users who perform the goods judgment, the similarity of the package design is not required for all products without storing the package design information in the DB. A judging effect is generated.

본 발명의 일실시예에 따른 인쇄 유사도 계산 모듈(21)은 인증 순번이 1번인 표준화 영상 정보를 베이스라인 혹은 Ground truth로 하여 인쇄 유사도 정보를 생성하거나, 인쇄 유사도 계산 모듈(21)이 신경망을 이용하는 경우 Supervised Learning을 수행할 수 있다. The print similarity calculation module 21 according to an embodiment of the present invention generates print similarity information by using standardized image information having the authentication number 1 as a baseline or ground truth, or the print similarity calculation module 21 uses a neural network. In this case, supervised learning can be performed.

인증 순번 계산 모듈(22)은 상기 웹 엑세스 정보로 엑세스 된 UUID를 기초로 생성된 웹 로그를 이용하여 해당 상품 ID 정보에 대한 인증 순번을 계산하여 인증 순번 정보를 생성하는 모듈이다. 인증 순번 정보는 해당 ID 정보에 대해 생성된 웹 엑세스 정보에 엑세스한 해당 UUID의 순번을 의미할 수 있다.The authentication sequence number calculation module 22 is a module for generating authentication sequence number information by calculating an authentication sequence number for the corresponding product ID information using a web log generated based on the UUID accessed as the web access information. The authentication sequence number information may refer to a sequence number of a corresponding UUID that accesses web access information generated for corresponding ID information.

위품 판정 모듈(23)은 상기 상품 정보, 상기 인쇄 유사도 정보, 상기 인증 순번 정보, 상기 위치 정보, 상기 패키지 인쇄 시간 정보, 해당 상품의 유통에 대한 정보인 유통 정보를 기초로 패키지 박스의 코드 인증을 이용한 위품 판정 장치(2)에 수신된 상기 ID 정보에 대한 위품 여부를 판정하여 위품 판정 정보를 생성하는 모듈이다. 위품 판정 모듈(23)에 의해 생성된 위품 판정 정보는 상기 웹 엑세스 정보의 웹 사이트 혹은 웹 앱(Web app)을 통하여 사용자 클라이언트(1)에 출력되도록 구성될 수 있다. The goods determination module 23 performs code authentication of a package box based on the product information, the print similarity information, the authentication sequence number information, the location information, the package print time information, and distribution information which is information on distribution of the product. It is a module which determines whether or not goods with respect to the ID information received by the used goods determination device 2 is used to generate goods judgment information. The goods determination information generated by the goods determination module 23 may be configured to be output to the user client 1 through a web site or a web app of the web access information.

본 발명의 일실시예에 따르면, 위품 판정 모듈(23)은 인공신경망, SVM, 유전 알고리즘, 클러스터링, 강화학습 등을 이용하여 위품 판정 정보를 생성할 수 있다. 이때, 위품 판정 정보가 출력 정보로 구성될 수 있고, 상기 상품 정보, 상기 인쇄 유사도 정보, 상기 인증 순번 정보, 상기 위치 정보, 상기 패키지 인쇄 시간 정보, 해당 상품의 유통에 대한 정보인 유통 정보가 입력 정보로 구성될 수 있다. According to an embodiment of the present invention, the product determination module 23 may generate the product determination information using an artificial neural network, SVM, genetic algorithm, clustering, reinforcement learning, and the like. At this time, the goods determination information may be configured as output information, the product information, the print similarity information, the authentication sequence number information, the location information, the package printing time information, the distribution information that is information about the distribution of the product is input It can consist of information.

인쇄 유사도 계산 모듈(21) 및 위품 판정 모듈(23)의 제1실시예와 관련하여, 도 2는 인쇄 유사도 계산 모듈(21) 및 위품 판정 모듈(23)의 제1실시예를 도시한 흐름도이다. 인쇄 유사도 계산 모듈(21) 및 위품 판정 모듈(23)의 제1실시예에 따르면, 인쇄 유사도 계산 모듈(21)은 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 이용하여 인쇄 유사도 정보를 계산하도록 구성될 수 있고, 위품 판정 모듈(23)은 이러한 인쇄 유사도 정보를 이용하여 해당 상품군에 대한 위품 판정을 수행하거나, 인쇄 유사도 정보를 정규화하여 전체 상품군에 대한 인쇄 유사도 정보를 기초로 위품 판정을 수행하도록 구성될 수 있다. Regarding the first embodiment of the print similarity calculating module 21 and the product judging module 23, FIG. 2 is a flowchart showing the first embodiment of the print similarity calculating module 21 and the product judging module 23. FIG. . According to the first embodiment of the print similarity calculating module 21 and the product judging module 23, the print similarity calculating module 21 calculates the print similarity information using the color difference information, the feature point distribution difference information, and the text difference information. The goods determination module 23 may be configured to perform a goods judgment on the corresponding goods group using such print similarity information, or to normalize the print similarity information to perform a goods judgment on the basis of the print similarity information on the whole goods group. Can be configured.

색차 정보 관련하여, ①입력된 표준화 영상 정보를 코드부(30) 기준으로 복수개의 셀로 나누어 각 셀의 대표 색상인 판정 대상 색상 정보를 계산, ②Ground truth인 동일 상품에 대해 인증 순번이 1번인 기존의 표준화 영상 정보의 각 셀의 대표 색상인 기존 색상 정보와 색차 계산하여 색차 정보를 생성하도록 구성될 수 있다. 특징점 분포 차이 정보 관련하여, ①입력된 표준화 영상 정보의 각 셀에서 미분 필터 및 가우시안 필터 이용한 특징점 추출, ②각 셀의 특징점 비율 계산하여 판정 대상 특징점 분포 정보 생성, ③Ground truth인 동일 상품에 대해 인증 순번이 1번인 기존의 표준화 영상 정보의 각 셀의 특징점 분포 정보인 기존 특징점 분포 정보와 비교하여 각 셀의 특징점 비율의 차이의 합인 특징점 분포 차이 정보를 생성한다. 또한 텍스트 차이 정보 관련하여, ①입력된 표준화 영상 정보의 각 셀의 텍스트 정보인 판정 대상 텍스트 정보 추출, ②Ground truth인 동일 상품에 대해 인증 순번이 1번인 기존의 표준화 영상 정보의 각 셀의 텍스트 정보인 기존 텍스트 정보와 차이 계산하여 텍스트 차이 정보를 생성한다. 이때, 텍스트 차이 정보는 어구 차이 정보, 시맨틱 차이 정보, 폰트 차이 정보, 크기 차이 정보를 포함할 수 있다. In relation to the color difference information, ① the input standardized image information is divided into a plurality of cells based on the code unit 30 to calculate the determination target color information, which is the representative color of each cell, and ② the existing authentication number 1 for the same product having the ground truth. The color difference information may be generated by calculating color difference with existing color information which is a representative color of each cell of the standardized image information. In relation to the feature point distribution difference information, ① extract feature points using differential and Gaussian filters from each cell of the input standardized image information, ② generate feature point distribution information to be determined by calculating feature point ratios of each cell, and ③ authenticate the same product for ground truth. The feature point distribution difference information, which is the sum of the differences of the feature point ratios of each cell, is generated by comparing with the feature point distribution information, which is the feature point distribution information of each cell of the existing standardized image information. Further, in relation to the text difference information, ① extract the determination target text information, which is the text information of each cell of the input standardized image information, and ② the text information of each cell of the existing standardized image information, which has the authentication number 1 for the same product having the ground truth. Difference is calculated from existing text information to generate text difference information. In this case, the text difference information may include phrase difference information, semantic difference information, font difference information, and size difference information.

그 후, 인쇄 유사도 계산 모듈(21)은 생성된 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 병합하여 유사도 정보를 생성하며, 생성된 유사도 정보를 정규화하여 정규화 유사도 정보를 생성한다. Thereafter, the print similarity calculation module 21 merges the generated color difference information, the feature point distribution difference information, and the text difference information to generate similarity information, and normalizes the generated similarity information to generate normalized similarity information.

이때, 위품 판정 모듈(23)은 동일한 상품이나 다른 상품에 대해 입력된 기존의 영상 정보의 정규화 유사도 정보 적어도 일부와 신규로 생성된 판정 대상 정규화 유사도 정보를 클러스터링하여 신규로 생성된 판정 대상 정규화 유사도 정보가 상기 인증 순번이 가장 낮은 그룹에 포함되는지 여부를 기초로, 특정 사용자가 정품 인증을 위해 신규로 입력한 영상 정보에 대해 위품 여부를 판정하도록 구성될 수 있다. At this time, the product judging module 23 clusters at least a portion of normalized similarity information of the existing image information input for the same product or another product and newly generated determination target normalized similarity information to determine newly generated judgment subject normalized similarity information. May be configured to determine whether a certain user is illegal for image information newly inputted by a specific user for authenticity activation based on whether the authentication sequence number is included in the lowest group.

구체적으로, 인쇄 유사도 계산 모듈(21)은 대표 색상 계산 및 Ground truth와의 색차 계산에 있어서, RGB를 CIE-L*a*b* 색상 공간으로 변환하여 대표 색상 계산 및 색차 계산을 수행하도록 구성될 수 있다. CIE-L*a*b*에서 의 색 좌표는 L*, a*, b*로 표현되며, L*은 명도, a*는 Red와 Green, b*는 Yellow 와 Blue를 나타내는 입체 좌표이다. 제1실시예에 따른 인쇄 유사도 계산 모듈(21)의 색차 정보 생성은 아래의 수학식으로 수행될 수 있다. Specifically, the print similarity calculation module 21 may be configured to convert the RGB into the CIE-L * a * b * color space and perform the representative color calculation and the color difference calculation in the representative color calculation and the color difference calculation with Ground truth. have. The color coordinates in CIE-L * a * b * are expressed as L *, a *, b *, where L * is brightness, a * is red and green, and b * is stereo coordinate. Color difference information generation of the print similarity calculation module 21 according to the first embodiment may be performed by the following equation.

Figure 112019067489569-pat00001
Figure 112019067489569-pat00001

위 수학식에서 ΔC는 특정 셀의 색차 정보, α,β,γ는 가중치 상수, L은 해당 셀의 명도, a는 해당 셀의 Red와 Green, b는 해당 셀의 Yellow와 Blue를 나타내고, 본 발명의 제1실시예에 따르면 α<β and γ 로 구성되어 명도에 대한 가중치를 낮게 설정하도록 구성될 수 있다. 'α<β and γ'의 가중치에 따르면 다양한 조명 환경에서도 정규한 색차 정보를 출력할 수 있게 되는 효과가 발생된다. In the above equation, ΔC is the color difference information of a specific cell, α, β, γ is a weight constant, L is the brightness of the cell, a is Red and Green of the cell, b is Yellow and Blue of the cell, According to the first embodiment, α <β and γ may be configured to set a low weight for brightness. According to the weight of 'α <β and γ', regular color difference information can be output even in various lighting environments.

또한, 인쇄 유사도 계산 모듈(21)은 각 셀의 특징점 추출에 있어서, 제1실시예에 따르면 이하의 수학식을 이용할 수 있다. In addition, according to the first embodiment, the print similarity calculation module 21 may use the following equation in extracting feature points of each cell.

Figure 112019067489569-pat00002
Figure 112019067489569-pat00002

Figure 112019067489569-pat00003
Figure 112019067489569-pat00003

위 수학식에서 R(x,y)는 특정 셀의 특징점 값이며, Ix, Iy는 미분 필터를 적용한 x, y 방향의 미분 벡터, Gσ는 예를 들어, 5x5의 가우시안 필터를 의미한다. M은 특정 셀의 고유 벡터(Eigen Vector)가 얼마나 서로 수직한 방향으로 큰 값을 갖는지에 대한 값을 의미한다. det는 행렬식을 의미하는 것으로서 (Ix 2 Iy 2 -Ixy Ixy)를 의미할 수 있다. trace는 행렬의 대각합을 의미하는 것으로서 (Ix 2 + Iy 2)를 의미할 수 있다. k는 상수이다. In the above equation, R (x, y) is a feature point value of a specific cell, I x , I y are differential vectors in the x and y directions to which a differential filter is applied, and G σ is a 5 × 5 Gaussian filter, for example. M means a value for how large the eigenvectors of a particular cell have in the direction perpendicular to each other. det means a determinant and may mean (I x 2 I y 2 -I xy I xy ). Trace means the diagonal sum of the matrix and may mean (I x 2 + I y 2 ). k is a constant.

인쇄 유사도 계산 모듈(21)은 위 수학식에서 계산되는 특정 셀의 특징점 값을 이용하여 특징점 비율 계산하여 특징점 분포 정보 생성하고, Ground truth인 영상 정보의 각 셀의 특징점 비율과 해당 판정 대상이 되는 영상 정보의 각 셀의 특징점 비율의 차이의 합인 특징점 분포 차이 정보를 생성하도록 구성될 수 있다. The print similarity calculation module 21 calculates the feature point ratio using the feature point value of the specific cell calculated by the above equation to generate the feature point distribution information, and the feature point ratio of each cell of the image information, which is ground truth, and the image information to be determined. It may be configured to generate the feature point distribution difference information that is the sum of the difference of the feature point ratio of each cell of.

이후, 인쇄 유사도 계산 모듈(21)은 생성된 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 병합하여 유사도 정보를 생성하며, 생성된 유사도 정보를 정규화하여 정규화 유사도 정보를 생성한다. 이때, 위품 판정 모듈(23)은 동일한 상품이나 다른 상품에 대해 입력된 기존의 영상 정보의 정규화 유사도 정보 적어도 일부와 신규로 생성된 정규화 유사도 정보를 클러스터링하여 신규로 생성된 판정 대상 정규화 유사도 정보가 상기 인증 순번이 가장 낮은 그룹에 포함되는지 여부를 기초로, 특정 사용자가 정품 인증을 위해 신규로 입력한 영상 정보에 대해 위품 여부를 판정하도록 구성될 수 있다. Subsequently, the print similarity calculation module 21 merges the generated color difference information, the feature point distribution difference information, and the text difference information to generate similarity information, and normalizes the generated similarity information to generate normalized similarity information. At this time, the product judging module 23 clusters at least a portion of normalized similarity information of the existing image information input for the same product or another product, and newly generated normalized similarity information, and the newly generated determination target normalized similarity information is displayed. Based on whether or not the authentication sequence number is included in the lowest group, it may be configured to determine whether a certain user is a fake on the image information newly input for authenticity authentication.

본 발명의 제2실시예에 따르면, 위품 판정 모듈(23)은 인쇄 유사도 계산 모듈(21)에서 생성된 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 병합한 다차원 벡터를 수신할 수 있고, 다차원 벡터를 이용하여 입력되는 영상 정보의 위품 여부를 구분하도록 구성될 수 있다. 구체적으로, 본 발명의 제2실시예에 따르면 위품 판정 모듈(23)은 생성 모듈과 구분 모듈을 포함할 수 있고, 구분 모듈을 이용하여 생성 모듈이 Random noise(Z)를 입력받아 인증 순번이 1번인 영상 정보(정품으로 가정)의 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보(어구 차이 정보, 시맨틱 차이 정보, 폰트 차이 정보, 크기 차이 정보)를 통합한 다차원 벡터인 정품 벡터를 생성하도록 생성 모듈을 학습한 뒤, 생성 모듈이 정품 벡터와 유사하게 생성한 생성 벡터와 새롭게 입력된 영상 정보의 다차원 벡터인 판정 대상 벡터의 차이인 생성 모듈의 손실 함수 출력값 L(Loss)을 위품 스코어로 활용하여 생성 모듈에 입력되는 Random noise(Z)의 변화에 따라 L이 특정 값 이하로 낮아지는지 여부를 기초로 위품 판정 장치(2)에 입력되는 새로운 영상 정보의 위품 여부를 판정할 수 있다. According to the second embodiment of the present invention, the product judging module 23 may receive a multidimensional vector in which color difference information, feature point distribution difference information, and text difference information generated in the print similarity calculation module 21 are merged. The image information may be configured to distinguish whether the input image information is defective. Specifically, according to the second embodiment of the present invention, the goods judgment module 23 may include a generation module and a division module, and the generation module receives random noise (Z) by using the division module, and the authentication sequence is 1. Generation module to generate a genuine vector, a multidimensional vector that integrates color difference information, feature point distribution difference information, and text difference information (phrase difference information, semantic difference information, font difference information, size difference information) of burn-in image information (assuming genuine) After learning, the generation module uses the loss function output value L (Loss) of the generation module, which is the difference between the generation vector generated similarly to the genuine vector and the determination target vector, which is a multidimensional vector of newly input image information, as a product score. Differences in new image information input to the product judging device 2 based on whether L is lowered below a specific value according to the change of Random noise (Z) input to the module. It can determine parts.

본 발명의 제2실시예에 따른 위품 판정 모듈(23)의 생성 모듈은 인코더와 디코더로 구성되어 정품 벡터를 생성하도록 구성될 수 있고, 생성 모듈의 인코더는 인증 순번이 1번인 영상 정보(정품으로 가정)의 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 통합한 표준화 된 다차원 벡터를 수신하여 잠재변수로 인코딩하는 복수개의 연속된 ConvNet으로 구성될 수 있으며, 디코더는 잠재변수를 다차원 벡터로 출력하도록 디코딩하는 복수개의 연속된 네트워크로 구성될 수 있다. 이때, 정품 벡터인 다차원 벡터와의 차이를 이용하여 정품 벡터에 가까운 다차원 벡터를 출력하도록 생성 모듈이 학습될 수 있고, 생성 모듈에 의해 출력되는 다차원 벡터의 정품 벡터인지 여부를 구분하는 구분 모듈에 의해 학습될 수 있다. The generation module of the product determination module 23 according to the second embodiment of the present invention may be configured to generate a genuine vector by being composed of an encoder and a decoder, and the encoder of the generation module may include image information (authentication is 1). It can be composed of a plurality of consecutive ConvNets that receive standardized multidimensional vectors incorporating color difference information, feature point distribution difference information, and text difference information and encode them into latent variables. It may consist of a plurality of consecutive networks for decoding. In this case, the generation module may be trained to output a multidimensional vector close to the genuine vector by using a difference from the multidimensional vector, which is a genuine vector, and by a classification module for distinguishing whether or not it is a genuine vector of the multidimensional vector output by the generation module. Can be learned.

본 발명의 제2실시예에 따른 위품 판정 모듈(23)의 구분 모듈은, CONCAT 함수와 복수개의 인코더를 통해 생성 모듈에 의해 출력되는 다차원 벡터의 정품 벡터인지 여부를 구분하도록 구성될 수 있다. The division module of the goods determination module 23 according to the second embodiment of the present invention may be configured to distinguish whether or not it is a genuine vector of the multidimensional vector output by the generation module through the CONCAT function and the plurality of encoders.

위품 판정 모듈(23)의 학습과 관련하여, 도 3은 본 발명의 제2실시예에 따른 위품 판정 모듈(23)의 학습 과정을 도시한 모식도이다. 도 3에 도시된 바와 같이, 생성 모듈은 구분 모듈과 MinMax game을 구성하도록 Loss Function이 구성될 수 있고, 동시에 학습될 수 있다. 이하 수학식 4는 생성 모듈과 구분 모듈의 Loss Function이다. Regarding the learning of the goods judgment module 23, FIG. 3 is a schematic diagram showing the learning process of the goods judgment module 23 according to the second embodiment of the present invention. As shown in FIG. 3, the generation module may be configured to have a loss function configured to constitute a division module and a MinMax game, and may be learned at the same time. Equation 4 is a loss function of the generation module and the division module.

Figure 112019067489569-pat00004
Figure 112019067489569-pat00004

위 수학식 4에서 G는 생성 모듈, D는 구분 모듈을 의미하며, z는 잠재 변수로서 입력되는 Random noise, y는 인증 순번이 1번인 영상 정보와 정품인 영상 정보의 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 통합한 다차원 벡터인 정품 벡터, G(x)는 생성된 다차원 벡터인 생성 벡터를 의미한다. 따라서, 수학식 4에 따르면 생성 모듈 및 구분 모듈의 Loss function은, 생성 모듈이 충분히 학습되지 않아서 구분 모듈이 잠재 변수인 랜덤 노이즈 z를 통해 y와 G(z)를 완벽하게 구분해내는 경우에는 D(z,y)=1, D(z,G(z))=0에 의해 0의 max 값을 갖고, 생성 모듈의 학습 후에 구분 모듈이 랜덤 노이즈 z를 통해 y와 G(z)를 구분해내지 못하는 경우 D(z,y)=1/2, D(z,G(z))=1/2에 의해 -log4의 min 값을 갖는다. 즉, 위 Loss function에 의해 생성 모듈이 랜덤 노이즈 z를 통해 생성한 다차원 벡터인 생성 벡터 G(z)와 인증 순번이 1번인 영상 정보와 정품인 영상 정보의 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 통합한 다차원 벡터인 정품 벡터인 y가 동일할 때, 생성 모듈은 Global minimum을 갖게 되고, 이러한 방향으로 생성 모듈 및 구분 모듈이 학습되게 된다. 생성 모듈과 구분 모듈은 상호 적대적 의존 관계에 의해 생성 모듈을 빠르게 최적화 할 수 있는 효과가 발생된다. In Equation 4, G denotes a generation module, D denotes a separation module, z denotes random noise inputted as a latent variable, y denotes color difference information of image information having the authentication number 1 and genuine image information, and difference in feature point distribution. And a genuine vector, G (x), which is a multidimensional vector incorporating text difference information, means a generated vector that is a generated multidimensional vector. Therefore, according to Equation 4, when the generation module does not sufficiently learn the generation module and the separation module completely distinguishes y and G (z) through random noise z, which is a latent variable, the loss module of the generation module and the division module is D. It has a max value of 0 by (z, y) = 1 and D (z, G (z)) = 0, and after learning the generating module, the division module distinguishes y and G (z) through random noise z. In case of failure, D (z, y) = 1/2 and D (z, G (z)) = 1/2 have a min value of -log4. In other words, the generation vector G (z), which is a multidimensional vector generated by the generation module through the random noise z, the image information having the authentication number 1 and the color difference information, the feature point distribution difference information, and the text difference When y, the real vector, which is a multidimensional vector incorporating information, is the same, the generation module has a global minimum, and the generation module and the division module are learned in this direction. The generation module and the separation module have an effect of quickly optimizing the generation module due to the mutual hostility.

또한, 본 발명의 제2실시예에 따르면, 정품 벡터에 가까운 다차원 벡터 G(z)의 생성이 구역 별로 더 정교하게 진행되도록 생성 모듈의 Loss function에 각 구역 별로 구분 모듈이 입력되는 정품 벡터와 생성 모듈에 의해 생성되는 생성 벡터의 비교를 통해 생성 벡터의 정품 또는 위품을 구분하는 구역 손실 함수를 더 포함할 수 있다. 본 발명의 제2실시예에 따른 구역 손실 함수는 다음 수학식과 같이 구성될 수 있다. In addition, according to the second embodiment of the present invention, the generation of the multi-dimensional vector G (z) close to the genuine vector is generated more precisely for each zone, the generation of the genuine vector with the division module is input to each zone in the loss function of the generation module The comparison of the generated vector generated by the module may further include a region loss function for distinguishing the authenticity or the product of the generated vector. The zone loss function according to the second embodiment of the present invention may be configured as follows.

Figure 112019067489569-pat00005
Figure 112019067489569-pat00005

위 수학식 5에서 LBP(G,D)는 각 구역에 대한 손실 함수인 구역 손실 함수, i는 구분 모듈의 i번째 레이어, T는 구분 모듈의 전체 레이어, Ni는 i번째 레이어에서의 구역 feature의 개수를 의미할 수 있다. 이에 따라, 구분 모듈이 생성 벡터의 특정 레이어에서 특정 구역의 정품 or 위품을 정확하게 구분해내면 ||D(z,y)-D(z,G(z))||=1 이 되고, 정품 벡터 y와 생성 벡터 G(z)의 특정 레이어에서의 특정 구역이 구분 모듈에 의해 구분되지 않으면 ||D(z,y)-D(z,G(z))||=0이 된다. 따라서, 위와 같은 구역 손실함수를 적용한 위품 판정 모듈(23)의 손실함수는 다음과 같이 구성될 수 있다. In Equation 5 above, L BP (G, D) is a loss function for each zone, i is an i th layer of a division module, T is an entire layer of a division module, and N i is a zone at an i th layer. It may mean the number of features. Thus, if the segmentation module correctly distinguishes the authenticity or goods of a particular region from a specific layer of the generation vector, then || D (z, y) -D (z, G (z)) || = 1, and the genuine vector If y and a particular region in a particular layer of the generation vector G (z) are not separated by the distinguishing module, then D (z, y) -D (z, G (z)) || = 0. Therefore, the loss function of the product determination module 23 applying the zone loss function as described above may be configured as follows.

Figure 112019067489569-pat00006
Figure 112019067489569-pat00006

위 수학식 6에서, λ는 가중치 상수, LBP는 수학식 5의 구역 손실함수를 의미할 수 있고, 생성 모듈은 구역 손실함수를 최소화 하는 방향으로 학습되게 된다. 이에 의해 보다 정교하게 정품 벡터에 가까운 생성 벡터가 출력되도록 생성 모듈이 학습되게 된다. In Equation 6, λ may be a weight constant, L BP may mean a zone loss function of Equation 5, and the generation module is trained in a direction to minimize the zone loss function. As a result, the generation module is trained to more accurately output the generation vector close to the genuine vector.

위품 판정 모듈(23)의 위품 판정과 관련하여, 도 4는 본 발명의 제2실시예에 따른 위품 판정 모듈(23)의 위품 판정 과정을 도시한 모식도이다. 도 4에 도시된 바와 같이, 기학습된 구분 모듈에 위품인지 여부를 판정하는 대상인 판정 대상 영상 정보의 다차원 벡터인 판정 대상 벡터가 입력되고, 구분 모듈에 의해 정품 혹은 위품 여부를 구분하게 된다. 구분 모듈은 입력된 판정 대상 벡터를 기초로 위품 가능성 정보를 출력하도록 구성될 수 있다. 4 is a schematic diagram showing a process for determining a product of the product determining module 23 according to the second embodiment of the present invention. As shown in FIG. 4, a determination target vector, which is a multi-dimensional vector of determination object image information that is a determination object, is input to the previously learned classification module, and the classification module distinguishes whether a genuine product or a violation is performed. The classification module may be configured to output the product possibility information based on the input determination object vector.

본 발명의 제2실시예에 따르면, 생성 모듈과 구분 모듈의 최적화 및 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 병합으로 구성된 다차원 벡터의 이용에 의해, 위품 판정 모듈(23)이 단일 상품에 대한 위품 판정이 아닌 전체 상품군에 대한 위품 판정을 전역적으로 수행할 수 있게 되는 효과가 발생된다. According to the second embodiment of the present invention, by using a multi-dimensional vector composed of merging optimization and color difference information, feature point distribution difference information, and text difference information of a generation module and a division module, the goods judgment module 23 is applied to a single product. The effect is that it is possible to globally perform a product judgment on the entire product group rather than on the product judgment.

본 발명의 제3실시예에 따르면, 인쇄 유사도 계산 모듈(21)은 AlexNet 등의 기학습된 이미지 분류 ConvNet을 이용하여 판정 대상 영상 정보의 상품 정보를 분류하고, 분류된 상품 정보와 코드부에 기록된 상품 정보의 비교를 기초로 위품 판정 모듈(23)이 위품을 판정하도록 구성될 수 있다. 인쇄 유사도 계산 모듈(21)의 인공신경망은 AlexNet 등의 기학습된 이미지 분류 ConvNet에서 신경망 전이되어 구성될 수 있다. 신경망 전이와 관련하여, 도 5는 본 발명의 제3실시예에 따른 인쇄 유사도 계산 모듈(21)의 신경망 전이 학습을 도시한 모식도이다. 도 5에 도시된 바와 같이, 인쇄 유사도 계산 모듈(21)의 일부 층(Layer)은 특정 영상 정보가 입력되어 특정 분류 정보가 출력되는 AlexNet 등의 기학습된 이미지 분류 ConvNet의 일부 층(Layer)의 신경망 전이에 의해 생성되고, 인쇄 유사도 계산 모듈(21)의 나머지 층(Layer, 초기화 층)은 파라미터인 초기 가중치 w와 초기 편향 b가 무작위로 초기화된 초기화 층으로 생성된다. 이후 각각의 상품에 대해 위품 판정을 위해 입력되는 영상 정보, 상품 정보 및 인증 순번 정보를 기초로 인쇄 유사도 계산 모듈(21)을 '재학습'하여 인쇄 유사도 계산 모듈(21)의 파라미터를 세부 교정할 수 있다(상품 정보와 인증 순번 정보로 Labeling 된 영상 정보를 입력하고, 출력되는 분류 정보와 상품 정보를 기초로 Back Propagation, 인증 순번 정보는 상품 정보에 대한 가중치로 활용하고, 1에 가까울수록 Exponantial하게 가중할 수 있음) 이때, 인쇄 유사도 계산 모듈(21)의 입력 데이터는 각 상품에 대해 위품 판정을 위해 입력되는 영상 정보이고 출력 데이터는 해당 영상 정보의 특정 상품 정보에 대한 분류 정보(예를 들어, A 상품 0.8, B 상품 0.5...)이다. 위품 판정 모듈(23)은 상기 분류 정보와 코드부에 기록된 상품 정보를 비교하여 위품 여부를 판정하도록 구성될 수 있다. According to the third embodiment of the present invention, the print similarity calculating module 21 classifies the product information of the determination target image information using the pre-learned image classification ConvNet such as AlexNet, and records the classified product information and the code part. The goods determining module 23 may be configured to determine a goods based on the comparison of the commodity information. The neural network of the print similarity calculation module 21 may be configured by neural network transition in a pre-learned image classification ConvNet such as AlexNet. Regarding neural network transition, FIG. 5 is a schematic diagram showing neural network transition learning of the print similarity calculation module 21 according to the third embodiment of the present invention. As illustrated in FIG. 5, some layers of the print similarity calculation module 21 may include some layers of pre-learned image classification ConvNet such as AlexNet, in which specific image information is input and specific classification information is output. Generated by neural network transition, the remaining layer (Layer, initialization layer) of the print similarity calculation module 21 is generated as an initialization layer in which the initial weight w and initial deflection b, which are parameters, are randomly initialized. Subsequently, the print similarity calculation module 21 is 're-learned' based on the image information, product information, and authentication sequence information inputted for the goods for each product, to further calibrate the parameters of the print similarity calculation module 21. (Enter the video information labeled with the product information and the authentication sequence number information, and based on the output classification information and product information, the back propagation and the authentication sequence information are used as weights for the product information. In this case, the input data of the print similarity calculation module 21 is image information inputted for the goods for each product, and the output data is classification information (for example, specific product information of the corresponding image information). A commodity 0.8, B commodity 0.5 ...). The goods determination module 23 may be configured to compare the classification information with the goods information recorded in the code part to determine whether goods are goods.

또한, 본 발명의 제3실시예에 따른 인쇄 유사도 계산 모듈(21)의 입력 정보로 텍스트 정보가 이용될 수 있다. 사용자 클라이언트에 의해 촬영된 코드부 주변의 영상 정보에서 텍스트 정보를 추출하고, 추출된 텍스트 정보를 기초로 인쇄 유사도 계산 모듈(21)이 특정 상품 정보에 대한 분류 정보를 출력하도록 구성되며, 위품 판정 모듈(23)이 상기 분류 정보와 해당 영상 정보의 코드부에 기록된 상품 정보를 비교하여 위품 여부를 판정하도록 구성될 수 있다. In addition, text information may be used as input information of the print similarity calculation module 21 according to the third embodiment of the present invention. And extracting the text information from the image information around the code part captured by the user client, and the print similarity calculation module 21 outputs the classification information for the specific product information based on the extracted text information. 23 may be configured to compare the classification information with the product information recorded in the code part of the corresponding video information to determine whether there is a false prize.

본 발명의 제4실시예와 관련하여, 위품 판정 모듈(23)의 위품 판정에 강화학습이 이용될 수 있다. 도 6은 본 발명의 제4실시예에 따른 위품 판정 모듈(23)의 강화학습을 도시한 모식도이다. 도 6에 도시된 바와 같이, 위품 판정 모듈(23)의 강화학습의 경우, 기존의 표준화된 영상 정보(예를 들어, 인증 순번이 1번인 영상 정보를 기초로 한 표준화 영상 정보), 신규로 입력된 표준화 영상 정보(판정 대상 영상 정보), 색차 정보, 특징점 분포 차이 정보, 텍스트 차이 정보, 상기 상품 정보, 상기 인쇄 유사도 정보, 상기 인증 순번 정보, 상기 위치 정보, 상기 패키지 인쇄 시간 정보, 해당 상품의 유통에 대한 정보인 유통 정보, 상기 UUID 정보가 Environment, 위품 판정 모듈(23)이 Agent, 위품 판정 모듈의 정품/위품 판정이 Action, 정품/위품 여부가 Reward로 구성되는 강화학습을 구성하여 위품 판정 모듈(23)을 업데이트 할 수 있다. 본 발명의 일실시예에 따른 강화학습에 따르면 영상 정보에서 속성이나 매트릭을 일일이 설정하지 않아도 Environment의 비선형적인 관계를 이용하여 위품 판정 모듈(23)의 정확도를 향상시킬 수 있는 효과가 발생된다.In connection with the fourth embodiment of the present invention, reinforcement learning may be used for the product determination of the product determination module 23. 6 is a schematic diagram showing reinforcement learning of the product judgment module 23 according to the fourth embodiment of the present invention. As shown in FIG. 6, in the case of reinforcement learning of the product determination module 23, existing standardized image information (for example, standardized image information based on image information having the authentication number 1) is newly input. Standardized image information (decision object image information), color difference information, feature point distribution difference information, text difference information, the product information, the print similarity information, the authentication sequence information, the position information, the package printing time information, the corresponding product Distribution information which is information on distribution, the UUID information is Environment, the product judgment module 23 constitutes the reinforcement learning that consists of Agent, the genuine / product judgment of the product judgment module consists of Action, Reward of whether the genuine / product is Reward Module 23 can be updated. According to the reinforcement learning according to an embodiment of the present invention, the effect of improving the accuracy of the product determination module 23 is generated by using the nonlinear relationship of the environment even without setting attributes or metrics in the image information.

본 발명의 제5실시예와 관련하여, 인쇄 유사도 계산 모듈(21)은 텍스트 정보(텍스트 내용, 폰트 정보, 텍스트 크기 등)를 이용하여 인쇄 유사도 정보를 생성하도록 구성될 수 있다. 구체적으로, 인쇄 유사도 계산 모듈(21)은 인증 순번이 1번인 영상 정보를 기초로 한 기존 표준화 영상 정보에서 텍스트 정보인 기존 텍스트 정보를 추출하고, 위품 판정을 위해 신규로 입력된 영상 정보를 기초로 한 신규 표준화 영상 정보에서 텍스트 정보인 대상 텍스트 정보를 추출하여, 기존 텍스트 정보와 대상 텍스트 정보의 차이인 텍스트 차이 정보(단어의 차이, Semantic 거리, 폰트 차이, 크기 차이 등)를 기초로 인쇄 유사도 정보를 생성하도록 구성될 수 있다. 또는, 위의 색차 정보 또는 특징점 분포 차이 정보와 함께 인쇄 유사도 정보의 요소로 구성될 수 있다. In relation to the fifth embodiment of the present invention, the print similarity calculation module 21 may be configured to generate print similarity information using text information (text content, font information, text size, etc.). Specifically, the print similarity calculation module 21 extracts the existing text information, which is text information, from the existing standardized image information based on the image information whose authentication sequence number is 1, and based on the newly input image information for the determination of the goods. Print similarity information based on text difference information (difference of words, semantic distance, font difference, size difference, etc.) that is the difference between the existing text information and the target text information by extracting the target text information from the new standardized image information. It can be configured to generate. Or, it may be composed of elements of the print similarity information together with the above color difference information or feature point distribution difference information.

이후, 인쇄 유사도 계산 모듈(21)은 생성된 텍스트 차이 정보를 이용하여 유사도 정보를 생성하며, 생성된 유사도 정보를 정규화하여 정규화 유사도 정보를 생성한다. 이때, 위품 판정 모듈(23)은 동일한 상품이나 다른 상품에 대해 입력된 기존의 영상 정보의 정규화 유사도 정보인 기존 정규화 유사도 정보와 판정 대상으로서 신규로 생성된 정규화 유사도 정보인 판정 대상 정규화 유사도 정보를 클러스터링하여 신규로 생성된 판정 대상 정규화 유사도 정보가 상기 인증 순번이 가장 낮은 그룹에 포함되는지 여부를 기초로, 특정 사용자가 정품 인증을 위해 신규로 입력한 영상 정보에 대해 위품 여부를 판정하도록 구성될 수 있다. Subsequently, the print similarity calculation module 21 generates similarity information using the generated text difference information, and normalizes the generated similarity information to generate normalized similarity information. At this time, the goods determination module 23 clusters the existing normalized similarity information, which is normalized similarity information of the existing image information input for the same product or another product, and the determination target normalized similarity information, which is newly generated normalized similarity information as the determination target. The newly generated determination target normalized similarity information may be configured to determine whether or not a product is false for image information newly input by a specific user for activation, based on whether the authentication sequence number is included in the lowest group. .

이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.As described above, those skilled in the art will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. Therefore, the above-described embodiments are to be understood in all respects as illustrative and not restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention.

본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.The features and advantages described herein do not include all, and in particular many additional features and advantages will become apparent to those skilled in the art in view of the drawings, specification, and claims. Moreover, it should be noted that the language used herein has been chosen primarily for ease of reading and for teaching purposes, and may not be selected to describe or limit the subject matter of the present invention.

본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.The foregoing description of the embodiments of the invention has been presented for purposes of illustration. It is not intended to be exhaustive or to limit the invention to the precise form disclosed. Those skilled in the art can appreciate that many modifications and variations are possible in light of the above disclosure.

그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.Therefore, the scope of the present invention is not limited by the detailed description, but is defined by any claims of the application on which it is based. Accordingly, the disclosure of the embodiments of the present invention is illustrative and does not limit the scope of the invention described in the claims below.

1: 사용자 클라이언트
2: 패키지 박스의 코드 인증을 이용한 위품 판정 장치
10: 카메라 모듈
11: 코드 검출 모듈
12: UUID 정보 출력 모듈
13: 위치 정보 출력 모듈
20: 표준화 모듈
21: 인쇄 유사도 계산 모듈
22: 인증 순번 계산 모듈
23: 위품 판정 모듈1: user client
2: Deviation judgment device using code authentication of package box
10: camera module
11: code detection module
12: UUID information output module
13: position information output module
20: standardization module
21: Print Similarity Calculation Module
22: authentication sequence number calculation module
23: product judgment module

Claims (1)

사용자 클라이언트에서 패키지 박스의 코드부를 포함한 영상 정보, 상기 코드부에 기록된 상품 정보, 상품 ID 정보 및 UUID 정보를 수신하는 통신 모듈;
상기 코드부를 기초로 상기 영상 정보의 원근, 각도 및 크기를 표준화하여 표준화 영상 정보를 생성하는 표준화 모듈;
상기 표준화 영상 정보와 수신된 상기 상품 정보를 기초로, 동일한 상품으로서 수신된 기존의 표준화 영상 정보와 상기 표준화 영상 정보의 인쇄 유사도를 계산하여 인쇄 유사도 정보를 출력하는 인쇄 유사도 계산 모듈;
상기 UUID를 기초로 생성된 웹 로그를 이용하여 상기 상품 ID 정보에 대한 인증 순번을 계산하여, 상기 상품 ID 정보에 대한 웹 엑세스 정보에 엑세스한 상기 UUID 정보의 순번을 의미하는 인증 순번 정보를 생성하는 인증 순번 계산 모듈; 및
상기 상품 정보, 상기 인쇄 유사도 정보 및 상기 인증 순번 정보를 기초로 수신된 상기 상품 ID 정보에 대한 위품 여부를 판정하여 위품 판정 정보를 생성하는 위품 판정 모듈;
를 포함하고,
상기 인쇄 유사도 계산 모듈의 상기 인쇄 유사도 정보의 계산에서 상기 기존의 표준화 영상 정보는, 상기 인증 순번이 1번인 기존의 영상 정보가 상기 표준화 모듈에 의해 표준화 된 정보를 의미하고,
상기 위품 판정 모듈은 동일한 상품이나 다른 상품에 대해 입력된 기존의 인쇄 유사도 정보를 클러스터링하여 상기 인쇄 유사도 정보가 상기 인증 순번이 가장 낮은 그룹에 포함되는지 여부를 기초로, 상기 영상 정보에 대해 상기 위품 판정 정보를 생성하며,
상기 인쇄 유사도 계산 모듈의 상기 인쇄 유사도 정보의 계산은, 상기 표준화 영상 정보와 상기 기존의 표준화 영상 정보 사이의 색차 정보, 특징점 분포 차이 정보 및 텍스트 차이 정보를 이용하여 인쇄 유사도 정보를 계산하도록 구성되며,
상기 인쇄 유사도 계산 모듈에서 상기 색차 정보는 아래 수학식 1에 의해 계산되고,
[수학식 1]
Figure 112019067489569-pat00007

위 수학식 1에서 ΔC는 특정 셀의 상기 색차 정보, α,β,γ는 가중치 상수, L은 상기 특정 셀의 명도, a는 상기 특정 셀의 Red와 Green, b는 상기 특정 셀의 Yellow와 Blue를 나타내고, α<β 및 α<γ 로 구성되며,
상기 인쇄 유사도 계산 모듈에서 상기 특징점 분포 차이 정보의 계산은, 아래 수학식 2와 3에 의해 추출되는 특징점을 기초로 계산되고,
[수학식 2]
Figure 112019067489569-pat00008

[수학식 3]
Figure 112019067489569-pat00009

위 수학식 2와 3에서 R(x,y)는 상기 특정 셀의 특징점 값이며, Ix, Iy는 미분 필터를 적용한 x, y 방향의 미분 벡터를 나타내고, Gσ는 가우시안 필터를 나타내며, M은 상기 특정 셀의 고유 벡터(Eigen Vector)가 얼마나 서로 수직한 방향으로 큰 값을 갖는지에 대한 값을 나타내고, det는 행렬식을 의미하는 것으로서 (Ix 2 Iy 2 -Ixy Ixy)를 의미하고, trace는 행렬의 대각합을 의미하는 것으로서 (Ix 2 + Iy 2)를 의미하며, k는 상수를 나타내고,
상기 인쇄 유사도 계산 모듈에서 계산되는 상기 텍스트 차이 정보는 어구 차이 정보, 시맨틱 차이 정보, 폰트 차이 정보 및 크기 차이 정보를 포함하고,
상기 위품 판정 정보는 상기 웹 엑세스 정보의 웹 페이지 또는 웹 앱을 통하여 상기 사용자 클라이언트에 출력되는 것을 특징으로 하는,
패키지 박스의 인쇄 유사도 계산을 이용한 위품 판정 장치.
A communication module configured to receive image information including a code part of a package box, product information recorded in the code part, product ID information, and UUID information in a user client;
A standardization module configured to generate normalized image information by standardizing perspective, angle, and size of the image information based on the code part;
A print similarity calculation module configured to calculate print similarity between existing standardized image information received as the same product and the standardized image information based on the standardized image information and the received product information, and output print similarity information;
Computing an authentication sequence number for the product ID information using the web log generated based on the UUID, and generating authentication sequence information indicating the sequence number of the UUID information accessed to the web access information for the product ID information. Authentication sequence calculation module; And
A goods judgment module configured to determine whether goods are received for the goods ID information received based on the goods information, the print similarity information, and the authentication sequence number information to generate goods judgment information;
Including,
In the calculation of the print similarity information of the print similarity calculation module, the existing normalized image information means information in which the existing image information having the authentication sequence number 1 is standardized by the standardization module.
The product judging module clusters existing print similarity information input for the same product or another product, and determines the product for the image information based on whether the print similarity information is included in the group having the lowest authentication sequence number. Generate information,
The calculation of the print similarity information of the print similarity calculation module is configured to calculate print similarity information using color difference information, feature point distribution difference information, and text difference information between the standardized image information and the existing standardized image information.
In the print similarity calculation module, the color difference information is calculated by Equation 1 below.
[Equation 1]
Figure 112019067489569-pat00007

In Equation 1, ΔC is the color difference information of a specific cell, α, β, γ is a weight constant, L is the brightness of the specific cell, a is Red and Green of the specific cell, b is Yellow and Blue of the specific cell And consists of α <β and α <γ,
The calculation of the feature point distribution difference information in the print similarity calculation module is calculated based on feature points extracted by Equations 2 and 3 below.
[Equation 2]
Figure 112019067489569-pat00008

[Equation 3]
Figure 112019067489569-pat00009

In Equations 2 and 3, R (x, y) is a feature point value of the specific cell, I x and I y represent differential vectors in the x and y directions to which a differential filter is applied, and G σ represents a Gaussian filter. M denotes a value of how large the eigenvectors of the specific cell are in the direction perpendicular to each other, and det denotes a determinant, where I x 2 I y 2 -I xy I xy . Where trace is the diagonal sum of the matrix, (I x 2 + I y 2 ), k represents a constant,
The text difference information calculated by the print similarity calculation module includes phrase difference information, semantic difference information, font difference information, and size difference information.
The goods determination information is output to the user client through a web page or a web app of the web access information, characterized in that
Deviation determination device using the print similarity calculation of the package box.
KR1020190079045A 2019-07-01 2019-07-01 Apparatus for detecting a counterfeit product using similarity of package box KR102043428B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190079045A KR102043428B1 (en) 2019-07-01 2019-07-01 Apparatus for detecting a counterfeit product using similarity of package box

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190079045A KR102043428B1 (en) 2019-07-01 2019-07-01 Apparatus for detecting a counterfeit product using similarity of package box

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190031390A Division KR101997498B1 (en) 2019-03-19 2019-03-19 Apparatus for judging a counterfeit product using QR code authentication of package box

Publications (1)

Publication Number Publication Date
KR102043428B1 true KR102043428B1 (en) 2019-11-11

Family

ID=68535802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190079045A KR102043428B1 (en) 2019-07-01 2019-07-01 Apparatus for detecting a counterfeit product using similarity of package box

Country Status (1)

Country Link
KR (1) KR102043428B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511918B1 (en) 2014-10-10 2015-04-15 주식회사 이노서티 QR code for counterfeit and forgery prevention, a system for automatically producing QR codes for counterfeit and forgery prevention and the operating method therefor
WO2016147813A1 (en) * 2015-03-19 2016-09-22 凸版印刷株式会社 Identification device, identification method, identification program, and computer-readable medium containing identification program
KR101794332B1 (en) * 2017-05-10 2017-11-06 주식회사 우디 method for estimating genuine article
KR20190009921A (en) * 2017-07-20 2019-01-30 주식회사 비케이소프트 Terminal and platform for authenticating genuine products and the authenticating method by using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511918B1 (en) 2014-10-10 2015-04-15 주식회사 이노서티 QR code for counterfeit and forgery prevention, a system for automatically producing QR codes for counterfeit and forgery prevention and the operating method therefor
WO2016147813A1 (en) * 2015-03-19 2016-09-22 凸版印刷株式会社 Identification device, identification method, identification program, and computer-readable medium containing identification program
KR101794332B1 (en) * 2017-05-10 2017-11-06 주식회사 우디 method for estimating genuine article
KR20190009921A (en) * 2017-07-20 2019-01-30 주식회사 비케이소프트 Terminal and platform for authenticating genuine products and the authenticating method by using the same

Similar Documents

Publication Publication Date Title
US10410309B2 (en) Classification and authentication of identification documents using a convolutional neural network
US8540158B2 (en) Document verification using dynamic document identification framework
EP2240878B1 (en) Identification and verification of an unknown document according to an eigen image process
Giot et al. A new soft biometric approach for keystroke dynamics based on gender recognition
CN112381775B (en) Image tampering detection method, terminal device and storage medium
Wang et al. Expression of Concern: Facial feature discovery for ethnicity recognition
US11508173B2 (en) Machine learning prediction and document rendering improvement based on content order
Castelblanco et al. Machine learning techniques for identity document verification in uncontrolled environments: A case study
Ali et al. DeepMoney: counterfeit money detection using generative adversarial networks
Nezami et al. Pick-object-attack: Type-specific adversarial attack for object detection
CN112272838A (en) Commodity specifying device, program, and learning method
Gothai et al. Design features of grocery product recognition using deep learning
KR101997498B1 (en) Apparatus for judging a counterfeit product using QR code authentication of package box
Okokpujie et al. Development of an adaptive trait-aging invariant face recognition system using convolutional neural networks
KR102043428B1 (en) Apparatus for detecting a counterfeit product using similarity of package box
KR102043427B1 (en) Apparatus for detecting a counterfeit of package box using multidimensional vector
WO2021102770A1 (en) Method and device for verifying authenticity of product
Rashid et al. On the design of embedded solutions to banknote recognition
KR101997499B1 (en) Apparatus for judging a counterfeit product of package box using reinforcement learning
Khuspe et al. Robust image forgery localization and recognition in copy-move using bag of features and SVM
CN110415424B (en) Anti-counterfeiting identification method and device, computer equipment and storage medium
KR20200097586A (en) Apparatus for judging a counterfeit product using QR code authentication of package box
Abraham Digital image forgery detection approaches: A review and analysis
Tang et al. Learning Hough regression models via bridge partial least squares for object detection
CN110795769A (en) Anti-counterfeiting method for check-in data of face recognition check-in system

Legal Events

Date Code Title Description
GRNT Written decision to grant