KR102588739B1 - 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버 - Google Patents

위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버 Download PDF

Info

Publication number
KR102588739B1
KR102588739B1 KR1020200189883A KR20200189883A KR102588739B1 KR 102588739 B1 KR102588739 B1 KR 102588739B1 KR 1020200189883 A KR1020200189883 A KR 1020200189883A KR 20200189883 A KR20200189883 A KR 20200189883A KR 102588739 B1 KR102588739 B1 KR 102588739B1
Authority
KR
South Korea
Prior art keywords
image
virtual
input image
genuine
product
Prior art date
Application number
KR1020200189883A
Other languages
English (en)
Other versions
KR20220097829A (ko
Inventor
윤영
김정걸
Original Assignee
(주)넷코아테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넷코아테크 filed Critical (주)넷코아테크
Priority to KR1020200189883A priority Critical patent/KR102588739B1/ko
Publication of KR20220097829A publication Critical patent/KR20220097829A/ko
Application granted granted Critical
Publication of KR102588739B1 publication Critical patent/KR102588739B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/95Pattern authentication; Markers therefor; Forgery detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

위조품을 판별하는 서버에 있어서, 판별대상물품을 촬영한 입력 이미지를 사용자 단말로부터 수신하는 수신부, 기학습된 분류모델에 기초하여 상기 입력 이미지에 해당하는 물품의 외형을 분류하는 분류부, 상기 분류된 물품의 외형과 대응되는 적어도 하나의 이미지 생성 모델에 기초하여 상기 입력 이미지에 대한 가상 진품 이미지를 생성하는 생성부, 상기 입력 이미지 및 상기 가상 진품 이미지를 비교하여 유사도를 도출하고, 상기 도출된 유사도에 기초하여 상기 판별대상물품이 위조품에 해당하는지 여부를 판단하는 판단부 및 판단 결과에 기초한 위조품 판별 정보를 상기 사용자 단말로 전송하는 전송부를 포함할 수 있다.

Description

위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버{DEVICE, METHOD AND SERVER FOR PROVIDING FORGERY DETECTING SERVICE}
본 발명은 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버에 관한 것이다.
소프트웨어, CD, DVD, 유가증권, 양주, 약품 등과 같은 고가 물품의 위조 행위가 큰 사회적 문제로 대두되고 있다. 진품을 위조되어 생산된 위조품은 대부분 낮은 품질을 가지기 때문에 위와 같은 위조 행위에 의해서 해당 기업은 많은 노력을 기울여 얻게 된 신뢰가 실추되는 등 막대한 피해를 입고 있다. 이러한 위조 문제를 해결하기 위해서 기업들은 위조를 곤란하게 하는 기술 또는 진품과 위조품을 판별하는 기술 등을 제품에 부여함으로써 위조품의 유통방지에 노력을 기울이고 있다.
현재까지의 위조품 판별기술은 주로 위조 방지용 필름을 부착하는 형태 혹은 QR 코드를 이용하는 형태로 발전하고 있는 추세이나 아직 까지는 제품 자체의 식별로 인한 위조품 판별기술은 발전이 매우 미미한 상황이다.
위조 방지 필름을 이용하는 기술은, 진품 판별용 패턴이 형성된 위조 방지용 필름 상에 진위 판별용 패턴을 감싸는 커버 필름이 형성되고, 위조 방지용 필름과 커버 필름의 굴절률이 서로 다르게 이루어진다.
그리고, QR 코드를 이용하는 기술은 NFC 태그와 QR 코드에 암호화된 데이터를 입력시킨 후, NFC 태그와 QR 코드를 상호 결합하고, 결합된 NFCQF 코드를 상품에 부착하여 부착된 NFCQF 코드에 대한 진품인증절차를 진행한다.
최근 들어, 진품과 위조품의 차이를 육안으로 구별하기 힘들 정도로 위조품이 점점 정교하게 제조되고 있으며, 위조품의 물량이 엄청나게 증가하는 추세이나, 위와 같은 기술은 대부분 사람이 직접 판별해야 하는 상황으로, 위조품을 정확하고 빠르게 판별하기에는 한계가 있다.
한국등록특허공보 10-1173374 (2012. 08.10. 공고) 한국등록특허공보 10-1929025 (2018.12.13. 공고)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 진품과 위조품을 신속하게 판별할 수 있고, 외관은 동일하지만 재질이 상이한 위조품까지 판별할 수 있어 진품과 위조품을 정확하게 판별할 수 있는 사용자 단말, 방법 및 서버를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 위조품을 판별하는 서버에 있어서, 판별대상물품을 촬영한 입력 이미지를 사용자 단말로부터 수신하는 수신부, 기학습된 분류모델에 기초하여 상기 입력 이미지에 해당하는 물품의 외형을 분류하는 분류부, 상기 분류된 물품의 외형과 대응되는 적어도 하나의 이미지 생성 모델에 기초하여 상기 입력 이미지에 대한 가상 진품 이미지를 생성하는 생성부, 상기 입력 이미지 및 상기 가상 진품 이미지를 비교하여 유사도를 도출하고, 상기 도출된 유사도에 기초하여 상기 판별대상물품이 위조품에 해당하는지 여부를 판단하는 판단부, 및 판단 결과에 기초한 위조품 판별 정보를 상기 사용자 단말로 전송하는 전송부를 포함할 수 있다.
일 실시예에서, 상기 분류모델은 복수의 물품의 외형에 대응되는 복수의 모델을 포함할 수 있다.
일 실시예에서, 상기 이미지 생성 모델은 상기 분류된 물품의 외형에 대한 복수의 세부 부품 별로 매핑되는 복수의 오토인코더를 포함할 수 있다.
일 실시예에서, 상기 이미지 생성 모델은 상기 복수의 세부 부품에 대한 진품 학습 이미지를 상기 오토인코더에 입력함으로써 상기 복수의 세부 부품 별로 학습시킬 수 있다.
일 실시예에서, 상기 생성부는 상기 입력 이미지 및 상기 진품 학습 이미지가 기설정된 유사도 이상의 값을 가지는지 여부에 기초하여 상기 이미지 생성 모델을 통해 상기 가상 진품 이미지를 생성할 수 있다.
일 실시예에서, 상기 입력 이미지는 상기 판별대상믈품에 대한 RGB 이미지 데이터 및 초분광 이미지 데이터 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 판단부는 상기 입력 이미지 및 상기 가상 진품 이미지 간의 코사인 유사도(Cosine similarity), 카이 제곱값(Chi_squre) 및 인터섹션 값(Intersection) 중 적어도 하나에 기초하여 상기 유사도를 도출할 수 있다.
본 발명의 또 다른 실시예는, 위조품을 판별하는 방법에 있어서, 기학습된 분류모델에 기초하여 판별대상물품을 촬영한 입력 이미지에 해당하는 물품의 외형을 분류하는 단계, 상기 분류된 물품의 외형과 대응된 적어도 하나의 이미지 생성 모델에 기초하여 상기 입력 이미지에 대한 가상 진품 이미지를 생성하는 단계, 상기 입력 이미지 및 상기 가상 진품 이미지를 비교하여 유사도를 도출하는 단계, 및 상기 도출된 유사도에 기초하여 상기 판별대상물품이 위조품에 해당하는지 여부를 판단하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예는, 위조품 판별 서비스를 제공하는 사용자 단말에 있어서, 판별대상물품을 촬영하여 입력 이미지를 생성하는 이미지 생성부, 상기 생성된 입력 이미지를 위조품 판별 서버로 전송하는 전송부, 상기 입력 이미지에 기초한 상기 판별대상물품에 대한 위조품 판별 정보를 상기 위조품 판별 서버로부터 수신하는 수신부, 및 상기 위조품 판별 정보를 표시하는 표시부를 포함하고, 기학습된 분류모델에 기초하여 상기 입력 이미지에 해당하는 물품의 외형이 분류되고. 상기 분류된 물품의 외형과 대응된 적어도 하나의 이미지 생성 모델에 기초하여 상기 입력 이미지에 대한 가상 진품 이미지가 생성되고, 상기 입력 이미지 및 상기 가상 진품 이미지 간의 유사도에 기초하여 상기 판별대상물품이 위조품에 해당하는지 여부가 판단될 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 진품과 위조품을 신속하고 정확하게 판별할 수 있는 사용자 단말, 방법 및 서버를 제공할 수 있다.
또한, 본 발명은 판별대상물품에 대한 사진 촬영을 통해 알고 싶은 품목에 대한 품목 정보들과 진품과의 유사성을 판단하도록 하는 진품 판별 서비스를 제공할 수 있다.
또한, 본 발명은 단순한 인공지능 모델에서의 RGB 데이터만을 사용하던 종래기술과 달리 초분광 이미지를 학습 모델에 도입함으로써 물품 품목들에 대한 분광 스펙트럼을 통하여 일반 RGB 데이터보다 더 큰 정확도를 제시할 수 있는 진품 판별 서비스를 제공할 수 있다.
또한, 본 발명은 초분광 이미지를 물품의 분류 및 위조품 판별에 사용하여 물품 품목들의 재질의 여부까지 판단할 있게 됨으로써, 외형이 진품과 동일하지만 재질만 진품과 다른 복제품을 판별 수 있는 진품 판별 서비스를 제공할 수 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
도 1은 본 발명의 일 실시예에 따른 위조품 판별 시스템에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 위조품 판별 서버의 블록도이다.
도 3은 본 발명의 일 실시에에 따른 가상 진품 이미지를 생성하는 것에 대한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 단말의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 위조품을 판별하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 초분광 이미지를 이용하여 진위 여부를 판별할 수 있는 장치에 관한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 진위 여부 판별에 초분광 이미지를 이용하는 것을 나타낸 개념도이다.
도 8은 본 발명의 일 실시예에 따른 판별대상물품의 진위 여부를 판별하는 전체 과정을 도시한 개념도이다.
도 9는 본 발명의 일 실시예에 따른 위조품 판별 정보를 표시하는 표시부를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 위조품 판별 시스템(1)에 대한 개념도이다. 도면에 도시된 바와 같이, 위조품 판별 시스템(1)은 사용자 단말(110) 및 위조품 판별 서버(100)를 포함할 수 있고, 사용자 단말(110)과 위조품 판별 서버(100)는 일반적으로 네트워크(network)를 통해 연결될 수 있다.
도 2는 본 발명의 일 실시예에 따른 위조품 판별 서버(100)의 블록도이다. 도면에 도시된 바와 같이, 위조품 판별 서버(100)는 수신부(210), 분류부(220), 생성부(230), 판단부(240) 및 전송부(250)를 포함할 수 있다. 위조품 판별 서버(100)는 인공지능 모델을 기반으로 사용자 단말로부터 전송된 입력 이미지를 이용하여 판별대상물품의 진위 여부를 판별할 수 있다.
수신부(210)는 판별대상물품을 촬영한 입력 이미지를 사용자 단말(110)로부터 수신할 수 있다. 사용자 단말로부터 수신되는 입력 이미지는 400nm ~ 700nm 영역의 RGB 이미지 및 400nm ~ 1700nm 영역의 초분광 이미지를 포함할 수 있다.
분류부(220)는 특정 물품의 외형에 따라 비슷한 특징점을 추출하여 분류모델을 학습시킬 수 있다. 예를 들어, 분류모델은 특정 물품에 대한 RGB 이미지 또는 초분광 이미지로부터 추출된 특징점에 기초하여 학습될 수 있다.
분류모델은 복수의 물품의 외형에 대응되는 복수의 모델을 포함할 수 있다. 예를 들어, 분류모델은 아래의 [표 1]에 나타난 예시와 같이, 물품의 외형에 따라 10개의 모델을 포함할 수 있다. 여기서, 포함되는 모델의 개수는 예시적인 것일 뿐 10개로 한정된다는 의미는 아니다.
[표 1]
본원 발명은 한 가지 모델이 아닌 외형에 따라 분류되는 복수의 모델을 이용함으로써, 인공지능 모델의 학습시간을 단축하고 진위 여부 판별의 정확도를 향상시킬 수 있다.
분류부(220)의 분류모델에 대한 알고리즘은 train/test 비율을 70%/30%로 하는 mobilenetv2 모델 기반으로 하고, Accuracy, Precision, Recall, F1 score를 지표로 하여 성능을 확인할 수 있도록 구현될 수 있다.
분류부(220)는 기학습된 분류모델에 기초하여 입력 이미지에 해당하는 물품의 외형을 분류할 수 있다. 예를 들어, 분류부(220)는 복수의 물품의 외형에 대응되는 복수의 모델에 입력 이미지를 입력함으로써, 복수의 물품의 외형 중 입력 이미지와 대응되는 어느 하나의 물품의 외형으로 분류할 수 있다.
생성부(230)는 분류부(220)에서 분류된 물품의 외형과 대응되는 적어도 하나의 이미지 생성 모델에 기초하여 입력 이미지에 대한 가상 진품 이미지를 생성할 수 있다. 예를 들어, 이미지 생성 모델은 특정 물품의 외형에 대한 RGB 이미지 또는 초분광 이미지에 기초하여 학습될 수 있고, 생성부는 학습된 이미지 생성 모델을 이용하여 입력 이미지에 대한 가상 진품 이미지를 생성할 수 있다.
오토인코더(Autoenconder)는 유사한 이미지의 집합을 학습 데이터로 입력받아 이를 기반으로 동일 또는 유사한 이미지를 출력하도록 하는 신경망으로서, 생성부(230)는 오토인코더를 기반으로 가상 진품 이미지를 생성할 수 있다.
이미지 생성 모델은 분류된 물품의 외형에 대한 복수의 세부 부품 별로 매핑되는 복수의 오토인코더를 포함할 수 있다. 예를 들어, 분류된 물품이 손목시계라고 하면, 손목시계의 몸통, 스트랩, 버클 각각에 대하여 학습된 오토인코더를 매핑할 수 있다.
그리고, 이미지 생성 모델은 복수의 세부 부품에 대한 위조품의 데이터가 없는 진품 학습 이미지를 오토인코더에 입력함으로써 복수의 세부 부품 별로 학습시킬 수 있다. 예를 들어, 진품 학습 이미지는 물품을 구성하는 복수의 세부 부품에 대한 RGB 이미지 또는 초분광 이미지를 포함할 수 있다.
또한, 생성부(230)는 가상 진품 이미지의 생성에 있어서 추가 정보가 필요한 경우, 사용자 단말(110)로 추가 정보를 요청할 수 있다. 예를 들어, 추가 정보는 특정 물품의 외형 중 특정 세부 부품에 대한 RGB 이미지 또는 초분광 이미지를 포함할 수 있다.
도 3은 가상 진품 이미지를 생성하는 것에 대한 도면이다.
생성부(230)는 입력 이미지와 진품 학습 이미지가 기설정된 유사도 이상의 값을 가지는지 여부에 기초하여 이미지 생성 모델을 통해 가상 진품 이미지를 생성할 수 있다. 예를 들어, 생성부(230)는 RGB 이미지 형태의 입력 이미지가 이미지 생성 모델에 입력된 경우, RGB 이미지 형태의 가상 진품 이미지를 생성할 수 있고, 초분광 이미지 형태의 입력 이미지가 이미지 생성 모델에 입력된 경우, 초분광 이미지 형태의 가상 진품 이미지를 생성할 수 있다.
도 3a에 도시된 바와 같이, 입력 이미지와 진품 학습 이미지가 기설정된 유사도 이상의 값을 가지는 경우, 생성부(230)는 가상 진품 이미지를 생성하여, 입력 이미지와 비교 가능하게 할 수 있다.
그리고, 도 3b에 도시된 바와 같이, 입력 이미지와 진품 학습 이미지가 기설정된 유사도 미만의 값을 가지는 경우, 생성부(230)는 가상 진품 이미지를 입력 이미지와 전혀 다른 이미지로 생성할 수 있다.
판단부(240)는 입력 이미지와 가상 진품 이미지를 비교하여 이들 사이의 유사도를 도출하고, 도출된 유사도에 기초하여 판별대상물품이 위조품에 해당하는지 여부를 판단할 수 있다. 예를 들어, 판단부(240)는 입력 이미지와 가상 진품 이미지가 RGB 이미지 형태인 경우, 각 이미지를 구성하는 픽셀 간의 유사도를 도출할 수 있으며, 입력 이미지와 가상 진품 이미지가 초분광 이미지인 경우, 각 이미지에 대한 분광 스펙트럼 분석을 통해 해당 물품의 재질까지 비교함으로써 유사도를 도출할 수 있다.
판단부(240)는 입력 이미지 및 가상 진품 이미지 간의 코사인 유사도(Cosine similarity), 카이 제곱값(Chi_squre) 및 인터섹션 값(Intersection) 중 적어도 하나에 기초하여 유사도를 도출할 수 있다.
전송부(250)는 판단부(240)에서 판별대상물품의 위조품 판별 정보를 사용자 단말로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자 단말(110)의 블록도이다. 사용자 단말(110)은, 스마트 폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 키오스크(kiosk)를 포함할 수 있다.
도면에 도시된 바와 같이, 사용자 단말(110)은 이미지 생성부(410), 전송부(420), 수신부(430) 및 표시부(440)를 포함할 수 있다.
이미지 생성부(410)는 판별대상물품을 촬영하여 입력 이미지를 생성할 수 있다.
이미지 생성부(410)는 RGB 이미지를 촬영할 수 있는 RGB 카메라 또는 초분광 이미지를 촬영할 수 있는 초분광 카메라를 포함할 수 있다.
전송부(420)는 이미지 생성부(410)에 의해 생성된 입력 이미지를 위조품 판별 서버(100)로 전송할 수 있다.
수신부(430)는 입력 이미지에 기초하여 도출된 판별대상물품에 대한 위조품 판별 정보를 위조품 판별 서버(100)로부터 수신할 수 있다.
표시부(440)는 위조품 판별 서버(100)에서 판별된 판별대상물품에 대한 위조품 판별 정보를 표시할 수 있다. 표시부(440)는 정보를 시각적으로 화면에 출력하는 디스플레이장치를 포함할 수 있고, 디스플레이장치는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구성될 수 있다.
또한, 표시부(440)는 위조품 판별 서버(100)로부터 가상 진품 이미지의 생성에 대한 추가 정보를 요청받는 경우, 추가 정보를 요청하는 팝업창을 사용자 단말(110)의 화면에 표시할 수 있다. 예를 들어, 추가 정보는 특정 물품의 외형 중 특정 세부 부품에 대한 RGB 이미지 또는 초분광 이미지를 포함할 수 있다. 이를 통해, 사용자 단말(110)은 팝업창을 통해 판별대상물품에 대해 추가적으로 입력 이미지를 촬영하도록 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 위조품을 판별하는 방법의 순서도이다.
도면에 도시된 바와 같이, 단계 S510에서 기학습된 분류모델에 기초하여 판별대상물품을 촬영한 입력 이미지에 해당하는 물품의 외형을 분류할 수 있다.
단계 S520에서 분류된 물품의 외형과 대응된 적어도 하나의 이미지 생성 모델에 기초하여 입력 이미지에 대한 가상 진품 이미지를 생성할 수 있다.
단계 S530에서 입력 이미지 및 가상 진품 이미지를 비교하여 유사도를 도출할 수 있다.
단계 S540에서 도출된 유사도에 기초하여 판별대상물품이 위조품에 해당하는지 여부를 판단할 수 있다.
상술한 설명에서, 단계 S510 내지 S540은 본 발명의 일 실시예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 초분광 이미지를 이용하여 판별대상물품이 위조품에 해당하는지 여부를 판단할 수 있는 장치에 관한 개념도이다.
인간의 눈이나 일반 카메라는 red-green-blue(RGB) 색상 만을 구별할 수 있기 때문에 한계점이 있지만 자외선부터 적외선 영역까지 초분광 이미지를 얻게 되면 물질을 식별할 수 있는 영역의 폭이 넓어지고 다양해진다. 이를 이용하여, 본원 발명은 초분광 이미지에 기초하여 분류모델 및 이미지 생성 모델을 학습시킴으로써 판별 품목의 재질까지 판별할 수 있는 알고리즘을 생성할 수 있다.
RGB 이미지는 가시광선 영역(400nm ~ 700nm)의 RGB 데이터를 포함하게 때문에, 해당 이미지로 육안으로 인식 가능한 형태, 모양 및 색과 같은 특성만 파악할 수 있다.
반면에, 초분광 이미지는, 도 6a에 도시된 바와 같이, 수많은 분광채널을 통하여 판별대상물품의 특성을 나타내는 연속적인 스펙트럼(spectrum) 데이터를 포함하기 때문에, 해당 이미지로 육안으로 파악할 수 없는 특성까지 파악할 수 있다.
따라서, 본 발명의 일 실시예에 따른 사용자 단말기의 생성부는, 도 6b에 도시된 바와 같이, VIS 영역을 촬영할 수 있는 초분광 카메라와, NIR/SWIR 영역을 촬영할 수 있는 초분광 카메라를 포함할 수 있다.
여기서, VIS 영역은 가시광선(Visible Light) 영역으로, 바람직하게는 400nm 내지 700nm의 영역을 포함할 수 있다. 그리고, NIR/SWIR 영역은 근적외선(Near Infrared) 영역과 단파적외선 영역(Short-Wave Infrared) 영역으로, 바람직하는 700nm 내지 1700nm 영역을 포함할 수 있다.
이러한 사용자 단말(110)은 판별대상물품의 연속적인 분광스펙트럼을 포함하는 이미지를 위조품 판별 서버(100)로 전송할 수 있다.
도 7은 본 발명의 일 실시예에 따른 초분광 이미지를 이용하여 진위 여부를 판별하는 것을 나태는 도면이다.
도 7a에 도시된 바와 같이, 다양한 재질로 구성되는 손목시계와 팔찌를 비교하면 이들은 생김새가 비슷하여 외관으로 구별이 어려울 수 있다. 하지만, 도 7b에 도시된 바와 같이, 재질에 따라 스펙트럼은 상이하게 나타나므로, 육안으로 파악할 수 없는 특징을 이용한다면, 보다 정확한 구별이 가능하다. 따라서, 본 발명의 일 실시예에 따르면, 초분광 이미지에 기초하여 학습된 분류모델 및 이미지 생성 모델을 이용하여 판별대상물품이 위조품에 해당하는지 여부를 보다 정확하게 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른 판별대상물품의 진위 여부를 판별하는 전체 과정을 도시한 도면이다.
도면에 도시된 바와 같이, 사용자는 사용자 단말에 설치된 어플리케이션을 실행하여, 생성부에서 생성된 입력 이미지를 위조품 판별 서버에 전송하기 위한 업로드 메뉴를 실행하고, 입력 이미지를 선택할 수 있다.
선택된 입력 이미지는 위조품 판별 서버로 전송이 되고, 전송된 입력 이미지는 수신부를 갖는 인터페이스에 수신될 수 있다. 인터페이스는 back-end 구조로 분류부, 생성부 및 판단부를 갖는 딥러닝 프레임워크에 수신된 입력 이미지의 판별을 요청하면, 딥러닝 프레임워크는 딥러닝 추론 모듈을 실행하여 해당 판별대상물품이 위조품에 해당하는지 여부를 판단할 수 있다. 딥러닝 추론 모듈은 판단 결과를 인터페이스에 반환하고, 인터페이스는 반환된 판단 결과를 사용자 단말로 전송할 수 있다. 사용자 단말은 표시부를 통하여 위조품 판별 정보를 표시할 수 있다.
도 9는 본 발명의 일 실시예에 따른 위조품 판별 정보를 표시하는 표시부를 나타내는 도면이다. 도면에 도시된 바와 같이, 표시부는 터치 스크린으로 구성되어 사용자의 손으로부터 스크린 상의 위치를 입력 받아, 어플리케이션 및 메뉴가 실행될 수 있다. 또한, 사용자 단말에 저장된 위조품 판별 정보를 스크린 상에 퍼센트 수치로 나타낼 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
[과제정보]
[부처명] 정보통신산업진흥원
[연구사업명] '20년 AI융합 불법 복제품 판독시스템 사업
[연구과제명] 딥러닝을 활용한 진품과의 유사성 측정 기술 개발
[기여율] 100%
[주관기관] (주)넷코아테크
[연구기간] 2020.08.01 ~ 2020.12.31
1: 위조품 판별 시스템
100: 위조품 판별 서버
110: 사용자 단말
210: 수신부
220: 분류부
230: 생성부
240: 판단부
250: 전송부
410: 이미지 생성부
420: 전송부
430: 수신부
440: 표시부

Claims (9)

  1. 위조품을 판별하는 서버에 있어서,
    판별대상물품을 촬영한 입력 이미지를 사용자 단말로부터 수신하는 수신부;
    기학습된 분류모델에 기초하여 상기 입력 이미지에 해당하는 물품의 외형을 분류하는 분류부;
    상기 분류된 물품의 외형과 대응되는 적어도 하나의 이미지 생성 모델에 기초하여 상기 입력 이미지에 대한 가상 진품 이미지를 생성하는 생성부;
    상기 입력 이미지 및 상기 가상 진품 이미지를 비교하여 유사도를 도출하고, 상기 도출된 유사도에 기초하여 상기 판별대상물품이 위조품에 해당하는지 여부를 판단하는 판단부; 및
    판단 결과에 기초한 위조품 판별 정보를 상기 사용자 단말로 전송하는 전송부
    를 포함하고,
    상기 입력 이미지는 상기 판별대상물품에 대한 초분광 이미지 데이터이고,
    상기 이미지 생성 모델은 초분광 이미지 형태의 가상 진품 이미지를 생성하는 것이고,
    상기 입력 이미지는 상기 판별대상물품에 대한 RGB 이미지 데이터를 더 포함하고,
    상기 판단부는
    상기 입력 이미지와 상기 가상 진품 이미지가 상기 초분광 이미지 데이터인 경우, 각 초분광 이미지 데이터 간의 분광 스펙트럼 분석 결과를 비교하여 상기 유사도를 도출하고,
    상기 입력 이미지와 상기 가상 진품 이미지가 상기 RGB 이미지 데이터인 경우, 각 RGB 이미지 데이터 간의 픽셀값 분포를 비교하여 상기 유사도를 도출하는 것인, 위조품 판별 서버.
  2. 제 1 항에 있어서,
    상기 분류모델은 복수의 물품의 외형에 대응되는 복수의 모델을 포함하는 것인, 위조품 판별 서버.
  3. 제 1 항에 있어서,
    상기 이미지 생성 모델은 상기 분류된 물품의 외형에 대한 복수의 세부 부품 별로 매핑되는 복수의 오토인코더를 포함하는 것인, 위조품 판별 서버.
  4. 제 3 항에 있어서,
    상기 이미지 생성 모델은 상기 복수의 세부 부품에 대한 진품 학습 이미지를 상기 오토인코더에 입력함으로써 상기 복수의 세부 부품 별로 학습시키는 것인, 위조품 판별 서버.
  5. 제 4 항에 있어서,
    상기 생성부는 상기 입력 이미지 및 상기 진품 학습 이미지가 기설정된 유사도 이상의 값을 가지는지 여부에 기초하여 상기 이미지 생성 모델을 통해 상기 가상 진품 이미지를 생성하는 것인, 위조품 판별 서버.
  6. 제 5 항에 있어서,
    상기 진품 학습 이미지는 상기 복수의 세부 부품에 대한 상기 초분광 이미지 데이터 또는 상기 RGB 이미지 데이터 중 어느 하나를 포함하고,
    상기 생성부는 상기 초분광 이미지 데이터인 상기 입력 이미지가 상기 이미지 생성 모델에 입력되는 경우, 상기 초분광 이미지 데이터인 가상 진품 이미지를 생성하고,
    상기 RGB 이미지 데이터인 상기 입력 이미지가 상기 이미지 생성 모델에 입력되는 경우, 상기 RGB 이미지 데이터인 가상 진품 이미지를 생성하는 것인, 위조품 판별 서버.
  7. 제 1 항에 있어서,
    상기 판단부는 상기 입력 이미지 및 상기 가상 진품 이미지 간의 코사인 유사도(Cosine similarity), 카이 제곱값(Chi_squre) 및 인터섹션 값(Intersection) 중 적어도 하나에 기초하여 상기 유사도를 도출하는 것인, 위조품 판별 서버.
  8. 위조품 판별 서버에 의해 수행되는 위조품을 판별하는 방법에 있어서,
    기학습된 분류모델에 기초하여 판별대상물품을 촬영한 입력 이미지에 해당하는 물품의 외형을 분류하는 단계;
    상기 분류된 물품의 외형과 대응된 적어도 하나의 이미지 생성 모델에 기초하여 상기 입력 이미지에 대한 가상 진품 이미지를 생성하는 단계;
    상기 입력 이미지 및 상기 가상 진품 이미지를 비교하여 유사도를 도출하는 단계; 및
    상기 도출된 유사도에 기초하여 상기 판별대상물품이 위조품에 해당하는지 여부를 판단하는 단계
    를 포함하고,
    상기 입력 이미지는 상기 판별대상물품에 대한 초분광 이미지 데이터이고,
    상기 이미지 생성 모델은 초분광 이미지 형태의 가상 진품 이미지를 생성하는 것이고,
    상기 입력 이미지는 상기 판별대상물품에 대한 RGB 이미지 데이터를 더 포함하고,
    상기 유사도를 도출하는 단계는
    상기 입력 이미지와 상기 가상 진품 이미지가 상기 초분광 이미지 데이터인 경우, 각 초분광 이미지 데이터 간의 분광 스펙트럼 분석 결과를 비교하여 상기 유사도를 도출하는 단계; 및
    상기 입력 이미지와 상기 가상 진품 이미지가 상기 RGB 이미지 데이터인 경우, 각 RGB 이미지 데이터 간의 픽셀값 분포를 비교하여 상기 유사도를 도출하는 단계를 포함하는, 위조품 판별 방법.
  9. 위조품 판별 서비스를 제공하는 사용자 단말에 있어서,
    판별대상물품을 촬영하여 입력 이미지를 생성하는 이미지 생성부;
    상기 생성된 입력 이미지를 위조품 판별 서버로 전송하는 전송부;
    상기 입력 이미지에 기초한 상기 판별대상물품에 대한 위조품 판별 정보를 상기 위조품 판별 서버로부터 수신하는 수신부; 및
    상기 위조품 판별 정보를 표시하는 표시부
    를 포함하고,
    기학습된 분류모델에 기초하여 상기 입력 이미지에 해당하는 물품의 외형이 분류되고. 상기 분류된 물품의 외형과 대응된 적어도 하나의 이미지 생성 모델에 기초하여 상기 입력 이미지에 대한 가상 진품 이미지가 생성되고, 상기 입력 이미지 및 상기 가상 진품 이미지 간의 유사도에 기초하여 상기 판별대상물품이 위조품에 해당하는지 여부가 판단되고,
    상기 입력 이미지는 상기 판별대상물품에 대한 초분광 이미지 데이터이고,
    상기 이미지 생성 모델은 초분광 이미지 형태의 가상 진품 이미지를 생성하는 것이고,
    상기 입력 이미지는 상기 판별대상물품에 대한 RGB 이미지 데이터를 더 포함하고,
    상기 입력 이미지와 상기 가상 진품 이미지가 상기 초분광 이미지 데이터인 경우, 각 초분광 이미지 데이터 간의 분광 스펙트럼 분석 결과를 비교하여 상기 유사도가 도출되고,
    상기 입력 이미지와 상기 가상 진품 이미지가 상기 RGB 이미지 데이터인 경우, 각 RGB 이미지 데이터 간의 픽셀값 분포를 비교하여 상기 유사도가 도출되는 것인, 사용자 단말.
KR1020200189883A 2020-12-31 2020-12-31 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버 KR102588739B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200189883A KR102588739B1 (ko) 2020-12-31 2020-12-31 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200189883A KR102588739B1 (ko) 2020-12-31 2020-12-31 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버

Publications (2)

Publication Number Publication Date
KR20220097829A KR20220097829A (ko) 2022-07-08
KR102588739B1 true KR102588739B1 (ko) 2023-10-17

Family

ID=82407436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200189883A KR102588739B1 (ko) 2020-12-31 2020-12-31 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버

Country Status (1)

Country Link
KR (1) KR102588739B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520864A (ja) * 2014-04-09 2017-07-27 エントルピー インコーポレーテッドEntrupy Inc. 微視的差異からの機械学習を使用する物体の真贋鑑定
KR101799335B1 (ko) * 2016-07-26 2017-11-20 주식회사 에스원 단안 카메라를 이용한 위조 얼굴 판별 시스템 및 이를 이용한 위조 얼굴 판별 방법
KR102096386B1 (ko) * 2018-12-31 2020-04-03 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101173374B1 (ko) 2010-07-23 2012-08-10 고려대학교 산학협력단 위조 방지용 필름
KR20140061183A (ko) * 2012-11-13 2014-05-21 재단법인대구경북과학기술원 초분광 영상 기반 위조생체 검출 시스템
KR101929025B1 (ko) 2017-01-11 2018-12-13 주식회사 니어네트웍스 상품에 대한 정품 또는 위조품을 확인하는 정품인증시스템
KR20200002332A (ko) * 2018-06-29 2020-01-08 고려대학교 산학협력단 딥 러닝을 이용하여 이미지를 검색하는 단말 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520864A (ja) * 2014-04-09 2017-07-27 エントルピー インコーポレーテッドEntrupy Inc. 微視的差異からの機械学習を使用する物体の真贋鑑定
KR101799335B1 (ko) * 2016-07-26 2017-11-20 주식회사 에스원 단안 카메라를 이용한 위조 얼굴 판별 시스템 및 이를 이용한 위조 얼굴 판별 방법
KR102096386B1 (ko) * 2018-12-31 2020-04-03 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템

Also Published As

Publication number Publication date
KR20220097829A (ko) 2022-07-08

Similar Documents

Publication Publication Date Title
US10885531B2 (en) Artificial intelligence counterfeit detection
US11893099B2 (en) Systems and methods for dynamic passphrases
Zhang Deepfake generation and detection, a survey
US11539525B2 (en) Systems and methods for secure tokenized credentials
Shad et al. [Retracted] Comparative Analysis of Deepfake Image Detection Method Using Convolutional Neural Network
Greco et al. Benchmarking deep network architectures for ethnicity recognition using a new large face dataset
CN106203391A (zh) 基于智能眼镜的人脸识别方法
CN113128271A (zh) 脸部图像的伪造检测
Narayanan et al. Hybrid machine learning architecture for automated detection and grading of retinal images for diabetic retinopathy
Fan et al. Image visual realism: From human perception to machine computation
CA3204311A1 (en) Method and system for securely deploying an artificial intelligence model
Nadhan et al. Smart attendance monitoring technology for industry 4.0
Sedik et al. An efficient cybersecurity framework for facial video forensics detection based on multimodal deep learning
KR102588739B1 (ko) 위조품 판별 서비스를 제공하는 사용자 단말, 방법 및 서버
Costa‐Pazo et al. Face presentation attack detection. A comprehensive evaluation of the generalisation problem
Usmani et al. Efficient deepfake detection using shallow vision transformer
PK et al. Fraud detection and prevention by face recognition with and without mask for banking application
El_Tokhy Development of precise forgery detection algorithms in digital radiography images using convolution neural network
Mao et al. A shared updatable method of content regulation for deepfake videos based on blockchain
Thaipisutikul et al. A deep feature-level fusion model for masked face identity recommendation system
Forero Banknotes classification system through image processing and pattern recognition for people with visual impairment
Choudhary et al. Iris presentation attack detection for mobile devices
Yu et al. Face Presentation Attack Detection
Lee Malaysia currency recognizer mobile application for visual impairment
KR102043427B1 (ko) 다차원 벡터를 이용한 패키지 박스의 위품 판정 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant