KR102190315B1 - 제품 식별 방법 및 그 방법을 이용한 판매 시스템 - Google Patents

제품 식별 방법 및 그 방법을 이용한 판매 시스템 Download PDF

Info

Publication number
KR102190315B1
KR102190315B1 KR1020200001753A KR20200001753A KR102190315B1 KR 102190315 B1 KR102190315 B1 KR 102190315B1 KR 1020200001753 A KR1020200001753 A KR 1020200001753A KR 20200001753 A KR20200001753 A KR 20200001753A KR 102190315 B1 KR102190315 B1 KR 102190315B1
Authority
KR
South Korea
Prior art keywords
product
client
information
area
object area
Prior art date
Application number
KR1020200001753A
Other languages
English (en)
Inventor
노성운
Original Assignee
주식회사 에이아이스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이스튜디오 filed Critical 주식회사 에이아이스튜디오
Priority to KR1020200001753A priority Critical patent/KR102190315B1/ko
Application granted granted Critical
Publication of KR102190315B1 publication Critical patent/KR102190315B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라를 통해 획득된 이미지로부터 제품을 식별하는 기술에 관한 것으로, 제품 식별 방법은, 클라이언트가 객체를 포함하는 제품 이미지를 입력받고, 입력된 제품 이미지 내에 포함된 깊이 정보를 이용하여 제 1 객체 영역을 획득하고, 입력된 제품 이미지 내에 포함된 컬러 정보를 이용하여 기계 학습 네트워크(machine learning network)를 통해 제 2 객체 영역을 획득하며, 서버가 클라이언트로부터 획득된 제 1 객체 영역 및 제 2 객체 영역을 전송받아 양자를 비교하여 일치 여부를 검증하고, 클라이언트가 서버로부터 전송받은 검증 결과에 기초하여 식별된 객체에 대응하는 가격 정보를 독출하여 해당 객체에 대한 결제를 유도한다.

Description

제품 식별 방법 및 그 방법을 이용한 판매 시스템{Method for recognizing goods and sales system using the method thereof}
본 발명은 컴퓨터 비전(computer vision)에 관한 기술로, 특히 카메라를 통해 획득된 이미지로부터 기계 학습(machine learning)에 기반하여 제품을 식별하는 방법 및 그 방법을 이용하는 판매 시스템에 관한 것이다.
컴퓨터 비전이란 컴퓨터를 사람의 눈에 비유하여 실제 세계에서 발견되는 삼차원 물체를 인식하거나, 여러 가지 과학적 지식을 사용하여 삼차원 정보를 이용하는 컴퓨터 과학의 응용 분야를 말한다. 카메라 및 센서 기술의 발달과 함께 컴퓨터 비전 기술 역시 성장하였으며, 최근 폭발적으로 발전하고 있는 인공지능 기술과 결합되어 다양한 시도가 이루어지고 있다.
그런데, 인간을 포함한 동물의 시각 정보 및 인식 체계와는 달리, 컴퓨터 비전에서는 3차원 물체가 2차원 이미지 내의 픽셀로 기록되는 과정에서 정보의 손실, 변형 내지 왜곡이 발생한다. 이러한 문제는 카메라 렌즈, 조명, 배경의 혼잡함 등과 같은 다양한 요인에 의한 것으로 인간의 뇌를 통한 인지 능력을 완벽하게 모사하지 못하는 현재의 인공지능 기술로 인해 더욱 큰 한계를 보여주고 있다.
한편, 컴퓨터 비전을 이용하여 객체를 인식하고 이를 통해 무인화 점포를 운영하는 아이디어가 최근 실험적으로 제시되고 있다. 이하에서 제시되는 선행기술문헌에는 사물 인식을 이용한 상품 검색 시스템이 소개되었다.
한국등록특허공보 제10-1852598호, "사물 인식을 이용한 상품 검색 시스템"
본 발명이 해결하고자 하는 기술적 과제는, 종래의 컴퓨터 비전 기술이 단편적인 카메라 센서 기술에 의존하고 있어 나타나는 센서 고유의 약점을 해소하고, 이미지로부터 사물을 인식하기 위해 고도화된 인공지능 알고리즘에만 집중함으로써 실시간 서비스 제공이 어려운 한계를 극복하며, 다수의 지점이나 매장을 보유하고 있는 기업에서 판매하는 제품들 간에 나타나는 편차로 인해 사물 인식에 기반한 판매가 곤란한 기술적 약점을 해결하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 제품 식별 방법은, (a) 클라이언트가 객체를 포함하는 제품 이미지를 입력받는 단계; (b) 상기 클라이언트가 입력된 상기 제품 이미지 내에 포함된 깊이 정보를 이용하여 제 1 객체 영역을 획득하는 단계; (c) 상기 클라이언트가 입력된 상기 제품 이미지 내에 포함된 컬러 정보를 이용하여 기계 학습 네트워크(machine learning network)를 통해 제 2 객체 영역을 획득하는 단계; (d) 서버가 상기 클라이언트로부터 획득된 상기 제 1 객체 영역 및 상기 제 2 객체 영역을 전송받아 양자를 비교하여 일치 여부를 검증하는 단계; 및 (e) 상기 클라이언트가 상기 서버로부터 전송받은 검증 결과에 기초하여 식별된 객체에 대응하는 가격 정보를 독출하여 해당 객체에 대한 결제를 유도하는 단계;를 포함한다.
일 실시예에 따른 제품 식별 방법에서, 제 1 객체 영역을 획득하는 상기 (b) 단계는, (b1) 상기 제품 이미지로부터 스테레오 비전(stereo vision), 구조화 패턴(structured pattern), 및 ToF(Time-of-Flight) 중 적어도 하나를 이용하여 깊이 정보를 획득하는 단계; (b2) 획득된 상기 깊이 정보를 이용하여 객체에 해당하는 전경 및 나머지 영역인 배경을 분리하는 단계; 및 (b3) 분리된 상기 배경을 제거함으로써 객체 영역만을 추출하는 단계;를 포함할 수 있다. 또한, 제 1 객체 영역을 획득하는 상기 (b) 단계는, (b4) 추출된 상기 객체 영역에 대해 모폴로지(morphology) 연산을 이용하여 노이즈(noise)를 제거하는 단계; (b4) 노이즈가 제거된 객체 영역의 크기가 제품의 유형을 고려하여 미리 설정된 임계치와 비교하여 임계치 이하의 객체 영역을 삭제하는 단계; 및 (b5) 상기 임계치 초과의 객체 영역으로부터 윤곽(contour)을 추출하여 제 1 객체 영역으로 설정하는 단계;를 더 포함할 수 있다.
일 실시예에 따른 제품 식별 방법에서, 제 2 객체 영역을 획득하는 상기 (c) 단계는, (c1) 다수의 제품 유형별 학습 데이터를 이용하여 미리 기계 학습을 수행하여 데이터 셋(data-set)이 적용된 기계 학습 네트워크를 생성하는 단계; (c2) 상기 제품 이미지 내에 포함된 컬러 정보를 참조하여 상기 기계 학습 네트워크를 통해 객체를 인식하는 단계; 및 (c3) 인식된 상기 객체를 제 2 객체 영역으로 설정하는 단계;를 포함할 수 있다.
일 실시예에 따른 제품 식별 방법에서, 일치 여부를 검증하는 상기 (d) 단계는, (d1) 상기 클라이언트로부터 획득한 상기 제 1 객체 영역 및 상기 제 2 객체 영역을 전송받는 단계; (d2) 상기 제 1 객체 영역 및 상기 제 2 객체 영역을 비교하여 각각의 객체별 평가 메트릭(evaluation metric) 또는 식별된 객체의 개수 중 적어도 하나의 일치 여부를 검증하는 단계; 및 (d3) 검증 결과를 상기 클라이언트에 회신하는 단계;를 포함할 수 있다. 또한, 일치 여부를 검증하는 상기 (d2) 단계는, 상기 제 1 객체 영역 및 상기 제 2 객체 영역 내에 포함된 각각의 객체들에 대해 영역들 간의 합집합(union) 영역에 대한 교집합(intersection) 영역의 비율을 산출하고, 산출된 비율이 미리 설정된 기준치를 이용하여 객체들을 정상 인식 객체 또는 비정상 인식 객체로 분류할 수 있다.
일 실시예에 따른 제품 식별 방법에서, 결제를 유도하는 상기 (e) 단계는, (e1) 상기 서버로부터 전송받은 검증 결과에 기초하여 정상 인식 객체로 식별된 객체에 대응하는 미리 저장된 가격 정보를 가격 데이터베이스로부터 독출하는 단계; 및 (e2) 상품을 구매하고자 하는 소비자에게 가격 정보가 독출된 객체에 대한 결제를 유도하는 단계;를 포함할 수 있다.
일 실시예에 따른 제품 식별 방법은, (f) 상기 서버로부터 전송받은 검증 결과에 기초하여 비정상 인식 객체로 식별된 객체에 대해 상기 클라이언트 또는 상기 서버를 통한 제품 정보를 입력받아 최신의 제품 정보로 갱신하는 단계;를 더 포함할 수 있다. 또한, 최신의 제품 정보로 갱신하는 상기 (f) 단계는, (f1) 비정상 인식 객체로 식별된 객체에 대해 제품 이미지 및 가격 정보를 포함하는 제품 정보를 입력받는 단계; (f2) 입력된 상기 제품 이미지를 추가 학습함으로써 기계 학습을 위한 데이터 셋을 갱신하는 단계; 및 (f3) 갱신된 상기 데이터 셋을 상기 서버에 연결된 적어도 하나 이상의 클라이언트에 배포하는 단계;를 포함할 수 있다.
일 실시예에 따른 제품 식별 방법에서, 상기 클라이언트는, 제품 판매가 이루어지는 지점들 각각에 위치하여 객체 식별을 위한 지역 데이터 셋(local data-set) 및 가격 정보를 포함하는 제품 정보를 저장함으로써 POS(Point-Of-Sale) 시스템과 함께 식별된 객체의 결제를 유도하고, 상기 서버는, 복수 개의 클라이언트와 네트워크를 통해 연결되어 상기 클라이언트를 통해 인식된 객체의 검증을 수행하되, 복수 개의 클라이언트로부터 상기 지역 데이터 셋을 취합하여 전역 데이터 셋(global data-set)을 갱신하고, 상기 전역 데이터 셋 및 가격 정보를 포함하는 제품 정보를 상기 클라이언트에 재배포할 수 있다.
본 발명의 실시예들은, 깊이 정보에 기반한 객체 인식과 컬러 정보에 기반한 객체 인식을 함께 사용하되 두 가지 유형의 객체 인식 결과를 서버를 통해 검증함으로써 빛의 영향에 따른 오류를 최소화하고 정확한 객체의 분할 및 인식이 가능하며 실시간 제품 식별에도 불구하고 높은 인식률을 보장할 수 있을 뿐만 아니라, 중앙화된 서버의 학습 데이터를 재배포함으로써 다수의 클라이언트들 간의 학습 데이터의 편차를 해소할 수 있다.
도 1은 깊이 정보와 컬러 정보를 함께 활용하여 제품을 식별하는 본 발명의 기본 아이디어를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 제품 식별 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 제품 식별 방법을 이용한 판매 시스템을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 제품 식별 방법에서 깊이 정보를 이용한 객체 인식 과정을 보다 구체적으로 도시한 흐름도이다.
도 5a 내지 도 5e는 깊이 정보를 이용한 객체 인식 과정을 구현한 실험예이다.
도 6은 본 발명의 일 실시예에 따른 제품 식별 방법에서 컬러 정보 및 기계 학습을 이용한 객체 인식 과정을 보다 구체적으로 도시한 흐름도이다.
도 7a 및 도 7b는 컬러 정보 및 기계 학습을 이용한 객체 인식 과정을 구현한 실험예이다.
도 8은 본 발명의 일 실시예에 따른 제품 식별 방법에서 인식된 객체의 검증 및 결제 과정을 보다 구체적으로 도시한 흐름도이다.
도 9는 인식된 객체의 검증 과정에서 활용될 수 있는 평가 메트릭을 예시한 도면이다.
본 발명의 실시예들을 설명하기에 앞서, 본 발명의 실시예들이 채택하고 있는 기술적 수단을 개괄적으로 소개한 후 구체적인 구성 요소들을 순차적으로 기술하도록 한다.
도 1은 깊이 정보와 컬러 정보를 함께 활용하여 제품을 식별하는 본 발명의 기본 아이디어를 설명하기 위한 도면이다. 이하에서 기술되는 본 발명의 실시예들에서는 식별하고자 하는 대상 객체로서 빵/베이커리 제품을 사용하였으나, 이는 구현의 관점에서 선택된 일례일 뿐이며, 대상 제품을 제한하는 것이 아님을 밝혀둔다.
본 발명의 실시예들에서는 대상 제품에 대해 획득한 이미지에는 크게 두 가지 유형의 정보가 포함된다. 하나는 깊이 정보이고, 다른 하나는 컬러 정보이다. 먼저 제품으로부터 깊이 정보 이미지(111)를 획득하고 이로부터 객체(빵)를 인식할 수 있다(112). 이와 더불어, 제품으로부터 컬러 이미지(121)를 획득하고 이로부터 객체(빵)을 인식할 수 있다(122). 이때, 컬러 이미지를 활용한 객체 인식의 경우 미리 다양한 객체(빵)에 대해 기계 학습(machine learning)된 학습 데이터베이스(125)를 활용하게 된다. 즉, 학습 데이터 셋(data-set)을 이용하여 컬러 정보를 참조하여 객체를 인식하게 된다.
그런 다음, 앞서 인식된 두 가지 유형의 객체들을 비교하여 각각의 인식된 결과가 정확한지 여부를 검증한다(130). 검증 결과에 따라 객체 인식이 정확하게 수행되었다면 해당 객체에 대한 가격을 매칭하여 소비자로 하여금 결제를 유도하게 된다(140). 반면, 객체 인식이 부정확하였다면 부정확한 객체에 대한 정보를 학습 데이터베이스(125)에 반영하게 된다. 객체 인식이 부정확하다는 말은 두 가지 유형의 객체들이 불일치하는 경우에 발생하게 되는데, 그 이유는 부적절한 깊이 정보 또는 부적절한 학습 데이터베이스에 기인한다. 특히 빵과 같은 제품의 경우 비록 동일한 종류의 제품이라고 할지라도 외관상 다소간의 편차가 존재할 수 있으므로 부정확한 객체에 대한 추가 학습 내지 정보 입력이 필요하다.
이상에서 간략히 살펴본 바와 같이, 본 발명의 실시예들은 서로 다른 특성을 갖는 두 가지 유형의 정보(깊이 정보 및 컬러 정보)를 함께 활용하여 객체 인식을 수행하고 부정확한 인식 결과를 보완하여 식별 성능을 향상시키도록 설계되었다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 2는 본 발명의 일 실시예에 따른 제품 식별 방법을 도시한 흐름도이다. 도 2에 제시된 시계열적인 과정은 실제의 구현 환경과 현존하는 하드웨어의 성능을 고려하여 제품 식별 성능을 극대화하도록 그 수행 주체를 분리하여 정의하였다. 예를 들어, 수행 주체 'A'는 제품이 판매되는 현장에 마련된 클라이언트로서 구현될 수 있고, 수행 주체 'B'는 다수의 클라이언트와 네트워크를 통해 연결된 서버로서 구현될 수 있다.
S210 단계에서, 클라이언트는 객체를 포함하는 제품 이미지를 입력받는다. 이를 위해 클라이언트는 카메라를 더 구비하거나, POS(Point-Of-Sale) 시스템과 함께 별도로 마련된 카메라를 통해 제품 이미지를 촬영하여 이를 입력받을 수 있다. 이때, 카메라는 통상적인 컬러 정보 이외에 이미지 내 픽셀(pixel)의 깊이 정보를 함께 획득할 수 있는 하드웨어인 깊이 카메라(depth camera)로 구현될 수 있다.
S220 단계에서, 상기 클라이언트는 S210 단계를 통해 입력된 상기 제품 이미지 내에 포함된 깊이 정보를 이용하여 제 1 객체 영역을 획득한다. 하드웨어(깊이 카메라)에 기반하여 깊이 정보를 획득하고 이를 활용하여 객체(object)를 검출하는 경우, 간편하고 빠르게 객체를 획득하는 것이 가능하다. 다만, 이 경우 주변에 존재하는 빛의 영향을 다소 많이 받는다는 약점이 존재하는데, 특히 반사광이 강할 경우 깊이 정보가 부정확하게 왜곡되는 점이 약점으로 지적된다. 따라서, 본 발명의 실시예들에서는 깊이 정보 이외에 컬러 정보와 기계 학습을 함께 병용하여 객체 인식을 수행하도록 한다.
S230 단계에서, 상기 클라이언트는 S210 단계를 통해 입력된 상기 제품 이미지 내에 포함된 컬러 정보를 이용하여 기계 학습 네트워크(machine learning network)를 통해 제 2 객체 영역을 획득한다. 앞서 S220 단계를 통한 하드웨어 기반의 객체 인식과는 달리 S230 단계에서는 소프트웨어를 활용하여 객체 인식을 수행한다. 이를 위해, 딥러닝(deep learning) 등을 활용하여 미리 학습된 데이터 셋을 바탕으로 객체를 검출할 수 있다. 특히 본 발명의 실시예들이 예시하고 있는 빵과 같은 객체가 갖는 고유의 색상 정보와 형태적 특징을 활용하여 다양한 종류의 빵에 대해 학습이 완료된 경우 빛의 영향에 강인한 객체 인식이 가능하다는 장점이 나타난다. 다만, 기계 학습을 통한 객체 인식의 경우, 객체가 미검출되거나 또는 중복하여 검출되는 문제가 나타날 수 있으며, 미리 학습하지 않은 새로운 객체에 대해서는 인식에 어려움이 발생한다는 약점이 존재한다. 따라서, 본 발명의 실시예들에서는 S220 단계 및 S230 단계 각각을 통해 인식된 객체 영역을 활용하여 서로의 약점을 보완함으로써 객체 인식 성능을 향상시키고자 하였다.
한편, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 도 2의 S220 단계 및 S230 단계가 시간적으로 반드시 순차적으로 수행되어야 하는 것이 아니며, 구현상의 필요에 따라 병렬적으로 구현되거나 순서를 바꾸어 구현될 수 있음을 이해할 수 있다.
S240 단계에서, 서버는 상기 클라이언트로부터 획득된 상기 제 1 객체 영역 및 상기 제 2 객체 영역을 전송받아 양자를 비교하여 일치 여부를 검증한다. 두 가지 유형의 인식 방법에 따라 각각 획득된 객체 영역들을 비교함에 있어서 다양한 검증 수단이 활용될 수 있으나, 획득된 객체 영역의 일치 정도를 산술적으로 연산하여 인식 성능을 평가할 수 있다. 예를 들어, 영역이 겹치는 정도를 산출하거나, 영역의 개수의 일치 비율을 산출하는 방법들이 활용될 수 있다.
S250 단계에서, 상기 클라이언트는 상기 서버로부터 전송받은 검증 결과에 기초하여 식별된 객체에 대응하는 가격 정보를 독출하여 해당 객체에 대한 결제를 유도한다. 검증 결과, 식별된 객체가 모두 일치하였다면 해당 객체들의 식별자를 키(key)로 하여 미리 매칭되어 저장된 가격 정보를 가져오고, 식별된 객체들에 대응하는 가격의 총합을 산출하여 소비자로 하여금 결제를 유도할 수 있다. 만약 일부 객체가 일치하지 않았다면 일치하는 객체들에 대해서만 결제를 유도하고, 나머지 불일치 객체에 대해서는 클라이언트를 통해 수기로 가격 정보를 반영할 수도 있을 것이다. 다수의 상품이 유통되는 현장에서는 새로운 상품의 입고에 따라 객체 인식에 실패하는 경우가 나타날 수 있으며, 이를 추가 학습을 통해 보완해줄 필요가 있다. 또한, 다수의 지점이 운영되는 상황하에서 지점들 간의 동일 상품의 외형이 다소 상이한 경우가 나타날 수 있는데, 이 경우 객체 인식에 실패한 제품의 이미지를 추가 학습시킴으로써 지점 간의 편차를 해소할 수 있다.
이상에서 살펴본 바와 같이, 각 단계에서 처리되는 연산의 부하(load) 내지 즉시성을 고려할 때, 도 2의 S210 단계 내지 S230 단계, 및 S250 단계는 지점에 구비된 수행 주체 'A'(예를 들어, 클라이언트)를 통해 수행되는 것이 바람직하고, S240 단계는 본점에 구비된 수행 주체 'B'(예를 들어, 서버)를 통해 수행되는 것이 바람직하다.
도 3은 본 발명의 일 실시예에 따른 제품 식별 방법을 이용한 판매 시스템을 도시한 블록도로서, 도 2의 제품 식별 방법의 수행 과정을 하드웨어 구성과 성능을 고려한 수행 주체의 관점에서 재구성한 것이다.
클라이언트(10)는 네트워크(30)를 통해 서버(20)에 연결되는데, 서버가 단일의 장치로 구현되는데 반해 클라이언트는 다수 구비될 수 있다. 클라이언트(10)는, 제품 판매가 이루어지는 지점들 각각에 위치하여 객체 식별을 위한 지역 데이터 셋(local data-set)(15) 및 가격 정보를 포함하는 제품 정보를 저장함으로써 POS(Point-Of-Sale) 시스템과 함께 식별된 객체의 결제를 유도하는 구성이다. 특히, 클라이언트(10)는 지점에서 소비자가 선택한 제품 정보(특히, 깊이 정보를 포함하여야 한다)를 획득하기 위한 카메라(11)를 구비하는 것이 바람직하다. 처리부(13)는 카메라(11)를 통해 획득된 이미지로부터 깊이 정보에 기반한 제 1 객체 영역을 추출하고, 컬러 정보 및 기계 학습을 이용하여 제 2 객체 영역을 추출한다. 이렇게 추출된 제 1, 2 객체 영역(17)은 네트워크(30)를 통해 서버(20)에 전송된다. 이때, 지역 데이터 셋(15)의 초기 학습은 서버(20)나 별도의 고성능 장치를 통해 수행된 학습 결과를 전송받아 저장하는 것이 바람직하다.
서버(20)의 처리부(23)는 상기 클라이언트(10)를 통해 인식된 객체의 검증을 수행하되, 복수 개의 클라이언트로부터 상기 지역 데이터 셋(15)을 취합하여 전역 데이터 셋(global data-set)(25)을 갱신하고, 상기 전역 데이터 셋(25) 및 가격 정보를 포함하는 제품 정보를 상기 클라이언트(10)에 재배포할 수 있다. 부하(load)의 관점에서, 서버(20)는 GPU(graphics processing unit)를 구비하는 것이 바람직하며, 고성능 하드웨어에 기반하여 데이터 학습 및 객체의 비교를 실시간으로 수행할 수 있다.
상기된 바와 같이, 두 가지 유형의 이미지 인식 기술을 함께 사용함으로써 각자의 약점을 상호 보완하고 객체 인식 성능을 향상시킬 수 있다. 깊이 정보는 적어도 두 개의 카메라 내지 센서를 사용하기 때문에 촬영된 이미지 내에서 모든 객체를 검출할 수 있으나, 카메라에 직접 빛이 반사되는 경우 깊이 정보를 정상적으로 표현할 수 없다는 약점이 존재하였다. 이에 반해, 딥러닝과 같은 기계 학습은 적어도 미리 학습된 객체에 대해서는 촬영된 이미지 내에서 다양한 객체 검출 및 인식이 가능하지만, 학습되지 않은 새로운 객체에 대한 검출에서 취약점이 발견되었으며, 때로는 검출 및 인식 과정에서 실제의 갯수와 다르게 중복된 객체를 발견하는 문제가 존재한다. 본 발명의 실시예들에서는 두 가지 유형의 이미지 인식 방법을 서로 보완하였고 또한 클라이언트와 서버가 서로의 역할을 분담함으로써, 객체 인식의 속도 및 정확도를 향상시킬 수 있었다.
도 4는 본 발명의 일 실시예에 따른 제품 식별 방법에서 깊이 정보를 이용한 객체 인식 과정(도 2의 S220 단계)을 보다 구체적으로 도시한 흐름도이다.
S221 단계에서는 제품 이미지로부터 깊이 정보를 획득한다. 깊이 정보의 획득을 위해, 스테레오 비전(stereo vision), 구조화 패턴(structured pattern), 및 ToF(Time-of-Flight) 중 적어도 하나를 이용할 수 있다. 스테레오 비전은 적어도 두 개의 이미지 센서(예를 들어, left camera 및 right camera)의 시점 불일치를 이용하여 피사체의 깊이 해상도를 얻는다. 또는, 구조화 패턴을 피사체에 투사하고 이미지 센서로 결과 이미지를 촬영하여 투영된 패턴의 왜곡으로부터 깊이 정보를 얻을 수 있다. 나아가, 장면의 모든 픽셀에 대한 변조된 광 신호의 지연 또는 위상 시프트(shift)를 측정하여 이동 시간 정보를 획득하고 상관 함수를 이용하여 깊이 정보를 얻을 수도 있다.
S222 단계에서는 S221 단계를 통해 획득된 상기 깊이 정보를 이용하여 객체에 해당하는 전경 및 나머지 영역인 배경을 분리한다. 기술적으로는 깊이 정보에 기초하여 기준 깊이보다 가까운 영역(near field)과 기준 깊이 이상의 영역(far field)를 분리할 수 있다.
S223 단계에서는 S222 단계를 통해 분리된 상기 배경을 제거함으로써 객체 영역만을 추출한다. 구현의 관점에서, 예를 들어, OpenCV의 GrabCut 알고리즘을 이용하여 이미지 내에 전경(foreground)이 포함되는 영역을 사각형으로 대략적으로 지정하고, 전경 영역 내에 배경(background) 부분이 포함되어 있는지 또는 누락된 전경 부분이 존재하는지 여부를 마킹(marking)함으로써 배경이 제거된 객체만을 추출할 수 있다.
S224 단계에서는 S223 단계를 통해 추출된 상기 객체 영역에 대해 모폴로지(morphology) 연산을 이용하여 노이즈(noise)를 제거한다. 구현상의 필요에 따라 침식(erosion) 연산 또는 팽창(dilation) 연산을 활용할 수 있으며, 객체 영역 내의 이미지의 기하학적 형태를 활용하여, 예를 들어 객체에 대한 침식 연산을 통해 실제의 객체 이외의 미세한 노이즈를 제거할 수 있다.
S225 단계에서는 노이즈가 제거된 객체 영역의 크기가 제품의 유형을 고려하여 미리 설정된 임계치와 비교하여 임계치 이하의 객체 영역을 삭제한다. 반복하여 예시하고 있는 '빵'의 경우, 객체의 크기가 일정한 수준 이상이 되어야만 하므로, 앞서 모폴로지 연산 결과 내에서 지나치게 작은 크기의 영역은 인식 목표인 빵이 아니라고 판단할 수 있다. 따라서, 임계치 이하의 크기를 갖는 객체 영역은 모두 노이즈로서 제거하는 것이 바람직하다. 이때, 임계치는 본 발명이 활용되는 응용 내지 환경에 따라 경험적으로 결정될 수 있다.
S226 단계에서는 상기 임계치 초과의 객체 영역으로부터 윤곽(contour)을 추출하여 제 1 객체 영역으로 설정한다. 이제, 임계치보다 큰 크기를 갖는 객체 영역에 대해 edge tracing 내지 boundary flowing 등의 기법을 통해 픽셀의 방향별 탐색을 수행함으로써 윤곽을 추출하고, 해당 객체에 사각형 레이블(bounding box)을 할당한다.
도 5a 내지 도 5e는 깊이 정보를 이용한 객체 인식 과정을 구현한 실험예이다. 도 5a는 깊이에 따라 색상 그라데이션을 부여하여 시각화한 것으로, 원경에 비해 근경에 파란색으로 표시된 제품(빵)이 존재하는 것을 확인할 수 있다. 도 5b는 깊이 정보에 기반하여 객체 영역을 대략적으로 분리하였고, 도 5c 및 도 5d의 영상 처리를 통해 도 5e와 같이 인식된 객체의 윤곽과 사각형 레이블이 설정되었음을 보여준다. 도 5a 내지 도 5e는 깊이 정보를 이용하였기 때문에 빛의 반사에 영향을 받게 되고, 특히 빵 포장재로 인해 객체 인식 영역에 다소 오차가 존재하는 것을 확인할 수 있다. 이러한 오차는 컬러 정보 및 기계 학습을 이용한 객체 인식을 통해 보완하게 된다.
도 6은 본 발명의 일 실시예에 따른 제품 식별 방법에서 컬러 정보 및 기계 학습을 이용한 객체 인식 과정(도 2의 S230 단계)을 보다 구체적으로 도시한 흐름도이다.
S231 단계에서는 다수의 제품 유형별 학습 데이터를 이용하여 미리 기계 학습을 수행하여 S232 단계의 데이터 셋(data-set)이 적용된 기계 학습 네트워크를 생성한다. 앞서 기술한 바와 같이 기계 학습은 많은 부하를 야기하므로 이 과정은 서버 또는 별도의 고성능 장비를 통해 수행되는 것이 바람직하다. 일단 학습이 완료되었다면, 클라이언트로 전송하여 각각의 클라이언트를 통한 객체 인식에 활용되도록 한다. 즉, 서버를 통해 통일화된 학습을 수행하고, 학습 결과를 개별 클라이언트에 반영하는 것이 바람직하다. 구현의 관점에서, 학습을 위한 컬러 이미지(*.jpg 파일)와 속성 부여 파일(*.json 파일)이 준비되면 학습을 위해 선택된 알고리즘(예를 들어, 딥 러닝 알고리즘)을 활용하여 학습을 수행하여 데이터 셋을 출력한다. 이렇게 출력된 데이터 셋은 배포에 유리한 형태(*.cvs 파일)로 생성 내지 가공되는 것이 바람직하다.
S233 단계에서는 제품 이미지 내에 포함된 컬러 정보를 획득하고, S234 단계에서는 이러한 컬러 정보를 참조하여 상기 기계 학습 네트워크를 통해 객체를 인식한다. 이미지 내에 다수의 객체가 포함되어 있는 상황을 고려할 때, 예를 들어, 분할 모델(segmentation model)을 활용하여 객체를 인식할 수 있으며, 인식된 객체에는 객체의 종류를 특정하는 식별자가 매칭됨으로써 향후 가격 결정의 근거가 된다. 기계 학습의 다양한 수행 방법 내지 학습 모델의 적용 방법은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 적절히 취사 선택할 수 있는 것으로 발명의 본질을 해칠 우려가 있으므로 여기서는 구체적인 설명을 생략한다. 이제, 컬러 정보에 기반하여 인식된 상기 객체를 제 2 객체 영역으로 설정하여 출력한다.
도 7a 및 도 7b는 컬러 정보 및 기계 학습을 이용한 객체 인식 과정을 구현한 실험예이다. 도 7a 및 도 7b를 참조하면, 다양한 종류의 빵이 인식되었으며, 각각의 객체별로 빵의 이름이 레이블로 부착된 것을 확인할 수 있다. 특히, 객체의 종류 그 자체는 깊이 정보를 통한 객체 인식 과정에서는 얻을 수 없는 중요한 정보이므로, 이후 객체의 가격을 결정하기 위한 키(key)로 활용된다.
도 8은 본 발명의 일 실시예에 따른 제품 식별 방법에서 인식된 객체의 검증 및 결제 과정(도 2의 S240 및 S250 단계)을 보다 구체적으로 도시한 흐름도이다. 이때, 검증 과정(S240)은 서버를 통해 수행되고, 결제 과정(S250)은 클라이언트를 통해 수행되는 것이 바람직하다. 우선, 서버는 클라이언트로부터 획득한 (깊이 정보에 기반한) 제 1 객체 영역 및 (컬러 정보에 기반한) 제 2 객체 영역을 전송받는다.
S241 단계에서는 상기 제 1 객체 영역 및 상기 제 2 객체 영역을 비교하여 각각의 객체별 평가 메트릭(evaluation metric) 또는 식별된 객체의 개수를 산출하고, S242 단계를 통해 일치 여부를 검증한다. 이때, 식별된 개체의 개수가 모두 일치하는 것을 전제로 객체별 평가 메트릭을 검사할 수도 있고, 검사 항목들 중 어느 하나만을 활용하여 검증을 수행할 수도 있을 것이다. 여기서, 평가 메트릭은 두 개의 객체 영역들 간의 일치 정도를 수치화한 값으로서, 각각의 객체 영역들이 차지하는 면적과 좌표의 대응 관계를 종합적으로 고려하여 산출될 수 있다.
S242 단계의 검증 결과, 만약 일치한다면 S243 단계로 진행하여 정상 인식 객체라고 분류하는 반면, 불일치한다면 S244 단계에서 비정상 인식 객체로 분류하게 된다. 이때, 일치 여부의 판단은 산술적으로 완전한 일치를 의미하는 것이 아니라, 일정한 기준에 대비하여 일치 여부를 판단하게 된다. 예를 들어, 산술적으로 85% 이상의 일치 정도가 산출되었다면 일치한다고 판단할 수 있다.
도 9는 인식된 객체의 검증 과정에서 활용될 수 있는 평가 메트릭을 예시한 도면으로서, IoU(Intersection over Union)을 통한 일치 여부의 판단 과정을 보여준다.
도 9의 (A)는 동일한 제품(빵)에 대해 서로 다른 방식에 따라 인식된 객체(OBJ #1, OBJ #2)를 예시하였고, 각각은 빨간색과 파란색으로 객체 영역이 설정되었다. 도 9의 (B)는 설정된 두 가지 유형에 따른 객체 영역을 비교하여 빨간색빗금으로 표시된 교집합 영역(intersection area) 및 파란색 빗금으로 표시된 합집합 영역(union area)을 얻는다. 이제, 도 9의 (C)를 통해 수학식 1과 같이 정의된 평가 메트릭을 산출한다.
Figure 112020001368677-pat00001
즉, 수학식 1을 통해 합집합(union) 영역에 대한 교집합(intersection) 영역의 비율을 산출하고, 산출된 비율이 미리 설정된 기준치를 이용하여 객체들을 정상 인식 객체 또는 비정상 인식 객체로 분류할 수 있다.
다시 도 8로 돌아와서, S250 단계에서는, 검증 결과를 클라이언트에 회신한다. 만약 S243 단계를 통해 정상 인식 객체로 분류되었다면, S251 단계에서는 클라이언트가 소비자로 하여금 결제를 유도하게 된다. 한편, S251 단계에 연속하여, 서버로부터 전송받은 검증 결과에 기초하여 정상 인식 객체로 식별된 객체에 대응하는 미리 저장된 가격 정보를 가격 데이터베이스로부터 독출하고, 상품을 구매하고자 하는 소비자에게 가격 정보가 독출된 객체에 대한 결제를 유도할 수 있다.
반면, S244 단계를 통해 비정상 인식 객체로 분류되었다면 S252 단계에서는 서버로부터 전송받은 검증 결과에 기초하여 비정상 인식 객체로 식별된 객체에 대해 상기 클라이언트 또는 상기 서버를 통한 제품 정보를 입력받아 최신의 제품 정보로 갱신할 수 있다. 이를 위해, 비정상 인식 객체로 식별된 객체에 대해 제품 이미지 및 가격 정보를 포함하는 제품 정보를 입력받고, 입력된 상기 제품 이미지를 추가 학습함으로써 기계 학습을 위한 데이터 셋을 갱신할 수 있다. 이러한 데이터 셋의 갱신 과정은 서버를 통해 수행되는 것이 바람직하다. 그런 다음, 갱신된 상기 데이터 셋을 상기 서버에 연결된 적어도 하나 이상의 클라이언트에 배포함으로써, 클라이언트로 하여금 최신의 제품 정보를 유지하도록 할 수 있다.
상기된 본 발명의 실시예들은, 깊이 정보에 기반한 객체 인식과 컬러 정보에 기반한 객체 인식을 함께 사용하되 두 가지 유형의 객체 인식 결과를 서버를 통해 검증함으로써, 빛의 영향에 따른 오류를 최소화하고 정확한 객체의 분할 및 인식이 가능하며 실시간 제품 식별에도 불구하고 높은 인식률을 보장한다. 나아가, 중앙화된 서버의 학습 데이터를 재배포함으로써 다수의 클라이언트들 간의 학습 데이터의 편차를 해소할 수 있다.
한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 클라이언트
11: 카메라
13: 클라이언트의 처리부
15: 클라이언트에 저장된 지역 데이터베이스
17: 제 1, 2 객체 영역
20: 서버
23: 서버의 처리부
25: 서버에 저장된 전역 데이터베이스
30: 네트워크

Claims (10)

  1. (a) 클라이언트가 컬러 정보 외에 깊이 카메라(depth camera)를 이용하여 이미지 내 픽셀(pixel)의 깊이 정보를 함께 획득하여 객체를 포함하는 제품 이미지를 입력받는 단계;
    (b) 상기 클라이언트가 입력된 상기 제품 이미지 내에 포함된 상기 깊이 정보를 이용하여 제 1 객체 영역을 획득하는 단계;
    (c) 상기 클라이언트가 입력된 상기 제품 이미지 내에 포함된 상기 컬러 정보를 이용하여 다수의 객체에 대해 학습된 기계 학습 네트워크(machine learning network)를 통해 제 2 객체 영역을 획득하는 단계;
    (d) 서버가 상기 클라이언트로부터 각각 획득된 깊이 정보에 기반한 상기 제 1 객체 영역 및 컬러 정보에 기반한 상기 제 2 객체 영역을 전송받아 양자를 비교하여 일치 여부를 검증하는 단계; 및
    (e) 상기 클라이언트가 상기 서버로부터 전송받은 검증 결과에 기초하여 식별된 객체에 대응하는 가격 정보를 독출하여 해당 객체에 대한 결제를 유도하는 단계;를 포함하는, 제품 식별 방법.
  2. 제 1 항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 제품 이미지로부터 스테레오 비전(stereo vision), 구조화 패턴(structured pattern), 및 ToF(Time-of-Flight) 중 적어도 하나를 이용하여 깊이 정보를 획득하는 단계;
    (b2) 획득된 상기 깊이 정보를 이용하여 객체에 해당하는 전경 및 나머지 영역인 배경을 분리하는 단계; 및
    (b3) 분리된 상기 배경을 제거함으로써 객체 영역만을 추출하는 단계;를 포함하는, 제품 식별 방법.
  3. 제 2 항에 있어서,
    상기 (b) 단계는,
    (b4) 추출된 상기 객체 영역에 대해 모폴로지(morphology) 연산을 이용하여 노이즈(noise)를 제거하는 단계;
    (b4) 노이즈가 제거된 객체 영역의 크기가 제품의 유형을 고려하여 미리 설정된 임계치와 비교하여 임계치 이하의 객체 영역을 삭제하는 단계; 및
    (b5) 상기 임계치 초과의 객체 영역으로부터 윤곽(contour)을 추출하여 제 1 객체 영역으로 설정하는 단계;를 더 포함하는, 제품 식별 방법.
  4. 제 1 항에 있어서,
    상기 (c) 단계는,
    (c1) 다수의 제품 유형별 학습 데이터를 이용하여 미리 기계 학습을 수행하여 데이터 셋(data-set)이 적용된 기계 학습 네트워크를 생성하는 단계;
    (c2) 상기 제품 이미지 내에 포함된 컬러 정보를 참조하여 상기 기계 학습 네트워크를 통해 객체를 인식하는 단계; 및
    (c3) 인식된 상기 객체를 제 2 객체 영역으로 설정하는 단계;를 포함하는, 제품 식별 방법.
  5. 제 1 항에 있어서,
    상기 (d) 단계는,
    (d1) 상기 클라이언트로부터 획득한 상기 제 1 객체 영역 및 상기 제 2 객체 영역을 전송받는 단계;
    (d2) 상기 제 1 객체 영역 및 상기 제 2 객체 영역을 비교하여 각각의 객체별 평가 메트릭(evaluation metric) 또는 식별된 객체의 개수 중 적어도 하나의 일치 여부를 검증하는 단계; 및
    (d3) 검증 결과를 상기 클라이언트에 회신하는 단계;를 포함하는, 제품 식별 방법.
  6. 제 5 항에 있어서,
    상기 (d2) 단계는,
    상기 제 1 객체 영역 및 상기 제 2 객체 영역 내에 포함된 각각의 객체들에 대해 영역들 간의 합집합(union) 영역에 대한 교집합(intersection) 영역의 비율을 산출하고, 산출된 비율이 미리 설정된 기준치를 이용하여 객체들을 정상 인식 객체 또는 비정상 인식 객체로 분류하는, 제품 식별 방법.
  7. 제 1 항에 있어서,
    상기 (e) 단계는,
    (e1) 상기 서버로부터 전송받은 검증 결과에 기초하여 정상 인식 객체로 식별된 객체에 대응하는 미리 저장된 가격 정보를 가격 데이터베이스로부터 독출하는 단계; 및
    (e2) 상품을 구매하고자 하는 소비자에게 가격 정보가 독출된 객체에 대한 결제를 유도하는 단계;를 포함하는, 제품 식별 방법.
  8. 제 1 항에 있어서,
    (f) 상기 서버로부터 전송받은 검증 결과에 기초하여 비정상 인식 객체로 식별된 객체에 대해 상기 클라이언트 또는 상기 서버를 통한 제품 정보를 입력받아 최신의 제품 정보로 갱신하는 단계;를 더 포함하는, 제품 식별 방법.
  9. 제 8 항에 있어서,
    상기 (f) 단계는,
    (f1) 비정상 인식 객체로 식별된 객체에 대해 제품 이미지 및 가격 정보를 포함하는 제품 정보를 입력받는 단계;
    (f2) 입력된 상기 제품 이미지를 추가 학습함으로써 기계 학습을 위한 데이터 셋을 갱신하는 단계; 및
    (f3) 갱신된 상기 데이터 셋을 상기 서버에 연결된 적어도 하나 이상의 클라이언트에 배포하는 단계;를 포함하는, 제품 식별 방법.
  10. 제 1 항에 있어서,
    상기 클라이언트는, 제품 판매가 이루어지는 지점들 각각에 위치하여 객체 식별을 위한 지역 데이터 셋(local data-set) 및 가격 정보를 포함하는 제품 정보를 저장함으로써 POS(Point-Of-Sale) 시스템과 함께 식별된 객체의 결제를 유도하고,
    상기 서버는, 복수 개의 클라이언트와 네트워크를 통해 연결되어 상기 클라이언트를 통해 인식된 객체의 검증을 수행하되, 복수 개의 클라이언트로부터 상기 지역 데이터 셋을 취합하여 전역 데이터 셋(global data-set)을 갱신하고, 상기 전역 데이터 셋 및 가격 정보를 포함하는 제품 정보를 상기 클라이언트에 재배포하는, 제품 식별 방법.
KR1020200001753A 2020-01-07 2020-01-07 제품 식별 방법 및 그 방법을 이용한 판매 시스템 KR102190315B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200001753A KR102190315B1 (ko) 2020-01-07 2020-01-07 제품 식별 방법 및 그 방법을 이용한 판매 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200001753A KR102190315B1 (ko) 2020-01-07 2020-01-07 제품 식별 방법 및 그 방법을 이용한 판매 시스템

Publications (1)

Publication Number Publication Date
KR102190315B1 true KR102190315B1 (ko) 2020-12-11

Family

ID=73786507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001753A KR102190315B1 (ko) 2020-01-07 2020-01-07 제품 식별 방법 및 그 방법을 이용한 판매 시스템

Country Status (1)

Country Link
KR (1) KR102190315B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220092746A (ko) * 2020-12-24 2022-07-04 동의대학교 산학협력단 스테레오 카메라 기반 미학습 물체 검출 방법 및 시스템
KR20220093492A (ko) * 2020-12-28 2022-07-05 세종대학교산학협력단 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법
WO2022154256A1 (ko) * 2021-01-14 2022-07-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102433004B1 (ko) * 2021-12-21 2022-08-18 주식회사 인피닉 인공 지능 기반의 무인 결제 장치 및 방법
KR102454539B1 (ko) * 2021-12-21 2022-10-14 주식회사 인피닉 검증을 수행하는 무인 결제 장치 및 방법
KR20230053272A (ko) 2021-10-14 2023-04-21 주식회사 인피닉 인공 지능을 이용한 이미지 처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN116721411A (zh) * 2023-02-09 2023-09-08 浙江由由科技有限公司 基于机器学习的散装零食识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095028A (ja) * 2013-11-11 2015-05-18 日本電気株式会社 Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
KR101699765B1 (ko) * 2016-09-23 2017-01-25 (주) 천기화생활과학연구소 상품 구매자가 촬영한 사진으로 상품을 구매하는 방법
KR101852598B1 (ko) 2016-11-18 2018-04-26 설영석 사물 인식을 이용한 상품 검색 시스템
KR102038111B1 (ko) * 2019-03-18 2019-10-29 주식회사 에스피씨네트웍스 결제 컴퓨팅 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095028A (ja) * 2013-11-11 2015-05-18 日本電気株式会社 Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
KR101699765B1 (ko) * 2016-09-23 2017-01-25 (주) 천기화생활과학연구소 상품 구매자가 촬영한 사진으로 상품을 구매하는 방법
KR101852598B1 (ko) 2016-11-18 2018-04-26 설영석 사물 인식을 이용한 상품 검색 시스템
KR102038111B1 (ko) * 2019-03-18 2019-10-29 주식회사 에스피씨네트웍스 결제 컴퓨팅 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220092746A (ko) * 2020-12-24 2022-07-04 동의대학교 산학협력단 스테레오 카메라 기반 미학습 물체 검출 방법 및 시스템
KR102589433B1 (ko) * 2020-12-24 2023-10-16 동의대학교 산학협력단 스테레오 카메라 기반 미학습 물체 검출 방법 및 시스템
KR20220093492A (ko) * 2020-12-28 2022-07-05 세종대학교산학협력단 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법
KR102481896B1 (ko) * 2020-12-28 2022-12-27 세종대학교산학협력단 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법
WO2022154256A1 (ko) * 2021-01-14 2022-07-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20230053272A (ko) 2021-10-14 2023-04-21 주식회사 인피닉 인공 지능을 이용한 이미지 처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102433004B1 (ko) * 2021-12-21 2022-08-18 주식회사 인피닉 인공 지능 기반의 무인 결제 장치 및 방법
KR102454539B1 (ko) * 2021-12-21 2022-10-14 주식회사 인피닉 검증을 수행하는 무인 결제 장치 및 방법
CN116721411A (zh) * 2023-02-09 2023-09-08 浙江由由科技有限公司 基于机器学习的散装零食识别方法
CN116721411B (zh) * 2023-02-09 2024-06-04 浙江由由科技有限公司 基于机器学习的散装零食识别方法

Similar Documents

Publication Publication Date Title
KR102190315B1 (ko) 제품 식별 방법 및 그 방법을 이용한 판매 시스템
Chen et al. Progressive lidar adaptation for road detection
Nguyen et al. 3D point cloud segmentation: A survey
Keller et al. A new benchmark for stereo-based pedestrian detection
CN104573614B (zh) 用于跟踪人脸的设备和方法
US11663502B2 (en) Information processing apparatus and rule generation method
CN108933925A (zh) 信息处理装置、信息处理方法以及存储介质
CN105335722A (zh) 一种基于深度图像信息的检测系统及方法
JP2014071902A (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
JP2018067120A (ja) 指紋処理装置、指紋処理方法、プログラム、指紋処理回路
US20230071821A1 (en) Product identification method and sales system using the same
CN111435421B (zh) 一种面向交通目标的车辆重识别方法和装置
Li Optimising detection of road furniture (pole-like objects) in mobile laser scanning data
Bruno et al. Analysis and fusion of 2d and 3d images applied for detection and recognition of traffic signs using a new method of features extraction in conjunction with deep learning
KR101817440B1 (ko) 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템
Patil et al. A survey on joint object detection and pose estimation using monocular vision
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
Keyvanfar et al. Performance comparison analysis of 3D reconstruction modeling software in construction site visualization and mapping
Álvarez et al. Junction assisted 3d pose retrieval of untextured 3d models in monocular images
US12020199B2 (en) Method and apparatus for tracking, damage detection and classification of a shipping object using 3D scanning
KR101357581B1 (ko) 깊이 정보 기반 사람의 피부 영역 검출 방법
Shin et al. Vehicle classification by road lane detection and model fitting using a surveillance camera
US20220284702A1 (en) Estimation program, estimation device, generation method of detection model, learning method, and learning device
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
Alonso et al. Footprint-based classification of road moving objects using occupancy grids

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant