KR102166301B1 - 객체 인식 방법 및 장치 - Google Patents

객체 인식 방법 및 장치 Download PDF

Info

Publication number
KR102166301B1
KR102166301B1 KR1020190157704A KR20190157704A KR102166301B1 KR 102166301 B1 KR102166301 B1 KR 102166301B1 KR 1020190157704 A KR1020190157704 A KR 1020190157704A KR 20190157704 A KR20190157704 A KR 20190157704A KR 102166301 B1 KR102166301 B1 KR 102166301B1
Authority
KR
South Korea
Prior art keywords
data
information
barcode
point cloud
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020190157704A
Other languages
English (en)
Inventor
서동환
임원묵
Original Assignee
서동환
임원묵
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서동환, 임원묵 filed Critical 서동환
Priority to KR1020190157704A priority Critical patent/KR102166301B1/ko
Priority to PCT/KR2019/017373 priority patent/WO2021107247A1/ko
Application granted granted Critical
Publication of KR102166301B1 publication Critical patent/KR102166301B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

본 발명의 일 실시예에 따른 객체를 인식하는 장치는 하나 이상의 프로세서; 및 상기 프로세서에 연결되는 메모리;를 포함하며,상기 메모리는 3차원 스캐너로부터 획득되는 하나 이상의 물체에 대한 3차원 데이터를, 추출 대상으로 지정된 객체(이하, '추출 객체'라 칭함)의 추출 조건과 비교하여, 상기 추출 조건을 만족하는 3차원 데이터는 상기 추출 객체로 인식하고, 상기 추출 조건을 만족하지 않는 3차원 데이터는 상기 획득되는 3차원 데이터에서 비가시화(非可視化)하여 상기 인식된 추출 객체의 3차원 데이터로 이루어진 영상을 획득하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장한다.

Description

객체 인식 방법 및 장치{METHOD AND APPARATUS FOR IDENTIFYING OBJECT}
본 발명은 객체 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 3차원 스캐닝을 이용하여 객체를 인식하는 기술에 관한 것이다.
상품 판매시점 데이터를 관리하는 포스(POS) 시스템은 판매 상품에 부착된 바코드를 스캐닝하여 다수의 상품에 대한 수불을 처리하고 판매데이터를 관리하는 POS 단말기와, 다수개의 POS 단말기와 데이터 통신망을 통해 연결되어 각 POS 단말기를 통해 수령된 각종 데이터를 처리하는 호스트 서버로 구성되어 유통경제를 종합적으로 관리한다. 여기서, POS 단말기에는 수불관리, 판매관리, 매출분석 등의 유통경제 관리를 위한 소프트웨어가 탑재되고, 호스트 컴퓨터, 데이터베이스 서버 등과의 연동을 위한 데이터 통신망 접속기능을 지원한다.
물품관리를 위해 각 기업에서는 물품마다 식별번호를 부여하고 이를 인식하기 위한 수단으로 물품에 바코드, QR코드, RFID 태그 등을 부착하는 방식으로 물품을 관리하고 있다.
바코드는 영문, 숫자, 특수글자 등을 기계가 읽을 수 있는 형태로 표현하기 위해 굵기가 다른 수직 막대들의 조합으로 나타내어 광학적으로 판독할 수 있도록 한 코드체계를 말하는 것이며, QR(Quick Response)코드는 활용성이나 정보성 면에서 바코드보다 진일보한 2차원적으로 구성된 코드체계이다.
한편, 마트나 쇼핑 매장에서 다량으로 물품을 구매하는 경우, 소비자는 카트와 같은 보관 수단을 이용하여 물품을 담고 계산대 앞에서 대기하게 된다. 그리고 계산대의 캐셔는 포스 시스템의 리더기를 이용하여 소비자의 카트에 담긴 다량의 물품들(각 물품에 인쇄된 바코드)을 인식하며, 소비자는 포스 시스템에 표시되는 물품의 금액과 최종 합산 금액을 확인하고 현금이나 카드 등을 이용해 물품 결제를 완료하게 된다.
그러나 이와 같은 종래의 결제 방식은 계산을 위해 대기하는 시간을 증가시키게 되며, 소비자는 카드에 담긴 물건을 꺼내어 계산대에 올려 놓고 바코드 인식 후 다시 물건을 카트에 담아야 하는 등의 불편함이 있었다.
따라서, 마트나 쇼핑 매장에서 다량으로 물품을 구매 시 계산을 위해 대기하는 시간을 획기적으로 감소시키고, 계산을 위해 카드에 담긴 물건을 꺼내고 다시 담는 불편함을 해소할 수 있는 방안이 요구되고 있다.
대한민국 등록 특허 제10-1708216호(2017년02월14일 등록)
본 발명의 목적은 인식 대상으로 지정된 객체(예를 들어, 물품의 바코드나 QR코드, 특정 형상을 가지는 물품 등)를 인식하되, 해당 객체와 관련된 다수의 물품이 적층되거나 섞여 있더라도 신속하게 해당 객체를 인식할 수 있는 기술을 제공하는 것이다.
본 발명의 일 실시예에 따른 객체를 인식하는 장치는 하나 이상의 프로세서; 및 상기 프로세서에 연결되는 메모리;를 포함하며,상기 메모리는 3차원 스캐너로부터 획득되는 하나 이상의 물체에 대한 3차원 데이터를, 추출 대상으로 지정된 객체(이하, '추출 객체'라 칭함)의 추출 조건과 비교하여, 상기 추출 조건을 만족하는 3차원 데이터는 상기 추출 객체로 인식하고, 상기 추출 조건을 만족하지 않는 3차원 데이터는 상기 획득되는 3차원 데이터에서 비가시화(非可視化)하여 상기 인식된 추출 객체의 3차원 데이터로 이루어진 영상을 획득하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장한다.
또한, 본 발명의 일 실시예에 따른 객체를 인식하는 방법은 객체 인식 장치가 객체를 인식하는 방법에 있어서, (a) 3차원 스캐너로부터 하나 이상의 물체에 대한 3차원 데이터를 획득하는 단계; (b) 상기 획득되는 3차원 데이터를 추출 대상으로 지정된 객체(이하, '추출 객체'라 칭함)의 추출 조건과 비교하는 단계; 및 (c) 상기 비교 결과, 상기 추출 조건을 만족하는 3차원 데이터는 상기 추출 객체로 인식하고, 상기 추출 조건을 만족하지 않는 3차원 데이터는 상기 획득되는 3차원 데이터에서 제거하여, 상기 인식된 추출 객체의 3차원 데이터로 이루어진 영상을 획득하는 단계;를 포함한다.
물품의 표면에 인쇄되거나 표시되는 바코드, QR코드 등 2차원 코드를 인식하는 경우, 다량의 물품이 쌓여 있거나 섞여 있어도 매우 짧은 시간에 모든 물품의 2차원 코드를 정확하게 인식할 수 있어 계산을 위해 소요되는 대기 및 결제 시간을 획기적으로 단축시킬 수 있다.
또한, 특정 형태를 가지는 물질(예를 들어, 무기 등)을 인식하는 경우, 신속하고 정확하게 해당 물질의 포함(소지) 여부를 확인할 수 있다.
또한, 특정 객체의 인식(식별)이 필요한 분야라면 어떤 것에도 적용이 가능하여 확장성이 좋으며, 해당 객체의 인식(식별)에 소요되는 시간을 단축시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 객체 인식 장치(100)의 구성을 도시한 도면이다.
도 3a는 본 발명의 일 실시예에 따른 객체 인식 과정 중 바코드 복원 과정을 도시한 도면이다.
도 3b는 본 발명의 다른 실시예에 따른 객체 인식 과정 중 바코드 복원 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 인식 장치(100)의 객체 인식 과정을 도시한 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 시스템의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 객체 인식 시스템은 3차원 스캐너(10), 객체 인식 장치(100) 및 포스 시스템(20)을 포함할 수 있다.
각 구성 요소를 간략히 설명하면, 3차원 스캐너(10)는 스캔 영역에 일정 시간 정지 상태로 위치하거나 스캔 영역을 일정 속도로 통과하는 하나 이상의 물체에 대한 3차원 데이터를 생성하여 제공할 수 있다. 여기서 '3차원 데이터'는 3차원 데이터를 형성하는 점군 데이터(point cloud), 점군 데이터에 의해 형성되는 물체 표면의 거칠기(mesh) 정보 및 점군 데이터를 이루는 점들의 위치 정보 중 하나 이상을 포함할 수 있다. 참고로 본 발명에서 3차원 데이터는 상기 예로 한정되는 것은 아니며, 상기 예로 기재된 정보 외에도 3차원 스캐너(10)로부터 제공될 수 있는 다양한 정보가 본 발명의 3차원 데이터에 더 포함될 수 있다.
한편, 객체 인식 장치(100)는 3차원 스캐너(10)로부터 제공되는 3차원 데이터를 이용하여 추출 대상으로 지정된 객체(이하, '추출 객체'라 칭함)를 인식할 수 있다. 여기서 '추출 객체'는 특정 형상을 가지는 물체(예를 들어, 총이나 칼, 송곳 등과 같은 무기나 인체에 상해를 입힐 수 있는 것들), 물체의 일 면에 부착되거나 인쇄된 2차원 식별자(예를 들어, 바코드나 QR코드 등), 물체의 일 면에 형성되는 입체적인 형상의 3차원 식별자(예를 들어, 양각이나 음각 또는 양각과 음각이 혼합된 형태 등) 중 하나 이상을 포함할 수 있다. 이하에서는 '추출 객체'로서 2차원 식별자 중 '바코드'를 실시예로 설명하도록 한다.
객체 인식 장치(100)는 바코드가 표면에 인쇄되거나 부착된 물품들이 다 수개 카트에 담겨져 있는 상태에서, 카트가 3차원 스캐너(10)의 스캔 영역에 일정 시간 정지 상태로 위치하거나 스캔 영역을 일정 속도로 통과할 때 다 수개의 물품들에서 각각의 바코드를 매우 빠른 속도로 인식할 수 있다. 여기서 카트에 담겨져 있는 물품은 정돈된 상태로 적층되거나 정돈되지 않은 상태로 질서 없이 담겨져 있을 수 있다. 즉, 물품이 카트에 담겨져 있는 형태는 객체 인식 장치(100)가 다 수개의 물품들에서 바코드를 각각 인식하는데 있어 영향을 주지 않는다.
또한, 객체 인식 장치(100)는 인식된 바코드와 매칭되는 정보를 저장소(미도시)로부터 획득하여 포스 시스템(20)으로 제공할 수 있다.
객체 인식 장치(100)가 다 수개의 물품이 담겨져 있는 카트에서 각 물품의 바코드를 인식하는 방법에 대해서는 이하에서 상세히 설명하도록 한다.
한편, 포스 시스템(20)은 객체 인식 장치(100)로부터 바코드와 매칭된 정보를 수신할 수 있으며, 수신된 정보를 이용하여 소비자가 구매한 물품의 이름과 가격, 그리고 구매한 물품의 총 합계 등을 산출하고 화면에 표시할 수 있다.
만일 객체 인식 장치(100)로부터 바코드와 매칭된 정보를 획득할 수 없다는 오류 코드나 메시지가 수신되는 경우, 포스 시스템(20)은 사전에 미리 지정된 담당자의 단말기 등에 오류 코드나 메시지를 제공할 수 있다.
이하, 도 2를 참고하여 객체 인식 장치(100)의 구성과 각 구성의 동작을 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 객체 인식 장치(100)의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 객체 인식 장치(100)는 하나 이상의 프로세서(110), 프로세서와 연결되는 메모리(120), 프로세서와 연결되는 통신 모듈(130)을 포함할 수 있으며, 메모리(120)는 이하에서 설명하는 동작들이 프로세서(110)에 의해 실행 가능하도록 하는 프로그램 명령어들을 저장할 수 있다. 이하, 객체 인식 장치(100)를 주체로 설명하도록 한다.
참고로, 다수의 상품들이 카드에 불규칙하게 담겨져 쌓여있고, 각 상품의 표면에는 바코드가 인쇄되거나 부착되어 있으며, 카트는 3차원 스캐너(10)의 스캔 영역을 통과한 상태이다.
객체 인식 장치(100)는 통신 모듈(130)을 통해 3차원 스캐너(10)로부터 다수의 상품에 대한 3차원 데이터를 획득할 수 있다. 여기서 '3차원 데이터'는 3차원 데이터를 형성하는 점군 데이터, 점군 데이터에 의해 형성되는 상품 표면의 거칠기 정보 및 점군 데이터를 이루는 점들의 위치 정보 중 하나 이상을 포함할 수 있다.
객체 인식 장치(100)는 3차원 스캐너(10)로부터 획득되는 다수의 상품에 대한 3차원 데이터를 바코드의 추출 조건과 비교하여, 추출 조건 만족 여부에 따라서 추출 객체인 바코드와 비(非)추출 객체들(예를 들어 박스, 그림, 도형, 문자 등)로 구분할 수 있다. 여기서 '추출 조건'은 추출 객체의 모양, 크기, 색상, 모양을 이루는 패턴, 형상 및 표면의 거칠기(mesh) 중 하나 이상을 포함할 수 있으며, 바코드의 경우는 사각형의 모양, 상품에 따라 정해진 바코드의 일정 크기, 검정색과 흰색으로 이루어진 흑백 색상, 검정색과 흰색의 막대(bar)가 번갈아가며 이루는 패턴 등이 추출 조건에 포함될 수 있다.
객체 인식 장치(100)는 3차원 데이터에 바코드의 사각형 모양이 포함되는지를 판단하기 위해 모서리를 검색(corner detection)할 수 있고, 바코드의 색상 구성은 일반적으로 검정색과 흰색이므로 3차원 데이터에 대하여 그레이 변환(gray conversion)을 수행할 수 있다. 또한 검정색과 흰색의 막대가 번갈아가며 이루는 패턴은 다른 색상의 영역에 비해 상대적으로 높은 픽셀 주파수를 가지므로 이러한 조건들을 이용하여 3차원 데이터에서 바코드(영역)를 인식할 수 있다. 여기서 객체 인식 장치(100)는 3차원 데이터에 대하여 미리 정해진 일 방향의 하면에서부터 상면까지 바코드의 추출 조건과 비교하면서 바코드(영역)를 인식할 수 있다
참고로, 카트의 한정된 공간에 다수의 상품이 불규칙하게 담겨있더라도 이러한 추출 조건의 비교가 가능한 이유는 3차원 스캐너(10)로부터 획득되는 3차원 데이터는 사물을 투영한 데이터를 제공하기 때문이다.
이후, 객체 인식 장치(100)는 3차원 스캐너(10)로부터 획득되는 3차원 데이터에서 바코드를 제외한 비(非)추출 객체들에 대해 비가시화(非可視化)를 수행하여 바코드의 3차원 데이터로 이루어지는 영상을 획득할 수 있다. 그리고 객체 인식 장치(100)는 바코드의 3차원 데이터 중 상품 표면의 거칠기 정보 및 점군 데이터를 이루는 점들의 위치 정보 등을 비가시화 하여 점군 데이터로 이루어지는 영상을 획득할 수 있다. 결국, 객체 인식 장치(100)는 3차원 스캐너(10)로부터 획득되는 다수의 상품에 대한 3차원 데이터로부터 각 바코드의 점군 데이터로 이루어지는 영상을 획득하게 된다.
여기서, 3차원 스캐너(10)로부터 획득되는 3차원 데이터에서 바코드를 제외한 비(非)추출 객체들에 대해 비가시화를 수행하고, 바코드의 3차원 데이터 중 상품 표면의 거칠기 정보 및 점군 데이터를 이루는 점들의 위치 정보 등을 비가시화하는 이유는 추출 객체인 바코드의 인식 속도를 높이기 위해서이다. 카트에 다수의 상품들이 불규칙하게 담겨져 있는 상태에서 3차원 스캐너(10)의 스캔 영역을 일정 속도로 통과할 때 스캔 영역을 벗어나는 순간 모든 상품에 대한 바코드 인식이 완료되어야 하므로, 본 발명의 일 실시예에 따른 전술한 비가시화 방식은 다수의 바코드를 인식하는 속도를 높이는데 매우 효율적이다.
참고로, 다수의 상품을 담은 카트가 3차원 스캐너(10)의 스캔 영역에 일정 시간 정지 상태로 위치하는 경우 다수의 상품에 대한 3차원 데이터(점군 데이터)는 스캔이 완료된 전체 3차원 데이터(점군 데이터)의 이미지일 수 있으며, 다수의 상품을 담은 카트가 스캔 영역을 일정 속도로 통과하는 경우 다수의 상품에 대한 3차원 데이터(점군 데이터)는 다수의 상품에 대하여 일 방향으로 스캔이 진행되면서 순차적으로 획득되어 누적되는 일정 부분의 3차원 데이터(점군 데이터)일 수 있다.
한편, 객체 인식 장치(100)는 전술한 방법으로 인식된 바코드의 점군 데이터로 이루어진 영상을 이용하여 각 바코드와 매칭된 정보를 획득할 수 있다. 이를 위해 객체 인식 장치(100)는 각 바코드와 매칭된 정보를 저장하는 데이터베이스와 같은 저장 수단(미도시)를 포함할 수 있으며, 저장 수단이 외부에 서버 형태로 존재하는 경우 객체 인식 장치(100)는 해당 서버(미도시)와 연동될 수 있다. 여기서 '바코드와 매칭된 정보'는 해당 바코드가 나타내는 상품명, 상품식별코드, 가격, 제조일자, 제조회사, 생산라인, 생산지역, 생산자, 유통기한 등을 포함할 수 있다.
이후, 객체 인식 장치(100)는 각 바코드와 매칭된 상품 정보를 통신 모듈(130)을 통해 포스 시스템(20)과 같은 미리 지정된 장치로 제공할 수 있다. 참고로 통신 모듈(130)은 유선 또는 무선 방식을 사용할 수 있다.
한편, 전술한 바와 같은 방법으로 점군 데이터로 이루어진 바코드를 인식하였으나, 바코드의 뒤틀림이나 접힘 등으로 바코드와 매칭된 상품의 정보를 획득하는데 실패한 경우, 객체 인식 장치(100)는 아래와 같은 방법으로 바코드를 복원할 수 있다.
일 실시예로, 객체 인식 장치(100)는 바코드로 인식되는 영역의 외곽선 추출하고, 추출된 외곽선을 사격형으로 근사화할 수 있다. 여기서 객체 인식 장치(100)는 일 실시예로 이진화, 가우시안 블러 등을 이용할 수 있다.
이후 객체 인식 장치(100)는 근사화된 사격형의 각 꼭지점이 직각(90도)이 되도록 보정할 수 있으며, 일 실시예로 투영 변환(perspective transform)을 이용할 수 있다.
이후 객체 인식 장치(100)는 보정된 사각형에 포함된 바코드를 이루는 복수의 막대(예를 들어, 바코드 좌측의 첫 번째와 두 번째 막대)를 기준으로 인식 간격을 정의하여 코드로 변환할 수 있다.
다른 실시예로, 객체 인식 장치(100)는 도 3b에 도시된 바와 같이 바코드로 인식되는 영역을 직선화하고, 중첩되는 부분이 존재하는 경우 역커널 함수를 적용하거나 중복 이미지 제거를 실행하여 바코드를 복원할 수 있다.
한편, 객체 인식 장치(100)는 전술한 바와 같은 방법으로 바코드를 복원하였으나 해당 바코드와 매칭되는 상품 정보를 획득하는데 실패한 경우, 해당 바코드에 대해 비가시화 되었던 정보들, 즉 상품 표면의 거칠기 정보 및 점군 데이터를 이루는 점들의 위치 정보를 다시 복원시킬 수 있다.
이 때 객체 인식 장치(100)는 바코드의 추출 조건을 만족하지 않아 비가시화되었던 비(非)추출 객체들의 3차원 데이터를 함께 복원시킬 수 있다. 이는 다수의 상품 중 특정 상품의 바코드에 대한 3차원 데이터를 복원시키는 것보다, 다수의 상품에 대한 3차원 데이터 전체를 복원시키는 것이 속도 측면에서 더 이득이 되기 때문이다. 물론, 실시예에 따라서 선택적으로 복원될 수 있다.
이후 객체 인식 장치(100)는 상기 복원된 정보들과 점군 데이터를 포함하는 3차원 데이터를 이용하여 해당 바코드에 매칭되는 상품 정보를 획득할 수 있다. 예를 들어, 상품의 형상에 대한 정보를 저장하고 있는 저장 수단(미도시)에 저장된 비교군 데이터와 비교함으로써 해당 상품에 대한 정보를 알아낼 수 있다. 여기서 상기 저장 수단(미도시)은 데이터베이스로서 객체 인식 장치(100)에 포함될 수도 있고, 외부에 서버 형태로 존재하는 경우 객체 인식 장치(100)는 해당 서버(미도시)와 연동될 수 있다.
도 3a는 본 발명의 일 실시예에 따른 객체 인식 과정 중 바코드 복원 과정을 도시한 도면이다.
도 3a에 도시된 내용은 상품의 바코드가 겹치는 경우로서, '입력층'은 겹쳐진 바코드에서 외부로 드러나 있는 부분을, '은닉층'은 바코드가 겹쳐져 인식이 어려운 부분을, '출력층'은 바코드가 겹쳐져 인식이 어려웠으나 도 3a의 방법을 통해 복원된 부분을 각각 나타낸다.
도 3a에 도시된 바와 같이, 여러 가지 대조군을 형성하고 무한대에 가까운 연산을 통해 바코드를 복구할 수 있다. 이때 바코드에는 이진법을 활용함으로써 대조군을 형성하는 것이 가능하며, 촬영 단층별 차등 연산을 실행할 수 있다.
도 3b는 본 발명의 다른 실시예에 따른 객체 인식 과정 중 바코드 복원 과정을 도시한 도면이다.
도 3b에 도시된 내용은 상품의 포장이 비닐 등과 같이 변형이 쉬운 경우로서, 바코드가 뒤틀려 있는 실시예이다.
도 3b에 도시된 바와 같이 뒤틀림 등으로 변형이 심한 경우 전체적으로 이미지화 한 뒤 바코드로 인식되는 영역을 직선화하고, 중첩되는 부분, 즉 흔들림을 보정하기 위해 역커널함수를 적용하거나, 중복 이미지를 제거하여 바코드의 복원율을 향상 시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 객체 인식 장치(100)의 객체 인식 과정을 도시한 흐름도이다.
이하, 도 1 및 도 2에 도시된 객체 인식 장치(100)를 주체로 도 4의 흐름도를 설명하도록 한다. 참고로 도 4는 다수의 상품들이 카드에 불규칙하게 담겨져 쌓여있고 각 상품의 표면에는 바코드가 인쇄되거나 부착되어 있으며, 카트가 3차원 스캐너(10)의 스캔 영역을 통과하면, 객체 인식 장치(100)가 카트에 담겨진 바코드(추출 객체)를 인식하고 각 상품의 이름, 수량 및 가격 정보를 포스 시스템(20)으로 전송하는 실시예이다.
객체 인식 장치(100)는 3차원 스캐너(10)로부터 다수의 상품에 대한 3차원 데이터를 획득한다(S401).
여기서 '3차원 데이터'는 3차원 데이터를 형성하는 점군 데이터, 점군 데이터에 의해 형성되는 물체 표면의 거칠기 정보 및 점군 데이터를 이루는 점들의 위치 정보 중 하나 이상을 포함할 수 있다.
S401 후, 객체 인식 장치(100)는 3차원 스캐너(10)로부터 획득되는 3차원 데이터를 바코드의 추출 조건과 비교한다(S402).
여기서 바코드의 '추출 조건'은 바코드의 모양(사각형), 크기, 색상(검정색과 흰색), 모양을 이루는 패턴(사각형 내에서 검정색과 흰색 막대가 교대로 이루는 일정 패턴) 등을 포함할 수 있다.
비교 결과, 추출 조건을 만족하는 3차원 데이터는 바코드로 인식하고, 추출 조건을 만족하지 않는 3차원 데이터, 예를 들어 상품에서 바코드를 제외한 나머지 다른 객체의 3차원 데이터는 비가시화하여, 바코드의 3차원 데이터로 이루어진 영상을 획득한다(S403).
여기서 객체 인식 장치(100)는 바코드의 3차원 데이터에서 바코드 표면의 거칠기 정보와 점군 데이터를 이루는 점들의 위치 정보를 비가시화하고 점군 데이터로 이루어진 영상을 획득할 수 있다.
이와 같이 바코드를 제외한 다른 객체의 3차원 데이터와 바코드의 3차원 데이터 중에서 점군 데이터를 제외한 나머지 다른 데이터들을 비가시화하는 이유는 다량의 상품이 섞여 있는 상태에서 각 상품의 바코드를 신속하게 인식하기 위함이다.
S403 후, 객체 인식 장치(100)는 바코드의 점군 데이터로 이루어진 영상을 이용하여 각 바코드와 매칭된 정보를 획득한다(S404).
만일 S404에서 해당 바코드와 매칭된 정보를 획득하는데 실패하는 경우, 객체 인식 장치(100)는 S403에서 비가시화된 바코드의 3차원 데이터, 예를 들어 바코드 표면의 거칠기 정보와 점군 데이터를 이루는 점들의 위치 정보를 다시 복원시킨다(S405).
이 때 객체 인식 장치(100)는 바코드의 비가시화된 3차원 데이터뿐만 아니라 바코드가 아닌 다른 객체의 비가시화된 3차원 데이터도 함께 복원시킬 수 있다.
S405 후, 객체 인식 장치(100)는 해당 바코드의 3차원 데이터(점군 데이터, 바코드 표면의 거칠기 정보 및 점군 데이터를 이루는 점들의 위치 정보 등)를 이용하여 해당 바코드와 매칭된 정보를 획득한다(S406).
S405 및 S406의 단계에서 비가시화된 3차원 데이터를 다시 복원시키는 이유는 복원된 3차원 데이터를 이용하여 상품의 형상에 대한 정보를 저장하고 있는 저장 수단(미도시)에 저장된 비교군 데이터와 비교함으로써 해당 바코드가 부착된 상품에 대한 정보를 알아낼 수 있기 때문이다.
S406 후, 객체 인식 장치(100)는 각 바코드와 매칭된 정보를 포스 시스템(20)으로 전송한다(S407).
10 : 3차원 스캐너
20 : 포스 시스템
100 : 객체 인식 장치
110 : 프로세서
120 : 메모리
130 : 통신 모듈

Claims (17)

  1. 객체를 인식하는 장치에 있어서,
    하나 이상의 프로세서; 및
    상기 프로세서에 연결되는 메모리
    를 포함하며,
    상기 메모리는
    3차원 스캐너로부터 획득되는 하나 이상의 물체에 대한 3차원 데이터(상기 3차원 데이터를 형성하는 점군 데이터(point cloud), 상기 점군 데이터에 의해 형성되는 물체 표면의 거칠기(mesh) 정보 및 상기 점군 데이터를 이루는 점들의 위치 정보 중 하나 이상을 포함함)를, 추출 대상으로 지정된 객체(이하, '추출 객체'라 칭함)의 추출 조건과 비교하여, 상기 추출 조건을 만족하는 3차원 데이터는 상기 추출 객체로 인식하고, 상기 추출 조건을 만족하지 않는 3차원 데이터는 상기 획득되는 3차원 데이터에서 비가시화(非可視化)하여 상기 인식된 추출 객체의 3차원 데이터로 이루어진 영상을 획득하되,
    상기 획득되는 추출 객체의 3차원 데이터로 이루어진 영상에서 상기 물체 표면의 거칠기 및 상기 점군 데이터를 이루는 점들의 위치 정보를 비가시화하고 상기 점군 데이터로 이루어진 영상을 획득하도록 하며,
    상기 점군 데이터로 이루어진 영상으로부터 상기 추출 객체와 매칭된 정보를 획득하는데 실패하는 경우, 상기 비가시화된 거칠기 정보 및 위치 정보를 다시 복원시키고, 상기 복원된 정보들과 상기 점군 데이터를 포함하는 3차원 데이터를 이용하여 상기 추출 객체와 매칭된 정보를 획득하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 객체 인식 장치.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 메모리는
    상기 추출 객체의 비가시화된 정보들을 복원 시, 상기 추출 조건을 만족하지 않아 비가시화된 3차원 데이터를 더 복원하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 객체 인식 장치.
  5. 제1 항에 있어서,
    상기 획득되는 점군 데이터는
    상기 하나 이상의 물체에 대하여 스캔이 완료된 전체 점군 데이터의 이미지이거나, 상기 하나 이상의 물체에 대하여 일 방향으로 스캔이 진행되면서 순차적으로 획득되어 누적되는 일정 부분의 점군 데이터인 것을 특징으로 하는 객체 인식 장치.
  6. 제5 항에 있어서,
    상기 메모리는
    상기 획득되는 점군 데이터에 대하여 미리 정해진 일 방향의 하면에서부터 상면까지 상기 추출 객체의 추출 조건과 비교하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 객체 인식 장치.
  7. 제1 항에 있어서,
    상기 추출 객체는
    특정 형상을 가지는 물체, 물체의 일 면에 부착되거나 인쇄된 2차원 식별자 및 물체의 일 면에 형성되는 3차원 식별자 중 하나 이상을 포함하는 것을 특징으로 하는 객체 인식 장치.
  8. 제7 항에 있어서,
    상기 추출 조건은
    상기 추출 객체의 모양, 크기, 색상, 상기 모양을 이루는 패턴, 형상 및 표면의 거칠기(mesh) 중 하나 이상을 포함하는 것을 특징으로 하는 객체 인식 장치.
  9. 제1 항에 있어서,
    상기 메모리는
    상기 인식된 추출 객체의 점군 데이터로 이루어진 영상을 이용하여 상기 추출 객체와 매칭된 정보를 획득하고, 상기 획득된 정보가 미리 지정된 장치로 전송되도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 객체 인식 장치.
  10. 제7 항에 있어서,
    상기 메모리는
    상기 추출 객체가 2차원 식별자 중 바코드이고, 상기 바코드와 매칭된 정보를 획득하는데 실패한 경우,
    상기 바코드로 인식되는 영역의 외곽선 추출하고, 상기 추출된 외곽선을 사격형으로 근사화하며, 상기 근사화된 사격형의 각 꼭지점이 직각이 되도록 보정하여, 상기 보정된 사각형에 포함된 바코드를 이루는 복수의 바를 기준으로 인식 간격을 정의하여 코드로 변환하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 객체 인식 장치.
  11. 제7 항에 있어서,
    상기 메모리는
    상기 추출 객체가 2차원 식별자 중 바코드이고, 상기 바코드와 매칭된 정보를 획득하는데 실패한 경우,
    상기 바코드로 인식되는 영역을 직선화하고, 상기 직선화 결과 중첩되는 부분이 존재하는 경우 역커널 함수를 적용하거나 중복 이미지 제거를 실행하여 상기 바코드를 복원하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 객체 인식 장치.
  12. 객체 인식 장치가 객체를 인식하는 방법에 있어서
    (a) 3차원 스캐너로부터 하나 이상의 물체에 대한 3차원 데이터(상기 3차원 데이터를 형성하는 점군 데이터(point cloud), 상기 점군 데이터에 의해 형성되는 물체 표면의 거칠기(mesh) 정보 및 상기 점군 데이터를 이루는 점들의 위치 정보 중 하나 이상을 포함함)를 획득하는 단계;
    (b) 상기 획득되는 3차원 데이터를 추출 대상으로 지정된 객체(이하, '추출 객체'라 칭함)의 추출 조건과 비교하는 단계;
    (c) 상기 비교 결과, 상기 추출 조건을 만족하는 3차원 데이터는 상기 추출 객체로 인식하고, 상기 추출 조건을 만족하지 않는 3차원 데이터는 상기 획득되는 3차원 데이터에서 비가시화(非可視化)하여, 상기 인식된 추출 객체의 3차원 데이터로 이루어진 영상을 획득하고, 상기 획득되는 추출 객체의 3차원 데이터로 이루어진 영상에서 상기 거칠기 정보 및 상기 위치 정보를 비가시화하여 상기 점군 데이터로 이루어진 영상을 획득하는 단계;
    (d) 상기 인식된 추출 객체의 점군 데이터로 이루어진 영상을 이용하여 상기
    추출 객체와 매칭된 정보를 획득하는 단계; 및
    (e) 상기 획득된 정보를 미리 지정된 장치로 전송하는 단계
    를 포함하되,
    상기 (d) 단계는
    상기 점군 데이터로 이루어진 영상으로부터 상기 추출 객체와 매칭된 정보를 획득하는데 실패하는 경우, 상기 비가시화된 거칠기 정보 및 위치 정보를 다시 복원시키고, 상기 복원된 정보들과 상기 점군 데이터를 포함하는 3차원 데이터를 이용하여 상기 추출 객체와 매칭된 정보를 획득하는 것을 특징으로 하는 객체 인식 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제12 항에 있어서,
    상기 (d) 단계는
    상기 추출 객체의 비가시화된 정보들을 복원 시, 상기 추출 조건을 만족하지 않아 비가시화된 3차원 데이터를 더 복원하는 것을 특징으로 하는 객체 인식 방법.
  17. 제12 항 또는 제16 항에 따른 방법을 수행하는 명령어들을 포함하는 컴퓨터로 판독 가능한 매체.
KR1020190157704A 2019-11-29 2019-11-29 객체 인식 방법 및 장치 Expired - Fee Related KR102166301B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190157704A KR102166301B1 (ko) 2019-11-29 2019-11-29 객체 인식 방법 및 장치
PCT/KR2019/017373 WO2021107247A1 (ko) 2019-11-29 2019-12-10 객체 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190157704A KR102166301B1 (ko) 2019-11-29 2019-11-29 객체 인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102166301B1 true KR102166301B1 (ko) 2020-10-15

Family

ID=72882888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190157704A Expired - Fee Related KR102166301B1 (ko) 2019-11-29 2019-11-29 객체 인식 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102166301B1 (ko)
WO (1) WO2021107247A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881064B (zh) * 2022-06-17 2025-09-16 河南大学 一种褶皱条形码识别方法
CN115271017A (zh) * 2022-08-04 2022-11-01 芜湖英视迈智能科技有限公司 用于圆柱管件的铸造条码、圆柱管件铸造条码的识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10302021A (ja) * 1997-04-24 1998-11-13 Takashi Tokura 一括式バーコードシンボル認識システム
KR20100123739A (ko) * 2008-02-22 2010-11-24 콸콤 인코포레이티드 형태학적 연산들에 기초한 바코드 검출
KR101708216B1 (ko) 2016-06-13 2017-02-27 (주)위텍 내부 랜과 외부 랜을 결합한 원자력 관련 제품의 구매 및 관리 시스템
JP2019507885A (ja) * 2016-03-11 2019-03-22 サイバーオプティクス コーポレーション ３次元非接触スキャニングシステムのフィールド校正

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0567163A (ja) * 1991-09-06 1993-03-19 Nec Corp 図面分割方式

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10302021A (ja) * 1997-04-24 1998-11-13 Takashi Tokura 一括式バーコードシンボル認識システム
KR20100123739A (ko) * 2008-02-22 2010-11-24 콸콤 인코포레이티드 형태학적 연산들에 기초한 바코드 검출
JP2019507885A (ja) * 2016-03-11 2019-03-22 サイバーオプティクス コーポレーション ３次元非接触スキャニングシステムのフィールド校正
KR101708216B1 (ko) 2016-06-13 2017-02-27 (주)위텍 내부 랜과 외부 랜을 결합한 원자력 관련 제품의 구매 및 관리 시스템

Also Published As

Publication number Publication date
WO2021107247A1 (ko) 2021-06-03

Similar Documents

Publication Publication Date Title
US12532976B2 (en) Vision-based frictionless self-checkouts for small baskets
EP3910608B1 (en) Article identification method and system, and electronic device
US11494573B2 (en) Self-checkout device to which hybrid product recognition technology is applied
US8068674B2 (en) UPC substitution fraud prevention
EP2751748B1 (en) Methods and arrangements for identifying objects
KR102124568B1 (ko) 인공지능과 빅데이터를 이용한 이미지 인식 기반 무인 결제 시스템
Youssef et al. Automated barcode recognition for smart identification and inspection automation
CN110428028B (zh) 基于准动态镭射标签的识别验伪方法、装置、设备及介质
US20150193761A1 (en) System and method for exception handling in self-checkout and automated data capture systems
US20130048722A1 (en) Methods and arrangements for sensing identification information from objects
US20200065791A1 (en) Self-service product return using computer vision and artificial intelligence
US20230252443A1 (en) Checkout product recognition techniques
CN106203225B (zh) 基于深度的图像元素删除
US20170083884A1 (en) System and method for automatic identification of products
KR102166301B1 (ko) 객체 인식 방법 및 장치
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
US20230252750A1 (en) Multiview association of multiple items for item recognition
US10339512B2 (en) In-scanner document image processing
US20230013468A1 (en) Information processing system, information processing device, and information processing method
CN112036420A (zh) 产生电子价格表的方法、计算设备和计算机可读存储介质
US20190019339A1 (en) Systems and methods for dynamically displaying information about an object using augmented reality
WO2023196779A1 (en) System and method for synchronizing 2d camera data for item recognition in images
CN114882370A (zh) 商品智能识别方法、装置、终端及存储介质
JP7214967B2 (ja) 商品情報取得装置、商品情報取得方法、およびプログラム
US20250054123A1 (en) Product quantity determination apparatus, product quantity determination method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20231009

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20231009

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000