KR20220077665A

KR20220077665A - 상품정보 인식을 위한 딥러닝 기반의 광학식 문자 판독 방법 및 이를 위한 시스템

Info

Publication number: KR20220077665A
Application number: KR1020200166824A
Authority: KR
Inventors: 유상기; 안종찬; 손종수; 이윤하
Original assignee: 씨제이올리브네트웍스 주식회사
Priority date: 2020-12-02
Filing date: 2020-12-02
Publication date: 2022-06-09
Also published as: KR102504853B1

Abstract

본 발명은 상품정보 인식을 위한 딥러닝 기반의 광학식 문자 판독 방법 및 이를 위한 시스템에 관한 것으로, 더 구체적으로는 상품 또는 포장재 상에 형성되어 있는 일부인(日附印) 등의 상품정보를 인공지능 알고리즘을 이용하여 탐지 및 판독하는 방법, 그리고 이를 위한 시스템에 관한 것이다.

Description

상품정보 인식을 위한 딥러닝 기반의 광학식 문자 판독 방법 및 이를 위한 시스템{DEEP LEARNING-BASED OPTICAL CHARACTER RECOGNIZING METHOD FOR RECOGNIZING PRODUCT INFORMATION AND A SYSTEM THEREFOR}

식품을 포장하여 판매하는 주체는 상품의 포장재 상에 상품정보들을 표시하여 판매할 수 있으며, 이 중 소비자들의 건강과 직결될 수 있는 정보들, 예를 들어 일부인(유통기한)과 같은 상품정보들은 반드시 상품의 포장재 상에 표시되어야 한다.

식품 상품의 경우 위와 같이 일부인(유통기한) 표시가 강제되고 있는데, 생산 공장에서의 오류, 특히 사람이 작업을 함에 따라 발생할 수 있는 오류 또는 공장 내 시스템적인 오류에 의해 종종 일부인 표시가 누락되거나 잘못된 날짜가 표시되거나 표시 위치가 잘못 되는 등의 문제가 발생되는 경우에는 소비자 건강을 위협할 수 있음은 물론 상품을 생산하는 주체에도 큰 불이익(상품 대량 폐기, 영업정지 등)이 돌아올 수 있어 이러한 필수 상품정보가 정확히 표시되었는지 여부를 살피는 것은 매우 중요한 작업이라 할 수 있다.

일부인과 같은 필수 상품정보가 정확히 표시되었는지를 확인하기 위해, 현재는 생산 공정이 끝난 후에 무작위로 박스를 선정하여 작업자가 직접 눈으로 확인하도록 하고 있는데, 이렇게 사람의 능력으로 직접 검수를 하기에는 상품의 양이 너무 많아 효율이 떨어질 수 밖에 없으며, 사람의 실수에 따른 오검수 역시 존재할 수 있어 이를 대체할 수 있는 새로운 방법론에 대한 수요가 크게 증가하고 있다.

본 발명은 위와 같은 현 상황에서의 문제점을 해결하기 위한 것으로, 휴대용 단말기 또는 검수용 촬영 단말기를 이용하여 손쉽게 상품 포장재를 촬영하고, 촬영된 상품 이미지로부터 일부인과 같은 상품정보를 딥러닝 기반의 인공지능 알고리즘을 이용해 판독해 냄으로써 검수 작업의 효율성을 크게 높이고자 한다. 나아가 본 발명은 식품 상품의 포장재가 가지는 특성(포장재 구겨짐, 포장지 배경, 다양한 글꼴 등)에 의해 문자 판독에 어려움이 있더라도 특별한 고가의 장비들 없이도 상품정보를 정확히 판독해 낼 수 있는 시스템을 제공하고자 하는 것을 목적으로 한다.

본 발명은 이와 같은 문제점에 착안하여 제안된 것으로, 본 발명은 위의 기술적 문제점을 해소시키는 것 외에도 본 기술분야에서 통상의 지식을 가진 자가 용이하게 발명할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.

대한민국 등록특허 제10-2149051호(2020.08.21. 등록)

본 발명은 딥러닝 기반의 인공지능 알고리즘을 이용하여 상품 포장재 상에 표시되어 있는 상품정보, 그 중에서도 특히 일부인(日附印)을 광학식으로 문자 판독해 내고, 판독된 일부인 정보를 토대로 해당 상품이 유통에 문제가 없는지를 판별해 낼 수 있게 하는 것을 목적으로 한다.

또한 본 발명은 기존의 광학식 문자 판독 방법과 달리 식품 포장재가 가지는 특수성, 예를 들어 식품 포장재의 구겨짐에 의해 일부인 영역이 잘 보이지 않는 특수성, 투명 포장재의 경우 내용물에 의해 겉면의 일부인 영역이 잘 보이지 않는 특수성, 조명에 의한 빛반사에 의해 일부인 영역이 잘 보이지 않는 특수성 등에도 정확한 문자 판독이 이루어질 수 있게 단계 별로 서로 다른 인공지능 알고리즘 또는 프레임워크를 활용하는 것을 또 다른 목적으로 한다.

이를 통해, 본 발명은 상품을 생산하는 공정 중 사람에 의한 검수 비중을 줄이고 대신 컴퓨팅 장치에 의해 수행되는 검수 비중을 높여 안전성이 담보되는 상품만 시장에 유통될 수 있게 하는 것을 목적으로 한다. 또한, 종래 검수에 필요하던 인력을 줄임으로써 전체적인 비용도 줄일 수 있게 한 것을 목적으로 한다.

한편, 본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명은 위와 같은 문제점을 해결하기 위한 것으로, 본 발명에 따른 상품정보 인식을 위한 딥러닝 기반의 광학식 문자판독 방법은, 제1 알고리즘을 이용하여 상품 이미지 - 상기 상품 이미지는 상품 포장재의 외측면을 촬영한 것임 - 로부터 상품정보 영역을 탐지하는 단계; 제2 알고리즘을 이용하여 상기 상품정보 영역으로부터 유효 영역을 선별하는 단계; 및 제3 알고리즘을 이용하여 상기 유효 영역에 대한 문자 판독을 수행하는 단계;를 포함할 수 있다.

또한, 상기 광학식 문자 판독 방법에 있어서, 상기 유효 영역은 일부인(日附印) 영역인 것을 특징으로 할 수 있다.

또한, 상기 광학식 문자 판독 방법에 있어서, 상기 상품 이미지를 수신하는 단계 이후, 상기 상품 이미지 또는 상기 상품정보 영역을 정제하는 단계를 더 포함할 수 있다. 또한, 이 때 상기 정제하는 단계는, 상기 상품 이미지의 크기를 조절하는 단계, 또는 상기 상품정보 영역 중 IOU(Intersection Over Union) 값이 기 설정값 이상인 바운더리 박스에 대응되는 영역만 분류하는 단계를 포함할 수 있다.

또한, 상기 광학식 문자 판독 방법에 있어서, 상기 제1 알고리즘은 Mask R-CNN 프레임워크 기반의 알고리즘인 것을 특징으로 할 수 있고, 상기 제2 알고리즘은 EfficientNet 모델인 것을 특징으로 할 수 있으며, 상기 제3 알고리즘은 Bidirectional LSTM-attention 모델인 것을 특징으로 할 수 있다.

또한, 상기 광학식 문자 판독 방법에 있어서, 상기 문자 판독을 수행하는 단계는, 상기 유효 영역을 복수 개의 세부 영역들로 나누는 단계; 각 세부 영역들 별로 특징(feature)을 추출하는 단계; 상기 세부 영역들의 순서 및 상기 세부 영역들로부터 추출된 특징을 기초로 문자를 판독하는 단계;를 포함할 수 있다.

또한, 상기 광학식 문자 판독 방법에 있어서, 상기 유효 영역을 선별하는 단계는, 상기 상품정보 영역으로부터 기 정의된 유효 정보 이외의 문자 또는 그림이 포함된 영역을 필터링하는 단계를 포함할 수 있다.

한편, 본 발명의 또 다른 실시예에 따른 딥러닝 기반의 광학식 문자 판독을 이용하여 상품의 품질을 관리하는 방법은, 상품 포장재의 외측면을 촬영한 상품 이미지를 수신하는 단계; 상기 상품 이미지로부터 상품정보를 획득하는 단계; 및 상기 획득한 상품정보를 기초로 상기 상품의 이상 여부를 판별하는 단계;를 포함할 수 있다.

또한, 상기 품질 관리 방법에 있어서 상기 상품정보를 획득하는 단계는, 제1 알고리즘을 이용하여 상기 상품 이미지로부터 상품정보 영역을 탐지하는 단계; 제2 알고리즘을 이용하여 상기 상품정보 영역으로부터 유효 영역을 선별하는 단계; 및 제3 알고리즘을 이용하여 상기 유효 영역에 대한 문자 판독을 수행하는 단계;를 포함할 수 있다.

다른 한편, 본 발명의 또 다른 실시예에 따른 딥러닝 기반의 광학식 문자 판독을 이용하여 상품의 품질을 관리하는 시스템은, 상품 포장재의 외측면을 촬영한 상품 이미지를 문자판독부에 전달하고, 상기 문자판독부에 의해 판독된 상기 상품 이미지 내 상품정보를 참고하여 상품의 품질이상유무를 판단하는, 품질관리부; 상기 품질관리부로부터 수신한 상품 이미지를 광학식으로 문자 판독하여 상기 상품 이미지 내 상품정보를 획득하고, 상기 획득한 상품정보를 품질관리부에 전달하는, 문자판독부;를 포함하되, 상기 문자판독부는, 딥러닝 기반의 알고리즘을 이용하여 상기 상품 이미지로부터 상품정보를 획득하는 것을 특징으로 할 수 있다.

본 발명에 따르면 종래 식품 상품의 일부인 검수 방식에 비하여 정확도를 크게 높일 수 있는 효과가 있으며, 또한 검수 시간 역시 크게 단축 시킬 수 있는 효과가 있다.

또한 본 발명에 따르면 상품 포장재 상에 표시된 일부인 또는 그 밖의 상품정보를 쉽게 판독하기 어려운 환경에 놓여 있다 하더라도 딥러닝이 가능한 인공지능 알고리즘을 활용함으로써 정확하게 일부인 또는 상품정보를 탐지 및 판독해 낼 수 있는 효과가 있다.

한편, 본 발명에 의한 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 딥러닝 기반의 광학식 문자 판독을 이용하여 상품 품질을 관리하는 과정을 개념적으로 도시한 것이다.
도 2는 본 발명에 따른 상품 품질 관리 시스템을 간략히 도시한 것이다.
도 3은 본 발명에 따른 상품 품질 관리 방법을 순서에 따라 도시한 것이다.
도 4는 상품 이미지로부터 상품정보를 획득하는 단계, 예를 들어 일부인을 판독하여 획득하는 단계를 보다 세부적으로 나열한 것이다.
도 5는 일부인 영역을 탐지하는 단계를 도시한 것이다.
도 6은 식품 상품 포장재에 있어 문자 판독이 어려운 몇몇 경우들을 예시적으로 도시한 것이다.
도 7은 본 발명에 따른 광학식 문자 판독 방법 및 종래의 vision 광학식 방법을 이용하여 식품 포장재 상에 인쇄된 일부인을 인식한 결과를 비교한 도면이다.
도 8은 이미지 정제 단계 중에서도 특히 IOU 연산에 따른 정제 단계를 설명하기 위한 도면이다.
도 9는 유효영역을 선별하는 단계를 도시한 것이다.
도 10은 문자 판독 단계를 도시한 것이다.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.

본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.

또한, 어떤 구성요소들을 포함한다는 표현은 “개방형”의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.

나아가 어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.

도 1 내지 도 3은 본 발명에 따라 상품 품질을 관리하는 방법 및 시스템을 간략히 이해하기 위한 것으로, 도 1은 딥러닝 기반의 광학식 문자 판독을 이용하여 상품 품질을 관리하는 과정을 개략적으로 나타낸 것이며, 도 2는 이를 위한 시스템의 구성을, 그리고 도 3은 상품 품질 관리 방법을 단계별로 나누어 간략히 나타낸 것이다.

도 1을 참고할 때, 본 발명은 상품의 포장재 외측면, 즉 상품 포장재의 겉면에 표시되어 있는 상품정보들이 보이도록 상품 이미지를 획득하는 것을 시작으로, 상기 상품 이미지로부터 실제 상품정보들이 표시되어 있는 영역만을 탐지하는 상품정보 영역 탐지 단계, 탐지된 상품정보영역으로부터 사용자가 특정한 정보(예. 일부인)만을 선별 획득하는 유효영역 선별 단계, 선별된 유효영역으로부터 문자 판독을 함으로써 최종적으로 특정 상품정보를 문자 데이터의 형태로 획득하는 문자 판독 단계가 진행될 수 있으며, 최종적으로는 위 판독된 상품정보를 기초로 상기 상품의 이상 여부를 판별하는 단계가 진행될 수 있다.

포장재 외측면에 표시되는 상품정보들에는 매우 다양한 것들이 존재하지만, 본 상세한 설명에서는 그 중에서도 특히 상품의 유통기한, 또는 제조일자를 확인할 수 있는 일부인(日附印)을 탐지, 인식, 및 판독하는 예를 주된 실시예로 들어 설명하기로 하며, 나아가 본 발명은 판독된 일부인을 기초로 상품의 이상 여부를 판별하는 것을 특징으로 하는 품질 관리 방법 및 시스템인 것을 전제로 설명하기로 한다.

이러한 전제 사실을 고려할 때 본 발명은, 임의의 상품 포장재 겉면에 표시된 유통기한 또는 제조일자가 촬영되어 상품 이미지가 생성되었을 때, 이 상품 이미지로부터 유통기한 또는 제조일자가 포함된 것으로 추정되는 영역(상품정보 영역)들을 탐지하고, 그 탐지된 영역들로부터 실제 유통기한 또는 제조일자를 포함하는 것으로 추정되는 영역만을 유효영역으로 선별하며, 선별된 유효영역으로부터 광학적 문자 판독을 통해 최종적으로 문자 데이터를 획득하는 과정에 대한 것으로 이해될 수 있다.

도 2는 본 발명에 따른 상품 품질 관리 시스템(20; 이하 시스템이라 칭함)을 간략히 도시한 것으로, 도 2를 참고할 때 본 발명에 따른 시스템(20)은 품질관리부(21), 문자판독부(23)를 포함할 수 있으며, 부가적으로 학습부(25), 그리고 데이터베이스(27)를 더 포함할 수 있다.

품질관리부(21)는 상품 포장재의 외측면을 촬영한 상품 이미지가 외부로부터 수신되면 이를 문자판독부(23)에 전달하고, 문자판독부(23)에 의해 상품정보, 즉 일부인이 판독되면 판독된 일부인을 참고하여 상품의 이상유무를 판단하는 구성으로 이해될 수 있다. 참고로 도 2에는 품질관리부(21) 측에 상품 이미지를 전송하는 구성으로 휴대용 단말기(10)가 도시되어 있는데, 이 휴대용 단말기(10)는 바람직하게는 생산 공정 중 포장재의 검수를 담당하고 있는 검수 담당자의 휴대용 단말기일 수 있으나, 상기 휴대용 단말기(10)는 특정 상품을 구매한 후 상품의 이상 여부를 검색해 보고자 하는 소비자가 될 수 있는 등 그 주체에 제한이 없다 할 것이다. 또한, 상기 품질관리부(21)로 상품 이미지를 전송하는 주체는 반드시 휴대용 단말기(10)에 한정되는 것도 아니며, 예를 들어 생산 공장 내 구비된 것으로서 컨베이어를 통해 이송되는 상품의 겉면을 반복적으로 촬영하는 촬영 장치일 수도 있다.

다른 한편, 상기 품질관리부(21)는 문자판독부(23)로부터 수신되는 판독 결과에 따라 상품의 이상여부를 판별할 수 있는데, 이 때 문자판독부(23)로부터 수신되는 판독 결과에는, 상품정보가 문제 없이 판독되었을 때 문자 데이터 형식의 상품정보(일부인)가 판독 결과로서 수신될 수 있으며, 상품정보를 판독하긴 하였으나 판독률이 기준치 미만이어서 문자 데이터 형식의 상품정보 신뢰도가 높지 않을 때에는 판독 결과물이 신뢰할 수 있을 정도가 아니라는 취지의 내용을 포함하는 데이터가 판독 결과로서 수신될 수 있고, 상품정보에 대한 판독이 불가능한 경우(예. 일부인이 탐지되지 않은 경우 등)에는 판독 불가를 알리는 데이터가 판독 결과로서 수신될 수 있다. 위 판독 결과를 수신한 품질관리부(21)는 판독 결과에 따라 사용자에게 그 결과를 디스플레이부(모니터 등)를 통해 출력하거나 또는 컨베이어를 통해 이송 중인 해당 상품이 특정 슈트로 분류되게 하는 등 후속적인 조치가 이루어지게 할 수 있다.

다음으로 문자판독부(23)는 상기 품질관리부(21)로부터 상품 이미지가 수신되면, 위 상품 이미지에 대해 광학식 문자 판독을 수행함으로써 상품정보를 획득하도록 시도하고, 그 판독 결과를 상기 품질관리부(21)에 전달하는 구성으로 이해될 수 있다. 이 때 문자판독부(23)는 상품정보를 획득하기 위해 수행하는 각 단계들에서 인공지능 알고리즘을 활용하게 되는데 이는 후술하게 될 도 4에 대한 설명에서 더 자세히 논하기로 한다.

다음으로 학습부(25)는 상기 문자판독부(23)에서 이용되는 인공지능 알고리즘들을 학습시키기 위한 구성으로, 학습부(25)에서는 학습용 데이터 생성하거나, 생성된 학습용 데이터를 인공지능 알고리즘에 입력시켜 학습시키는 등의 작업을 수행할 수 있다.

또한 데이터베이스(27)는 상기 문자판독부(23)에 의해 처리되는 상품 이미지를 저장하거나, 또는 상기 문자판독부(23)가 문자 판독 과정에서 획득한 영역들(상품정보영역, 유효영역 등)을 이미지 포맷으로 변환하여 저장하는 등의 기능을 수행하기 위한 것이며, 상기 데이터베이스(27)에 저장된 이미지들은 학습부(25)에서 학습용 데이터를 생성하는 데에 있어 기초가 될 수 있거나, 또는 인공지능 알고리즘을 학습시키는 데에 활용될 수 있다.

참고로, 도 2에 도시되어 있는 시스템(20)은 중앙처리유닛(CPU) 및 메모리를 구비한 컴퓨팅 장치일 수 있다. 이 때 중앙처리유닛은 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 불릴 수 있다. 또한 중앙처리유닛은 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있는데, 하드웨어를 이용하여 구현하는 경우에는 ASIC(application specific integrated circuit) 또는 DSP(digital signal processor), DSPD(digital signal processing device), PLD(programmable logic device), FPGA(field programmable gate array) 등으로, 펌웨어나 소프트웨어를 이용하여 구현하는 경우에는 위와 같은 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등을 포함하도록 펌웨어나 소프트웨어가 구성될 수 있다. 또한, 메모리는 ROM(Read Only Memory), RAM(Random Access Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래쉬(flash) 메모리, SRAM(Static RAM), HDD(Hard Disk Drive), SSD(Solid State Drive) 등으로 구현될 수 있다.

한편, 도 3은 본 발명에 따른 상품 품질 관리 방법을 순서에 따라 나열한 것으로, 이에 따르면 상품 품질 관리 방법은 크게 상품 이미지를 수신하는 단계(S100), 상품정보를 획득하는 단계(S200), 상품의 이상여부를 판단하는 단계(S300)를 포함할 수 있다. 이 중 상품 이미지를 수신하는 단계(S100)는 상기 품질관리 시스템(20)이 외부의 휴대용 단말기나 장치로부터 상품 이미지를 수신하는 단계이며, 상품정보 획득 단계(S200)는 품질관리 시스템(20)이 내부적인 프로세싱 과정을 거쳐 상품 포장재 상에 표시된 상품정보(일부인)를 문자 데이터 형태로 획득하는 단계이고, 상품 이상여부를 판단하는 단계(S300)는 상기 문자 데이터 형태로 획득한 상품정보(일부인)를 기초로 상기 상품에 이상이 있는지 여부를 판단하는 단계이다. 도 3의 각 단계들에 대해서는 이미 전술한 도 2의 시스템 관련 설명에서도 상당 부분 하였으므로 여기서는 자세한 설명을 생략하기로 한다.

도 4는 앞서 미뤄두었던 문자판독부(23)에서의 프로세스, 또는 상품정보를 획득하는 단계(S200)를 세부 단계들로 나누어 도시한 것이다. 도 4를 참고할 때 상품정보 획득 단계는 크게 상품정보영역을 탐지하는 단계(S202), 탐지된 상품정보영역으로부터 유효영역을 선별하는 단계(S204), 유효영역으로부터 문자를 판독하는 단계(S205)를 포함할 수 있으며, 이 단계들의 전후에는 이미지 정제 단계들(S201, S203, S206)이 더 포함될 수 있다. 이하에서는 각 단계 별로 설명하기로 한다.

먼저 제1 이미지 정제 단계(S201)는 수신한 상품 이미지를 후속 인공지능 알고리즘에 의한 처리에 적합하게 정제하는 단계로 이해될 수 있다. 예를 들어 수신한 상품 이미지의 크기를 후속 인공지능 알고리즘의 학습 시 사용되었던 학습용 데이터의 크기와 동일하게 편집하거나, 또는 수신한 상품 이미지의 색도, 명도, 채도 등의 파라미터들을 다른 값으로 바꿈으로써 후속 인공지능 알고리즘에서의 이미지 프로세스가 보다 원활하게 이루어질 수 있게 할 수 있다.

S201 단계 이후에는 제1 알고리즘을 이용하여 상품 이미지 내에서 상품정보영역을 탐지하는 단계(S202)가 수행될 수 있다. 본 단계는 바람직하게는 Mask R-CNN 프레임워크 기반의 알고리즘을 이용한 것일 수 있다. 상기 알고리즘은 Faster R-CNN에 ROI Align을 적용하고 있는 Mask Branch를 하나 추가한 형태의 것으로, 상품 이미지 내의 포장재가 다양한 형태의 것임에 따라 상품정보(일부인)의 식별이 어려운 점, 조명 등에 의한 빛반사가 발생하여 상품정보(일부인)의 식별이 어려운 점, 상품정보(일부인)가 포장재 상에 음각으로 표시되어 있음에 따라 식별이 어려운 점 등을 고려할 때 S202 단계에서의 상품정보영역 탐지에는 Mask R-CNN 프레임워크 기반의 알고리즘을 활용하는 것이 바람직하다.

참고로 상기 제1 알고리즘은 글자와 숫자를 객체로 학습한 것일 수 있다. 예를 들어 다양한 종류의 포장재 상에 다양한 형태로 표시된 상품정보들을 촬영한 학습 데이터가 존재하고, 위 학습 데이터에 어떤 형식의 상품정보(일부인)가 어떤 형태로 표시되었는지, 상품정보(일부인)가 표시된 위치가 어디인지 등을 나타내는 레이블 정보가 태깅되어 있음을 전제로, 상기 제1 알고리즘은 위 학습 데이터를 입력으로 하여 학습이 가능할 수 있다.

또한 참고로, 일부인(日附印)은 일반적으로 년/월/일 의 정보를 포함하도록 구성되어 있으며, 이러한 형식은 일반적인 글자들의 조합으로 된 상품정보들과는 차이가 있어 타 상품정보와의 구별이 비교적 쉽게 이루어질 수 있다. 또한 일부인은 숫자(아라비아숫자)를 필수적으로 포함할 수 있는데, 이는 글자(한글/영어)와 형태적으로 차이가 있는바, 상기 S202 단계에서는 제1 알고리즘으로 하여금 이러한 차이점들에 기인한 특징점들을 포함하는 넓은 영역을 찾게 하고, 해당 영역 내에서 아라비아 숫자의 특징점을 찾아 일부인 영역(상품정보영역)을 최종적으로 탐지하게 할 수 있다.

도 5는 일 실시예에 따라 상품 이미지 내에서 일부인 영역을 탐지하는 과정을 도시한 것으로, Mask R-CNN 알고리즘을 이용하여 상품 이미지 내에서 일부인 영역을 탐지하는 과정은, 먼저 년/월/일 형식의 정보를 포함하는 것으로 추정되는 상대적으로 넓은 1차 영역(101(a)), 즉 "유통기한, 2017. 06. 27. L5, 영양성분, ??"을 1차적으로 탐지하는 과정, 그리고 1차적으로 탐지한 영역 내에서 숫자 또는 문자인 것으로 추정되는 2차 영역들(101(b), (c)), 즉 "유통기한, 2017, 06, 27, L5, 영양성분"을 탐지하는 과정을 포함할 수 있다. 참고로 2차 영역들 중 101(b)는 추후 단계에서 유효영역으로 분류될 부분, 101(c)는 비유효영역으로 분류될 부분임을 암시하기 위해 구분한 것이다.

한편, Mask R-CNN 프레임워크 기반의 알고리즘은 특히 식품 상품의 포장재 위에 표시되어 있는 상품정보, 즉 일부인이 포함된 영역을 탐지해 내는 데에 효과적인데, 도 6은 위 알고리즘을 이용하여 탐지가 가능한 대상들, 즉 식품 상품의 포장재 상에 다양한 형태로 표시되어 있는 일부인의 예시들을 도시한 것이다. 도 6을 참고할 때에, 포장재 상의 일부인은 상품의 이미지나 글자와 겹쳐 있거나 식품 자체가 배경으로 존재(도 6의 (a))하여서 일부인이 잘 식별되기 어려울 수 있으나, 그럼에도 상기 알고리즘을 이용하여 충분한 학습이 이루어지는 경우 일부인 영역의 탐지가 가능할 수 있다. 또한, 식품 상품의 포장재 위에는 일부인이 잉크로 인쇄되지 않고 음각으로 인쇄(도 6의 (b))되는 경우도 있는데, 음각 일부인의 경우 문자색과 배경색이 유사하여 구분이 어려운 문제가 있으며, 또한, 식품 상품의 포장재들은 유연한 재질(비닐, 파우치 등)로 이루어진 경우가 많아 일부인이 일그러져 보이거나 또는 접힌 부분이 보이지 않는 경우(도 6의 (c)) 등이 발생할 수 있는데, 이 경우에도 역시 일부인 영역의 식별이 어려울 수 있다. 또한, 조명 등에 의해 발생할 수 있는 빛반사, 식별이 어려운 종류의 폰트, 그 밖의 노이즈(도 6의 (d)) 등에 의해서도 일부인 영역의 탐지가 어려울 수 있으나, 상기 Mask R-CNN 프레임워크 기반의 알고리즘을 사용하는 경우 충분한 양의 학습을 거쳐 타 알고리즘에 비해 비교적 높은 신뢰도(정확도)로 일부인 영역을 탐지해 낼 수 있다.

도 7은 식품 포장재 상에 인쇄되어 있는 일부인을 본 발명에 따른 광학식 문자 판독 방법을 이용하였을 때, 그리고 종래의 vision 광학식을 이용하였을 때 인식률이 차이가 있음을 확인하기 위한 도면이다. 도 7의 좌측은 본 발명에 따른 광학식 문자 판독 방법을 이용하여 식품 포장재 상의 일부인, 특히 "02. 28."자가 배경의 문자와 겹쳐져 있는 상태의 일부인을 인식한 결과를 나타낸 것이며, 도 7의 우측은 같은 상태의 일부인을 종래 vision 광학식으로 인식하였을 때 결과를 나타낸 것이다. 살펴볼 때, 본 발명에 따른 방법에 의해서는 "2021" "02" "28" 자가 인식되어 각 영역이 바운딩 박스로 구분되어 있음을 확인할 수 있으며, 종래 방법에 의해서는 "2021" 및 "28"은 인식이 되었지만 "02"가 배경이 되는 글자들에 의해 오인식 되어 최종적으로 일부인 인식에 실패하였음을 확인할 수 있다.

이처럼 본 발명, 즉 Mask R-CNN 프레임워크 기반의 알고리즘을 이용하는 광학식 문자 판독 방법은 식품 포장재의 특성, 즉 앞서 도 6에서 살펴본 것과 같은 식품 포장재 특성을 반영하여 학습이 이루어지기 때문에 지속적인 개선을 통해 종래 vision 광학식(인식률 약 72%)에 비해 상대적으로 높은 90%의 인식률을 보였다. 즉, 도 7의 비교 도면은 본 발명에서처럼 딥러닝이 가능한 알고리즘을 활용하였을 때, 나아가 식품 포장재의 특성을 고려하여 레이블링 된 학습용 데이터를 입력시키고 이러한 학습용 데이터로부터 학습한 알고리즘을 활용하였을 때 그렇지 않은 광학식 판독 방법에 비해 분명히 개선된 효과가 있음을 확인할 수 있다.

S202 단계 이후에는 제2 이미지 정제 단계(S203)가 수행될 수 있다. 제2 이미지 정제 단계는, 더 구체적으로는 바운딩 박스들 영역의 IOU(Intersection Over Union) 값을 기준으로 그 값이 기준치 이상인 바운딩 박스들만을 유지하는 단계로 이해될 수 있다. 도 8에는 이와 관련된 실시예가 도시되어 있는데, 앞서 S202 단계에서 상품정보영역을 탐지하는 과정에서는 복수 개의 바운딩 박스들(203)이 도 8에서와 같이 생성될 수 있다. 바운딩 박스란, 찾고자 하는 대상이 존재하는 것으로 추정되는 위치 또는 그 대상을 중심으로 생성되는 네모 형상의 박스를 일컫는 것으로, 알고리즘에 의해 탐지 기능이 실행되었을 때 타겟이 되는 문자(숫자) 캐릭터 상에 다수 개의 바운딩 박스들이 생성될 수 있다. 한편, IOU란 바운딩박스들의 교집합 영역 넓이(Area of Overlap)를 합집합 영역 넓이(Area of Union)로 나눈 값을 의미하며, IOU 값이 높을수록 알고리즘의 예측이 정확하였음을 나타내는데, 상기 제2 이미지 정제 단계에서는 상품정보영역이 탐지된 이후 IOU 값 기준으로 기준치 이상의 높은 값을 가지는 영역들에 대해서만 유지를 시킴으로써 궁극적으로 알고리즘의 예측 정확도가 높은 부분만 상품정보영역으로 유지하는 것을 특징으로 한다. 도 8에서는 2017, 06, 27이 표시된 부분에서 복수 개의 바운딩박스(203)이 존재하고, 따라서 IOU값이 연산에 의해 특정 값(기준치 이상이 값)으로 도출될 수 있는 반면, L5가 표시된 부분에서는 바운딩박스(203)가 한 개가 존재하고 따라서 IOU 값이 존재하지 않거나 기준치 미만의 값이 도출될 것이므로, 최종적으로 2017, 06, 27 부분만 유지되고 있는 모습을 확인할 수 있다.

한편, S203 단계 이후에는 제2 알고리즘을 이용하여 유효영역을 선별하는 단계(S204)가 수행될 수 있다. 앞선 상품정보영역 탐지 단계에서는 사용자가 원하는 상품정보, 즉 일부인이 아닌 부분까지도 탐지될 수가 있는데, 본 S204 단계는 조금 더 분할된 이미지를 기반으로 조금 더 구체적인 특징점 추출을 통해 일부인 영역만을 남긴 채 나머지 탐지된 영역들은 배제를 시키는 단계로 이해될 수 있다. 즉, 앞선 탐지 단계에서는 일부인으로 예상되는 영역을 최대한 찾아내는 것을 목적으로 하고, 탐지 결과에 대해서는 다시 유효영역 선별에 적합한 모델을 활용함으로써 실제 일부인 영역만 분별해 내도록 한 것이다.

참고로, 본 단계에서는 높은 정확도를 위해 EfficientNet 모델을 활용함이 바람직하다. EffiicientNet 모델은 CNN의 성능을 올리기 위해 신경망의 뎁스를 늘리는 것, 채널 너비(channel width)를 늘리는 것, 입력 이미지의 해상도(resolution)을 올리는 것 등 소위 컴파운드 스케일링(compound scaling)을 하여 예측 성능을 높인 인공지능 알고리즘으로, S204 단계와 같이 사용자가 원하는 특정 상품정보(일부인)을 최종적으로 분류해 내고자 할 때에 적합한 모델이라 할 수 있다.

도 9에는 유효영역을 선별하는 단계에 대한 실시예가 도시되어 있는데, 이를 참고할 때 앞선 S202 단계에서 탐지된 영역들(201(a))(유통기한, 2017, 06, 27, L5, 영양성분) 중 일부인 영역(201(b))에 해당하는 2017, 06, 27만 남겨둔 채 나머지 탐지된 영역들은 모두 삭제가 되었음을 확인할 수 있다.

다른 한편, 상기 유효영역을 선별하는 단계에서는 숫자를 포함하는 영역만을 선별하지 않고, 경우에 따라 문자를 포함하는 영역, 더 정확하게는 사용자가 임의로 지정해 둔 문자와 유사한 특징을 보이는 영역도 남겨둘 수 있도록 구현될 수 있다. 예를 들어, 상품 포장재에 표시되는 일부인은 년/월/일로 기재가 되어 있어 이 숫자들이 유통기한을 나타내는 것인지 아니면 제조일자를 나타내는 것인지 불분명할 때가 많다. 만일 상기 년/월/일 기재가 유통기한이라면 상기 숫자들의 주변 어딘가에 "유통기한" 또는 "까지"라는 문자가 함께 표시되어 있을 것이므로, 본 발명에서는 년/월/일 숫자와 더불어 이 숫자가 유통기한임을 확인할 수 있는 문자 영역까지도 유효영역으로 분류하게 할 수 있다. 또한, 만일 상기 년/월/일 기재가 제조일자를 표시한 것이라면, 상기 포장재 표면 어딘가에는 "제조일자로부터 6개월"과 같은 문자가 함께 표시되어 있을 것이므로, 본 발명에서는 년/월/일 숫자와 더불어 상기 숫자가 제조일자임을 확인할 수 있는 문자 영역까지도 유효영역으로 분류하게 할 수 있다. 또한, 참고로 상기 년/월/일이 제조일자라면 추후 품질관리부(21)에서는 제조일자로부터 몇 개월이 유통기한인지에 대한 정보도 년/월/일 정보와 함께 조합하여 최종 유통기한 날짜를 특정할 수 있게 될 것이다.

한편, S204 단계 이후에는 제3 알고리즘을 활용하여 상기 유효영역으로부터 문자를 판독하는 단계(S205)가 수행될 수 있다. 본 단계에서는 앞서 유효영역으로 분류된 이미지 영역 내에서 추출된 특징이 숫자와 매핑되도록 하는 것을 특징으로 하며, 특히 본 발명에서는 유효영역을 다시 더 작은 세부영역들로 분할함으로써 이 세부영역들 별로 특징을 추출하고, 이 특징의 순차성을 고려하여 최종적으로 숫자를 예측하게 한 것을 특징으로 한다.

참고로 본 단계에서는 Bidirectional LSTM-attention 모델이 활용될 수 있는데, 유효영역을 다시금 세부영역들로 분할하여 특징들을 추출하기로 한 이상 세부영역들, 유효영역의 정방향 및 역방향으로 특징 추출을 하는 것이 정확한 숫자를 매핑시키는 데에 도움이 될 수 있는바, 제3 알고리즘으로는 상기 Bidirectional LSTM-attention 모델을 활용하는 것이 바람직하다.

참고로 Bidirectional LSTM 은, RNN이 시계열 데이터의 은닉 층의 이전, 현재 정보를 활용하는 것과 달리, 시계열 데이터의 역방향 정보까지 사용하게 함으로써 더 효율적인 학습 성과를 얻기 위한 모델로 이해될 수 있다. Bidirectional LSTM은 기본적인 LSTM 과 역방향 LSTM이 결합된 형태의 것으로, 기존 순환 신경망과 달리 입력 시퀀스의 양방향 모두 학습할 수 있으므로 일반적인 신경망보다 성능이 더 뛰어나다. 한편, attention은 RNN의 각 시간 별 hidden layer의 출력 중 중요한 정보가 있다고 판단되는 곳에 가중치를 주고, 합을 구해 context vector를 만드는 방법으로, 마치 사람이 문장을 읽을 때 문장 내 중요한 단어에 힘을 주어 해석하는 것과 유사한 원리의 해석 방법이다. 즉, Bidirectional LSTM-attention은 양방향으로 학습이 가능한 인공지능 알고리즘으로서 중요한 정보가 있다고 판단된 곳에 가중치를 줄 수 있는 알고리즘으로 이해될 수 있다.

도 10에는 S205 단계를 설명하기 위한 도면이 도시되어 있으며, 이를 참고할 때 2019, 05, 29의 유효영역들은 각각이 더 작은 세부영역들로 나뉘어 있음을 확인할 수 있으며, 이 각각의 세부영역들에 대해서는 특징이 추출되어 각 유효영역들이 어떤 숫자와 매핑되는지를 예측하게 됨을 알 수 있다.

이상 본 발명에 따른 상품분류 방법 및 이를 위한 시스템에 대해 살펴보았다. 한편, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.

특히, 본 명세서에 첨부된 도면에 도시된 블록도와 순서도에 포함된 본 발명의 기술적 특징을 실행하는 구성들은 상기 구성들 사이의 논리적인 경계를 의미한다. 그러나 소프트웨어나 하드웨어의 실시 예에 따르면, 도시된 구성들과 그 기능들은 독립형 소프트웨어 모듈, 모놀리식 소프트웨어 구조, 코드, 서비스 및 이들을 조합한 형태로 실행되며, 저장된 프로그램 코드, 명령어 등을 실행할 수 있는 프로세서를 구비한 컴퓨터에서 실행 가능한 매체에 저장되어 그 기능들이 구현될 수 있으므로 이러한 모든 실시 예 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.

따라서, 첨부된 도면과 그에 대한 기술은 본 발명의 기술적 특징을 설명하기는 하나, 이러한 기술적 특징을 구현하기 위한 소프트웨어의 특정 배열이 분명하게 언급되지 않는 한, 단순히 추론되어서는 안 된다. 즉, 이상에서 기술한 다양한 실시 예들이 존재할 수 있으며, 그러한 실시 예들이 본 발명과 동일한 기술적 특징을 보유하면서 일부 변형될 수 있으므로, 이 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.

또한, 순서도의 경우 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 가장 바람직한 결과를 얻기 위하여 도시된 것으로서, 도시된 특정한 순서나 순차적인 순서대로 그러한 동작들을 반드시 실행되어야 한다거나 모든 도시된 동작들이 반드시 실행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티 태스킹과 병렬 프로세싱이 유리할 수 있다. 아울러, 이상에서 기술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

이와 같이, 본 명세서는 그 제시된 구체적인 용어에 의해 본 발명을 제한하려는 의도가 아니다. 따라서, 이상에서 기술한 실시 예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 범위를 벗어나지 않으면서도 본 실시 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

10 (사용자) 단말기
20 품질관리 시스템
21 품질관리부 23 문자판독부 25 학습부 27 데이터베이스
100 상품 이미지 101 상품정보영역
201 유효영역

Claims

상품정보 인식을 위한 딥러닝 기반의 광학식 문자판독 방법에 있어서,
제1 알고리즘을 이용하여 상품 이미지 - 상기 상품 이미지는 상품 포장재의 외측면을 촬영한 것임 - 로부터 상품정보 영역을 탐지하는 단계;
제2 알고리즘을 이용하여 상기 상품정보 영역으로부터 유효 영역을 선별하는 단계; 및
제3 알고리즘을 이용하여 상기 유효 영역에 대한 문자 판독을 수행하는 단계;
를 포함하는,
광학식 문자 판독 방법.
제1항에 있어서,
상기 유효 영역은 일부인(日附印) 영역인 것을 특징으로 하는,
광학식 문자 판독 방법.
제1항에 있어서,
상기 상품 이미지를 수신하는 단계 이후,
상기 상품 이미지 또는 상기 상품정보 영역을 정제하는 단계를 더 포함하는,
광학식 문자 판독 방법.
제3항에 있어서,
상기 정제하는 단계는,
상기 상품 이미지의 크기를 조절하는 단계, 또는 상기 상품정보 영역 중 IOU(Intersection Over Union) 값이 기 설정값 이상인 바운더리 박스에 대응되는 영역만 분류하는 단계를 포함하는,
광학식 문자 판독 방법.
제1항에 있어서,
상기 제1 알고리즘은 Mask R-CNN 프레임워크 기반의 알고리즘인 것을 특징으로 하는,
광학식 문자 판독 방법.
제1항에 있어서,
상기 제2 알고리즘은 EfficientNet 모델인 것을 특징으로 하는,
광학식 문자 판독 방법.
제1항에 있어서,
상기 제3 알고리즘은 Bidirectional LSTM-attention 모델인 것을 특징으로 하는,
광학식 문자 판독 방법.
제1항에 있어서,
상기 문자 판독을 수행하는 단계는,
상기 유효 영역을 복수 개의 세부 영역들로 나누는 단계;
각 세부 영역들 별로 특징(feature)을 추출하는 단계;
상기 세부 영역들의 순서 및 상기 세부 영역들로부터 추출된 특징을 기초로 문자를 판독하는 단계;
를 포함하는 것을 특징으로 하는,
광학식 문자 판독 방법.
제1항에 있어서,
상기 유효 영역을 선별하는 단계는,
상기 상품정보 영역으로부터 기 정의된 유효 정보 이외의 문자 또는 그림이 포함된 영역을 필터링하는 단계를 포함하는,
광학식 문자 판독 방법.
딥러닝 기반의 광학식 문자 판독을 이용하여 상품의 품질을 관리하는 방법에 있어서,
상품 포장재의 외측면을 촬영한 상품 이미지를 수신하는 단계;
상기 상품 이미지로부터 상품정보를 획득하는 단계; 및
상기 획득한 상품정보를 기초로 상기 상품의 이상 여부를 판별하는 단계;
를 포함하는,
품질 관리 방법
제10항에 있어서,
상기 상품정보를 획득하는 단계는,
제1 알고리즘을 이용하여 상기 상품 이미지로부터 상품정보 영역을 탐지하는 단계;
제2 알고리즘을 이용하여 상기 상품정보 영역으로부터 유효 영역을 선별하는 단계; 및
제3 알고리즘을 이용하여 상기 유효 영역에 대한 문자 판독을 수행하는 단계;
를 포함하는,
품질 관리 방법.
딥러닝 기반의 광학식 문자 판독을 이용하여 상품의 품질을 관리하는 시스템에 있어서,
상품 포장재의 외측면을 촬영한 상품 이미지를 문자판독부에 전달하고, 상기 문자판독부에 의해 판독된 상기 상품 이미지 내 상품정보를 참고하여 상품의 품질이상유무를 판단하는, 품질관리부;
상기 품질관리부로부터 수신한 상품 이미지를 광학식으로 문자 판독하여 상기 상품 이미지 내 상품정보를 획득하고, 상기 획득한 상품정보를 품질관리부에 전달하는, 문자판독부;
를 포함하되,
상기 문자판독부는, 딥러닝 기반의 알고리즘을 이용하여 상기 상품 이미지로부터 상품정보를 획득하는 것을 특징으로 하는,
품질 관리 시스템.