KR102135479B1

KR102135479B1 - 인공 지능형 동전 계수 장치 및 그 방법

Info

Publication number: KR102135479B1
Application number: KR1020200055527A
Authority: KR
Inventors: 이상헌; 김주혁; 윤성결
Original assignee: 주식회사 디퍼아이
Priority date: 2020-05-09
Filing date: 2020-05-09
Publication date: 2020-07-17

Abstract

인공지능형 동전 계수 장치 및 그 방법이 개시된다. 일 실시 예에 따른 인공지능형 동전 계수 장치는, 적어도 하나의 동전이 투입되는 동전 투입부와, 투입된 동전을 이송하면서 단일 층으로 평면화 하는 평면화 기구와, 평면화 기구 상에 배치되는 동전을 촬영하여 촬영 이미지를 획득하는 촬영부와, 촬영 이미지로부터 동전의 객체정보를 인식하는 제어부와, 인식 결과를 출력하는 디스플레이부를 포함한다.

Description

인공 지능형 동전 계수 장치 및 그 방법 {Apparatus for artificial intelligence counting coins and method thereof}

본 발명은 인공 신경망을 이용한 이미지 처리 및 분석 기술에 관한 것으로, 보다 상세하게는, 이미지 처리 및 분석을 통해 동전을 계수하는 인공지능형 동전 계수 관련 기술에 관한 것이다.

다양한 분야에서 동전의 계수가 요구된다. 예를 들어, 은행, 마트 등에서 동전을 취급하여 계수를 할 수 있다. 다른 예로, 대중 교통수단의 지불수단으로서 동전이 사용되는 경우 동전을 계수할 수 있으면 효율적일 것이다. 그런데 동전을 사용하는 경우, 다양한 종류의 동전이 유입되므로 동전을 계수하는데 어려움이 있다. 특히, 동전으로 교통비를 지불하는 경우, 지불된 교통비가 정확한 요금인지의 확인이 용이하지 않고, 나아가서는 운전자에 의한 안전사고의 위험성이 증가하는 문제점이 있다.

한국등록특허 10-1620609 (2016년05월23일 공고)

일 실시 예에 따라, 동전의 선별과정에서 동전의 검출 신뢰성을 높여 동전을정확하게 계수할 수 있는 인공지능형 동전 계수 장치 및 그 방법을 제안한다.

일 실시 예에 따른 인공지능형 동전 계수 장치는, 적어도 하나의 동전이 투입되는 동전 투입부와, 투입된 동전을 이송하면서 단일 층으로 평면화 하는 평면화 기구와, 평면화 기구 상에 배치되는 동전을 촬영하여 촬영 이미지를 획득하는 촬영부와, 촬영 이미지로부터 동전의 객체정보를 인식하는 제어부와, 인식 결과를 출력하는 디스플레이부를 포함한다.

평면화 기구는, 평면화 기구의 바닥면을 동전의 명암보다 어둡게 처리하거나 검은색을 사용할 수 있다.

제어부는, 촬영 이미지 전체를 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 탐지하는 객체 탐지부와, 촬영 이미지에서 관심영역을 추출하고 추출된 관심영역을 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 분류하는 객체 분류부를 포함할 수 있다.

객체 탐지부는, 촬영 이미지 전체에 대한 크기 조정을 포함한 전처리를 수행하여 제1 입력 이미지를 획득하는 제1 이미지 전처리부와, 제1 입력 이미지로부터 객체정보를 추론하는 제1 추론부와, 객체정보가 추론된 촬영 이미지의 크기 조정을 포함한 후처리를 수행하는 제1 이미지 후처리부를 포함할 수 있다.

제1 이미지 전처리부는, 촬영 이미지 전체에 대한 크기를 조정하고, 크기가 조정된 제1 입력 이미지의 축척비(scale ratio)를 추출하며, 크기가 조정된 제1 입력 이미지를 정규화 하여 정규화된 이미지를 제1 추론부에 제공할 수 있다.

제1 추론부는, 전 처리된 제1 입력 이미지 데이터를 인공 신경망 모델에 입력하여 연산 후 객체정보인 <객체 확률, 바운딩 박스 좌표, 클래스>를 추출할 수 있다.

제1 이미지 후처리부는, 객체정보의 바운딩 박스를 촬영 이미지에 맞게끔 크기를 재조정하여 객체 탐지 결과를 생성하되, 객체정보로서 객체 확률이 미리 설정된 제1 역치 값보다 큰지 여부를 확인하여 크지 못하면 해당 객체정보를 삭제하고 제1 역치 값보다 크면 한 개의 객체에서 추론된 여러 개의 바운딩 박스 중 IOU가 가장 높은 바운딩 박스를 선정할 수 있다.

객체 분류부는, 촬영 이미지를 전처리 하되, 촬영 이미지를 객체 탐지부를 통해 추출한 바운딩 박스 좌표로 크롭 처리하여 제2 입력 이미지를 획득하는 제2 이미지 전처리부와, 제2 입력 이미지를 인공 신경망 모델에 입력하여 객체정보로서 클래스를 추론하는 제2 추론부와, 객체 탐지부를 통해 추론된 클래스를 객체 분류부를 통해 추론된 클래스를 비교하여 이 중 확률이 높은 클래스를 추출하여 최종 클래스로 결정하는 제2 데이터 후처리부를 포함할 수 있다.

제2 이미지 전처리부는, 제2 입력 이미지의 명도를 추출하여 명도 범위를 축소시킬 수 있다.

객체 분류부는, 제2 데이터 후처리부를 통해 결정된 최종 클래스의 확률이 미리 설정된 제2 역치 값보다 큰지 여부를 확인하고 제2 역치 값보다 크지 않으면 해당 클래스를 가진 객체정보를 제거하며 제2 역치 값보다 크면 최종 객체 분류 결과를 생성하는 객체 분류결과 생성부를 더 포함할 수 있다.

동전 계수 장치는, 평면화 기구에 광을 조사하되, 조도를 제어하여 오버플로 및 언더플로를 방지하는 조명부를 더 포함할 수 있다.

동전 계수 장치는, 각 동전 객체정보를 이용하여 사용자가 지정한 응용에 맞는 연산을 수행하는 응용 처리부를 더 포함할 수 있다.

일 실시 예에 따른 인공지능형 동전 계수 방법은, 적어도 하나의 동전을 촬영하는 단계와, 촬영 이미지 전체를 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 탐지하는 단계와, 촬영 이미지에서 관심영역을 추출하고 추출된 관심영역을 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 분류하는 단계를 포함한다.

동전 객체를 탐지하는 단계는, 촬영 이미지 전체에 대한 크기 조정을 포함한 전처리를 수행하여 제1 입력 이미지를 획득하는 단계와, 제1 입력 이미지를 인공 신경망 모델에 입력하여 객체정보를 추론하는 단계와, 객체정보가 추론된 제1 입력 이미지의 크기 조정을 포함한 후처리를 수행하여 객체 탐지 결과를 생성하는 단계를 포함할 수 있다.

동전 객체를 분류하는 단계는, 촬영 이미지를 전처리 하되, 동전 객체 탐지 시 추출한 바운딩 박스 좌표로 크롭 처리하여 제2 입력 이미지를 획득하는 단계와, 전처리된 제2 입력 이미지를 인공 신경망 모델에 입력하여 객체정보로서 클래스를 추론하는 단계와, 객체 탐지시 추론된 클래스를 객체 분류 시 추론된 클래스와 비교하여 추론된 두 클래스가 동일한 경우에 최종 클래스로 선정하는 단계와, 결정된 최종 클래스의 확률이 미리 설정된 제2 역치 값보다 큰지 여부를 확인하고 제2 역치 값보다 크지 않으면 해당 클래스를 가진 객체정보를 제거하며 제2 역치 값보다 크면 최종 객체 분류 결과를 생성하는 단계를 포함할 수 있다.

일 실시 예에 따른 인공지능형 동전 계수 장치 및 그 방법에 따르면, 크기 및 형태가 다른 다양한 동전들을 신속하고 정확하게 계수할 수 있다. 인공 신경망을 이용한 지능형 동전 객체정보 추출을 통해 동전의 객체 탐지 및 분류를 수행함에 따라 연산속도를 단축 시킬 수 있으며, 학습을 통해 데이터가 축적될수록 그 정확도를 높일 수 있다.

또한, 본 발명은, 촬영 이미지 전체를 대상으로 한 동전 객체 탐지 단계와, 촬영 이미지 중 관심영역을 대상으로 한 동전 객체 분류 단계를 포함하는 이중 프로세스를 통해 동전 객체 인식의 정확도를 높일 수 있다.

도 1은 본 발명이 일 실시 예에 따른 인공지능형 동전 계수 장치의 기구 구조를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 AI 장치의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 인공지능형 동전 계수 장치의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 도 3의 제어부의 세부 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 동전 계수 방법의 흐름을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 도 5의 동전 객체 탐지 단계의 세부 프로세스를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 도 5의 동전 객체 분류 단계의 세부 프로세스를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 인공지능형 동전 계수 장치의 기구 구조를 도시한 도면이다.

도 1을 참조하면, 동전 계수 장치(1)는 동전 투입부(10), 평면화 기구(12), 촬영부(11), 조명부(미도시), 디스플레이부(13), 동전 보관부(14)를 포함한다. 동전 계수 장치(1)는 동전 투입부(10)를 통해 투입된 동전을 촬영하고 촬영 이미지로부터 동전 금액을 포함한 동전의 객체정보를 인식하는 장치이다. 예를 들어, 투입된 동전들 각각에 대해 10원, 50원, 100원, 500원 등의 동전 금액을 인식한다. 동전 계수 장치(1)는 은행과 같은 장소에 설치될 수 있고, 버스 등의 대중교통 수단에 설치될 수 있다. 동전 객체정보를 활용하여 다양한 응용에 적용할 수 있는데, 투입된 동전의 총 금액을 계산할 수 있으며, 계산 금액을 누적한 정보를 활용할 수도 있다. 이하, 전술한 특징을 가지는 동전 계수 장치(1)의 기구 구조에 대해 후술한다.

동전 투입부(10)에는 적어도 하나의 동전이 투입된다. 평면화 기구(12)는 동전 투입부(10)를 통해 투입된 동전을 이송하면서 동전을 단일 층으로 평면화 한다. 서로 층층이 겹치는 경우 동전 인식이 어렵기 때문에 서로 겹치지 않도록 평면화 기구(12)를 통해 동전들이 겹치지 않도록 펴주는 작업이 수행된다. 평면화 기구(12)는 도 1에 도시된 바와 같이 경사진 형태일 수 있으나, 형태는 이에 한정되지는 않는다. 평면화 기구(12)의 바닥면을 동전의 명암보다 어둡게 처리하거나 검은색을 사용하도록 하여 밝은 주변배경에 의해 동전에 대한 촬영 이미지를 얻지 못하는 문제를 방지할 수 있다.

촬영부(11)는 평면화 기구(12) 상에 배치되는 동전을 촬영하여 촬영 이미지를 획득한다. 촬영부(11)는 평면화 기구(12)와 수직으로 배치될 수 있다. 촬영부(11)의 화각은 평면화 기구(12)의 평면을 모두 포함할 수 있도록 설정된다.

조명부는 평면화 기구(12) 상에 광을 조사하고, 광은 평면화 기구(12)의 동전으로부터 반사되어 촬영부(11)에 검출된다. 이때, 동전 계수 장치(1)는 조명부의 조도를 일정하게 유지하도록 조정할 수 있다. 예를 들어, 조도의 오버플로(Overflow)와 언더플로(Underflow)를 막기 위해 조명의 배치, 개수, 조도 등을 제어할 수 있다.

동전 계수 장치(1)는 내부에 촬영 이미지로부터 동전의 금액을 포함한 객체정보를 인식하는 인식 모듈(미도시)을 포함한다. 인식 모듈은 예를 들어, 10원, 50원, 100원, 500원 등의 동전 금액을 인식할 수 있다. 객체정보 인식을 위해 인식 모듈은 기계학습 기반 인공지능(Artificial Intelligent: AI)을 이용할 수 있다. 인공지능을 통한 객체인식은 도 2를 참조로 하여 후술한다.

디스플레이부(13)는 인식 모듈의 인식 결과를 출력한다. 예를 들어, 동전 객체탐지 결과, 동전 객체분류 결과, 동전 계수 결과 등이 출력된다. 동전 보관부(14)에는 동전 인식이 완료된 동전들이 쌓여 보관된다.

도 2는 본 발명의 일 실시예에 따른 AI 장치의 구성을 도시한 도면이다.

AI 장치(2)는 도 1에 도시된 동전 계수 장치(1)의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수 있다. AI 프로세싱은, 도 3에 도시된 동전 계수 장치(1)의 제어와 관련된 모든 동작들을 포함할 수 있다. 예를 들어, 촬영 데이터를 AI 프로세싱 하여 처리/판단, 제어 신호 생성 동작을 수행할 수 있다.

AI 장치(2)는 AI 프로세서(22) 및 메모리(26)를 포함할 수 있다.

AI 프로세서(22)는 메모리(26)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(22)는 디바이스 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 디바이스 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.

한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.

메모리(26)는 AI 장치(2)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(26)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(26)는 AI 프로세서(22)에 의해 액세스되며, AI 프로세서(22)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(26)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델)을 저장할 수 있다.

한편, AI 프로세서(22)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(23)를 포함할 수 있다. 데이터 학습부(23)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(23)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습 데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.

데이터 학습부(23)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치(2)에 탑재될 수 있다. 예를 들어, 데이터 학습부(23)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치(2)에 탑재될 수도 있다. 또한, 데이터 학습부(23)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.

데이터 학습부(23)는 학습 데이터 획득부(24) 및 모델 학습부(25)를 포함할 수 있다.

학습 데이터 획득부(24)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터 획득부(24)는 학습 데이터로서, 신경망 모델에 입력하기 위한 샘플 데이터를 획득할 수 있다.

모델 학습부(25)는 상기 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(25)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(25)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(25)는 학습에 따른 상황판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(25)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.

일 실시 예에 따른 모델 학습부(25)는 객체 탐지용 학습을 수행하여 학습된 객체 탐지용 인공 신경망 모델을 생성할 수 있고, 객체 분류용 학습을 수행하여 학습된 객체 분류용 인공 신경망 모델을 생성할 수 있다.

신경망 모델이 학습되면, 모델 학습부(25)는 학습된 신경망 모델을 메모리(26)에 저장할 수 있다. 모델 학습부(25)는 학습된 신경망 모델을 AI 장치(2)와 유선 또는 무선 네트워크로 연결된 서버의 메모리에 저장할 수도 있다.

도 3은 본 발명의 일 실시 예에 따른 동전 계수 장치의 구성을 도시한 도면이다.

도 1 및 도 3을 참조하면, 동전 계수 장치(1)는 촬영부(11), 디스플레이부(13), 제어부(15), 통신부(16) 및 저장부(17)를 포함한다.

촬영부(11) 및 디스플레이부(13) 구성은 도 1을 참조로 하여 전술한 바 있으므로 상세한 설명은 생략한다.

제어부(15)는 동전 계수 장치(1)의 전반적인 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(15)는 촬영부(11)를 통해 획득된 촬영 이미지로부터 동전의 객체정보를 인식한다. 이때, 제어부(15)는 촬영 이미지를 대상으로 동전 객체를 탐지하고 탐지된 동전 객체를 분류할 수 있다. 제어부(15)는 사용자의 동전 계수 장치(1)의 턴-온, 턴-오프, 구동모드 변경 등을 포함하는 동전 계수 장치(1)의 사용이력을 저장부(17)에 저장할 수 있다. 제어부(15)는 도 2의 AI 프로세서(22)의 AI 프로세싱의 적어도 일부를 수행하도록 구비되어 인공지능을 이용해 객체를 인식하거나, AI 프로세서(22)에 의해 생성된 인공 신경망 모델 데이터를 가져와서 인공지능을 이용하여 객체를 인식할 수 있다.

통신부(16)는 외부입력으로부터의 신호/데이터를 수신하는 구성뿐 아니라, 무선 통신을 위한 무선통신모듈(미도시)이나 방송신호의 튜닝을 위한 튜너(미도시)와 같은 다양한 부가적인 구성을 더 포함할 수 있다. 동전 계수 장치(1)가 교통수단에 구비되는 경우, 통신부(16)는 차량 인터페이스일 수 있다.

통신부(16)는 외부장치로부터 신호를 수신하는 것 이외에도, 동전 계수 장치(1)의 정보/데이터/신호를 외부장치에 전송할 수도 있다. 즉, 통신부(16)는 외부장치의 신호를 수신하는 구성으로만 한정할 수 없으며, 양방향 통신이 가능한 인터페이스(interface)로 구현될 수 있다. 통신부(16)는 복수의 제어장치로부터 UI를 선택하기 위한 제어신호를 수신할 수 있다. 통신부(16)는 무선랜 (WiFi), 블루투스(Bluetooth), IR(Infrared), UWB(Ultra Wideband), 지그비(Zigbee) 등 공지의 근거리 무선통신을 위한 통신모듈로 구성되거나, 3G, 4G, LTE, 5G 등의 이동통신 모듈로 구성될 수 있으며, 유선통신을 위한 공지의 통신포트로 구성될 수도 있다. 통신부(16)는 UI를 선택하기 위한 제어신호 이외에, 디스플레이부(13)의 조작을 위한 명령, 데이터의 송수신 등 다양한 목적으로 활용될 수 있다.

저장부(17)는 촬영부(11)를 통해 획득된 촬영 데이터와 동전 인식 결과와, 동전 계수 장치(1)의 사용이력 등을 저장할 수 있다. 사용이력은 동전 계수 장치(1)의 구동모드의 변화이력, 사용시간, 동전 계수 결과에 대한 누적정보 등을 포함할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 도 3의 제어부의 세부 구성을 도시한 도면이다.

도 4를 참조하면, 제어부(15)는 객체 탐지부(150)와 객체 분류부(154)를 포함하며, 응용 처리부(159)를 더 포함할 수 있다.

객체 탐지부(150)는 촬영 이미지 전체를 대상으로 인공 신경망을 이용한 객체인식을 통해 동전의 객체정보를 추출하여 동전 객체를 탐지한다. 동전의 객체정보는 <객체 확률, 바운딩 박스 좌표, 클래스>를 포함한다. 이때, 객체 확률은 동전 객체가 존재할 확률을 나타내는 것으로, 그 값이 높을수록 동전 객체의 인식 정확도가 높아진다. 바운딩 박스 좌표는 객체의 위치정보이며, 클래스는 동전 분류 결과이다. 예를 들어, 클래스는 1번(10원), 2번(50원), 3번(100원), 4번(500원) 등으로 구분된다.

객체 분류부(154)는 객체 탐지부(150)의 객체인식 결과의 정확도를 높이기 위한 것으로, 촬영 이미지 전체가 아닌 관심영역을 대상으로 인공 신경망을 이용한 객체인식을 통해 동전의 객체정보를 추출하여 동전 객체를 분류한다.

응용 처리부(159)는 각 동전의 객체정보를 이용하여 사용자가 지정한 응용에 맞는 연산을 수행한다. 예를 들어, 동전의 총 합을 계산하거나, 이전 분류결과를 누적한다.

일 실시 예에 따른 객체 탐지부(150)는 제1 이미지 전처리부(151), 제1 추론부(152) 및 제1 이미지 후처리부(153)를 포함한다.

제1 이미지 전처리부(151)는 촬영 이미지(Raw image) 전체의 크기 조정을 포함한 전처리를 수행하여 제1 입력 이미지를 획득한다. 이미지 전처리 과정은 촬영 이미지 전체에 대한 크기 조정(Resize) 단계, 크기가 조정된 제1 입력 이미지의 축척비(scale ratio) 추출 단계, 크기가 조정된 제1 입력 이미지의 정규화(Image Normalization) 단계로 구성될 수 있다. 촬영 이미지 전체에 대한 크기 조정 단계에서는 객체 탐지를 위해 촬영 이미지를 제1 입력 이미지로 축소 시킨다. 예를 들어, 640Х400 크기의 촬영 이미지를 192Х120 크기의 제1 입력 이미지로 축소 시킨다. 이때 크기가 조정된 제1 입력 이미지의 축척비는 0.3이다(640Х0.3 = 192, 400Х0.3 =120 => 축척비 = [0.3, 0.3] (이미지 세로, 이미지 가로)). 정규화 단계에서는 이미지 - (이미지의 평균)/ (이미지의 분산) 식을 통해 정규화를 수행할 수 있다.

제1 추론부(152)는 제1 입력 이미지로부터 객체정보를 추론한다. 제1 추론부(152)는 제1 입력 이미지 데이터를 객체 탐지용 인공 신경망 모델에 입력하여 연산함에 따라 동전의 객체정보를 추출할 수 있다. 객체 탐지용 인공 신경망 모델은 도 2의 모델 학습부(25)를 통해 생성된 모델 데이터일 수 있다. 동전의 객체정보는 <객체 확률, 바운딩 박스 좌표, 클래스>를 포함한다.

제1 이미지 후처리부(153)는 제1 추론부(152)를 통해 객체정보가 추론된 제1 입력 이미지의 크기 조정을 포함한 후처리를 수행한다. 이때, 제1 이미지 후처리부(153)는 객체정보의 바운딩 박스를 촬영 이미지에 맞게끔 크기를 재조정하여 객체 탐지 결과를 생성한다. 바운딩 박스 조정 단계서는 이미지 전처리 단계에서 추출한 축척비만큼 바운딩 박스를 확대하여 촬영 이미지(Raw Image) 크기가 되도록 조정한다.

객체 탐지 결과 생성 시, <객체 확률>이 미리 설정된 제1 역치 값보다 큰지 여부를 확인한다. 제1 역치 값보다 크지 못하면 해당 객체정보 <객체 확률, 바운딩 박스 좌표, 클래스>를 삭제한다. 이에 비해, 제1 역치 값보다 크면 한 개의 객체에서 추론된 여러 개의 바운딩 박스 중 IOU가 가장 높은 바운딩 박스를 선정하는 NMS(Non-Maximal Suppression)을 적용한 후 객체 탐지 결과를 생성할 수 있다. 제1 역치 값은 설정 가능하다. 최종 객체 탐지 결과는 <객체 확률, 바운딩 박스 좌표, 객체 클래스>이다.

일 실시 예에 따른 객체 분류부(154)는 제2 이미지 전처리부(155), 제2 추론부(156), 제2 데이터 후처리부(157) 및 객체 분류결과 생성부(158)를 포함한다.

제2 이미지 전처리부(155)는 촬영 이미지(Raw image)를 전처리 하여 제2 입력 이미지를 획득한다. 이때, 촬영 이미지를, 객체 탐지부(150)를 통해 추출한 바운딩 박스 좌표로 크롭(crop) 처리하여 제2 입력 이미지를 획득할 수 있다. 제2 이미지 전처리부(155)는 제2 입력 이미지의 명도를 추출하여 명도 범위를 축소시킬 수 있다. 예를 들어, 명도 = 명도 Х (지정 명도 / 입력 명도의 평균) 식을 이용하여 명도 범위를 축소시킬 수 있다. 제1 이미지 전처리부(151)와 동일하게 이미지 정규화를 수행할 수 있다.

제2 추론부(156)는 제2 입력 이미지를 객체 분류용 인공 신경망 모델에 입력하여 객체정보로서 <클래스>를 추론한다. 객체 분료용 인공 신경망 모델은 도 2의 모델 학습부(25)를 통해 생성된 모델 데이터일 수 있다.

제2 데이터 후처리부(157)는 객체 탐지부(150)를 통해 추론된 클래스를 객체 분류부(154)를 통해 추론된 클래스를 비교하여 이 중 확률이 높은 클래스를 추출하여 추론된 두 클래스가 동일한 경우에 최종 클래스로 결정한다. 객체 탐지부(150)를 통해 추론된 클래스의 확률이 객체 분류부(154)를 통해 추론된 클래스의 확률보다 높은 경우, 객체 분류부(154)를 통해 추론된 클래스를 객체 탐지부(150)를 통해 추론된 클래스로 변경할 수 있다.

객체 분류결과 생성부(158)는 제2 데이터 후처리부(157)를 통해 최종 결정된 클래스의 확률이 미리 설정된 제2 역치 값보다 큰지 여부를 확인한다. 이때, 제2 역치 값보다 크지 않으면 해당 클래스를 가진 객체정보 <객체 확률, 바운딩 박스 좌표, 클래스>를 제거하며, 제2 역치 값보다 크면 최종 객체 분류 결과를 생성한다. 제2 역치 값은 설정 가능하다.

도 5는 본 발명의 일 실시 예에 따른 동전 계수 방법의 흐름을 도시한 도면이다.

도 1 및 도 5를 참조하면, 동전 계수 장치(1)는 적어도 하나의 동전을 촬영한다(510). 이때, 동전은 동전 투입부(10)를 통해 투입되어, 평면화 기구(12)를 통해 이송하면서 단일 층으로 평면화 된 동전일 수 있다.

이어서, 동전 계수 장치(1)는 촬영 이미지 전체를 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 탐지한다(520). 그리고 촬영 이미지에서 관심영역을 추출한 후 추출된 관심영역을 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 분류한다(530).

나아가, 동전 계수 장치(1)는 추출된 각 동전의 객체정보를 이용하여 사용자가 지정한 응용에 맞는 연산을 수행할 수 있다(540). 동전 계수 장치(1)는 동전 객체 탐지 및 분류 결과, 응용 연산 실행 결과 등을 디스플레이부(13)를 통해 출력할 수 있다(550).

도 6은 본 발명의 일 실시 예에 따른 도 5의 동전 객체 탐지 단계의 세부 프로세스를 도시한 도면이다.

도 1, 도 5 및 도 6을 참조하면, 동전 계수 장치(1)는 촬영 이미지 전체에 대한 크기 조정을 포함한 전처리를 수행하여 제1 입력 이미지를 획득한다(610). 그리고 제1 입력 이미지를 인공 신경망 모델에 입력하여 동전 객체정보 <객체 확률, 바운딩 박스 좌표, 클래스>를 추론한다(620). 이어서, 객체정보가 추론된 제1 입력 이미지의 크기 조정을 포함한 후처리를 수행하여 객체 탐지 결과를 생성한다(630). 탐지된 모든 객체를 대상으로 전술한 단계를 수행하는데, 탐지된 객체가 존재하는지 여부를 확인(650)하여, 객체가 존재하면 해당 객체에 대한 객체 분류 프로세스(도 7)를 이어서 수행할 수 있다. 이에 비해, 더 이상 탐지된 객체가 존재하지 않으면 프로세스를 종료한다.

도 7은 본 발명의 일 실시 예에 따른 도 5의 동전 객체 분류 단계의 세부 프로세스를 도시한 도면이다.

도 1, 도 5 및 도 7을 참조하면, 동전 계수 장치(1)는 촬영 이미지를 전처리 하여 제2 입력 이미지를 획득한다(710). 예를 들어, 촬영 이미지를 동전 객체 탐지 시 추출한 바운딩 박스 좌표로 크롭 처리하여 제2 입력 이미지를 획득한다.

이어서, 동전 계수 장치(1)는 전처리된 제2 입력 이미지를 인공 신경망 모델에 입력하여 객체정보로서 클래스를 추론한다(720). 이어서, 추론된 제2 입력 이미지를 후처리한다(730). 이때, 추론된 클래스를 객체 분류 시 추론된 클래스를 비교하여 이 중 확률이 높은 클래스를 추출하여 최종 클래스로 결정할 수 있다. 즉, 객체탐지시 추론된 클래스와 객체분류시 추론된 클래스를 비교하여 추론된 두 클래스가 동일한 경우에 해당클래스를 최종클래스로 선정할 수 있다.

이어서, 동전 계수 장치(1)는 결정된 최종 클래스의 확률이 미리 설정된 제2 역치 값보다 큰지 여부를 확인한다(740). 이때, 제2 역치 값보다 크지 않으면 해당 클래스를 가진 객체정보 <객체 확률, 바운딩 박스 좌표, 클래스>를 제거한다(760). 이에 비해, 제2 역치 값보다 크면 최종 객체 분류 결과를 생성한다(750).

상기와 같이, 본 발명은, 크기 및 형태가 다른 다양한 동전들을 신속하고 정확하게 계수할 수 있다. 인공 신경망을 이용한 지능형 동전 객체정보 추출을 통해 동전의 객체 탐지 및 분류를 수행함에 따라 연산속도를 단축 시킬 수 있으며, 학습을 통해 데이터가 축적될수록 그 정확도를 높일 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1 : 동전계수장치
2 : AI장치
10 : 동전 투입부
11 : 촬영부
12 : 평면화 기구
13 : 디스플레이부
14 : 동전 보관부
15 : 제어부
16 : 통신부
17 : 저장부
22 : AI 프로세서
23 : 데이터 학습부
24 : 데이터 획득부
25 : 모델 학습부
26 : 메모리
150 : 객체 탐지부
151 : 제1 이미지 전처리부
152 : 제1 추론부
153 : 제1 이미지 후처리부
154 : 객체 분류부
155 : 제2 이미지 전처리부
156 : 제2 추론부
157 : 제2 데이터 후처리부
158 : 객체 분류결과 생성부
159 : 응용 처리부

Claims

적어도 하나의 동전이 투입되는 동전 투입부;
투입된 동전을 이송하면서 단일 층으로 평면화 하는 평면화 기구;
평면화 기구 상에 배치되는 동전을 촬영하여 촬영 이미지를 획득하는 촬영부;
촬영 이미지로부터 동전의 객체정보를 인식하는 제어부; 및
인식 결과를 출력하는 디스플레이부;를 포함하고,
상기 제어부는,
촬영 이미지 전체를 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 탐지하는 객체 탐지부; 및
촬영 이미지에서 관심영역을 추출하고 추출된 관심영역을 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 분류하는 객체 분류부;
를 포함하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 1 항에 있어서, 평면화 기구는
평면화 기구의 바닥면을 동전의 명암보다 어둡게 처리하거나 검은색을 사용하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
삭제
제 1 항에 있어서, 객체 탐지부는
촬영 이미지 전체에 대한 크기 조정을 포함한 전처리를 수행하여 제1 입력 이미지를 획득하는 제1 이미지 전처리부;
제1 입력 이미지로부터 객체정보를 추론하는 제1 추론부; 및
객체정보가 추론된 촬영 이미지의 크기 조정을 포함한 후처리를 수행하는 제1 이미지 후처리부;
를 포함하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 4 항에 있어서, 제1 이미지 전처리부는
촬영 이미지 전체에 대한 크기를 조정하고,
크기가 조정된 제1 입력 이미지의 축척비(scale ratio)를 추출하며,
크기가 조정된 제1 입력 이미지를 정규화 하여 정규화된 이미지를 제1 추론부에 제공하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 4 항에 있어서, 제1 추론부는
전 처리된 제1 입력 이미지 데이터를 인공 신경망 모델에 입력하여 연산 후 객체정보인 <객체 확률, 바운딩 박스 좌표, 클래스>를 추출하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 4 항에 있어서, 제1 이미지 후처리부는
객체정보의 바운딩 박스를 촬영 이미지에 맞게끔 크기를 재조정하여 객체 탐지 결과를 생성하되, 객체정보로서 객체 확률이 미리 설정된 제1 역치 값보다 큰지 여부를 확인하여 크지 못하면 해당 객체정보를 삭제하고 제1 역치 값보다 크면 한 개의 객체에서 추론된 여러 개의 바운딩 박스 중 IOU가 가장 높은 바운딩 박스를 선정하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 1 항에 있어서, 객체 분류부는
촬영 이미지를 전처리 하되, 촬영 이미지를 객체 탐지부를 통해 추출한 바운딩 박스 좌표로 크롭 처리하여 제2 입력 이미지를 획득하는 제2 이미지 전처리부;
제2 입력 이미지를 인공 신경망 모델에 입력하여 객체정보로서 클래스를 추론하는 제2 추론부; 및
객체 탐지부를 통해 추론된 클래스를 객체 분류부를 통해 추론된 클래스를 비교하여 이 중 확률이 높은 클래스를 추출하여 최종 클래스로 결정하는 제2 데이터 후처리부;
를 포함하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 8 항에 있어서, 제2 이미지 전처리부는
제2 입력 이미지의 명도를 추출하여 명도 범위를 축소시키는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 8 항에 있어서, 객체 분류부는
제2 데이터 후처리부를 통해 결정된 최종 클래스의 확률이 미리 설정된 제2 역치 값보다 큰지 여부를 확인하고 제2 역치 값보다 크지 않으면 해당 클래스를 가진 객체정보를 제거하며 제2 역치 값보다 크면 최종 객체 분류 결과를 생성하는 객체 분류결과 생성부;
를 더 포함하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 1 항에 있어서, 동전 계수 장치는
평면화 기구에 광을 조사하되, 조도를 제어하여 오버플로 및 언더플로를 방지하는 조명부;
를 더 포함하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
제 1 항에 있어서, 동전 계수 장치는
각 동전 객체정보를 이용하여 사용자가 지정한 응용에 맞는 연산을 수행하는 응용 처리부;
를 더 포함하는 것을 특징으로 하는 인공지능형 동전 계수 장치.
적어도 하나의 동전을 촬영하는 단계;
촬영 이미지 전체를 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 탐지하는 단계; 및
촬영 이미지에서 관심영역을 추출하고 추출된 관심영역을 대상으로 인공 신경망을 이용한 동전 객체정보 추출을 통해 동전 객체를 분류하는 단계;
를 포함하는 것을 특징으로 하는 인공지능형 동전 계수 방법.
제 13 항에 있어서, 동전 객체를 탐지하는 단계는
촬영 이미지 전체에 대한 크기 조정을 포함한 전처리를 수행하여 제1 입력 이미지를 획득하는 단계;
제1 입력 이미지를 인공 신경망 모델에 입력하여 객체정보를 추론하는 단계; 및
객체정보가 추론된 제1 입력 이미지의 크기 조정을 포함한 후처리를 수행하여 객체 탐지 결과를 생성하는 단계;
를 포함하는 것을 특징으로 하는 인공지능형 동전 계수 방법.
제 13 항에 있어서, 동전 객체를 분류하는 단계는
촬영 이미지를 전처리 하되, 동전 객체 탐지 시 추출한 바운딩 박스 좌표로 크롭 처리하여 제2 입력 이미지를 획득하는 단계;
전처리된 제2 입력 이미지를 인공 신경망 모델에 입력하여 객체정보로서 클래스를 추론하는 단계;
추론된 클래스를 객체 분류 시 추론된 클래스를 비교하여 추론된 두 클래스가 동일할 경우 해당 클래스를 최종 클래스로 선정하는 단계; 및
결정된 최종 클래스의 확률이 미리 설정된 제2 역치 값보다 큰지 여부를 확인하고 제2 역치 값보다 크지 않으면 해당 클래스를 가진 객체정보를 제거하며 제2 역치 값보다 크면 최종 객체 분류 결과를 생성하는 단계;
를 포함하는 것을 특징으로 하는 인공지능형 동전 계수 방법.