KR102394894B1 - 딥러닝 기반 화폐 인식 장치 및 방법 - Google Patents

딥러닝 기반 화폐 인식 장치 및 방법 Download PDF

Info

Publication number
KR102394894B1
KR102394894B1 KR1020200122738A KR20200122738A KR102394894B1 KR 102394894 B1 KR102394894 B1 KR 102394894B1 KR 1020200122738 A KR1020200122738 A KR 1020200122738A KR 20200122738 A KR20200122738 A KR 20200122738A KR 102394894 B1 KR102394894 B1 KR 102394894B1
Authority
KR
South Korea
Prior art keywords
area
money
currency
recognition
deep learning
Prior art date
Application number
KR1020200122738A
Other languages
English (en)
Other versions
KR20220040531A (ko
Inventor
박강령
박찬흠
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020200122738A priority Critical patent/KR102394894B1/ko
Publication of KR20220040531A publication Critical patent/KR20220040531A/ko
Application granted granted Critical
Publication of KR102394894B1 publication Critical patent/KR102394894B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12—Visible light, infrared or ultraviolet radiation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 화폐 인식 장치에 관한 것으로, 보다 상세하게는 딥러닝 기반 화폐 인식 장치에 관한 것이다. 본 발명의 일 실시 예에 따른 화폐 인식 장치는 영상 내 화폐의 상태가 손상되었거나 심한 조명 변화가 생긴 경우에도 화폐를 인식할 수 있으며, 딥러닝을 통해 생성된 화폐 영역을 이용하여 오검출 영역을 추출함으로써 화폐 인식 성능을 높일 수 있다.

Description

딥러닝 기반 화폐 인식 장치 및 방법{BANKNOTE AND COIN DETECTION DEVICE AND METHOD BASED ON DEEP LEARNING}
본 발명은 화폐를 인식하는 기술에 관한 것으로, 더욱 상세하게는, 딥러닝 기반의 화폐를 인식하는 장치 및 방법에 관한 것이다.
최근, 스마트폰 기술의 발전과 함께 스마트폰 내장 카메라를 이용한 영상 인식 기술에 관한 연구가 활발히 진행되고 있다. 그 중, 화폐 영상 인식 기술은 시력의 문제로 인해 화폐를 인식하지 못하는 스마트폰 사용자들에게 필수적으로 사용되고 있으며, 이에 따라 화폐 인식의 정확도를 높이기 위한 다양한 기술의 개발이 이루어지고 있다.
화폐 인식과 관련된 기술은 SURF 알고리즘(Speeded up robust features), FRS 알고리즘(fast radial symmetry transform) 등이 이용되고 있다. 하지만, SURF 알고리즘(Speeded up robust features)의 경우 다양한 배경에서 촬영된 영상을 사용할 때 화폐 인식의 성능이 급격히 떨어지며, FRS 알고리즘(fast radial symmetry transform)의 경우 화폐 인식 속도가 낮다는 문제점이 있다. 최근 딥러닝 기술의 발전과 함께 CNN(convolutional neural network)을 이용한 지폐 및 동전 검출 기술도 개발되고 있으나, 배경 및 환경 변화에 따른 화폐 인식 성능 저하의 문제점을 포함하고 있다.
본 발명의 배경기술은 대한민국 공개특허 제 2019-0054506호에 개시되어 있다.
본 발명은 영상 내 화폐의 상태가 손상되었거나 심한 조명 변화가 생긴 경우에도 화폐를 인식할 수 있는 딥러닝 기반 화폐 인식 장치 및 방법을 제공한다.
본 발명은 딥러닝을 통해 생성된 화폐 영역을 이용하여 오검출 영역을 추출함으로써 화폐 인식 성능을 높일 수 있는 딥러닝 기반 화폐 인식 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 딥러닝 기반 화폐 인식 장치가 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 장치는 화폐 영상을 입력받는 입력부, 입력된 영상에서 화폐 영역을 생성하는 화폐영역생성부, 생성된 화폐 영역에서 오검출된 화폐 영역을 추출하는 오검출처리부 및 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행하는 화폐인식부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥러닝 기반 화폐 인식 방법이 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 방법은 화폐 영상을 입력받는 단계, 입력된 영상에서 화폐 영역을 생성하는 단계, 생성된 화폐 영역에서 오검출된 화폐 영역을 추출하는 단계 및 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 딥러닝 기반 화폐 인식 장치 및 방법은 영상 내 화폐의 상태가 손상되었거나 심한 조명 변화가 생긴 경우에도 화폐를 인식할 수 있다.
본 발명의 일 실시 예에 따르면, 딥러닝 기반 화폐 인식 장치 및 방법은 딥러닝을 통해 생성된 화폐 영역을 이용하여 오검출 영역을 추출함으로써 화폐 인식 성능을 높일 수 있다.
도 1 내지 도 12는 본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 장치를 설명하기 위한 도면들.
도 13 내지 도 17은 본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 장치의 성능을 예시한 도면.
도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 방법을 설명하기 위한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도 12는 본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 딥러닝 기반 화폐 인식 장치(10)는 입력부(110), 화폐영역생성부(130), 오검출처리부(150) 및 화폐인식부(170)를 포함한다.
입력부(110)는 화폐 인식을 수행하는 과정에서 필요한 화폐 영상을 수신한다. 예를 들어, 입력부(110)는 주화 영상 또는 지폐 영상을 수신할 수 있다. 입력부(110)는 화폐 영상을 화폐영역생성부(130)로 전송한다.
화폐영역생성부(130)는 입력부(110)로부터 수신한 화폐 영상에서 화폐 영역을 생성한다. 구체적으로, 화폐영역생성부(130)는 Faster R-CNN(Faster region-convolutional neural network) 신경망을 이용하여 화폐 영역을 생성한다. 여기서, Faster R-CNN(faster region-convolutional neural network) 신경망은 RPN(Region Proposal Network) 네트워크를 기반으로 한 객체 검출 모델이다. RPN(Region Proposal Network) 네트워크는 영상을 입력 받아 사각형 형태의 물체 영역을 검출하며, 기존의 R-CNN(Region-convolutional neural network), Fast R-CNN(Faster Region-convolutional neural network)보다 빠른 검출 시간 및 검출 정확도를 나타낸다.
도 2를 참조하면, Faster R-CNN 신경망은 특징추출기(Feature extractor), RPN(Region Proposal Network) 네트워크 및 분류기(classifier)를 거쳐 화폐 영역을 생성한다. 구체적으로, Faster R-CNN 신경망은 특징추출기(Feature extractor)를 통해 특징맵(feature map)을 추출한 뒤, 추출된 특징맵(feature map)을 RPN(Region Proposal Network) 네트워크로 전달한다. 이후, Faster R-CNN 신경망은 RPN(Region Proposal Network) 네트워크를 통해 화폐가 존재할만한 위치를 나타내는 RP(region proposals)를 출력하며, 출력된 RP(region proposals) 및 추출된 특징맵(feature map)을 이용하여 화폐 영역을 생성한다.
도 3을 참조하면, 특징추출기(Feature extractor)는 학습된 VGG-16 모델을 사용하여 특징맵(feature map)을 추출한다. 특징추출기는 총 13개의 컨볼루션 레이어(convolutional layers)와 relu(rectified linear unit)를 포함할 수 있으며, 4개의 맥스풀링 레이어(max pooling layer)를 포함할 수 있다.
컨볼루션 레이어는 너비(width)와 높이(height)가 3×3인 필터(filter)를 사용하며, 1×1의 패딩(padding)과 스트라이드(stride)를 사용한다. 맥스풀링 레이어는 2×2×1 크기의 필터(filter) 및 2×2의 스트라이드(stride)를 사용한다.
여기서, 컨볼루션 레이어는 1×1의 스트라이드(stride)를 사용하여 컨볼루션 레이어를 진행하더라도 출력되는 특징맵의 크기는 변하지 않지만 맥스풀링 레이어는 2×2의 스트라이드(stride)를 사용하므로 출력되는 특징맵의 크기는 반으로 줄어든다.
예를 들어, 특징추출기에 입력되는 화폐 영상의 높이×너비×채널수가 600×800×3일 경우, 추출되는 특징맵의 높이×너비×채널수는 38×50×512이다.
도 4를 참조하면, RPN(Region Proposal Network) 네트워크는 특징추출기에서 최종 추출된 특징맵의 높이×너비×채널수를 입력으로 한다. RPN(Region Proposal Network) 네트워크는 한 개의 3×3 크기의 컨볼루션 레이어인 Conv6 레이어와 2개의 1×1 크기의 컨볼루션 레이어인 분류 레이어(classification layer) 및 회귀 레이어(regression layer)를 포함하며, 모든 컨볼루션 레이어는 1×1의 스트라이드(stride)를 사용한다.
Conv6 레이어는 3×3의 슬라이딩 윈도우(sliding window)를 이용하여 특징맵의 픽셀들 위로 슬라이딩(sliding)하며 특징맵을 추출한다. Conv6레이어로 추출된 특징맵은 각각 분류 레이어(classification layer)와 회귀 레이어(regression layer)를 거쳐 RP(region proposals)을 출력한다.
도 5를 참조하면, 분류기(classifier)는 앞서 VGG-16에서 추출된 특징맵과 RPN 네트워크의 RP(region proposals)를 입력으로 하여, 로이 풀링 레이어(RoI pooling layer)에서 7×7의 고정된 특징맵을 얻는다. 이후, 추출된 특징맵은 FC6레이어와 FC7 레이어를 통해 특징 벡터(feature vector)를 얻으며, 분류 레이어(classification layer)와 회귀 레이어(regression layer)를 거쳐 화폐 영역 생성 결과를 얻는다.
화폐영역생성부(130)는 도 6과 같이 Faster R-CNN(faster region-convolutional neural network) 신경망을 이용하여 입력 받은 화폐 영상에서 화폐 영역을 생성한다. 입력 받은 화폐 영상에서 생성된 화폐 영역은 지폐 영역 또는 주화 영역일 수 있다.
다시 도 1을 참조하면, 오검출처리부(150)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 화폐 영역에서 오검출된 화폐 영역을 추출한다. 오검출된 화폐 영역은 영상 내 화폐가 위치하지 않은 곳에 검출된 화폐 영역이거나, 금액이 잘못 분류된 화폐 영역일 수 있다.
예를 들어, 오검출처리부(150)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 지폐 영역 또는 주화 영역의 가로 대 세로 비율이 미리 설정된 비율 범위 내에 해당되지 않을 경우 해당 화폐 영역을 추출할 수 있다. 이 때, 오검출처리부(150)는 학습 데이터를 이용하여 지폐 또는 주화의 가로 대 세로의 최소 비율 및 최대 비율을 설정할 수 있다. 오검출처리부(150)는 도 8의 (a)와 같이 수신한 화폐 영역의 가로 대 세로 비율이 설정된 최소 비율 및 최대 비율 범위 내에 해당되지 않을 경우, 해당 화폐 영역을 추출할 수 있다.
또한, 오검출처리부(150)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 지폐 영역 또는 주화 영역의 크기가 미리 설정된 기준 범위에 해당되지 않을 경우 해당 화폐 영역을 추출할 수 있다. 오검출처리부(150)는 도 7과 같이 학습 데이터를 통해 주화 영역(coin class) 및 지폐 영역(bill class)의 크기 범위를 설정할 수 있다. 오검출처리부(150)는 도 8의 (b)와 같이 수신한 화폐 영역의 크기가 계산된 범위 내에 포함되지 않는 경우, 해당 화폐 영역을 추출할 수 있다.
또한, 오검출처리부(150)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 지폐 영역들의 IoU(Intersection over Union)가 일정값 이상일 경우, 지폐 영역들 중 검출 스코어가 낮은 지폐 영역을 추출할 수 있다. 여기서, IoU(Intersection over Union)는 화폐영역생성부(130)로부터 생성된 화폐 영역들의 겹치는 정도를 나타내는 값이다. 예를 들어, 오검출처리부(150)는 화폐영역생성부(130)로부터 수신한 지폐 영역들의 IoU(Intersection over Union)가 50% 이상일 경우, Faster R-CNN에서 얻어진 검출 스코어를 기준으로 하여 가장 높은 검출 스코어를 기록한 영역을 제외한 지폐 영역을 추출한다. 오검출처리부(150)는 도 8의 (c)와 같이 가장 높은 검출스코어를 기록한 영역을 제외한 지폐 영역을 추출할 수 있다.
화폐인식부(170)는 오검출처리부(150)로부터 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행한다. 여기서, 화폐인식부(150)는 화폐 영역의 크기를 기준으로 하여 주화 영역(coin class) 및 지폐 영역(bill class)으로 분류하고, 주화 영역(coin class)과 지폐 영역(bill class)이 겹치는 크기 구간의 영역을 제외한 후 화폐 인식을 수행할 수 있다.
화폐인식부(170)는 Faster R-CNN(Faster region-convolutional neural network) 신경망을 이용하여 화폐 영역을 인식한다. 구체적으로, Faster R-CNN 신경망은 학습된 ResNet-18을 특징 추출기(feature extractor)로 사용하여 특징맵(feature map)을 추출하며, 이후 RPN(Region Proposal Network) 네트워크 및 분류기(classifier)를 거쳐 화폐 인식을 수행한다.
도 9를 참조하면, ResNet-18의 입력 레이어(input layer)는 224×224×3 크기의 특징맵을 입력값으로 한다. 컨볼루션 1 레이어는(Conv1)은 크기가 7×7×3인 64개의 필터를 사용하며, 2×2의 스트라이드 및 3×3의 패딩을 사용하고, 112×112×64 크기의 특징맵을 출력한다. 맥스풀링 레이어(max pooling layer)는 2×2의 스트라이드를 사용하고, 입력 크기의 절반인 56×56×64의 특징맵을 출력한다. 컨볼루션 2 레이어(Conv2)는3×3×64사이즈의 필터, 1×1의 패딩 및 스트라이드를 사용한다. 컨볼루션 3 레이어(Conv3)는 3×3×128, 3×3×64 및 1×1×64사이즈의 필터를 사용한다. ResNet-18은 컨볼루션 3 레이어(conv3), 컨볼루션 4 레이어(conv4) 및 컨볼루션 5 레이어(con5)를 거쳐 7×7×512 크기의 특징맵을 출력한다.
도 10 및 도 11을 참조하면, RPN네트워크 및 검출기는 앞서 설명한 도 4 및 도 5의 RPN네트워크 및 검출기와 같은 레이어 수, 필터 수, 스트라이드 및 패딩 수로 구성된다. RPN네트워크 및 검출기는 특징맵을 입력으로 하여 최종적으로 화폐 인식 수행 결과를 출력한다.
화폐인식부(170)는 도 12와 같이 화폐의 영역 및 화폐의 금액을 출력할 수 있다.
도 13 내지 도 17은 본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 장치의 검출 성능을 나타내는 도면이다.
도 13 내지 도 17에서 딥러닝 기반 화폐 인식 장치(10)는 DKB v1의 6400장 영상을 3200장씩 학습 데이터셋과 테스트 데이터셋으로 나누어 교차 검증을 수행하였으며, 학습된 모델의 정확성을 확인하기 위해 DKB v1 및 JOD 를 이용하여 테스트를 진행하였다.
여기서, DKB v1은 10, 50, 100, 500, 1000, 5000, 10000, 50000 원 총 8 클래스의 화폐를 포함하는 데이터베이스이다. DKB v1 각 클래스당 800장씩 총 6400장으로 구성된다. JOD은 1 Qirsh, 5, 10 Piastres, 1/4, 1/2, 1, 5, 10, 20 Dinars 총 9클래스의 화폐를 포함하는 데이터베이스이며, 총 330 장으로 구성된다.
도 13을 참조하면, 딥러닝 기반 화폐 인식 장치(10)가 사용하는 Faster R-CNN신경망은 detection threshold 값을 변경할 때마다 다른 recall, precision및 F1 score 값을 출력한다. 구체적으로, Faster R-CNN신경망은 detection threshold 이 증가할 때 recall 값은 감소하고, precision값은 증가한다. recall은 실제 화폐 영역 수 중에서 생성된 화폐 영역의 수를 나타내는 값이고, precision은 생성된 화폐 영역 수 중에서 실제 화폐 영역의 수를 나타내는 값이며, F1 score는 recall 및 precision의 조화 평균값이다.
본 발명의 일 실시 예에 따른 화폐영역생성부(130)는 생성되는 화폐 영역의 수를 높이기 위해 recall값이 가장 높을 때의 detection threshold 값을 설정할 수 있다. 이후, 딥러닝 기반 화폐 인식 장치는 오검출영역 추출 및 화폐 인식 과정을 통해 화폐 인식의 정확도를 높일 수 있다.
도 14를 참조하면, 딥러닝 기반 화폐 인식 장치(10)는 오검출처리부(150)를 통해 오검출 영역을 추출했을 때 더 효과적인 화폐 인식 성능을 나타내는 것을 확인할 수 있다. 구체적으로, 딥러닝 기반 화폐 인식 장치(10)는 생성된 화폐 영역의 크기를 이용하여 오검출 영역을 추출(1st step)했을 때보다, 추가로 가로 대 세로 비율을 이용하여 오검출 영역을 더 추출(2nd step)하고, 이후에 IoU(Intersection over Union)를 이용하여 오검출 영역을 더 추출(3rd step)했을 때 가장 높은 precision 및 F1 score 값을 나타낸다. 이 때, 지폐의 오검출 영역 추출을 수행했을 때의 recall값은 지폐 및 주화의 오검출 영역 추출을 모두 수행했을 때의 recall값보다 높으며, precsion 및 F1 score값은 지폐 및 주화의 오검출 영역 추출을 모두 수행했을 때의 precsion 및 F1 score값보다 낮다. 본 발명의 일 실시 예에 따른 오검출처리부(150)는 앞서 도 13에서 설명한 바와 같이 recall값을 최대로 하여 화폐 인식 과정을 거침으로써 화폐 인식의 정확도를 높일 수 있도록 지폐 영역의 IoU(Intersection over Union)를 이용하여 지폐의 오검출 영역만을 추출할 수 있다.
도 15를 참조하면, 딥러닝 기반 화폐 인식 장치(10)는 DKB v1 및 JOD의 각 데이터를 이용하여 주화 영상, 지폐 영상 및 지폐와 주화가 함께 포함된 영상에 대한 화폐 인식을 실시하였을 때의 정확도를 나타낸다. 딥러닝 기반 화폐 인식 장치(10)는 지폐 영상을 인식한 경우가 주화 영상을 인식한 것에 비해 상대적으로 높은 정확도를 나타내는 것을 확인할 수 있다.
도 16 및 도 17을 참조하면, 딥러닝 기반 화폐 인식 장치(10)는 기존 영상 인식 모델과의 인식 성능을 비교하였을 때, 주화 영상, 지폐 영상 및 지폐와 주화가 함께 포함된 영상에서 더 좋은 인식 성능을 나타낸다. 본 발명의 일 실시 예에 따른 Faster R-CNN신경망은 기존 영상 검출 모델보다 더 효과적인 검출 성능을 나타내는 것을 확인할 수 있다.
도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반 화폐 인식 방법을 나타내는 도면이다.
도 18을 참조하면, 단계 S1810에서 딥러닝 기반 화폐 인식 장치(10)는 화폐 인식을 수행하는 과정에서 필요한 화폐 영상을 수신한다. 예를 들어, 딥러닝 기반 화폐 인식 장치(10)는 주화 영상 또는 지폐 영상을 수신할 수 있다.
단계 S1830에서 딥러닝 기반 화폐 인식 장치(10)는 입력부(110)로부터 수신한 화폐 영상에서 화폐 영역을 생성한다. 구체적으로, 딥러닝 기반 화폐 인식 장치(10)는 Faster R-CNN(Faster region-convolutional neural network) 신경망을 이용하여 화폐 영역을 생성한다. 여기서, Faster R-CNN(faster region-convolutional neural network) 신경망은 RPN(Region Proposal Network) 네트워크를 기반으로 한 객체 검출 모델이다. RPN(Region Proposal Network) 네트워크는 영상을 입력 받아 사각형 형태의 물체 영역을 검출하며, 기존의 R-CNN(Region-convolutional neural network), Fast R-CNN(Faster Region-convolutional neural network)보다 빠른 검출 시간 및 검출 정확도를 나타낸다.
단계 S1850에서 딥러닝 기반 화폐 인식 장치(10)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 화폐 영역에서 오검출된 화폐 영역을 추출한다. 오검출된 화폐 영역은 영상 내 화폐가 위치하지 않은 곳에 검출된 화폐 영역이거나, 금액이 잘못 분류된 화폐 영역일 수 있다.
예를 들어, 딥러닝 기반 화폐 인식 장치(10)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 지폐 영역 또는 주화 영역의 가로 대 세로 비율이 미리 설정된 비율 범위 내에 해당되지 않을 경우 해당 화폐 영역을 추출할 수 있다. 이 때, 딥러닝 기반 화폐 인식 장치(10)는 학습 데이터를 이용하여 지폐 또는 주화의 가로 대 세로의 최소 비율 및 최대 비율을 설정할 수 있다.
또한, 딥러닝 기반 화폐 인식 장치(10)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 지폐 영역 또는 주화 영역의 크기가 미리 설정된 기준 범위에 해당되지 않을 경우 해당 화폐 영역을 추출할 수 있다. 딥러닝 기반 화폐 인식 장치(10)는 도 7과 같이 학습 데이터를 통해 주화 영역(coin class) 및 지폐 영역(bill class)의 크기 범위를 설정할 수 있다.
또한, 딥러닝 기반 화폐 인식 장치(10)는 화폐영역생성부(130)로부터 수신한 영상에 포함된 지폐 영역들의 IoU(Intersection over Union)가 일정값 이상일 경우, 지폐 영역들 중 검출 스코어가 낮은 지폐 영역을 추출할 수 있다. 여기서, IoU(Intersection over Union)는 화폐영역생성부(130)로부터 생성된 화폐 영역들의 겹치는 정도를 나타내는 값이다. 예를 들어, 딥러닝 기반 화폐 인식 장치(10)는 화폐영역생성부(130)로부터 수신한 지폐 영역들의 IoU(Intersection over Union)가 50% 이상일 경우, Faster R-CNN에서 얻어진 검출 스코어를 기준으로 하여 가장 높은 검출 스코어를 기록한 영역을 제외한 지폐 영역을 추출한다.
단계 S1870에서 딥러닝 기반 화폐 인식 장치(10)는 오검출처리부(150)로부터 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행한다. 여기서, 딥러닝 기반 화폐 인식 장치(10)는 화폐 영역의 크기를 기준으로 하여 주화 영역(coin class) 및 지폐 영역(bill class)으로 분류하고, 주화 영역(coin class)과 지폐 영역(bill class)이 겹치는 크기 구간의 영역을 제외한 후 화폐 인식을 수행할 수 있다.
딥러닝 기반 화폐 인식 장치(10)는 Faster R-CNN(Faster region-convolutional neural network) 신경망을 이용하여 화폐 영역을 인식한다. 구체적으로, Faster R-CNN 신경망은 학습된 ResNet-18을 특징 추출기(feature extractor)로 사용하여 특징맵(feature map)을 추출하며, 이후 RPN(Region Proposal Network) 네트워크 및 분류기(classifier)를 거쳐 화폐 인식을 수행한다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 지하철특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
삭제
110: 입력부
130: 화폐영역생성부
150: 오검출처리부
170: 화폐인식부

Claims (8)

  1. 딥러닝 기반 화폐 인식 장치에 있어서,
    화폐 영상을 입력받는 입력부;
    상기 입력된 영상에서 화폐 영역을 생성하는 화폐영역생성부;
    상기 생성된 화폐 영역에서 생성된 화폐 영역의 크기, 가로 대 세로 비율 및 IoU(Intersection over Union) 중 적어도 하나를 이용하여 오검출된 화폐 영역을 추출하는 오검출처리부; 및
    상기 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행하는 화폐인식부를 포함하는 딥러닝 기반 화폐 인식 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 화폐인식부는
    Faster R-CNN(faster region-convolutional neural network) 신경망을 통해 화폐 인식을 수행하는 딥러닝 기반 화폐 인식 장치.
  4. 제 1항에 있어서,
    상기 화폐인식부는
    화폐 영역의 크기를 기준으로 하여 주화 영역 및 지폐 영역으로 분류하고, 주화 영역과 지폐 영역이 겹치는 크기 구간의 영역을 제외한 후 화폐 인식을 수행하는 딥러닝 기반 화폐 인식 장치.
  5. 딥러닝 기반 화폐 인식 방법에 있어서,
    화폐 영상을 입력받는 단계;
    상기 입력된 영상에서 화폐 영역을 생성하는 단계;
    상기 생성된 화폐 영역에서 생성된 화폐 영역의 크기, 가로 대 세로 비율 및 IoU(Intersection over Union) 중 적어도 하나를 이용하여 오검출된 화폐 영역을 추출하는 단계; 및
    상기 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행하는 단계를 포함하는 딥러닝 기반 화폐 인식 방법.
  6. 삭제
  7. 제 5항에 있어서,
    상기 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행하는 단계는
    Faster R-CNN(faster region-convolutional neural network) 신경망을 통해 화폐 인식을 수행하는 딥러닝 기반 화폐 인식 방법.
  8. 제 5항에 있어서,
    상기 추출된 오검출 영역을 제외한 화폐 영역에 대한 화폐 인식을 수행하는 단계는
    화폐 영역의 크기를 기준으로 하여 주화 영역 및 지폐 영역으로 분류하고, 주화 영역과 지폐 영역이 겹치는 크기 구간의 영역을 제외한 후 화폐 인식을 수행하는 딥러닝 기반 화폐 인식 방법.

KR1020200122738A 2020-09-23 2020-09-23 딥러닝 기반 화폐 인식 장치 및 방법 KR102394894B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200122738A KR102394894B1 (ko) 2020-09-23 2020-09-23 딥러닝 기반 화폐 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122738A KR102394894B1 (ko) 2020-09-23 2020-09-23 딥러닝 기반 화폐 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220040531A KR20220040531A (ko) 2022-03-31
KR102394894B1 true KR102394894B1 (ko) 2022-05-09

Family

ID=80934741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200122738A KR102394894B1 (ko) 2020-09-23 2020-09-23 딥러닝 기반 화폐 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102394894B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663332B1 (ko) * 2023-12-14 2024-05-03 호서대학교 산학협력단 동전 분류장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718728B1 (ko) 2005-07-21 2007-05-16 주식회사 씨텍 지폐 권종 인식 방법 및 장치
JP2010066981A (ja) 2008-09-10 2010-03-25 Ricoh Co Ltd 画像処理装置、画像処理方法、制御プログラム及び記録媒体
KR102135479B1 (ko) * 2020-05-09 2020-07-17 주식회사 디퍼아이 인공 지능형 동전 계수 장치 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988339B1 (ko) * 2017-11-13 2019-10-01 동국대학교 산학협력단 유전 알고리즘 기반 지폐 식별 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718728B1 (ko) 2005-07-21 2007-05-16 주식회사 씨텍 지폐 권종 인식 방법 및 장치
JP2010066981A (ja) 2008-09-10 2010-03-25 Ricoh Co Ltd 画像処理装置、画像処理方法、制御プログラム及び記録媒体
KR102135479B1 (ko) * 2020-05-09 2020-07-17 주식회사 디퍼아이 인공 지능형 동전 계수 장치 및 그 방법

Also Published As

Publication number Publication date
KR20220040531A (ko) 2022-03-31

Similar Documents

Publication Publication Date Title
CN104464079B (zh) 基于模板特征点及其拓扑结构的多币种面值识别方法
Pham et al. Deep learning-based fake-banknote detection for the visually impaired people using visible-light images captured by smartphone cameras
JP5372183B2 (ja) 硬貨分類装置および硬貨分類方法
Longjam et al. Writer independent handwritten signature verification on multi-scripted signatures using hybrid CNN-BiLSTM: A novel approach
CN102722708A (zh) 一种薄片类介质分类方法及其装置
Kruthi et al. Offline signature verification using support vector machine
KR102123910B1 (ko) 머신 러닝을 이용한 지폐 일련번호 인식 장치 및 방법
US9460345B2 (en) Apparatus and method for recognizing media, financial device
KR102394894B1 (ko) 딥러닝 기반 화폐 인식 장치 및 방법
Berenguel et al. Evaluation of texture descriptors for validation of counterfeit documents
JP4932177B2 (ja) 硬貨分類装置および硬貨分類方法
Rashid et al. On the design of embedded solutions to banknote recognition
EP3410409B1 (en) Media security validation
Abbas An image processor bill acceptor for Iraqi currency
KR101988339B1 (ko) 유전 알고리즘 기반 지폐 식별 장치 및 방법
Sanchez A computer vision-based banknote recognition system for the blind with an accuracy of 98% on smartphone videos
Olanrewaju et al. Automated bank note identification system for visually impaired subjects in malaysia
Ibitoye Fake currency detection using modified faster region-based convolutional neural network
Pujiputra et al. Ultraviolet rupiah currency image recognition using Gabor wavelet
Abhirami et al. Currency identification device for visually impaired people based on YOLO-v5
Zainuddin et al. Malaysian coins recognition using machine learning methods
Chauhan et al. Fake Faces Unveiled: A Comprehensive Study on Detecting Generated Facial Images
Reddy et al. Signature Forgery Detection using Siamese-Convolutional Neural Network
Miranda Rosero et al. Fake Indian Currency Detection App.
KR20230119999A (ko) Yolo 알고리즘 기반의 은행권 식별 시스템 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200923

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220218

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220429

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220502

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220503

End annual number: 3

Start annual number: 1

PG1601 Publication of registration