KR102632091B1 - 영상 인식 기반 지폐 일련번호 인식 장치 및 방법 - Google Patents

영상 인식 기반 지폐 일련번호 인식 장치 및 방법 Download PDF

Info

Publication number
KR102632091B1
KR102632091B1 KR1020210016890A KR20210016890A KR102632091B1 KR 102632091 B1 KR102632091 B1 KR 102632091B1 KR 1020210016890 A KR1020210016890 A KR 1020210016890A KR 20210016890 A KR20210016890 A KR 20210016890A KR 102632091 B1 KR102632091 B1 KR 102632091B1
Authority
KR
South Korea
Prior art keywords
serial number
banknote
image recognition
dataset
data
Prior art date
Application number
KR1020210016890A
Other languages
English (en)
Other versions
KR20220113592A (ko
Inventor
이의철
장우혁
이건영
전수민
석채린
신광용
이덕형
김수미
김상오
Original Assignee
상명대학교산학협력단
기산전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단, 기산전자 주식회사 filed Critical 상명대학교산학협력단
Priority to KR1020210016890A priority Critical patent/KR102632091B1/ko
Publication of KR20220113592A publication Critical patent/KR20220113592A/ko
Application granted granted Critical
Publication of KR102632091B1 publication Critical patent/KR102632091B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)

Abstract

본 발명은 영상 인식 기반의 지폐 일련번호 인식 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 영상 인식 기반의 지폐 일련번호 인식 장치는 배경과 문자의 구분이 모호한 다종 지폐의 일련번호를 용이하게 인식할 수 있다.

Description

영상 인식 기반 지폐 일련번호 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING SERIAL NUMBER OF PAPER MONEY BASED ON IMAGE RECOGNITION}
본 발명은 지폐 일련번호 인식 기술에 관한 것으로, 더욱 상세하게는 영상 인식을 기반으로 지폐 일련번호를 인식하는 장치 및 방법에 관한 것이다.
지폐 인식장치는 투입되는 지폐의 권종을 판별하고, 위폐/진폐를 판별하는 장치로서, 자동판매기나 동전교환기, 현금 자동 입출금기 등의 다양한 단말기기에 적용되고 있다.
지폐의 권종, 위폐/진폐 등의 판별을 위해 지폐에 포함된 일련번호를 인식하는 방법이 이용되고 있으며, 고속의 지폐 개수 시에 일련번호를 실시간으로 인식하는 SVM(Support Vector Machine) 기반 인식 기술이 주로 사용되고 있다.
그러나, 고속 지폐 개수 시 지폐의 일련번호 영역과 렌즈 사이의 거리가 미세하게 변하여 초점이 맞지 않아 일련번호 영역과 배경의 경계가 모호해지는 문제가 발생하며, 지폐 일련번호 영역의 배경 패턴이 복잡하고 일련번호 영역과 배경의 픽셀 값 또는 스타일이 비슷한 경우, 기존 SVM기반 기술을 사용하여 높은 인식 성능을 달성하는데 한계가 있다.
또한, 지폐 오염, 마모, 구겨짐 등으로 인한 배경의 변화 또는 일련번호 영역의 부분적 손상으로 인해 일련 번호 인식 성능이 저하되는 문제가 있다.
본 발명의 배경기술은 대한민국 등록특허 제10-1391583호에 게시되어 있다.
본 발명은 다양한 국가권 지폐에서 영상 인식을 기반으로 일련번호 영역을 인식하는 영상 인식 기반 지폐 일련번호 인식 장치를 제공하는 것이다.
본 발명은 데이터 증강을 통해 영상 인식 모델에 입력되는 데이터의 양이 적을 경우에 발생하는 과적합을 방지할 수 있는 영상 인식 기반 지폐 일련번호 인식 장치를 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 영상 인식 기반의 지폐 일련번호 인식 장치가 제공된다.
본 발명의 일 실시 예에 따른 영상 인식 기반의 지폐 일련번호 인식 장치는 일련번호를 가지는 지폐 영상을 입력하는 입력부, 입력된 지폐 영상에서 지폐 일련번호 영역을 추출하고 지폐 일련번호 영역데이터를 생성하는 영역추출부, 지폐 일련번호 영역을 입력 값으로 하는 영상 인식 모델을 학습하고 평가하기 위한 데이터셋을 생성하는 데이터셋 생성부, 데이터셋 생성부로부터 생성된 데이터셋을 기초로 하여 영상 인식 모델을 학습하는 모델학습부 및 학습된 영상 인식 모델을 통해 지폐 일련번호 영역에 대한 인식을 수행하는 인식부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 영상 인식 기반의 지폐 일련번호 인식 방법이 제공된다.
본 발명의 일 실시 예에 따른 영상 인식 기반의 지폐 일련번호 인식 방법은 일련번호를 가지는 지폐 영상을 입력하는 단계, 입력된 지폐 영상에서 지폐 일련번호 영역을 추출하고 지폐 일련번호 영역데이터를 생성하는 단계, 지폐 일련번호 영역을 입력 값으로 하는 영상 인식 모델을 학습하고 평가하기 위한 데이터셋을 생성하는 단계, 데이터셋 생성부로부터 생성된 데이터셋을 기초로 하여 영상 인식 모델을 학습하는 단계 및 학습된 영상 인식 모델을 통해 지폐 일련번호 영역에 대한 인식을 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 영상 인식 기반 지폐 일련번호 인식 장치는 다양한 국가권 지폐에서 영상 인식을 기반으로 일련번호 영역을 인식할 수 있다.
본 발명의 실시예에 따르면, 영상 인식 기반 지폐 일련번호 인식 장치는 데이터 증강을 통해 영상 인식 모델에 입력되는 데이터의 양이 적을 경우에 발생하는 과적합을 방지할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1 내지 도 16은 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 장치를 설명하기 위한 도면들.
도 17 및 도 18은 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 장치의 성능을 예시한 도면들.
도 19는 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 방법을 설명하기 위한 도면.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1 내지 도 16은 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 입력부(110), 영역추출부(130), 데이터셋 생성부(150), 모델학습부(170) 및 인식부(190)를 포함한다.
입력부(110)는 도형, 문자, 숫자 중 어느 하나 이상의 조합으로 구성되는 일련번호를 가지는 지폐 영상을 입력한다. 이 때, 지폐 영상은 대한민국 원(KRW)을 포함할 수 있으며, 미국 달러(USD), 러시아 루블(RUB), 일본 엔(JPY) 및 인도 루피(INR) 등 다수 국가의 지폐 영상을 더 포함할 수 있다.
본 발명에서는 총 5개 국가의 지폐를 도시하였으나, 이는 도안화의 편의를 위해 일 예를 선택한 것에 불과하며, 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 장치(100)에 입력되는 지폐는 이에 한정되지 아니한다.
영역추출부(130)는 입력부(110)로부터 입력된 지폐 영상에서 지폐 일련번호 영역을 추출하고 지폐 일련번호 영역데이터를 생성한다. 구체적으로, 지폐 일련번호 영역데이터는 좌표데이터, 크기데이터 등을 포함할 수 있다.
또한, 영역추출부(130)는 도 2와 같이 총 추출된 지폐 일련번호 영역에 대한 조정을 수행할 수 있다. 구체적으로, 영역추출부(130)는 지폐 일련번호 인식의 정확도를 높이기 위해 추출된 지폐 일련번호 영역의 크기 또는 좌표 중 적어도 하나를 조정할 수 있으며, 조정된 지폐 일련번호 영역의 좌표데이터 및 크기데이터를 생성할 수 있다.
영역추출부(130)는 지폐 일련번호 영역에 대한 조정을 통해 지폐 일련번호 영역의 좌표데이터 및 크기데이터를 생성할 수 있다.
다시 도 1을 참조하면, 데이터셋 생성부(150)는 지폐 일련번호 영역을 입력 값으로 하는 영상 인식 모델을 학습하고 평가하기 위한 데이터셋을 생성한다. 구체적으로, 데이터셋 생성부(150)는 도 3과 같이 지폐 일련번호 영역(.bmp), 좌표데이터(xmin, xmax, ymin, ymax)를 포함할 수 있으며, 도 4와 같이 각 국가권 분류 아이디 개수에 따른 분류 아이디 데이터(class_id)를 포함하여 csv 파일 형식으로 데이터셋을 생성할 수 있다.
여기서, 데이터셋은 모델을 학습하기 위한 훈련 데이터셋(Train dataset), 학습 완료된 모델을 검증하기 위한 검증 데이터셋(Validation dataset) 및 학습과 검증이 완료된 모델의 성능을 평가하기 위한 테스트 데이터셋(Test dataset)으로 구분할 수 있다. 데이터셋 생성부(150)는 훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋을 국가별로 각각 생성한다.
도 5를 참조하면, 데이터셋 생성부(150)는 훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋의 비중을 설정할 수 있다. 예를 들어, 데이터셋 생성부(150)는 러시아 루블(RUB)일 경우, 데이터셋의 비중을 훈련 데이터셋(80%), 검증 데이터셋(5%), 테스트 데이터셋(15%)로 설정할 수 있으며, 대한민국 원(KRW), 미국 달러(USD), 일본 엔(JPY) 또는 인도 루피(INR)일 경우, 데이터셋의 비중을 훈련 데이터셋(70%), 검증 데이터셋(15%), 테스트 데이터셋(15%)으로 설정할 수 있다.
데이터셋 생성부(150)는 영상 인식 모델의 성능을 확인하기 위해 도 6과 같이 지폐 일련번호 영역에 대한 훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋을 총 2개씩 구성할 수도 있다.
또한, 데이터셋 생성부(150)는 생성된 훈련 데이터셋에 대한 데이터 증강(Data Augmentation)을 수행하여 데이터를 추가 생성할 수 있다.
구체적으로, 데이터셋 생성부(150)는 국가별 지폐 영상에 따라 훈련 데이터셋에 포함된 지폐 일련번호 영역에 대해 이동(shift), 회전, 노이즈 제거(blur) 등을 수행하여 데이터셋을 구성하는 데이터를 추가 생성할 수 있다. 예를 들어, 데이터셋 생성부(150)는 러시아 루블(RUB)의 지폐 일련번호 영역을 도 7과 같이 표시된 꼭짓점이 위치한 방향(상, 하, 좌, 우 및 대각선)으로 기 설정된 범위만큼 이동하여 도 8과 같이 14개의 데이터를 추가 생성할 수 있으며, 기존 데이터를 포함하여 총 15개의 훈련 데이터를 생성할 수 있다.
또한, 데이터셋 생성부(150)는 대한민국 원(KRW), 미국 달러(USD), 일본 엔(JPY) 또는 인도 루피(INR)의 지폐 일련번호 영역을 도 9와 같이 표시된 화살표 방향(상, 하, 좌, 우 및 대각선)으로 기 설정된 범위만큼 이동하여 도 10과 같이 9개의 데이터를 추가 생성할 수 있으며, 기존 데이터를 포함하여 총 10개의 훈련 데이터를 생성할 수 있다.
여기서, 데이터셋 생성부(150)는 생성된 데이터에 대한 노이즈 제거 및/또는 회전을 추가로 수행할 수 있다. 데이터셋 생성부(150)는 노이즈 제거를 수행할 경우, 3×3 가우시안블러(GaussianBlur)를 사용할 수 있다. 또한, 데이터셋 생성부(150)는 회전을 수행할 경우 회전 범위를 지폐 일련번호 영역의 중심을 기준으로 -1°에서 +1° 로 지정할 수 있다.
데이터셋 생성부(150)는 지폐 일련번호 영역에 대한 이동, 회전, 노이즈 제거 등을 통해 15배 또는 10배의 데이터를 추가로 생성하는 데이터 증강을 수행함으로써 영상 인식 모델을 학습하는 데 필요한 데이터를 충분히 확보할 수 있으며, 영상 인식 모델에 입력되는 데이터의 양이 적을 경우에 발생하는 과적합(overfitting)을 방지할 수 있다. 또한, 데이터셋 생성부(150)는 국가별 지폐 영상에 따라 다양한 증강 방법을 이용하여 데이터의 특징을 효과적으로 반영한 데이터셋을 생성할 수 있다.
다시 도 1을 참조하면, 모델학습부(170)는 데이터셋 생성부(150)로부터 생성된 국가별 데이터셋을 기초로 하여 영상 인식 모델을 학습한다. 구체적으로, 모델학습부(170)는 도 11과 같이 영상 인식 모델로 덴스넷(DenseNet, Densely Connected Convolutional Networks) 네트워크 및 싱글 샷 멀티박스 디텍터(SSD, Single Shot Multibox Detector)를 이용한다. 여기서, 덴스넷 네트워크는 지폐 일련번호 인식에 사용될 특징을 추출하고, 싱글 샷 멀티박스 디텍터는 국소화(localization) 및 분류(classification)를 수행한다.
도 12를 참조하면, 덴스넷은 여러 개의 덴스 블록 구조(Dense block)와 트랜지션 레이어 구조(Transition layers)들로 이루어진 네트워크로, 덴스 블록은 다수의 덴스 레이어(Dense layers)로 구성된다. 덴스 블록 및 트랜지션 레이어는 입력(input), 배치 정규화(batch norm), 정류 선형 유닛(relu), 컨볼루션(conv) 및 출력(output) 순으로 진행되어 특징맵(feature map)을 추출한다.
싱글 샷 멀티박스 디텍터는 추출된 특징맵에 대해 국소화(localization) 및 분류(classification)를 수행한다. 구체적으로, 싱글 샷 멀티박스 디텍터는 앵커 박스(Anchor box)를 도 13과 같이 생성하여 앵커 박스와 그라운드 트루스 박스(Ground truth box)와의 IoU 값이 0.5 이상일 경우, 알맞은 것(1)으로 학습하고, IoU 값이 0.5 미만일 경우 배경(0)으로 학습한다.
여기서, IoU는 영역 인식의 정확도 측정에 이용되는 평가 지표로, 도 14과 같이 앵커 박스와 그라운드 트루스 박스(Ground truth box)의 교집합(area of overlab)과, 앵커 박스와 그라운드 트루스 박스의 합집합(area of unin)을 이용하여 산출한다.
이후, 싱글 샷 멀티박스 디텍터는 비-최대 억제(non-max suppression)를 수행하여 최종 분류 아이디(class id) 및 바운딩 박스(=앵커 박스)를 출력한다. 비-최대 억제는 싱글 샷 멀티박스 디텍터가 예측한 바운딩 박스 중에서 가장 정확한 바운딩 박스를 선택하도록 하는 처리 기법으로, 신뢰도 임계치(confidence threshold) 와 IoU 임계치(IoU threshold)을 이용하여 바운딩 박스를 도출한다.
구체적으로, 싱글 샷 멀티박스 디텍터는 학습 모델에서 추출된 많은 바운딩 박스들을 정렬시킨 후, 신뢰도 임계치(confidence threshold) 이하 값은 0으로 변경한다.
이후, 싱글 샷 멀티박스 디텍터는 신뢰도 임계치(confidence threshold)로 필터링 된 데이터에서 가장 큰 신뢰도(confidence) 값을 가지는 바운딩 박스를 A로 지칭한다.
또한, 싱글 샷 멀티박스 디텍터는 나머지 confidence 값에 해당되는 바운딩 박스를 B로 지칭한다.
마지막으로, 싱글 샷 멀티박스 디텍터는 A와 B간에 IoU를 계산하고 IoU 임계치(IoU threshold) 이하 값은 0으로 변경하여 최종 분류 아이디 및 바운딩 박스를 추출한다.
도 15를 참조하면, 모델학습부(170)는 러시아 루블(RUB) 데이터셋을 이용한 영상 인식 모델 학습 결과 이미지 및 이에 따른 Loss 그래프를 출력할 수 있다. 모델학습부(170)는 덴스넷 네트워크 및 싱글 샷 멀티박스 디텍터 학습 결과 Loss 그래프 출력을 통해 학습 로스(Train loss), 검증 로스(Val loss) 및 에포크(Epoch)값을 제공한다.
다시 도 1을 참조하면, 인식부(190)는 학습된 영상 인식 모델을 통해 지폐 일련번호 영역에 대한 인식을 수행한다. 인식부(190)는 도 16과 같이 인식 결과 이미지 출력을 통해 바운딩 박스를 표시하고, 도형, 문자, 숫자 중 어느 하나 이상의 조합으로 구성되는 일련번호를 나타낼 수 있다.
도 17 및 도 18은 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 장치의 성능을 예시한 도면들이다.
도 17 및 도 18을 참조하면, 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 장치(100)의 정확도 평가 결과, 러시아 루블(RUB)의 훈련 데이터셋(Train dataset), 검증 데이터셋(Validation dataset) 및 테스트 데이터셋(Test dataset)에 대한 모델 정확도는 100%인 것으로 확인되었다. 이 때, 신뢰도 임계치(confidence threshold)는 0.63, IoU 임계치(IoU threshold)는 0.1, Top k는 100로 설정하였다. 또한, 대한민국 원(KRW), 미국 달러(USD), 일본 엔(JPY) 및 인도 루피(INR)의 훈련 데이터셋(Train dataset), 검증 데이터셋(Validation dataset) 및 테스트 데이터셋(Test dataset)에 대한 모델 정확도는 99.94~100%인 것으로 확인되었다. 이 때, 신뢰도 임계치(confidence threshold)는 0.43, IoU 임계치(IoU threshold)는 0.1, Top k는 100로 설정하였다.
도 19 본 발명의 일 실시 예에 따른 영상 인식 기반 지폐 일련번호 인식 방법을 설명하기 위한 도면이다.
도 19를 참조하면, 단계 S1901에서 영상 인식 기반 지폐 일련번호 인식 장치(100)는 도형, 문자, 숫자 중 어느 하나 이상의 조합으로 구성되는 일련번호를 가지는 지폐 영상을 입력한다. 이 때, 지폐 영상은 대한민국 원(KRW)을 포함할 수 있으며, 미국 달러(USD), 러시아 루블(RUB), 일본 엔(JPY) 및 인도 루피(INR) 등 다수 국가의 지폐 영상을 더 포함할 수 있다.
단계 S1903에서 영상 인식 기반 지폐 일련번호 인식 장치(100)는 입력부로부터 입력된 지폐 영상에서 지폐 일련번호 영역을 추출하고 지폐 일련번호 영역데이터를 생성한다. 구체적으로, 지폐 일련번호 영역데이터는 좌표데이터, 크기데이터 등을 포함할 수 있다.
또한, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 총 추출된 지폐 일련번호 영역에 대한 조정을 수행할 수 있다. 구체적으로, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 지폐 일련번호 인식의 정확도를 높이기 위해 추출된 지폐 일련번호 영역의 크기 또는 좌표 중 적어도 하나를 조정할 수 있으며, 조정된 지폐 일련번호 영역의 좌표데이터 및 크기데이터를 생성할 수 있다.
영상 인식 기반 지폐 일련번호 인식 장치(100)는 지폐 일련번호 영역에 대한 조정을 통해 지폐 일련번호 영역의 좌표데이터 및 크기데이터를 생성할 수 있다.
단계 S1905에서 영상 인식 기반 지폐 일련번호 인식 장치(100)는 지폐 일련번호 영역을 입력 값으로 하는 영상 인식 모델을 학습하고 평가하기 위한 데이터셋을 생성한다. 구체적으로, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 지폐 일련번호 영역(.bmp), 좌표데이터(xmin, xmax, ymin, ymax)를 포함할 수 있으며, 각 국가권 분류 아이디 개수에 따른 분류 아이디 데이터(class_id)를 포함하여 csv 파일 형식으로 데이터셋을 생성할 수 있다. 영상 인식 기반 지폐 일련번호 인식 장치(100)는 훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋을 국가별로 각각 생성한다.
영상 인식 기반 지폐 일련번호 인식 장치(100)는 훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋의 비중을 설정할 수 있다. 예를 들어, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 러시아 루블(RUB)일 경우, 데이터셋의 비중을 훈련 데이터셋(80%), 검증 데이터셋(5%), 테스트 데이터셋(15%)로 설정할 수 있으며, 대한민국 원(KRW), 미국 달러(USD), 일본 엔(JPY) 또는 인도 루피(INR)일 경우, 데이터셋의 비중을 훈련 데이터셋(70%), 검증 데이터셋(15%), 테스트 데이터셋(15%)로 설정할 수 있다.
영상 인식 기반 지폐 일련번호 인식 장치(100)는 영상 인식 모델의 성능을 확인하기 위해 지폐 일련번호 영역에 대한 훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋을 총 2개씩 구성할 수도 있다.
또한, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 생성된 훈련 데이터셋에 대한 데이터 증강(Data Augmentation)을 수행하여 데이터를 추가 생성할 수 있다.
구체적으로, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 국가별 지폐 영상에 따라 훈련 데이터셋에 포함된 지폐 일련번호 영역에 대해 이동(shift), 회전, 노이즈 제거(blur) 등을 수행하여 데이터셋을 구성하는 데이터를 추가 생성할 수 있다. 예를 들어, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 러시아 루블(RUB)의 지폐 일련번호 영역을 앞서 설명한 도 7과 같이 표시된 꼭짓점이 위치한 방향(상, 하, 좌, 우 및 대각선)으로 기 설정된 범위만큼 이동하여 앞서 설명한 도 8과 같이 14개의 데이터를 추가 생성할 수 있으며, 기존 데이터를 포함하여 총 15개의 훈련 데이터를 생성할 수 있다.
또한, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 대한민국 원(KRW), 미국 달러(USD), 일본 엔(JPY) 또는 인도 루피(INR)의 지폐 일련번호 영역을 앞서 설명한 도 9와 같이 표시된 화살표 방향(상, 하, 좌, 우 및 대각선)으로 기 설정된 범위만큼 이동하여 앞서 설명한 도 10과 같이 9개의 데이터를 추가 생성할 수 있으며, 기존 데이터를 포함하여 총 10개의 훈련 데이터를 생성할 수 있다.
여기서, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 생성된 데이터에 대한 노이즈 제거 및/또는 회전을 추가로 수행할 수 있다. 영상 인식 기반 지폐 일련번호 인식 장치(100)는 노이즈 제거를 수행할 경우, 3×3 가우시안블러(GaussianBlur)를 사용할 수 있다. 또한, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 회전을 수행할 경우 회전 범위를 지폐 일련번호 영역의 중심을 기준으로 -1°에서 +1° 로 지정할 수 있다.
영상 인식 기반 지폐 일련번호 인식 장치(100)는 훈련 데이터의 증강을 통해 15배 또는 10배의 데이터를 추가로 생성함으로써 영상 인식 모델에 입력되는 데이터의 양이 적을 경우에 발생하는 과적합(overfitting)을 방지할 수 있다.
단계 S1907에서 영상 인식 기반 지폐 일련번호 인식 장치(100)는 데이터셋 생성부로부터 생성된 국가별 데이터셋을 기초로 하여 영상 인식 모델을 학습한다. 구체적으로, 영상 인식 기반 지폐 일련번호 인식 장치(100)는 영상 인식 모델로 덴스넷(DenseNet, Densely Connected Convolutional Networks) 네트워크 및 싱글 샷 멀티박스 디텍터(SSD, Single Shot Multibox Detector)를 이용한다. 여기서, 덴스넷 네트워크는 지폐 일련번호 인식에 사용될 특징을 추출하고, 싱글 샷 멀티박스 디텍터는 국소화(localization) 및 분류(classification)를 수행한다.
단계 S1909에서 영상 인식 기반 지폐 일련번호 인식 장치(100)는 학습된 영상 인식 모델을 통해 지폐 일련번호 영역에 대한 인식을 수행한다. 영상 인식 기반 지폐 일련번호 인식 장치(100)는 인식 결과 이미지 출력을 통해 바운딩 박스를 표시하고, 도형, 문자, 숫자 중 어느 하나 이상의 조합으로 구성되는 일련번호를 나타낼 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (9)

  1. 영상 인식 기반의 지폐 일련번호 인식 장치에 있어서,
    일련번호를 가지는 지폐 영상을 입력하는 입력부;
    상기 입력된 지폐 영상에서 지폐 일련번호 영역을 추출하고, 좌표데이터와 크기데이터를 포함하는 지폐 일련번호 영역데이터를 생성하는 영역추출부;
    상기 지폐 일련번호 영역을 입력 값으로 하는 상기 영상 인식 모델을 학습하고 평가하기 위한 데이터셋을 생성하는 데이터셋 생성부;
    상기 데이터셋 생성부로부터 생성된 데이터셋을 기초로 하여 영상 인식 모델을 학습하는 모델학습부; 및
    상기 학습된 영상 인식 모델을 통해 상기 지폐 일련번호 영역에 대한 인식을 수행하는 인식부를 포함하며,
    상기 영역추출부는 추출된 지폐 일련번호 영역의 크기 또는 좌표 중 적어도 하나를 조정하고 상기 조정된 지폐 일련번호 영역의 좌표데이터 및 크기데이터를 생성하는 것을 특징으로 하는 영상 인식 기반의 지폐 일련번호 인식 장치.
  2. 제1항에 있어서,
    상기 데이터셋은 상기 지폐 일련번호 영역, 좌표데이터, 분류 아이디 데이터를 포함하는 CSV 파일 형식으로 생성하는 영상 인식 기반의 지폐 일련번호 인식 장치.
  3. 제1항에 있어서,
    상기 데이터셋 생성부는
    훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋을 국가권별로 각각 생성하고, 상기 훈련 데이터셋에 대해 이동, 회전 또는 노이즈 제거를 수행하여 데이터셋을 구성하는 데이터를 추가 생성하는 영상 인식 기반의 지폐 일련번호 인식 장치.
  4. 제1항에 있어서,
    상기 모델학습부는
    상기 일련번호 인식에 사용될 특징맵을 추출하는 덴스넷 네트워크 및 상기 특징맵에 대해 국소화와 분류를 수행하는 싱글 샷 멀티박스 디텍터를 상기 영상 인식 모델로 이용하는 영상 인식 기반의 지폐 일련번호 인식 장치.
  5. 영상 인식 기반의 지폐 일련번호 인식 방법에 있어서,
    일련번호를 가지는 지폐 영상을 입력하는 단계;
    상기 입력된 지폐 영상에서 지폐 일련번호 영역을 추출하고 좌표데이터와 크기데이터를 포함하는 지폐 일련번호 영역데이터를 생성하는 단계;
    상기 지폐 일련번호 영역을 입력 값으로 하는 영상 인식 모델을 학습하고 평가하기 위한 데이터셋을 생성하는 단계;
    상기 생성된 데이터셋을 기초로 하여 상기 영상 인식 모델을 학습하는 단계; 및
    상기 학습된 영상 인식 모델을 통해 상기 지폐 일련번호 영역에 대한 인식을 수행하는 단계를 포함하며,
    상기 입력된 지폐 영상에서 지폐 일련번호 영역을 추출하고 좌표데이터와 크기데이터를 포함하는 지폐 일련번호 영역데이터를 생성하는 단계는 상기 추출된 지폐 일련번호 영역의 크기 또는 좌표 중 적어도 하나를 조정하고 상기 조정된 지폐 일련번호 영역의 좌표데이터 및 크기데이터를 생성하는 것을 특징으로 하는 영상 인식 기반의 지폐 일련번호 인식 방법.
  6. 제5항에 있어서,
    상기 데이터셋은 상기 지폐 일련번호 영역, 좌표데이터, 분류 아이디 데이터를 포함하는 CSV 파일 형식으로 생성하는 영상 인식 기반의 지폐 일련번호 인식 방법.
  7. 제5항에 있어서,
    상기 지폐 일련번호 영역을 입력 값으로 하는 영상 인식 모델을 학습하고 평가하기 위한 데이터셋을 생성하는 단계는
    훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋을 국각권별로 각각 생성하고, 상기 훈련 데이터셋에 대해 이동, 회전 또는 노이즈 제거를 수행하여 데이터셋을 구성하는 데이터를 추가 생성하는 영상 인식 기반의 지폐 일련번호 인식 방법.
  8. 제5항에 있어서,
    상기 생성된 데이터셋을 기초로 하여 영상 인식 모델을 학습하는 단계는
    상기 일련번호 인식에 사용될 특징을 추출하는 덴스넷 네트워크 및 국소화와 분류를 수행하는 싱글 샷 멀티박스 디텍터를 상기 영상 인식 모델로 이용하는 영상 인식 기반의 지폐 일련번호 인식 방법.
  9. 제5항 내지 제8항 중 어느 하나의 영상 인식 기반의 지폐 일련번호 인식 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

KR1020210016890A 2021-02-05 2021-02-05 영상 인식 기반 지폐 일련번호 인식 장치 및 방법 KR102632091B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210016890A KR102632091B1 (ko) 2021-02-05 2021-02-05 영상 인식 기반 지폐 일련번호 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210016890A KR102632091B1 (ko) 2021-02-05 2021-02-05 영상 인식 기반 지폐 일련번호 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220113592A KR20220113592A (ko) 2022-08-16
KR102632091B1 true KR102632091B1 (ko) 2024-02-05

Family

ID=83064061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210016890A KR102632091B1 (ko) 2021-02-05 2021-02-05 영상 인식 기반 지폐 일련번호 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102632091B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719608B1 (ko) * 2005-07-21 2007-05-17 주식회사 씨텍 지폐 일련번호 인식 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Unsoo Jang외 2명, "Low-Quality Banknote Serial Number Recognition Based on Deep Neural Network", Journal of Information Processing Systems, Vol.16, pp.224-237(2020.02.) 1부.*
한국 공개특허공보 제10-2007-0011867호(2007.01.25.) 1부.*

Also Published As

Publication number Publication date
KR20220113592A (ko) 2022-08-16

Similar Documents

Publication Publication Date Title
JP5219211B2 (ja) 銀行券の確認方法及びその装置
Baek et al. Detection of counterfeit banknotes using multispectral images
JP2008181507A (ja) 複数のクラスの有価証券媒体のための確認テンプレート
Tessfaw et al. Ethiopian banknote recognition and fake detection using support vector machine
CN104298989A (zh) 基于斑马线红外图像特征的鉴伪方法及其系统
CN104867225A (zh) 一种纸币的面向识别方法及装置
Gunaratna et al. ANN based currency recognition system using compressed gray scale and application for Sri Lankan currency notes-SLCRec
JP2006301881A (ja) 貨幣識別装置、貨幣識別方法および貨幣識別プログラム
CN104899965A (zh) 一种基于清分机的多国纸币序列号识别方法
Mohamad et al. Banknote authentication using artificial neural network
Sharan et al. Detection of counterfeit Indian currency note using image processing
CN104537364A (zh) 一种基于纹理分析的美元纸币面额及版本识别方法
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
CN106485828A (zh) 一种纸币识别方法及装置
Zarin et al. A hybrid fake banknote detection model using OCR, face recognition and hough features
CN106898078A (zh) 一种港币版本的识别方法及装置
KR102632091B1 (ko) 영상 인식 기반 지폐 일련번호 인식 장치 및 방법
Ponishjino et al. Bogus currency authorization using HSV techniques
Olanrewaju et al. Automated bank note identification system for visually impaired subjects in malaysia
Chandrappa et al. Machine Learning Algorithms for Identifying Fake Currencies
CN104268978B (zh) 纸钞序号辨识方法
Patel et al. Indian currency recognition using neural network pattern recognition tool
Vishnu et al. Currency detection using similarity indices method
Vishnu et al. Principal component analysis on Indian currency recognition
TWI549099B (zh) 紙鈔序號辨識方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant