KR101934443B1 - 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법 - Google Patents

합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법 Download PDF

Info

Publication number
KR101934443B1
KR101934443B1 KR1020170120903A KR20170120903A KR101934443B1 KR 101934443 B1 KR101934443 B1 KR 101934443B1 KR 1020170120903 A KR1020170120903 A KR 1020170120903A KR 20170120903 A KR20170120903 A KR 20170120903A KR 101934443 B1 KR101934443 B1 KR 101934443B1
Authority
KR
South Korea
Prior art keywords
image information
image
classification
extracted
information
Prior art date
Application number
KR1020170120903A
Other languages
English (en)
Other versions
KR20180064272A (ko
Inventor
이중
임성호
강태이
김홍석
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020170120903A priority Critical patent/KR101934443B1/ko
Publication of KR20180064272A publication Critical patent/KR20180064272A/ko
Application granted granted Critical
Publication of KR101934443B1 publication Critical patent/KR101934443B1/ko

Links

Images

Classifications

    • G06F17/30262—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 학습용 데이터가 추출되는 학습 이미지 정보와 연산 장치에서 실행되는 프로그램인 합성곱신경망 모듈 그리고 랜덤 함수가 저장되는 저장 장치와, 상기 저장 장치와 연결되며 저장 장치로부터 출력되는 출력값을 제공받아 연산하는 연산 장치와, 상기 연산 장치와 연결되며 사용자의 명령이 입력되는 수단이 되는 입력 장치와, 상기 연산 장치와 연결되며 연산 장치의 연산 결과가 출력되는 디스플레이 장치에서 실행되는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법에 관한 것이다.

Description

합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법{A Method For Providing Information Of Classifying Metal Type Printing And Woodblock Printing Using Convolutional Neural Network(CNN) And Image Extraction}
본 발명은 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법에 관한 것으로, 보다 상세하게는 인쇄물이 금속활자에 의하여 인쇄된 것인지 목판에 의하여 인쇄된 것인지 분류할 수 있는 객관적 정보를 제공하는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법에 관한 것이다.
고서적 등과 같은 고문서 중 인쇄 문서는 각인된 목판에 의하여 인쇄된 것이거나 금속활자에 의하여 인쇄된 것이다.
인쇄된 고문서의 인쇄 내용 중에 금속활자에 의하여 인쇄된 것인지 목판에 의해서 인쇄된 것인지에 대한 인쇄 정보가 포함되어 있는 경우가 있으나, 많은 고문서 중에는 인쇄 내용 중에 금속활자에 의하여 인쇄된 것인지 목판에 의해서 인쇄된 것인지에 대한 인쇄 정보가 포함되어 있지 않아, 경험있는 전문가의 육안 및 현미경 관찰 등에 의해서 금속활자에 의하여 인쇄된 것인지 목판에 의해서 인쇄된 것인지 판단 받았다.
따라서 판단 결과가 주관적이고 모두 납득할 만한 객관적인 분류 근거를 제공하지 못하는 문제점이 있었다.
1. 대한민국 공개 제10-2016-0069834호 공개특허공보 2. 대한민국 등록 제10-1298393호 등록특허공보 3. 대한민국 공개 제10-2013-0050707호 공개특허공보 4. 대한민국 등록 제10-1620866호 등록특허공보
본 발명은 상기와 같은 종래 기술이 가지는 문제점을 해결하기 위하여 제안된 것으로, 고문서 등과 같은 인쇄문서가 목판에 의하여 인쇄된 것이거나 금속활자에 의하여 인쇄된 것인지 분류할 수 있는 객관적이고 정확한 정보를 제공할 수 있는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 위하여 본 발명은 학습용 데이터가 추출되는 학습 이미지 정보와 연산 장치에서 실행되는 프로그램인 합성곱신경망 모듈 그리고 랜덤 함수가 저장되는 저장 장치와, 상기 저장 장치와 연결되며 저장 장치로부터 출력되는 출력값을 제공받아 연산하는 연산 장치와, 상기 연산 장치와 연결되며 사용자의 명령이 입력되는 수단이 되는 입력 장치와, 상기 연산 장치와 연결되며 연산 장치의 연산 결과가 출력되는 디스플레이 장치에서 실행되고; 목판으로 인쇄된 하나 이상의 목판 인쇄물 이미지 정보와 금속활자로 인쇄된 하나 이상의 금속활자 인쇄물 이미지 정보로 이루어진 학습 이미지 정보와, 목판 인쇄물 이미지에 대한 임계값과 금속활자 인쇄물 이미지에 대한 임계값으로 이루어진 임계값과 학습 이미지 정보로부터 추출되는 학습용 데이터가 준비되는 준비 단계와; 상기 준비 단계에서 준비된 학습용 데이터가 연산 장치로 출력되고 합성신경망 모듈이 실행되어 가중치가 출력되는 학습 단계와; 분류 인쇄물 이미지 정보로부터 추출된 복수의 분류 인쇄물 이미지 정보가 연산 장치로 출력되는 입력 단계와; 입력된 복수의 분류 추출 이미지 정보로부터 출력값이 연산되는 연산 단계와; 연산된 출력값이 디스플레이 장치를 통하여 출력되는 출력 단계로 이루어지는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법을 제공한다.
상기에서, 준비 단계는 각 학습 이미지 정보로부터 복수의 추출 이미지 정보가 추출되는 추출 이미지 정보 마련 단계와, 복수의 각 추출 이미지 정보의 전체 영역에 대한 인쇄영역 비율이 연산되는 제1 연산 단계와, 인쇄영역 비율이 인쇄영역 비율 설정값에 대비되는 제1 판단 단계와, 전체 추출 이미지 정보 개수에 대한 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 추출 이미지 정보 개수의 비율인 추출 이미지 정보 개수 비율이 연산되는 제2 연산 단계와, 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 큰 경우 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 추출 이미지 정보가 학습용 데이터로 저장 장치에 저장되는 제1 저장 단계로 이루어지며; 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 작으면 상기 추출 이미지 정보 마련 단계, 제1 연산 단계, 제1 판단 단계, 제2 연산 단계가 다시 실행되는 것을 특징으로 한다.
상기에서, 추출 이미지 정보 마련 단계에서는 랜덤 함수가 실행되어 학습 이미지 범위 내에 위치하는 복수의 픽셀 좌표가 도출되며, 각 픽셀 좌표를 시작점으로 하며 x 방향 픽셀수와 y 방향 픽셀수가 같고 학습 이미지를 이루는 픽셀 범위 내이며 학습 이미지보다 작은 크기의 복수의 추출 이미지에 대한 정보가 마련되는 것을 특징으로 한다.
상기에서, 학습 단계에서는 상기 학습용 데이터가 연산 장치로 출력되고 합성신경망 모듈이 실행되어 합성신경망 모듈의 가중값에 대한 학습 출력값이 연산되는 제3 연산 단계와, 학습 출력값이 제1 임계값군과 대비되는 제3 판단 단계와, 학습 출력값이 제1 임계값군 범위 내이면 실행 가중값이 저장 장치에 저장되는 제2 저장 단계로 이루어지며; 상기에서 학습 출력값이 제1 임계값군 범위 밖이면 합성신경망 모듈 내에서 가중치가 갱신되고 제3 연산 단계가 실행되어 갱신 가중치에 대한 학습 출력값이 연산되고 갱신 가중값에 대한 학습 출력값에 대한 제3 판단 단계 실행되는 것을 특징으로 한다.
상기에서, 입력 단계는 분류하려는 인쇄물로부터 준비된 각 분류 이미지 정보로부터 복수의 분류 추출 이미지 정보가 추출되는 분류 추출 이미지 정보 마련 단계와, 복수의 각 분류 추출 이미지 정보의 전체 영역에 대한 인쇄영역 비율이 연산되는 제4 연산 단계와, 인쇄영역 비율이 인쇄영역 비율 설정값에 대비되는 제4 판단 단계와, 전체 분류 추출 이미지 정보 개수에 대한 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 분류 추출 이미지 정보 개수의 비율인 분류 추출 이미지 정보 개수 비율이 연산되는 제5 연산 단계와, 분류 추출 이미지 정보 개수 비율이 분류 추출 이미지 정보 개수 설정값보다 큰 경우(제6 판단 단계) 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 분류 추출 이미지 정보가 입력 데이터로 연산 장치로 출력되며; 분류 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 작으면 상기 분류 추출 이미지 정보 마련 단계, 제4 연산 단계, 제4 판단 단계, 제4 연산 단계가 다시 실행되는 것을 특징으로 한다.
상기에서, 분류 추출 이미지 정보 마련 단계에서는 랜덤 함수가 실행되어 분류 이미지 범위 내에 위치하는 복수의 픽셀 좌표가 도출되며, 각 픽셀 좌표를 시작점으로 하며 x방향 픽셀수와 y방향 픽셀수가 같고 분류 이미지를 이루는 픽셀 범위 내이며 분류 이미지보다 작은 크기의 복수의 분류 추출 이미지에 대한 정보가 마련되는 것을 특징으로 한다.
본 발명에 따르는 합성곱신경망을 이용하고 이미지를 추출하는 과정을 포함하여 주자본과 목판본의 분류 정보 제공 방법을 통하여 인쇄된 고문서가 목판에 의하여 인쇄된 것이거나 금속활자에 의하여 인쇄된 것인지 분류할 수 있는 객관적인 정보를 제공받을 수 있는 효과가 있다.
도 1은 본 발명에 따르는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법이 실행되는 시스템을 도시한 구조도이며,
도 2는 본 발명에 따르는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법을 도시한 순서도이며,
도 3은 준비 단계를 설명하기 위하여 도시한 인쇄물 이미지의 개략도이며,
도 4는 도 3에 도시한 인쇄물 이미지에서 추출한 추출 이미지를 도시한 개략도이며,
도 5는 도 2의 준비 단계를 설명하기 위하여 도시한 순서도이며,
도 6은 도 5의 학습용 데이터 마련 단계를 설명하기 위하여 도시한 순서도이며,
도 7은 도 2의 입력과 연산 단계를 설명하기 위하여 도시한 순서도이다.
이하에서 도면을 참조하여 본 발명에 따르는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법에 대하여 상세하게 설명한다.
도 1은 본 발명에 따르는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법이 실행되는 시스템을 도시한 구조도이며, 도 2는 본 발명에 따르는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법을 도시한 순서도이며, 도 3은 준비 단계를 설명하기 위하여 도시한 인쇄물 이미지의 개략도이며, 도 4는 도 3에 도시한 인쇄물 이미지에서 추출한 추출 이미지를 도시한 개략도이며, 도 5는 도 2의 준비 단계를 설명하기 위하여 도시한 순서도이며, 도 6은 도 5의 학습용 데이터 마련 단계를 설명하기 위하여 도시한 순서도이며, 도 7은 도 2의 입력과 연산 단계를 설명하기 위하여 도시한 순서도이다.
본 발명은 합성곱신경망 모듈(Convolutional Neural Network Module; CNN Module)을 이용하여 인쇄물이 금속활자로 인쇄되었는지 목판으로 인쇄되었는지를 분류할 수 있는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법에 관한 것이다.
합성곱신경망 모듈은 인공신경망의 한 종류로서 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 연산모델 프로그램이다. 합성곱신경망 모듈에서는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런을 사용하게 된다. 그리고 가중값을 갖는 연결선을 통해 상호 연결시켜 인간의 인지작용이나 학습과정과 같은 작업을 수행한다. 합성곱신경망은 지도학습과 비지도학습으로 나눌 수 있다. 지도학습이란 입력 데이터와 그에 대응하는 출력값을 함께 입력하여, 입력 데이터에 대응하는 출력값이 출력되도록 연결선들의 가중값을 갱신시키는 방법이다. 대표적인 학습 알고리즘으로는 델타규칙(Delta Rule)과 오류 역전파 학습(Backpropagation Learning)이 있다.
본 발명에서는 지도학습으로서 학습 단계에서 입력 데이터와 그에 대응하는 출력값을 함께 합성곱신경망 모듈의 입력 값으로 입력하여 가중값이 연산되도록 한다. 활성함수로 시그모이드 함수가 사용될 수 있다. 합성곱신경망(Convolutional Neural Network; CNN) 모듈에 대한 내용은 공지의 기술이므로 이에 대한 설명은 생략한다.
본 발명에 따르는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법은 도 1에 도시한 시스템(100)에서 실행된다. 본 발명 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법이 실행되는 시스템(100)은 학습용 데이터가 추출되는 학습 이미지 정보와 연산 장치에서 실행되는 프로그램인 합성곱신경망 모듈 그리고 랜덤 함수가 저장되는 저장 장치(110)와, 상기 저장 장치(110)와 연결되며 저장 장치(110)로부터 출력되는 출력값을 제공받아 연산하는 연산 장치(120)와, 상기 연산 장치(120)와 연결되며 사용자의 명령이 입력되는 수단이 되는 입력 장치(130)와, 상기 연산 장치(120)와 연결되며 연산 장치(120)의 연산 결과가 출력되는 디스플레이 장치(140)로 이루어진다.
상기 연산 장치(120)는 하나 또는 복수 개의 프로세서에 해당할 수 있으며, 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다.
상기 연산 장치(120)는 저장 장치(110)로부터 학습용 데이터를 입력받고, 학습용 데이터가 합성곱신경망 모듈에 입력되었을 때, 학습용 데이터에 대한 출력값이 출력되도록 합성곱신경망을 학습시켜 합성곱신경망이 매핑할 수 있도록 한다. 매핑된 합성곱신경망에 저장 장치(110)나 연산 장치(120)에 연결된 다른 메모리 장치(도시하지 않음)에 저장된 입력 데이터가 입력되면, 합성곱신경망은 매핑된 결과를 바탕으로 입력 데이터에 대한 출력값을 출력하며, 출력값은 디스플레이 장치(140)에 디스플레이된다.
도 2에 도시된 바와 같이 본 발명에 따르는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법은 준비 단계(ST-100)와, 학습 단계(ST-200)와, 입력 단계(ST-300)와, 연산 단계(ST-400)와, 출력 단계(ST-500)로 이루어진다.
상기 준비단계(ST-100)는 목판으로 인쇄된 하나 이상의 목판 인쇄물 이미지 정보와 금속활자로 인쇄된 하나 이상의 금속활자 인쇄물 이미지 정보로 이루어진 학습 이미지 정보와, 목판 인쇄물 이미지에 대한 임계값과 금속활자 인쇄물 이미지에 대한 임계값으로 이루어진 제1 임계값군이 저장 장치에 저장되고, 상기 학습 이미지 정보로부터 추출되는 학습용 데이터가 준비되는 단계이다.
목판으로 인쇄된 인쇄물(목판본)을 스캔하거나 촬영한 목판 인쇄물 이미지가 저장 장치에 저장되며, 목판 인쇄물 이미지의 픽셀 정보(픽셀 개수, 픽셀 위치, 색상(R, G, B) 정보)가 목판 인쇄물 이미지 정보로서 저장 장치에 저장된다. 상기 목판 인쇄물 이미지는 하나 이상 복수로 마련되고 각 목판 인쇄물 이미지에 대한 목판 인쇄물 이미지 정보가 저장 장치에 저장된다. 그리고 금속활자로 인쇄된 인쇄물(주자본)을 스캔하거나 촬영한 목판 인쇄물 이미지가 저장 장치에 저장되며, 금속활자 인쇄물 이미지의 픽셀 정보(픽셀 개수, 픽셀 위치, 색상(R, G, B) 정보)가 금속활자 인쇄물 이미지 정보로서 저장 장치에 저장된다. 상기 금속활자 인쇄물 이미지는 하나 이상 복수로 마련되고 각 금속활자 인쇄물 이미지에 대한 금속활자 인쇄물 이미지 정보가 저장 장치에 저장된다.
상기 목판 인쇄물 이미지 정보와 금속활자 인쇄물 이미지 정보가 학습 이미지 정보가 된다.
도 5 및 도 6에 도시된 바와 같이, 상기 준비 단계(ST-100)는 상기에서와 같이 복수의 학습 이미지가 마련되는 이미지 준비 단계(ST-110)와, 각 학습 이미지로부터 학습용 데이터가 마련되는 학습용 데이터 마련 단계(ST-120)로 이루어진다.
상기 준비 단계(ST-100)를 이루는 학습용 데이터 마련 단계(ST-130)는 연산 장치(120)에서 실행되며 각 학습 이미지 정보로부터 복수의 추출 이미지 정보가 추출되는 추출 이미지 정보 마련 단계(ST-131)와, 복수의 각 추출 이미지 정보의 전체 영역에 대한 인쇄영역 비율이 연산되는 제1 연산 단계(ST-133)와, 인쇄영역 비율이 인쇄영역 비율 설정값에 대비되는 제1 판단 단계(ST-135)와, 전체 추출 이미지 정보 개수에 대한 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 추출 이미지 정보 개수의 비율인 추출 이미지 정보 개수 비율이 연산되는 제2 연산 단계(ST-137)와, 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 큰 경우(ST-139, 제2 판단 단계) 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 추출 이미지 정보가 학습용 데이터로 저장 장치에 저장되는 제1 저장 단계(ST-132)로 이루어지며, 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 작으면 상기 추출 이미지 정보 마련 단계(ST-131), 제1 연산 단계(ST-133), 제1 판단 단계(ST-135), 제2 연산 단계(ST-137), 제2 판단 단계(ST-139)가 다시 실행된다.
도 3에서 도면부호 I100은 학습 이미지를 도식적으로 도시한 것으로 목판 인쇄물 이미지일 수도 있고 금속활자 인쇄물 이미지일 수도 있다. 도면부호 R100은 추출 이미지를 도시한 것이다.
학습 이미지는 m×n의 픽셀을 가지며, m은 도 3의 가로축인 x축 픽셀의 개수를, n은 도 3의 세로축인 y축 픽셀 개수를 나타낸다. 학습 이미지를 이루는 픽셀(P)은 x축 및 y축 좌표를 가지며, 색상 정보(R, G, B)를 가진다. 저장 장치(110)에 저장된 랜덤 함수가 연산 장치(120)에 의하여 실행되어 복수의 픽셀 좌표값(x_i, y_i)이 도출된다. 상기 좌표값에서 x_i는 m보다 작은 값이며, y_i는 n보다 작은 값을 가진다. 상기 복수의 좌표값(x_i, y_i)에 대하여 정사각형인 추출 이미지가 추출된다. 본 발명의 실행 결과를 확인하기 위하여 추출 이미지는 100픽셀×100픽셀 크기를 가지는 이미지로 되도록 설정하였으나, 이에 한정되는 것은 아니다. 추출 이미지를 100픽셀×100픽셀 크기로 설정하는 경우 x_i≤m-100, y_i≤n-100이 되는 범위로 한정될 것이다. 상기에서 추출 이미지는 학습 이미지보다 작은 크기를 가지는 것은 당연하다. 본 발명 실행에 있어서 하나의 학습 이미지에 대하여 10,000개가 추출 이미지가 추출되도록 하였다. 위와 같은 방법으로 모든 학습 이미지에 대하여 각각 10,000개씩의 추출 이미지를 추출한다.
도 4에서 도면부호 R100-1은 추출 이미지에서 인쇄되지 않은 비인쇄 영역을 R100-2는 인쇄된 인쇄 영역을 나타낸다. 하나의 학습 이미지에 대하여 랜덤 함수를 이용하여 복수의 픽셀 좌표값(x_i, y_i)을 도출하고, 각 픽셀 좌표값(x_i, y_i)을 사각형의 꼭지점으로 하여 크기가 100픽셀×100픽셀 크기인 추출 이미지를 10,000개 도출한다. 10,000개의 추출 이미지들에는 인쇄 영역과 비인쇄 영역이 포함될 수 있으며, 비인쇄 영역만으로 이루어진 추출 이미지도 있을 수 있고, 인쇄 영역만으로 이루어진 추출 이미지도 있을 수 있다. 추출 이미지에서 인쇄 영역의 픽셀 개수와 비인쇄 영역의 픽셀 개수 정보가 도출될 수 있다. 인쇄 영역은 검정색이거나 붉은색 등일 수 있고 비인쇄영역은 흰색에 가까울 수 있으므로, 픽셀의 색상 정보를 스레스홀드로 설정하여 인쇄 영역과 비인쇄 영역이 구별되어 각 픽셀 개수가 도출될 수 있다. 예를 들면 픽셀의 색상 성분 중 G(Green) 값이나 B(Blue) 값을 스레스홀드로 하여 G값 또는 B값이 100보다 크면 비인쇄영역으로 100보다 작으면 인쇄 영역으로 구분되도록 할 수 있다.
10,000개의 추출 이미지가 추출되면, 각 추출 이미지에 대하여 전체 픽셀 수에 대한 인쇄 영역 픽셀 수의 비(추출 이미지의 전체 영역에 대한 인쇄 영역의 비율)가 연산된다. 인쇄 영역 비율과 인쇄 영역 비율 설정값(N1)이 대비되어 추출 이미지가 분류된다. 예를 들어 인쇄 영역 비율이 70％(인쇄 영역 비율 설정값) 이상(60％ 이상으로 하는 경우도 가능하나 이후의 정확한 출력값 획득을 위하여 70％ 이상으로 하는 것이 바람직하다)인 추출 이미지의 개수가 카운트된다(ST-137, 제2 연산 단계).
인쇄 영역 비율이 70％ 이상인 추출 이미지의 개수가 추출 이미지 정보 개수 설정값(예, 2,500개) 이상인 경우(ST-139, 제2 판단 단계), 2,500개의 추출 이미지가 그 학습 이미지에 대한 학습용 데이터로 되어 저장 장치(110)에 저장된다(ST-132). 인쇄 영역 비율이 인쇄 영역 비율 설정값보다 큰, 예를 들어 70％ 이상인 추출 이미지의 개수가 추출 이미지 정보 개수 설정값보다 작은 경우 상기의 추출 이미지 정보 마련 단계(ST-131), 제1 연산 단계(ST-133), 제1 판단 단계(ST-135), 제2 연산 단계(ST-137), 제2 판단 단계(ST-139)가 다시 실행된다.
저장 장치(110)에 저장된 각 학습 이미지에 대하여 위와 같은 과정을 따라 학습용 데이터가 마련된다.
상기와 같이 저장 장치(110)에 저장된 각 학습 이미지에 대하여 위와 같은 과정을 따라 학습용 데이터가 마련되면, 학습용 데이터(즉, 추출 이미지 정보)가 연산 장치로 출력되고 학습용 데이터를 입력값으로 되어(ST-210) 연산 장치(120)에서 합성곱신경망 모듈이 실행된다. 학습용 데이터와 함께 학습용 데이터에 대한 출력값의 임계값이 입력값으로 출력된다.
본 발명의 실행에서 목판 인쇄물의 학습용 데이터에 대한 출력값의 임계값은 0.5 미만으로, 금속활자 인쇄물의 학습용 데이터에 대한 출력값의 임계값은 0.5 초과로 설정하여 가중값이 갱신되도록 하였다. 0.5인 경우에는 가중값을 갱신하지 않는다.
학습용 데이터와 임계값이 입력값으로 입력되면(ST-210) 연산 장치(120)에서 합성곱신경망 모듈이 실행되어 가중값이 설정되어 학습용 데이터에 대한 출력값이 연산되어(ST-220; 제3 연산 단계) 출력되며 출력값과 출력값의 임계값이 대비되어(ST-230; 제3 판단 단계) 출력값이 임계값 범위 밖이면, 예를 들어, 목판 인쇄물의 학습용 데이터에 대한 출력값이 0.5 이상이거나 금속활자 인쇄물의 학습용 데이터에 대한 출력값이 0.5 이하이면 가중값이 갱신되고(ST-240; 가중값 갱신 단계) 갱신 가중값에 대하여 연산이 다시 실행된다(ST-220; 제3 연산 단계). 그리고 출력값이 임계값 범위 내이면, 예를 들어 목판 인쇄물의 학습용 데이터에 대한 출력값이 0.5 미만이고 금속활자 인쇄물의 학습용 데이터에 대한 출력값이 0.5초과이면 당해 가중값(Weight Factor)이 저장 장치(110)에 저장된다(ST-250; 제2 저장 단계). 모든 학습용 데이터에 대해서 상기 과정을 통하여 연산되어 가중값이 도출되어 저장된다.
상기와 같은 준비 단계와 학습 단계가 완료되면, 분류 인쇄물 이미지 정보로부터 추출된 복수의 분류 인쇄물 이미지 정보가 연산 장치로 출력되는 입력 단계(ST-300)가 실행되고, 분류 이미지에 대하여 연산 장치(120)에서 합성곱신경망 모듈이 실행되어 분류 이미지에 대한 출력값이 연산되어(ST-400), 디스플레이 장치(140)로 출력된다(ST-500).
상기 입력 단계(ST-300)는 목판 인쇄물인지 금속활자 인쇄물인이 확인되지 않은 인쇄물을 촬영하거나 스캔하여 저장 장치(110)에 저장된 분류 이미지 정보가 연산 장치(120)로 출력되어 연산 장치(120)에서 실행된다.
상기 입력 단계(ST-300)는 연산 장치(120)에서 실행되며 분류 이미지 정보로부터 복수의 분류 추출 이미지 정보가 추출되는 분류 추출 이미지 정보 마련 단계와, 복수의 각 분류 추출 이미지 정보의 전체 영역에 대한 인쇄영역 비율이 연산되는 제4 연산 단계와, 인쇄영역 비율이 인쇄영역 비율 설정값에 대비되는 제4 판단 단계와, 전체 분류 추출 이미지 정보 개수에 대한 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 분류 추출 이미지 정보 개수의 비율인 분류 추출 이미지 정보 개수 비율이 연산되는 제5 연산 단계와, 분류 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 큰 경우(제6 판단 단계) 해당되는 복수의 분류 추출 이미지 정보가 상기 가중값과 함께 입력값이 합성곱신경망 모듈이 실행되어 출력값이 연산되고, 연산된 출력값은 디스플레이 장치(140)에 디스플레이된다. 상기에서 분류 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 작으면 상기 분류 추출 이미지 정보 마련 단계, 제4 연산 단계, 제4 판단 단계, 제5 연산 단계, 제6 판단 단계가 다시 실행된다.
도 3을 참조하면, 도면부호 I100을 분류 이미지라 할때, 도면부호 R100은 분류 추출 이미지가 된다.
상기 분류 이미지는 m'×n'의 픽셀을 가지며, m'은 도 3의 가로축인 x축 픽셀의 개수를, n'은 도 3의 세로축인 y축 픽셀 개수를 나타낸다. 분류 이미지를 이루는 픽셀(P)은 x축 및 y축 좌표를 가지며, 색상 정보(R, G, B)를 가진다. 저장 장치(110)에 저장된 랜덤 함수가 연산 장치(120)에 의하여 실행되어 복수의 픽셀 좌표값(x_i', y_i')이 도출된다. 상기 좌표값에서 x_i'는 m'보다 작은 값이며, y_i'는 n'보다 작은 값을 가진다. 상기 복수의 좌표값(x_i', y_i')에 대하여 정사각형인 분류 추출 이미지가 추출된다. 본 발명의 실행 결과를 확인하기 위하여 분류 추출 이미지는 100픽셀×100픽셀 크기를 가지는 이미지로 되도록 설정하였으나, 이에 한정되는 것은 아니다. 분류 추출 이미지를 100픽셀×100픽셀 크기로 설정하는 경우 x_i'≤m'-100, y_i'≤n'-100이 되는 범위로 한정될 것이다. 상기에서 분류 추출 이미지는 분류 이미지보다 작은 크기를 가지는 것은 당연하다. 본 발명 실행에 있어서 분류 이미지에 대하여 10,000개가 분류 추출 이미지가 추출되도록 하였다. 위와 같은 방법으로 분류 이미지에 대하여 10,000개씩의 분류 추출 이미지를 추출한다.
도 4를 참조하면 도면부호 R100-1은 분류 추출 이미지에서 인쇄되지 않은 비인쇄 영역을 R100-2는 인쇄된 인쇄 영역을 나타낸다. 분류 이미지에 대하여 랜덤 함수를 이용하여 복수의 픽셀 좌표값(x_i', y_i')을 도출하고, 각 픽셀 좌표값(x_i', y_i')을 사각형의 꼭지점으로 하여 크기가 100픽셀×100픽셀 크기인 분류 추출 이미지를 10,000개 도출한다. 10,000개의 분류 추출 이미지들에는 인쇄 영역과 비인쇄 영역이 포함될 수 있으며, 비인쇄 영역만으로 이루어진 분류 추출 이미지도 있을 수 있고, 인쇄 영역만으로 이루어진 분류 추출 이미지도 있을 수 있다. 분류 추출 이미지에서 인쇄 영역의 픽셀 개수와 비인쇄 영역의 픽셀 개수 정보가 도출될 수 있다. 인쇄 영역은 검정색이거나 붉은색 등일 수 있고 비인쇄영역은 흰색에 가까울 수 있으므로, 픽셀의 색상 정보를 스레스홀드로 설정하여 인쇄 영역과 비인쇄 영역이 구별되어 각 픽셀 개수가 도출될 수 있다. 예를 들면 픽셀의 색상 성분 중 G(Green) 값이나 B(Blue) 값을 스레스홀드로 하여 G값 또는 B값이 100보다 크면 비인쇄영역으로 100보다 작으면 인쇄 영역으로 구분되도록 할 수 있다.
10,000개의 분류 추출 이미지가 추출되면, 각 분류 추출 이미지에 대하여 전체 픽셀 수에 대한 인쇄 영역 픽셀 수의 비(분류 추출 이미지의 전체 영역에 대한 인쇄 영역의 비율)가 연산된다. 인쇄 영역 비율과 인쇄 영역 비율 설정값이 대비되어 분류 추출 이미지가 분류된다. 예를 들어 인쇄 영역 비율이 70％(인쇄 영역 비율 설정값) 이상(60％ 이상으로 하는 경우도 가능하나 이후의 정확한 출력값 획득을 위하여 70％ 이상으로 하는 것이 바람직하다)인 분류 추출 이미지의 개수가 카운트된다(제5 연산 단계).
인쇄 영역 비율이 70％ 이상인 분류 추출 이미지의 개수가 추출 이미지 정보 개수 설정값(예, 2,500개) 이상인 경우(제6 판단 단계), 2,500개의 분류 추출 이미지의 정보가 그 분류 이미지에 대한 데이터로 되어 저장 장치(110)에 저장된다. 인쇄 영역 비율이 인쇄 영역 비율 설정값보다 큰, 예를 들어 70％ 이상인 분류 추출 이미지의 개수가 추출 이미지 정보 개수 설정값보다 작은 경우 상기의 분류 추출 이미지 정보 마련 단계, 제4 연산 단계, 제4 판단 단계, 제5 연산 단계, 제6 판단 단계가 다시 실행된다.
상기 분류 이미지에 대한 데이터와 학습 단계에서 도출한 가중값이 입력값이 되어 연산 장치(120)에서 합성곱신경망 모듈이 실행되어 분류 이미지 데이터에 대한 출력값이 연산된다. 상기 출력값이 0.7이상이면 금속활자로 인쇄된 것으로, 0.3이하이면 목판으로 인쇄된 것으로 분류할 수 있다. 하나의 분류 이미지에서 상기 과정을 통하여 추출된 다수의 분류 추출 이미지에 대하여 연산되어 각 분류 추출 이미지에 대한 출력값이 연산되고 0.7 이상에 포함되는 출력값의 개수와 0.3 이하에 포함되는 출력값의 개수를 대비하여 많은 개수를 포함하는 쪽의 인쇄물로 판단될 수도 있다.
본 발명에서는 발명의 효과를 확인하기 위하여 위와 같은 과정을 따라 임진자 목판본 전체와 주자본 전체 인쇄물의 인쇄 이미지에 대하여 학습을 하고, 초주갑인자 목판본 전체 및 주자본 전체로 분류 결과를 검증한 후, 남명천화상송증도가 인본 3종의 주자본 및 목판본을 분류하였다.
그 결과 임진자 목판본과 주자본 만을 학습한 후 검증하였을? 초주갑인자 목판본과 주자본에 대하여 94.8％의 정확도가 입증되었고, 임진자와 초주갑인자를 학습한 후 임진자 목판본과 주자본 그리고 초주갑인자 목판본과 주자본에 대하여 98.2％의 정확도를 가지는 것으로 확인되었다.
100: 주자본과 목판본의 분류 정보 제공 시스템
110: 저장 장치 120: 연산 장치
130: 입력 장치 140: 디스플레이 장치
I100: 학습 이미지 R100: 추출 이미지
ST-100: 준비 단계 ST-200: 학습 단계
ST-300: 입력 단계 ST-400: 연산 단계
ST-500: 출력 단계

Claims (3)

  1. 학습용 데이터가 추출되는 학습 이미지 정보와 연산 장치에서 실행되는 프로그램인 합성곱신경망 모듈 그리고 랜덤 함수가 저장되는 저장 장치와, 상기 저장 장치와 연결되며 저장 장치로부터 출력되는 출력값을 제공받아 연산하는 연산 장치와, 상기 연산 장치와 연결되며 사용자의 명령이 입력되는 수단이 되는 입력 장치와, 상기 연산 장치와 연결되며 연산 장치의 연산 결과가 출력되는 디스플레이 장치로 이루어지는 주자본과 목판본의 분류 정보 제공 시스템에서 실행되고;
    목판으로 인쇄된 하나 이상의 목판 인쇄물 이미지 정보와 금속활자로 인쇄된 하나 이상의 금속활자 인쇄물 이미지 정보로 이루어진 학습 이미지 정보와, 목판 인쇄물 이미지에 대한 임계값과 금속활자 인쇄물 이미지에 대한 임계값으로 이루어진 임계값과 학습 이미지 정보로부터 추출되는 학습용 데이터가 준비되는 준비 단계와; 상기 준비 단계에서 준비된 학습용 데이터가 연산 장치로 출력되고 합성신경망 모듈이 실행되어 가중치가 출력되는 학습 단계와; 분류 인쇄물 이미지 정보로부터 추출된 복수의 분류 인쇄물 이미지 정보가 연산 장치로 출력되는 입력 단계와; 입력된 복수의 분류 추출 이미지 정보로부터 출력값이 연산되는 연산 단계와; 연산된 출력값이 디스플레이 장치를 통하여 출력되는 출력 단계로 이루어지며;
    상기 입력 단계는 분류하려는 인쇄물로부터 준비된 각 분류 이미지 정보로부터 복수의 분류 추출 이미지 정보가 추출되는 분류 추출 이미지 정보 마련 단계와, 복수의 각 분류 추출 이미지 정보의 전체 영역에 대한 인쇄영역 비율이 연산되는 제4 연산 단계와, 인쇄영역 비율이 인쇄영역 비율 설정값에 대비되는 제4 판단 단계와, 전체 분류 추출 이미지 정보 개수에 대한 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 분류 추출 이미지 정보 개수의 비율인 분류 추출 이미지 정보 개수 비율이 연산되는 제5 연산 단계로 이루어지며;
    분류 추출 이미지 정보 개수가 분류 추출 이미지 정보 개수 설정값보다 큰 경우(제6 판단 단계) 인쇄영역 비율이 인쇄영역 비율 설정값보다 큰 분류 추출 이미지 정보가 입력 데이터로 연산 장치로 출력되며;
    분류 추출 이미지 정보 개수 비율이 추출 이미지 정보 개수 설정값보다 작으면 상기 분류 추출 이미지 정보 마련 단계, 제4 연산 단계, 제4 판단 단계, 제5 연산 단계가 다시 실행되는 것을 특징으로 하는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법.
  2. 삭제
  3. 제1 항에 있어서, 상기 분류 추출 이미지 정보 마련 단계에서는
    랜덤 함수가 실행되어 분류 이미지 범위 내에 위치하는 복수의 픽셀 좌표가 도출되며, 각 픽셀 좌표를 시작점으로 하며 x방향 픽셀수와 y방향 픽셀수가 같고 분류 이미지를 이루는 픽셀 범위 내이며 분류 이미지보다 작은 크기의 복수의 분류 추출 이미지에 대한 정보가 마련되는 것을 특징으로 하는 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법.
KR1020170120903A 2017-09-20 2017-09-20 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법 KR101934443B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170120903A KR101934443B1 (ko) 2017-09-20 2017-09-20 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170120903A KR101934443B1 (ko) 2017-09-20 2017-09-20 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160164601A Division KR101834791B1 (ko) 2016-12-05 2016-12-05 합성곱신경망을 이용한 주자본과 목판본의 분류 정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20180064272A KR20180064272A (ko) 2018-06-14
KR101934443B1 true KR101934443B1 (ko) 2019-01-02

Family

ID=62629279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170120903A KR101934443B1 (ko) 2017-09-20 2017-09-20 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법

Country Status (1)

Country Link
KR (1) KR101934443B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016118918A (ja) 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム
US20160259994A1 (en) * 2015-03-04 2016-09-08 Accenture Global Service Limited Digital image processing using convolutional neural networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747070B2 (en) 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
KR101910576B1 (ko) 2011-11-08 2018-12-31 삼성전자주식회사 인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치
KR102276339B1 (ko) 2014-12-09 2021-07-12 삼성전자주식회사 Ｃｎｎ의 근사화를 위한 학습 장치 및 방법
KR101620866B1 (ko) 2014-12-17 2016-05-13 서울대학교산학협력단 학습 기법을 적용한 사전 학습 알고리즘 기반의 음원 분리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016118918A (ja) 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム
US20160259994A1 (en) * 2015-03-04 2016-09-08 Accenture Global Service Limited Digital image processing using convolutional neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
최태호 외 3명. 목판본과 금속활자본의 식별을 위한 기초연구. 2015년.

Also Published As

Publication number Publication date
KR20180064272A (ko) 2018-06-14

Similar Documents

Publication Publication Date Title
CN110059741B (zh) 基于语义胶囊融合网络的图像识别方法
RU2721187C1 (ru) Обучение языковых моделей с использованием текстовых корпусов, содержащих реалистичные ошибки оптического распознавания символов (ocr)
CN104899586B (zh) 对图像中包含的文字内容进行识别方法及装置
RU2726185C1 (ru) Детектирование и идентификация объектов на изображениях
CN109871851A (zh) 一种基于卷积神经网络算法的汉字书写规范性判定方法
CN110582783B (zh) 训练装置、图像识别装置、训练方法和计算机可读信息存储介质
CN109948566A (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN107358184A (zh) 文档文字的提取方法及提取装置
CN112926565B (zh) 图片文本的识别方法、系统、设备和存储介质
CN115063785B (zh) 高速公路场景使用目标识别模型定位车牌的方法及装置
US6320984B1 (en) Method of and apparatus for extracting contour line and workstation having contour line extracting function
CN102737240B (zh) 分析数字文档图像的方法
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN114821620A (zh) 基于行文本框纵向合并的文本内容提取识别方法
CN109740406B (zh) 无分割印刷体满文单词识别方法及识别网络
JP5201184B2 (ja) 画像処理装置及びプログラム
US20100272359A1 (en) Method for resolving contradicting output data from an optical character recognition (ocr) system, wherein the output data comprises more than one recognition alternative for an image of a character
KR101934443B1 (ko) 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법
KR101834791B1 (ko) 합성곱신경망을 이용한 주자본과 목판본의 분류 정보 제공 방법
Thiengtham et al. Improve template matching method in mobile augmented reality for thai alphabet learning
KR102000715B1 (ko) 점자 학습 장치 및 이를 이용한 점자 변환 방법
CN115965987A (zh) 基于异构架构的表格文字结构化识别方法
JP2009025856A (ja) 帳票識別プログラム及び帳票識別装置
CN114241486A (zh) 一种提高识别试卷学生信息准确率的方法
CN112329774B (zh) 基于图像的商品尺码表自动生成方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant