KR20210001817A - 한자인식시스템 및 이를 이용한 한자인식방법 - Google Patents

한자인식시스템 및 이를 이용한 한자인식방법 Download PDF

Info

Publication number
KR20210001817A
KR20210001817A KR1020190098004A KR20190098004A KR20210001817A KR 20210001817 A KR20210001817 A KR 20210001817A KR 1020190098004 A KR1020190098004 A KR 1020190098004A KR 20190098004 A KR20190098004 A KR 20190098004A KR 20210001817 A KR20210001817 A KR 20210001817A
Authority
KR
South Korea
Prior art keywords
chinese character
image
identification
identified
recognition system
Prior art date
Application number
KR1020190098004A
Other languages
English (en)
Other versions
KR102264988B1 (ko
Inventor
이민호
박종훈
아민 잘랄리
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of KR20210001817A publication Critical patent/KR20210001817A/ko
Application granted granted Critical
Publication of KR102264988B1 publication Critical patent/KR102264988B1/ko

Links

Images

Classifications

    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
    • G06K2209/011—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 한자인식시스템 및 이를 이용한 한자인식방법에 관한 것으로, 본 발명에 따르면, 식별대상인 한자의 이미지인 한자이미지를 입력받는 입력부; 한자이미지로부터 이미지특징을 추출하기 위한 딥러닝모델이 적용된 이미지인식기를 다수 포함하는 특징추출부; 다수의 상기 이미지특징 각각에 대하여 신뢰도를 도출하고, 식별대상인 한자에 해당되는 식별한자를 선정하는 식별한자선정부; 및 식별한자를 상기 식별한자선정부로부터 전달받아서 출력하는 출력부; 를 포함하므로 알아보기 곤란하거나 초서체 또는 흘림체와 같이 다양한 필체 또는 크기, 한자기록물의 품질이 저하되었더라도 한자 인식의 정확성을 증대시켜 줄 수 있는 기술이 개시된다.

Description

한자인식시스템 및 이를 이용한 한자인식방법{Traditional Korean character Hanja Recognition System and method using thereof}
본 발명은 전통기록물과 같은 고문서에서 주로 사용되는 초서체 또는 흘림체로 작성된 한자를 정확하게 식별하여 사용자가 한자를 인식할 수 있도록 식별결과를 제공할 수 있는 한자인식 시스템 및 이를 이용한 한자인식방법에 관한 것이다.
근래에 전 세계적으로 문화 컨텐츠 발굴에 대한 관심이 증가하고 있으며, 문화컨텐츠를 다양화하기 위한 여러 노력이 다방면에 걸쳐 진행되고 있다. 그 중에서 서지학(Bilblography) 분야에서는 주로 사용되는 고전사료를 분석하고, 분석된 내용을 토대로 하여 전통문화 또는 역사적 사건이나 배경 등을 탐구하는 연구활동이 이루어지고 있는데, 이를 위해서는 사료에 대한 정확한 파악과 분석이 수행되어야 한다.
그러나, 대부분의 사료는 현 시대에 잘 사용하지 않는 고어(古語)로 작성되어 있으므로 사료의 분석이 쉽지 않은데, 그 중에서도 한자의 서체 중 일부인 초서체 또는 흘림체로 작성된 문자의 경우에는 정확한 문자의 파악과 식별이 쉽지 않다. 따라서, 이러한 초서체 또는 흘림체로 작성된 문자를 정확하게 파악할 수 있는 발전된 인식기술이 요청되고 있다.
대한민국 공개특허 제10-1996-0008529호 대한민국 공개특허 제10-2002-0088124호
본 발명의 목적은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로, 전통기록물과 같은 고문서에서 주로 사용되는 초서체 또는 흘림체로 작성된 한자를 정확하게 식별할 수 있는 한자인식시스템 및 이를 이용한 한자인식방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 한자인식시스템은 식별대상인 한자의 이미지인 한자이미지를 입력받는 입력부; 상기 입력부로부터 전달받은 상기 한자이미지로부터 이미지특징을 추출하기 위한 딥러닝모델(deep learning model)이 적용된 이미지인식기를 다수 포함하는 특징추출부; 상기 특징추출부로부터 전달받은 다수의 상기 이미지특징 각각에 대하여 신뢰도를 도출하고, 상기 식별대상인 한자에 해당되는 식별한자를 선정하는 식별한자선정부; 및 상기 식별한자선정부에서 선정된 상기 식별한자를 상기 식별한자선정부로부터 전달받아서 출력하는 출력부; 를 포함하는 것을 하나의 특징으로 할 수도 있다.
여기서, 상기 입력부에서 상기 특징추출부로 전달되는 상기 한자이미지는 다채널의 이미지행렬의 형태를 갖추고 있으며, 다채널의 이미지행렬의 형태를 갖춘 상기 한자이미지를 전달받은 다수의 상기 이미지인식기는 각기 행벡터의 형태를 갖춘 이미지특징을 추출하는 것을 또 하나의 특징으로 할 수도 있다.
여기서, 딥러닝모델이 적용된 다수의 상기 이미지인식기 중에는, 민감도 정규화 방법을 통해 학습이 이루어진 상기 이미지인식기가 있는 것을 또 하나의 특징으로 할 수도 있다.
여기서, 딥러닝모델이 적용된 다수의 상기 이미지인식기 중에는, 강건성(Robustness) 정규화 방법을 통해 학습이 이루어진 상기 이미지인식기가 있는 것을 또 하나의 특징으로 할 수도 있다.
여기서, 딥러닝모델이 적용된 다수의 상기 이미지인식기 중에는, 민감도 및 강건성 정규화 방법을 통해 학습이 이루어진 상기 이미지인식기가 있는 것을 또 하나의 특징으로 할 수도 있다.
여기서, 상기 식별한자선정부는, 상기 특징추출부로부터 전달받은 다수의 상기 이미지특징에 각각에 대하여 활성화함수를 이용하여 신뢰도 점수로 구성된 신뢰도 행렬을 산출하는 것을 또 하나의 특징으로 할 수도 있다.
여기서, 상기 식별한자선정부는, 산출된 상기 신뢰도행렬의 각 열에서 최대값을 선택하여 신뢰도점수-행벡터를 생성하고, 생성된 상기 신뢰도점수-행벡터 내에서 상기 신뢰도점수가 가장 큰 최대신뢰도점수에 대응되는 한자를 상기 식별대상인 한자에 해당되는 상기 식별한자로서 선정하는 것을 또 하나의 특징으로 할 수도 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 한자인식방법은, 본 발명에 따른 한자인식시스템이 식별대상인 한자의 이미지인 한자이미지를 입력받는 입력단계; 상기 입력단계에서 입력받은 상기 한자이미지로부터 다수의 이미지특징을 추출하는 추출단계; 상기 추출단계에서 추출된 다수의 상기 이미지특징으로부터 신뢰도점수를 도출하는 신뢰도도출단계; 및 상기 신뢰도도출단계에서 도출된 다수의 상기 신뢰도점수로부터 상기 식별대상인 한자에 해당되는 식별한자를 선정하는 식별한자선정단계;를 포함하는 것을 하나의 특징으로 할 수도 있다.
여기서, 상기 식별한자선정단계 이후에 이루어지는 단계로서, 상기 식별한자선정단계에서 선정된 상기 식별한자를 외부에서 인식할 수 있도록 출력하는 출력단계;를 더 포함하는 것을 또 하나의 특징으로 할 수도 있다.
여기서, 상기 식별한자선정단계에서 이루어지는 상기 식별한자의 선정은, 다수의 상기 신뢰도점수 중에서 가장 큰 값인 최대신뢰도점수에 대응되는 한자를 상기 식별한자로서 선정함으로써 이루어지는 것을 또 하나의 특징으로 할 수도 있다.
본 발명에 따른 한자인식시스템 및 이를 이용한 한자인식방법은, 한자가 오랜 시간의 경과로 인하여 알아보기 곤란하거나 초서체 또는 흘림체와 같이 다양한 필체 또는 크기, 문자들 간의 높은 유사도, 한자기록물의 품질이 저하되었더라도 한자 인식의 정확성을 증대시켜준다. 따라서 종래에 인식하기 어려웠었던 전통기록물의 한자를 인식하는데 기여하는 효과가 있다. 또한, 전통기록물을 디지털화 하여 보존하는 고문헌기록 작업의 능률 향상에 기여하는 효과도 있다.
도 1은 본 발명의 실시 예에 따른 한자인식시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 따른 한자인식시스템을 이용한 한자인식방법을 개략적으로 나타낸 순서도이다.
이하에서는 본 발명에 대하여 보다 구체적으로 이해할 수 있도록 첨부된 도면을 참조한 바람직한 실시 예를 들어 설명하기로 한다.
도 1을 참조하여 본 발명의 실시 예에 따른 한자인식시스템에 대하여 설명한 후 도 2를 더 참조하여 본 발명의 실시 예에 따른 한자인식방법에 대하여 설명하기로 한다.
참고로 본 발명의 실시 예에 대한 설명 및 이해의 편의를 위하여, '식별대상이 되는 한자'는 사용자가 파악하고자 하는 대상이 되는 한자를 말하며, '식별한자'는 본 발명의 실시 예에 따른 한자인식시스템 또는 한자인식방법을 통해 '식별대상이 되는 한자'를 식별하여 얻어진 식별결과를 말한다.
도 1은 본 발명의 실시 예에 따른 한자인식시스템을 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 한자인식시스템(100)은 입력부(110), 특징추출부(120), 식별한자선정부(130) 및 출력부(140)를 포함하여 이루어질 수 있다.
입력부(110)는 식별대상인 한자의 이미지인 한자이미지를 입력받는다.
이러한 입력부(110)의 예로서 카메라와 같은 장치를 들을 수 있다.
입력부(110)에서 특징추출부(120)로 전달되는 한자이미지는 다채널의 이미지행렬의 형태를 갖추게 된다. 입력부(110)는 한자이미지를 (W*H*3)의 크기의 RGB 3채널의 이미지행렬의 형태로 만든다. 여기서, W는 이미지의 너비이고, H는 이미지의 높이에 해당된다.
이와 같이 행렬의 형태로 된 한자이미지가 입력부(110)에서 특징추출부(120)의 이미지인식기(121, 122, 123, 124, 125) 로 전달된다.
특징추출부(120)는 입력부(110)로부터 전달받은 한자이미지로부터 이미지특징을 추출하는 이미지인식기(121, 122, 123, 124, 125) 를 다수 포함하고 있다. 즉, 특징추출부(120)는 다수의 이미지인식기(121, 122, 123, 124, 125) 를 포함하는 집합체라고 할 수 있다.
이미지인식기(121, 122, 123, 124, 125) 는 특정 수의 합성곱 연산 및 풀링 연산을 수행하여 한자이미지에서 이미지특징을 추출한다.
(W*H*3)의 크기의 RGB 3채널의 이미지행렬과 같이, 다채널의 이미지행렬의 형태를 갖춘 한자이미지를 전달받은 다수의 이미지인식기(121, 122, 123, 124, 125) 는 각기 행벡터의 형태를 갖춘 이미지특징을 추출한다.
식별대상인 한자에 해당되는 것으로 판단될 식별한자로 선정될 가능성이 있는 x개의 한자글자가 있다면, 추출된 이미지특징은 (1*x)의 행벡터의 형태를 가지게 된다.
이와 같이 다수의 이미지인식기(121, 122, 123, 124, 125) 각각이 입력부(110)으로부터 전달받은 한자이미지로부터 각기 이미지특징을 추출한다.
다수의 이미지인식기(121, 122, 123, 124, 125) 각각은 이미지특징을 추출하기 위한 딥러닝모델(deep learning model)이 적용되어 있다.
여기서 딥러닝모델은 CNN(convolution neural network), DenseNet(Densely connected convolutional network) 또는 ResNet(residual network) 등의 다양한 딥러닝모델이 가능하며, 딥러닝모델로서 VGGNet(Visual Geometry Group Network) 또한 바람직하다.
이와 같은 딥러닝모델이 적용된 이미지인식기(121, 122, 123, 124, 125)에 다음과 같은 정규화를 통한 학습이 이루어진 것이 바람직하다.
민감도(sensitivity) 정규화(regularization)는 비슷해보이지만 서로 다른 한자이미지인 비트윈-클라스(between-class) 이미지들을 더 잘 구분하게 만든다.
그리고 강건성(Robustness) 정규화(regularization)는 다르게 보이지만 실제로는 같은 한자이미지인 위드인-클라스(within-class) 이미지들을 더 잘 구분하게 만든다.
이와 같은 정규화를 통해 같은 종류의 한자이미지(within-class)는 같은 것으로, 다른 종류의 한자이미지(between-class)는 더 다른 것으로 구분이 잘 이루어질 수 있다.
따라서, 딥러닝모델이 적용된 다수의 이미지인식기(121, 122, 123, 124, 125) 중에는 민감도 정규화 방법을 통해 학습이 이루어진 이미지인식기(121)가 있는 것도 바람직하다.
아울러, 딥러닝모델이 적용된 다수의 이미지인식기(121, 122, 123, 124, 125) 중에는 강건성(Robustness) 정규화 방법을 통해 학습이 이루어진 이미지인식기(122)가 있는 것 또한 바람직하다.
또한, 딥러닝모델이 적용된 다수의 이미지인식기(121, 122, 123, 124, 125) 중에는 민감도 및 강건성 정규화 방법을 통해 학습이 이루어진 이미지인식기(123, 124, 125)가 있는 것도 바람직하다.
딥러닝모델이 적용된 다수의 이미지인식기(121, 122, 123, 124, 125) 중에서 일부의 이미지인식기(121)는 민감도 정규화 방법을 통해 학습이 이루어진 것이고, 다른 일부의 이미지인식기(122)는 강건성 정규화 방법을 통해 학습이 이루어진 것이며, 나머지 다른 일부의 이미지인식기(123, 124, 125)는 민감도 및 강건성 정규화 방법을 통해 학습이 이루어진 것도 바람직하다.
이와 같이 다수의 인식기(121, 122, 123, 124, 125) 각각이 모두 정규화 방법을 통한 학습이 된 상태인 것이 바람직하다.
가중치 갱신 방법은 아래와 같은 일반적인 방법을 따른다. 이 때
Figure pat00001
은 가중치 갱신을 위한 학습률(learning rate)이며,
Figure pat00002
은 각
Figure pat00003
층에 해당하는 가중치의 미분값이다. 본 발명에서는 가중치의 미분값을 구할 수 있는 손실함수에 민감도 혹은 강건성 정규화를 적용한다.
Figure pat00004
정규화 방법이 적용된 손실함수는 다음과 같이 정의될 수 있다.
즉, 민감도 및 강건성 정규화를 위해 이미지인식기(123, 124, 125) 마지막 층의 미분값을 평균을 계산하여, 레귤러라이저(regularizer)인 R을 계산한다.
Figure pat00005
민감도 정규화의 손실값 경우, 레귤러라이저 R과 마진(margin)값인 m을 더한 값으로 CNN(convolution neural network)의 손실값인
Figure pat00006
을 나누어 준다.
여기서 마진값은
Figure pat00007
가 0으로 나누어져 무한대가 되는 경우를 방지하기 위하여 필요하다.
민감도 정규화의 손실값 :
Figure pat00008
이와 같이 새롭게 정의된 손실값
Figure pat00009
을 바탕으로 이미지인식기(121)를 구성하는 가중치를 갱신하기 위한 값은 다음의 식과 같이 구해진다.
Figure pat00010
여기서
Figure pat00011
는 l번째 층의 입력 특징맵이며,
Figure pat00012
은 l번째 층으로 전파되는 에러값이다.
강건성 정규화의 손실값 경우, CNN의 손실값인
Figure pat00013
에 레귤라이저 R을 더해줌으로써 정의된다.
강건성 정규화의 손실값 :
Figure pat00014
강건성 정규화를 바탕으로 이미지인식기의 가중치를 갱신하기 위한 값은 다음과 같이 구해진다.
Figure pat00015
이러한 손실값들을 통합하기 위하여 CNN 손실값인
Figure pat00016
에 앞서 정의한 민감도 및 강건성 손실값을
Figure pat00017
,
Figure pat00018
계수로 가중치 합을 구해서 더해준다.
Figure pat00019
이에 추가로
Figure pat00020
계수를 적용하여
Figure pat00021
와 정규화 항 사이의 계수를 정의하여 얼마나 각 항을 반영할지 정하여, 최종적으로 총 에러값인
Figure pat00022
를 구한다.
Figure pat00023
새로 정의된 오류값으로 이미지인식기의 가중치를 갱신할 때에는 다음과 같은 경사도 값을 갖는다.
Figure pat00024
이때 학습과정 중 민감도 및 강건성 오류값 간의 비율도 학습될 수 있도록, 총 에러값
Figure pat00025
을 각 계수인
Figure pat00026
,
Figure pat00027
에 대해 편미분을 하여 경사도 값을 구한다. 그리고, 경사도 값을 바탕으로
Figure pat00028
,
Figure pat00029
값을 갱신한다.
이때 계수들의 학습률(learning rate)
Figure pat00030
를 적용하여 학습시킬 수 있다.
Figure pat00031
Figure pat00032
이와 같은 방법으로 적응형 민감도 및 강건성 정규화를 구현한 후 이와 같은 정규화에 맞추어 각 이미지인식기(121, 122, 123, 124, 125)들을 학습시킨 것이 바람직하다.
이와 같은 다수의 서로 다른 이미지인식기(121, 122, 123, 124, 125)들이 추출한 결과들을 앙상블(Ensemble)방법을 이용하여 종합한다.
이미지도출부(120)의 다수의 이미지인식기(121, 122, 123, 124, 125)에는 민감도 정규화가 적용된 이미지인식기(121), 강건성 정규화가 적용된 이미지인식기(122) 그리고 민감도 및 강건성 정규화 모두 적용된 이미지인식기(123)가 있다.
예를 들어, 민감도 정규화가 적용된 이미지인식기(121) 1개, 강건성 정규화를 적용한 이미지인식기(122) 1개 그리고 민감도 및 강건성을 모두 적용한 이미지인식기(123, 124, 125) 3개가 이미지도출부(120) 내에 마련된 형태가 있을 수 있다. 이미지인식기(121, 122, 123, 124, 125)들은 앞서 정의된 손실값 식 및 경사도 식의 정의에 따라 미리 학습된 것이 바람직하다.
민감도 정규화가 적용된 이미지인식기(121)는 앞서 언급한 민감도 손실값을 이용하여 학습된 것이 바람직하다.
강건성 정규화가 적용된 이미지인식기(122)는 앞서 설명한 강건성 손실값만 이용하여 학습된 것이 바람직하다.
민감도 및 강건성을 모두 적용한 이미지인식기(123)의 경우, 총 손실값인
Figure pat00033
을 바탕으로 하여 학습될 수 있다.
각 이미지인식기(121, 122, 123, 124, 125)별로 각기 다른 이미지특징을 추출할 수 있도록 하기 위하여
Figure pat00034
,
Figure pat00035
계수,
Figure pat00036
계수, 가중치 갱신을 위한 학습률(
Figure pat00037
), 계수들의 학습률(
Figure pat00038
)을 서로 다른 값으로 설정된 것이 바람직하다.
이에 따라 각 이미지인식기(121, 122, 123, 124, 125)는 학습과정 중 서로 다른 이미지인식기(121, 122, 123, 124, 125)로 학습이 되어 간다.
앞서 언급한 바와 같이 입력부(110)로부터 전달받은 한자이미지는 각 이미지인식기(121, 122, 123, 124, 125)에 3차원 행렬의 형태로 전달된다. 그리고 학습된 각 이미지인식기(121, 122, 123, 124, 125)들은 서로 다른 이미지특징들을 추출해 낸다.
x개의 가능한 한자글자종류가 있을 때, 이미지인식기(121, 122, 123, 124, 125)는 (1*x)의 이미지특징 벡터를 출력하게 된다.
그리고 출력된 이미지특징벡터는 식별한자선정부(130)로 전달된다.
이처럼 민감도 정규화를 통해 입력된 한자이미지 내의 미세한 변동 및 고주파 성분을 고려하여 비슷하게 보이지만 실제로는 다른 한자를 구분해낸다.
그리고 강건성 정규화는 잉크얼룩, 저해상도 또는 복잡한 배경을 가진 이미지에서도 이미지특징을 추출할 수 있으므로 외견상 다르게 보이지만 실제로는 동일한 한자들을 구분해 낼 수 있다.
그리고, 민감도 정규화와 강건성 정규화에 대한 비율을 학습을 통해 스스로 정할 수도 있다.
식별한자선정부(130)는 특징추출부(120)의 각 이미지인식기(121, 122, 123, 124, 125)들로부터 전달받은 다수의 이미지특징 각각에 대하여 신뢰도를 도출한다. 그리고 도출된 신뢰도를 토대로 하여 식별대상인 한자에 해당되는 식별한자를 선정한다.
식별한자선정부(130)에서 여러 이미지인식기(121, 122, 123, 124, 125)로부터 얻어지는 다수의 이미지특징들에 대하여 앙상블 방법을 적용하여 고려하므로 식별대상인 한자에 대하여 높은 정확도로 인식할 수 있게 된다.
식별한자선정부(130)는, 특징추출부(120)로부터 전달받은 다수의 이미지특징 각각에 대하여 활성화함수를 이용하여 신뢰도 점수로 구성된 신뢰도 행렬을 산출한다. 여기서 활성화함수(activation function)으로서, 소프트맥스(softmax)함수가 이용되는 것도 바람직하다.
이미지특징에 소프트맥스함수를 적용하여 신뢰도 점수를 얻고 이 중 최고의 점수에 해당되는 한자를 한자인식시스템이 예측한 한자로 선정한다.
소프트맥스함수는 다음과 같이 추출된 이미지특징의 값들을 확률값으로 바꾸어 각 열의 합이 1이 되도록 한다. 이때 이미지특징벡터의 크기는 유지된다.
Figure pat00039
그리고 식별한자선정부(130)는, 산출된 신뢰도행렬의 각 열에서 최대값을 선택하여 신뢰도점수-행벡터를 생성하고, 생성된 신뢰도점수-행벡터 내에서 신뢰도점수가 가장 큰 최대신뢰도점수에 대응되는 한자를 식별대상인 한자에 해당되는 식별한자로서 선정한다.
각 이미지인식기(121, 122, 123, 124, 125)들로부터 출력된 이미지특징 벡터를 바탕으로 하여 한자글자종류의 확률값을 구하기 위하여 각 이미지특징 벡터별로 활성화함수인 소프트맥스함수를 적용한다.
소프트맥스함수 적용 후 각 이미지특징벡터들은 (1*x)의 크기는 유지되지만, 각 열의 값들 합이 1이 되는 신뢰도 점수를 갖게 된다.
y개의 이미지인식기가 있을 때, (1*x)의 신뢰도 벡터가 y개가 있으므로 (y*x) 크기의 신뢰도 행렬을 구성할 수 있다.
i번째 행에 j 번째 열의 신뢰도 점수는 i번째 이미지인식기가 예측한 j번째 한자글자의 신뢰도점수가 된다.
각 이미지인식기(121, 122, 123, 124, 125) 별 한자글자 신뢰도점수로 구성된 신뢰도 행렬로부터 최종적으로 입력부에 입력된 한자를 인식한 최종결과인 식별한자를 결정하기 위하여 신뢰도점수의 최대값을 선택한다.
신뢰도 행렬의 각 열에서 최대값을 선택한다. j번째 열에서 선택된 신뢰도 점수는 각 이미지인식기에서 j번째 한자 글자에 대해 예측한 신뢰도 점수들의 최대값을 취한다.
x개의 한자 글자 종류가 있다면, 각 열에 대해 최대값을 선택한 후 (1*x) 신뢰도 벡터가 만들어진다.
생성된 신뢰도 벡터에서 최종적으로 식별대상인 한자가 어떤 한자글자인지 결정하기 위하여 각 신뢰도 점수들 중에서 다시 최대값을 선택한다.
그리고 선정된 최대값에 해당되는 한자를 식별한자로 선정하고, 이를 출력부(140)로 전달한다.
필요에 따라서는 신뢰도벡터의 각 행과 열에 대응되는 한자들이 저장된 데이터베이스가 별도로 마련되어 있는 형태도 가능하며 이 또한 바람직하다.
출력부(140)는 식별한자선정부(130)에서 선정된 식별한자를 식별한자선정부(130)로부터 전달받아서 출력한다.
출력부(140)로서, 이용자가 식별한자를 시각적으로 인식할 수 있도록 전시시켜줄 수 있는 모니터와 같은 디스플레이장치도 바람직하다.
이와 같이, 출력부(140)를 통해 식별대상인 한자를 인식한 결과인 식별한자를 사용자에게 제공함으로써 사용자는 식별대상인 한자가 식별한자라는 것을 알 수 있게 된다.
이상에서 설명한 바와 같은 한자인식시스템(100)을 이용한 한자인식방법에 대하여 도 2를 더 참조하여 설명한다. 도 2는 본 발명의 실시 예에 따른 한자인식시스템(100)을 이용한 한자인식방법을 개략적으로 나타낸 순서도이다.
도 2를 더 참조하면 본 발명의 실시 예에 따른 한자인식시스템을 이용한 한자인식방법은 입력단계(S110), 추출단계(S120), 신뢰도도출단계(S130) 및 식별한자선정단계(S140)를 포함하여 이루어지며, 좀 더 바람직하게는 출력단계(S300)를 더 포함하여 이루어질 수도 있다.
<< S110 >>
입력단계(S110)는 한자인식시스템(100)이 식별대상인 한자의 이미지인 한자이미지를 입력받는 단계이다.
입력부(110)을 통해 식별하고자하는 한자의 이미지가 입력된다. 그리고 입력부(110)는 이미지행렬의 형태로 된 한자이미지를 특징추출부(120)로 전달한다.
한자이미지는 특징추출부(120)의 다수의 이미지인식기(121, 122, 123, 124, 125) 로 전달된다.
<< S120 >>
추출단계(S120)는 입력단계(S110)에서 입력받은 한자이미지로부터 특징추출부(120)가 다수의 이미지특징을 추출하는 단계이다.
특징추출부(120)의 다수의 이미지인식기(121,122,123,124)는 입력부(12)로부터 전달받은 한자이미지로부터 각기 이미지특징을 추출한다.
여기서 다수의 이미지인식기(121,122, 123, 124, 125) 각각은 앞서 설명한 바와 같이 딥러닝모델이 적용되어 있는 것이 바람직하다.
<< S130 >>
신뢰도도출단계(S130)는 추출단계(S120)에서 추출된 다수의 이미지특징으로부터 신뢰도점수를 도출하는 단계이다.
다수의 이미지인식기(121, 122, 123, 124, 125) 각각으로부터 추출된 이미지특징을 식별한자선정부(130)가 전달받는다. 그리고 신뢰도점수를 도출한다.
식별한자선정부(130)는, 특징추출부(120)로부터 전달받은 다수의 이미지특징 각각에 대하여 활성화함수를 이용하여 신뢰도 점수로 구성된 신뢰도 행렬을 산출한다. 여기서 활성화함수(activation function)으로서, 앞서 설명한 바와 같이 소프트맥스(softmax)함수가 이용되는 것도 바람직하다.
<< S140 >>
식별한자선정단계(S140)는 신뢰도도출단계(S130)에서 도출된 다수의 신뢰도점수로부터 식별대상인 한자에 해당되는 식별한자를 선정하는 단계이다.
식별한자선정단계(S140)에서 이루어지는 식별한자의 선정은, 식별한자선정부(130)가 다수의 상기 신뢰도점수 중에서 가장 큰 값인 최대신뢰도점수에 대응되는 한자를 식별한자로서 선정함으로써 이루어지는 것이 바람직하다.
이미지특징에 소프트맥스함수를 적용하여 신뢰도 점수를 얻고 이 중 최고의 점수에 해당되는 한자를 한자인식시스템이 예측한 식별한자로 선정한다.
식별한자선정부(130)는 선정된 식별한자를 사용자가 알 수 있도록 출력부로 전달할 수 있다.
<< S150 >>
식별한자선정단계(S140) 이후에 이루어지는 단계로서, 출력단계(S150)는 식별한자선정단계(S140)에서 선정된 식별한자를 외부에서 인식할 수 있도록 출력하는 단계이다.
식별한자선정부(130)에서 선정된 식별한자를 사용자가 인식할 수 있도록 모니터와 같은 출력부(140)를 통해 출력된다. 따라서 사용자는 출력부(140)를 통해 출력된 식별한자를 보고 식별대상인 한자를 알 수 있게 된다.
입력단계 이전에 이루어질 수 있는 단계로서, 한자이미지로부터 다수의 이미지특징을 추출할 수 있도록 한자인식시스템(100)의 이미지인식기(121, 122, 123, 124, 125)에 앞서 설명한 바와 같이 딥러닝모델을 적용시키고 정규화하여 학습시켜 놓은 것도 바람직하다. 도 2에 도시되지는 않았으나 이러한 단계를 사전러닝단계 라고 하고 사전에 다수의 이미지인식기(121, 122, 123, 124, 125) 들을 학습시켜놓는 것 또한 바람직하다.
이상에서 설명한 바와 같은 본 발명에 따른 한자인식시스템 및 이를 이용한 한자인식방법은 이미지인식기의 민감도 정규화와 강건성 정규화를 적용하여 앙상블방법을 통해 한자를 인식하므로 혼동되기 쉬운 초서체와 같은 한자이미지에 대한 인식률이 증대된다.
즉, 민감도 정규화를 통해 입력된 한자이미지 내의 미세한 변동 및 고주파 성분을 고려하여 비슷하게 보이지만 실제로는 다른 한자를 구분해낸다. 그리고 강건성 정규화는 잉크얼룩, 저해상도 또는 복잡한 배경을 가진 이미지에서도 이미지특징을 추출할 수 있으므로 외견상 다르게 보이지만 실제로는 동일한 한자들을 구분해 낼 수 있다.
그리고, 민감도 정규화와 강건성 정규화에 대한 비율을 학습을 통해 스스로 정할 수도 있다. 이와 같이 구성된 여러 이미지인식기를 앙상블 방법을 적용하여 여러 이미지인식기의 결과들을 함께 고려하므로 식별대상인 한자에 대하여 높은 정확도로 인식할 수 있다.
이와 같이, 본 발명에 따른 한자인식시스템 및 한자인식방법은 한자가 오랜 시간의 경과로 인하여 알아보기 곤란하거나 다양한 필체 또는 크기, 문자들 간의 높은 유사도, 한자기록물의 품질이 저하되었더라도 한자 인식의 정확성을 증대시켜준다. 따라서 종래에 인식하기 어려웠었던 전통 기록물의 한자를 인식하는데 기여하는 장점이 있다. 또한, 전통기록물을 디지털화 하여 보존하는 고문헌기록 작업의 능률 향상에 기여하는 장점도 있다.
이상에서 설명된 바와 같이, 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시 예들에 의해서 이루어졌지만, 상술한 실시 예들은 본 발명의 바람직한 실시 예를 들어 설명하였을 뿐이기 때문에, 본 발명이 상기의 실시 예에만 국한되는 것으로 이해되어져서는 아니되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어져야 할 것이다.
100 : 한자인식시스템
110 : 서버 120 : 특징추출부
121, 122, 123, 124, 125 : 이미지인식기
130 : 식별한자선정부 140 : 출력부

Claims (10)

  1. 식별대상인 한자의 이미지인 한자이미지를 입력받는 입력부;
    상기 입력부로부터 전달받은 상기 한자이미지로부터 이미지특징을 추출하기 위한 딥러닝모델(deep learning model)이 적용된 이미지인식기를 다수 포함하는 특징추출부;
    상기 특징추출부로부터 전달받은 다수의 상기 이미지특징 각각에 대하여 신뢰도를 도출하고, 상기 식별대상인 한자에 해당되는 식별한자를 선정하는 식별한자선정부; 및
    상기 식별한자선정부에서 선정된 상기 식별한자를 상기 식별한자선정부로부터 전달받아서 출력하는 출력부; 를 포함하는 것을 특징으로 하는 한자인식시스템.
  2. 제 1항에 있어서,
    상기 입력부에서 상기 특징추출부로 전달되는 상기 한자이미지는 다채널의 이미지행렬의 형태를 갖추고 있으며,
    다채널의 이미지행렬의 형태를 갖춘 상기 한자이미지를 전달받은 다수의 상기 이미지인식기는 각기 행벡터의 형태를 갖춘 이미지특징을 추출하는 것을 특징으로 하는 한자인식시스템.
  3. 제 2항에 있어서,
    딥러닝모델이 적용된 다수의 상기 이미지인식기 중에는,
    민감도 정규화 방법을 통해 학습이 이루어진 상기 이미지인식기가 있는 것을 특징으로 하는 한자인식시스템.
  4. 제 2항에 있어서,
    딥러닝모델이 적용된 다수의 상기 이미지인식기 중에는,
    강건성(Robustness) 정규화 방법을 통해 학습이 이루어진 상기 이미지인식기가 있는 것을 특징으로 하는 한자인식시스템.
  5. 제 2항에 있어서,
    딥러닝모델이 적용된 다수의 상기 이미지인식기 중에는,
    민감도 및 강건성 정규화 방법을 통해 학습이 이루어진 상기 이미지인식기가 있는 것을 특징으로 하는 한자인식시스템.
  6. 제 3항 내지 제 5항 중 어느 한 항에 있어서,
    상기 식별한자선정부는,
    상기 특징추출부로부터 전달받은 다수의 상기 이미지특징에 각각에 대하여 활성화함수를 이용하여 신뢰도 점수로 구성된 신뢰도 행렬을 산출하는 것을 특징으로 하는 한자인식시스템.
  7. 제 6항에 있어서,
    상기 식별한자선정부는,
    산출된 상기 신뢰도행렬의 각 열에서 최대값을 선택하여 신뢰도점수-행벡터를 생성하고,
    생성된 상기 신뢰도점수-행벡터 내에서 상기 신뢰도점수가 가장 큰 최대신뢰도점수에 대응되는 한자를 상기 식별대상인 한자에 해당되는 상기 식별한자로서 선정하는 것을 특징으로 하는 한자인식시스템.
  8. 한자인식시스템이 식별대상인 한자의 이미지인 한자이미지를 입력받는 입력단계;
    상기 입력단계에서 입력받은 상기 한자이미지로부터 다수의 이미지특징을 추출하는 추출단계;
    상기 추출단계에서 추출된 다수의 상기 이미지특징으로부터 신뢰도점수를 도출하는 신뢰도도출단계; 및
    상기 신뢰도도출단계에서 도출된 다수의 상기 신뢰도점수로부터 상기 식별대상인 한자에 해당되는 식별한자를 선정하는 식별한자선정단계;를 포함하는 것을 특징으로 하는 한자인식시스템을 이용한 한자인식방법.
  9. 제 8항에 있어서,
    상기 식별한자선정단계 이후에 이루어지는 단계로서,
    상기 식별한자선정단계에서 선정된 상기 식별한자를 외부에서 인식할 수 있도록 출력하는 출력단계;를 더 포함하는 것을 특징으로 하는 한자인식시스템을 이용한 한자인식방법.
  10. 제 9항에 있어서,
    상기 식별한자선정단계에서 이루어지는 상기 식별한자의 선정은,
    다수의 상기 신뢰도점수 중에서 가장 큰 값인 최대신뢰도점수에 대응되는 한자를 상기 식별한자로서 선정함으로써 이루어지는 것을 특징으로 하는 한자인식시스템을 이용한 한자인식방법.
KR1020190098004A 2019-06-27 2019-08-12 한자인식시스템 및 이를 이용한 한자인식방법 KR102264988B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190077336 2019-06-27
KR20190077336 2019-06-27

Publications (2)

Publication Number Publication Date
KR20210001817A true KR20210001817A (ko) 2021-01-06
KR102264988B1 KR102264988B1 (ko) 2021-06-16

Family

ID=74128846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190098004A KR102264988B1 (ko) 2019-06-27 2019-08-12 한자인식시스템 및 이를 이용한 한자인식방법

Country Status (1)

Country Link
KR (1) KR102264988B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220109821A (ko) * 2021-01-29 2022-08-05 경북대학교 산학협력단 불균형 초서 인식을 위한 주목도를 이용한 로우샷 전이 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20220111019A (ko) * 2021-02-01 2022-08-09 (주)메인라인 딥러닝 기반 이종의 ocr ai 알고리즘을 이용하여 최적 텍스트를 인식하는 장치, 방법 및 사용자 단말

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020088124A (ko) 2001-05-17 2002-11-27 삼성전자 주식회사 신경망을 이용한 영상 인식 장치 및 그 방법
JP2014232533A (ja) * 2013-05-28 2014-12-11 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ Ｏｃｒ出力検証システム及び方法
KR101777601B1 (ko) * 2016-01-11 2017-09-13 경북대학교 산학협력단 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020088124A (ko) 2001-05-17 2002-11-27 삼성전자 주식회사 신경망을 이용한 영상 인식 장치 및 그 방법
JP2014232533A (ja) * 2013-05-28 2014-12-11 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ Ｏｃｒ出力検証システム及び方法
KR101777601B1 (ko) * 2016-01-11 2017-09-13 경북대학교 산학협력단 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220109821A (ko) * 2021-01-29 2022-08-05 경북대학교 산학협력단 불균형 초서 인식을 위한 주목도를 이용한 로우샷 전이 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20220111019A (ko) * 2021-02-01 2022-08-09 (주)메인라인 딥러닝 기반 이종의 ocr ai 알고리즘을 이용하여 최적 텍스트를 인식하는 장치, 방법 및 사용자 단말

Also Published As

Publication number Publication date
KR102264988B1 (ko) 2021-06-16

Similar Documents

Publication Publication Date Title
Dutta et al. Improving CNN-RNN hybrid networks for handwriting recognition
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN109858555B (zh) 基于图像的数据处理方法、装置、设备及可读存储介质
CN107368831B (zh) 一种自然场景图像中的英文文字和数字识别方法
CN108416370B (zh) 基于半监督深度学习的图像分类方法、装置和存储介质
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN113158862B (zh) 一种基于多任务的轻量级实时人脸检测方法
Pomazan et al. Handwritten character recognition models based on convolutional neural networks
CN109993102A (zh) 相似人脸检索方法、装置及存储介质
Cayamcela et al. Fine-tuning a pre-trained convolutional neural network model to translate American sign language in real-time
CN107045621A (zh) 基于lbp与lda的人脸表情识别方法
CN111523622B (zh) 基于特征图像自学习的机械臂模拟手写笔迹方法
CN108108760A (zh) 一种快速人脸识别方法
CN113111968A (zh) 图像识别模型训练方法、装置、电子设备和可读存储介质
KR102264988B1 (ko) 한자인식시스템 및 이를 이용한 한자인식방법
CN109033321B (zh) 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法
CN110659398A (zh) 一种基于数学图表类数据集的视觉问答方法
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN112560824A (zh) 一种基于多特征自适应融合的人脸表情识别方法
CN116935411A (zh) 一种基于字符分解和重构的部首级古文字识别方法
CN111325270B (zh) 一种基于模板匹配和bp神经网络的东巴文识别方法
CN112329803B (zh) 一种基于标准字形生成的自然场景文字识别方法
Alalawi et al. A CNN-Based Arabic Diacritic Symbol Recognition System Using Domain Adaptation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant