KR20170083805A - 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템 - Google Patents

Abstract

본 발명은 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템에 관한 것으로, 보다 구체적으로는 입력부가 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는 단계; 문자판별부가 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망(artificial neural network)을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계; 및 출력부가 판별한 한자를 외부로 출력하는 단계;를 포함한다.
본 발명의 일 측면에 따르면, 육안으로 명확한 확인이 어려운 고문서 내 초서체 또는 흘림체로 작성된 문자를 인공 신경망을 이용하여 용이하게 판별할 수 있는 효과가 있다.

Description

초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템{Distinction method and system for characters written in caoshu characters or cursive characters}

본 발명은 고문서에서 주로 사용되는 초서체 또는 흘림체로 작성된 문자를 정확하게 판별하여 그에 해당하는 한자로 변환시킬 수 있는 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템에 관한 것이다.

최근 들어, 전 세계를 중심으로 문화 콘텐츠 발굴에 관심을 두고, 문화 콘텐츠를 다양화하기 위한 여러 노력이 여러 방면에서 시행되고 있다. 그 중에서도 특히, 서지학(Bibliography) 분야에서는 주로 사용되는 고전의 사료를 분석하고, 분석한 내용을 토대로 전통문화 또는 역사적 사건이나 배경을 알리는 연구가 이루어지고 있는데, 이를 위해서는 사료의 분석이 먼저 수행되어야 한다.

하지만, 대부분의 사료가 현재 잘 사용하지 않는 고어로 작성되어 있는 탓에, 사료의 분석이 쉽지 않은데, 그 중에서도 특히 한자의 서체 중 일부인 초서체 또는 흘림체로 작성된 문자의 경우에는 명확한 문자의 판별이 어려운 문제점이 발생했다.

한국 공개특허공보 10-2002-0088124 한국 공개특허공보 10-1996-0008529

본 발명의 일 측면은 고문서 내 초서체 또는 흘림체로 작성된 문자를 인공 신경망을 이용하여 판별한 후 판별한 문자에 해당하는 한자로 변환함으로써, 문자 인식을 보다 용이하게 할 수 있는 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템을 개시한다.

본 발명의 일 측면에 따른 초서체 또는 흘림체로 작성된 문자의 판별 방법은 입력부가 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는 단계; 문자판별부가 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망(artificial neural network) 기법을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계; 및 출력부가 판별한 한자를 외부로 출력하는 단계;를 포함한다.

특히, 상기 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는 단계를 수행하기 전, 저장부가 복수 개의 초서체 또는 흘림체로 작성된 문자와, 이에 대응하는 한자를 상호 매칭하여 상기 복수 개의 초서체 또는 흘림체로 작성된 문자의 분류 정보 및 상기 문자와 매칭된 한자의 분류 정보를 데이터베이스 형태로 저장하는 단계;를 더 포함할 수 있다.

특히, 상기 인공 신경망은 합성곱 신경망(convolutional neural network) 기법을 포함할 수 있다.

특히, 상기 문자판별부가 상기 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계는 상기 문서 이미지에 포함된 문자에 대한 데이터를 추출하는 단계; 추출된 데이터로부터 상기 문자의 특징을 나타내는 적어도 하나의 분류 정보를 추출하는 단계; 추출된 분류 정보를 합성곱 신경망에 이용하여 상기 문서 이미지에 포함된 문자를 분류하는 단계; 상기 문자의 분류결과에 따라 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하는 단계; 및 상기 문서 이미지에 포함된 문자를 판별한 한자로 변환하는 단계;를 포함할 수 있다.

특히, 상기 추출된 분류 정보를 합성곱 신경망에 이용하여 상기 문서 이미지에 포함된 문자를 분류하는 단계는 상기 문서 이미지에 포함된 문자의 분류 정보를 합성곱 신경망을 이용하여 학습하고, 학습한 상기 합성곱 신경망의 실제 출력값을 기설정된 개수만큼 획득하는 단계; 획득한 상기 합성곱 신경망에 대한 적어도 하나의 실제 출력값과 기설정된 상기 합성곱 신경망의 이상 출력값 간에 유사도를 판단하는 단계; 및 유사도 판단결과에 기초하여 상기 문서 이미지에 포함된 문자를 분류하는 단계;를 포함할 수 있다.

특히, 상기 문자판별부가 상기 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계는 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하지 못하는 경우, 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행하는 단계;를 더 포함할 수 있다.

특히, 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행하는 단계는 상기 문서 이미지에 포함된 문자의 분류 정보를 가우시안 혼합 모델(Gaussian Mixture Model) 기법을 이용하여 학습하는 단계; 학습한 상기 문자의 분류 정보와, 이전에 학습되어 기저장된 분류 정보를 비교하여, 상기 문자의 분류 정보로부터 상기 이전에 학습된 분류 정보와 동일한 분류 정보를 삭제하는 단계; 및 상기 문서 이미지에 포함된 문자의 분류 정보 중 상기 이전에 학습된 분류 정보와 동일한 분류 정보가 삭제된 나머지 분류 정보를 저장부에 추가 저장하는 단계;를 더 포함할 수 있다.

특히, 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행하는 과정은 상기 문서 이미지에 포함된 문자의 출처 정보 및 저자 정보 중 적어도 하나를 학습하는 단계;를 더 포함할 수 있다.

특히, 상기 문자의 분류 정보는 상기 문자의 외형 중 모서리 및 선분의 형태 정보 또는 상기 모서리와 선분의 조합 정보를 포함할 수 있다.

본 발명의 다른 측면에 따른 초서체 또는 흘림체로 작성된 문자의 판별 시스템은 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는 입력부; 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망(artificial neural network) 기법을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 문자판별부; 및 판별한 한자를 외부로 출력하는 출력부;를 포함한다.

특히, 복수 개의 초서체 또는 흘림체로 작성된 문자와, 이에 대응하는 한자를 상호 매칭하여, 상기 복수 개의 초서체 또는 흘림체로 작성된 문자의 분류 정보 및 상기 문자와 매칭된 한자의 분류 정보를 데이터베이스 형태로 저장하는 저장부;를 더 포함할 수 있다.

특히, 상기 인공 신경망은 합성곱 신경망(convolutional neural network) 기법을 포함할 수 있다.

특히, 상기 문서판별학습부는 상기 문서 이미지에 포함된 문자에 대한 데이터를 추출하는 데이터 추출모듈; 추출된 데이터로부터 상기 문자의 특징을 나타내는 적어도 하나의 분류 정보를 추출하는 분류정보 추출모듈; 추출된 분류 정보를 합성곱 신경망에 이용하여 상기 문서 이미지에 포함된 문자를 분류하는 분류모듈; 상기 문자의 분류결과에 따라 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하는 판별모듈; 및 상기 문서 이미지에 포함된 문자를 판별한 한자로 변환하는 변환모듈;을 포함할 수 있다.

특히, 상기 분류모듈은 상기 문서 이미지에 포함된 문자의 분류 정보를 합성곱 신경망을 이용하여 학습하고, 학습한 상기 합성곱 신경망의 실제 출력값을 기설정된 개수만큼 획득하는 학습모듈; 및 획득한 상기 합성곱 신경망에 대한 적어도 하나의 실제 출력값과 기설정된 상기 합성곱 신경망의 이상 출력값 간에 유사도를 판단하는 유사도 판단모듈; 유사도 판단결과에 기초하여 상기 문서 이미지에 포함된 문자를 분류하는 문자 분류모듈;을 포함할 수 있다.

특히, 상기 학습모듈은 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하지 못하는 경우, 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행할 수 있다.

특히, 상기 학습모듈은 상기 문서 이미지에 포함된 문자의 분류 정보를 가우시안 혼합 모델(Gaussian Mixture Model) 기법을 이용하여 학습하고, 학습한 상기 문자의 분류 정보와, 이전에 학습되어 기저장된 분류 정보와 비교하여, 상기 문자의 분류 정보로부터 상기 이전에 학습된 분류 정보와 동일한 분류 정보를 삭제한 후, 상기 문서 이미지에 포함된 문자의 분류 정보 중 상기 이전에 학습된 분류 정보와 동일한 분류 정보가 삭제된 나머지 분류 정보를 저장부에 추가 저장시킬 수 있다.

특히, 상기 학습모듈은 상기 문서 이미지에 포함된 문자의 출처 정보 및 저자 정보 중 적어도 하나를 더 학습할 수 있다.

특히, 상기 입력부는 카메라 및 스캐너 중 적어도 하나를 포함할 수 있다.

본 발명의 일 측면에 따르면, 육안으로 명확한 확인이 어려운 고문서 내 초서체 또는 흘림체로 작성된 문자를 인공 신경망을 이용하여 용이하게 판별할 수 있는 효과가 있다.

본 발명의 다른 측면에 따르면, 고문서에 초서체 또는 흘림체로 작성된 문자를 인공 신경망을 통해 학습하고 판별하여 해당하는 초서체 또는 흘림체로 작성된 문자로 이루어진 고문서를 보다 신속하게 해석할 수 있어, 사용자로 하여금 사료 분석을 신속하고 용이하게 수행할 수 있도록 하는 효과가 있다.

도 1 은 본 발명의 일 실시 예에 따른 초서체 또는 흘림체로 작성된 문자의 판별 시스템을 나타낸 블록도이다.
도 2는 도 1의 문자판별부의 세부 구성을 나타낸 블록도이다.
도 3은 본 발명의 다른 실시 예에 따른 초서체 또는 흘림체로 작성된 문자의 판별 방법을 나타낸 순서도이다.
도 4는 도 3의 문자판별부가 인공 신경망을 이용하여 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계의 세부 과정을 나타낸 순서도이다.
도 5는 도 4의 문자 분류 단계의 세부 과정을 나타낸 순서도이다.
도 6은 부스트 가우시안 혼합 모델을 이용하여 분류 정보를 학습하는 과정을 나타낸 개략도이다.
도 7은 본 발명의 초서체 또는 흘림체로 작성된 문자 판별 방법 및 시스템을 실제 이용하여 문자를 판별하는 과정을 나타낸 도면이다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명 시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명은 고문서에 주로 사용되는 갑골문, 금문, 소전, 예서, 초서, 해서, 및 행서 글자체 중에서, 그 형태를 사용자가 육안으로 명확하게 확인하기 어려운 한자 서체 예를 들면, 초서체 또는 흘림체로 작성된 문자에 적용하여 해당하는 문자를 명확하게 판별할 수 있도록 한다.

이하에서는 도 1을 참조하여 본 발명의 일 실시 예에 따른 초서체 또는 흘림체로 작성된 문자의 판별 시스템에 대하여 자세히 살펴보도록 한다.

도 1 은 본 발명의 일 실시 예에 따른 초서체 또는 흘림체로 작성된 문자의 판별 시스템을 나타낸 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 초서체 또는 흘림체로 작성된 문자의 판별 시스템(100)은 입력부(120), 문자판별부(140), 출력부(160), 및 저장부(180)를 포함할 수 있다.

입력부(120)는 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서 이미지를 입력받는다. 이러한 입력부(120)는 카메라 또는 스캐너 중 적어도 하나를 포함하여, 사용자가 육안으로 확인이 어려운 초서체 또는 흘림체로 작성된 문자를 카메라를 통해 촬영하거나, 또는 스캐너를 통해 초서체 또는 흘림체로 작성된 문자를 포함하는 문서 이미지를 획득한다.

문자판별부(140)는 상기 입력부(120)를 통해 입력받은 상기 문서 이미지에 포함된 문자를 인공 신경망(artificial neural network)을 이용하여 학습하고, 학습한 문자와 대응하는 한자를 판별한다. 이때, 상기 인공 신경망은 합성곱 신경망(convolutional neural network)을 포함할 수 있다.

출력부(160)는 상기 문서 이미지에 포함된 문자와 대응한다고 판별한 한자를 외부로 출력한다.

또한, 통신부(미도시)를 더 포함하여, 상기 출력부(160)가 출력하고자 하는 한자에 관련된 적어도 하나의 정보를 유무선 통신을 이용해 외부에 위치하는 사용자 단말로 전송한다. 이에 따라, 상기 사용자 단말이 상기 통신부를 통해 수신한 한자에 관련된 적어도 하나의 정보를 수신하여 수신한 한자에 관련된 정보를 디스플레이 할 수 있다.

저장부(180)는 복수 개의 초서체 또는 흘림체로 작성된 문자와, 이에 대응하는 한자를 상호 매칭하여, 상기 복수 개의 초서체 또는 흘림체로 작성된 문자의 분류 정보 및 상기 문자와 매칭된 한자의 분류 정보를 데이터베이스 형태로 저장한다.

이하, 도 2를 참조하여, 문자판별부에 대하여 자세히 살펴보도록 한다.

도 2는 도 1의 문자판별부의 세부 구성을 나타낸 블록도로서, 본 발명의 문자판별부(140)는 데이터 추출모듈(141), 분류정보 추출모듈(143), 분류모듈(145), 판별모듈(147), 및 변환모듈(149)을 포함할 수 있다.

데이터 추출모듈(141)은 입력받은 문서 이미지에 포함된 문자에 대한 데이터를 추출하는데, 이에 따라 추출된 데이터는 상기 문자의 부수 정보 및 획수 정보 뿐만 아니라, 상기 문자를 표현할 수 있는 외형적 표기 정보 중 적어도 하나를 포함할 수 있다.

분류정보 추출모듈(143)은 상기 데이터 추출모듈(141)로부터 추출된 데이터로부터 상기 문자의 특징을 나타내는 적어도 하나의 분류 정보를 추출한다. 이러한 분류 정보는 상기 문자의 외형을 나타내는 모서리 및 선분의 형태 정보 또는 상기 모서리와 선분간의 조합 정보를 포함할 수 있다.

분류모듈(145)은 추출된 분류 정보를 합성곱 신경망에 이용하여 학습하고, 이에 따라 상기 문서 이미지에 포함된 문자를 분류하는데, 학습모듈(145a), 유사도 판단모듈(145b), 문자 분류모듈(145c)을 포함할 수 있다.

학습모듈(145a)은 상기 분류정보 추출모듈(143)로부터 추출된 문서 이미지에 포함된 문자의 분류 정보를 합성곱 신경망을 이용하여 학습하고, 학습한 상기 합성곱 신경망의 실제 출력값을 기설정된 개수만큼 획득한다. 이러한 학습모듈(145a)은 만약, 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하지 못하는 경우에는, 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 더 수행할 수 있다. 이러한 학습모듈(145a)은 상기 문서 이미지에 포함된 문자의 분류 정보를 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 학습하고, 학습한 상기 문자의 분류 정보와 이전에 학습되어 기저장된 분류 정보와 비교하여, 동일한 분류정보가 존재하는 경우, 상기 문자의 분류 정보로부터 상기 이전에 학습된 분류 정보와 동일한 분류 정보를 삭제한 후, 상기 문서 이미지에 포함된 문자의 분류 정보 중 상기 이전에 학습된 분류 정보와 동일한 분류 정보가 삭제된 나머지 분류 정보를 추가할 수 있다. 뿐만 아니라, 상기 학습모듈(145a)은 상기 문서 이미지에 포함된 문자의 출처 정보 및 저자 정보 중 적어도 하나를 더 학습할 수 있다.

유사도 판단모듈(145b)은 획득한 상기 합성곱 신경망에 대한 적어도 하나의 실제 출력값과 기설정된 상기 합성곱 신경망의 이상 출력값 간에 유사도를 판단한다.

문자 분류모듈(145c)은 상기 유사도 판단모듈(145b)의 유사도 판단결과에 기초하여 상기 문서 이미지에 포함된 문자를 분류한다.

판별모듈(147)은 상기 문자의 분류결과에 따라 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별한다.

변환모듈(149)은 상기 문서 이미지에 포함된 문자를 판별한 한자로 변환한다.

이하에서는 도 3을 참조하여, 본 발명의 초서체 또는 흘림체로 작성된 문자의 판별 방법에 대하여 자세히 살펴보도록 한다.

도 3은 본 발명의 다른 실시 예에 따른 초서체 또는 흘림체로 작성된 문자의 판별 방법을 나타낸 순서도이다.

도 3에 도시된 바와 같이, 본 발명의 초서체 또는 흘림체로 작성된 문자의 판별 방법은 먼저, 저장부(180)가 복수 개의 초서체 또는 흘림체로 작성된 문자와, 이에 대응하는 한자를 상호 매칭하여 상기 복수 개의 초서체 또는 흘림체로 작성된 문자의 분류 정보 및 상기 문자와 매칭된 한자의 분류 정보를 데이터베이스 형태로 저장한다(S210). 이때, 저장되는 문자 및 한자의 분류 정보는 문자의 외형을 나타내는 모서리 및 선분의 형태 정보 또는 상기 모서리와 선분의 조합 정보를 포함할 수 있다.

입력부(120)가 내부에 구비된 카메라 또는 스캐너를 통해 육안으로 형태를 파악하기 어려워 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는다(S220).

문자판별부(140)가 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망(artificial neural network)을 이용하여 학습하고, 학습한 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별한다(S230). 이때 사용되는 상기 인공 신경망은 합성곱 신경망(convolutional neural network)을 포함할 수 있다.

이러한 인공 신경망이란, 생물학의 신경망(동물의 중추신경계, 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘으로서, 지속적인 데이터의 입력만으로 입력되는 데이터의 특징 및 분류를 스스로 학습하는 기술을 말한다. 이러한 인공 신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 갖는 모델 전반을 나타내며, 본 발명에서는 초서체 또는 흘림체로 작성된 문자의 학습을 통해 학습한 문자에 대한 분류를 수행하도록 한다.

특히, 이러한 인공 신경망의 종류에는 전방 전달 신경망(Feedforward neural network), 방사 신경망(Radial basis function network), 코헨 자기조직 신경망(kohonen self-organizing network), 순환 인공 신경망(Recurrent neural network), 합성곱 신경망(Convolutional Neural Network) 등이 존재하는데, 본 발명에서는 합성곱 신경망이 사용될 수 있다.

상기 합성곱 신경망(Convolutional Neural Network)은 입력받은 이미지를 이해하고, 이로부터 고수준의 추상화된 정보를 추출하거나, 또는 새로운 질감을 가진 그림을 그리는 등의 다양한 영상처리 및 컴퓨터 비전 분야에서 주로 연구되고 있는 인공 신경망 중 하나를 말한다.

이러한 합성곱 신경망을 이용하여 문자판별부가 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 과정에 대하여 보다 자세히 살펴보도록 한다.

도 4는 도 3의 문자판별부가 인공 신경망을 이용하여 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계의 세부 과정을 나타낸 순서도이다.

도 4에 도시된 바와 같이, 먼저, 입력부(120)를 통해 입력받은 문서 이미지에 포함된 문자에 대한 데이터를 추출한다(S231). 이때, 추출되는 데이터는 판별하고자 하는 상기 문자의 부수 정보 및 획수 정보 뿐만 아니라, 상기 문자를 표현할 수 있는 외형적 표기 정보 중 적어도 하나를 포함할 수 있다.

이와 같이 추출된 데이터로부터 상기 문자의 특징을 나타내는 적어도 하나의 분류 정보를 추출한다(S232). 이때, 추출된 상기 문자의 분류 정보는 상기 문자의 외형을 나타내는 모서리 및 선분의 형태 정보 또는 상기 모서리와 선분의 조합 정보를 포함할 수 있다.

이후, 추출된 분류 정보를 합성곱 신경망을 이용하여 상기 문서 이미지에 포함된 문자를 분류하는데(S233), 이러한 분류 과정은 도 5a 내지 도 5b를 참조하여 보다 자세히 살펴보도록 한다.

도 5a 내지 도 5b는 도 4의 문자 분류 단계의 세부 과정을 나타낸 순서도이다.

도 5a에 도시된 바와 같이, 입력받은 문서 이미지에 포함된 문자의 분류 정보를 합성곱 신경망을 이용하여 학습하고, 학습한 상기 합성곱 신경망의 실제 출력값을 기설정된 개수만큼 획득한다(S233-1).

이어서, 획득한 상기 합성곱 신경망에 대한 적어도 하나의 실제 출력값과 기설정된 상기 합성곱 신경망의 이상 출력값 간에 유사도를 판단한다(S233-2).

이러한 유사도 판단결과에 기초하여 상기 문서 이미지에 포함된 문자를 분류한다(S233-3).

이때, 상기 문서 이미지에 포함된 문자의 분류에 성공여부를 판단(S233-4)하는데, 만약 상기 문서 이미지에 포함된 문자를 분류하지 못하는 경우에는 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 더 수행할 수 있다.

만약 상기 문서 이미지에 포함된 문자를 분류하지 못하는 경우에는 도 5b에 도시된 바와 같이, 문서 이미지에 포함된 문자의 분류 정보를 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 학습한다(S233-5). 이때, 이용되는 상기 가우시안 혼합 모델이란, 주어진 표본 데이터 집합의 분포밀도를 단 하나의 확률밀도 함수로 모델링하는 방법을 개선한 밀도 추정방법으로서, 특수의 가우시안 확률밀도 함수로 데이터의 분포를 모델링하는 방법을 말한다. 뿐만 아니라, 상기 문서 이미지에 포함된 문자의 출처 정보 및 저자 정보 중 적어도 하나를 더 학습할 수 있다.

이와 같이, 학습한 상기 문자의 분류 정보와, 이전에 학습되어 기저장된 분류 정보를 비교한다(S233-6). 즉, 학습한 상기 문자의 분류 정보 내 이전에 학습되어 기저장된 동일한 분류 정보가 존재하는지 여부를 확인(S233-7)하는데, 만약 동일한 분류 정보가 존재하는 경우에는 상기 문자의 분류 정보로부터 상기 이전에 학습된 분류 정보와 동일한 분류 정보를 삭제한다(S233-8).

이어서, 상기 문서 이미지에 포함된 문자의 분류 정보 중 상기 이전에 학습된 분류 정보와 동일한 분류 정보가 삭제된 나머지 분류 정보를 추가 저장한다(S233-9).

하지만 학습한 상기 문자의 분류 정보에 동일한 분류 정보가 존재하지 않는 경우에는 학습한 상기 문자의 분류 정보를 저장시킨다(S233-10).

다시 도 4로 돌아가서, 이러한 문자의 분류결과에 따라 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하고(S234), 상기 문서 이미지에 포함된 문자를 판별한 한자로 변환한다(S235).

다시 도 3으로 돌아가서, 출력부가 변환된 한자를 외부로 출력한다(S240). 이때, 상기 출력부가 디스플레이 창을 포함하여 사용자가 변환된 한자를 육안으로 바로 확인할 수 있도록 출력하는 것 뿐만 아니라, 통신부를 통해 외부의 사용자 단말로 변환된 한자의 정보를 전송하고, 상기 사용자 단말을 통해 전송받은 한자의 정보를 확인할 수 있다. 이와 같이 외부의 사용자 단말로 판별한 한자의 정보를 전송함으로써, 이를 통해 대량의 빅 데이터를 수집할 수 있다.

이하에서는 도 6을 통해 부스트 가우시안 혼합 모델을 이용하여 분류 정보를 학습하는 과정에 대하여 보다 자세히 살펴보도록 한다.

도 6은 부스트 가우시안 혼합 모델을 이용하여 분류 정보를 학습하는 과정을 나타낸 개략도이다.

도 6에 도시된 바와 같이, 본 발명에서 사용되는 합성곱 신경망은 커널이 데이터의 지속적인 입력을 통해 이를 학습하는 원리이며, 본 발명에서는 상기 커널을 가우시안 혼합 모델로 적용할 수 있다. 특히, 본 발명에서 사용되는 2차원 컨볼루션이란, 2개의 차원으로 N×N 픽셀의 커널이 움직이는 것으로, 정사각형의 사진을 커널이 수평 방향과 수직 방향으로 한 칸씩 움직여 가면서 일련의 규칙적 연산을 수행하는 것을 말한다. 즉, 컨볼루션과 맥스 풀링(Max-Pooling)은 이미지로부터 한 단계 더 높은 추상화된 정보를 추출한 후, 그 추상화된 정보에서 가장 중요한(Max) 정보만을 남기도록 1/4 크기로 압축하고, 요약하는 과정을 수십 번 반복되는 구조를 갖는다.

특히, 부스트 가우시안 혼합 모델은 새로운 분류 정보가 추가되는 경우에, 먼저 가우시안 혼합 모델을 통해 해당 분류 정보의 특징을 학습하고, 기존에 학습된 다른 분류 정보의 특징을 비교하여 동일한 분류 정보를 제외시킴으로써, 판별하고자 하는 문서 이미지 전체의 재학습 없이 새로운 분류 정보를 효과적으로 추가 학습할 수 있다.

이러한 학습 과정을 보다 구체적으로 살펴보면, 일반적으로 학습을 위한 특징은 N×N 픽셀의 커널에 학습된다. 이때, 상기 커널의 크기는 작게는 3×3, 크게는 11×11 정도이며, 입력부로 입력되는 문서 이미지의 크기가 224×224 또는 256×256 정도의 크기인 것과 비교하면 커널의 크기는 작다는 것을 알 수 있다.

예를 들어, 3×3 크기의 커널의 경우, 9개의 픽셀값의 조합을 특징으로 이용한다. 이때, 예를 들어 RGB의 채널을 가진 이미지의 경우, 채널의 개수까지 생각하면 3×9=27개의 값의 조합이 특징이 된다. 합성곱 신경망은 층(layer)이라고 부르는 합성곱(convolution)층을 계속 추가하여 deep 구조로 만들며, deep 구조를 이용하는 학습 구조를 딥 러닝(deep learning)이라 부른다. 이때, 각 층에서의 채널 개수는 사용자에 의해 개수가 결정되며, 상기 층이 계속 증가함에 따라 32, 64, 128 로 많은 수의 채널을 사용하게 되어 실제 각 커널의 파라미터 개수는 매우 많아진다.

이러한 3×3 RGB 의 27개 픽셀 값의 조합을 가우시안 분포로 표현하는 것이 합성곱 신경망의 큰 특징이다. 이때의 가우시안 분포는 27차원 공간상의 가우시안 분포가 되는데, 이를 첫 번째 층이라 보고, 다음 층의 채널 개수가 예를 들어 32개라면, 다음 층의 32개의 출력을 만들기 위해서는 32개의 가우시안 분포를 이용해 27차원 공간상에서 가우시안 혼합모델을 학습해야 한다.

결과적으로 종래에 사용하였던 하기의 수학식 1을 이용한 가중치 합산(weighted sum)방식인 반면, 본 발명에서는 하기의 수학식 2와 같이, 각각의 가우시안의 확률을 계산하는 것으로 바뀌는 컨볼루션 연산이 수행된다.

[수학식 1]

[수학식 2]

이러한 연산으로 컨볼루션(convolution)을 수행하면, 27개의 픽셀이 가우시안 분포의 평균에 가까운 조합의 경우에는 값이 상대적으로 높고, 평균에서 먼 조합의 경우에는 값이 상대적으로 낮은 32채널의 결과 이미지(결과 특징)를 획득할 수 있다. 이러한 결과는 가중치 합산 방식으로 구한 결과와 유사하게 되는데, 이러한 이유는 상기 가중치 합산 방식도 학습된 커널과 형태가 비슷한 특징에서 값이 높게 나오기 때문이다.

하지만 새롭게 추가되는 데이터에 대해서는 가중치를 학습시키기 위해서, 데이터 전체를 다시 학습시켜야 하는 반면에, 본 발명의 가우시안 분포의 경우에는 EM 알고리즘(Expectation Maximization Algorithm) 방법을 이용해서 추가된 데이터에 대해서만 각 가우시안의 평균과 분산만을 일부 수정하여 추가 데이터의 학습이 가능해진다.

종래에는 학습이 계속될 때, 학습 방식이 데이터 전체에 대한 에러를 낮추는 역전파 학습(backpropagation)방법으로 학습되기 때문에 기존에 학습된 정보를 잊어버리게 되어 데이터 전체를 새로 학습시켜야 한다.

하지만, 본 발명에서 사용하는 가우시안 혼합 모델은 데이터의 분포를 가우시안으로 모델링(또는 가정)하고 학습하는 생성 방식이기 때문에 추가적인 데이터가 예상 범위 안에 존재한다고 볼 수 있다. 즉, 주어진 데이터에 대해서만 분류성능이 높아지도록 학습하는 것이 아니라, 가우시안 혼합 모델은 실제 모집단의 분포를 예측하면서 학습을 수행한다.

특히, 이처럼 가우시안 혼합 모델을 이용하는 학습 과정에는 부스팅 과정을 포함한다. 이러한 부스팅 과정에서는 사용자에 의해 기설정된 기준에 따라서 서로 다른 분류임에도 불구하고 상당수 많이 겹치는 가우시안 분포 특징은 합쳐서 하나의 특징으로 두고, 다른 가우시안 분포와 멀리 떨어진 특징은 그대로 두면서 가우시안 혼합 모델들을 재정렬한다. 이러한 과정에서 클래스 내 변동(within variance)은 최소로 하고, 클래스 간 변동(between variance)은 최대로 하는 상태를 지향하는 학습을 하는데, Otsu 이진 분류기에서 사용하는 방식을 응용할 수 있다.

이때 가장 낮은 층에서는 문자의 기본적인 요소들이 점과 선이므로, 학습 결과에 따라 모든 분류 정보에 대해서 동일한 특징을 사용할 수 있지만, 층이 깊어짐에 따라 점점 각각의 분류 정보에 특징적인 가우시안 모델들이 나타날 수 있다.

또한, 추가적인 분류 정보는 기존에 없는 새로운 특징을 가지고 있으며, 이러한 새로운 특징은 서로 겹치지 않으므로 합쳐지지 않고 추가적인 가우시안 모델로 남는다.

이와 같이 층을 충분히 추가하여 분류가 가능한 수준까지 가우시안 모델들이 만들어지면, 해당 마지막 층의 가우시안 콘볼루션(convolution)을 통해 특징(feature) 즉, 분류 정보를 MLP(Multi Layered Perceptrons)와 같은 분류기를 사용하여 분류한다. 이때, 사용되는 MLP는 여러 개의 퍼셉트론으로 하나의 레이어를 구성하고, 그 레이어로 여러 개의 층을 구성하여 네트워크를 구성하는 것으로서, 이와 같은 MLP를 사용하여 특징을 분류하는 경우에는 합성곱 신경망의 형태를 유지할 수 있으며, 상기 MLP 외에도, SVM(Support Vector Machine) 또는 Adaboost 와 같은 분류기가 사용될 수도 있다. 이때, 사용되는 SVM은 서로 다른 분류에 속한 데이터 간에 간격이 최대가 되는 선 (평면)을 찾아 이를 기준으로 데이터를 분류하는 모델이며, 분류와 수치 예측을 포함한 모든 학습 태스크에 널리 사용된다.

또한 상기 Adaboost는 약한 분류기들을 이용해서 강한 분류기를 만드는 것으로서, 퍼셉트론 분류기나 간단한 분류기들을 이용하여 특징값을 비교하는데, 약한 분류기를 반복하면서 얻어낸 가중치를 분류기의 최종결과(참: 1 거짓:0)와 곱한 것이 강한 분류기의 결과이다.

물론 상술한 바와 같이, 분류 정보가 새로 추가되면 출력의 개수 또한 추가되어야 하며, 가우시안 컨볼루션 과정이 아닌 MLP부분에서는 분류 정보가 추가될 때 마다 새롭게 학습되어야 하지만, 전체를 새로 학습하는 것에 비해서는 현저히 쉬운 과정인 것을 알 수 있다.

이하에서는 상술한 본 발명의 초서체 또는 흘림체로 작성된 문자 판별 방법 및 시스템을 실제로 이용하여 문자를 판별하는 과정을 예를 들어 살펴보도록 한다.

문자 판별을 위해 먼저 인식하고자 하는 한자의 집합을 정의하는 과정이 필요한데, 예를 들어 약 50,000개의 한자 집합을 정의하는 경우에는 고문서에 주로 사용되는 표현을 대략 포함할 수 있다.

이어서, 앞서 정의한 한자 집합의 개수와 같도록 합성곱 신경망 (Convolutional Neural Network; CNN)의 출력값 개수를 정의한다. 예를 들어, 어떠한 초서체 또는 흘림체로 작성된 문자가 입력되면, 합성곱 신경망에서 50,000개의 출력값이 각각 발생하는데, 그 중 가장 높은 값을 갖는 출력이 해당 한자와 대응된다고 판단할 수 있다.

이러한 합성곱 신경망은 학습을 통해 분류를 가능하게 하는 알고리즘이기 때문에 먼저 학습을 위해 초서체 또는 흘림체로 작성된 문자에 대한 데이터베이스를 구축해야 한다. 이러한 데이터베이스를 구축하는 과정은 관련 전문가의 도움을 받거나, 승정원 일기의 일부분과 같이 해석이 이미 완료된 문서들을 데이터베이스화하여 저장부에 기저장할 수 있다.

이와 같이 구축된 데이터베이스를 기반으로 합성곱 신경망을 이용하여 학습시킬 수 있다.

예를 들어 5가지 한자를 학습시킨다고 가정한다. 1번은 無(무), 2번은 色(색), 3번은 一(일), 4번은 天(천), 5번은 靑(청) 이라고 하고, 無를 입력받았다고 가정한다. 따라서, 5개의 출력이 각각 특정한 출력값을 갖는다. 이때, 합성곱 신경망의 최종 출력값은 0을 초과하고 1 미만 범위 내에 존재하도록 구성한다. 이때, 상기 無는 1번 이므로 추구하는 결과값 즉, 이상 출력값은 1 0 0 0 0 이 된다. 하지만 실제 출력값은 상기 이상 출력값과 달리 0.18 0.21 0.19 0.23 0.19 이 될 수 있다. 이때, 상기 실제 출력값과 이상 출력값 간에 차이를 에러로 볼 수 있으며, 이러한 에러를 이용하여 실제 출력값이 이상 출력값과 동일하거나 유사한 출력값을 획득할 때까지 합성곱 신경망을 학습시킨다.

이처럼, 합성곱 신경망을 통해 학습한 후에 획득한 실제 출력값이 0.91 0.02 0.01 0.03 0.03 인 경우에, 획득한 상기 실제 출력값과, 상기 이상 출력값인 1 0 0 0 0 간에 유사도 판단하면, 상기 실제 출력값과 이상 출력값 간에 유사도는 매우 높은 것으로 판단할 수 있다.

하지만 이와 달리, 한자별 유사도를 구별하기 어려운 경우, 예를 들면 0.50 0.46 0.01 0.02 0.01 과 같은 출력값을 획득한 경우에는 가장 높은 출력값 상위 3개의 한자를 후보로 제시할 수 있다. 즉, 無가 가장 유사도가 높기는 하지만 無, 色, 天 순으로 후보 한자가 제시될 수 있다.

도 7은 본 발명의 초서체 또는 흘림체로 작성된 문자 판별 방법 및 시스템을 실제 이용하여 문자를 판별하는 과정을 나타낸 도면이다.

도 7에 도시된 바와 같이, 본 발명의 입력부가 日 및 今을 포함하는 문서 이미지를 각각 입력받는다.

문서판별부가 입력받은 문서 이미지 내 문자인 日 및 今 에 대한 부수 정보, 획수 정보, 및 상기 문자를 표현할 수 있는 각종 외형적 표기 정보 중 적어도 하나를 포함하는 데이터를 추출한다.

이어서, 상기 문서판별부가 상기 문자 日 및 今 로부터 각각 추출한 데이터 중 상기 문자의 외형의 특징을 나타낸 모서리 및 선분의 형태 정보 또는 상기 모서리와 선분의 조합정보를 포함하는 분류 정보를 추출한다.

예를 들어, 도 7의 왼쪽에 도시된 문자 日의 분류 정보를 살펴보면, 수직 방향의 선분 두 개가 평행하고, 사선 방향과 역사선 방향의 선분은 존재하지 않으며, 수평 방향의 선분이 세 개가 평행하는 것을 확인할 수 있다. 이러한 분류 정보를 조합하여, 해당 문자의 모서리 정보를 확인할 수 있고, 해당 문자의 중간 부분에 위치하는 수평 방향의 선분 정보 또한 확인할 수 있다.

이러한 문자 日의 분류 정보에 대하여 합성곱 신경망을 이용하여 학습함에 따라, 입력받은 문자 日에 대응하는 한자 날 일 日를 판별할 수 있고, 판별한 한자로 변환하여, 출력부가 변환된 한자를 외부로 출력할 수 있다.

또한, 도 7의 오른쪽 부분에 도시된 문자 今의 분류 정보를 살펴보면, 역사선방향의 긴 선분 1개와 짧은 선분 1개가 서로 평행하며, 사선방향의 긴 선분 1개 및 짧은 선분 2개가 서로 평행하며, 수평방향의 선분 1개가 위치하는 것을 확인할 수 있다. 이러한 분류 정보를 조합하여, 해당 문자의 역사선방향의 선분과 사선방향의 선분이 서로 만나서 이루는 모서리 정보와, 해당 문자의 중간 부분에 위치하는 수평 방향의 선분 정보 및 해당 문자의 하단에 위치하는 사선방향의 선분 정보 등을 확인할 수 있다.

마찬가지로 이러한 문자 今의 분류 정보에 대하여 합성곱 신경망을 이용하여 학습함에 따라, 입력받은 문자 今에 대응하는 한자 이제 금 今을 판별할 수 있고, 판별한 한자로 변환하여, 출력부가 변환된 한자를 외부로 출력할 수 있다.

상술한 바와 같이, 본 발명은 기존에 초서를 판별할 수 있는 전문가에 의해서만 이루어지던 고문서의 분석을 한자, 역사 및 서지학자가 본 발명을 이용하여 직접적으로 연구를 수행 가능하게 함으로써 전통기록물 연구의 발전에 크게 도움이 된다. 또한 이 기술을 일반에 제공함으로써 개인이 소장한 초서로 이루어진 기록물에도 적용시켜 전통 문화에 대한 이해를 도울 수 있다.

본 발명의 일 측면에 따르면, 육안으로 명확한 확인이 어려운 고문서 내 초서체 또는 흘림체로 작성된 문자를 인공 신경망을 이용하여 용이하게 판별할 수 있는 효과가 있다.

본 발명의 다른 측면에 따르면, 고문서에 초서체 또는 흘림체로 작성된 문자를 인공 신경망을 통해 학습하고 판별하여 해당하는 초서체 또는 흘림체로 작성된 문자로 이루어진 고문서를 보다 신속하게 해석할 수 있어, 사용자로 하여금 사료 분석을 신속하고 용이하게 수행할 수 있도록 하는 효과가 있다.

본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플옵티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

120: 입력부
140: 문자판별부
160: 출력부
180: 저장부

Claims (19)

1. 입력부가 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는 단계;
   문자판별부가 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망(artificial neural network)을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계; 및
   출력부가 판별한 한자를 외부로 출력하는 단계;
   를 포함하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
2. 제1항에 있어서,
   상기 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는 단계를 수행하기 전,
   저장부가 복수 개의 초서체 또는 흘림체로 작성된 문자와, 이에 대응하는 한자를 상호 매칭하여 상기 복수 개의 초서체 또는 흘림체로 작성된 문자의 분류 정보 및 상기 문자와 매칭된 한자의 분류 정보를 데이터베이스 형태로 저장하는 단계;
   를 더 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
3. 제1항에 있어서,
   상기 인공 신경망은
   합성곱 신경망(convolutional neural network)을 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
4. 제3항에 있어서,
   상기 문자판별부가 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계는
   상기 문서 이미지에 포함된 문자에 대한 데이터를 추출하는 단계;
   추출된 데이터로부터 상기 문자의 특징을 나타내는 적어도 하나의 분류 정보를 추출하는 단계;
   추출된 분류 정보를 합성곱 신경망에 이용하여 상기 문서 이미지에 포함된 문자를 분류하는 단계;
   상기 문자의 분류결과에 따라 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하는 단계; 및
   상기 문서 이미지에 포함된 문자를 판별한 한자로 변환하는 단계;
   를 포함하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
5. 제4항에 있어서,
   상기 추출된 분류 정보를 합성곱 신경망에 이용하여 상기 문서 이미지에 포함된 문자를 분류하는 단계는
   상기 문서 이미지에 포함된 문자의 분류 정보를 합성곱 신경망을 이용하여 학습하고, 학습한 상기 합성곱 신경망의 실제 출력값을 기설정된 개수만큼 획득하는 단계;
   획득한 상기 합성곱 신경망에 대한 적어도 하나의 실제 출력값과 기설정된 상기 합성곱 신경망의 이상 출력값 간에 유사도를 판단하는 단계; 및
   유사도 판단결과에 기초하여 상기 문서 이미지에 포함된 문자를 분류하는 단계;
   를 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
6. 제4항에 있어서,
   상기 문자판별부가 입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 단계는
   상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하지 못하는 경우, 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행하는 단계;
   를 더 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
7. 제6항에 있어서,
   상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행하는 단계는
   상기 문서 이미지에 포함된 문자의 분류 정보를 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 학습하는 단계;
   학습한 상기 문자의 분류 정보와, 이전에 학습되어 기저장된 분류 정보를 비교하여, 상기 문자의 분류 정보로부터 상기 이전에 학습된 분류 정보와 동일한 분류 정보를 삭제하는 단계; 및
   상기 문서 이미지에 포함된 문자의 분류 정보 중 상기 이전에 학습된 분류 정보와 동일한 분류 정보가 삭제된 나머지 분류 정보를 저장부에 추가 저장하는 단계;
   를 더 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
8. 제7항에 있어서,
   상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행하는 단계는
   상기 문서 이미지에 포함된 문자의 출처 정보 및 저자 정보 중 적어도 하나를 학습하는 단계;
   를 더 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
9. 제4항에 있어서,
   상기 문자의 분류 정보는
   상기 문자의 외형 중 모서리 및 선분의 형태 정보 또는 상기 모서리와 선분의 조합 정보를 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 방법.
   
10. 제1항 내지 제9항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
    
11. 판별하고자 하는 초서체 또는 흘림체로 작성된 문자를 포함하는 문서의 이미지를 입력받는 입력부;
    입력받은 문서 이미지에 포함된 문자에 대하여 인공 신경망(artificial neural network)을 이용하여 상기 문서 이미지에 포함된 문자와 대응하는 한자를 판별하는 문자판별부; 및
    판별한 한자를 외부로 출력하는 출력부;
    를 포함하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
12. 제11항에 있어서,
    복수 개의 초서체 또는 흘림체로 작성된 문자와, 이에 대응하는 한자를 상호 매칭하여, 상기 복수 개의 초서체 또는 흘림체로 작성된 문자의 분류 정보 및 상기 문자와 매칭된 한자의 분류 정보를 데이터베이스 형태로 저장하는 저장부;
    를 더 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
13. 제11항에 있어서,
    상기 인공 신경망은
    합성곱 신경망(convolutional neural network)을 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
14. 제13항에 있어서,
    상기 문서판별학습부는
    상기 문서 이미지에 포함된 문자에 대한 데이터를 추출하는 데이터 추출모듈;
    추출된 데이터로부터 상기 문자의 특징을 나타내는 적어도 하나의 분류 정보를 추출하는 분류정보 추출모듈;
    추출된 분류 정보를 합성곱 신경망에 이용하여 상기 문서 이미지에 포함된 문자를 분류하는 분류모듈;
    상기 문자의 분류결과에 따라 상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하는 판별모듈; 및
    상기 문서 이미지에 포함된 문자를 판별한 한자로 변환하는 변환모듈;
    을 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
15. 제14항에 있어서,
    상기 분류모듈은
    상기 문서 이미지에 포함된 문자의 분류 정보를 합성곱 신경망을 이용하여 학습하고, 학습한 상기 합성곱 신경망의 실제 출력값을 기설정된 개수만큼 획득하는 학습모듈; 및
    획득한 상기 합성곱 신경망에 대한 적어도 하나의 실제 출력값과 기설정된 상기 합성곱 신경망의 이상 출력값 간에 유사도를 판단하는 유사도 판단모듈;
    유사도 판단결과에 기초하여 상기 문서 이미지에 포함된 문자를 분류하는 문자 분류모듈;
    을 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
16. 제15항에 있어서,
    상기 학습모듈은
    상기 문서 이미지에 포함된 문자에 대응하는 한자를 판별하지 못하는 경우, 상기 문서 이미지에 포함된 문자에 대하여 가우시안 부스팅(Gaussian boosting)기법을 이용하여 기계학습을 수행하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
17. 제16항에 있어서,
    상기 학습모듈은
    상기 문서 이미지에 포함된 문자의 분류 정보를 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 학습하고, 학습한 상기 문자의 분류 정보와, 이전에 학습되어 기저장된 분류 정보와 비교하여, 상기 문자의 분류 정보로부터 상기 이전에 학습된 분류 정보와 동일한 분류 정보를 삭제한 후, 상기 문서 이미지에 포함된 문자의 분류 정보 중 상기 이전에 학습된 분류 정보와 동일한 분류 정보가 삭제된 나머지 분류 정보를 저장부에 추가 저장시키는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
18. 제15항에 있어서,
    상기 학습모듈은
    상기 문서 이미지에 포함된 문자의 출처 정보 및 저자 정보 중 적어도 하나를 더 학습하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.
    
19. 제11항에 있어서,
    상기 입력부는
    카메라 및 스캐너 중 적어도 하나를 포함하는 것을 특징으로 하는 초서체 또는 흘림체로 작성된 문자의 판별 시스템.

Images