KR20210034869A - 수기 표 이미지의 디지털 이미지 변환 방법 - Google Patents

Abstract

본 발명은 수기로 작성된 표 이미지가 입력되면, 상기 표 이미지의 표 영역을 검출하는 단계, 상기 표 이미지의 각 칸 내부의 기호 이미지를 인식하는 단계, 상기 기호 이미지 각각의 학습데이터를 증강시키는 단계 및 증강된 상기 학습데이터를 기반으로 심층 합성곱 신경망 학습을 수행하여 각 칸의 기호 또는 숫자 이미지를 분류하는 단계를 포함하는 수기 표 이미지의 디지털 이미지 변환 방법으로서, 본 발명에 의하면, 표 이미지의 각 칸의 숫자 또는 기호 등 여러 종류의 형상을 인식하는 표 분할방법 및 단일 심층 신경망 모델을 최적화하여 디지털 변환된 데이터를 저장할 수 있게 한다.

Description

수기 표 이미지의 디지털 이미지 변환 방법{METHOD OF CONVERTING A HANDWRITTEN TABLE IMAGE TO A DIGITAL IMAGE}

본 발명은 수기로 작성된 표 이미지를 학습에 의해 디지털 이미지로 변환하는 방법에 관한 것이다.

일반적으로 다양한 분야의 시설, 업종, 기관 등에서 시설물 상태 점검이나 기록을 위해서 표를 출력하여 기호나 숫자 등을 직접 수기로 기입하여 관리 사용해 보고 있다. 과거에서부터 지금까지 이러한 수기 점검표는 계속 누적되어 왔고 컴퓨터 기술이 발전함에 따라 이를 전산화하여 관리할 필요성이 커지고 있다. 즉, 이러한 전산화는 데이터 관리에 있어 비용적으로나 시간적으로 기업에게 큰 운영효율을 주기 때문에 최근에는 모든 데이터를 전산화하여 저장, 관리하는 추세이다.

종래에는 수기 작성표를 전산화하기 위해 사람이 직접 표를 보면서 컴퓨터 등 전자기기에 옮겨 적는 작업이 필요했다. 이는 보유한 수기표의 개수에 비례하여 시간과 인력이 필요하기 때문에 많은 기관, 업종에서 쉽게 데이터를 전산화하지 못했다. 따라서 수기 작성표를 자동으로 전산화해주는 시스템의 필요성이 생겼고 본 발명을 통해 해결하고자 한다.

이러한 전산화를 위한 선행기술로서, 다양한 기호 및 숫자 형상의 핸드 드로잉 객체를 검출하는 시스템에 관한 기술이 있다. 해당 기술은 핸드 드로잉 형상의 경계선을 검출하고 정제함으로써 사용자의 핸드 드로잉 객체를 전산화 시킨다.

하지만 형상의 의미론적인 인식 또는 분류를 수행하지 않으며 데이터 학습 기반 알고리즘이 아닌 규칙 기반 알고리즘을 사용한다. 또 다른 선행기술로는 숫자 이미지 데이터 분류에 관한 기술이 존재한다. 즉, 데이터 학습 기반의 합성곱 신경망 알고리즘을 사용하며 이를 통해 숫자 이미지에 대한 의미론적인 인식 또는 분류를 수행한다. 하지만 해당 알고리즘은 기호 형상에 대해서는 특성 인자를 추출하지 못하고 표 이미지 데이터의 전산화에 관한 구체적인 방법을 포함하지 않는다.

이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.

일본등록특허공보 제2637915호 한국등록특허공보 제10-0894870호 한국등록특허공보 제10-630886 한국공개특허공보 제10-2019-0010640호

본 발명은 상술한 문제점을 해결하고자 안출된 것으로서, 본 발명은 표 이미지의 각 칸의 숫자 또는 기호 등 여러 종류의 형상을 인식하는 표 분할방법 및 단일 심층 신경망 모델을 최적화하여 디지털 변환된 데이터를 저장할 수 있게 하는 수기 표 이미지의 디지털 이미지 변환 방법을 제공하는 데 그 목적이 있다.

본 발명의 일 관점에 의한 수기 표 이미지의 디지털 이미지 변환 방법은, 수기로 작성된 표 이미지가 입력되면, 상기 표 이미지의 표 영역을 검출하는 단계, 상기 표 이미지의 각 칸 내부의 기호 이미지를 인식하는 단계, 상기 기호 이미지 각각의 학습데이터를 증강시키는 단계 및 증강된 상기 학습데이터를 기반으로 심층 합성곱 신경망 학습을 수행하여 각 칸의 기호 또는 숫자 이미지를 분류하는 단계를 포함한다.

여기서, 상기 표 영역을 검출하는 단계는, 입력된 상기 표 영역의 꼭지점 위치 및 행과 열의 개수에 의해 검출하는 것을 특징으로 한다.

그리고, 입력된 상기 표 영역의 꼭지점 위치 및 행과 열의 개수에 의해 일괄적으로 표를 자동 분할하는 것을 특징으로 한다.

또한, 상기 심층 합성곱 신경망 학습은 분할된 상기 표의 각 층의 입력을 정규화하여 학습을 수행하는 것을 특징으로 한다.

한편, 상기 학습데이터를 증강시키는 단계는 상기 기호 이미지를 이동 또는 회전 또는 압축시키는 것을 특징으로 한다.

다음으로, 본 발명의 일 관점에 의한 수기 표 이미지의 디지털 이미지 변환 방법은, 수기로 작성된 표 이미지가 입력되면, 상기 표 이미지의 표 영역을 검출하는 단계, 상기 표 이미지의 각 칸 내부의 기호 이미지를 인식하는 단계, 상기 기호 이미지 각각의 학습데이터를 증강시키는 단계 및 증강된 상기 학습데이터를 기반으로 심층 합성곱 신경망 학습을 수행하여 각 칸의 기호 또는 숫자 이미지를 분류하는 단계를 포함하고, 상기 학습데이터를 증강시키는 단계는 상기 기호 이미지를 이동 또는 회전 또는 압축시키는 것을 특징으로 한다.

본 발명은 수기작성 표 이미지의 분할 및 개별 기호 분류를 위해 데이터 학습 기반의 심층학습망과 규칙 기반 알고리즘을 함께 사용하여 통합된 프레임워크를 개발함으로써, 누구나 관련 지식과 기술 없이도 표의 기호를 학습시키고 분류할 수 있게 한다. 이를 통해 다양한 분야의 시설, 업종, 기관 등에서 분류하고 싶은 기호에 대한 소량의 학습데이터 생성만을 통해 맞춤형 인공신경망을 만들어낼 수 있다.

그리고 해당 인공신경망을 사용하여 다양한 분야의 누적된 표 이미지를 자동으로 디지털화시켜서 수기 문서의 전산화를 가속화 할 수 있고, 이를 위해 투입되는 인력과 시간의 비용을 줄일 수 있다.

예로서, 발전분야에서 지능형 디지털 발전소 구축을 위해 대용량 발전기 웨지체결강도 검사 결과는 수기 데이터로 저장한다. 본 발명에 의해 이를 대체한다면 디지털 변환을 통해 건전성평가 결과를 이력 관리하고, 발전기 중대사고로 인한 손실비용 예방 및 수기 관리비용 절감이 예상된다. 국내 대용량 발전기는 약 400대로 발전기 웨지 건전성평가 시스템 도입으로 약 85억원의 경제성 효과가 예상된다.

도 1a는 수기로 작성된 표 이미지의 예를 나타낸 것이다.
도 1b 및 도 1c는 도 1a의 이미지 인식에 의한 문제점을 나타낸 것이다.
도 2는 본 발명에 의해 표 이미지를 일괄 사각형 인식하는 방법을 나타낸 것이다.
도 3은 본 발명의 디지털 이미지 변환 방법을 도시한 것이다.
도 4는 수기로 작성된 표 이미지의 일 예를 나타낸 것이고, 도 5는 이를 디지털 변환한 이미지를 나타낸 것이다.
도 6은 학습 데이터 증강 방법을 나타낸 것이다.
도 7은 합성곱 심층신경망 계산 구조도를 나타낸 것이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

본 발명의 바람직한 실시 예를 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지의 기술이나 반복적인 설명은 그 설명을 줄이거나 생략하기로 한다.

본 발명은 발전 및 공장 분야, 공공시설 등에서 보유한 수기로 기록한 표 및 기호 이미지 데이터를 디지털 데이터로 변환하기 위한 것이다. 표 이미지는 표 영역 외에도 표의 제목이나 작성자, 메모 등의 필기가 많아서 표 영역을 정확하게 검출하기 어렵다는 문제가 있고, 표 영역을 정확하게 검출한다 하더라도 표 내부의 기호가 칸을 침범했거나 줄에 겹쳐있을 경우 각 칸 영역을 추출하는 것도 자동화하기 어렵다. 또한 하나의 표 이미지가 내부에 다수의 칸 이미지를 포함하기 때문에 각 칸 이미지의 해상도가 낮다는 문제가 있다. 그리고 인쇄된 표에 비해 수기로 제작된 표의 경우에 작성자에 따라 글씨체가 달라 같은 기호라 하더라도 모양이 전부 다르기 때문에 몇 개의 기호로 분류하기가 어렵다.

심층 합성곱 신경망 알고리즘을 사용하여 비선형성이 짙은 이미지를 높은 정확도로 분류하기 위해서는 충분한 학습 데이터와 깊은 네트워크 층이 필수적인데, 수기 이미지의 비선형성은 알고리즘으로 묘사하기가 어렵기 때문에 학습 데이터도 수기로 제작해야 하는 부분이 있고, 수기로 제작하는 데이터의 수는 한정되어 있기 때문에 최적화된 데이터 증강 방법을 찾는 것도 중요한 과제이다.

또한 네트워크 망을 깊게 하면 알고리즘 내 기울기 소실 문제나 기울기 발산 문제가 발생하여 학습이 제대로 이루어지지 않기 때문에 이를 예방하는 것도 중요하다.

본 발명은 이 문제를 해결하기 위해 표 영역 이미지 검출 방법, 기호 이미지 인식 알고리즘 및 학습데이터 증강 파라미터와 이미지 해상도의 최적화를 위한 방법을 제시한다.

상기와 같이 기술한 문제점을 해결하기 위해 본 발명에서는 표 영역 수동 설정 및 이미지 분할을 위한 GUI와 심층 합성곱 신경망 기반의 기호 이미지 분류 알고리즘을 개발하였다.

도 1a는 수기로 작성된 표 이미지의 예로서, 이를 기존의 개별 사각형 인식방법을 적용하면, 도 1b 및 도 1c와 같이 왜곡된 사각형과 이미지가 중첩되어 표 내에 인식이 어렵게 된다.

따라서, 본 발명은 수기 표 이미지가 입력되면(S11), 표 영역 검출을 위해 일괄 사각형 인식 방법을 사용한다.

즉, 도 2와 같이 일괄적으로 사용자가 표 영역의 네 꼭지점의 위치와 행과 열의 개수를 입력하면(S12), 주어진 표 영역을 사각형에서 직사각형으로 자동 변환한다(S13).

그리고, 변환된 직사각형 표 영역에서 각 칸의 계산시간을 고려하여 행과 열의 수로 균등분할 하고, 이후 각 칸마다 심층 합성곱 신경망을 통한 기호 및 숫자 이미지 분류를 수행한다(S16). 이렇게 표 영역을 지정할 수 있게 함으로써 표 내에서도 원하는 부분만 전산화를 수행할 수 있다. 분할하는 한 칸의 이미지가 크면 정확도가 높아지고 작으면 연산량이 감소하기 때문에 예를 들어 절충적으로 가로세로 28픽셀로 정할 수 있다.

또한 단순 균등 분할을 사용했기 때문에 나중에 분류하고자 하는 이미지도 마찬가지로 단순 균등분할만 하게 함으로써 연산량을 학습과 검출 양쪽에서 감소시킬 수 있다.

따라서, 각 칸의 이미지의 해상도가 낮으므로 심층 합성곱 신경망에서 전통적으로 사용하는 최댓값 샘플링 방법을 사용하지 않아 이미지의 크기를 일정하게 유지하면서 신경망의 깊이가 깊어질 수 있도록 하였고, 인공신경망의 깊이가 깊어질 때 학습 과정에서 망의 깊이만큼 편미분값을 곱하기 때문에 편미분 값이 1보다 매우 작으면 발생하는 기울기 소실 문제를 임의 층의 출력을 다음 몇 개의 층을 건너뛰고 단순 덧셈으로 전달하는 방법을 사용하여 해결하였으며, 편미분 값이 매우 클 때 발생하는 기울기 발산 문제를 각 층의 입력을 정규화하여 학습하는 방법으로 해결할 수가 있다.

학습 데이터를 수기로 작성해야 실제 수기 작성 데이터를 잘 분류할 수 있다는 점에서 수기로 학습데이터를 만드는 것의 비용적인 제약을 해결하기 위해 이미지 증강 파라미터를 설정하고(S14), 학습 데이터를 도 6과 같이 몇 배로 증강하였는데(S15), 사용한 학습 데이터의 기호 이미지들이(O, X, △ 및 공백) 좌우 반전 되어도 같기 때문에 좌우 반전을 통하여 두 배 늘리고 가로 세로로 조금씩 이동시키고 회전, 압축 등의 형상 변환을 사용하여 몇 배로 늘림으로써 형상 변환의 파라미터들 최적화된 값을 찾도록 하였다. 이를 통해 균등 분할 시 기호 이미지가 칸 중앙에서 벗어나도 잘 분류해 낼 수 있게 된다.

본 발명은 이와 같이 표이미지의 일괄 사각형 인식, 표 내부 기호 이미지 학습데이터의 증강 및 심층 합성곱 신경망 학습에 의해 수기에 의한 비선형적인 기호를 포함한 이미지를 최대한 정확하게 인식이 가능하게 하고, 이후 정확도 계산(S17), 최적 모델 생성(S18) 후 디지털 변환을 완료한다(S19).

도 5는 도 4와 같은 수기 표 이미지를 디지털 변환 완료한 이미지의 예를 나타낸 것이다.

이상과 같은 본 발명은 예시된 도면을 참조하여 설명되었지만, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형될 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정 예 또는 변형 예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이며, 본 발명의 권리범위는 첨부된 특허청구범위에 기초하여 해석되어야 할 것이다.

S11 : 표 이미지 입력
S12 : 표 영역지정 및 행열 개수 입력
S13 : 표 이미지 일괄 사각형 자동 분할
S14 : 이미지 증강 파라미터 설정
S15 : 알고리즘 학습데이터 이미지 증강
S16 : 심층 신경망 학습
S17 : 정확도 계산
S18 : 최적 모델 생성
S19 : 표 이미지 디지털 변환

Claims (6)

1. 수기로 작성된 표 이미지가 입력되면, 상기 표 이미지의 표 영역을 검출하는 단계;
   상기 표 이미지의 각 칸 내부의 기호 이미지를 인식하는 단계;
   상기 기호 이미지 각각의 학습데이터를 증강시키는 단계; 및
   증강된 상기 학습데이터를 기반으로 심층 합성곱 신경망 학습을 수행하여 각 칸의 기호 또는 숫자 이미지를 분류하는 단계를 포함하는,
   수기 표 이미지의 디지털 이미지 변환 방법.
2. 청구항 1에 있어서,
   상기 표 영역을 검출하는 단계는,
   입력된 상기 표 영역의 꼭지점 위치 및 행과 열의 개수에 의해 검출하는 것을 특징으로 하는,
   수기 표 이미지의 디지털 이미지 변환 방법.
3. 청구항 2에 있어서,
   상기 표 영역을 검출하는 단계는,
   입력된 상기 표 영역의 꼭지점 위치 및 행과 열의 개수에 의해 일괄적으로 표를 자동 분할하는 것을 특징으로 하는,
   수기 표 이미지의 디지털 이미지 변환 방법.
4. 청구항 3에 있어서,
   상기 심층 합성곱 신경망 학습은 분할된 상기 표의 각 층의 입력을 정규화하여 학습을 수행하는 것을 특징으로 하는,
   수기 표 이미지의 디지털 이미지 변환 방법.
5. 청구항 3에 있어서,
   상기 학습데이터를 증강시키는 단계는 상기 기호 이미지를 이동 또는 회전 또는 압축시키는 것을 특징으로 하는,
   수기 표 이미지의 디지털 이미지 변환 방법.
6. 수기로 작성된 표 이미지가 입력되면, 상기 표 이미지의 표 영역을 검출하는 단계;
   상기 표 이미지의 각 칸 내부의 기호 이미지를 인식하는 단계;
   상기 기호 이미지 각각의 학습데이터를 증강시키는 단계; 및
   증강된 상기 학습데이터를 기반으로 심층 합성곱 신경망 학습을 수행하여 각 칸의 기호 또는 숫자 이미지를 분류하는 단계를 포함하고,
   상기 학습데이터를 증강시키는 단계는 상기 기호 이미지를 이동 또는 회전 또는 압축시키는 것을 특징으로 하는,
   수기 표 이미지의 디지털 이미지 변환 방법.

Images