KR20210156228A

KR20210156228A - 광학 문자 인식 방법, 장치, 전자기기 및 기록매체

Info

Publication number: KR20210156228A
Application number: KR1020210076790A
Authority: KR
Inventors: 멍이 언; 샨샨 류; 쒸엔 리; 청취엔 장; 하이륀 쒸; 씨아오치앙 장
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-06-16
Filing date: 2021-06-14
Publication date: 2021-12-24
Also published as: CN111860479A; JP7217313B2; JP2021197190A; US20210390296A1; CN111860479B; US11694461B2; EP3926526A2; EP3926526A3

Abstract

본 출원은 광학 문자 인식 방법, 장치, 전자기기 및 기록매체를 개시하였으며 인공지능 분야 및 딥 러닝 분야에 관한 것이고 상기 방법은 인식될 이미지에 대하여 그중 텍스트 영역의 바운딩 박스를 결정하고 상기 바운딩 박스에 따라 인식될 이미지에서 텍스트 영역 이미지를 추출하며 ； 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하고 상기 바운딩 박스에 따라 텍스트 영역 이미지에서 텍스트 줄 이미지를 추출하며； 텍스트 줄 이미지에 대해 텍스트 서열 인식을 수행하여 인식 결과를 얻는 절차를 포함할 수 있다. 본 출원에서 설명한 방안을 응용하면 인식 속도 등을 향상시킬수 있다.

Description

광학 문자 인식 방법, 장치, 전자기기 및 기록매체 {OPTICAL CHARACTER RECOGNITION METHOD, DEVICE, ELECTRONIC EQUIPMENT AND STORAGE MEDIUM}

본 출원은 컴퓨터 응용 기술분야에 관한 것이고, 특히 인공 지능(artificial intelligence) 및 딥 러닝(deep learning) 분야의 광학 문자 인식 방법, 장치, 전자기기 및 기록매체에 에 관한 것이다.

광학 문자 인식（OCR，Optical Character Recognition）기술은 문서 인식과 같은 업계에서 광범위한 응용 분야를 가지고 있다. 현재 OCR 구현 방법은 일반적으로 더 복잡하여 인식 속도가 느려지는 등 문제가 발생한다.

본 출원은 광학 문자 인식 방법, 장치, 전자기기 및 기록매체를 제공한다.

상기 광학 문자 인식 방법은：

인식될 이미지에 대하여 그중 텍스트 영역의 바운딩 박스를 결정하고 상기 바운딩 박스에 따라 상기 인식될 이미지에서 텍스트 영역 이미지를 추출하며；

상기 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하고 상기 바운딩 박스에 따라 상기 텍스트 영역 이미지에서 텍스트 줄 이미지를 추출하며 ；

상기 텍스트 줄 이미지에 대해 텍스트 서열 인식을 수행하여 인식 결과를 얻는 것을 포함한다.

광학 문자 인식 장치는 제1 이미지 처리 모듈, 제2 이미지 처리 모듈 및 텍스트 인식 모듈을 포함하며；

상기 제1 이미지 처리 모듈은 인식될 이미지에 대하여 그중 텍스트 영역의 바운딩 박스를 결정하고 상기 바운딩 박스에 따라 상기 인식될 이미지에서 텍스트 영역 이미지를 추출하는데 사용되며；

상기 제2 이미지 처리 모듈은 상기 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하고 상기 바운딩 박스에 따라 상기 텍스트 영역 이미지에서 텍스트 줄 이미지를 추출하는데 사용되며；

상기 텍스트 인식 모듈은 상기 텍스트 줄 이미지에 대해 텍스트 서열 인식을 수행하여 인식 결과를 얻는데 사용된다.

전자기기는：

적어도 하나의 프로세서； 및

상기 적어도 하나의 프로세서와 통신 연결된 메모리를 구비하며；

상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되어 상기 적어도 하나의 프로세서로 하여금 상기 방법을 수행하도록 한다.

컴퓨터 명령이 기억되어 있는 비 일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 상기 방법을 수행하도록 한다.

상술한 출원의 일 실시예는 다음과 같은 유익한 효과를 가진다： 우선 인식될 이미지에 대해 텍스트 영역 추출을 수행한 다음 텍스트 영역에서 텍스트 줄을 더 추출하여 텍스트 줄에 대해 텍스트 서열 인식을 수행하여 인식 결과를 얻는다. 비교적 높은 인식 정밀도를 보장하는 것을 전제로 논리가 간단하고 계산량이 적은 등 특징을 가지므로 인식 속도를 향상시키고 GPU 및 CPU 등 다양한 컴퓨팅 환경에서 운행될 수 있고 폭넓은 실용성을 가지고 있다. 본 부분에서 설명한 내용은 본 개시 내용의 실시예들의 핵심 또는 중요한 특징들을 식별하기 위한 것이 아니며, 본 개시 내용의 범위를 제한하려는 의도가 아님을 이해해야 한다. 본 개시 내용의 다른 특징은 다음 설명을 통해 쉽게 이해 될 것이다.

도면은 본 기술적 해결책을 더 잘 이해하기 위하여 이용되며 본 출원을 제한하지 않는다.
도 1은 본 출원에 따른 광학 문자 인식 방법의 순서도이다；
도 2는 본 출원에 따른 광학 문자 인식 방법의 전체 구현 과정의 개략도이다；
도 3은 본 출원에 따른 광학 문자 인식 장치(30) 실시예의 구성 구조의 개략도이다；
도 4는 본 출원 실시예에 따른 방법의 전자기기의 블럭도이다.

이하, 도면을 참조하여 본 출원의 시범적인 실시예를 기술하는 바, 본 출원에 대한 이해를 돕기 위해 여기에는 본 출원 실시예의 다양한 세부 사항이 포함되며, 이러한 세부 사항을 단지 시범적인 것으로 간주해야 할 것이다. 따라서, 당업자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에서, 여기서 설명되는 실시예에 대해 다양한 변경 및 수정을 수행할 수 있음을 인식해야 한다. 마찬가지로, 명확성 및 간결성을 위하여 이하의 기술에서는 잘 알려진 기능 및 구조의 기술을 생략하였다.

또한 본 설명서에서 "및/또는"이라는 용어는 연관된 객체를 설명하는 연관 관계일 뿐이라는 것을 이해해야 한다. 이는 세 가지 관계가 있을 수 있음을 의미한다. 예를 들어 A 및/또는 B는 A가 단독으로 존재하는 경우, A와 B가 동시에 존재하는 경우, B가 단독으로 존재하는 경우 세 가지가 있다. 또한 본 명세서에서 문자 "/"는 일반적으로 앞뒤의 연관된 개체가 "또는" 관계가 있음을 나타낸다.

도 1은 본 출원에 따른 광학 문자 인식 방법 실시예의 순서도이다. 도 1에 나타낸 바와 같이 다음과 같은 구체적인 구현 방식을 포함한다.

단계(101)에서 인식될 이미지에 대해 그중 텍스트 영역의 바운딩 박스를 결정하고, 바운딩 박스에 따라 인식될 이미지에서 텍스트 영역 이미지(text region image)를 추출한다.

단계(102)에서 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하고 바운딩 박스에 따라 텍스트 영역 이미지에서 텍스트 줄 이미지(text line image)를 추출한다.

단계(103)에서 텍스트 줄 이미지에 대해 텍스트 서열 인식(text sequence identification)을 수행하여 인식 결과를 얻는다.

상술한 방법은 논리가 간단하고 계산량이 적은 등 특징이 있으므로 인식 속도를 향상시킬 수 있으며, 그래픽 처리 장치（GPU，Graphics Processing Unit）및 중앙 처리 장치（CPU，Central Processing Unit） 등 다양한 계산 환경에서 운행될 수 있고, 폭 넓은 실용성을 가지고 있다.

텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하기 전에 텍스트 영역 이미지의 조정 방법을 결정할 수 있으며 결정된 조정 방법에 따라 텍스트 영역 이미지에 대해 사이즈 조정을 수행할 수 있다.

실제 응용에서 인식될 이미지에서 텍스트 영역을 결정할 수 있고, 복수개 텍스트 영역을 결정할 수도 있으며, 복수개 텍스트 영역일 경우 각각의 텍스트 영역은 같은 방법으로 처리할 수 있다.

동일한 이미지에서 텍스트의 사이즈 변화는 매우 클 수 있으며, 너무 크거나 너무 작은 일부 텍스트일 경우, 단일 모델 및 단일 스케일 검측(assay)은 완전한 텍스트 줄을 정확하게 검측하기 어려운 경우가 많다. 전통적인 처리 방법은 먼저 입력 이미지를 비례에 따라 여러 가지 서로 다른 크기로 스케일링된 후 이미지를 다시 텍스트 검측기에 입력하여 검측하고, 마지막으로 비 최대 억제（NMS，Non Maximum Suppression）와 같은 후처리 책략에 의해 서로 다른 입력 사이즈의 검측 결과를 통합하여 최종 검측 결과를 얻는다. 이 방법은 서로 다른 크기의 스케일링 후 각 텍스트 줄이 적어도 한 번 텍스트 검측기가 검측하기에 적합한 크기로 스케일링된다는 가정을 기반으로 한다. 그러나 이러한 처리 방법은 적어도 다음과 같은 문제점이 있다: 1) 크기가 다른 여러 개의 입력된 전체 이미지를 처리해야 하고 전체 이미지 레벨에 대한 계산량이 상당하기 때문에 효율성이 낮고, 스케일링 크기 선택이 적절하지 않으며, 텍스트 줄이 적절한 크기로 스케일링 되지 않아 필연적으로 컴퓨팅 리소스가 낭비된다. 2) 동일한 텍스트 줄의 경우, 텍스트 검측기가 복수개 크기로 검측되면 특정 선험적 규칙에 의해 선택되고 유지되며 결과적으로 인위적으로 설계된 선험적 규칙은 종종 강력하지 않으며 정확성을 잃게 된다.

상술한 문제에 대하여 본 실시예에서는 인식될 이미지를 미리 훈련하여 얻은 경량급 텍스트 사이즈 예비 판별 모델에 입력하여 출력된 단일 채널 텍스트 영역 마스크（TM，Text Mask）맵 및 텍스트 사이즈（TS，Text Scale） 맵을 얻는다. 여기서 텍스트 영역 마스크 맵 중 각각의 픽셀 값은 상기 픽셀이 텍스트 영역에 속하는 확률을 각각 표시하고 텍스트 사이즈 맵 중 각각의 픽셀 값은 상기 픽셀이 속하는 텍스트 줄의 최단변의 사이즈와 미리 설정된 최적 사이즈 사이의 비율을 각각 표시하며, 텍스트 줄의 면은 너비와 높이를 포함하고, 일반적으로 너비와 높이의 사이즈는 너비와 높이의 사이즈보다 작다. 이에 따라 텍스트 영역 마스크 맵에 기반하여 인식될 이미지 중 텍스트 영역의 바운딩 박스를 결정할 수 있으며 텍스트 사이즈 맵에 기반하여 텍스트 영역 이미지의 조정 방법을 결정할 수 있다.

경량급 텍스트 사이즈 예비 판별 모델에는 제1 특징 추출 모듈, 제1 예측 모듈 및 제2 예측 모듈을 포함할 수 있으며, 여기서 제1 특징 추출 모듈은 입력된 이미지에 대해 특징 추출하는데 사용되며, 제1 예측 모듈은 특징 추출 결과에 기반하여 텍스트 영역 마스크 맵(TM)을 생성하는데 사용되며, 제2 예측 모듈은 특징 추출 결과에 기반하여 텍스트 사이즈 맵(TS)을 생성하는데 사용된다.

경량급 텍스트 사이즈 예비 판별 모델은 완전 컨볼루션 네트워크일 수 있으며, 제1 특징 추출 모듈은 소형의 컨볼루션 신경망（CNN，Convolutional Neural Network）일 수 있다. 제1 특징 추출 모듈의 특징 추출 결과에 기반하여 제1 예측 모듈은 이미지 중 텍스트 영역에 대해 분할할 수 있으며, 제2 예측 모듈은 각 텍스트 영역 중 텍스트 줄의 최단변의 사이즈와 미리 설정된 최적 사이즈 사이의 비율（비례）을 예측할 수 있다. 제1 예측 모듈과 제2 예측 모듈에는 3개 권선 레이어를 각각 포함할 수 있다. 이에 따라, 경량급 텍스트 사이즈 예비 판별 모델의 최종 출력은 두 개 단일 채널의 분할 맵, 즉 텍스트 영역 마스크 맵(TM) 및 텍스트 사이즈 맵(TS)이다. 텍스트 영역 마스크 맵에서 각각의 픽셀의 값은 상기 픽셀이 텍스트 영역에 속하는 확률을 각각 표시하고, 상기 확률은 0부터 1 사이의 값일 수 있으며, 텍스트 사이즈 맵에서 각각의 픽셀의 값은 상기 픽셀이 속하는 텍스트 줄의 최단변의 사이즈와 미리 설정된 최적 사이즈 사이의 비율을 각각 표시한다.

훈련 단계에서 텍스트 영역 마스크 맵의 경우, 배경 영역 즉 텍스트가 아닌 영역의 각각의 픽셀의 값은 0일 수 있으며, 텍스트 영역 중 각각의 픽셀의 값은 1일 수 있으며, 텍스트 사이즈 맵에 대하여 각각의 픽셀의 값은 상기 픽셀이 속하는 텍스트 줄의 최단변의 사이즈와 미리 설정된 최적 사이즈 사이의 비율이다. 최적 사이즈는 하이퍼 파라미터(hyper-parameter)일 수 있으며 구체적인 값은 실제 수요에 따라 결정될 수 있다. 손실 함수의 선택 면에서 제1 예측 모듈은 dice-loss을 선택할 수 있고 제2 예측 모듈은 smooth-L1 loss을 선택할 수 있다.

예측 단계에서는 인식될 이미지를 경량급 텍스트 사이즈 예비 판별 모델에 입력하여 출력된 텍스트 영역 마스크 맵 및 텍스트 사이즈 맵을 얻은 후 연결 영역 분석을 통해 텍스트 영역 마스크 맵의 모든 텍스트를 결정할 수 있다. 매개 텍스트 연결 영역은 단독적인 텍스트 영역을 각각 나타낸다. 임의의 텍스트 연결 영역에 대하여 즉 각각의 텍스트 연결 영역에 대하여 인식될 이미지 중 상기 텍스트 연결 영역을 포함하는 최소 직사각형을 각각 결정하여 상기 텍스트 연결 영역에 대응하는 텍스트 영역의 바운딩 박스로 할 수 있고, 나아가 상기 바운딩 박스에 기반하여 인식될 이미지에서 텍스트 영역 이미지를 추출할 수 있다.

각각의 텍스트 영역 이미지에 대하여 상기 텍스트 영역 이미지의 각각의 픽셀이 텍스트 사이즈 맵에서의 값을 각각 결정할 수 있고, 상기 텍스트 영역 이미지의 각각의 픽셀이 텍스트 사이즈 맵에서의 값은 같다. 즉 본 실시예에서 동일한 텍스트 영역의 각각의 텍스트 줄의 사이즈가 같다고 가정할 경우 동일한 텍스트 영역의 각각의 텍스트 줄의 높이 사이즈가 같으며, 너비에 비하여 일반적으로 높이의 사이즈가 비교적 작다. 따라서 매개 텍스트 영역 이미지에 대하여 그에 대응하는 조정 방법은 다음과 같을 수 있다： 상기 텍스트 영역 이미지의 너비와 높이 비를 유지한 전제 하에 상기 텍스트 영역 이미지의 너비와 높이의 사이즈에 대해 조정하여 조정 후의 텍스트 줄의 최단변의 사이즈가 상기 최적 사이즈와 같도록 한다.

상술한 처리 방법을 통해 경량급 텍스트 사이즈 예비 판별 모델에 기반하여 출력된 텍스트 영역 마스크 맵 및 텍스트 사이즈 맵을 기반으로 인식될 이미지 중 텍스트 영역을 빠르고 정확하게 결정할 수 있으며, 텍스트 영역 이미지의 사이즈를 적절한 사이즈로 직접 조정할 수 있으며, 후속 처리에 편리하고 후속 처리 결과의 정확성을 향상시키며, 전통 방식의 이미지를 복수개 서로 다른 사이즈로 스케일링하여 발생하는 효율이 낮고 정밀도 손실 등 문제를 피할 수 있다.

각각의 텍스트 영역 이미지에 대해 상기 텍스트 영역 이미지에서 각각의 텍스트 줄의 바운딩 박스를 각각 결정할 수 있으며 상기 바운딩 박스에 기반하여 텍스트 영역 이미지에서 각각의 텍스트 줄 이미지를 추출할 수 있다.

텍스트 영역 이미지를 사전 훈련하여 얻은 경량급 텍스트 검측 모델에 입력하여 출력된 단일 채널의 텍스트 중심선（TCL，Text Center Line） 응답 맵 및 4 채널의 텍스트 경계 영역 오프셋（TBO，Text Border Offset）맵을 얻는다. 여기서 텍스트 중심선 응답 맵의 각각의 픽셀의 값은 상기 픽셀이 속하는 텍스트 줄 중심선 영역의 확률을 각각 표시하고, 텍스트 경계 영역 오프셋 맵의 각각의 픽셀의 값은 상기 픽셀 자신이 속하는 텍스트 줄의 상변 경계까지의 수평 및 수직 방향 거리 및 자신이 속하는 텍스트 줄의 하변 경계까지의 수평 및 수직 방향 거리를 각각 표시한다.

경량급 텍스트 검측 모델에는 제2 특징 추출 모듈, 제3 예측 모듈 및 제4 예측 모듈을 포함할 수 있으며, 여기서 제2 특징 추출 모듈은 입력된 이미지에 대해 특징 추출하는데 사용되며, 제3 예측 모듈은 특징 추출 결과에 기반하여 텍스트 중심선 응답 맵을 생성하는데 사용되며, 제4 예측 모듈은 특징 추출 결과에 기반하여 텍스트 경계 영역 오프셋 맵을 생성하는데 사용된다.

경량급 텍스트 검측 모델은 기존의 단발 임의 모양 텍스트（SAST，Single-Shot Arbitrarily-Shaped Text） 모델을 기반으로 적절하게 단순화하여 얻을 수 있으며, 그중 제2 특징 추출 모듈은 Resnet-18과 같은 경량급 딥 뉴럴 네트워크(

네트워크 ,Deep Residual Network) 를 사용할 수 있다. 따라서 특징 추출된 계산량을 가능한 감소하고, SAST의 4개 예측 분기를 즉 상술한 제3 예측 모듈과 제4 예측 모듈 2개 분기로 단순화할 수 있다. 제3 예측 모듈과 제4 예측 모듈은 4개 권선 레이어를 각각 포함할 수 있다. 따라서 경량급 텍스트 검측 모델은 완전 컨볼루션 네트워크이며, 최종 출력에는 텍스트 중심선 응답 맵과 텍스트 경계 영역 오프셋 맵이 포함된다. 텍스트 중심선 응답 맵은 단일 채널이고 여기서 각각의 픽셀의 값은 상기 픽셀이 텍스트 줄 중심선 영역에 속하는 확률을 각각 표시한다. 상기 확률은 0부터 1 사이의 값일 수 있고 텍스트 경계 영역 오프셋 맵은 4 채널이다. 그중 각각의 픽셀의 값은 상기 픽셀 자신이 속하는 텍스트 줄의 상변 경계까지의 수평 및 수직 방향 거리 및 자신이 속하는 텍스트 줄의 하변 경계까지의 수평 및 수직 방향 거리를 각각 표시한다. 즉 임의의 픽셀의 값에 대하여 상기 픽셀 자신이 속하는 텍스트 줄의 상변 경계의 수평 거리, 자신이 속하는 텍스트 줄의 상변 경계의 수직 거리, 자신이 속하는 텍스트 줄의 하변 경계의 수평 거리 및 자신이 속하는 텍스트 줄의 하변 경계의 수직 거리를 표시한다.

훈련 단계에서는 SAST 구성을 사용할 수 있고 텍스트 중심선 응답 맵은 dice-loss로 감독할 수 있으며 텍스트 경계 영역 오프셋 맵은 smooth-L1 loss로 감독할 수 있다.

예측 단계에서는 텍스트 영역 이미지를 경량급 텍스트 검측 모델에 입력하여 출력된 텍스트 중심선 응답 맵 및 텍스트 경계 영역 오프셋 맵을 얻은 후 텍스트 중심선 응답 맵 및 텍스트 경계 영역 오프셋 맵과 결합하여 텍스트 영역 이미지의 텍스트 줄의 바운딩 박스를 결정한다. 바람직하게는 텍스트 중심선 응답 맵에 대해 연결 영역 분석을 수행하여 각각의 텍스트 줄의 중심선을 결정할 수 있다. 각각의 중심선에 대해 중심선 상의 픽셀이 텍스트 경계 영역 오프셋 맵에서의 값 등을 결합하여 상기 중심선에 대응하는 텍스트 줄의 바운딩 박스를 결정하며, 상기 바운딩 박스를 텍스트 영역 이미지에 대응함으로써 상기 바운딩 박스에 따라 텍스트 영역 이미지에서 텍스트 줄 이미지를 추출할 수 있다.

상술한 처리방식을 통해 경량급 텍스트 검측 모델에서 출력된 텍스트 중심선 응답 맵 및 텍스트 경계 영역 오프셋 맵을 기반으로 텍스트 영역 이미지의 텍스트 줄을 빠르고 정확하게 결정할 수 있으며, 획득된 각각의 텍스트 영역 이미지에 대하여 병렬로 처리할 수 있으므로 처리 속도를 더욱 향상시킨다.

획득된 각각의 텍스트 줄 이미지에 대하여 텍스트 서열 인식을 각각 수행하여 인식 결과를 얻을 수 있다. 바람직하게는 텍스트 줄 이미지를 사전 훈련하여 얻은 경량급 텍스트 서열 인식 모델에 입력하여 출력된 인식 결과를 얻는다. 구체적으로 입력된 텍스트 줄 이미지에 대하여 경량급 텍스트 서열 인식 모델은 먼저 특징 추출 컨볼루션 네트워크를 통해 텍스트 줄 이미지의 특징을 얻고, 나아가 상기 특징을 여러 개 프레임으로 직렬화 한 다음 GRU(Gated Recurrent Unit, 게이트 순환 유닛）에 입력하여 각각의 프레임에 대해 각각 분류 예측 등을 수행할 수 있으며, 기존 기술에서 구체적으로 구현되었다. 훈련 단계에서 고전적인 ctc loss을 사용하여 텍스트 서열 인식을 감독할 수 있다.

경량급 텍스트 서열 인식 모델의 상술한 구조일 경우, 특징 추출 부분의 컨볼루션 네트워크의 계산량이 전체 모델의 계산량의 많은 부분을 차지하므로 모델의 계산 비용을 낮추기 위해 더욱 가벼운 특징 추출 컨볼루션 네트워크 구조를 사용할 수 있다.

본 실시예에서 네트워크 구조를 수동으로 설계하는 전통적인 방식을 폐기하고 AutoML（Automated Machine Learning, 자동 기계 학습）기술을 사용할 수 있으며, 자동 검색하는 방식을 통해 네트워크 구조를 얻을 수 있다. 즉 경량급 텍스트 서열 인식 모델의 특징 추출 컨볼루션 네트워크 구조는 AutoML 모델 검색 방식을 사용하여 결정할 수 있다.

구체적으로 네트워크 구성을 예측할 수 있는 순환 신경망（RNN，Recurrent Neural Network）컨트롤러로 전체 네트워크 검색 작업을 제어할 수 있다. 강화 학습 방식을 통해 모델 정밀도와 예측 소모 시간을 동시에 훈련 목표로 하여 상기 컨트롤러를 최적화하고 상기 컨트롤러를 통해 최적의 네트워크 구조를 선택한다. 검색 공간 면에서는 전체 특징 추출 컨볼루션 네트워크를 여러 개 하위 모듈로 나눌 수 있으며, 모델 경량화를 위해 하위 모듈의 수는 3개가 될 수 있으며, 각각의 하위 모듈의 구조는 같다. 각각의 하위 모듈은 여러 개 층으로 구성될 수 있으며, 각각의 층은 예를 들면 컨볼루션, 풀링， shortcut（단축）연결 등 복수개 연산자로 구성될 수 있다. 따라서 상기 네트워크 검색 작업의 검색 공간은 각각의 하위 모듈에서 사용하는 층의 구체 구성（예를 들면 연산자의 선택 및 연결 방식 등） 및 각각의 하위 모듈에 포함된 층의 수 등을 포함할 수 있다.

네트워크 구조를 수동으로 설계하는 방법에 비해 상술한 방법은 인건비를 대폭 절감할 수 있으며 정밀도가 더 높다. 또한 정밀도가 보장되기 때문에 텍스트 서열 인식 시 간단한 서열 분류 CTC（Connectionist Temporal Classification, 시계열 분류기）디코딩 논리를 사용하여 텍스트 인식 디코딩을 수행할 수 있으며, 따라서 구현의 복잡성을 줄이고 나아가 처리 속도 등을 향상시킨다.

상술한 소개에 기반하여 도 2는 본 출원에 따른 광학 문자 인식 방법의 전체 구현 과정 개략도이며, 구체적인 구현은 상술한 관련 설명을 참고하고 상세한 설명을 생략한다.

요약하면 본 실시예는 경량급 텍스트 사이즈 예비 판별 모델 + 경량급 텍스트 검측 모델 + 경량급 텍스트 서열 인식 모델 등으로 조성된 경량급 범용 광학 문자 인식 방법을 제안하며, 비교적 높은 인식 정밀도를 보장하는 전제로 논리가 간단하고 계산량이 적은 등 특점을 가지므로 인식 속도를 향상시키고, GPU 및 CPU 등 다양한 컴퓨팅 환경에서 실행할 수 있으며, 폭 넓은 적용성을 가지고 있다.

전술한 방법 실시예에 대해 간단한 설명을 위해 일련의 동작 조합으로 표현되었지만 당업자는 본 출원이 설명된 동작 순서에 의해 제한되지 않는다는 것을 알아야 한다. 본 출원에 따르면 일부 단계는 다른 순서로 또는 동시에 수행될 수 있다. 둘째로 당업자는 명세서에 설명된 실시예가 모두 바람직한 실시예이며 관련된 동작 및 모듈이 반드시 본 출원에 의해 요구되는 것은 아니라는 것을 알아야 한다.

상기는 방법 실시예의 소개이고 아래에 장치 실시예를 통해 본 출원에서 설명된 방안에 대해 추가로 설명한다.

도 3은 본 출원에서 설명된 광학 문자 인식 장치(30) 실시예의 구성 구조의 개략도이다. 도 3에 도시된 바와 같이 제1 이미지 처리 모듈(301), 제2 이미지 처리 모듈(302) 및 텍스트 인식 모듈(303)을 포함한다.

제1 이미지 처리 모듈(301)은 인식될 이미지에 대하여 그중 텍스트 영역의 바운딩 박스를 결정하고, 바운딩 박스에 따라 인식될 이미지에서 텍스트 영역 이미지를 추출하는데 사용된다.

제2 이미지 처리 모듈(302)은 텍스트 영역 이미지의 텍스트 줄의 바운딩 박스를 결정하고, 바운딩 박스에 따라 텍스트 영역 이미지에서 텍스트 줄 이미지를 추출하는데 사용된다.

텍스트 인식 모듈(303)은 텍스트 줄 이미지에 대해 텍스트 서열 인식을 수행하여 인식 결과를 얻는데 사용된다.

추출된 텍스트 영역 이미지에 대하여 제1 이미지 처리 모듈(301)은 텍스트 영역 이미지의 조정 방식을 더 결정할 수 있고, 결정된 조정 방식에 따라 텍스트 영역 이미지에 대해 사이즈 조정을 수행한다.

제1 이미지 처리 모듈(301)은 인식될 이미지를 사전 훈련하여 얻은 경량급 텍스트 사이즈 예비 판별 모델에 입력하여 출력된 단일 채널의 텍스트 영역 마스크 맵 및 텍스트 사이즈 맵을 얻는다. 여기서 텍스트 영역 마스크 맵의 각각의 픽셀의 값은 상기 픽셀이 텍스트 영역의 확률을 각각 표시하고, 텍스트 사이즈 맵의 각각의 픽셀의 값은 상기 픽셀이 속하는 텍스트 줄의 최단변의 사이즈 및 미리 설정된 최적 사이즈 사이의 비율을 각각 표시한다. 또한 제1 이미지 처리 모듈(301)은 텍스트 영역 마스크 맵에 따라 인식될 이미지의 텍스트 영역의 바운딩 박스를 결정하고, 텍스트 사이즈 맵에 따라 텍스트 영역 이미지의 조정 방식을 결정한다.

구체적으로 제1 이미지 처리 모듈(301)은 연결된 도메인 분석을 통해 텍스트 영역 마스크 맵의 텍스트 연결 영역을 결정할 수 있고, 임의의 텍스트 연결 영역에 대해 인식될 이미지에 상기 텍스트 연결 영역을 포함하는 최소 직사각형을 각각 결정하여 상기 텍스트 연결 영역에 대응하는 텍스트 영역의 바운딩 박스로 할 수 있다.

제1 이미지 처리 모듈(301)은 또한 임의의 텍스트 영역 이미지에 대하여 상기 텍스트 영역 이미지의 각각의 픽셀의 텍스트 사이즈 맵에서의 값을 각각 결정하고, 상기 텍스트 영역 이미지의 각각의 픽셀의 텍스트 사이즈 맵에서의 값은 같다. 이에 따라, 결정된 상기 텍스트 영역 이미지의 조정 방법은 다음을 포함할 수 있다： 상기 텍스트 영역 이미지의 너비와 높이 비를 유지하는 것을 전제로 상기 텍스트 영역 이미지의 너비와 높이의 사이즈에 대해 조정하여 조정 후의 텍스트 줄의 최단변의 사이즈가 최적 사이즈와 같도록 한다.

경량급 텍스트 사이즈 예비 판별 모델에는 제1 특징 추출 모듈, 제1 예측 모듈 및 제2 예측 모듈을 포함할 수 있다. 여기서 제1 특징 추출 모듈은 입력된 이미지에 대해 특징 추출을 수행하는데 사용하고, 제1 예측 모듈은 특징 추출 결과에 기반하여 텍스트 영역 마스크 맵을 생성하는데 사용되며, 제2 예측 모듈은 특징 추출 결과에 기반하여 텍스트 사이즈 맵을 생성하는데 사용된다.

제2 이미지 처리 모듈(302)은 텍스트 영역 이미지를 사전 훈련하여 얻은 경량급 텍스트 검측 모델에 입력하여 출력된 단일 채널의 텍스트 중심선 응답 맵 및 4 채널의 텍스트 경계 영역 오프셋 맵을 얻는다； 여기서 텍스트 중심선 응답 맵 중 각각의 픽셀의 값은 상기 픽셀이 텍스트 줄 중심선 영역에 속하는 확률을 각각 표시하고 텍스트 경계 영역 오프셋 맵 중 각각의 픽셀의 값은 상기 픽셀 거리 소속 텍스트 줄 상변 경계까지의 수평 및 수직 방향 거리 및 거리의 소속 텍스트 줄의 하변 경계까지의 수평 및 수직 방향 거리를 각각 표시한다. 이에 따라, 제2 이미지 처리 모듈(302)은 텍스트 중심선 응답 맵 및 텍스트 경계 영역 오프셋 맵을 결합하여 텍스트 영역 이미지중 텍스트 줄의 바운딩 박스를 결정할 수 있다.

구체적으로 제2 이미지 처리 모듈(302)은 텍스트 중심선 응답 맵에 대해 연결 영역 분석을 수행하여 각각의 텍스트 줄의 중심선을 결정하고, 임의의 중심선에 대해 상기 중심선 상의 픽셀이 텍스트 경계 영역 오프셋 맵 중의 값을 결합하여 상기 중심선에 대응하는 텍스트 줄의 바운딩 박스를 결정할 수 있고, 상기 바운딩 박스를 텍스트 영역 이미지에 대응할 수 있다.

경량급 텍스트 검측 모델에는 제2 특징 추출 모듈, 제3 예측 모듈 및 제4 예측 모듈을 포함할 수 있다. 여기서 제2 특징 추출 모듈은 입력된 이미지에 대해 특징 추출을 수행하고, 제3 예측 모듈은 특징 추출 결과에 기반하여 텍스트 중심선 응답 맵을 생성하는데 사용되며, 제4 예측 모듈은 특징 추출 결과에 기반하여 텍스트 경계 영역 오프셋 맵을 생성하는데 사용된다.

텍스트 인식 모듈(303)은 텍스트 줄 이미지를 사전 훈련하여 얻은 경량급 텍스트 서열 인식 모델에 입력하여 출력된 인식 결과를 얻는다； 여기서 경량급 텍스트 서열 인식 모델의 특징 추출 컨볼루션 네트워크 구조는 자동 기계 학습 모델 검색 방식을 사용하여 결정할 수 있다.

도 3에 나타낸 장치 실시예의 구체적인 작업 순서에 대해서는 전술한 방법 실시예의 관련 설명을 참조하고 설명을 생략한다.

요약하면 본 출원 장치 실시예에서 설명한 방안은 경량급 텍스트 사이즈 예비 판별 모델 + 경량급 텍스트 검측 모델 + 경량급 텍스트 서열 인식 모델 등으로 조성된 경량급 범용 광학 문자 인식 방식을 사용하여 광학 문자 인식을 수행할 수 있으며, 비교적 높은 인식 정밀도를 보장하는 것을 전제로 논리가 간단하고 계산량이 적은 등 특점을 구비하므로 인식 속도를 향상시키고 GPU 및 CPU 등 다양한 컴퓨팅 환경에서 실행이 가능하며 넓은 적용성을 가진다； 또한 경량급 텍스트 사이즈 예비 판별 모델에 의해 출력된 텍스트 영역 마스크 맵 및 텍스트 사이즈 맵을 기반으로 인식될 이미지의 텍스트 영역을 빠르고 정확하게 결정할 수 있으며, 텍스트 영역 이미지의 사이즈를 적합한 사이즈로 직접 조정할 수 있으므로 후속 처리에 편리하고 후속 처리 결과의 정확성을 향상시키며, 전통 방식에서 이미지를 복수개 서로 다른 사이즈로 스케일링하여 나타나는 효율이 낮고 정밀도 손실 등 문제를 피한다； 또한 경량급 텍스트 검측 모델 출력된 텍스트 중심선 응답 맵 및 텍스트 경계 영역 오프셋 맵을 기반으로 텍스트 영역 이미지 중 텍스트 줄을 빠르고 정확하게 결정할 수 있으며 획득된 각각의 텍스트 영역 이미지에 대해 병렬로 처리할 수 있으므로 나아가 처리 속도를 향상시킨다 ； 또한 자동 기계 학습 모델 검색 방식을 사용하여 경량급 텍스트 서열 인식 모델 중 특징 추출 컨볼루션 네트워크를 결정하여 네트워크 구조를 수동으로 설계하는 전통적인 방식을 폐기하므로 인건비를 대폭 감소하고 더욱 높은 정밀도 등을 가진다.

본 출원의 실시예에 따르면 본 출원은 전자기기 및 판독 가능 기록매체를 더 제공한다.

도 4에 나타낸 바와 같이, 본 출원 실시예에 따른 방법의 전자기기의 블럭도이다. 전자기기는 예를 들면 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타낸다. 전자기기 또한 예를 들면 개인 디지털 처리기, 셀폰, 스마트 전화, 웨어러블 기기 및 기타 유사한 계산 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 나타낸 구성 요소, 이들의 연결과 관계 및 이들의 기능은 단지 예일 뿐이며, 본 명세서에서 기술하거나 및/또는 요구하는 본 발명의 구현을 한정하려는 것이 아니다.

도 4에 나타낸 바와 같이, 상기 전자기기는 하나 또는 복수의 프로세서(Y01), 메모리(Y02) 및 각각의 구성 요소를 연결하기 위한 인터페이스를 구비하며, 당해 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각각의 구성 요소는 서로 다른 버스를 통해 상호 연결되며, 공통 마더 보드에 설치되거나 또는 수요에 따라 기타 방식으로 설치된다. 프로세서 전자기기 내에서 수행되는 명령에 대해 처리를 수행할 수 있으며, 메모리 내에 기억되어 외부 입력/출력 장치 （예를 들면 인터페이스에 연결된 디스플레이 기기） 상에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한다. 기타 실시 방식에 있어서, 필요할 경우, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분적인 필요한 조작 （예를 들면, 서버 어레이, 일 그룹의 블레이드 서버, 또는 다중 프로세서 시스템）을 제공한다. 도 4에서는 하나의 프로세서(Y01)의 예를 들었다.

메모리(Y02)는 본 출원에 의해 제공되는 비 일시적 컴퓨터 판독 가능 기록매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며, 상기 적어도 하나의 프로세서로 하여금 본 출원에 의해 제공되는 방법을 수행하도록 한다. 본 출원의 비 일시적 컴퓨터 판독 가능 기록매체는 컴퓨터 명령을 기억하며, 상기 컴퓨터 명령은 컴퓨터로 하여금 본 출원에 의해 제공되는 방법을 수행하도록 한다.

메모리(Y02)는 비 일시적 컴퓨터 판독 가능 기록매체로서 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능 프로그램 및 모듈(예: 실시예의 방법에 대응하는 프로그램 명령/모듈)을 저장하는데 활용할 수 있다. 프로세서(Y01)는 메모리(Y02)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 실행하며 상술한 방법 실시예의 방법을 구현한다.

메모리(Y02)는 프로그램 기억 영역 및 데이터 기억 영역을 포함할 수 있으며, 여기서, 프로그램 기억 영역은 운영 체제 및 적어도 하나의 기능에 필요한 앱을 기억할 수 있고, 데이터 기억 영역은 전자기기의 사용을 통해 생성된 데이터 등을 기억할 수 있다. 또한, 메모리(Y02)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비 일시적 메모리를 더 포함할 수 있는 바, 예를 들면 적어도 하나의 자기 디스크 저장 장치, 플래시 장치, 또는 기타 비 일시적 고체 저장 장치를 포함할 수 있다. 일부 실시예에 있어서, 메모리(Y02)는 선택적으로 프로세서(Y01)에 대해 원격 설치한 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 전자기기에 연결될 수 있다. 상술한 네트워크의 실시예는 인터넷, 기업 인트라 넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.

전자기기는 입력 장치(Y03) 및 출력 장치(Y04)를 더 포함할 수 있다. 프로세서(Y01), 메모리(Y02), 입력 장치(Y03) 및 출력 장치(Y04)는 버스 또는 기타 방식으로 연결될 수 있고 도4에서는 버스를 통해 연결된 경우를 예로 들었다.

입력 장치(Y03)는 입력된 디지털 또는 문자 정보를 수신하고, 또한 당해 전자기기의 유저 설정 및 기능 제어에 관한 키 신호 입력을 생성할 수 있다. 예를 들면 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치를 포함할 수 있다. 출력 장치 (Y04)는 디스플레이 기기, 보조 조명 장치 및 촉각 피드백 장치（예를 들면 진동 모터） 등을 포함할 수 있다. 상기 디스플레이 기기는 액정 디스플레이, 발광 다이오드 디스플레이 및 등 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에 있어서, 디스플레이 기기는 터치 스크린일 수 있다.

여기서 설명하는 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC（전용 집적 회로）, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 수행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 일반 프로그램 가능 프로세서일 수 있고, 기억 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 또한 데이터 및 명령을 당해 기억 시스템, 상기 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 계산 프로그램 （프로그램, 소프트웨어, 소프트웨어 응용 또는 코드로도 불림）은 프로그램 가능 프로세서의 기계 명령을 포함하며, 또한 고급 과정 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 계산 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 “기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”와 같은 용어는, 기계 명령 및/또는 데이터를 프로그램 가능 프로세서의 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치 （예를 들면, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치（PLD））에 제공하기 위한 것을 의미하며, 기계 판독 가능 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. “기계 판독 가능 신호”와 같은 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.

유저와의 대화를 제공하기 위하여, 컴퓨터 상에서 여기서 설명하는 시스템 및 기술을 실시할 수 있으며, 당해 컴퓨터는 유저에게 정보를 표시하기 위한 디스플레이 장치 （예를 들면 CRT（음극선관） 또는 LCD（액정 디스플레이） 모니터） 및 키보드와 포인팅 장치 （예를 들면, 마우스 또는 트랙볼）를 구비할 수 있으며, 유저는 당해 키보드 및 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 유형의 장치는 또한 유저와의 대화를 제공하는데 사용될 수 있다. 예를 들면, 유저에 제공하는 피드백은 임의의 형태의 감각 피드백 （예를 들면, 시각적 피드백, 청각적 피드백, 또는 촉각 피드백）일 수 있으며, 또한 임의의 형태（음향 입력, 음성 입력 또는 촉각 입력을 포함함）를 통해 유저로부터의 입력을 수신할 수 있다.

여기서 설명하는 시스템 및 기술을 백엔드 구성 요소를 포함하는 계산 시스템 （예를 들면 데이터 서버）, 또는 미들웨어 구성 요소를 포함하는 계산 시스템 （예를 들면 응용 서버）, 또는 프런트엔드 구성 요소를 포함하는 계산 시스템 （예를 들면 그래픽 유저 인터페이스 또는 웹 브라우저를 구비하는 유저 컴퓨터인 바, 유저는 당해 그래픽 유저 인터페이스 또는 당해 웹 브라우저를 통해 여기서 설명하는 시스템 및 기술의 실시 방식과 대화함）, 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소, 또는 프런트엔드 구성 요소의 임의의 조합을 포함하는 계산 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신 （예를 들면, 통신 네트워크）을 통해 시스템의 구성 요소를 상호 연결할 수 있다. 통신 네트워크의 예는 근거리 통신망（LAN）, 광역 통신망（WAN） 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 또한 일반적으로 통신 네트워크를 통해 대화를 수행한다. 상기 각각의 컴퓨터 상에서 실행되고, 또한 클라이언트 - 서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 발생시킬 수 있다. 서버는 클라우드 컴퓨팅 서버 또는 클라우드 호스트로도 알려진 클라우드 서버가 될 수 있으며, 기존의 물리적 호스팅 및 VPS 서비스의 어려운 관리 및 약한 비즈니스 확장성의 단점을 해결하기 위한 클라우드 컴퓨팅 서비스 시스템의 호스트 제품이다.

상기에 나타낸 다양한 형태의 흐름을 이용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 출원에 기재된 각각의 단계는 병렬로 수행되거나 또는 차례로 수행되거나 또는 다른 순서로 수행될 수 있으며, 본 출원이 개시하는 기술 방안이 원하는 결과를 구현할 수 있는 한, 본 명세서는 이에 대해 한정하지 않는다.

상술한 구체적인 실시 방식은 본 발명의 보호 범위를 한정하지 않는다. 당업자는 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체를 수행할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 이루어진 임의의 수정 동등한 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 포함되어야 한다.

Claims

인식될 이미지에 대하여, 그중의 텍스트 영역의 바운딩 박스를 결정하고, 상기 텍스트 영역의 바운딩 박스에 따라 상기 인식될 이미지에서 텍스트 영역 이미지를 추출하는 단계；
상기 텍스트 영역 이미지 중의 텍스트 줄의 바운딩 박스를 결정하고, 상기 텍스트 줄의 바운딩 박스에 따라 상기 텍스트 영역 이미지에서 텍스트 줄 이미지를 추출하는 단계；
상기 텍스트 줄 이미지에 대해 텍스트 서열 인식을 수행하여 인식 결과를 얻는 단계;
를 포함하는 것을 특징으로 하는,
광학 문자 인식 방법.
제1항에 있어서,
상기 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하는 단계의 전에，
상기 텍스트 영역 이미지의 조정 방식을 결정하고， 결정된 조정 방식에 따라 상기 텍스트 영역 이미지에 대해 사이즈 조정을 수행하는 단계
를 더 포함하는 것을 특징으로 하는,
광학 문자 인식 방법.
제2항에 있어서,
상기 인식될 이미지를 사전 훈련하여 얻은 경량급 텍스트 사이즈 예비 판별 모델에 입력하여 출력된 단일 채널의 텍스트 영역 마스크 맵 및 텍스트 사이즈 맵을 얻는 단계
를 더 포함하며；
상기 텍스트 영역 마스크 맵 중 각각의 픽셀의 값은 상기 픽셀이 텍스트 영역에 속하는 확률을 각각 표시하고,
상기 텍스트 사이즈 맵 중 각각의 픽셀의 값은 상기 픽셀이 속하는 텍스트 줄의 최단변의 사이즈와 미리 설정된 최적 사이즈 사이의 비율을 각각 표시하며；
상기 텍스트 영역을 결정하는 바운딩 박스는 상기 텍스트 영역 마스크 맵에 따라 상기 인식될 이미지 중의 텍스트 영역을 결정하는 바운딩 박스를 포함하며；
상기 텍스트 영역 이미지를 결정하는 조정 방식은 상기 텍스트 사이즈 맵에 따라 상기 텍스트 영역 이미지를 결정하는 조정 방식을 포함하는 것을 특징으로 하는,
광학 문자 인식 방법.
제3항에 있어서,
상기 텍스트 영역 마스크 맵에 따라 상기 인식될 이미지 중 텍스트 영역의 바운딩 박스를 결정하는 단계는：
연결 영역 분석을 통해 상기 텍스트 영역 마스크 맵 중 텍스트 연결 영역을 결정하는 단계；
임의의 텍스트 연결 영역에 대하여 상기 인식될 이미지 중의 상기 텍스트 연결 영역을 포함하는 최소 직사각형을 각각 결정하여 상기 텍스트 연결 영역에 대응하는 텍스트 영역의 바운딩 박스로 하는 단계;
를 포함하는 것을 특징으로 하는,
광학 문자 인식 방법.
제3항에 있어서,
상기 텍스트 사이즈 맵에 따라 상기 텍스트 영역 이미지를 결정하는 조정 방식은:
임의의 텍스트 영역 이미지에 대하여, 상기 텍스트 영역 이미지 중 각각의 픽셀의 상기 텍스트 사이즈 맵에서의 값을 각각 결정하되, 상기 텍스트 영역 이미지 중 각각의 픽셀의 상기 텍스트 사이즈 맵에서의 값은 같으며；
상기 텍스트 영역 이미지의 조정 방식은 상기 텍스트 영역 이미지의 너비와 높이 비를 유지하는 것을 전제로 상기 텍스트 영역 이미지의 너비와 높이의 사이즈를 조정하여, 조정 후의 텍스트 줄의 최단변의 사이즈가 상기 최적 사이즈와 같도록 하는 것을 포함하는 것을 특징으로 하는,
광학 문자 인식 방법.
제3항에 있어서,
상기 경량급 텍스트 사이즈 예비 판별 모델에는 제1 특징 추출 모듈, 제1 예측 모듈 및 제2 예측 모듈을 포함하며；
상기 제1 특징 추출 모듈은 입력된 이미지에 대해 특징 추출을 수행하는데 사용되며,
상기 제1 예측 모듈은 특징 추출 결과에 기반하여 상기 텍스트 영역 마스크 맵을 생성하는데 사용되며,
상기 제2 예측 모듈은 상기 특징 추출 결과에 기반하여 상기 텍스트 사이즈 맵을 생성하는데 사용되는 것을 특징으로 하는,
광학 문자 인식 방법.
제1항에 있어서,
상기 텍스트 영역 이미지를 사전 훈련하여 얻은 경량급 텍스트 검측 모델에 입력하여, 출력된 단일 채널의 텍스트 중심선 응답 맵 및 4 채널의 텍스트 경계 영역 오프셋 맵을 얻는 단계
를 더 포함하며；
상기 텍스트 중심선 응답 맵 중 각각의 픽셀의 값은 상기 픽셀이 텍스트 줄 중심선 영역에 속하는 확률을 각각 표시하고, 상기 텍스트 경계 영역 오프셋 맵 중 각각의 픽셀의 값은 상기 픽셀이 자신이 속하는 텍스트 줄의 상변 경계까지의 수평 및 수직 방향 거리 및 자신이 속하는 텍스트 줄의 하변 경계까지의 수평 및 수직 방향 거리를 각각 표시하며 ；
상기 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하는 단계는 ：
상기 텍스트 중심선 응답 맵 및 상기 텍스트 경계 영역 오프셋 맵을 결합하여, 상기 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하는 단계를 포함하는 것을 특징으로 하는,
광학 문자 인식 방법.
제7항에 있어서,
상기 텍스트 중심선 응답 맵 및 상기 텍스트 경계 영역 오프셋 맵을 결합하여, 상기 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하는 단계는:
상기 텍스트 중심선 응답 맵에 대해 연결 영역 분석을 수행하여, 각각의 텍스트 줄의 중심선을 결정하며；
임의의 중심선에 대하여, 상기 중심선 상의 픽셀이 상기 텍스트 경계 영역 오프셋 맵 중에서의 값을 각각 결합하여, 상기 중심선에 대응하는 텍스트 줄의 바운딩 박스를 결정하며, 상기 바운딩 박스를 상기 텍스트 영역 이미지에 대응시키는 것을 포함하는 것을 특징으로 하는,
광학 문자 인식 방법.
제7항에 있어서,
상기 경량급 텍스트 검측 모델은 제2 특징 추출 모듈, 제3 예측 모듈 및 제4 예측 모듈을 포함하며；
상기 제2 특징 추출 모듈은 입력된 이미지에 대해 특징 추출을 수행하는데 사용되며,
상기 제3 예측 모듈은 특징 추출 결과에 기반하여 상기 텍스트 중심선 응답 맵을 생성하는데 사용되며,
상기 제4 예측 모듈은 상기 특징 추출 결과에 기반하여 상기 텍스트 경계 영역 오프셋 맵을 생성하는데 사용되는 것을 특징으로 하는,
광학 문자 인식 방법.
제1항에 있어서,
상기 텍스트 줄 이미지에 대하여 텍스트 서열 인식을 수행하여 인식 결과를 얻는 단계는:
상기 텍스트 줄 이미지를 사전 훈련하여 얻은 경량급 텍스트 서열 인식 모델에 입력하여 출력된 인식 결과를 얻는 단계를 포함하되, 상기 경량급 텍스트 서열 인식 모델 중의 특징 추출 컨볼루션 네트워크 구조는 자동 기계 학습 모델 검색 방식을 사용하여 결정하는 것을 특징으로 하는,
광학 문자 인식 방법.
광학 문자 인식 장치에 있어서,
제1 이미지 처리 모듈, 제2 이미지 처리 모듈 및 텍스트 인식 모듈을 포함하며；
상기 제1 이미지 처리 모듈은 인식될 이미지에 대하여, 그중의 텍스트 영역의 바운딩 박스를 결정하고, 상기 텍스트 영역의 바운딩 박스에 따라 상기 인식될 이미지에서 텍스트 영역 이미지를 추출하는데 사용되며；
상기 제2 이미지 처리 모듈은 상기 텍스트 영역 이미지 중의 텍스트 줄의 바운딩 박스를 결정하고, 상기 텍스트 줄의 바운딩 박스에 따라 상기 텍스트 영역 이미지에서 텍스트 줄 이미지를 추출하는데 사용되며；
상기 텍스트 인식 모듈은 상기 텍스트 줄 이미지에 대해 텍스트 서열 인식을 수행하여 인식 결과를 얻는데 사용되는 것을 특징으로 하는,
광학 문자 인식 장치.
제11항에 있어서,
상기 제1 이미지 처리 모듈은 상기 텍스트 영역 이미지의 조정 방식을 결정하고, 결정된 조정 방식에 따라 상기 텍스트 영역 이미지에 대해 사이즈 조정을 수행하는데 더 사용되는 것을 특징으로 하는,
광학 문자 인식 장치.
제12항에 있어서,
상기 제1 이미지 처리 모듈은 상기 인식될 이미지를 사전 훈련하여 얻은 경량급 텍스트 사이즈 예비 판별 모델에 입력하고 출력된 단일 채널의 텍스트 영역 마스크 맵 및 텍스트 사이즈 맵을 얻는데 더 사용되며； 여기서 상기 텍스트 영역 마스크 맵 중 각각의 픽셀의 값은 상기 픽셀이 텍스트 영역에 속하는 확률을 각각 표시하고 상기 텍스트 사이즈 맵 중 각각의 픽셀의 값은 상기 픽셀이 속하는 텍스트 줄의 최단변의 사이즈와 미리 설정된 최적 사이즈 사이의 비율을 각각 표시하며；
상기 제1 이미지 처리 모듈은 상기 텍스트 영역 마스크 맵에 따라 상기 인식될 이미지 중 텍스트 영역의 바운딩 박스를 결정하고, 상기 텍스트 사이즈 맵에 따라 상기 텍스트 영역 이미지의 조정 방식을 결정하는 것을 특징으로 하는,
광학 문자 인식 장치.
제13항에 있어서，
상기 제1 이미지 처리 모듈은 연결 영역 분석을 통해 상기 텍스트 영역 마스크 맵 중 텍스트 연결 영역을 결정하고, 임의의 텍스트 연결 영역에 대하여 상기 인식될 이미지 중의 상기 텍스트 연결 영역을 포함하는 최소 직사각형을 각각 결정하여 상기 텍스트 연결 영역에 대응하는 텍스트 영역의 바운딩 박스로 하는 것을 특징으로 하는,
광학 문자 인식 장치.
제13항에 있어서，
상기 제1 이미지 처리 모듈은 임의의 텍스트 영역 이미지에 대하여 상기 텍스트 영역 이미지 중 각각의 픽셀이 상기 텍스트 사이즈 맵 중에서의 값을 각각 결정하되, 상기 텍스트 영역 이미지 중 각각의 픽셀이 상기 텍스트 사이즈 맵 중에서의 값은 같으며；
상기 텍스트 영역 이미지의 조정 방식은 상기 텍스트 영역 이미지의 너비와 높이 비를 유지하는 것을 전제로 상기 텍스트 영역 이미지의 너비(width)와 높이(high)의 사이즈를 조정하여, 조정 후의 텍스트 줄의 최단변의 사이즈가 상기 최적 사이즈와 같도록 하는 것을 포함하는 것을 특징으로 하는,
광학 문자 인식 장치.
제13항에 있어서，
상기 경량급 텍스트 사이즈 예비 판별 모델에는 제1 특징 추출 모듈, 제1 예측 모듈 및 제2 예측 모듈을 포함하며；
상기 제1 특징 추출 모듈은 입력된 이미지에 대해 특징 추출을 수행하는데 사용되며,
상기 제1 예측 모듈은 특징 추출 결과에 기반하여 상기 텍스트 영역 마스크 맵을 생성하는데 사용되며,
상기 제2 예측 모듈은 상기 특징 추출 결과에 기반하여 상기 텍스트 사이즈 맵을 생성하는데 사용되는 것을 특징으로 하는,
광학 문자 인식 장치.
제11항에 있어서，
상기 제2 이미지 처리 모듈은 상기 텍스트 영역 이미지를 사전 훈련하여 얻은 경량급 텍스트 검측 모델에 입력하여, 출력된 단일 채널의 텍스트 중심선 응답 맵 및 4 채널의 텍스트 경계 영역 오프셋 맵을 얻는데 더 사용되며；
상기 텍스트 중심선 응답 맵 중 각각의 픽셀의 값은 상기 픽셀이 텍스트 줄 중심선 영역에 속하는 확률을 각각 표시하며, 상기 텍스트 경계 영역 오프셋 맵 중 각각의 픽셀의 값은 상기 픽셀이 자신이 속하는 텍스트 줄의 상변 경계까지의 수평 및 수직 방향 거리 및 자신이 속하는 텍스트 줄의 하변 경계까지의 수평 및 수직 방향 거리를 각각 표시하며 ；
상기 제2 이미지 처리 모듈은 상기 텍스트 중심선 응답 맵 및 상기 텍스트 경계 영역 오프셋 맵을 결합하여, 상기 텍스트 영역 이미지 중 텍스트 줄의 바운딩 박스를 결정하는 것을 특징으로 하는,
광학 문자 인식 장치.
제17항에 있어서，
상기 제2 이미지 처리 모듈은 상기 텍스트 중심선 응답 맵에 대해 연결 영역 분석을 수행하여, 각각의 텍스트 줄의 중심선을 결정하며, 임의의 중심선에 대하여 상기 중심선 상의 픽셀이 상기 텍스트 경계 영역 오프셋 맵 중에서의 값을 각각 결합하여 상기 중심선에 대응하는 텍스트 줄의 바운딩 박스를 결정하며, 상기 바운딩 박스를 상기 텍스트 영역 이미지에 대응시키는 것을 특징으로 하는,
광학 문자 인식 장치.
제17항에 있어서，
상기 경량급 텍스트 검측 모델에는 제2 특징 추출 모듈, 제3 예측 모듈 및 제4 예측 모듈을 포함하며；
상기 제2 특징 추출 모듈은 입력된 이미지에 대해 특징 추출하는데 사용되며,
상기 제3 예측 모듈은 특징 추출 결과에 기반하여 상기 텍스트 중심선 응답 맵을 생성하는데 사용되며,
상기 제4 예측 모듈은 상기 특징 추출 결과에 기반하여 상기 텍스트 경계 영역 오프셋 맵을 생성하는데 사용되는 것을 특징으로 하는,
광학 문자 인식 장치.
제11항에 있어서，
상기 텍스트 인식 모듈은 상기 텍스트 줄 이미지를 사전 훈련하여 얻은 경량급 텍스트 서열 인식 모델에 입력하여, 출력된 인식 결과를 얻으며；
상기 경량급 텍스트 서열 인식 모델 중 특징 추출 컨볼루션 네트워크 구조는 자동 기계 학습 모델 검색 방식을 사용하여 결정하는 것을 특징으로 하는,
광학 문자 인식 장치.
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 구비하며,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
전자기기.
컴퓨터 명령이 기억되어 있는 비 일시적 컴퓨터 판독 가능 기록매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
기록매체.
비 일시적 컴퓨터 판독 가능 기록매체에 기억되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 컴퓨터로 하여금 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
컴퓨터 프로그램.