KR102280239B1 - 문서 이미지의 변환 장치 및 방법 - Google Patents

Abstract

원본 이미지로부터 문서 영역을 포함하는 제 1 문서 이미지를 획득하는 단계; 제 1 문서 이미지 내 문서 영역의 제 1 외곽선을 조절하는 단계; 조절된 제 1 외곽선에서 특징 포인트들을 결정하는 단계; 특징 포인트들에 대응하는 타겟 포인트들을 사각형의 제 2 외곽선에서 결정하는 단계; 및 특징 포인트들의 좌표와 특징 포인트들에 대응하는 타겟 포인트들의 좌표 사이의 관계를 기초로, 문서 영역의 픽셀들의 위치를 변경하여 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 획득하는 단계를 포함하는, 일 실시예에 따른 문서 이미지의 변환 방법이 개시된다.

Description

문서 이미지의 변환 장치 및 방법{APPARATUS AND METHOD FOR TRANSFORMING DOCUMENT IMAGE}

본 개시는 이미지 처리 분야에 관한 것이다. 보다 구체적으로, 본 개시는 문서 이미지에 포함된 문서의 형상을 변환하는 장치 및 방법에 관한 것이다.

문서를 객체로 포함하는 문서 이미지에서 텍스트를 식별하는 것은 HCI(human computer interaction)에 있어서 중요한 요소이다. 문서 이미지에서 텍스트를 식별하는 기술은 다수 제안되고 있으나, 실생활에서 촬영된 이미지에 포함된 문서는 촬영 각도나 문서가 놓여져 있는 형태에 따라 텍스트 식별에 어려움이 존재할 수 있다.

일반적으로 문서는 사각형의 형상을 가지지만, 예를 들어, 구부러져 있는 문서를 촬영하거나, 사용자가 문서를 정면 이외의 방향에서 촬영하는 경우, 2차원 이미지 상에서 문서의 외곽선이 곡선 형태로 나타날 수 있다.

따라서, 2차원 이미지에 포함된 문서의 외곽선이 곡선 형태인 경우, 이를 직선 형태로 변환함으로써, 전체적으로 문서가 사각형의 형상을 갖도록 문서 이미지를 변환하는 방안이 요구된다.

일 실시예에 따른 문서 이미지의 변환 장치 및 방법은 문서 이미지에 포함된 문서의 형상을 사각형의 형상으로 변환하는 것을 기술적 과제로 한다.

또한, 일 실시예에 따른 문서 이미지의 변환 장치 및 방법은 문서 이미지에서 텍스트 식별이 정확하게 이루어지게 하는 것을 기술적 과제로 한다.

본 개시의 일 실시예에 따른 문서 이미지의 변환 방법은, 원본 이미지로부터 문서 영역을 포함하는 제 1 문서 이미지를 획득하는 단계; 상기 제 1 문서 이미지 내 상기 문서 영역의 제 1 외곽선을 조절하는 단계; 상기 조절된 제 1 외곽선에서 특징 포인트들을 결정하는 단계; 상기 특징 포인트들에 대응하는 타겟 포인트들을 사각형의 제 2 외곽선에서 결정하는 단계; 및 상기 특징 포인트들의 좌표와 상기 특징 포인트들에 대응하는 타겟 포인트들의 좌표 사이의 관계를 기초로, 상기 문서 영역의 픽셀들의 위치를 변경하여 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 획득하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따른 문서 이미지의 변환 장치는, 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하되, 상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여, 원본 이미지로부터 문서 영역을 포함하는 제 1 문서 이미지를 획득하고, 상기 제 1 문서 이미지 내 상기 문서 영역의 제 1 외곽선을 조절하고, 상기 조절된 제 1 외곽선에서 특징 포인트들을 결정하고, 상기 특징 포인트들에 대응하는 타겟 포인트들을 사각형의 제 2 외곽선에서 결정하고, 상기 특징 포인트들의 좌표와 상기 특징 포인트들에 대응하는 타겟 포인트들의 좌표 사이의 관계를 기초로, 상기 문서 영역의 픽셀들의 위치를 변경하여 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 획득할 수 있다.

일 실시예에 따른 문서 이미지의 변환 장치 및 방법은 문서 이미지에 포함된 문서의 형상을 사각형의 형상으로 변환할 수 있다.

또한, 일 실시예에 따른 문서 이미지의 변환 장치 및 방법은 문서 이미지에서 텍스트 식별이 정확하게 이루어지게 할 수 있다.

다만, 일 실시예에 따른 문서 이미지의 변환 장치 및 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 문서 이미지 변환 장치의 구성을 도시하는 블록도이다.
도 2는 일 실시예에 따른 문서 이미지 변환 방법을 설명하기 위한 순서도이다.
도 3은 문서를 객체로 포함하는 원본 이미지를 도시하는 예시적인 도면이다.
도 4는 원본 이미지로부터 제 1 문서 이미지를 획득하는데 이용되는 객체 검출 네트워크의 아키텍처를 도시하는 도면이다.
도 5는 객체 검출 네트워크에 기반하여 획득한 제 1 문서 이미지를 도시하는 예시적인 도면이다.
도 6은 제 1 문서 이미지 내 문서 영역의 제 1 외곽선을 제 1 알고리즘에 따라 조절한 모습을 도시하는 도면이다.
도 7은 제 1 문서 이미지 내 문서 영역의 제 1 외곽선을 제 2 알고리즘에 따라 조절한 모습을 도시하는 도면이다.
도 8은 제 1 알고리즘에 따라 조절된 제 1 외곽선에서 결정되는 특징 포인트들과 사각형의 제 2 외곽선에서 결정되는 타겟 포인트들을 도시하는 도면이다.
도 9는 제 2 알고리즘에 따라 조절된 제 1 외곽선에서 결정되는 특징 포인트들과 사각형의 제 2 외곽선에서 결정되는 타겟 포인트들을 도시하는 도면이다.
도 10은 도 8에 도시된 특징 포인트들과 타겟 포인트들에 기반하여 결정되는 블록들을 도시하는 도면이다.
도 11은 도 9에 도시된 특징 포인트들과 타겟 포인트들에 기반하여 결정되는 블록들을 도시하는 도면이다.
도 12는 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 도시하는 예시적인 도면이다.
도 13은 일 실시예에 따른 문서 이미지 변환 장치가 적용될 수 있는 클라이언트 장치 및 서버 장치를 도시하는 도면이다.

본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.

또한, 본 명세서에서 '제 1 문서 이미지'는 변환 전의 문서 영역을 포함하는 이미지를 의미하고, '제 2 문서 이미지'는 변환 후의 사각형 형상의 문서 영역을 포함하는 이미지를 의미한다.

이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.

도 1은 일 실시예에 따른 문서 이미지 변환 장치(100)의 구성을 도시하는 블록도이다.

도 1을 참조하면, 문서 이미지 변환 장치(이하, '변환 장치')(100)는 메모리(110), 이미지 추출부(130) 및 이미지 처리부(150)를 포함한다.

이미지 추출부(130) 및 이미지 처리부(150)는 적어도 하나의 프로세서로 구현될 수 있다. 이미지 추출부(130) 및 이미지 처리부(150)는 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 후술하는 실시예들에 따라 제 1 문서 이미지를 제 2 문서 이미지로 변환할 수 있다.

메모리(110)는 제 1 문서 이미지의 변환을 위한 적어도 하나의 인스트럭션을 저장하며, 문서를 객체로 포함하는 원본 이미지에서 제 1 문서 이미지를 추출할 수 있는 객체 검출 네트워크를 더 저장할 수도 있다.

이미지 추출부(130)는 메모리(110)에 저장된 객체 검출 네트워크를 이용하여 원본 이미지로부터 제 1 문서 이미지를 획득한다. 제 1 문서 이미지는 원본 이미지 내 관심 영역을 포함하는 이미지이다. 원본 이미지는 문서를 촬영함으로써 생성된 이미지로서, jpg, bmp 등의 다양한 종류의 파일 형식을 가질 수 있다.

원본 이미지는 문서뿐만 아니라, 다양한 종류의 객체(예를 들어, 사용자의 손, 키보드, 휴대폰 등)를 포함할 수 있으므로, 이미지 추출부(130)는 원본 이미지에서 관심 영역인 문서 영역만을 포함하는 제 1 문서 이미지를 추출하는 것이다.

구현예에 따라, 이미지 추출부(130)는 원본 이미지로부터 제 1 문서 이미지를 추출하는 대신, 원본 이미지 자체를 제 1 문서 이미지로 결정하고, 원본 이미지가 이미지 처리부(150)에 의해 처리되도록 할 수도 있다. 이는, 원본 이미지에 문서 이외의 객체가 포함되어 있지 않은 경우에 유용할 수 있다.

이미지 처리부(150)는 제 1 문서 이미지에 포함되어 있는 문서 영역의 형상을 사각형의 형상으로 변환함으로써 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 획득한다.

구체적으로, 이미지 처리부(150)는 이미지 워핑(warping)을 통해 제 1 문서 이미지로부터 제 2 문서 이미지를 획득할 수 있다. 이미지 워핑을 위해 제 1 문서 이미지 내 문서 영역과 사각형의 문서 영역 사이의 호모그래피(homography)가 이용될 수 있다. 호모그래피는, 제 1 문서 이미지의 문서 영역에 포함된 픽셀들의 좌표를 사각형의 문서 영역 내의 타겟 좌표로 변경하는데 이용된다. 여기서, 좌표는, 제 1 문서 이미지 또는 원본 이미지 상에서의 픽셀의 위치를 나타낼 수 있다.

일 실시예에 따른 변환 장치(100)는 외곽선의 적어도 일부가 곡선 형태를 갖는 문서 영역을 포함하는 제 1 문서 이미지를, 사각형의 문서 영역을 포함하는 제 2 문서 이미지로 변환함으로써, 제 2 문서 이미지로부터 보다 정확하게 텍스트 인식을 할 수 있다.

이하에서는, 도 2 이하를 참조하여, 변환 장치(100)에 의한 문서 이미지 변환 방법에 대해 상세히 설명한다.

도 2는 일 실시예에 따른 문서 이미지 변환 방법을 설명하기 위한 순서도이다.

S210 단계에서, 변환 장치(100)는 원본 이미지로부터 제 1 문서 이미지를 획득한다. 제 1 문서 이미지는 원본 이미지에 포함된 객체들 중 관심 객체, 즉, 문서를 포함한다.

도 3은 문서(310)를 객체로 포함하는 원본 이미지(300)를 도시하는 예시적인 도면으로서, 도 3을 참조하면, 원본 이미지(300)는 문서(310) 외에도 컴퓨터, 전화기 등의 다양한 객체를 포함할 수 있다. 변환 장치(100)는 컴퓨터, 전화기를 제외하고, 문서(310)를 포함하는 제 1 문서 이미지를 획득한다.

변환 장치(100)는 제 1 문서 이미지를 획득하는데 있어, 원본 이미지에서 문서를 식별하고, 식별된 문서를 포함하는 제 1 문서 이미지를 추출하는 객체 검출 네트워크를 이용할 수 있다. 객체 검출 네트워크는 원본 이미지를 입력받으면, 원본 이미지에 포함된 문서의 위치를 확인하고, 확인된 문서를 포함하는 제 1 문서 이미지를 출력할 수 있다.

일 실시예에서, 객체 검출 네트워크는 원본 이미지를 입력받아 마스크 이미지를 출력하는 MASK R-CNN, 및 마스크 이미지를 입력받아 마스크 이미지의 크기보다 큰 크기의 제 1 문서 이미지를 출력하는 적어도 하나의 디컨볼루션 레이어(deconvolution layer)를 포함할 수 있다.

도 4는 원본 이미지로부터 제 1 문서 이미지를 획득하는데 이용되는 객체 검출 네트워크(400)의 아키텍처를 도시하는 도면이다.

도 4에 도시된 바와 같이, 객체 검출 네트워크(400)는 MASK R-CNN(405)을 포함한다. MASK R-CNN(405)은 관심 객체(즉, 문서)를 포함하는 마스크 이미지(410)를 출력하는 딥 뉴럴 네트워크로서, "MASK R-CNN, Kaiming He Georgia Gkioxari Piotr Dollar Ross Girshick, Facebook AI Research (FAIR)"에서 참조될 수 있다.

MASK R-CNN(405)으로부터 출력되는 마스크 이미지(410)의 크기는 28x28로서, 그 크기가 매우 작기 때문에, 객체 검출 네트워크(400)는 마스크 이미지(410)를 디컨볼루션(de-convolution) 처리하여, 마스크 이미지(410)의 크기를 증가시킬 수 있다. 일 실시예에서, 객체 검출 네트워크(400)는 마스크 이미지(410)를 순차적으로 디컨볼루션처리하여 마스크 이미지(410)의 크기보다 큰 크기를 갖는 제 1 문서 이미지(430)를 출력하는 복수(예를 들어, 2개)의 디컨볼루션 레이어를 포함할 수 있다. 디컨볼루션 레이어의 디컨볼루션 연산은 당업자에게 자명한 사항이므로 상세한 설명은 생략한다.

원본 이미지에 복수의 문서가 포함되어 있는 경우, MASK R-CNN(405)은 각각의 문서를 포함하는 복수의 마스크 이미지(410)를 출력한다. 따라서, 객체 검출 네트워크(400)는 복수의 마스크 이미지(410)에 대응하는 복수의 제 1 문서 이미지(430)를 출력할 수 있다. 객체 검출 네트워크를 통해 복수의 제 1 문서 이미지(430)가 출력되면, 변환 장치(100)는 후술하는 실시예들에 따라 복수의 제 1 문서 이미지(430) 각각을 변환하여 복수의 제 2 문서 이미지를 획득할 수 있다.

다시 도 2를 참조하면, S220 단계에서, 변환 장치(100)는 제 1 문서 이미지 내 문서 영역의 제 1 외곽선을 조절한다. MASK R-CNN에 기반하여 획득된 제 1 문서 이미지 내 문서 영역의 외곽선이 매끈하지 않고 울퉁불퉁한 경우가 많기 때문에, 후술하는 특징 포인트를 추출하는데 적합하지 않을 수 있다. 따라서, 변환 장치(100)는 특징 포인트의 추출에 용이하도록 제 1 외곽선의 형태를 조절하는 것이다.

변환 장치(100)는 제 1 알고리즘 또는 제 2 알고리즘에 따라 제 1 외곽선을 조절할 수 있는데, 제 1 알고리즘은 제 1 외곽선의 내부 영역의 넓이가 증가하는 방향으로 제 1 외곽선을 조절하며, 제 2 알고리즘은 제 1 외곽선에 포함되는 꼭지점들의 개수를 감소시키는 방향으로 제 1 외곽선을 조절한다. 여기서, 꼭지점이란, 제 1 외곽선을 구성하는 포인트들 중 곡률이 일정 값 이상인 포인트를 나타낸다.

일 실시예에서, 제 1 알고리즘은 convexHull 알고리즘을 포함하고, 제 2 알고리즘은 approxPolyDP 알고리즘을 포함할 수 있다. convexHull 알고리즘 및 approxPolyDP 알고리즘은 이미지 처리 분야에서 공지된 기술이므로, 상세한 설명은 생략한다.

도 5는 객체 검출 네트워크에 기반하여 획득한 제 1 문서 이미지(500)를 도시하는 예시적인 도면이다. 또한, 도 6은 제 1 문서 이미지(500) 내 문서 영역(540)의 제 1 외곽선(550)을 제 1 알고리즘에 따라 조절한 모습을 도시하는 도면이고, 도 7은 제 1 문서 이미지(500) 내 문서 영역(540)의 제 1 외곽선(550)을 제 2 알고리즘에 따라 조절한 모습을 도시하는 도면이다.

도 5에 도시된 바와 같이, 제 1 문서 이미지(500)의 문서 영역(540)의 제 1 외곽선(550)이 매끄럽지 않을 때, 변환 장치(100)는 제 1 알고리즘에 따라 제 1 외곽선(550)을 도 6에 도시된 것과 같이 조절하거나, 제 2 알고리즘에 따라 제 1 외곽선(550)을 도 7에 도시된 것과 같이 조절할 수 있다.

도 6에 도시된 바와 같이, 제 1 알고리즘에 따라 조절된 제 1 외곽선(650)의 내부 영역의 넓이는, 조절 전의 제 1 외곽선(550)의 내부 영역의 넓이보다 크다. 따라서, 제 1 외곽선(550)의 조절을 위한 제 1 알고리즘의 적용을 일정 기준 하에서 제한할 필요가 있다.

이를 위해, 변환 장치(100)는, 제 1 알고리즘에 따라 제 1 외곽선(550)을 조절한 후의 내부 영역의 넓이가 조절 전의 제 1 외곽선(550)의 내부 영역의 넓이보다 소정 비율 이상 큰 경우에는 제 1 외곽선(550)을 제 2 알고리즘에 따라 조절하고, 제 1 알고리즘에 따라 제 1 외곽선(550)을 조절한 후의 내부 영역의 넓이가 조절 전의 제 1 외곽선(550)의 내부 영역의 넓이보다 소정 비율 이상 크지 않은 경우에는 제 1 알고리즘에 따라 제 1 외곽선(550)을 조절할 수 있다. 이는, 제 1 외곽선(550)의 내부 영역의 넓이가 커짐에 따라 문서 이외의 다른 객체가 제 1 외곽선(550) 내부로 포함되는 것을 방지하기 위함이다.

도 2를 참조하면, S230 단계에서, 변환 장치(100)는 제 1 알고리즘 또는 제 2 알고리즘에 따라 조절된 제 1 외곽선에서 특징 포인트들을 결정하고, S240 단계에서, 사각형의 제 2 외곽선에서 특징 포인트들에 대응하는 타겟 포인트들을 결정한다.

S250 단계에서, 변환 장치(100)는 제 1 알고리즘 또는 제 2 알고리즘에 따라 조절된 제 1 외곽선의 내부 영역(즉, 문서 영역)에 포함된 픽셀들의 좌표들을 변경함으로써 사각형 형상의 문서 영역을 포함하는 제 2 이미지를 획득할 수 있다. 구체적으로, 변환 장치(100)는 특징 포인트들과 그에 대응하는 타겟 포인트들의 좌표들에 기반하여, 제 1 알고리즘 또는 제 2 알고리즘에 따라 조절된 제 1 외곽선의 내부 영역에 해당하는 문서 영역과 사각형의 제 2 외곽선의 내부 영역 사이의 호모그래피를 결정할 수 있다. 그리고, 변환 장치(100)는 제 1 외곽선의 내부 영역에 포함된 픽셀들의 좌표들을 호모그래피에 따라 변경함으로써 사각형 형상의 문서 영역을 포함하는 제 2 이미지를 획득할 수 있다.

이하에서는, 도 8 내지 도 11을 참조하여, 특징 포인트들과 타겟 포인트들을 결정하는 방법, 및 문서 영역에 포함되는 픽셀들의 좌표를 변경(즉, 이미지 워핑(warping))하는 방법에 대해 설명한다. 도 8 내지 도 11과 관련된 설명에서 특별한 기재가 없는 한 '제 1 외곽선'은 제 1 알고리즘 또는 제 2 알고리즘에 따라 조절된 제 1 외곽선(650 또는 750)을 나타낸다.

도 8은 제 1 외곽선(650)에서 결정되는 특징 포인트들과 사각형의 제 2 외곽선(850)에서 결정되는 타겟 포인트들을 도시하는 도면이다.

특징 포인트들은 코너 특징 포인트들(610a 내지 610d)과 중간 특징 포인트들(620a 내지 620h)을 포함한다. 제 1 외곽선(650)은 코너 특징 포인트들을 서로 연결하는 a 선분(652a) 내지 d 선분(652d)로 이루어진다.

변환 장치(100)는 소정의 코너 검출 알고리즘을 통해 제 1 외곽선(650)에서 복수의 코너 특징 포인트(610a 내지 610d)를 결정한다. 일 예로, 변환 장치(100)는 제 1 외곽선(650)에서 4개의 코너 특징 포인트(610a 내지 610d)를 결정할 수 있다. 코너 검출 알고리즘으로서, Harris Corner Detection 알고리즘, Shi-Tomasi Corner Detection 알고리즘 등이 이용될 수 있다.

제 1 외곽선(650)에서 코너 특징 포인트들(610a 내지 610d)이 결정되면, 변환 장치(100)는 코너 특징 포인트들(610a 내지 610d) 사이에 위치하는 중간 특징 포인트들(620a 내지 620h)을 결정한다.

변환 장치(100)는 어느 한 코너 특징 포인트와 다른 하나의 코너 특징 포인트 사이에 동일 간격만큼 서로 이격되어 있는 중간 특징 포인트들을 결정할 수 있다. 예를 들어, 도 8을 참조하면, 변환 장치(100)는 a 코너 특징 포인트(610a)와 a 중간 특징 포인트(620a) 사이의 간격, a 중간 특징 포인트(620a)와 b 중간 특징 포인트(620b) 사이의 간격 및 b 중간 특징 포인트(620b)와 b 코너 특징 포인트(610b) 사이의 간격이 모두 동일하도록, a 중간 특징 포인트(620a)와 b 중간 특징 포인트(620b)의 위치를 결정할 수 있다. 마찬가지로, 변환 장치(100)는 b 코너 특징 포인트(610b)와 c 중간 특징 포인트(620c) 사이의 간격, c 중간 특징 포인트(620c)와 d 중간 특징 포인트(620d) 사이의 간격 및 d 중간 특징 포인트(620d)와 c 코너 특징 포인트(610c) 사이의 간격이 모두 동일하도록, c 중간 특징 포인트(620c)와 d 중간 특징 포인트(620d)의 위치를 결정할 수 있다.

도 8은 어느 한 코너 특징 포인트와 다른 하나의 코너 특징 포인트 사이에 2개의 중간 특징 포인트가 위치하는 것으로 도시하고 있으나, 이는 하나의 예시일 뿐이고, 하나의 선분 상에서 결정되는 중간 특징 포인트의 개수는 다양하게 변경될 수 있다. 다만, 제 1 외곽선(650) 중 어느 한 선분(예를 들어, a 선분(652a))에서 결정되는 중간 특징 포인트의 개수와 어느 한 선분에 대향하는 다른 선분(예를 들어, c 선분(652c))에서 결정되는 중간 특징 포인트의 개수는 서로 동일할 수 있다. 이는, 제 1 외곽선(650)의 내부 영역을 복수의 블록으로 구분하기 위함인데, 이에 대해서는 도 10, 도 11을 참조하여 후술한다.

변환 장치(100)는 제 1 외곽선(650)에서 특징 포인트들이 결정되면, 사각형의 제 2 외곽선(850)에서 특징 포인트들에 대응하는 타겟 포인트들을 결정한다. 특징 포인트들과 마찬가지로, 타겟 포인트들 역시 코너 타겟 포인트들(810a 내지 810d)과 중간 타겟 포인트들(820a 내지 820h)을 포함한다.

변환 장치(100)는 코너 타겟 포인트들(810a 내지 810d)의 좌표를 미리 저장된 값으로 결정할 수 있다. 코너 타겟 포인트들(810a 내지 810d)의 좌표에 따라 제 2 외곽선(850)의 내부 영역의 넓이, 및 a 선분(852a) 내지 d 선분(852d)이 결정된다.

또한, 변환 장치(100)는 제 1 외곽선(650)에서 결정된 중간 특징 포인트들(620a 내지 620h)의 위치를 고려하여 제 2 외곽선(850)에서 중간 타겟 포인트들(820a 내지 820h)을 결정한다. 구체적으로, 변환 장치(100)는 제 1 외곽선(650)에서 결정된 특징 포인트들 사이의 간격에 따라 제 2 외곽선(850)에서 타겟 포인트들을 결정할 수 있다.

예를 들어, 도 8에서, a 코너 특징 포인트(610a)와 a 중간 특징 포인트(620a) 사이의 간격, a 중간 특징 포인트(620a)와 b 중간 특징 포인트(620b) 사이의 간격 및 b 중간 특징 포인트(620b)와 b 코너 특징 포인트(610b) 사이의 간격이 모두 a 선분(652a)의 길이의 1/3일 때, a 코너 타겟 포인트(810a)와 a 중간 타겟 포인트(820a) 사이의 간격, a 중간 타겟 포인트(820a)와 b 중간 타겟 포인트(820b) 사이의 간격 및 b 중간 타겟 포인트(820b)와 b 코너 타겟 포인트(810b) 사이의 간격이 모두 a 선분(852a)의 길이의 1/3이 되도록, a 중간 타겟 포인트(820a)와 b 중간 타겟 포인트(820b)의 위치를 a 선분(852a) 상에서 결정할 수 있다.

도 8은 제 1 알고리즘에 따라 조절된 제 1 외곽선(650)을 대상으로 하여 특징 포인트들을 결정하는 방법에 대해 도시하고 있는데, 제 2 알고리즘에 따라 조절된 제 1 외곽선(750)을 대상으로 하여 도 8과 관련된 실시예에 따라 특징 포인트들을 결정할 수 있음은 당업자에게 자명할 것이다.

도 9는 제 1 외곽선(750)에서 결정되는 특징 포인트들과 사각형의 제 2 외곽선(950)에서 결정되는 타겟 포인트들을 도시하는 도면이다.

특징 포인트들은 코너 특징 포인트들(710a 내지 710d)과 중간 특징 포인트들(720a 내지 720r)을 포함한다.

변환 장치(100)는 소정의 코너 검출 알고리즘을 통해 제 1 외곽선(750)에서 복수의 코너 특징 포인트(710a 내지 710d)를 결정한다. 일 예로, 변환 장치(100)는 제 1 외곽선(750)에서 4개의 코너 특징 포인트(710a 내지 710d)를 결정할 수 있다. 코너 검출 알고리즘으로서, Harris Corner Detection 알고리즘, Shi-Tomasi Corner Detection 알고리즘 등이 이용될 수 있다.

제 1 외곽선(750)에서 코너 특징 포인트들(710a 내지 710d)이 결정되면, 변환 장치(100)는 코너 특징 포인트들(710a 내지 710d) 사이에 위치하는 중간 특징 포인트들(720a 내지 720r)을 결정한다.

변환 장치(100)는 제 1 외곽선(750)을 구성하는 선분(752a 내지 752d)의 곡률을 고려하여 중간 특징 포인트들(720a 내지 720r)을 결정할 수 있다. 일 예로, 변환 장치(100)는 제 1 외곽선(750)을 구성하는 선분(752a 내지 752d)에서 곡률이 큰 부분에는 다수의 중간 특징 포인트들이 위치하게 하고, 곡률이 작은 부분에서 소수의 중간 특징 포인트들이 위치하게 한다.

도 9를 참조하면, 제 1 외곽선(750)의 a 선분(752a)에서 곡률이 큰 부분에 b 중간 특징 포인트(720b), c 중간 특징 포인트(720c) 및 d 중간 특징 포인트(720d)들이 서로 밀집되어 위치하고, 곡률이 작은 부분에는 a 중간 특징 포인트(720a) 및 e 중간 특징 포인트(720e)가 다른 중간 특징 포인트와 멀리 이격되어 위치하고 있는 것을 알 수 있다. 즉, 제 1 외곽선(750)을 구성하는 선분에서, 곡률이 큰 부분에 배치되는 중간 특징 포인트들의 개수는 곡률이 작은 부분에 배치되는 포인트들의 개수보다 클 수 있다.

변환 장치(100)는 제 1 외곽선(750)을 구성하는 선분의 곡률에 따라, 특징 포인트들 사이의 이격 간격을 조절할 수 있다. 즉, 선분의 곡률이 클수록 작은 이격 간격을 따라 중간 특징 포인트들을 배치하고, 선분의 곡률이 작을수록 큰 이격 간격을 따라 중간 특징 포인트들을 배치할 수 있다.

도 8과 관련하여 설명한 것과 같이, 제 1 외곽선(750) 중 어느 한 선분(예를 들어, 752a)에서 결정되는 중간 특징 포인트의 개수와 어느 한 선분에 대향하는 다른 선분(예를 들어, 752c)에서 결정되는 중간 특징 포인트의 개수는 서로 동일할 수 있다.

변환 장치(100)는 제 1 외곽선(750)에서 특징 포인트들이 결정되면, 사각형의 제 2 외곽선(950)에서 특징 포인트들에 대응하는 타겟 포인트들을 결정한다. 특징 포인트들과 마찬가지로, 타겟 포인트들 역시 코너 타겟 포인트들(910a 내지 910d)과 중간 타겟 포인트들(920a 내지 920r)을 포함한다.

변환 장치(100)는 코너 타겟 포인트들(910a 내지 910d)의 좌표를 미리 저장된 값으로 결정할 수 있다.

또한, 변환 장치(100)는 제 1 외곽선(750)에서 결정된 중간 특징 포인트들(720a 내지 720r)의 위치를 고려하여 제 2 외곽선(950)에서 중간 타겟 포인트들(920a 내지 920r)을 결정한다. 구체적으로, 변환 장치(100)는 제 1 외곽선(750)에서 결정된 특징 포인트들 사이의 간격에 따라 제 2 외곽선(950)에서 타겟 포인트들을 결정할 수 있다.

예를 들어, 도 9를 참조하면, 변환 장치(100)는 a 선분(752a)상에 위치하는 특징 포인트들(710a, 720a, 720b, 720c, 720d, 720e, 710b) 사이의 간격이 a 선분(752a)의 길이 대비 어느 정도의 비율을 갖는지를 확인하고, 확인된 비율에 따라 제 2 외곽선(950)의 a 선분(952a) 상에서 a 중간 타겟 포인트(920a) 내지 e 중간 타겟 포인트(920e)의 위치를 결정할 수 있다. 제 1 외곽선(750)의 a 코너 특징 포인트(710a)와 a 중간 특징 포인트(720a) 사이의 간격이 a 선분(752a)의 길이의 1/4이라면, 변환 장치(100)는 제 2 외곽선(950)의 a 선분(952a)의 길이의 1/4이 되는 지점에 a 중간 타겟 포인트(920a)를 위치시킬 수 있다.

도 9는 제 2 알고리즘에 따라 조절된 제 1 외곽선(750)을 대상으로 하여 특징 포인트들을 결정하는 방법에 대해 도시하고 있는데, 제 1 알고리즘에 따라 조절된 제 1 외곽선(650)을 대상으로 하여 도 9와 관련된 실시예에 따라 특징 포인트들을 결정할 수 있음은 당업자에게 자명할 것이다.

구현예에 따라서는, 제 1 외곽선(650, 750)에 좁은 간격으로 많은 수의 특징 포인트들을 배치하고, 그에 맞춰 제 2 외곽선(850, 950)에 동일한 수의 타겟 포인트들을 배치할 수도 있다. 제 1 외곽선(650, 750)과 제 2 외곽선(850, 950)에 다수의 포인트들을 배치함에 따라 후술하는 도 10 및 도 11 등의 방법으로 이미지 워핑을 하는 경우, 왜곡을 최소화할 수 있다. 일 예로, 변환 장치(100)는 제 1 외곽선(650, 750)을 구성하는 각 선분의 길이에 기반하여, 각 선분에 배치될 특징 포인트들의 개수를 결정하고, 결정된 개수에 따라 특징 포인트들을 제 1 외곽선(650, 750)의 각 선분에 배치할 수 있다. 각 선분에 배치될 특징 포인트들의 개수는 각 선분의 길이에 비례할 수 있다. 다른 예로, 변환 장치(100)는 미리 결정된 간격에 따라 특징 포인트들을 제 1 외곽선(650, 750)에 배치할 수도 있다.

도 10은 도 8에 도시된 특징 포인트들과 타겟 포인트들에 기반하여 결정되는 블록들을 도시하는 도면이다.

일반적으로, 호모그래피를 산출하는데 4개의 매칭 포인트들이 이용되므로, 변환 장치(100)는 제 1 외곽선(650) 상에서 결정되는 코너 특징 포인트들(610a 내지 610d)과 제 2 외곽선(850) 상에서 결정되는 코너 타겟 포인트들(810a 내지 810d)에 기반하여 호모그래피를 산출하고, 문서 영역에 포함된 픽셀들의 위치를 호모그래피에 따라 변경할 수 있다. 다만, 이 경우, 문서 영역에 포함된 모든 픽셀들의 위치가 동일한 호모그래피에 따라 변경되므로, 코너 특징 포인트들(610a 내지 610d)과 멀리 이격되어 있는 픽셀들의 경우에는 정확한 위치 변환이 이루어지지 않을 수 있다. 따라서, 일 실시예에서, 변환 장치(100)는 제 1 문서 이미지 내 문서 영역에 포함되는 픽셀들의 좌표들을 블록 기반으로 변경함으로써, 정확한 위치 변환이 이루어지게 한다.

이를 위해, 변환 장치(100)는 제 1 외곽선(650) 및 제 2 외곽선(850)에서 결정된 특징 포인트들과 타겟 포인트들을 연결하여, 제 1 외곽선(650)의 내부 영역과 제 2 외곽선(850)의 내부 영역을 복수의 블록으로 구분한다. 그리고, 변환 장치(100)는 블록 단위로 호모그래피를 산출한 후, 각 블록에 포함된 픽셀들의 좌표를 해당 블록과 관련하여 산출된 호모그래피에 따라 변경할 수 있다.

즉, B1 블록의 코너 포인트들(a 코너 특징 포인트(610a), a 중간 특징 포인트(620a), h 중간 특징 포인트(620h), 및 a 중간 특징 포인트(620a)와 f 중간 특징 포인트(620f)를 연결하는 선분과 h 중간 특징 포인트(620h)와 c 중간 특징 포인트(620c)를 연결하는 선분 사이의 교점)의 좌표들과 B1' 블록의 코너 포인트들(a 코너 타겟 포인트(810a), a 중간 타겟 포인트(820a), h 중간 타겟 포인트(820h), 및 a 중간 타겟 포인트(820a)와 f 중간 타겟 포인트(820f)를 연결하는 선분과 h 중간 타겟 포인트(820h)와 c 중간 타겟 포인트(820c)를 연결하는 선분 사이의 교점)의 좌표들에 기초하여 B1 블록과 B1' 블록 사이의 호모그래피를 산출하고, B1 블록에 포함된 픽셀들의 좌표를 호모그래피에 따라 변경할 수 있다. 마찬가지로, B2 블록 내지 B9 블록에 포함된 픽셀들의 좌표를 각 블록에 대해 산출된 호모그래피로 변경함으로써, 제 1 외곽선(650) 내에 포함된 픽셀들이 사각형의 제 2 외곽선(850) 내부에 위치하도록 할 수 있다.

도 11은 도 9에 도시된 특징 포인트들과 타겟 포인트들에 기반하여 결정되는 블록들을 도시하는 도면이다.

변환 장치(100)는, 제 1 외곽선(750) 및 제 2 외곽선(950)의 내부에서 블록들을 결정할 때, 제 1 외곽선(750) 및 제 2 외곽선(950)의 내부 영역의 중앙 부분에는 큰 크기의 블록을 결정하고, 제 1 외곽선(750) 및 제 2 외곽선(950)의 내부 영역의 가장자리 부분에는 작은 크기의 블록을 결정할 수도 있다. 이는, 블록의 개수가 많아짐에 따라 산출되어야 할 호모그래피의 개수가 많아지는 것을 방지하기 위함이다. 제 1 외곽선(750) 및 제 2 외곽선(950)의 내부 영역의 가장자리 부분에 위치하는 블록들은 제 1 외곽선(750) 및 제 2 외곽선(950)의 일부를 블록의 선분으로 가질 수 있다.

도 11에 도시된 바와 같이, B1 블록, B2 블록 등은 특징 포인트들을 연결함으로써 결정될 수 있는 최소 크기의 블록에 해당하지만, B3 블록은 특징 포인트들의 연결에 따라 B3 블록보다 작은 크기의 블록들로 나누어질 수 있다. 다시 말하면, B3 블록은 d 중간 특징 포인트(720d)와 k 중간 특징 포인트(720k)를 연결함으로써, 2개의 블록으로 나누어질 수 있다. 또는, B3 블록은 d 중간 특징 포인트(720d)와 k 중간 특징 포인트(720k)를 연결하고, p 중간 특징 포인트(720p)와 h 중간 특징 포인트(720h)를 연결함으로써, 4개의 블록으로 나누어질 수 있다.

변환 장치(100)는 블록 단위로 호모그래피를 산출한 후, 각 블록에 포함된 픽셀들의 좌표를 해당 블록과 관련하여 산출된 호모그래피로 변경할 수 있다.

즉, B1 블록의 코너 포인트들(a 코너 특징 포인트(710a), a 중간 특징 포인트(720a), r 중간 특징 포인트(720r), 및 a 중간 특징 포인트(720a)와 n 중간 특징 포인트(720n)를 연결하는 선분과 r 중간 특징 포인트(720r)와 f 중간 특징 포인트(720f)를 연결하는 선분 사이의 교점)의 좌표들과 B1' 블록의 코너 포인트들(a 코너 타겟 포인트(910a), a 중간 타겟 포인트(920a), r 중간 타겟 포인트(920r), 및 a 중간 타겟 포인트(920a)와 n 중간 타겟 포인트(920n)를 연결하는 선분과 r 중간 타겟 포인트(920r)와 f 중간 타겟 포인트(920f)를 연결하는 선분 사이의 교점)의 좌표들에 기초하여 B1 블록과 B1' 블록 사이의 호모그래피를 산출하고, B1 블록에 포함된 픽셀들의 좌표를 호모그래피에 따라 변경할 수 있다. 마찬가지로, B2 블록, B3 블록 등에 포함된 픽셀들의 좌표를 각 블록에 대해 산출된 호모그래피로 변경함으로써, 제 1 외곽선(750) 내에 포함된 픽셀들이 사각형의 제 2 외곽선(950) 내부에 위치하도록 할 수 있다.

한편, 도 10과 관련하여 설명한 블록 결정 방법이 제 1 알고리즘에 따라 조절된 제 1 외곽선(650)을 대상으로 수행되는 것으로 설명하였으나, 제 2 알고리즘에 따라 조절된 제 1 외곽선(750)을 대상으로 도 10과 관련하여 설명한 블록 결정 방법이 수행될 수 있다. 마찬가지로, 도 11과 관련하여 설명한 블록 결정 방법이 제 2 알고리즘에 따라 조절된 제 1 외곽선(750)을 대상으로 수행되는 것으로 설명하였으나, 제 1 알고리즘에 따라 조절된 제 1 외곽선(650)을 대상으로 도 11과 관련하여 설명한 블록 결정 방법이 수행될 수 있다.

도 12는 사각형의 문서 영역(1210)을 포함하는 제 2 문서 이미지(1200)를 도시하는 예시적인 도면이다.

앞서 설명한, 제 1 문서 이미지(500) 내 문서 영역(540)의 워핑을 통해 사각형의 문서 영역(1240)을 포함하는 제 2 문서 이미지(1200)가 획득될 수 있으며, 변환 장치(100)는 제 2 문서 이미지(1200)에서 텍스트를 식별함으로써, 보다 정확한 텍스트 식별 결과가 도출될 수 있다.

도 13은 일 실시예에 따른 변환 장치(100)가 적용될 수 있는 서버 장치(1310) 및 클라이언트 장치(1320)를 도시하는 도면이다.

변환 장치(100)는 서버 장치(1310)로 구현되거나 또는 클라이언트 장치(1320)로 구현될 수 있다.

변환 장치(100)가 서버 장치(1310)로 구현되는 경우, 서버 장치(1310)는 클라이언트 장치(1320)로부터 원본 이미지를 수신하고, 원본 이미지에 기초하여 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 생성할 수 있다. 일 예에서, 서버 장치(1310)는 네트워크를 통해 외부 장치로부터 원본 이미지를 수신하거나, 내부 저장 장치에 저장된 원본 이미지로부터 제 2 문서 이미지를 생성할 수 있다. 서버 장치(1310) 제 2 문서 이미지를 클라이언트 장치(1320)로 전송할 수 있다.

변환 장치(100)가 클라이언트 장치(1320)로 구현되는 경우, 클라이언트 장치(1320)는 클라이언트 장치(1320)의 카메라에 의해 촬영된 이미지 또는 클라이언트 장치(1320)에 저장된 이미지로부터 제 2 문서 이미지를 생성할 수 있다. 클라이언트 장치(1320)는 제 2 문서 이미지의 생성을 위한 프로그램을 서버 장치(1310)로부터 다운받아 설치할 수 있다.

도 13은 클라이언트 장치(1320)로서, 데스크탑 PC를 도시하고 있으나, 이에 한정되는 것은 아니고 클라이언트 장치(1320)는 노트북, 스마트폰, 태블릿 PC, AI(artificial intelligence) 로봇, AI 스피커, 웨어러블 기기 등을 포함할 수 있다.

한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.

매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

이상, 본 개시의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.

100: 문서 이미지 변환 장치
110: 메모리
130: 이미지 추출부
150: 이미지 처리부

Claims (13)

1. 원본 이미지로부터 문서 영역을 포함하는 제 1 문서 이미지를 획득하는 단계;
   상기 제 1 문서 이미지 내 상기 문서 영역의 제 1 외곽선의 내부 영역 넓이가 증가하는 방향으로 상기 제 1 외곽선을 조절하는 제 1 알고리즘, 및 상기 제 1 외곽선에 포함되는 꼭지점들의 개수를 감소시키는 방향으로 상기 제 1 외곽선을 조절하는 제 2 알고리즘 중 하나를 이용하여 상기 제 1 외곽선을 조절하는 단계;
   상기 조절된 제 1 외곽선에서 특징 포인트들을 결정하는 단계;
   상기 특징 포인트들에 대응하는 타겟 포인트들을 사각형의 제 2 외곽선에서 결정하는 단계; 및
   상기 특징 포인트들의 좌표와 상기 특징 포인트들에 대응하는 타겟 포인트들의 좌표 사이의 관계를 기초로, 상기 문서 영역의 픽셀들의 위치를 변경하여 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 획득하는 단계를 포함하되,
   상기 제 1 알고리즘에 따라 상기 제 1 외곽선을 조절한 후의 내부 영역 넓이와, 조절 전의 제 1 외곽선의 내부 영역 넓이의 비교 결과에 따라 상기 제 1 알고리즘 또는 상기 제 2 알고리즘을 이용하여 상기 제 1 외곽선이 조절되는, 문서 이미지의 변환 방법.
   
2. 제1항에 있어서,
   상기 제 1 문서 이미지를 획득하는 단계는,
   상기 원본 이미지를 입력받는 객체 검출 네트워크로부터 상기 제 1 문서 이미지를 획득하는 단계를 포함하고,
   상기 객체 검출 네트워크는,
   상기 원본 이미지를 입력받아 마스크 이미지를 출력하는 MASK R-CNN, 및 상기 마스크 이미지를 입력받아 상기 마스크 이미지의 크기보다 큰 크기의 상기 제 1 문서 이미지를 출력하는 적어도 하나의 디컨볼루션 레이어(deconvolution layer)를 포함하는, 문서 이미지의 변환 방법.
   
3. 삭제
4. 제1항에 있어서,
   상기 문서 영역의 제 1 외곽선을 조절하는 단계는,
   상기 제 1 알고리즘에 따라 상기 제 1 외곽선을 조절한 후의 내부 영역 넓이가 조절 전의 제 1 외곽선의 내부 영역 넓이보다 미리 결정된 비율 이상 큰 경우, 상기 제 2 알고리즘을 이용하여 상기 제 1 외곽선을 조절하는 단계를 포함하는, 문서 이미지의 변환 방법.
   
5. 제1항에 있어서,
   상기 특징 포인트들은,
   코너 특징 포인트들 및 코너 특징 포인트들 사이에 위치하는 중간 특징 포인트들을 포함하되,
   상기 중간 특징 포인트들을 결정하는 단계는,
   소정의 코너 검출 알고리즘에 기초하여 상기 코너 특징 포인트들을 결정하고, 상기 결정된 코너 특징 포인트들 사이에서 상기 중간 특징 포인트들을 결정하는 단계를 포함하는, 문서 이미지의 변환 방법.
   
6. 제5항에 있어서,
   상기 중간 특징 포인트들을 결정하는 단계는,
   상기 조절된 제 1 외곽선 중 상기 코너 특징 포인트들을 연결하는 선분 상에서 동일 간격으로 배치되는 상기 중간 특징 포인트들을 결정하는 단계를 포함하는, 문서 이미지의 변환 방법.
   
7. 제5항에 있어서,
   상기 중간 특징 포인트들을 결정하는 단계는,
   상기 조절된 제 1 외곽선 중 상기 코너 특징 포인트들을 연결하는 선분 상에서, 곡률이 작은 부분보다 곡률이 큰 부분에 더 많은 개수의 중간 특징 포인트들을 결정하는 단계를 포함하는, 문서 이미지의 변환 방법.
   
8. 제1항에 있어서,
   상기 제 2 문서 이미지를 획득하는 단계는,
   상기 문서 영역의 픽셀들의 좌표를, 상기 특징 포인트들을 연결함으로써 결정되는 블록 단위로 변환하는 단계를 포함하는, 문서 이미지의 변환 방법.
   
9. 제8항에 있어서,
   상기 문서 영역의 중앙 부분에 위치하는 블록의 크기는, 상기 문서 영역의 가장자리에 위치하는 블록의 크기보다 큰, 문서 이미지의 변환 방법.
   
10. 제1항에 있어서,
    상기 타겟 포인트들의 좌표는, 상기 특징 포인트들 사이의 간격에 기반하여 결정되는, 문서 이미지의 변환 방법.
    
11. 하드웨어와 결합하여 제1항의 문서 이미지의 변환 방법을 실행하기 위하여 컴퓨터로 읽을 수 있는 매체에 저장된 프로그램.
    
12. 적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여,
    원본 이미지로부터 문서 영역을 포함하는 제 1 문서 이미지를 획득하고,
    상기 제 1 문서 이미지 내 상기 문서 영역의 제 1 외곽선의 내부 영역 넓이가 증가하는 방향으로 상기 제 1 외곽선을 조절하는 제 1 알고리즘, 및 상기 제 1 외곽선에 포함되는 꼭지점들의 개수를 감소시키는 방향으로 상기 제 1 외곽선을 조절하는 제 2 알고리즘 중 하나를 이용하여 상기 제 1 외곽선을 조절하고,
    상기 조절된 제 1 외곽선에서 특징 포인트들을 결정하고,
    상기 특징 포인트들에 대응하는 타겟 포인트들을 사각형의 제 2 외곽선에서 결정하고,
    상기 특징 포인트들의 좌표와 상기 특징 포인트들에 대응하는 타겟 포인트들의 좌표 사이의 관계를 기초로, 상기 문서 영역의 픽셀들의 위치를 변경하여 사각형의 문서 영역을 포함하는 제 2 문서 이미지를 획득하며,
    상기 제 1 알고리즘에 따라 상기 제 1 외곽선을 조절한 후의 내부 영역 넓이와 조절 전의 제 1 외곽선의 내부 영역 넓이의 비교 결과에 따라 상기 제 1 알고리즘 또는 상기 제 2 알고리즘에 따라 상기 제 1 외곽선이 조절되는, 문서 이미지의 변환 장치.
    
13. 제12항에 있어서,
    상기 문서 이미지의 변환 장치는,
    상기 제 2 문서 이미지 내 사각형의 문서 영역에서 텍스트를 인식하는, 문서 이미지의 변환 장치.

Images