KR100761641B1 - 왜곡 보정 장치 및 방법 - Google Patents

왜곡 보정 장치 및 방법 Download PDF

Info

Publication number
KR100761641B1
KR100761641B1 KR1020010016969A KR20010016969A KR100761641B1 KR 100761641 B1 KR100761641 B1 KR 100761641B1 KR 1020010016969 A KR1020010016969 A KR 1020010016969A KR 20010016969 A KR20010016969 A KR 20010016969A KR 100761641 B1 KR100761641 B1 KR 100761641B1
Authority
KR
South Korea
Prior art keywords
outline
distortion
paper
dimensional
contour
Prior art date
Application number
KR1020010016969A
Other languages
English (en)
Other versions
KR20020018936A (ko
Inventor
후지모도가쯔히또
오하라아쯔꼬
나오이사또시
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20020018936A publication Critical patent/KR20020018936A/ko
Application granted granted Critical
Publication of KR100761641B1 publication Critical patent/KR100761641B1/ko

Links

Images

Classifications

    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

3차원 왜곡이 존재하는 장부에 대하여 위로부터 촬상한 한 장의 OHR 화상에 기초하여 3차원 왜곡을 보정하는 것을 가능하게 하는 3차원 왜곡 보정 방식을 제공한다.
본 발명의 왜곡 보정 방식은 윤곽 추출 수단(101)과 곡면 추정 수단(102)과 왜곡 보정 수단(103)을 구비하도록 구성한다. 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여 윤곽 추출 수단(101)이 입력 화상으로부터 종이의 윤곽을 추출하고, 곡면 추정 수단(102)이 2차원 윤곽을 단서로 종이의 3차원 곡면 모델을 추정하며, 왜곡 보정 수단(103)이 추정된 3차원 곡면 모델에 기초하여 왜곡을 보정한 화상을 출력한다.
윤곽 추출 수단, 곡면 추정 수단, 왜곡 보정 수단, 중앙부 안 접힘 자국 곡면 추정 수단, 중앙부 바깥 접힘 자국 곡면 추정 수단, 윤곽 후보 화소, 선형 필터

Description

왜곡 보정 장치 및 방법{APPARATUS AND METHOD FOR CORRECTING DISTORTION OF INPUT IMAGE}
도 1은 본 발명의 원리 구성을 도시한 도면.
도 2는 본 발명의 제1 실시예의 구성을 도시한 도면.
도 3은 윤곽 추출 수단에 있어서의 윤곽다움의 평가 방법을 설명하는 도면.
도 4는 윤곽선, 윤곽 꼭대기점, 및 샘플 윤곽점을 도시한 도면.
도 5는 중앙부 안 접힘 곡면 모델 (상부)에 있어서의 카메라 중심과 2차원 윤곽 및 3차원 윤곽의 위치 관계를 나타낸 도면.
도 6은 선형 쿤스(Coons) 곡면을 도시한 도면.
도 7은 3차원 곡면에 대한 곡선 좌표계를 도시한 도면.
도 8은 중앙부 안 접힘 자국 왜곡 보정 결과를 도시한 도면.
도 9는 본 발명의 제2 실시예의 구성을 도시한 도면.
도 10은 윤곽선, 윤곽 꼭대기점, 및 샘플 윤곽점을 도시한 도면.
도 11은 중앙부 바깥 접힘 자국 곡면 모델 (상부)에 있어서의 카메라 중심과 2차원 윤곽 및 3차원 윤곽의 위치 관계를 나타낸 도면.
도 12는 중앙부 바깥 접힘 자국 곡면 모델 (전체)을 도시한 도면.
도 13은 중앙부 바깥 접힘 자국 왜곡 보정 결과를 도시한 도면.
도 14는 곡면을 추정하지 않고서 왜곡을 보정하는 경우의 구성을 도시한 도면.
도 15는 도 14에 도시한 방식을 설명하는 도면.
도 16은 정보 처리 장치를 도시한 도면.
도 17은 소프트웨어 프로그램 등의 제공 방법을 설명하는 도면.
도 18은 비접촉형 화상 입력 장치(OHR)를 도시한 도면.
도 19는 중앙부 안 접힘 자국 OHR 화상의 예를 도시한 도면.
도 20은 중앙부 바깥 접힘 자국 OHR 화상의 예를 도시한 도면.
도 21은 주변 부유 왜곡 OHR 화상의 예를 도시한 도면.
도 22는 주변 침하 왜곡 OHR 화상의 예를 도시한 도면.
도 23은 책자 왜곡 OHR 화상의 예를 도시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
101, 201, 901, 1401 : 윤곽 추출 수단
102 : 곡면 추정 수단
103, 203, 903, 1402 : 왜곡 보정 수단
202 : 중앙부 안 접힘 자국 곡면 추정 수단
301 : 윤곽 후보 화소
302 : 선형 필터
902 : 중앙부 바깥 접힘 자국 곡면 추정 수단
1501 : 윤곽
1502 : 상측 윤곽
1503 : 중앙부 접힘 자국 윤곽
1504 : 하측 윤곽
1505 : 윤곽의 곡선부
1601 : CPU
1602 : 메모리
1603 : 입력 장치
1604 : 출력 장치
1605 : 외부 기억 장치
1606 : 매체 구동 장치
1607 : 네트워크 접속 장치
1608 : 버스
1609 : 가반 기록 매체
1701 : 정보 처리 장치
1702 : 네트워크
1703 : 서버
본 발명은 입력 화상에 존재하는 왜곡의 보정 방식에 관한 것이다.
최근, 비접촉형 화상 입력 장치(OHR : Over Head Reader)를 이용한 장부 인식 기술의 향상이 금융 OCR(Optical Character Reader) 상담에 있어서 중요해졌다.
비접촉형 화상입력 장치(OHR)란 라인 또는 영역 CCD를 촬상 소자로서 구비하는 도 18에 도시한 바와 같은 스탠드형 화상 입력 장치이다. 종래의 이미지 스캐너 등의 접촉형 화상 입력 장치와 비교하여, OHR을 이용함으로써, 사용자가 화상 입력을 행하면서 장부에의 기입을 행할 수 있고, 장부의 표를 보면서 화상 입력을 행할 수 있는 등의 작업의 쾌적함을 만끽할 수 있다.
그러나, OHR로 취득한 장부의 화상 (이하, OHR 화상이라 함)에는 스캐너로 취득한 화상 (이하, 스캐너 화상이라 함)과 비교하여, 농담의 불균일, 그림자, 화상의 왜곡 등의 화상의 열화가 나타난다. OHR 화상의 주된 왜곡으로서는 3차원 왜곡이 있다.
OHR 화상에서 발생하는 3차원 왜곡을 분류하면, 주로 다음의 3종류로 분류된다.
1) 중앙부 접힘 자국이 있는 왜곡 : 중앙부에 접힘 자국이 있는 장부에 발생하는 왜곡. 접힘 자국이 안으로 들어가 있느냐, 바깥으로 튀어나와 있느냐에 따라, 중앙부에 안으로 접힌 자국이 있는 왜곡 (이하, 중앙부 안 접힘 자국 왜곡이라 함), 중앙부에 바깥으로 접힌 자국이 있는 왜곡 (이하, 중앙부 바깥 접힘 자국 왜곡이라 함)의 2종류가 있다. 도 19에 중앙부 안 접힘 자국 왜곡 OHR 화상의 예를, 도 20에 중앙부 바깥 접힘 자국 왜곡 OHR 화상의 예를 도시한다.
2) 주변 왜곡 : 장부 주변에 발생하는 왜곡. 주변이 가라앉아 있느냐, 부유 하여 있느냐에 따라, 주변 침하 왜곡, 주변 부유 왜곡의 2종류가 있다. 도 21에 주변 침하 왜곡의 OHR 화상의 예를, 도 22에 주변 부유 왜곡 OHR 화상의 예를 도시한다.
3) 책자 왜곡 : 여러 장을 철한 책자에 발생하는 왜곡. 도 23에 책자 왜곡의 예를 도시한다.
OHR을 금융 OCR 상담에서 이용하기 위해서는 이들 화상의 3차원 왜곡을 극복하는 왜곡 보정 방식의 개발이 중요한 과제가 되었다.
한편, 3차원 왜곡이 존재하는 OHR 화상에 대하여, 고정밀도의 문서 인식을 실현하기 위한 왜곡 보정 방식이 일본 특개평10-150532호에 제안되어 있다. 상기 방식은 여러 장의 종이를 일점에서 멈춘 문서에 발생하는 일점 멈춤 왜곡 보정 방식을 대상으로 하고 있다. 또한, 3차원 왜곡을 계측하기 위해서 (3차원 형상을 구함) 상측 및 옆으로부터의 복수의 시점에서 촬상한 복수매의 화상을 이용하고 있다.
그러나, 3차원 왜곡을 보정하는 종래 방식은 3차원 형상을 추정하기 위해서 복수의 카메라를 이용하고 있기 때문에, 실현 비용이 비싸고, 넓은 설치 스페이스가 필요해진다.
본 발명의 과제는 위로부터의 시점에서만 촬상한 화상 한 장을 이용함으로써, 실현 비용 및 설치 스페이스를 저감하는 것이다.
상술한 과제를 해결하기 위해서, 본 발명에서는 위에서 촬상한 한 장의 화상 으로부터 취득할 수 있는 2차원 윤곽을 단서로 하여, 또한 종이가 직사각형 형상이라고 하는 제약을 이용하여 3차원 곡면 모델을 추정하여, 얻어진 3차원 곡면 모델로부터 화상의 3차원 왜곡을 보정하도록 하였다.
본 발명의 일 형태에 따르면, 윤곽 추출 수단과 곡면 추정 수단과 왜곡 보정 수단을 구비하도록 구성한다. 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 윤곽 추출 수단이 입력 화상으로부터 종이의 윤곽을 추출하고, 곡면 추정 수단이 2차원 윤곽을 단서로 종이의 3차원 곡면 모델을 추정하며, 왜곡 보정 수단이 추정된 3차원 곡면 모델에 기초하여 왜곡을 보정한 화상을 출력한다.
이러한 구성을 취함으로써, 한 장의 화상으로부터 얻어지는 2차원 윤곽의 왜곡을 단서로 입력 화상을 보정하기 때문에, 종래 기술과 비교하여 카메라가 한 대면 되어, 실현 비용 및 설치 스페이스를 삭감할 수가 있게 된다.
이하, 본 발명의 실시 형태를 도면을 참조하여 설명한다.
도 1은 본 발명의 원리 구성을 나타내는 도이다. 윤곽 추출 수단(101), 곡면 추정 수단(102), 왜곡 보정 수단(103)을 구비한다. 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 윤곽 추출 수단(101)이 종이의 윤곽을 추출하고, 곡면 추정 수단(102)이 윤곽의 왜곡을 단서로 종이의 3차원 모델을 추정하며, 왜곡 보정 수단(103)이 종이의 3차원 곡면 모델에 기초하여 왜곡을 보정한 화상을 출력한다.
장부의 OHR 화상에는 접힘 자국 등에 의한 그림자가 발생하지만, 동적인 그 림자·농담의 불균일 때문에 안정된 그림자 정보의 취득은 기대할 수 없다. 따라서, 그림자의 변화를 왜곡 보정의 단서로 이용하는 것은 좋지 않다. 따라서, 도 1에 도시한 본 발명에서는 비교적 안정적으로 취득할 수 있는 장부의 윤곽을 단서로 하여 왜곡을 보정하는 것으로 하였다. 본 방식은 장부가 직사각형인 것에 주목하여, 장부의 윤곽의 변형을 단서로 수평·수직 방향의 화상 신축을 행하는 수법으로서, 정역 성형(shape from contour)의 일종이라고도 말할 수 있다. 본 방식의 특징은 곡면 추정 수단(102)이 한 장의 왜곡 화상으로부터 2차원 윤곽의 왜곡을 단서로 3차원 곡면 모델을 추정하고 있는 점이다. 카메라가 한 대면 되기 때문에 실현 비용을 대폭적으로 삭감할 수 있고, 그림자의 변화와 비교하여 안정되게 추출할 수 있는 장부 윤곽의 왜곡을 이용하고 있기 때문에 정밀도가 좋은 왜곡 보정을 실현할 수 있는 효과가 있다.
도 2에, 본 발명의 제1 실시예의 구성을 나타낸다. 도 2에 도시하는 왜곡 보정 방식은 중앙부에 접힘 자국이 있는 장부에 발생하는 왜곡 중, 중앙부 안 접힘 자국 왜곡을 보정하는 보정 방식이다. 중앙부 안 접힘 자국 왜곡 OHR 화상은 도 19에 도시한 바와 같이 장부의 상측 윤곽, 하측 윤곽, 중앙부 접힘 자국 윤곽은 대 등의 기준면에 접한 선분으로서 인식할 수 있다. 또한, 장부를 놓는 방식에 따라서는 좌측 윤곽, 우측 윤곽, 중앙부 접힘 자국 윤곽이 선분으로 인식되는 경우가 있으나 이것은 화상을 90도 회전하면 상술한 것과 마찬가지가 된다. 따라서, 이하, 상측 윤곽, 중앙부 접힘 자국 윤곽, 하측 윤곽을 선분으로서 인식할 수 있는 경우를 예로 하여 중앙부 안 접힘 자국 왜곡을 보정하는 제1 실시예에 대해서 보다 상세히 설명한다.
도 2에 있어서, 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 윤곽 추출 수단(201)이 종이의 윤곽을 추출하고, 중앙부 안 접힘 자국 곡면 추정 수단(202)이 중앙부 안 접힘 자국 장부의 윤곽의 왜곡을 단서로 3차원 곡면 모델을 추정하며, 왜곡 보정 수단(203)이 종이의 3차원 곡면 모델에 기초하여 왜곡을 보정한 화상을 출력한다.
윤곽 추출 수단(201)은 우선, 소벨의 엣지 추출 등을 이용하여 엣지를 추출함으로써 얻은 윤곽을 윤곽 후보 화소로 하여, 각 윤곽 후보 화소가 윤곽을 구성하는지 아닌지를 판단한다. 또한, 윤곽 추출 수단(201)은 엣지 추출에서 추출되는 종이의 윤곽뿐만 아니라, 종이에 부여된 직선 (수평, 수직), 문자열 (수평, 수직)까지도 추출하여, 이들 정보를 이용하도록 구성하여도 좋다.
추출된 윤곽 후보 화소의 집합 중 대상 화소가 예를 들면, 좌측 윤곽을 구성하는가 아닌가를 판단하는 경우에 대하여 설명한다 (도 3 참조). 어떤 화소가 좌측 윤곽을 구성하는 경우, 그 화소의 좌측은 배경색 등의 낮은 화소치를 갖는 화소열이고, 우측은 장부이므로 백색 등의 높은 화소치를 갖는 화소열로 된다. 따라서, 예를 들면, (-1, -1, -1, 0, 1, 1, 1)이라는 선형 필터(302)와 윤곽 후보 화소(301)의 적화(sum of product)를 구하면, 적화치는 커진다. 따라서, 어떤 일정한 임계치를 정하여 놓고 임계치보다 큰 적화치를 갖는 윤곽 후보 화소를 윤곽 화소로서 결정하면 된다. 이와 같이 각 윤곽 후보 화소에 대하여 적화 연산을 행하여 구한 적화치와 임계치를 비교하여 좌측 윤곽을 결정한다.
마찬가지로, 우측 윤곽의 경우에는 좌측 윤곽의 역의 구성을 갖는 선형 필터 (1, 1, 1, 0, -1, -1, -1)를 이용하면 되며, 상·하측 윤곽도 마찬가지로 결정할 수가 있다.
또한, 선형 필터는 0을 중심으로 좌우 또는 상하 대상으로 되는 임의의 고유 벡터이면 된다. 즉, 임의의 정수 k, -k가 0을 중심으로 N개씩 배열되는 (k, k, …, k, 0, -k, …, -k, -k) 바와 같은 고유 벡터이면 된다.
상술한 바와 같이 하여 윤곽 추출 수단(201)은 윤곽 이치 화상을 출력한다. 또한, 윤곽 추출 수단(201)은 후처리에서 필요해지는 윤곽 꼭대기점, 샘플 윤곽점을 추출한다. 또한, 윤곽 추출 수단(201)에서 얻는 것은 2차원 화상중의 윤곽에 관한 것이기 때문에, 3차원 중의 장부 윤곽과 구별하기 위해서, 이하에서는 앞에 「2차원」을 붙여서, 각각 2차원 윤곽선, 2차원 윤곽 꼭대기점, 2차원 샘플 윤곽점이라고 부르기로 한다. 도 4는 윤곽 추출 수단(201)에서 얻어지는 2차원 윤곽선, 2차원 윤곽 꼭대기점, 2차원 샘플 윤곽점의 2차원 좌표에 기초한 표현을 나타내고 있다.
2차원 윤곽 꼭대기점은 도 4에 도시하는 상측 윤곽 AB 또는 하측 윤곽 EF의 중앙부 부근의 윤곽점에서부터 좌우 방향으로 윤곽선을 따라 급격히 기울기가 변화하는 윤곽점 (좌상(左上) 윤곽 꼭대기점 A, 우상(右上) 윤곽 꼭대기점 B, 좌하(左下) 윤곽 꼭대기점 E, 우하(右下) 윤곽 꼭대기점 F)을 탐색하여 구한다. 또한, 윤곽 꼭대기점 A, B, E, F를 선분으로 연결하여 얻어진 구형 ABFE와의 위치 관계에 의해, 중앙부 접힘 자국 윤곽 (장부 중앙부)의 좌우 꼭대기점을 추출한다. 중앙부 안 접힘 자국 장부의 경우에는 직사각형에 가장 들어간 좌우 윤곽점을 중앙부 안 접힘 자국 윤곽 꼭대기점으로 한다 (절선 좌측 꼭대기점 C 및 절선 우측 꼭대기점 D).
또한, 추출한 좌우의 윤곽선을 구분하여 선형 근사하기 위해서 이용되는 2차원 샘플 윤곽점은 도 4에 도시하는 Y축 방향으로 미리 정한 등간격마다 선택함으로써 구해진다.
이하, 2차원 좌표에 기초하는 각 점, 선분, 윤곽선 등의 표현 등은 도 4에 따르기로 한다.
다음으로, 중앙부 안 접힘 자국 곡면 추정 수단(202)에 관해서 설명한다. 중앙부 안 접힘 자국 곡면 추정 수단(202)은 중앙부 안 접힘 자국 장부에 대하여, 얻어진 2차원 샘플 윤곽점과 입력 화상의 시점인 카메라 중심 (스탠드형 OHR를 이용하기 때문에, 카메라 중심은 미리 결정되어 있음)을 연결하는 선분과 2개의 2차원 윤곽 꼭대기점을 연결하는 선분을 지나 기준면에 수직인 평면의 교점이라고 가정하여, 3차원 샘플 윤곽점의 좌표를 구한다. 그리고, 구한 3차원 샘플 윤곽점을 선분으로 연결한 절선을 윤곽선으로 하여, 윤곽선의 선형 보간 근사에 의해 얻은 곡면을, 왜곡된 장부곡면의 3차원 곡면 모델로서 추정한다.
중앙부 안 접힘 자국 곡면은 중앙부 접힘 자국 윤곽 (장부 중앙부의 기준면에 접해 있는 선분)을 경계로 상하 2개의 곡면으로 분할할 수 있다. 이하, 상부의 곡면에 한정하여, 중앙부 안 접힘 자국 곡면 추정 수단(202)에 있어서의 처리를 상세히 설명한다. 하부의 곡면에 대하여도 상하 대상으로 마찬가지 논의를 전개할 수 있다.
도 5에, 카메라 중심과 2차원 윤곽 및 3차원 윤곽의 위치 관계를 나타낸다. 도 5에 도시한 각 기호의 의미는 표 1과 같다. 투시 변환에 의해 2차원 샘플 윤곽점과 관계되어진 3차원 윤곽선 상의 점을 3차원 샘플 윤곽점이라 한다. 카메라 중심 및 3차원 샘플 윤곽점의 좌표를 도 5와 같이 표현하기로 한다.
<표 1>
x : 3차원 벡터
X : 2차원 벡터
x, y, z : 3차원 좌표치
X, Y : 2차원 좌표치
L : 좌측을 의미
R : 우측을 의미
i : 좌측 윤곽점의 첨자 : i=0, …, m
j : 우측 윤곽점의 첨자 : j=0, …, n
좌측 윤곽선 상의 3차원 샘플 윤곽점의 좌표를 구할 경우, 다음과 같이 구해진다.
2차원 좌측 윤곽선 상의 2차원 샘플 윤곽점에 대응하는 3차원 좌측 윤곽선 상의 3차원 샘플 윤곽점은 카메라 중심과 2차원 샘플 윤곽점을 연결하는 선분과 좌측 윤곽 꼭대기점 A, C를 연결하는 선분 AC을 지나 xy 평면에 수직인 평면의 교점으로서 구해진다.
선분 AC를 포함하는 xy 평면에 수직인 평면의 방정식은 수학식 1과 같이 표현된다.
<수 1>
점 A: (X L 0 , Y L 0 ), 점 B: (X L m , Y L m )에 의해,
Figure 112001007293275-pat00001
또한, 3차원 샘플 윤곽점이 카메라 중심과 2차원 샘플 윤곽점을 연결하는 선분을 (1-t) : t로 내분하는 점이라고 했을 경우, 수학식 2가 성립한다.
<수 2>
Figure 112001007293275-pat00002
단, 3차원 샘플 윤곽점: x L i = (x L i , y L i , z L i )
카메라 중심 K: (x K , y K , z K )
2차원 샘플 윤곽점: X L i = (X L i , Y L i )
수학식 1, 수학식 2를 t에 관해서 풀면, 수학식 3이 된다.
<수 3>
Figure 112001007293275-pat00003
수학식 3으로 구해지는 t를 대입함으로써, 각 3차원 샘플 윤곽점의 좌표를 구할 수 있다.
우측 윤곽선 상의 3차원 샘플 윤곽점의 좌표도 마찬가지로 하여 구할 수 있다.
이상과 같이 구한 3차원 샘플 윤곽점을 선분으로 연결한 절선을 좌측 윤곽선 및 우측 윤곽선으로 하고, 이들 윤곽선을 선형 보간 근사에 의해 얻은 곡면을 왜곡된 장부 곡면의 3차원 곡면 모델로 한다.
선형 보간 근사로서, 예를 들면 선형 쿤스(Coons) 보간 등의 보간 수법을 사용할 수 있다. 선형 쿤스(Coons) 보간이란, 4개의 3차원 윤곽이 있는 경우에, 그 사이를 선분으로 보간하는 것이다. 선형 쿤스(Coons) 보간을 행하기 위한 선형 쿤스(Coons) 곡면이란, 곡선 좌표계(u, w)에 의해 정의되는 파라메트릭한 공간 곡면의 일종이다. 곡면이 4개의 곡면 P(u, 0), P(u, 1), P(0, w), P(1, w)에 의해 둘러싸여 있는 것으로 하여, 곡면 상의 점의 좌표를 Q(u, w)로 하면, 윤곽 곡선 식을 이용하여 수학식 4와 같이 표현할 수 있다 (도 6). 이에 따라 얻어지는 곡면을 3차원 곡면 모델로 한다.
<수 4>
Figure 112001007293275-pat00004
또한, 중앙부 안 접힘 자국 곡면 추정 수단(202)에 있어서의 3차원 윤곽 모델을 구하는 수법으로서, 3차원 윤곽선의 점을 이산적으로 3차원 샘플 윤곽점으로서 취하여, 3차원 샘플점의 높이 또는 그것에 대응하는 량을 모델 파라미터로 하는 수법을 설명하였으나, 3차원 윤곽 모델을 구하는 수법은 이 수법에 한정되는 것이 아니다. 즉, 예를 들면, 3차원 윤곽 모델로서, 스플라인 곡선, 베지에 곡선 등의 파라미터 구비 곡선 모델을 이용하여도 좋다.
스플라인 곡선, 베지에 곡선은 파라메트릭한 공간 곡선이다. 일반적으로, 파라메트릭한 공간 곡선은 수학식 5로 표현된다.
<수 5>
Figure 112001007293275-pat00005
단, ζ는 파라미터, (x, y, z)는 3차원 공간 곡선 상의 점의 좌표이다.
수학식 5로부터, 스플라인 곡선은 수학식 6으로 표현된다.
<수 6>
Figure 112001007293275-pat00006
마찬가지로, 수학식 5로부터 베지에 곡선은 수학식 7로 표현된다.
<수 7>
Figure 112001007293275-pat00007
이와 같이, 스플라인 곡선, 베지에 곡선은 파라미터 t에 의해서 표현할 수 있기 때문에, 이 파라미터 t를 모델 파라미터로 하여 3차원 윤곽 모델을 구하면 된다.
또한, 중앙부 접힘 자국 곡면 추정부 (또는 곡면 추정부)는 윤곽선을 이용할 뿐만 아니라, 종이에 부여된 직선 (수직, 수평), 문자열 (수직, 수평) 등의 정보를 이용하여, 마찬가지의 방법으로 3차원 곡면을 추정하도록 구성할 수도 있다.
다음으로, 왜곡 보정 수단(203)에 관해서 설명한다. 왜곡 보정 수단(203)은 보정 후 화상의 각 화소에 대응한 입력 화상 중의 위치를, 윤곽선을 좌표 축으로 하는 곡선 좌표계를 이용하여 구하고, 입력 화상 중의 대응 화소의 값 (이치, 계조, 컬러)을 보정 후 화상의 대상 화소치로서 설정함으로써, 상하 윤곽의 길이를 폭으로, 좌우 윤곽의 길이를 높이로 하는 보정 후 화상을 얻는다.
중앙부 접힘 자국 장부의 경우, 상측 윤곽선 및 하측 윤곽선은 윤곽 꼭대기점을 연결하는 선분으로서 얻어진다. 좌측 윤곽선 및 우측 윤곽선은 중앙부 안 접힘 자국 곡면 추정 수단(202)에 의해 얻어진 3차원 샘플 윤곽점을 연결하는 절선으로서 얻어진다. 또한, 중앙부 접힘 자국 윤곽은 중앙부 안 접힘 자국 곡면 추정 수단(202)에 의해 얻어진 중앙부 접힘 자국부의 3차원 샘플 윤곽점을 연결하는 선분으로서 얻어진다.
중앙부 접힘 자국 장부를 중앙부 접힘 자국 윤곽을 경계로 상부와 하부로 분할하여, 각각에 대한 3차원 곡면 상에 곡선 좌표계를 설정하여 왜곡 보정을 행한다. 이하, 상부의 3차원 곡면에 대한 왜곡 보정 방법을 설명한다. 하부에 대하여도 마찬가지의 처리를 실행하면 된다.
원점을 좌상(左上) 윤곽 꼭대기점 (도 4에 도시한 점 A)으로 하고, X축을 상측 윤곽선으로 하며, Y축을 좌측 윤곽선으로 한다. 보정 후 화상의 폭 W(width)는, 상측 윤곽선 및 중앙부 접힘 자국 윤곽선의 길이의 평균치를 이용하고, 보정 후 화상의 높이 H(hight)는 좌측 윤곽선 및 우측 윤곽선의 길이의 평균을 이용한다. 즉 수학식 8, 수학식 9와 같이 된다.
<수 8>
Figure 112001007293275-pat00008
Figure 112001007293275-pat00009
좌측 윤곽선 상의 Y 좌표에 메모리를 부여하기 위하여 0 이상 높이 H 이하의 정수 값을 취하는 Y에 대하여 좌측 윤곽선 상의 점 L(Y)을 대응시켜, 3차원 좌표를 구한다. L(Y)의 3차원 좌표를 구하기 위해서는 좌측 윤곽선을 나타내는 3차원 샘플 윤곽점을 연결한 절선 상을 좌상(左上) 윤곽 꼭대기점에서부터 따라가 길이 (H/Ac) 만큼씩 진행시킴으로써 행한다.
마찬가지로 하여 0 이상 높이 H 이하의 정수 값을 취하는 Y에 대하여 우측 윤곽선 상의 점 R(Y)을 대응시켜, 3차원 좌표를 구한다. R(Y)의 3차원 좌표를 구하기 위해서는 우측 윤곽선을 나타내는 3차원 윤곽점을 연결한 절선 상을 우상(右上) 윤곽 꼭대기점에서부터 따라가 길이 (H/Bd) 만큼씩 진행시킴으로써 행한다. L(Y)과 R(Y)에 의해 곡선 좌표계를 표현하고 있다고 생각할 수 있다 (도 7).
이와 같이 곡선 좌표계를 정의한 후, 왜곡 보정 후의 화상의 2차원 좌표 (X, Y)에 대응한 화소의 농도 G(X, Y) (0≤X≤W, 0≤Y≤H)를 구한다.
보정 후 2차원 좌표 (X, Y)에 대응하는 점은 3차원 곡면 상의 곡선 좌표에 의한 2차원 좌표 (X, Y)를 갖는 점 P이다. 점 P의 3차원 좌표를 수학식 10으로 한다.
<수 9>
Figure 112001007293275-pat00010
점 P는 좌측 윤곽선 상의 점 L(Y)과 우측 윤곽선 상의 점 R(Y)을 선형 보간한 점으로서, 선분 L(Y) R(Y)을 X/W:(1-X/W)로 내분하는 점으로서 표현할 수가 있다. 따라서 수학식 11로부터 점 P의 3차원 좌표를 구할 수 있다.
<수 10>
Figure 112001007293275-pat00011
다음으로, 카메라 중심에서 점 P를 통하는 직선과 xy 기준면과의 교점의 2차원 좌표를 구한다. 투시 변환의 조건에 따라 수학식 12와 같이 된다.
<수 11>
Figure 112001007293275-pat00012
Figure 112001007293275-pat00056
는 카메라 중심과 점 P를 지나는 직선과 xy 기준면과의 교점.
따라서, 보정 후 화상의 농도 G(X, Y)는 수학식 13으로 구할 수 있다.
<수 12>
Figure 112001007293275-pat00013
단,
Figure 112001007293275-pat00057
는 보정전 화상의 2차원 좌표
Figure 112001007293275-pat00058
를 갖는 화소의 농도치를 나타낸다.
[x]는 가우스 기호로서 x를 넘지 않는 최대 정수를 나타낸다.
단, 상기 수학식 13에 있어서, 카메라 중심으로부터 점 P를 통하는 직선과 xy 기준면과의 교점의 2차원 좌표는 실수이기 때문에 소수 부분을 없애기 위하여 사사오입을 하고 있다.
이상에서 설명한 본 발명의 제1 실시예에 따라서 처리한 중앙부 안 접힘 자국 왜곡 OHR 화상의 보정 결과를 도 8에 도시한다. 도 8은 도 19를 보정한 것이다. 이와 같이 본 발명의 제1 실시예에 따르면, 중앙부 안 접힘 자국 왜곡 OHR 화상을 양호하게 보정할 수가 있다.
도 9는 본 발명의 제2 실시예를 나타내는 도면이다. 도 9에 도시하는 왜곡 보정 방식은 중앙부에 접힘 자국이 있는 장부에 발생하는 왜곡 중, 중앙부 바깥 접힘 자국 왜곡을 보정하는 보정 방식이다. 중앙부 바깥 접힘 자국 왜곡 OHR 화상은 도 20에 도시한 바와 같이 장부의 상측 윤곽 및 하측 윤곽은 대 등의 기준면에 접하고 있지만, 제1 실시예에서 대상으로 한 중앙부 안 접힘 자국 왜곡과는 달리, 중앙부의 중앙부 접힘 자국 윤곽은 기준면으로부터 바깥으로 접혀 있다. 또한, 장부를 놓는 방식에 따라서는 좌측 윤곽, 우측 윤곽, 중앙부 접힘 자국 윤곽이 선분으로서 인식되는 경우가 있으나, 이것은 화상을 90도 회전하면 상술한 것과 마찬가지로 된다. 따라서, 이하, 상측 윤곽, 중앙부 접힘 자국 윤곽, 하측 윤곽을 선분으로서 인식할 수 있는 경우를 예로 하여 중앙부 바깥 접힘 자국 왜곡을 보정하는 제2 실시예에 대하여 보다 상세히 설명한다.
도 9에 있어서, 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 윤곽 추출 수단(901)이 종이의 윤곽을 추출하고, 중앙부 바깥 접힘 자국 곡면 추정 수단(902)이 중앙부 바깥 접힘 자국 장부의 윤곽의 왜곡을 단서로 3차원 곡면 모델을 추정하여, 왜곡 보정 수단(903)이 종이의 3차원 곡면 모델에 기초하여 왜곡을 보정한 화상을 출력한다.
윤곽 추출 수단(901)은 제1 실시예에서 설명한 윤곽 추출 수단(201)과 거의 마찬가지로, 엣지 추출 후, 엣지 추출된 윤곽 후보 화소에 대하여 선형 필터와의 적화를 구하여, 구한 적화의 값으로부터 윤곽 화소를 결정한다. 또한, 2차원 윤곽선, 2차원 윤곽 꼭대기점, 2차원 샘플 윤곽점을 추출한다.
이 때, 중앙부 접힘 자국 윤곽 (장부 중앙부)의 좌우의 꼭대기점을 추출하기 위해서는 중앙부 안 접힘 자국 장부의 경우와는 달리, 직사각형에서 가장 멀리 떨어진 좌우의 윤곽점을 중앙부 바깥 접힘 자국 윤곽 꼭대기점으로서 추출한다.
윤곽 추출 수단(901)은 도 10에 도시한 바와 같은 2차원 좌표에 기초하는 2차원 윤곽선, 2차원 샘플 윤곽점, 2차원 윤곽 꼭대기점을 추출한다. 이하, 2차원 좌표에 기초하는 각점, 선분, 윤곽선 등의 표현 등은 도 10에 따르기로 한다.
다음으로, 중앙부 바깥 접힘 자국 곡면 추정 수단(902)에 관해서 설명한다. 중앙부 바깥 접힘 자국 곡면 추정 수단(902)에서는 상측 윤곽/하측 윤곽이 기준면으로부터의 높이 0, 중앙부의 중앙부 접힘 자국 윤곽의 높이를 알 수 없는 중앙부 바깥 접힘 자국 장부에 대하여, 중앙부의 중앙부 접힘 자국 윤곽의 꼭대기점의 높이에 상당하는 량을 2차원 모델 파라미터로 한다. 그리고, 모델 파라미터를 이용하여 3차원 윤곽 길이가 상하/좌우 각각 같다고 하는 제약을 부가한 에너지 함수를 표현한다. 이 에너지 함수를 최소화하는 최적화 문제로서, 최적인 모델 파라미터를 반복법 등의 방법에 의해 구한다. 구한 모델 파라미터로부터, 각 3차원 샘플 윤곽점의 좌표를 구하여, 3차원 곡면 모델을 추정한다. 이하, 모델 파라미터를 구하는 수법에 관해서 진술한다.
또한, 중앙부 바깥 접힘 자국 곡면은 중앙부 접힘 자국 윤곽 (장부 중앙부)을 경계로 상하 2개의 곡면으로 분할할 수 있기 때문에, 상부의 곡면에 한정하여 중앙부 바깥 접힘 자국 곡면 추정 수단(902)에 있어서의 처리를 상세히 설명한다.
도 11에, 카메라 중심과 2차원 윤곽 및 3차원 윤곽의 위치 관계를 나타낸다. 도 11에서의 각 기호의 의미는 표 1과 동일하다. 투시 변환에 의해 2차원 샘플 윤곽점과 관계되어진 3차원 윤곽선 상의 점을 3차원 샘플 윤곽점이라고 부른다. 카메라 중심 및 3차원 샘플 윤곽점의 좌표를 도 11과 같이 표현하는 것으로 한다.
좌측 윤곽선에 대하여 3차원 샘플 윤곽점이 카메라 중심 K와 2차원 샘플 윤곽점을 연결하는 선분을 내분하는 점이라고 했을 경우, 수학식 14가 성립한다.
<수 13>
3차원 샘플 윤곽점: x L i = (x L i , y L i , z L i )
카메라 중심 K: (x K , y K , z K )
2차원 샘플 윤곽점: X L i = (X L i , Y L i )
일 때, 3차원 샘플 윤곽점 X L i 이 카메라 중심 K와 2차원 샘플 윤곽점을 연결하는 선분 KX L i 을 (1-s i ):s i 로 내분하는 점이라고 하여,
Figure 112001007293275-pat00014
또한, 우측 윤곽선에 관해서 3차원 샘플 윤곽점이 카메라 중심 K와 2차원 샘플 윤곽점을 연결하는 선분을 내분하는 점이라고 했을 경우, 수학식 15가 성립한다.
<수 14>
3차원 샘플 윤곽점: x R j = (x R j , y R j , z R j )
카메라 중심 K: (x K , y K , z K )
2차원 샘플 윤곽점: X R j = (X R j , Y R j )
일 때, 3차원 샘플 윤곽점 x R j 이 카메라 중심 K와 2차원 샘플 윤곽점을 연결하는 선분 Kx R j 을 (1-t j ):t j 로 내분하는 점이라고 하여,
Figure 112001007293275-pat00015
중앙부 바깥 접힘 자국 윤곽의 3차원 좌측 꼭대기점 c의 좌표는 수학식 16으로, 3차원 우측 꼭대기점 d의 좌표는 수학식 17로 나타낼 수 있다. 이 2개의 점의 내분비가 각각 결정되면, 각 3차원 샘플 윤곽점은 카메라 중심 K와 2차원 샘플 윤곽점을 연결하는 선분 상에 있고, 또한 선분 Ac 또는 선분 Bd를 포함하여 xy 평면에 수직인 평면 상에 있다라는 조건으로부터, 각 3차원 샘플 윤곽점의 좌표가 구해지게 된다.
<수 15>
Figure 112001007293275-pat00016
Figure 112001007293275-pat00017
따라서, 3차원 좌측 꼭대기점 c, 3차원 우측 꼭대기점 d의 내분비가 장부 곡면의 3차원 모델의 2차원 모델 파라미터라고 생각할 수 있다.
좌측 윤곽선에 대하여, 상기한 3차원 샘플 윤곽점이 만족해야만 하는 조건으로부터, 대응하는 내분비를 모델 파라미터를 이용하여 수학식 18과 같이 구할 수 있다.
<수 16>
3차원 샘플 윤곽점의 내분비: s i
모델 파라미터 (3차원 좌측 꼭대기점의 내분비): s m 일 때,
Figure 112001007293275-pat00018
단, α L i , β L i , χ L i , δ L i 는 다음 식에서 구해지는 양이다.
Figure 112001007293275-pat00019
마찬가지로, 우측 윤곽선에 관해서도 3차원 샘플 윤곽점이 만족해야만 하는 조건으로부터 대응하는 내분비를 모델 파라미터를 이용하여 수학식 19와 같이 구할 수 있다.
<수 17>
3차원 샘플 윤곽점의 내분비: t j
모델 파라미터 (3차원 좌측 꼭대기점의 내분비): t n 일 때,
Figure 112001007293275-pat00020
단, α R j , β R j , χ R j , δ R j 는 다음 식에서 구해지는 양이다.
Figure 112001007293275-pat00021
3차원 윤곽선이 상하/좌우에서 각각 같다고 하는 제약을 표현한 에너지 함수 E를 최소화하는 최적화 문제로서 정식화하여, 이하에 진술하는 바와 같이 최적인 모델 파라미터를 예를 들면 반복법에 의해 구한다.
에너지 함수 E는 상측 윤곽선 AB와 중앙부 바깥 접힘 자국 윤곽선 cd의 길이의 차의 제곱과 좌측 윤곽선 Ac와 우측 윤곽선 Bd의 길이의 차의 제곱의 선형합으로 정의한다. 장부 곡면의 모델 파라미터인 내분비에 의해, 에너지 함수 E의 값은 일의적으로 결정된다. 따라서, 에너지 함수 E는 수학식 20과 같이 된다.
<수 18>
Figure 112001007293275-pat00022
단, k 1 , k 2 는 정수 (예를 들면, k 1 =1, k 2 =1).
상측 윤곽선 (선분 AB) 및 중앙부 바깥 접힘 자국 윤곽선 (선분 cd)은 선분이므로, 수학식 21, 수학식 22와 같이 3차원 꼭대기점 좌표로부터 길이를 구할 수 있다.
<수 19>
Figure 112001007293275-pat00023
Figure 112001007293275-pat00024
한편, 좌측 윤곽선 Ac 및 우측 윤곽선 Bd의 길이는 3차원 샘플 윤곽점을 연결하는 선분의 길이의 합으로 근사하는 것으로 한다. 즉, 수학식 23, 수학식 24와 같이 된다.
<수 20>
Figure 112001007293275-pat00025
Figure 112001007293275-pat00026
에너지 함수 E를 최소로 하는 모델 파라미터를, 최급강하법에 의해 구한다. 즉, 초기치를 적당하게 설정하고, 수학식 25에 의해 모델 파라미터를 반복하여 변화시킨다. ε은 미소한 양의 수이다.
<수 21>
Figure 112001007293275-pat00027
수학식 20의 에너지 함수의 정의를 이용하여 전개하면, 수학식 26, 수학식 27과 같이 된다.
<수 22>
Figure 112001007293275-pat00028
Figure 112001007293275-pat00029
단, 각 항은 다음 식과 같다.
Figure 112001007293275-pat00030
Figure 112001007293275-pat00031
이상에 의하여, 모델 파라미터가 구해져, 각 3차원 샘플 윤곽점의 좌표를 구할 수 있다. 그리고, 중앙부 바깥 접힘 자국 곡면 추정 수단(902)은 구한 각 3차 원 샘플 윤곽점을 선분으로 연결한 절선을 윤곽선으로 하여, 윤곽선을 선형 보간 근사에 의해 얻은 곡면을 왜곡된 장부 곡면의 3차원 곡면 모델로서 추정한다. 선형 보간 근사로서는 중앙부 안 접힘 자국 곡면 추정 수단(202)과 마찬가지로 선형 쿤스(Coons) 보간 등의 보간 수법을 이용한다.
또한, 에너지 함수 E에 대하여 중앙부 바깥 접힘 자국 곡면 상부에 대한 에너지 함수 E를 정식화하였으나, 곡면 상부·하부 전체에서 에너지 함수 E를 정식화할 수도 있다. 곡면 전체에 대하여 정식화한 에너지 함수 E는 중앙부 바깥 접힘 자국 곡면 모델을 도 12에 도시한 바와 같이 나타낼 수 있게 되어 수학식 28과 같이 표현된다.
<수 23>
Figure 112001007293275-pat00032
단, k 1 , k 2 , k 3 , k 4 는 정수.
이 경우, 곡면 전체에 대하여 최적화 문제를 풀게 되기 때문에, 곡면상부와 하부로 나누어 모델 파라미터를 구한 경우보다도 정밀도가 향상되게 된다.
다음으로, 왜곡 보정 수단(903)에 있어서, 왜곡 보정 수단(903)은 제1 실시예에 있어서의 왜곡 보정 수단(203)과 동일하다. 즉, 왜곡 보정 수단(903)은 보정 후 화상의 각 화소에 대응한 입력 화상 중의 위치를, 윤곽선을 좌표 축으로 하는 곡선 좌표계를 이용하여 구하고 입력 화상 중의 대응 화소의 값 (이치, 계조, 컬 러)을 보정 후 화상의 대상 화소치로서 설정함으로써, 상하 윤곽의 길이를 폭, 좌우 윤곽의 길이를 높이로 하는 보정 후 화상을 얻는다. 상세한 바는 제1 실시예의 설명을 참조한다.
본 발명의 제2 실시예에 따라서 처리한 중앙부 바깥 접힘 자국 왜곡 OHR 화상의 보정 결과를 도 13에 도시한다. 도 13은 도 20을 보정한 것이다. 이와 같이 본 발명의 제2 실시예에 따르면, 중앙부 바깥 접힘 자국 왜곡 OHR 화상을 양호하게 보정할 수가 있다.
이상과 같이 장부의 OHR 화상에 있어서의 중앙부 안 접힘 자국/바깥 접힘 자국 왜곡의 보정 방식에 대하여 상세히 설명하였으나, 이 방식은 이들 경우에 한정되는 것이 아니다. 즉, 장부의 OHR 화상에 있어서의 선직면 왜곡(線織面 歪曲)에 대해서도 마찬가지 방식을 적용할 수 있다. 여기서, 선직면이란 종이를 왜곡시켰을 경우에 발생하는 곡면의 일반적인 호칭법이다.
선직면 왜곡의 일례로서, 장부의 OHR 화상에 주변 부유 왜곡 (도 21)이 생기고 있는 경우, 3차원 윤곽이 전부 곡선으로 된다. 따라서, 중앙부 바깥 접힘 자국 왜곡의 경우에 2개의 모델 파라미터를 구하였지만 (본 발명의 제2 실시예), 보다 많은 모델 파라미터 (예를 들면, 10∼20개)를 설정하여, 상하/좌우 윤곽의 길이가 같다고 하는 에너지 함수를 정식화하여, 최적화 문제를 풀도록 하면 된다. 그리고, 구한 모델 파라미터로부터 3차원 곡면 모델을 추정하여, 추정한 곡면 모델에 기초하여 입력 화상에 있어서의 왜곡을 보정하여 출력한다. 마찬가지로, 주변 침하 왜곡 (도 22), 책자 왜곡 (도 23)에 관해서도, 보다 많은 모델 파라미터를 설정 함으로써 3차원 곡면 모델을 추정하여, 왜곡 보정을 행할 수 있다.
또한, 상기 각 실시예의 설명에서는 도 1에 도시한 본 발명의 원리 구성에 따라서, 윤곽 추출 수단(101)으로 윤곽을 추출하고, 곡면 추정 수단(102)으로 윤곽의 왜곡을 단서로 3차원 모델을 추정하며, 왜곡 보정 수단(103)이 추정한 3차원 곡면 모델에 기초하여 왜곡을 보정한 화상을 출력하는 방식에 관해서 진술하였다. 그러나, 도 14에 도시한 바와 같이 곡면을 추정하지 않고서, 윤곽 추출 수단(1401)에서 추출된 윤곽의 왜곡을 단서로 왜곡 보정 수단(1402)이 왜곡을 보정한 화상을 출력하도록 구성할 수도 있다.
윤곽 추출 수단(1401)은 윤곽 추출 수단(101)과 마찬가지 처리를 행하는데, 이 경우의 왜곡 보정 수단(1402)에 관해서, 도 15와 같은 윤곽(1501)이 얻어진 경우를 예로서 설명한다. 우선, 왜곡 보정 수단(1402)에서는 추출된 윤곽(1501)의 상측 윤곽(1502), 중앙부 접힘 자국 윤곽(1503), 하측 윤곽(1504)의 선분의 길이에 맞추어 윤곽을 가로 방향으로 신축시킨다 (①). 그리고 다음으로, 도 15에 도시하는 점선으로 둘러싼 각 부분의 곡선부(1505-1∼1505-8)를 직선으로 근사하여, 그 직선의 기울기를 구하고, 그 기울기로부터 세로 방향의 축소 단축 정도를 구한다. 구해진 단축 정도에 기초하여, 상기 가로방향으로 신축시킨 윤곽을 다시 세로 방향으로 신축시킨다 (②). 이와 같이 3차원 곡면 모델을 추정하지 않고서, 2차원 데이터 처리만으로 왜곡을 보정하도록 구성하는 것도 가능하다.
그런데, 본 발명의 왜곡 보정 방식은 도 16에 도시한 바와 같은 정보 처리 장치 (컴퓨터)를 이용하여 실행할 수가 있다. 도 16의 정보 처리 장치는 CPU(중앙 처리 장치: 1601), 메모리(1602), 입력 장치(1603), 출력 장치(1604), 외부 기억 장치(1605), 매체 구동 장치(1606), 및 네트워크 접속 장치(1607)를 구비하고, 이들은 버스(1608)에 의해 상호 접속되어 있다.
메모리(1602)는, 예를 들면 ROM(read on1y memory), RAM(random access memory) 등을 포함하여, 처리에 이용되는 프로그램과 데이터를 저장한다. CPU(1601)는 메모리(1602)를 이용하여 프로그램을 실행함으로써, 필요한 처리를 행한다. 즉, 본 발명의 윤곽 추출 수단(101), 곡면 추정 수단(102), 왜곡 보정 수단(103)은 메모리(1602)에 저장된 프로그램으로 실현된다.
장부 등의 화상 데이터는 OHR 등의 입력 장치(1603)를 통해 정보 처리 장치에 읽어 들인다. 또한, 출력 장치(1604)는, 예를 들면 디스플레이 프린터 등으로서, 처리 결과의 출력 등에 이용된다.
외부 기억 장치(1605)는, 예를 들면 자기 디스크 장치, 광 디스크 장치, 광자기 디스크 장치 등이다. 정보 처리 장치는 이 외부 기억 장치(1605)에 상술한 프로그램과 데이터를 보존해 놓고, 필요에 따라서, 이들을 메모리(1602)에 로드하여 사용할 수가 있다.
매체 구동 장치(1606)는 가반형(可搬型) 기록 매체(1609)를 구동하여, 그 기록 내용을 액세스한다. 가반형 기록 매체(1609)로서는 메모리 카드, 플로피 디스크, CD-ROM(compact disk read on1y memory), 광 디스크, 광자기 디스크 등, 임의의 컴퓨터로 판독 가능한 기록 매체가 이용된다. 이 가반 기록 매체(1609)에 상술한 프로그램과 데이터를 저장해 놓고, 필요에 따라서 이들을 메모리(1602)에 로드 하여 사용할 수가 있다.
네트워크 접속 장치(1607)는 LAN(local area network) 등의 임의의 네트워크 (회선)를 통해 외부 장치와 통신하여, 통신에 따른 데이터 변환을 행한다. 정보 처리 장치는 필요에 따라서, 네트워크 접속 장치(1607)를 통해 상술한 프로그램과 데이터를 외부의 장치로부터 수취하여, 이들을 메모리(1602)에 로드하여 사용할 수가 있다. 또, 도 16은 정보 처리 장치 단체로 도시하고 있으나, 복수의 컴퓨터로 이루어지는 처리 장치나 네트워크를 통한 복수의 처리 장치라도 실현이 가능하다.
또한, 도 17은 본 발명에 의한 정보 처리 장치에서 실행되는 소프트웨어 프로그램 등의 제공 방법을 설명하는 도면이다. 프로그램 등은, 예를 들면 이하의 (a)∼(c)의 3가지 방법 중의 임의의 방법에 의해 제공된다.
(a) 컴퓨터 등의 정보 처리 장치(1701)에 인스톨되어 제공된다. 이 경우, 프로그램 등은 예를 들면 출하 전에 프리 인스톨(pre-install)된다.
(b) 가반형 기록 매체(1609)에 저장되어 제공된다. 이 경우, 가반형 기억 매체(1609)에 저장되어 있는 프로그램 등은 컴퓨터 등의 정보 처리 장치(1701)의 외부 기억 장치(1605)에 인스톨된다.
(c) 네트워크(1702) 상의 서버로부터 제공된다. 이 경우, 기본적으로는 컴퓨터 등의 정보 처리 장치(1701)가 서버(1703)에 저장되어 있는 프로그램 등을 다운로드함으로써, 그 프로그램 등을 취득한다.
(부기 1) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 상기 입력 화상으로부터 상기 종이에 부여된 규칙적인 도형을 추출하는 윤곽 추출 수단,
상기 규칙적인 도형의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
을 포함하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 2) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 상기 입력 화상으로부터 상기 종이의 윤곽, 또는 종이에 쓰여 있는 수평선 및 수직선, 또는 종이에 쓰여 있는 수평 문자열 및 수직 문자열을 추출하는 윤곽 추출 수단,
상기 윤곽의 왜곡, 또는 상기 종이에 쓰여 있는 수평선 및 수직선의 교차의 왜곡, 또는 상기 종이에 쓰여 있는 수평 문자열 및 수직 문자열의 교차의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
을 포함하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 3) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 상기 입력 화상으로부터 상기 종이의 윤곽을 추출하는 윤곽 추출 수단, 및
상기 윤곽의 왜곡을 단서로 왜곡을 보정한 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
을 포함하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 4) 직사각형 형상의 종이의 윤곽 정보를 취득하여, 상기 윤곽 정보로 부터 얻어지는 윤곽의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
을 포함하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 5) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하여, 상기 입력 화상으로부터 상기 종이의 윤곽을 추출하는 윤곽 추출 수단,
상기 윤곽의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
을 포함하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 6) 부기 5에 있어서, 상기 입력 화상 및 출력 화상이 흑백 이치 화상 또는 계조 화상 또는 컬러 화상인 것을 특징으로 하는 왜곡 보정 장치.
(부기 7) 부기 5에 있어서, 상기 윤곽 추출 수단은 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보 중, 수평 또는 수직 방향으로 대상 화소를 사이에 끼워 상기 종이의 외부 영역의 계조 또는 컬러를 갖는 화소의 열의 배열과 상기 종이의 내부 영역의 계조 또는 컬러를 갖는 화소의 열의 배열이 존재하는 정도를 나타내는 윤곽다움을 평가하여, 상기 윤곽다움이 강한 윤곽 화소 후보를 윤곽 화소로 하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 8) 부기 7에 있어서, 상기 윤곽 추출 수단은, 상기 윤곽다움으로서, 상기 윤곽 화소 후보를 사이에 끼워 수평 또는 수직 방향으로, 상기 윤곽 화소 후보의 근방에서 임의로 추출된 화소치와, 적절하게 설정한 고정치 벡터의 적화(sum of product) 연산을 행하여 얻은 양을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 9) 부기 8에 있어서, 상기 윤곽 추출 수단은, 상기 윤곽다움으로서, 상기 윤곽 화소 후보를 사이에 끼워 수평 또는 수직 방향으로, k를 정 또는 부의 정수로 하여, 수평 방향의 경우에는 값 0을 중심으로 하는 좌우 대칭의 마스크 k, k, k, …, k, 0, -k, …, -k, -k, -k, 수직 방향의 경우에는 값 0을 중심으로 하는 상하 대칭의 마스크 k, k, k, …, k, 0, -k, …, -k, -k, -k에 의해, 적화 연산을 행하여 얻은 양을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 10) 부기 5에 있어서, 상기 곡면 추정 수단은, 상기 3차원 곡면 모델로서, 중앙부 안 접힘 자국 왜곡을 모델화한 중앙부 안 접힘 자국 왜곡 3차원 곡면 모델을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 11) 부기 5에 있어서, 상기 곡면 추정 수단은, 상기 3차원 곡면 모델로서, 중앙부 바깥 접힘 자국 왜곡을 모델화한 중앙부 바깥 접힘 자국 왜곡 3차원 곡면 모델을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 12) 부기 5에 있어서, 상기 곡면 추정 수단은, 상기 3차원 곡면 모델로서, 주변 부유 왜곡을 모델화한 주변 부유 왜곡 3차원 곡면 모델을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 13) 부기 5에 있어서, 상기 곡면 추정 수단은, 상기 3차원 곡면 모델로서, 상기 종이의 3차원 윤곽을 모델화하여 얻어지는 3차원 윤곽 모델에 선형 쿤스(Coons) 보간 등의 보간 수법을 실시하여 얻어지는 곡면을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 14) 부기 13에 있어서, 상기 곡면 추정 수단은, 상기 3차원 윤곽 모델로서, 3차원 윤곽 상의 점을 이산적으로 3차원 샘플점으로서 취하여 3차원 샘플점의 높이 또는 그것에 대응한 양을 모델 파라미터로 하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 15) 부기 13에 있어서, 상기 곡면 추정 수단은, 상기 3차원 윤곽 모델로서, 스플라인 곡선 또는 베지에 곡선 등의 파라미터 구비 곡선 모델을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 16) 부기 13에 있어서, 상기 곡면 추정 수단은, 상기 3차원 윤곽 모델로서, 3차원 윤곽의 끝점 2점의 높이 또는 그것에 대응한 양을 모델 파라미터로 하고, 3차원 윤곽 상의 점은 끝점 2점을 연결한 3차원 선분을 포함하는 수직 평면 상에 존재하는 것으로 하여 위치를 제약하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 17) 부기 13에 있어서, 상기 곡면 추정 수단은, 상기 3차원 윤곽 모델로서, 3차원 선분을 이용하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 18) 부기 5에 있어서, 상기 곡면 추정 수단은, 추출된 윤곽을 단서로 투시 변환을 이용하여 3차원 윤곽을 추정함으로써, 3차원 곡면을 추정하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 19) 부기 11에 있어서, 상기 곡면 추정 수단은 좌우 또는 상하에서 쌍을 이루고 있는 3차원 윤곽의 길이가 동일하다고 하는 제약을 에너지 함수를 이용하여 표현하여, 에너지가 최소로 되는 상기 3차원 곡면 모델의 파라미터를 구하는 최적화 문제를 풀어 3차원 곡면 모델을 추정하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 20) 부기 15에 있어서, 상기 곡면 추정 수단은, 윤곽을 좌표 축으로 하는 곡선 좌표계에서, 동일한 X 좌표 또는 Y 좌표를 갖는 곡선이 전부 동일한 길이를 갖는다고 하는 제약을 에너지 함수를 이용하여 표현하여, 에너지가 최소로 되는 3차원 곡면 모델의 파라미터를 구하는 최적화 문제를 풀어 3차원 곡면 모델을 추정하는 것을 특징으로 하는 왜곡 보정 장치.
(부기 21) 부기 5에 있어서, 상기 왜곡 보정 수단은, 상기 윤곽을 좌표 축으로 하는 곡선 좌표계를 이용하여 보정 후 화상의 각 화소에 대응한 상기 입력 화상 중의 위치를 구하여, 상기 입력 화상 중의 대응 화소치를 보정 후 화상의 대상 화소치로서 설정함으로써, 상하 윤곽의 길이를 폭, 좌우 윤곽의 길이를 높이로 하는 보정 후 화상을 얻는 것을 특징으로 하는 왜곡 보정 장치.
(부기 22) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하는 단계,
상기 입력 화상으로부터 상기 종이에 부여된 규칙적인 도형을 추출하는 단계,
상기 규칙적인 도형의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 포함하는 것을 특징으로 하는 왜곡 보정 방법.
(부기 23) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하는 단계,
상기 입력 화상으로부터 상기 종이의 윤곽, 또는 종이에 쓰여 있는 수평선 및 수직선, 또는 종이에 쓰여 있는 수평 문자열 및 수직 문자열을 추출하는 단계,
상기 윤곽의 왜곡, 또는 상기 종이에 쓰여 있는 수평선 및 수직선의 교차의 왜곡, 또는 상기 종이에 쓰여 있는 수평 문자열 및 수직 문자열의 교차의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 포함하는 것을 특징으로 하는 왜곡 보정 방법.
(부기 24) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하는 단계,
상기 입력 화상으로부터 상기 종이의 윤곽을 추출하는 단계, 및
상기 윤곽의 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 포함하는 것을 특징으로 하는 왜곡 보정 방법.
(부기 25) 직사각형 형상의 종이의 윤곽 정보를 취득하는 단계,
상기 윤곽 정보로부터 얻어지는 윤곽의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로 서 출력하는 단계
를 포함하는 것을 특징으로 하는 왜곡 보정 방법.
(부기 26) 직사각형 형상의 종이를 촬상한 화상을 입력 화상으로 하는 단계,
상기 입력 화상으로부터 상기 종이의 윤곽을 추출하는 단계,
상기 윤곽의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 포함하는 것을 특징으로 하는 왜곡 보정 방법.
(부기 27) 입력된 직사각형 형상의 종이를 촬상한 화상에 포함되는 종이의 윤곽의 왜곡을 보정하는 처리를 컴퓨터에 실행시키기 위한 프로그램을 기록한 기록 매체에 있어서,
상기 입력된 화상으로부터 상기 종이에 부여된 규칙적인 도형을 추출하는 단계,
상기 규칙적인 도형의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 수행하는 처리를 포함하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
(부기 28) 입력된 직사각형 형상의 종이를 촬상한 화상에 포함되는 종이의 윤곽의 왜곡을 보정하는 처리를 컴퓨터에 실행시키기 위한 프로그램을 기록한 기록 매체에 있어서,
상기 입력된 화상으로부터 상기 종이의 윤곽, 또는 종이에 쓰여 있는 수평선 및 수직선, 또는 종이에 쓰여 있는 수평 문자열 및 수직 문자열을 추출하는 단계,
상기 윤곽의 왜곡 , 또는 상기 종이에 쓰여 있는 수평선 및 수직선의 교차의 왜곡, 또는 상기 종이에 쓰여 있는 수평 문자열 및 수직 문자열의 교차의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 수행하는 처리를 포함하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
(부기 29) 입력된 직사각형 형상의 종이를 촬상한 화상에 포함되는 종이의 윤곽의 왜곡을 보정하는 처리를 컴퓨터에 실행시키기 위한 프로그램을 기록한 기록 매체에 있어서,
상기 입력 화상으로부터 상기 종이의 윤곽을 추출하는 단계, 및
상기 윤곽의 왜곡을 보정한 화상을 출력하는 단계
를 수행하는 처리를 포함하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
(부기 30) 입력된 직사각형 형상의 종이의 윤곽 정보에 포함되는 종이의 윤 곽의 왜곡을 보정하는 처리를 컴퓨터에 실행시키기 위한 프로그램을 기록한 기록 매체에 있어서,
상기 윤곽 정보로부터 얻어지는 윤곽의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 수행하는 처리를 포함하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
(부기 31) 입력된 직사각형 형상의 종이를 촬상한 화상에 포함되는 종이의 윤곽의 왜곡을 보정하는 처리를 컴퓨터에 실행시키기 위한 프로그램을 기록한 기록 매체에 있어서,
상기 입력된 화상으로부터 상기 종이의 윤곽을 추출하는 단계,
상기 윤곽의 왜곡을 단서로 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정한 화상을 출력 화상으로서 출력하는 단계
를 수행하는 처리를 포함하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 3차원 왜곡이 존재하 는 장부에 대하여 위에서 촬상한 한 장의 화상 (OHR 화상)으로부터 취득할 수 있는 2차원 윤곽을 단서로 하여, 또한 종이가 구형이라고 하는 제약을 이용하여 3차원 모델을 추정하여 얻어진 3차원 곡면 모델로부터 화상의 3차원 왜곡을 보정할 수가 있다. 이에 따라, 한 장의 화상으로부터 얻어지는 2차원 윤곽의 왜곡을 단서로 입력 화상을 보정하기 때문에, 종래 기술과 비교하여 카메라가 한 대이면 되어 실현 비용 및 설치 스페이스를 삭감할 수가 있다.

Claims (20)

  1. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이에 부여된 규칙적인 도형을 추출하는 윤곽 추출 수단,
    상기 규칙적인 도형의 왜곡을 단서로 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단을 포함하고,
    상기 윤곽 추출 수단은, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보의 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 것을 특징으로 하는 왜곡 보정 장치.
  2. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이의 윤곽을 추출하는 윤곽 추출 수단,
    상기 윤곽의 왜곡을 단서로 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
    을 포함하며,
    상기 곡면 추정 수단은, 좌우 또는 상하에서 쌍을 이루고 있는 3차원 윤곽의 길이가 동일하다고 하는 제약을 에너지 함수로써 표현하고, 에너지가 최소로 되는 상기 3차원 곡면 모델의 파라미터를 구하는 최적화 문제를 푸는 것에 의해, 상기 3차원 곡면 모델을 추정하는 것을 특징으로 하는 왜곡 보정 장치.
  3. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 직사각형 종이에 쓰여 있는 수평선 및 수직선을 추출하는 윤곽 추출 수단,
    상기 종이에 쓰여 있는 수평선 및 수직선의 교차의 왜곡을 단서로 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단을 포함하고,
    상기 윤곽 추출 수단은, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보의 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 것을 특징으로 하는 왜곡 보정 장치.
  4. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이에 쓰여 있는 수직 및 수평 문자열을 추출하는 윤곽 추출 수단,
    상기 종이에 쓰여 있는 수직 및 수평 문자열의 교차의 왜곡을 단서로 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단을 포함하고,
    상기 윤곽 추출 수단은, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보의 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 것을 특징으로 하는 왜곡 보정 장치.
  5. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이의 윤곽을 추출하는 윤곽 추출 수단, 및
    상기 윤곽의 왜곡을 단서로 이용하여 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
    을 포함하며,
    상기 윤곽 추출 수단은, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보 중, 수평 또는 수직 방향으로 대상 화소를 포함시켜, 상기 종이의 외부 영역의 계조를 갖는 화소열의 배열 및 상기 종이의 내부 영역의 계조를 갖는 화소열의 배열 양자간의 비를 나타내는 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 것을 특징으로 하는 왜곡 보정 장치.
  6. 직사각형 형상의 종이에 관한 윤곽 정보를 획득하고 상기 윤곽 정보로부터 얻은 윤곽 왜곡을 단서로 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
    을 포함하며,
    상기 곡면 추정 수단은, 좌우 또는 상하에서 쌍을 이루고 있는 3차원 윤곽의 길이가 동일하다고 하는 제약을 에너지 함수로써 표현하고, 에너지가 최소로 되는 상기 3차원 곡면 모델의 파라미터를 구하는 최적화 문제를 푸는 것에 의해, 상기 3차원 곡면 모델을 추정하는 것을 특징으로 하는 왜곡 보정 장치.
  7. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이의 윤곽을 추출하는 윤곽 추출 수단,
    상기 윤곽의 왜곡을 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 윤곽의 왜곡을 단서로 이용하여 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
    을 포함하며,
    상기 윤곽 추출 수단은, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보 중, 수평 또는 수직 방향으로 대상 화소를 포함시켜, 상기 종이의 외부 영역의 계조를 갖는 화소열의 배열 및 상기 종이의 내부 영역의 계조를 갖는 화소열의 배열 양자간의 비를 나타내는 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 것을 특징으로 하는 왜곡 보정 장치.
  8. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이의 윤곽을 추출하는 윤곽 추출 수단,
    상기 윤곽의 왜곡을 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 윤곽의 왜곡을 단서로 이용하여 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
    을 포함하며,
    상기 입력 화상 및 출력 화상은 흑백 이치(binary) 화상, 계조 화상 및 컬러 화상 중 하나이며,
    상기 윤곽 추출 수단은, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보 중, 수평 또는 수직 방향으로 대상 화소를 포함시켜, 상기 종이의 외부 영역의 계조를 갖는 화소열의 배열 및 상기 종이의 내부 영역의 계조를 갖는 화소열의 배열 양자간의 비를 나타내는 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 것을 특징으로 하는 왜곡 보정 장치.
  9. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이의 윤곽을 추출하는 윤곽 추출 수단,
    상기 윤곽의 왜곡을 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 곡면 추정 수단, 및
    상기 윤곽의 왜곡을 단서로 이용하여 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 왜곡 보정 수단
    을 포함하며,
    상기 윤곽 추출 수단은, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보 중, 수평 또는 수직 방향으로 대상 화소를 포함시켜, 상기 종이의 외부 영역의 컬러를 갖는 화소열의 배열 및 상기 종이의 내부 영역의 컬러를 갖는 화소열의 배열 양자간의 비를 나타내는 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 것을 특징으로 하는 왜곡 보정 장치.
  10. 직사각형 형상의 종이를 촬영하여 얻은 입력 화상으로부터 상기 종이에 부여된 규칙적인 도형을 추출하는 단계,
    상기 규칙적인 도형의 왜곡을 단서로 이용하여 상기 종이의 3차원 곡면 모델을 추정하는 단계, 및
    상기 3차원 곡면 모델에 기초하여 상기 왜곡을 보정하고 보정된 화상을 출력 화상으로서 출력하는 단계를 포함하고,
    상기 규칙적인 도형을 추출하는 단계는, 상기 입력 화상에 대하여 엣지 추출을 행하여 얻은 윤곽 화소 후보의 윤곽다움(outline likeliness)을 평가하고, 보다 윤곽다운 화소 후보를 윤곽 화소로서 선택하는 단계를 포함하는 것을 특징으로 하는 왜곡 보정 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020010016969A 2000-09-04 2001-03-30 왜곡 보정 장치 및 방법 KR100761641B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000267511 2000-09-04
JP2000-267511 2000-09-04

Publications (2)

Publication Number Publication Date
KR20020018936A KR20020018936A (ko) 2002-03-09
KR100761641B1 true KR100761641B1 (ko) 2007-09-27

Family

ID=18754424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010016969A KR100761641B1 (ko) 2000-09-04 2001-03-30 왜곡 보정 장치 및 방법

Country Status (4)

Country Link
US (2) US6970592B2 (ko)
EP (1) EP1193647B1 (ko)
KR (1) KR100761641B1 (ko)
CN (1) CN1187952C (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324232A (ja) * 2001-04-25 2002-11-08 Nikon Corp 画像処理方法
JP2005503080A (ja) * 2001-09-07 2005-01-27 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ カメラと、画像のパースペクティブ補正及びことによると回転及び揺れ補正とを持つ画像装置
US6851608B1 (en) * 2002-03-07 2005-02-08 Commerciant, L.P. System and method for uncontrolled velocity scanning
JP2004040395A (ja) * 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
SE524371C2 (sv) * 2002-07-10 2004-08-03 Nolato Ab Metod och anordning för applicering av en tvådimensionell bild på en tredimensionell yta
US7130020B2 (en) * 2003-04-30 2006-10-31 Whitney Theodore R Roll printer with decomposed raster scan and X-Y distortion correction
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
US7280706B2 (en) * 2003-08-15 2007-10-09 Arcsoft, Inc. Better picture for inexpensive cameras
WO2005041123A1 (ja) * 2003-10-24 2005-05-06 Fujitsu Limited 画像歪み補正プログラム，画像歪み補正装置並びに画像歪み補正方法
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7593595B2 (en) * 2004-08-26 2009-09-22 Compulink Management Center, Inc. Photographic document imaging system
US7634152B2 (en) * 2005-03-07 2009-12-15 Hewlett-Packard Development Company, L.P. System and method for correcting image vignetting
US7330604B2 (en) 2006-03-02 2008-02-12 Compulink Management Center, Inc. Model-based dewarping method and apparatus
US8270044B2 (en) * 2006-10-26 2012-09-18 Samsung Electronics Co., Ltd. Scanning apparatus having image correction function
JP4946376B2 (ja) * 2006-11-15 2012-06-06 富士通株式会社 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法
WO2008137051A1 (en) * 2007-05-01 2008-11-13 Compulink Management Center, Inc. Photo-document segmentation method and system
US20100073735A1 (en) * 2008-05-06 2010-03-25 Compulink Management Center, Inc. Camera-based document imaging
FR2952218B1 (fr) * 2009-10-30 2012-03-30 Sagem Securite Procede et dispositif pour obtenir une image d'un document defroisse a partir d'une image de ce document lorsqu'il est froisse.
US8322384B2 (en) * 2010-03-05 2012-12-04 Whirlpool Corporation Select-fill dispensing system
US8787689B2 (en) 2012-05-15 2014-07-22 Omnivision Technologies, Inc. Apparatus and method for correction of distortion in digital image data
USD685372S1 (en) * 2012-11-30 2013-07-02 Atiz Innovation Co., Ltd. Document scanning and visualization system
US9071785B2 (en) 2013-02-15 2015-06-30 Gradeable, Inc. Adjusting perspective distortion of an image
US8891817B2 (en) * 2013-03-15 2014-11-18 Orcam Technologies Ltd. Systems and methods for audibly presenting textual information included in image data
JP6010870B2 (ja) * 2013-12-24 2016-10-19 カシオ計算機株式会社 画像補正装置、及び画像補正方法、プログラム
CN104537708B (zh) * 2014-12-12 2017-05-17 北京师范大学 一种基于测地线的躺卧三维颅面模型的直立矫正方法
CN106296745B (zh) * 2015-05-26 2019-03-12 富士通株式会社 对文档图像进行校正的方法和装置
JP6798752B2 (ja) * 2015-06-12 2020-12-09 モレスキン エス．アール．エル． 補正画像を生成する方法、ノートブック又はアジェンダの１ページ又は２つの隣接するページに描かれた書込み又は図の選択画像を生成する方法、ｐｃ用のコンピュータプログラム、又は、スマートフォン若しくはタブレットコンピュータ用のモバイルアプリケーション
CN105095894A (zh) * 2015-08-06 2015-11-25 磐纹科技（上海）有限公司 非接触型图书扫描设备
CN108073924B (zh) * 2016-11-17 2021-06-22 富士通株式会社 图像处理方法和装置
US10311556B1 (en) * 2018-07-02 2019-06-04 Capital One Services, Llc Systems and methods for image data processing to remove deformations contained in documents
CN109671079B (zh) * 2018-12-25 2021-04-16 宁波智能装备研究院有限公司 一种基于灰度共生矩阵特征的瓦楞纸板智能检测方法
CN110390339B (zh) * 2019-07-16 2021-11-19 北京市计算中心有限公司 一种图像校正方法、装置及存储介质
CN111223055B (zh) * 2019-11-20 2023-05-02 南京拓控信息科技股份有限公司 一种列车车轮踏面图像校正方法
CN112215192B (zh) * 2020-10-22 2024-01-23 常州大学 一种基于机器视觉技术的快速录入试卷成绩的方法
CN117063198A (zh) * 2021-03-19 2023-11-14 Oppo广东移动通信有限公司 电子设备、控制电子设备的方法和计算机可读存储介质
CN115760620B (zh) * 2022-11-18 2023-10-20 荣耀终端有限公司 一种文档矫正方法、装置及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497236A (en) 1993-06-23 1996-03-05 Ricoh Company Ltd. Method and apparatus for distortion correction of scanned images
JP3106343B2 (ja) 1995-04-28 2000-11-06 日本タイプライター株式会社 マークチューブ装着装置
US5760925A (en) * 1996-05-30 1998-06-02 Xerox Corporation Platenless book scanning system with a general imaging geometry
JPH1013669A (ja) * 1996-06-26 1998-01-16 Minolta Co Ltd 画像読取り装置におけるデータ処理方法
JP3631333B2 (ja) 1996-08-23 2005-03-23 シャープ株式会社 画像処理装置
JPH10150532A (ja) 1996-11-18 1998-06-02 Minolta Co Ltd 画像読取り装置
JP3425366B2 (ja) * 1998-06-30 2003-07-14 シャープ株式会社 画像補正装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image Transformation Approach to Nonlinear Shape Restoration"(Yaun Y. Tang, Ching Y. Suen, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, VOL. 23, NO. 1, pages 155-172, JANUARY/FEBRUARY 1993)

Also Published As

Publication number Publication date
US20050175255A1 (en) 2005-08-11
EP1193647A3 (en) 2003-03-19
US7362917B2 (en) 2008-04-22
EP1193647A2 (en) 2002-04-03
CN1187952C (zh) 2005-02-02
EP1193647B1 (en) 2012-10-10
US20020044681A1 (en) 2002-04-18
US6970592B2 (en) 2005-11-29
KR20020018936A (ko) 2002-03-09
CN1342021A (zh) 2002-03-27

Similar Documents

Publication Publication Date Title
KR100761641B1 (ko) 왜곡 보정 장치 및 방법
Liang et al. Geometric rectification of camera-captured document images
CN102790841B (zh) 书籍的书脊区域中数字图像的检测和校正方法
US8311336B2 (en) Compositional analysis method, image apparatus having compositional analysis function, compositional analysis program, and computer-readable recording medium
KR101737338B1 (ko) 주석이 달린 문서 이미지들로부터 클린 문서를 복원하기 위한 시스템 및 방법
JP4847592B2 (ja) 歪み文書画像を補正する方法及びシステム
US5892854A (en) Automatic image registration using binary moments
US20170076169A1 (en) System and Method for Scanned Document Correction
JP3078166B2 (ja) 物体認識方法
CN115082935A (zh) 用于对文档图像进行矫正的方法、设备及存储介质
JP4456304B2 (ja) 歪み補正方式
Oliveira et al. A novel Genetic Algorithms and SURF-Based approach for image retargeting
JPH08287258A (ja) カラー画像認識装置
JP2010056691A (ja) 画像処理装置及び画像処理方法
US20110242616A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP3638845B2 (ja) 画像処理装置及び方法
KR100603618B1 (ko) 어파인 변환을 이용한 문서 영상의 기하학적 왜곡 보정장치 및 방법
CN114241486A (zh) 一种提高识别试卷学生信息准确率的方法
Ye et al. Document image matching and annotation lifting
EP0975146A1 (en) Locating the position and orientation of multiple objects with a smart platen
JP2778437B2 (ja) 文書画像傾き検出装置
US6717697B1 (en) Image-component rendering method and recording medium in which image-component rendering program is recorded
EP0974931A1 (en) Method and apparatus for identifying a plurality of sub-images in an input image
JPH0535871A (ja) 画像処理方法
JP2616994B2 (ja) 特徴抽出装置

Legal Events

Date Code Title Description
A201 Request for examination
E801 Decision on dismissal of amendment
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120821

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140825

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee