KR100394202B1

KR100394202B1 - 화상 보정 장치

Info

Publication number: KR100394202B1
Application number: KR10-2000-7015015A
Authority: KR
Inventors: 가즈유끼 나꼬
Original assignee: 샤프 가부시키가이샤
Priority date: 1998-06-30
Filing date: 1999-06-16
Publication date: 2003-08-06
Also published as: JP3425366B2; EP1093084A4; EP1093084A1; WO2000000930A1; CN1323372C; EP1093084B1; CN1307714A; US7072527B1; JP2000020682A; KR20010053292A

Abstract

화상 보정 장치(1)는, 화상 입력 장치(3)와, 기억 장치(4)와, 중앙 연산 처리 장치(2)와, 화상 출력 장치(5)를 포함한다. 이 화상 보정 장치(1)는, 국소적인 주름을 갖는 원고 또는 철한 곳의 부유 쪽이 원고의 상하에서 다른 원고를, 화상 입력 장치(3)로부터 판독하고, 중앙 연산 처리 장치(2) 상에서 실행되는 프로그램에 의해서, 원고의 상하 측면과 원고대가 경사각을 이룸에 따라 생긴 입력 화상의 기하학적 왜곡이나 밝기의 변화를 보정하여 평면의 원고 화상을 복원한다.

Description

화상 보정 장치{IMAGE CORRECTION DEVICE}

제본된 책이나 노트 등과 같이 중앙 제본부가 원고대로부터 떨어지는 원고를 해당 배율로 선명히 복사하는 장치로서, 특개평 57-191653호 공보 기재의 화상 형성 장치가 있다. 이 화상 형성 장치는 원고와 원고대와의 거리를 측정하여, 그 거리에 따라서 주사 속도와 원고대의 높이와 광원의 조도를 조절함으로써, 화상의 왜곡 및 밝기를 보정하는 것이고, 중앙 제본부의 직선을 y 축으로 하고, 좌우 양면 페이지의 방향을 X 축으로 할 때, 원고대와 원고가 y 축 방향으로는 경사각이 없고, X 축 방향으로만 일정한 경사각θ을 이룰 때에 유효한 방법을 제공하고 있다.

또한, 입력한 화상으로부터만 화상을 보정하는 기술로서, 특개평 5-161004호 공보 기재의 원고 판독 장치가 있다. 이 원고 판독 장치는, 원고 판독 수단으로 원고를 판독하여, 화상 정보를 얻음과 동시에, 경계 검출 수단으로 원고와 원고대의 경계를 검출한다. 이 경계 검출 결과를 기초로 원고의 형상, 굴곡 상황을 검출하여, 그 검출 결과에 따라서 판독한 화상 데이터를 보정하는 것이다. 또한, 상기원고 판독 장치에서는, 원고와 원고대를 구별하기 쉽도록 원고대는 흑색 등의 백색 이외의 색을 선택하고, 원고 양쪽의 에지부의 높이의 차가 어느 정도 이하인 것에 적용할 수 있는 것이다.

또한, 특개평 8-181828호 공보 기재의 화상 처리 장치에 의하면, 특개평 5-161004호 공보 기재의 원고 판독 장치 등에서 과제가 된 원고대의 색의 제한이나, 원고의 색 제한에 대한 개선이, 원고와 접하는 면에 흑백의 줄무늬 모양이 붙은 원고 가이드를 설치하는 것에 의해 실현되고 있다.

또한, 특개평 10-065877호 공보 기재의 화상 처리 장치에는, 원고를 촬영하여 얻어진 화상의 에지를 검출하고, 얻어진 에지로부터 원고의 스큐를 검출하여, 높이 왜곡과 회전 왜곡을 갖는 원고를 보정하는 기술이 개시되어 있다.

그러나, 종래 기술의 특개소 57-191653호 공보 기재의 화상 형성 장치에서는, 화상을 읽으면서 주사 속도와 원고대의 높이와 광원의 조도를 제한할 필요가 있기 때문에, 매우 복잡한 기구가 필요하게 된다고 하는 문제가 있었다.

또한, 일반적으로 측정 수단의 결과에는 오차가 포함되기 때문에, 실제의 원고와 원고대와의 거리와 측정 결과가 일치하지 않고, 반드시 촬상되는 화상을 평면으로 보정할 수 있다고는 한정할 수 없는 문제도 있었다.

또한, 특개평5-161004호 공보 기재의 원고 판독 장치에서는, 상기한 화상 형성 장치와 같이 원고면의 높이를 센서 등의 어떤 측거 수단(測距手段)을 이용하여 검출할 필요가 없고, 화상으로부터만 왜곡이나 밝기의 보정을 행하지만, 경계의 위치와 원고의 높이를 한결같이 대응시키고 있기 때문에, 원고가 정해진 장소에 놓여있지 않은 경우, 혹은 회전하여 놓여 있는 경우에는 보정을 할 수 없다고 하는 문제가 있었다.

또한, 원고의 높이가 판독 수단의 주 주사선 방향에 대하여 일정 범위가 아니라면 보정을 행할 수 없고, 원고의 높이가 판독 수단의 주 주사 방향에 대하여 일정 범위가 아닌 경우에는 경고를 발하는데 그친다고 하는 문제가 있었다.

또한, 종래의 에지의 위치 검출 방법은, 특개평10-065877호 공보에 공개되어 있는 바와 같이, 에지 검출 필터 처리한 화상의 연결 성분이 소정 이하인 경우에는 고립점으로 하고, 상기 연결 성분이 소정 이하인 경우에는, 직선으로 보간하고 있지만, 이 방법의 경우, 에지 검출 오류, 에지 검출 누설이 발생한다고 하는 문제가 있었다.

또한, 종래의 철한 곳 위치의 검출은, 특개평10-065877호 공보에서 공개되어 있는 바와 같이, 에지 위치의 극대 혹은 극소점을 철한 곳 위치로 판정하는 방법이 이용되고 있었다. 이 때문에, 원고에 주름 등의 국소적인 변화가 있는 경우에는, 철한 곳 위치의 검출을 잘못한다고 하는 문제가 있었다.

또한, 종래의 기준선의 기울기는, 예를 들면, 특개평8-181828 호 공보에 기재되어 있는 바와 같이, 원고 가이드의 하부의 선을 기준선으로 하고 있기 때문에, 원고 가이드가 없는 경우, 기준선 혹은 기준선의 기울기를 구할 수 없다는 문제가 있었다.

또한, 원고의 끝점은, 특개평 8-181828호 공보에 기재되어 있는 바와 같이, 양 페이지 공통의 판정 기준으로 검출하고 있기 때문에, 통상 경사 방향으로부터광이 쪼여지는 스캐너, 복사기에 있어서, 좌우의 페이지의 끝점이 정확하게 검출되지 않는다고 하는 문제가 있었다.

또한, 특개평 57-191653호 공보, 특개평 5-161004호 공보, 특개평8-181828호 공보에 시사된 기술에 공통으로, 원고의 높이가 판독 수단의 주 주사 방향에 대하여 일정하기 때문에, 원고의 상하에서 부상량(浮上量)이 다른 경우에는 화상을 보정할 수 없다고 하는 문제가 있었다. 또한, 좌우 페이지의 상하에서 부상량이 다른 경우에도 좌우의 밸런스를 취하여 보정할 수가 없어, 적정한 보정을 할 수 없다는 문제가 있었다.

또한, 종래 기술에서는, 철한 곳 부근의 화상은 검게 되는 경향이 있어, 보정이 불완전하거나 혹은 불가능한 경우가 있었다. 또한, 원고의 색이 백색이 아닌 경우의 철한 곳을 보정하는 경우에는, 특히 보정이 어렵다고 하는 문제가 있었다.

또한, 종래 기술에서는, 판독한 채로의 고해상도의 화상으로부터 형상 확인을 행하고 있었기 때문에 처리가 어렵고, 메모리 소비량이 커진다고 하는 문제가 있었다.

또한, 화상의 왜곡 보정의 유무에 관계 없이 동일한 특성으로 화상의 판독을 행하고 있기 때문에, 왜곡 보정이 없는 경우에는 흑백 콘트라스트가 지나치게 낮고, 왜곡 보정을 행하면, 에지 검출이 어렵게 된다고 하는 문제가 있었다.

또한, 종래 기술은, 보정의 자동 정지 기능이 없어, 쓸데없이 종이를 출력하여 버린다고 하는 문제가 있었다.

본 발명의 목적은, 상기 문제점을 해결하기 위해서, 가령 원고가 회전하고 있거나, 철한 곳의 부유 쪽이 원고의 상하에서 다르더라도, 마치 원래의 원고가 평면이었던 것처럼, 화상의 기하학적 왜곡이나 밝기를 보정하는 화상 보정 장치를 제공하는 것이다.

본 발명은 화상 보정 장치에 관한 것으로, 특히 책의 철한 곳의 부근과 같이 특정 영역이 왜곡된 원고를 화상으로서 판독하여, 원래의 원고가 평면이던 것처럼 보정하는 화상 보정 장치에 관한 것이다.

도 1은 본 발명의 실시의 1 형태인 화상 보정 장치(1)의 전기적 구성을 나타내는 블록도.

도 2는 책이나 잡지 등의 원고(10)를 판독한 화상의 예를 도시한 도면.

도 3은 에지 검출의 순서를 도시하는 흐름도.

도 4는 에지 검출 결과와, 전후 에지 위치 차분의 절대치의 그래프.

도 5는 철한 곳 위치 검출 수단에 관해 설명하기 위한 도면.

도 6은 기준선 검출 수단에 관해서 설명하기 위한 도면.

도 7은 원고 끝점 검출 수단의 동작 순서를 도시하는 흐름도.

도 8은 원고 끝점 검출 수단을 설명하기 위한 도면.

도 9는 측면 경사각 산출 수단에 관해서 설명하기 위한 도면.

도 10은 원고 형상 산출 수단에 관해서 설명하기 위한 도면.

도 11은 원고 형상 산출 수단에 관해서 설명하기 위한 도면으로, 투영된 상을 평면으로 되돌린 도면.

도 12는 원고면 상의 점 P의 3차원 좌표의 구하는 방법의 흐름도.

도 13은 휘도 보정 파라미터 산출 수단에 관해서 설명하기 위한 흐름도.

도 14는 에지 부근의 배경 휘도를 나타낸 그래프.

도 15는 원고면 상의 3차원 위치 P에서 CCD에 찍힌 화상의 참조 위치 P′을 구하는 화상 보정 방법을 설명하기 위한 도면.

도 16은 원고 영역 검출 수단을 설명하기 위한 도면.

상기 과제를 해결하기 위해서, 본 발명에서는, 화상 입력 수단과, 기억 수단과, 중앙 연산 처리 수단과, 화상 출력 수단을 포함하는 화상 보정 장치로서, 원고의 상하 측면과 원고대가 경사각을 이루는 원고의 화상을 보정하는 측면 경사 화상 보정 수단을 갖는 것을 특징으로 한다.

또한, 상기 측면 경사 화상 보정 수단은, 원고의 에지를 검출하는 에지 검출 수단과, 원고의 철한 곳의 위치를 구하는 철한 곳 위치 검출 수단과, 원고의 위치의 기준선을 구하는 기준선 검출 수단과, 상기 에지 부근의 화상의 휘도 변화로부터 원고의 좌우 끝점을 구하는 원고 끝점 검출 수단과, 상기 기준선과 철한 곳의 위치로부터 원고의 상하 측면의 경사각을 계산하는 측면 경사각 산출 수단과, 상기 에지와 기준선과 경사각으로부터 원고의 상하 에지의 3차원 위치를 계산하는 에지 3차원 위치 산출 수단과, 에지의 3차원 위치로부터 원고 전체의 형상을 계산하는 원고 형상 산출 수단과, 원고의 3차원 형상에 따라, 화상으로부터 보정 대상 화소의 배경 휘도를 구하여, 배경 휘도와 목표 휘도로부터 화소의 휘도 보정 파라미터를 구하는 휘도 보정 파라미터 산출 수단을 갖고, 상기 원고의 3차원 형상과 휘도 보정 파라미터를 이용하여 입력된 화상을 보정하는 것을 특징으로 한다.

또한, 상기 에지 검출 수단은, 에지의 위치 변화가 적은 장소 중 소정의 길이 이상의 구간을 검출하여, 상기 구간 이외는 전후로 검출한 구간에서 보간한 위치를 원고 에지의 위치로 하는 것을 특징으로 한다.

또한, 상기 철한 곳 위치 검출 수단은, 상기 에지 검출 수단에 의해서 검출된 에지의 위치의 극대점 혹은 극소점 중, 화상의 중심에 가장 가까운 것을 철한 곳 위치로서 검출하는 것을 특징으로 한다.

또한, 상기 기준선 검출 수단은, 에지 부근의 화상의 화소값이 제1 기준치 이상이고, 또한, 에지의 기울기의 변화량이 제2 기준치 이하로 되는 구간 중, 가장 긴 구간에서의 평균 에지의 기울기를 기준선의 기울기로 하여, 상기 최장 구간의 원고 외측의 끝점에서 상기 기울기로 연장시킨 직선을 기준선으로 하여, 원고 좌우 혹은 상하의 에지에 관해서 각각 기준선을 검출하는 것을 특징으로 한다.

또한, 상기 원고 끝점 검출 수단은, 원고의 좌우의 페이지로 별개의 판정 기준에 기초하여 원고 끝점을 검출하는 것을 특징으로 한다.

또한, 상기 원고 형상 산출 수단은, 원고면을 상하의 에지의 사이를 연결하는 직선의 집합으로 근사하고, 원고면의 3차원 위치를 상기 직선의 상하 끝점의 위치의 내분비로부터 구하는 것을 특징으로 한다.

또한, 상기 원고 형상 산출 수단은, 산출된 에지의 길이가 상하에서 다른 경우, 동일한 길이가 되도록 에지의 3차원 위치를 수정하는 것을 특징으로 한다.

또한, 상기 원고 형상 산출 수단은, 산출된 원고의 세로의 길이가 좌우의 페이지에서 다른 경우, 세로의 길이가 좌우로 동일해지도록 원고의 3차원 형상 데이터를 수정하는 것을 특징으로 한다.

또한, 상기 원고 형상 산출 수단은, 입력된 화상을 소정의 축소율로 축소하는 화상 축소 수단을 지니고, 상기 축소된 화상으로부터 원고의 3차원 형상을 구한 뒤, 상기 축소율에 따라 원고의 3차원 형상 데이터를 수정하는 것을 특징으로 한다.

또한, 상기 휘도 보정 파라미터 산출 수단은, 청구항 7 기재의 원고면을 근사하는 직선의 상하 끝점 부근의 화상의 휘도의 내분비로부터 보정 대상 화소의 배경 휘도를 구하여, 배경 휘도에 대한 목표 휘도의 비를 휘도 보정 파라미터로 하는 것을 특징으로 한다.

또한, 상기 측면 경사 화상 보정 수단은, 상기 철한 곳 위치 부근의 화소값을 공백으로 변환하여 상기 화상 출력 수단에 출력하는 것을 특징으로 한다.

또한, 상기 측면 경사 화상 보정 수단은, 상기 철한 곳 위치 부근의 화소값을 철한 곳 위치에서 떨어진 장소의 화소값으로 변환하여 상기 화상 출력 수단에 출력하는 것을 특징으로 한다.

또한, 상기 측면 경사 화상 보정 수단은, 상기 축소 화상을 작성하기 위한 화상의 판독과, 보정 대상이 되는 화상의 판독을 따로따로 행하는 것을 특징으로 한다.

또한, 화상 보정의 적용을 선택하는 보정 선택 수단을 구비하여, 화상의 보정을 행하는 경우와 행하지 않은 경우에 다른 입력 특성으로 화상의 입력을 행하는 화상 입력 수단을 구비하는 것을 특징으로 한다.

또한, 입력된 화상으로부터 원고의 영역을 검출하는 원고 영역 검출 수단을 구비하고, 원고 영역이 화상으로부터 밀려나와 있는 경우에는 보정을 행하지 않는 것을 특징으로 한다.

본 발명의 목적과 그것 이외의 목적과, 특징과 이점은 하기의 상세한 설명과 도면으로부터 보다 명확해질 것이다.

이하, 도면을 이용하여, 본 발명의 실시 형태에 관해서 상세히 설명한다.

〔실시의 형태1〕

도 1은 본 발명의 실시의 1 형태인 화상 보정 장치(1)의 전기적 구성을 나타내는 블록도이다. 화상 보정 장치(1)는, 중앙 연산 처리 장치(2), 화상 입력 장치(3), 기억 장치(4), 화상 출력 장치(5)를 포함하고, 각각 버스 라인 등으로 접속되어, 버스 라인(6)을 통해 서로 신호의 수수(주고받음)를 행한다. 이후의 설명에서는 버스 라인에 관한 기재는 생략한다.

화상 입력 수단인 화상 입력 장치(3)는, 예를 들면 스캐너 등의 화상 판독 장치에 의해서 실현된다. 또한, 화상 입력 장치(3)는 미리 CD-ROM (Compact Disk-Read Only Memory), 플로피 디스크, 광자기 디스크 등의 기억 매체에 기록된 화상을 판독하는 장치이더라도 좋다.

화상 출력 수단인 화상 출력 장치(5)는, 예를 들면 프린터에 의해서 실현된다. 또한, CRT(Cathode Ray Tube)나 LCD(Liquid Clystal Dlsplay) 등의 표시 장치이더라도 좋다.

기억 수단인 기억 장치(4)는, 예를 들면 반도체 메모리나 하드디스크 장치에 의해서 실현된다. 화상 입력 장치(3)에 의해서 입력된 화상은, 화상 신호로서 기억 장치(4)에 기억된다. 또한, 각 화상 처리 수단은 프로그램에 의해서 실현되고, 미리 기억 장치(4)에 기억되어 있다.

중앙 연산 처리 수단인 중앙 연산 처리 장치(2)는 예를 들면 마이크로프로세서에 의해서 실현되고, 이후에 설명하는 각 화상 처리 수단은, 중앙 연산 처리 장치(2) 상에서 실행되는 프로그램으로서 실현된다. 본 실시 형태에서는, 각 화상 처리 수단은 중앙 연산 처리 장치(2) 상에서 실행되는 프로그램으로 하고 있지만, 각 수단이 하드웨어의 논리이더라도 좋다.

도 2는, 책이나 잡지 등의 원고(10)를 판독한 화상의 예이다. 원고면은 스캐너의 유리면에 밀착시키기 때문에, 유리면에 밀착한 원고면과 스캐너의 렌즈와의 거리는 일정하지만, 철한 곳(12) 부근의 원고면은 유리면에서 부상하기 때문에 스캐너의 렌즈와의 거리가 넓어지고, 이에 따라 스캐닝할 때 화상 크기가 감소하게 된다. 이 때문에, 철한 곳(12) 부근에 기하학적 왜곡이 발생한다. 또한, 스캐너는 원고면에 광을 조사하여, 그 반사광을 판독하기 때문에, 철한 곳(12) 부근과 같이 부상한 장소의 화상은 어둡게 되어 버린다.

이하의 설명에서는, 도 2의 수평 방향을 x 방향, 수직 방향을 y 방향으로 결정한다. 원점 O는 렌즈 중심에 맞추고, 화상 상부 중앙에 정한다. 화상을 판독하는 스캐너의 주 주사 방향은 X 축과 평행인 것으로 하고, 부 주사 방향은 y 방향과 평행인 것으로 한다. 즉, CCD 라인 센서와 x 축은 평행하고, 렌즈 및 CCD의 이동 방향은 y 방향과 평행하다는 것이다. 입력 화상 중의 원고(10)는 시계 방향으로 90° 회전하여 놓여 있는 것으로 하고, 화상의 상측에 오는 페이지를 좌측 페이지, 하측에 오는 페이지를 우측 페이지로 부르는 것으로 하여, 원고(1O)의 a를 원고 좌측 위, b를 원고 좌측 밑, c을 원고 우측 상, d를 원고 우측 하라고 부르는 것으로 한다. 원고면의 윤곽을 원고 에지라고 부르는 것으로 하고, 도 2의 13의 부분을 원고 상부 에지, 14의 부분을 원고 하부 에지라고 부르는 것으로 한다. 원고면은 유리면에 접하고 있는 부분은 평면이고, 원고 에지도 직선이 된다. 이러한 장소에서의 원고 에지의 접선을 기준선으로 하여, 원고 좌측 상의 기준선을 기준선(15a), 좌측 하의 기준선을 기준선(15b), 우측 상의 기준선을 기준선(15c), 우측 하의 기준선을 기준선(15d)로 한다.

또한, 화상은 원고(10)의 에지를 검출할 수 있도록, 원고(10)와 원고밖 영역(11)을 구별할 수 있도록 판독되고 있는 것으로 한다. 배경이 흰 통상의 원고의 경우, 스캐너의 덮개를 연 상태에서 원고를 판독하지만，스캐너의 덮개를 흑색 등으로 하여두는 것에 의해, 원고밖 영역(11)은 원고(10)보다도 어둡게 판독되기 때문에, 원고밖 영역(11)과 원고(10)에서 휘도차가 생겨, 원고(10)의 에지를 검출할 수가 있다. 또한, 거무스름한 원고였던 경우에는, 스캐너의 덮개를 백색 등 밝은 색으로 하고, 덮개를 덮고 화상을 로딩함으로써, 원고밖 영역(11)과 원고(10)에서 휘도차가 생기기 때문에, 마찬가지로 원고의 에지를 검출할 수가 있다.

이하, 각 화상 처리 수단에 관해서 상세히 설명한다. 이하의 설명에서는,특히 예고하지 않는한, 실제의 원고가 아니라, 렌즈에 의해서 투영되는 상을 이용하여 설명하고 있다. 이것은, 실제 원고와 그 상은 상사 관계에 있어, 크기가 다를 뿐이고, 형상으로 차이는 없는 것과, 화상으로서 CCD에 찍히는 것은 렌즈에 의해서 투영되는 원고의 상의 CCD 면에서의 단면이고, 화상과 동일 스케일로 원고의 상의 형상을 계산할 수가 있기 때문에, 보다 이해하기 쉽다고 하는 이유에 의한 것이다.

에지 검출 수단은, 예를 들면 에지 검출 필터를 사용하여 실현된다. 에지 검출 필터는, 소벨(Sobel)의 오퍼레이터나 프리위트(Prewitt)의 오퍼레이터 등 여러가지 것이 종래부터 제안되고 있다. 이들 에지 검출 필터는, 화상의 밝기가 급격하게 변화하는 장소만큼 큰 값을 출력한다. 원고면의 밝기가 원고면 이외의 부분과 다른 경우, 화상을 에지 검출 필터로 처리함으로써, 원고의 에지를 검출할 수가 있지만, 문자의 윤곽 등, 원고 에지 이외의 에지도 검출하여 버리기 때문에, 이하와 같이 하여 원고 에지만을 검출한다. 여기서 원고 에지란, 원고면의 가장 외측의 윤곽선의 것을 나타낸다.

도 3은 에지 검출의 순서를 도시하는 흐름도이다. 우선, 에지 검출 필터로 에지 검출을 행하고 (S1), 에지 검출 처리를 행한 화상의 끝으로부터 x 방향으로 소정의 임계치를 넘는 점(에지)을 찾는다 (S2). 이때, 발견되면 (S3) 에지의 타당성 체크를 행하고 (S4), 타당하면 위치를 기록하여 (S5), 다음의 라인으로 이동한다 (S7). 탐색 범위의 종단까지 에지가 발견되지 않을 때는 위치를 기록하지 않고서 다음의 라인으로 이동한다. 최후의 라인까지 도달하면(S8) 처리를 종료한다.

타당성의 체크에서는, 예를 들면, 고립점이 아닌것, 및, 원고 내측을 향해서 에지가 일정 거리 존재하고 있지 않은 것을 조사한다. 필터 처리로 검출된 에지가고립점인 경우, 스캐너의 유리면에 부착된 먼지, 먼지의 상이거나, 노이즈이기 때문에 이것을 제거한다. 고립점의 판단은, 필터 처리한 화상의 화소의 연결 성분을 조사하여, 연결되어 있는 화소의 수가 소정수 이하의 경우, 고립점이라고 판단한다. 또한, 화상에 찍힌 원고의 측면이나 커버 등도 에지 검출 필터에서 에지로서 검출되어 버리지만, 원고면의 상하단에는 공백이 있는 것으로 가정하면, 원고면의 에지의 내측에는 일단 에지는 존재하지 않는 것으로 생각된다. 이것으로부터, 검출된 에지로부터 원고 내측을 향해서 다른 에지가 일정 거리 존재하고 있지 않은 경우에는 원고의 에지라고 판단할 수 있다.

도 4는 에지 검출 결과와, 전후 에지 위치 차분의 절대치의 그래프를 나타내고 있다. 도 3에 따라, 에지 검출을 행한 경우, 에지의 검출 오류, 검출 누락을 포함하고 있는 경우가 있다. 이것은 각각 도 4의 가, 나 부분에 상당한다. 도 4의 가, 나 부분을 검출하기 위해서, 우선, 전후 에지 위치 차분의 절대치를 계산한다. 정확하게 원고 에지를 검출하고 있는 부분은 에지의 변화가 적기 때문에, 차분치는 작아지지만, 에지 검출을 잘못한 부분은 그 전후로 차분치가 증대한다. 에지의 검출 누락은, 그 전후에서 에지 검출의 데이터가 없는 것으로부터 판단할 수 있다. 이상에 의해, 차분치가 소정치 이하이고, 에지 검출 결과가 존재하고 있는 구간은 정확한 에지 검출 결과인 것으로 판단한다. 다만, 에지 검출 오류를 피하기 위해서, 소정의 길이 이하의 구간은 무시한다. 상기 이외의 구간은 그 전후의 구간의 데이터로부터 근사에 의해 보간한다. 근사 방법은, 직선으로 근사해도 좋고, 베쥬 곡선 등으로 근사해도 좋다.

이상에 의해, 원고의 상하에 대하여, 마찬가지의 처리를 행하는 것에 의해, 원고의 상하의 에지를 검출할 수가 있다.

다음에 도 5를 이용하여, 철한 곳 위치 검출 수단에 관해서 설명한다. 에지 검출 수단에 의해서 얻어진 상부 에지(13)와, 하부 에지(14)로부터 철한 곳(12)의 상하 끝점(12a, 12b)을 구한다. 철한 곳의 상부 끝점(12a)은 상부 에지(13)의 극소점, 철한 곳의 하부 끝점(12b)은 하부 에지(14)의 극대점으로 한다. 이때, 철한 곳이 아닌, 국소적인 극대, 극소점도 존재할 가능성이 있기 때문에, 가장 중심선에 가까운 극대, 극소점을 철한 곳 위치로 한다.

이상에 의해, 철한 곳의 상하 끝점이 구해지기 때문에, 이들을 연결하는 선이 철한 곳(12)이 된다. 다음에, 도 6을 이용하여 기준선 검출 수단에 관해서 설명한다. 원고면이 유리면에 접촉하고 있는 부분에서는 왜곡이 없기 때문에, 원고 에지도 직선이 된다. 이러한 직선을 기준선으로 하여, 후술의 화상 처리에서는 기준선과 에지의 위치 관계로부터 원고 형상을 계산하고 있다.

도 6의 20a는 좌측 페이지 상의 에지의 기울기, 20b는 우측 페이지 상의 에지의 기울기를 나타내고 있다. 또한, 21은 원고 상부의 에지 부근의 화소값의 변화를 나타내고 있다. 에지 부근의 화소값은, 에지로부터 소정 거리에 있는 화소의 값이라도 좋고, 그 주변의 평균치라도 좋다. 원고가 유리면에서 떨어진 장소에서는 화상이 어둡게 되기 때문에, 화소값은 작아진다. 이 때문에, 화소값의 최대치로부터 소정의 범위에 있는 부분은 유리면에 접촉한 부분으로 판단할 수 있다. 상기 범위에서, 에지의 기울기 20a 및 20b 에서 기울기가 거의 일정한 값이 되는 장소를 검출하여, 구한 값을 각각 기준선의 기울기로 한다. 원고가 유리면에 접촉하고 있는 구간에서의 에지 위치를 통과점으로 하는, 상기 기울기의 직선이 기준선이 된다. 통과점은 유리면에 접촉하고 있는 것으로 판단한 구간 내이면 어디나 좋지만, 구간의 양단 부분은 에지가 굽기 시작하는 부분이고, 반드시 직선으로 되어 있지 않은 경우도 있기 때문에, 구간의 중심 부근인 쪽이 바람직하다.

원고 하부에 관해서도 마찬가지의 처리를 행하는 것에 의해, 원고 상하의 에지의 기준선(15a, 15b, 15c, 15d)를 구할 수 있다.

다음에, 도 7을 이용하여 원고 끝점 검출 수단에 관해서 설명한다. 유리면에 밀착하고 있는 부분의 원고면의 밝기는 대략 일정한 것으로 생각되지만, 원고의 외측은 스캐너 등의 광원으로부터 떨어지기 때문에 어둡게 된다. 도 6과 마찬가지로, 원고 상하에서 에지 부근의 화소값의 변화를 구하여, 각각, 좌우의 페이지에서 화소값의 최대치와 비교해서, 일정 비율 이상 작아지는 장소를 검출한다 (S11).

또한, 일반적으로, 스캐너나 복사기 등의 광원은 원고의 바로 아래에서가 아니라, 경사 방향으로부터 쪼여지기 때문에, 원고 좌우의 측면에서 광의 입사각이 다르고, 화상에 비치는 밝기가 다른 경우가 있다. 이 때문에, 예를 들면, 원고 좌측은 3%, 우측은 5% 화소값이 작아지면 원고 끝점이라고 판단하는 등, 원고의 좌우에서 판단 기준을 바꾸어도 좋다. 도 8과 같이, 검출한 끝점(22a, 22b, 22c, 22d)에서 원고의 상하 반대측의 기준선에 수선(垂線)을 내고 (Sl2), 원고의 외측이 되는 수선을 좌우 각각으로 선택하여, 기준선과의 교점을 새로이 원고 끝점(22a′, 22b′, 22c′, 22d′)으로 한다 (S13). 본 실시 형태에서는, 필요한 부분이 잘려나가지 않도록, 원고의 외측이 되는 수선을 선택하고 있지만, 불필요한 부분을 될 수 있는 한 줄이기 위해, 내측이 되는 수선을 선택해도 좋다.

다음에 도 9를 이용하여 측면 경사각 산출 수단에 관해서 설명한다. 도 9는 렌즈와 원고의 상(像)의 관계를 나타내고 있고, 원고의 상을 y 축 방향에서 보아서, 90도 회전시킨 도면이다. 도면에서는, CCD 면 및, 유리면에 수직으로 z 축을 설정하고, 렌즈 중심을 원점 O로 하고 있다. 렌즈와 CCD 면의 거리는 f로 한다. 원점 상부가 가라앉고 있기 때문에, 철한 곳이 원고 상측에 경사하고 있음을 나타내고 있다. 도면 중의 실선은, 렌즈에 의해서 투영된 원고의 상을 나타내고 있다. 철한 곳의 상하 끝점 El; E2는, CCD 상에서는 축소되고, P1; P2의 위치에 보인다. 이것은 책을 스캐너로 판독하였을 때, 부상하고 있는 부분의 화상은 축소되는 것을 나타내고 있다.

여기서, E1; E2대로, 철한 곳 L0에 수직인 선을 Ll; L2로 한다. 책 등의 원고는, 장방형의 종이를 1변으로 제본한 것이기 때문에, 철한 곳과 상하 측면의 관계는 직각인 것으로 생각해도 좋다. 이 때문에, 직선 Ll; L2은 각각 원고의 상부 측면, 하부 측면과 일치하고 있는 것으로 한다.

또한, Ll; L2와 CCD 면과의 교점 Bl; B2는, 에지의 기준선 상에 있는 것으로 한다. 이때, 이하와 같이 하여, 원고 측면의 기울기 α를 산출한다. 지금, CCD 상에 있어, 철한 곳의 상단, 하단이 각각 점 P1 ; P2의 위치에 비쳐 보이고 있는 것으로 한다. 이때, 철한 곳의 상단, 하단의 상은 각각 직선 M1및, M2 상에 존재하고, 직선 LO와 L1, L2의 교점 E1, E2의 위치에 있다.

우선, L1과 M1의 교점 E1을 구한다. 직선 Ll, M1은 각각 다음의 수학식 1과 수학식 2로 표현된다.

수학식 1과 수학식 2로부터 L1과 M1의 교점 E1은 하기의 수학식 3으로 표현된다.

다음에, L2과 M2의 교점 E2를 구한다. 직선 L2, M2는 각각 수학식 4와 수학식 5로 표현된다.

수학식 4 및 수학식 5로부터, L2와 M2의 교점 E2는 수학식 6으로 표현된다.

수학식 3과 수학식 6으로부터 직선 LO의 방향 벡터는, 수학식 7로 표현된다.

직선 L0 및 L1, L2가 직교하는 조건으로부터 수학식 8이 얻어진다.

이것을 간단히 하면, 수학식 9가 된다.

상기한 바와 같이 수학식 8을 간단히 하면, α의 3차 방정식이 되고, 그 해가 구하는 측면의 기울기α가 된다. 일반적으로 3차 방정식을 푸는 것은 어렵지만, 실제로는 측면의 기울기는 거의 z축과 평행에 가깝고, B1, P1 및 B2, P2의 z 축으로부터의 거리의 비율로부터, 상하 어느 측에 철한 곳이 가라앉아 있어도 알기때문에, 대개의 해는 안다. 미리 대개의 해를 알고 있는 경우, 2분법 등을 이용하면, 반복 계산으로 근사해를 간단히 구할 수 있다.

다음에, 에지 3차원 위치 산출 수단에 관해서 설명한다. 측면 경사각 산출 수단에 의해서 원고의 상하 측면의 기울기 α를 구할 때에 이용한 수학식 3, 수학식 6은, 철한 곳의 상하 끝점뿐만 아니라, 에지 전체에 적용할 수가 있다.

렌즈와 CCD의 거리 f, 기준선의 위치, CCD 면에 찍힌 에지의 위치, 원고의 상하 측면의 기울기 α를 수학식 3, 수학식 6에 적용함으로써, 에지의 x, z 좌표치를 안다. 스캐너 등의 입력 장치의 경우, CCD 및 렌즈를 주사하여 촬상하기 때문에, y 방향으로는 평행 투영이 되고, CCD에 찍힌 에지의 y 좌표와, 투영된 상에 있어서의 y 좌표는 일치하고 있기 때문에 계산할 필요는 없다. 따라서, 상기한 x, z 좌표와 맞춰서, 에지의 상의 3차원 위치를 구할 수 있다.

다음에, 도 10, 도 11을 이용하여, 원고 형상 산출 수단에 관해서 설명한다. 도 10은, 렌즈(16)에 의해서 투영된 원고의 상(좌측 페이지만)을 나타내고 있다. 유리면에 접촉하고 있는 원고는 CCD 면(17) 상에 투영되지만, 유리면에서 부상하고 있는 부분은 CCD 면보다 멀리 투영된다. 철한 곳, 상부 에지, 하부 에지는 12′, 13′, 14′에 대응하고 있고, CCD에 찍힌 화상에서는, 12, 13, 14의 위치에 보이는 것이 된다. 상기, 에지 3차원 위치 산출 수단에 의해, 철한 곳(12′) ,상부 에지(13′), 하부 에지(14′), 원고 좌단(18)의 위치는 알고 있기 때문에, 그 사이의 원고면의 위치를 구한다. 원고면의 상(像)의 임의의 위치에서의 3차원 좌표를 알면, 렌즈와 CCD의 위치 관계로부터 간단히 CCD에 찍힌 화상과의 대응을 취할 수있어, 화상을 평면으로 보정하는 것이 가능해진다.

도 11은, 투영된 상을 평면으로 복귀한 도면이다. 원고 형상이 장방형인 것으로 가정하면, 투영된 상을 평면으로 복귀한 것도, 당연히 장방형이 된다. 도 11의 장방형의 위의 근처가 상부 에지(13′), 아래의 근처가 하부 에지(14′)에 대응하고 있다. 다만, 측정 오차 등의 이유에 의해, 산출되는 에지의 길이가 다른 적이 있기 때문에, 상부 에지와 하부 에지의 어느 쪽에 길이를 맞출 필요가 있다. 예를 들면, 하부 에지(14′)가 상부 에지(13′)보다 짧은 경우, 우선, 상부 에지(13′)와 장방형의 위의 근처를 대응시켜, 하부 에지(14′)에 대해서는 장방형의 아래의 근처의 대응 위치를 늘이는 것에 의해, 하부 에지(14′)와 장방형의 아래의 주변을 일치시킨다.

또한, 장방형의 좌우 근처의 길이, 즉 보정 후 페이지의 높이는, 원고 상하의 에지 기준선 사이의 거리와 일치시킨다. 다만, 측정 오차 등의 이유에 의해, 원고 상하의 기준선 사이의 거리가 다른 적이 있기 때문에, 예를 들면, 좌우 페이지의 평균치에 정합한다. 혹은, 어느 쪽이건 한쪽에 합쳐서도 좋다.

원고면이 유리면에서 부상을 시작하는 장소를 상승선(19)이라고 부르기로 한다. 상승선은, 직선인 것으로 한다. 원고면이 부상한 부분은, 상승선(19)과 철한 곳(12′)의 2 직선으로 구속되기 때문에, 원고면은 상승선(19)으로부터 철한 곳(12′)에 걸쳐서 연속적으로 기울기가 변화하는 직선의 집합이라고 생각할 수 있다. 본 실시 형태에서는, 이 직선은 상승선(19)과 철한 곳(12′)을 일정한 비율로 내분하는 위치에 있는 직선인 것으로 가정하지만, 다른 모델을 사용해도 좋다. 일정한비율로 내분하는 직선이란 도 11의 파선에 대해, 수평 방향의 내분비가 동일하게 되는 점의 집합으로 한다. 원고 좌단(18)과 상승선(19)의 사이는 평면이기 때문에, 이러한 모델화를 할 필요는 없지만, 곡면 부분과 동일 처리를 행할 수 있기 때문에, 원고 좌단(18)과 상승선(19)의 사이도 일정한 비율로 내분하는 위치에 있는 직선의 집합이라고 생각한다.

도 12에 원고면 상의 점 P의 3차원 좌표를 구하는 방법의 흐름도를 나타낸다. 우선, 점 P의 13′,14′ 사이의 내분비 m:n과 19, 12′ 사이의 내분비 a:b를 구한다 (S21). 13′ 상에 있어 19, 12′를 a:b로 내분하는 점 U1과, 14′상에서 19, 12′를 a:b로 내분하는 점 B1을 구한다 (S22). 상부 에지(13′) 및, 하부 에지(14′) 상의 3차원 좌표는, 상기 에지 3차원 위치 산출 수단에 의해서 구해지고 있기 때문에, U1, B1의 좌표는 알고 있다. U1과 B1의 사이의 원고면은 직선인 것으로 가정하고 있기 때문에, 그 직선을 m:n으로 내분하는 점이 P가 된다. 상기한 바와 같이, 원고면의 임의의 점의 3차원 위치, 즉 원고면의 3차원 형상을 구할 수 있다.

도 13을 이용하여 휘도 보정 파라미터 산출 수단에 관해서 설명한다. 상기 원고 형상 산출 수단과 마찬가지로, 주목점 P에서, l9, 12′ 사이의 내분비 a:b와 13′, 14′ 사이의 내분비 m:n을 구한다 (S31). 13′, 14′ 상에서 a:b로 내분하는 점 U1, B1을 구하고, U1과 B1의 CCD 면 상에서의 원고의 배경 휘도의 값을 구한다 (S32). 책 등의 원고는 에지 부근은 공백인 것으로 생각하면 좋고, 에지 부근의 화소값을 배경 휘도라고 하면 좋다. 에지 부근의 화소값은, 에지로부터 일정거리의 화소의 값이라도 좋고, 일정 범위의 화소의 값의 평균이라도 좋다. 다만, 에지 부근에 문자나 그림이 그려져 있을 수도 있기 때문에, 미리, 에지 부근의 화소값을 조사해두고, 도 14와 같이, 극단으로 변화하는 장소는 전후의 화소값으로부터 보간하여둔다. U1로부터 B1 사이의 배경 휘도는 직선적으로 변화하는 것으로 가정하여, U1과 B1의 배경 휘도값을 m:n로 내분하는 값을 P의 배경 휘도로 한다 (S33). 배경 휘도와 목표 휘도로부터 휘도 보정 파라미터를 구한다 (S34). 목표 휘도를 Bg, 배경 휘도를 Bb로 하면, 휘도 보정 파라미터 Br은 식(10)과 같이 구해진다.

Br = Bg/Bb

목표 휘도는 화상 전체의 배경 휘도의 최대치라도 좋고, 충분히 밝은 화소값, 혹은, 화소값을 취할 수 있는 범위에서 최대의 값이라도 좋다. Iin을 보정 전의 화소값, Iout를 보정 후의 화소값으로 하면, 휘도 보정 파라미터 Br을 사용하여, 수학식 11과 같이 휘도 보정을 행할 수 있다.

본 실시 형태에서는, 휘도 보정은 화상 보정 수단에 있어서 왜곡 보정과 동시에 행해진다.

Iout = BrIin

실제는, 화소값은 0으로부터 255 등, 유한의 범위 내의 값을 취하기 때문에, 수학식 11은 최대치로 포화하도록 한다. 또한, 철한 곳 부근이 어둡게 된 화상을수학식 11을 이용하여 보정하면, 문자 부분이 지나치게 밝아져, 희미해질 수도 있기 때문에, 일정치 이하의 화소에 관해서 보정 파라미터를 바꾸거나 혹은, 보정하지 않아도 좋다.

다음에, 화상 보정 수단에 관해서 설명한다. 도 11에 있어서, 임의의 원고면 상의 점 P의 화소값이 구해지면, 왜곡이 있는 화상을 마치 원고면이 평면이던것처럼 보정할 수가 있다. 이미, 상기 원고 형상 산출 수단에 의해, 원고면의 3차원 형상은 알고 있다.

도 15를 이용하여, 원고면의 상의 3차원 위치 P에서 CCD에 찍힌 화상의 참조 위치 P′를 구하는 방법을 설명한다. 원고면의 3차원 위치를 P(x0, y0, Z0), CCD에 찍히고 있는 P의 위치를 P′(x1, yl, z1)로 하면, P′는 삼각형의 상사의 관계로부터, 수학식 12와 같이 구해진다.

여기서, f란 렌즈와 CCD의 거리이다. 스캐너나 복사기의 경우, 렌즈와 CCD를 주사함으로써 촬상하기 때문에, 렌즈의 이동 방향인 y 방향에는 평행 투영이 되어, 원고의 상과 CCD 면 상의 y 좌표는 변하지 않는다.

이상과 같이, 원고면의 임의의 위치에서, 참조하여야 할 화상의 좌표가 구해지고, 화소값도 얻을 수 있다. 원고면의 끝으로부터 순으로 참조 화소를 구하여,출력함으로써, 화상의 왜곡 뿐만아니라, 스큐도 보정한 화상을 얻을 수 있다. 또한, 화상 보정 수단으로서는 화소값을 출력할 때, 수학식 11을 이용하여 동시에 휘도 보정도 행한다. 본 실시 형태로서는 보정 파라미터, 및 화소의 화상 중에서의 참조 좌표는 각 화소마다 구하고 있지만, 화상을 일정한 크기의 격자로 단락하여, 격자점에서만, 보정 파라미터, 참조 좌표를 구하고, 그 이외의 장소에서는 상기한 값을 보간한 것을 이용하여도 좋다.

다음에, 화상 출력 수단에 관해서 설명한다. 본 실시 형태의 화상 보정 장치에서는, 원고 형상 산출 수단에 의해서 원고면의 3차원 형상을 구하여, 원고면만을 촬상된 화상과 대응시켜, 화상 보정 수단에 의해서 보정을 행하고 있다. 이 때문에, 원고의 좌우단과 상하의 에지로 둘러싸인 범위의 화상만이 보정되는 것으로 되고, 원고면 이외의 여분의 부분은 보정되지 않는다. 화상 출력 수단은 상기한 바와 같은 보정 화상을 출력함으로써, 원고 이외의 불필요한 부분을 제거한 화상을 출력할 수가 있다. 또한, 보정 후의 원고면의 크기를 알고 있는 것부터, 화상의 크기에 맞춰서, 최적인 용지에 출력하면, 사용자가 용지 선택을 행하는 일없이, 낭비가 없는 프린트 출력을 행할 수 있다.

또한, 철한 곳 위치 검출 수단에 의해서, 원고의 철한 곳 위치를 알고 있기 때문에, 철한 곳 위치에서 출력을 분할함으로써, 좌우의 페이지를 따로따로 출력할 수가 있다. 이에 따라, 좌우의 페이지를 따로따로 판독하지 않더라도, 한번에 판독할 뿐이고, 별도의 종이에 출력하는 것도 할 수 있다.

또한, 철한 곳 부분의 그림자는 화상 보정 수단으로 휘도 보정을 행하더라도제거할 수 없는 경우도 있기 때문에, 철한 곳 부근의 화상을 출력할 때에는 백(白) 데이터로 변환하여 출력하더라도 좋다. 원고가 백이 아닌 경우도 있기 때문에, 백 데이터가 아니고, 철한 곳의 외측의 화소값으로 변환해도 좋다.

〔실시 형태2〕

제2 실시의 형태는 제1 실시의 형태와 비교하여, 화상 축소 수단이 더해지고, 원고 형상 산출 수단이 다르다. 그 밖의 부분은, 제1 실시의 형태와 동일하다. 본 실시의 상태에서는, 화상 축소 수단 및, 원고 형상 산출 수단은 중앙 연산 처리 장치(2) 상에서 실행되는 프로그램으로서 실현되지만, 각 수단이 하드웨어의 논리라도 좋다. 화상 축소 수단은, 입력 화상에 있어서, 복수 화소의 평균을 잡아, 그것을 1 화소로서 출력한다. 혹은, 화소를 추출하고 출력함으로써 실현할 수 있다. 제1 실시의 형태에서는, 입력한 화상으로부터 원고 형상을 구하고 있지만, 복사기 등에서 입력되는 화상은, 예를 들면 400 dpi나 600 dpi 라고 하는 매우 고해상도의 화상이고, 이러한 고해상도의 화상으로부터 원고 형상을 구하는 경우에는 매우 많은 메모리가 필요하고, 또한, 많은 계산시간이 걸린다고 하는 문제가 있다. 예를 들면 화상을 1/4로 축소함으로써, 데이터량은 1/16이 되고, 보다 적은 메모리로 고속으로 화상 처리를 행할 수 있다.

다음에, 원고 형상 산출 수단에 관해서 설명한다. 원고 형상 산출 수단은, 원고의 3차원 형상을 산출하는 곳까지는 제1 실시의 형태와 동일하다. 원고의 3차원 형상 데이터는 축소 화상에 의해서 구한 것이고, 화상 보정은 축소 화상이 아니고, 입력 화상으로 행할 필요가 있기 때문에, 원고의 3차원 형상 데이터를 수정할필요가 있다.

데이터의 수정은, 예를 들면 축소 화상의 배율이 1/4이면, 원고의 3차원 형상 데이터를 4배하면 좋다. 또한, 원고의 형상 확인을 행할 때와, 화상 수정을 행할 때의 2회, 화상 입력을 행하는 것에 의해, 필요한 메모리량을 삭감할 수가 있다.

한번의 화상 입력으로 모든 처리를 행하는 경우에는, 화상 모두를 메모리 상에 갖다 놓을 필요가 있지만, 화상 입력을 2회 행하는 것에 의해, 형상 인식으로서는 축소 화상의 용량 정도의 메모리로 종료되고, 화상 수정으로서는 화상을 입력하면서 보정을 행하면 좋으므로, 화상의 일부분만을 메모리 상에 놓으면 처리를 행할 수 있다.

〔실시 형태3〕

제3 실시 형태는, 제1 실시 형태에 화상 보정을 행할지의 여부를 선택하는 선택 수단을 설치하여, 화상의 입력 특성을 전환할 수 있도록 한 것이다. 선택 수단은, 소프트웨어의 선택 메뉴라도 좋고, 하드웨어 스위치라도 좋다. 예를 들면, 보정을 행하는 경우에는 입력 화상을 보정하여 출력하고, 행하지 않는 경우에는 입력 화상을 그대로 출력한다. 통상의 복사기로서는 검은 문자는 검고, 흰 배경은 희게 되도록 입력 특성을 조절하고 있지만, 본 발명의 화상 보정 장치로서는 원고의 에지를 검출할 필요가 있기 때문에, 철한 곳 부근의 화상이 까맣게 되어 버려 정확하게 에지 검출을 행할 수 없다. 왜곡 보정을 행하는 경우에는, 화상을 밝게 입력함으로써, 철한 곳 부근의 화상도 어두워지지 않고, 정확하게 에지를 검출할수가 있다. 또한, 왜곡 보정시에 휘도 보정을 행하는 것에 의해, 실제의 원고와 보정후의 화상의 밝기를 일치시킬 수도 있게 된다.

이상과 같이, 보정을 행할지의 여부에 의해 입력 특성을 전환하는 것에 의해, 각각 최적인 화상을 얻을 수 있고, 또한, 정확하게 왜곡 보정을 행할 수 있다.

〔실시 형태4〕

제4 실시 형태는, 제1 실시 형태에 원고 영역 검출 수단을 더한 것이다. 도 16을 이용하여, 원고 영역 검출 수단을 설명한다.

도 16은, 원고(10)가 화상 영역에서 밀려나와 있는 것을 나타내고 있다. 예를 들면, 배경이 흰 밝은 원고를 스캐너로 판독한 경우, 원고 영역의 화소값은 크기 때문에, 화상 중에서 화소값이 일정치 이상인 영역을 검출한다. 그 영역의 범위가, 화상의 외부 프레임과 접하고 있는 경우, 원고는 화상 영역에서 밀려나와 있는 것으로 판단할 수 있다.

원고가 화상 영역에서 밀려나와 있는 경우, 정확하게 원고의 상하의 에지를 검출할 수 없기 때문에, 왜곡 보정을 행할 수 없다. 이 때문에, 원고의 밀려나옴을 검출한 경우에는 왜곡 보정 동작은 행하지 않게 된다. 본 실시의 형태에서는, 원고 영역의 검출을 화상으로부터 행하고 있지만, 별도 센서를 설치하여, 센서에 에 의해서 원고의 위치를 검출해도 좋다. 또한, 원고의 좌우가 밀려나와도 형상 인식에는 그다지 영향이 없기 때문에, 좌우의 밀려나옴은 무시하고, 상하의 밀려나옴만을 검출해도 좋다.

본 발명은, 그 정신 또는 주요한 특징으로부터 일탈하지 않고, 다른 여러가지의 형으로 실시할 수가 있다. 따라서, 전술한 실시의 형태는, 모든 점에서 단순한 예시에 지나지 않고, 본 발명의 범위는, 청구의 범위에 도시하는 것이며, 명세서 본문에는 전혀 구속되지 않는다.

또한, 청구의 범위의 균등 범위에 속하는 변형이나 변경은, 전부 본 발명의 범위 내의 것이다.

본 발명에 따르면, 책이나 잡지 등을 스캐너나 복사기로 판독하였을 때에 생기는 왜곡, 그림자를 보정함으로써, 마치 원고가 평면이었던 것처럼 할 수가 있다. 또한, 원고의 철한 곳에서의 가라앉는 부분이 상하에서 다르거나, 원고가 회전하고 있더라도 보정하는 것이 가능해진다.

또한 본 발명에 따르면, 에지 검출 처리 후의 화상의 연결 성분의 장단에 의한 고립점의 판단 외에 에지의 위치 변화가 적은 장소 중 소정의 길이 이상의 구간을 에지 위치로서 검출하고, 검출되고 있지 않은 구간은 전후의 검출한 구간에서 보간함으로써, 에지의 검출 오류 혹은 에지 검출 누설을 없애어, 안정적으로 에지를 검출할 수가 있게 되었다.

또한 본 발명에 따르면, 에지 위치의 극대 혹은 극소점 중, 가장 화상의 중심에 가까운 것을 철한 곳으로서 검출함으로써, 국소적인 미세한 형상 변화에 영향받지 않고서, 안정적으로 철한 곳 위치를 검출할 수 있게 되었다.

또한 본 발명에 따르면, 에지의 기울기의 변화량이 기준치 이하가 되는 구간중, 가장 긴 구간에서의 평균 에지의 기울기를 기준선의 기울기로 함으로써, 연속적으로 기울기가 변화하는 원고의 에지 중에서 기준선의 기울기를 정확하게 검출할 수가 있게 된다. 또한 본 발명에 따르면, 원고 좌우의 페이지를 별개의 판정 기준으로 원고 끝점을 검출함으로써, 통상 경사 방향으로부터 광이 비춰지는 스캐너, 복사기에 있어서, 좌우의 페이지의 끝점을 각각 최적으로 검출할 수가 있게 된다.

또한 본 발명에 따르면, 원고면을 연속적으로 기울기가 변하는 직선의 집합으로서 근사함으로써, 원고면내의 임의의 점의 원고 형상의 보정 파라미터를 내분비로부터 간단히 구할 수 있게 되었다.

또한 본 발명에 따르면, 산출된 원고 에지의 길이가 상하에서 다른 경우, 어느쪽이던 한쪽의 길이로 데이터를 수정함으로써, 상하에서 길이가 다른 형태로 화상을 보정하는 것보다도, 보정후의 화상을, 보다 자연스러운 인상으로 할 수 있게 되었다.

또한 본 발명에 따르면, 산출된 원고의 세로의 길이가 좌우로 다른 경우, 어느 쪽이든 한쪽 길이 데이터를 수정함으로써, 좌우의 밸런스를 유지할 수 있어, 보정한 화상을 보다 자연스러운 인상으로 할 수 있게 되었다.

또한 본 발명에 따르면, 판독한 화상을 축소한 화상으로 형상 인식을 함으로써, 판독한 채로의 고해상도의 화상으로부터 형상 인식하는 것보다도 처리를 대폭 가볍게 할 수가 있게 되었다.

또한 본 발명에 따르면, 원고면을 연속적으로 기울기가 변하는 직선의 집합으로서 근사함으로써, 원고면내의 임의의 점의 휘도 보정 파라미터를 내분비로부터 간단히 구할 수 있게 되었다.

또한 본 발명에 따르면, 철한 곳 부근의 화상을 공백으로 변환하여 출력함으로써, 화상을 보정할 수 없는 장소를 눈에 띄지 않게 할 수가 있게 되었다. 또한,철한 곳 부근의 화상을 철한 곳으로부터 떨어진 장소의 화소값으로 변환하여 출력함으로써, 원고가 백 이외의 색의 경우에도, 원고에 정합한 색으로 철한 곳 부근의 화상을 지울 수 있게 되었다.

또한 본 발명에 따르면, 화상의 판독을, 형상 인식을 위한 화상 판독과 보정 대상 화상의 판독으로 나눔으로써, 필요한 메모리량을 대폭 삭감할 수가 있다.

또한 본 발명에 따르면, 화상의 왜곡을 보정하지 않은 경우와, 보정하는 경우로 별개의 입력 특성으로 화상의 판독을 행함으로써, 왜곡 보정을 하지 않은 경우에는 흑백의 콘트라스트를 높게 판독할 수 있고, 왜곡 보정하는 경우에는 에지의 형상을 검출하기 쉽게 화상을 입력할 수가 있다.

또한 본 발명에 따르면, 원고가 화상으로부터 밀려나오고 있던 경우, 보정을 행하지 않는 것에 의해, 쓸데없는 종이를 절약할 수가 있다.

Claims

철한 곳의 상하의 부상량(浮上量)이 상이한 원고의 화상을 보정하는 화상 보정 장치에 있어서,

원고 에지를 검출하는 에지 검출 수단;

원고의 철한 곳의 위치를 구하는 철한 곳 위치 검출 수단;

원고의 위치의 기준선을 구하는 기준선 검출 수단;

상기 기준선과 철한 곳의 위치로부터 원고의 상하 측면의 경사각을 계산하는 측면 경사각 산출 수단;

상기 에지와 기준선과 경사각으로부터 원고의 상하 에지의 3차원 위치를 계산하는 에지 3차원 위치 산출 수단; 및

상기 에지의 3차원 위치로부터 원고 전체의 형상을 계산하는 원고 형상 산출 수단

을 구비하는 것을 특징으로 하는 화상 보정 장치.
제1항에 있어서,

상기 에지 부근의 화상의 휘도 변화로부터 원고의 좌우의 끝점을 구하는 원고 끝점 검출 수단;

상기 원고의 3차원 형상에 따라, 화상으로부터 보정 대상 화소의 배경 휘도를 구하고, 배경 휘도와 목표 휘도로부터 화소의 휘도 보정 파라미터를 구하는 휘도 보정 파라미터 산출 수단을 구비하며,

상기 원고의 3차원 형상과 휘도 보정 파라미터를 이용하여 입력된 화상을 보정하는 것을 특징으로 하는 화상 보정 장치.
제2항에 있어서,

상기 에지 검출 수단은, 에지의 위치 변화가 적은 장소에서 소정의 길이 이상의 구간을 검출하여, 상기 구간 이외는 전후로 검출한 구간에서 보간한 위치를 원고 에지의 위치로 하는 것을 특징으로 하는 화상 보정 장치.
제2항에 있어서,

상기 철한 곳 위치 검출 수단은, 상기 에지 검출 수단에 의해서 검출된 에지 위치의 극대점 혹은 극소점 중, 화상의 중심에 가장 가까운 것을 철한 곳 위치로서 검출하는 것을 특징으로 하는 화상 보정 장치.
제2항에 있어서,

상기 기준선 검출 수단은, 에지 부근의 화상의 화소값이 제1 기준치 이상이고, 또한, 에지의 기울기 변화량이 제2 기준치 이하로 되는 구간 중, 가장 긴 구간에서의 평균 에지의 기울기를 기준선의 기울기로 하여, 상기 최장 구간의 원고 외측의 끝점에서 상기 기울기로 연장한 직선을 기준선으로 하여, 원고 좌우 혹은 상하의 에지에 관해서 각각 기준선을 검출하는 것을 특징으로 하는 화상 보정 장치.
제2항에 있어서,

상기 원고 끝점 검출 수단은, 원고 좌우의 페이지로 별개의 판정 기준에 기초하여 원고 끝점을 검출하는 것을 특징으로 하는 화상 보정 장치.
제2항에 있어서,

상기 원고 형상 산출 수단은, 원고면 상하의 에지 사이를 연결하는 직선의 집합으로 근사화하고, 원고면의 3차원 위치를 상기 직선의 상하 끝점 위치의 내분비로부터 구하는 것을 특징으로 하는 화상 보정 장치.
제7항에 있어서,

상기 원고 형상 산출 수단은, 산출된 에지의 길이가 상하에서 다른 경우, 동일한 길이가 되도록 에지의 3차원 위치를 수정하는 것을 특징으로 하는 화상 보정 장치.
제7항 또는 제8항에 있어서,

상기 원고 형상 산출 수단은, 산출된 원고의 세로 길이가 좌우의 페이지에서 다른 경우, 세로 길이가 좌우로 동일해지도록 원고의 3차원 형상 데이터를 수정하는 것을 특징으로 하는 화상 보정 장치.
제2항, 제7항 내지 제8항 중 어느 한 항에 있어서,

상기 원고 형상 산출 수단은, 입력된 화상을 소정의 축소율로 축소하는 화상 축소 수단을 갖고, 상기 축소된 화상으로부터 원고의 3차원 형상을 구한 후, 상기 축소율에 따라 원고의 3차원 형상 데이터를 수정하는 것을 특징으로 하는 화상 보정 장치.
제7항에 있어서,

상기 휘도 보정 파라미터 산출 수단은, 원고면을 근사화하는 직선의 상하 끝점 부근 화상의 휘도 내분비로부터 보정 대상 화소의 배경 휘도를 구하고, 배경 휘도에 대한 목표 휘도의 비를 휘도 보정 파라미터로 하는 것을 특징으로 하는 화상 보정 장치.
제1항, 제2항, 제4항 중 어느 한 항에 있어서,

상기 측면 경사 화상 보정 수단은, 상기 철한 곳 위치 부근의 화소값을 공백으로 변환하여 상기 화상 출력 수단에 출력하는 것을 특징으로 하는 화상 보정 장치.
제1항, 제2항, 제4항 중 어느 한 항에 있어서,

상기 측면 경사 화상 보정 수단은, 상기 철한 곳 위치 부근의 화소값을 철한 곳 위치에서 떨어진 장소의 화소값으로 변환하여 상기 화상 출력 수단에 출력하는 것을 특징으로 하는 화상 보정 장치.
제2항에 있어서,

상기 측면 경사 화상 보정 수단은, 상기 축소 화상을 작성하기 위한 화상의 판독과, 보정 대상이 되는 화상의 판독을 별도로 행하는 것을 특징으로 하는 화상 보정 장치.
제1항 내지 제8항 중 어느 한항에 있어서,

화상 보정의 적용을 선택하는 보정 선택 수단을 구비하고, 화상의 보정을 행하는 경우와 행하지 않는 경우에 다른 입력 특성으로 화상의 입력을 행하는 화상 입력 수단을 구비하는 것을 특징으로 하는 화상 보정 장치.
제1항 내지 제8항 중 어느 한 항에 있어서,

입력된 화상으로부터 원고의 영역을 검출하는 원고 영역 검출 수단을 구비하고, 원고 영역이 화상으로부터 밀려나오고 있는 경우에는 보정을 행하지 않는 것을 특징으로 하는 화상 보정 장치.