KR20090133071A - 자동인쇄에서 이미지의 방향성을 정정하기 위한 방법, 화상형성방법 및 화상형성장치 - Google Patents

Abstract

화상형성방법이 개시된다. 본 화상형성방법은, 이미지를 입력받는 단계, 입력된 이미지의 텍스트 영역을 검출하는 단계, 검출된 텍스트 영역에 대해서 이진 이미지로 변환하고, 이진 이미지의 비대칭 파라미터를 계산하는 단계, 및 계산된 비대칭 파라미터에 기초하여 이미지의 방향성(orientation)을 검출하는 단계를 포함한다.

화상형성장치, 방향성, 비대칭, 텍스트, 프로파일

Description

자동인쇄에서 이미지의 방향성을 정정하기 위한 방법, 화상형성방법 및 화상형성장치{THE METHOD OF CORRECT ORIENTATION OF IMAGES AT AUTOMATIC PRINT, METHOD OF IMAGE FORMING AND IMAGE FORMING APPARTUS}

본 발명은 스캐닝 및 복사의 분야에서 이미지들을 처리하며 처리된 이미지들의 정확한 방향성(orientation)을 검출하는 것에 관한 것으로, 특히, 텍스트 인식에 관한 것이다.

품질 보증의 개선과 텍스트의 인식의 처리를 위한 노력들은 개별 페이지들의 방향성의 자동 검출 필요성을 포함한다. 종이 문서를 스캐닝하는 동안 역전된 페이지(상측이 아래로)가 발견될 수 있다. 문서의 페이지의 방향성은 텍스트의 라인들의 인쇄의 방향에 의해 결정된다. 인쇄를 하는 동안 텍스트는 일반적으로 포트레이트(portrait) 또는 랜드스케이프(landscape) 모드로 분류된다. 따라서, 페이지는 인쇄의 수평 모드(포트레이트 모드) 또는 인쇄의 수직 모드(랜드스케이프 모드)로 인쇄될 수 있다. 텍스트를 인식하는 처리를 위해서는, 인식 동작을 시작하기 전에 문서의 이미지에 있는 텍스트의 방향성을 아는 것이 중요하다. 텍스트를 인식하는 처리의 자동화를 위해, 페이지들의 방향성의 자동 검출은 일반적인 생산성을 향상 시킨다.

또한, 자동 급지기(automatic feeder)로부터 급지된 페이지들을 정확한 방향으로 복사하는 것은 추가적인 처리, 예를 들어, 스태플러(stapler), 펀치(puncher), 또는 인쇄된 블록들을 묶기 위한 기계에 의한 처리 등과 같은 처리를 수행하는데 있어서도 중요하다. 본 발명에서는, 다목적 디지털 장치들(Multi Function Peripherial: MFP)에서 사용될 수 있는, 문서의 방향성의 자동 검출을 위한 새로운 알고리즘을 제공한다.

문서의 방향성의 검출을 위한 이전의 방법들은 이진 이미지(binary image)에서 돌출부분(projection)의 프로파일(profile)들의 수직 및 수평 변화에 기초한 방법을 사용하였다. 이와 같은 방법에서 주된 에러의 원인은 비텍스트(non-text) 데이터의 존재였다. 그러나, 이러한 알고리즘은 텍스트가 우세한 문서에 대해서만 작동하였다. 따라서, 문서의 방향성의 검출에 있어서 제 1 단계는 텍스트를 찾는 것이다.

미국특허 5,767,978[1]은 이미지의 영역들을 3 클래스, 예를 들어 전통적 텍스트(traditonal text), 라인-아트 이미지(line-art image), 및 사진(photo)으로 분류하기 위한 방법을 설명한다. 이와 같은 분류는 밝기의 변화값 및 각 픽셀의 절대적 밝기값에 대한 이미지의 수집된 통계치를 이용하여 수행된다. 명백하게, 분류의 결과는 이미지 영역을 분할하기 위한 알고리즘의 정확도에 의존한다. 이미지 영역에 하나의 클래스 이상에 속하는 데이터가 포함되어 있는 경우, 분류는 에러가 될 수 있다. 예를 들어, 이미지 영역에 텍스트와 사진을 포함하는 경우, 그것은 3 클래스들 중 어느 하나로 분류될 수 있다. 분류의 신뢰도는 라인(line) 디바이더(divider) 대신 영역(area) 디바이더를 이용하고, 영역의 분류를 위한 더 복잡한 방법들을 이용하여 향상될 수 있다. 라인-아트 이미지의 영역들은 중간 속성들을 가지며, 텍스트 또는 사진의 기준을 만족하지 않는 영역들은 라인-아트 이미지로서 분류된다.

미국특허 5,889,884[2]은 문서의 이미지(정상(normal), 역전(inverted))의 방향성의 자동 정의를 위한 방법을 설명한다. 알고리즘은 로망스어 계통의 언어(Romance language)로 이루어진 텍스트에 대해서 동작한다. 따라서, 수직 및 수평 방향으로의 돌출 부분의 프로파일에 있어서 픽셀들의 누적된 값의 분포가 분석된다. 그러나 이 알고리즘은 텍스트가 우세한(prevalence) 문서의 이진 이미지에 대해서만 작동하며, 포트레이트(portrait)/랜드스케이프(landscape) 방향을 검출할 수 없다. 또한 이 알고리즘은 칼라 이미지와 사진을 포함하는 문서에 대해서 동작하지 않는다.

따라서, 본 발명의 목적은 페이지의 정확한 방향성의 검출 및 방향성의 가능한 에러 정정을 위한 새로운 방법을 제공하는데 있다.

이상과 같은 목적을 달성하기 위한 상기 방법은, 텍스트 블록들을 선택하는 단계, 상기 텍스트 블록들의 수(N)가 설정된 문턱값(T)보다 작은지에 대해서 테스 트하는 단계, 상기 텍스트 블록들의 수(N)가 설정된 문턱값(T)보다 작은 경우, 문서의 방향성의 검출을 수행하지 않는 단계, 상기 텍스트 블록들의 수(N)가 설정된 문턱값(T)보다 큰 경우, 비텍스트 영역들을 화이트 칼라로 채우는 단계, 상기 이미지를 이진 이미지로 변환하는 단계, 텍스트의 비대칭의 파라미터(asym0, asym90)들을 계산하는 단계, 수평 계수(ah) 및 수직 계수(av)를 계산하는 단계, 상기 파라미터 asym0이 제로보다 크고, 상기 수평 계수(ah)가 상기 수직 계수(av)보다 큰 지를 테스트하는 단계, 상기 파라미터 asym0이 제로보다 크고, 상기 수평(ah) 계수가 상기 수직(av) 계수보다 큰 지에 대한 테스트 결과가 양의 결과인 경우, 상기 이미지는 정확한 방향성을 가지는 것으로 결정하는 단계, 상기 파라미터 asym0이 제로보다 크고, 상기 수평(ah) 계수가 상기 수직(av) 계수보다 큰 지에 대한 테스트 결과가 음의 결과의 경우, 상기 파라미터 asym0이 제로보다 작은지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 큰지에 대하여 테스트하는 단계, 상기 파라미터 asym0이 제로보다 작은지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 큰지에 대한 테스트 결과가 양의 결과인 경우, 상기 이미지를 180도로 회전하는 단계, 상기 파라미터 asym0이 제로보다 작은지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 큰지에 대한 테스트 결과가 음의 결과의 경우, 상기 파라미터 asym0이 제로보다 큰지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 작은지에 대하여 테스트하는 단계, 상기 파라미터 asym0이 제로보다 큰지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 작은지에 대한 테스트 결과가 양의 결과인 경우, 상기 이미지를 90도로 회전하는 단계, 및, 상기 파라미터 asym0이 제로보다 큰지와 상기 수평 계 수(ah)는 상기 수직 계수(av)보다 작은지에 대한 테스트 결과가 음의 결과인 경우, 상기 이미지를 270도로 회전하는 단계를 포함한다.

본 발명을 구현하는 데 있어서, 이미지의 픽셀들을 스캐닝 방향 및 수직 방향으로 분포하기 전에, 페이지의 전자적 표현(electronic representation)의 방향성의 정확성을 확인하는 동작이 이루어지는 것이 바람직하다.

상기 방법의 하드웨어적 구현과 관련하여, 상술한 목적으로 이루기 위하여, 문서의 페이지의 전자적 표현으로부터 복사물을 생성하는 능력을 가지고 수행되는 화상형성장치에 응용하기에 충분하며, 여기서 화상형성장치는, 문서의 페이지의 전자적 표현을 위한 복사물을 생성하기 위한 이미지를 형성하는 블록, 프로세서, 페이지의 처리를 위한 알고리즘을 포함하며, 페이지의 전자적 표현의 방향성의 정확성을 테스트할 때와 정확한 방향성 이전에 페이지의 전자적 표현을 회전할 때 프로세서에 의해 수행되는 메모리 블록을 포함한다.

또한, 상기 화상형성장치는, 광학 스캐너를 추가적으로 포함할 수 있다. 일반적으로, MFP는 그러한 형성장치로서 이용될 수 있다.

본 발명의 방법은 페이지가 포트레이트 또는 랜드스케이프 방향성을 가지는지, 정상 방향성인지 상부가 아래인 방향성인지를 검출하는 것을 허용한다는 것을 주지할 필요가 있다.

그것이 검출되어, 로망스어 계통의 알파벳의 글자들로 구성된 텍스트의 비대칭을 계산한다. 기존의 알고리즘들은 정상/역전된 방향성의 정의를 위해서만 텍스트의 비대칭을 이용한다. 이것은 포맷 포트레이트/랜드스케이프의 페이지들의 정확 한 방향성을 위해 기존의 접근법들을 적용하는 것을 불가능하게 한다. 제공된 알고리즘은 정상/역전 및 포트레이트/랜드스케이프 방향성 양자를 검출한다. 이 이점은 제공된 알고리즘을 MFP에서 실현시에 오히려 효과적으로 만든다.

본 발명은, 비텍스트 성분들(사진, 그림 등)을 통합한 문서의 흑백 또는 칼라 이미지에서 텍스트의 방향성을 간단하고, 효과적이며, 경제적으로 검출하기 위한 방법을 제공한다.

페이지의 방향성의 검출에서 제 1 단계는 텍스트의 영역을 찾는 것이다. 이후, 방향성의 검출을 위한 텍스트 영역만을 처리한다. 다음 단계는 RGB 이미지를 이진 이미지로 변환하는 것이다. 이후, 돌출부분들의 수직 및 수평 프로파일에 대한 비대칭이 계산되고, 페이지가 정확하게 방향성되었는지가 검출되어, 그렇지 않다면, 그것의 재방향성이 이루어진다.

한편, 본 실시예에 따른 화상형성방법은, 이미지를 입력받는 단계, 상기 입력된 이미지의 텍스트 영역을 검출하는 단계, 상기 검출된 텍스트 영역에 대해서 이진 이미지로 변환하고, 상기 이진 이미지의 비대칭 파라미터를 계산하는 단계, 및 상기 계산된 비대칭 파라미터에 기초하여 상기 이미지의 방향성(orientation)을 검출하는 단계를 포함한다.

이 경우, 본 화상형성방법은, 상기 검출된 이미지의 방향성이 디폴트 방향과 상이하면, 상기 입력된 이미지에 대한 방향성을 조정하는 단계를 더 포함할 수 있다.

이 경우, 본 화상형성방법은, 상기 방향성이 조정된 이미지를 인쇄하는 단계 를 더 포함할 수도 있다.

한편, 본 화상형성방법은, 상기 방향성이 조정된 이미지를 저장하는 단계를 더 포함할 수도 있다.

한편, 상기 이미지를 입력받는 단계는, 상기 화상형성장치의 스캐닝부를 통해 이미지를 스캐닝하는 것이 바람직하다.

한편, 상기 비대칭 파라미터를 계산하는 단계는, 상기 텍스트의 비대칭 계수, 수평 계수 및 수직 계수를 계산하는 것이 바람직하다.

한편, 상기 방향성을 검출하는 단계는, 상기 이미지가 수평 모드(portrait) 또는 수직 모드(landscape)인지, 각각의 상기 모드 상에서 업(up) 방향성 또는 다운(down) 방향성인지를 검출하는 것이 바람직하다.

한편, 본 실시예에 따른 화상형성장치는, 입력된 이미지의 텍스트 영역을 검출하는 텍스트 검출부, 상기 검출된 텍스트 영역에 대해서 이진 이미지로 변환하고, 상기 이진 이미지의 비대칭 파라미터를 계산하는 계수 계산부, 및, 상기 계산된 비대칭 파라미터에 기초하여 상기 이미지의 방향성을 검출하는 방향성 검출부를 포함한다.

이 경우, 본 화상형성장치는, 상기 검출된 이미지의 방향성이 디폴트 방향과 상이하면, 상기 입력된 이미지에 대한 방향성을 조정하는 방향성 조정부를 더 포함할 수 있다.

이 경우, 본 화상형성장치는, 상기 방향성이 조정된 이미지를 인쇄하는 인쇄 엔진부를 더 포함할 수도 있다.

이 경우, 본 화상형성장치는, 상기 방향성이 조정된 이미지를 저장하는 저장부를 더 포함할 수도 있다.

한편, 본 화상형성장치는, 이미지를 독취하는 스캐닝부를 더 포함하고, 상기 텍스트 검출부는 상기 스캐닝부에서 독취된 이미지를 입력받는 것이 바람직하다.

한편, 상기 계수 계산부는, 상기 텍스트의 비대칭 계수, 수평 계수 및 수직 계수를 계산하는 것이 바람직하다.

한편, 상기 방향성 검출부는, 상기 이미지가 수평 모드(portrait) 또는 수직 모드(landscape)인지, 각각의 상기 모드 상에서 업(up) 방향성 또는 다운(down) 방향성인지를 검출하는 것이 바람직하다.

본 발명의 본질을 도면과 함께 더욱 상세하게 설명한다.

문서의 방향성의 자동 검출을 위한 방법은 로망스어 계통의 알파벳과 아라비아 숫자로 구성되는 텍스트의 비대칭(asymmertry)에 기초한다. 예를 들어, 영어에서 대문자(capital letter)는 소문자(small letter)에 비해 상부로 연장되어 있다. 소문자들 "b, d, f, h, i, j, k, l, t"는 다른 소문자들에 비해 상부로 연장된 부분을 가지며, 소문자들 "g, j, p, q, y"만이 다른 소문자들에 비해 하부로 연장된 부분을 가진다. 또한, 대응하는 글자들의 발생 빈도를 고려하더라도, 상부로 연장된 부분들을 가지는 글자들(예를 들어, b)은 하부로 연장된 부분들을 가지는 글자들(예를 들어 p)보다 일반적으로 더 자주 접한다. 본 발명에서 일련의 글자들의 상부와 하부가 로망스어 계통의 알파벳의 상술한 특성들에 기초하여 검출된다. 특히, 영어의 소문자들에 있어서, 글자들 "b, d, f, h, i, j, k, l, t"의 발생 빈도는 26.5%이며, 글자들 "g, j, p, q, y"는 6.25%이며, 따라서 다른 글자들은 67.25%이다(Kahn D., 1967. The Code breakers-the Story of Secret Writing Macmillan, New York. [3] 참조). 주어진 비율은 공정(fair)하며 다른 로망스어 계통의 언어들(독일어, 프랑스어 등)에도 해당된다. 많은 수의 글자를 포함하는 문서에 있어서, 상부는 텍스트의 라인들의 주요 부분이 범주를 더 지나는 방향이 될 것이다.

텍스트의 라인들의 돌출부의 프로파일로부터 속성(attribute)들은 추출된다. 우리는 N행과 M열을 가지는 문서의 이진 이미지에 페이지(N, M)를 지정할 것이다. 우리는 축(y)에 수직하는 블랙 픽셀(black pixel)들의 합계로서 돌출부분의 수직 프로파일을 정의할 것이다. 즉, 그것은 길이(N)의 벡터(Pv)에 의해 표현될 수 있다.

돌출부분의 수평 프로파일은 축(x)에 수직하는 블랙 픽셀들의 합으로서, 아래와 같이 길이(M)의 벡터(Ph)에 의해 표현될 수 있다.

도 1에는 수평 방향을 따라 아래 방향으로 전개된 텍스트 페이지의 단편 이(fragment) 도시되어 있다. 또한, 우리는 텍스트가 이처럼 회전되어 있는 것으로 생각한다. 알고리즘은 텍스트의 페이지의 충분히 좁은 수직 스트립(strip)을 따라 수평 돌출부분의 프로파일을 계산하는 것에 기초한다. 텍스트의 페이지의 구체적인 수직 스트립에 대한 결과들은 다른 스트립에 대한 대응하는 결과들과 일반적으로 결합될 수 있다.

도 2는 도 1에 도시된 돌출부분의 수평 프로파일이 도시된 도면이다. 도 3은 도 1에 도시된 돌출부분의 수직 프로파일이 도시된 도면이다.

도 2를 참고하면, 돌출부분의 수평 구조의 스케줄(schedule)이 일반적이고 역전된 텍스트의 비대칭의 2개의 표시(indication)가 검출될 수 있음을 확인할 수 있다. 제 1 표시는 피크(peak) 구조이며, 제 2 표시는 피크들의 고원(plateau) 구조이다. 기본적으로 하부 피크가 상부 피크보다 훨씬 작다. 고원에서, 하부 피크는 상부 피크보다 훨씬 크다.

이하에서 텍스트 asym의 비대칭을 정의한다. 고원의 레벨에서 돌출부분의 수평 피크들에 문턱값(threshold value) 처리를 적용하면, 문턱값 돌출부분(tp)을 얻을 수 있다.

여기서 구현된 돌출부분의 함수의 전체(global) 최대값 관한 문턱값에 대한 대응하는 값은 0.4이다. 도 4에 문턱값 돌출부분(tp)이 적용된 도면이 도시된다.

다음으로, 돌출부분의 문턱값 처리의 결과를 미분(differentiation)한다. 미분된 문턱값 돌출부분(differentiated threshold projection: dtp)를 다음과 같은 식으로 결정될 수 있다.

도 5에, 미분된 문턱값 돌출부분(dtp)이 적용된 도면이 도시된다. 도 5를 참고하면, 텍스트의 각 라인은 상향방향으로 1 또는 2개의 큰 양의 피크들 그리고 일반적으로 하향방향으로 하나의 큰 음의 피크, 그리고 또한 다수의 작은 피크들을 갖음을 확인할 수 있다. 이것을 통해 텍스트의 비대칭이 알고리즘의 현 단계에서도 존재한다는 것을 확인할 수 있다.

모든 라인들에 의한 미분된 문턱값 돌출부분(dtp)의 적분은 텍스트의 라인들의 하부 및 상부에 대한 문턱값 돌출부분(tp)에 대한 값의 차이며, 방향성의 지시자로서 기능 하지는 않는다. 방향성의 효과적인 정의를 위해, 피크들의 높이들 간의 차를 검출하기 위한 비선형적인 미분된 문턱값 돌출부분(dtp)을 변형할 필요가 있다. 제곱(squaring)을 수행함으로써 효과적으로 변형할 수 있다. 따라서, 제곱처리된 미분된 문턱값 돌출부분(sdtp: squared differentiated threshold projection)을 다음과 같이 계산할 수 있다.

미분된 문턱값 돌출부분(dtp)에 대한 제곱 처리가 적용된 도면은 도 6에 도시된다.

제곱이 수행되는 경우, 미분된 문턱값 돌출부분(dtp)에 존재하는 부호 정보를 읽게 되는바, 미분된 문턱값 돌출부분(dtp)에서의 부호를 제곱처리된 미분된 문턱값 돌출부분(sdtp)에 부여하여, 즉, ssdtp(signed squared differentiated threshold projection)를 형성할 수 있다.

미분된 문턱값 돌출부분(dtp)에 대한 제곱 처리 후 부호가 적용된 도면은 도 7에 도시된다.

정확하게 방향성된 페이지의 경우, 모든 라인들에 대한 평균값에 대한 양의 피크들 이상으로 우세하는 음의 피크들(ssdtp)를 가질 것이라는 점에 기초하여 페이지의 방향성은 함수들(sdtp, ssdtp)로부터 정의될 수 있다. 이와 같은 비대칭(asym')의 표준화된 측정은 다음과 같이 계산될 수 있다.

여기서, asym'이 양이면 텍스트는 정확한 방향을 갖는 것이고, asym'이 음인 경우 텍스트는 역전된 것이다. 그리고 이것은 이산적인 변수(up')에 반영된다:

변수(up')의 신뢰도의 레벨은 asym' 절대값의 증가에 따라 증가된다.

알고리즘은 텍스트의 페이지의 충분히 좁은 수직 스트립에 대해서 수평 돌출부분을 계산한다(도 1). 텍스트의 주어진 스트립에 대한 결과들은 다른 유사한 스트립들에 대한 대응하는 결과들과 결합될 수 있다. 이와 같은 단계들은 각각의 수직 스트립에 대하여 반복되며, csdtp(cumulative squared differentiated threshold projection) 및 cssdtp(cumulative signed squared differentiated threshold projection)을 형성하는 모든 스트립들에 대해서 함수 sdtp 및 ssdtp가 수집된다.

텍스트(asym)의 비대칭의 표준화된 측정은 다음과 같이 계산된다:

여기서 asym이 양인 경우 텍스트는 정확한 방향을 갖는 것이며, asym이 음인 경우 텍스트는 역전된 것이다. 이것은 이산적인 변수(up)에 반영된다:

분모가 양이므로, 방향성의 검출 결과는 분자(asym)에만 의존한다. 분모(asym)는 통계치의 표준화의 중요한 특성을 가지므로, asym의 양에 상관없이, asym의 값은 항상 방향성에 대한 의사 결정에 동일한 레벨의 신뢰성과 항상 관련된다. 우리는 페이지들이 동일한 방향성을 가진다는 것이 알려져 있다면, 수직 스트립들에 대한 총 결과들이 방향성에 대한 의사결정에서 신뢰도의 수준에서의 대응하는 증가와 함께 어느 페이지들에서는 확장될 수 있다.

텍스트의 영역에 있어서, 계산 asym의 에러는 텍스트의 영역으로부터 제곱근과 반비례한다(텍스트의 영역이 많을수록, 결과는 더 정확하다)

텍스트의 비대칭을 계산하기 위한 알고리즘은:

1. 돌출부분의 프로파일의 계산;

2. 돌출부분에 대한 문턱값 처리의 적용;

3. 문턱값 처리 이후 돌출부분의 프로파일의 미분;

4. 문턱값 처리 이후 미분된 문턱값 돌출부분의 제곱 계산;

5. 문턱값 처리 이후 제곱 처리된 미분된 문턱값 돌출부분의 부호화 계산;

6. 문턱값 처리 이후, 제곱처리된 미분된 문턱값 돌출부분의 누적 계산;

7. 문턱값 처리 이후, 누적 제곱처리된 미분된 문턱값 돌출부분의 부호화 계산;

8. 텍스트(asym)의 비대칭의 계산;

9. asym> 0인 경우, 텍스트는 정확한 방향성을 가지며, 다른 경우는 텍스트는 역전된다.

도 8은, 텍스트의 비대칭의 계산을 위한 알고리즘의 흐름도를 나타낸다. 단계 801에서, 돌출부분의 프로파일의 계산이 수행된다. 단계 802에서, 돌출부분에 대한 문턱값 처리 계산이 수행된다. 단계 803에서, 문턱값 처리 이후 돌출부분의 프로파일의 미분 계산이 수행된다. 단계 804에서, 문턱값 처리 이후 미분된 문턱값 돌출부분의 제곱 계산이 수행된다. 단계 805에서, 문턱값 처리 이후 제곱 처리된 미분된 문턱값 돌출부분의 부호화 계산이 수행된다. 단계 806에서, 문턱값 처리 이후 제곱 처리된 문턱값 돌출부분의 누적 계산이 수행된다. 단계 S807에서, 문턱값 처리 이후, 누적 제곱처리된 미분된 문턱값 돌출부분의 부호화 계산이 수행된다. 단계 808에서, 텍스트(asym)의 비대칭의 계산이 수행된다. 단계 809에서, 알고리즘은 asym이 제로(0) 이상인지를 확인한다. 그렇다면, 단계 810에서 방향성은 정확하다. 그렇지 않다면, 단계 811에서, 페이지는 역전된다.

asym0를 이미지의 초기문서 방향으로 가정하면, asym90은 90도로 회전된 초 기 이미지의 비대칭이며, asym180은 180도로 회전된 초기 이미지의 비대칭이며, asym270은 270도로 회전된 초기 이미지의 비대칭이다. 이후, 우리는 반시계 방향으로 회전각을 이용한다. asym0 및 aym180, asym90 및 asym270은 대략 동일한 값들을 가지지만, 반대 부호를 가진다. 요소들 ah0 및 av0은 asym0 및 asym180, asym90 및 asym270에 대한 평균 절대값들로 가정하면(여기서, ah는 수평방향을 나타내며, av는수직 방향을 나타낸다)

500 컬러 이상의 이미지들과 인치당 300 포인트들의 해상도로 스캔된 흑백 문서들의 데이터 베이스를 이용하여, 계수들(ah0 및 av0)의 계산에 대한 실험이 이루어졌다.

│asym0│은 │asym180│과 대략 동일하며, │asym90│은 │asym270│과 대략 동일한 것이 발견되었으며, 계산의 가속을 위해, 다음을 이용하는 것이 가능하다:

수평 라인을 가지는 로망스어 계통의 언어로 이루어진 문서들의 이미지들에 대한 수평 계수(ah)는 이미지들의 98%에 대해서 수직 계수(av) 보다 컸다. 따라서, 수평 계수(ah) 및 수직 계수(av) 값들에 의해 문서의 이미지의 방향성을 검출하는 것이 가능하다.

문서의 방향성 검출에서 제 1단계는 텍스트의 영역들을 선택하는 것이다. 우리는 구현시에, 미국특허 5, 767,978[4]에서 제공된 텍스트의 영역들을 선택하기 위한 방법을 이용하였다. 텍스트 블록들의 수(N)가 설정된 문턱값(T)보다 작은 경우, 이미지는 텍스트를 포함하지 않는 것으로 결정되고 문서의 방향성 검출은 수행되지 않는다. 그렇지 않다면, 이미지는 텍스트 문서인바, 비텍스트 영역을 화이트 컬러로 채우고 RGB 이미지를 이진 이미지로 변환하는 다음 단계가 수행된다. RGB 이미지를 이진 이미지로 변환하는 것은 2 단계로 이루어진다. 1. RGB 이미지를 흑백 이미지로 변환하기, 2. 흑백 이미지를 이진 이미지로 변환하기. 본 발명의 구현시에, R, G, 및 B 성분들의 합을 평균화함으로써 RGB 이미지를 흑백 이미지로 변환하는 것이 가능하다. 또한 구현시에, 흑백 이미지를 이진 이미지로 변환하는 것은 이동 평균(sliding average)의 적응적 문턱값의 알고리즘을 이용할 수도 있다(J.R. Parker Algorithms for image processing and computer vision. Wiley Computer Publishers, New York, 1997 p. 145-149 [5] 참조). 이 알고리즘은 텍스트를 포함 하는 이미지들을 위해 개발되었으며, 분할의 좋은 결과들을 제공한다. 이후, 비율(ah 및 av)에 기초한 알고리즘이 방향성 포트레이트/랜드스케이프의 검출을 위한 이진 이미지에 적용된다. 마지막 단계는 양의 값(asym)을 이용하여 정확한 방향성을 검출한다.

텍스트의 비대칭의 계산을 위한 알고리즘은:

1. 텍스트 블록들을 선택한다;

2. 텍스트 블록들의 수(N)가 설정된 문턱값(T)보다 작은 경우, 문서의 방향성 검출은 수행되지 않는다. 그렇지 않다면,

3. 비텍스트 영역들을 화이트 컬러로 채운다;

4. asym0, asym90을 계산한다;

5. ah, av를 계산한다.

7. ah>av 및 asym0>0인 경우, 이미지는 정확한 방향성을 가진다.

8. ah>av 및 asym0<0인 경우, 정확한 방향성을 위해 180도의 각도로 이미지를 회전시킬 필요가 있다.

9. ah<av 및 asym90>0인 경우, 정확한 방향성을 위해 90도의 각도로 이미지를 회전시킬 필요가 있다.

10. 그렇지 않다면, 정확한 방향성을 위해 270도의 각도로 이미지를 회전시킨다.

도 9는 문서의 방향성의 검출을 위한 알고리즘의 흐름도를 나타낸다. 단계 901에서, 텍스트 블록들의 선택이 수행된다. 단계 902에서, 텍스트 블록의 수(N)가 설정 문턱값(T)보다 작은지에 대한 테스트가 수행된다. 그렇다면, 이미지가 텍스트를 포함하지 않으며, 문서의 방향성의 검출이 수행되지 않는 것으로 결정된다. 그렇지 않다면, 단계 903에서, 비텍스트 영역들을 화이트 컬러로 채우는 것이 수행된다. 단계 904에서, RGB 이미지를 이진 이미지로 변환시키는 것이 수행된다. 단계 S905에서, 파라미터들(asym0, asym90)의 계산이 수행된다. 단계 906에서, 파라미터들(ah, av)의 계산이 수행된다. 단계 S907에서, asym이 제로보다 큰지 ah가 av보다 큰지에 대한 테스트가 수행된다. 테스트 수행결과 asym이 제로보다 큰고 ah가 av보다 큰 경우, 문서는 정확한 방향성을 가진다(단계 908). 그렇지 않다면, 단계 909에서, asym이 제로보다 작은지와 ah가 av보다 큰지에 대한 테스트가 수행된다. 테스트 결과 asym이 제로보다 작고, ah가 av보다 큰 경우, 단계 911에서 정확한 방향성을 위해 이미지를 180도의 각도로 회전하는 것이 수행된다. 그렇지 않다면, 단계 911에서, asym90이 제로보다 큰지와 ah가 av가 작은지에 대한 테스트가 수행된다. 테스트 결과 asym90이 제로보다 크고, ah가 av가 작은 경우, 단계 911에서, 정확한 방향성을 위해 이미지를 90도의 각도로 회전하는 것이 수행된다. 그렇지 않다면, 단계 913에서, 정확한 방향성을 위해 이미지를 270도의 각도로 회전하는 것이 수행된다.

입력 문서의 방향성의 검출 및 정정을 위한 청구된 알고리즘은 MFP와 같은 장치들에 적용될 수 있다. 자동 급지기(automatic feeder)로부터 급지된 페이지들을 정확한 방향성으로 복사하는 이와 같은 알고리즘은 추가적인 처리, 예를 들어, 스태플러(stapler), 펀치(puncher), 또는 인쇄된 블록들을 묶기 위한 기계에 의한 처리 등과 같은 처리를 수행하는데 있어서도 중요하다. 또한, 이와 같은 알고리즘은 인식의 처리를 시작하기 전에 수행되는 것이 바람직하다. 이와 같은 텍스트의 인식의 처리의 개선을 위하여, 방향성을 정의하는 것은 전체 생산성을 증가시킬 수 있다.

도 10은 본 발명의 일 실시예에 따른 화상형성장치(100)의 구성을 나타내는 블록도이다. 도 10을 참고하면, 본 화상형성장치(100)는 스캐닝부(110), 저장부(120), 통신 인터페이스부(130), 인쇄 엔진부(140) 및 제어부(프로세스)(150)를 포함한다. 여기서 화상형성장치(100)는 복사기, 프린터, 팩시밀리, 스캐너 또는 이들의 기능을 하나의 장치를 통해 복합적으로 구현하는 복합기(Multi Function Peripherial: MFP)일 수 있다.

스캐닝부(110)는 스캔 모듈 및 이미지 처리 프로세서를 구비하며, 문서를 독취(스캔)할 수 있다. 이와 같은 스캐닝부(110)는 플랫베드(flatbed) 형태 또는 자동급지장치(DADF) 형태일 수 있다.

저장부(120)는 스캐닝부(110)에서 스캔된 스캔 데이터를 저장할 수 있다. 그리고, 저장부(120)는 이미지의 방향성이 조정된 이미지에 대해서도 저장할 수도 있다. 저장부(130)는 화상형성장치(100) 내의 저장매체 및 외부 저장매체, 예를 들어 USB 메모리를 포함한, Removable Disk, 호스트(Host)에 연결된 저장매체, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.

통신 인터페이스부(130)는 PC, 노트북 PC, PDA, 디지털 카메라 등의 단말장치(미도시)와 연결된다. 구체적으로, 통신 인터페이스부(130)는 화상형성장치(100) 를 외부장치와 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 단말장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트를 통하여 접속되는 형태도 가능하다. 그리고, 통신 인터페이스부(130)는 단말장치(미도시)를 통해 인쇄 잡에 대해서 입력받을 수 있으며, 스캐닝부(110)에서 스캔된 스캔 데이터 및 스캔 데이터에 대해서 방향성이 조정된 이미지를 단말장치(미도시)에 송신할 수 있다.

인쇄 엔진부(140)는 통신 인터페이스부(130)로부터 입력된 인쇄 잡 또는 스캐닝부에서 스캔된 이미지에 대해서 인쇄를 수행한다. 그리고,인쇄 엔진부(140)는 방향성이 조정된 이미지에 대해서도 인쇄를 수행할 수도 있다.

제어부(150)는 통신 인터페이스부(130)를 통해 입력된 이미지, 저장부(120)에 기저장된 이미지 또는 스캐닝부(110)에서 스캔된 이미지에 대해서 방향성을 검출하고, 해당 이미지의 방향성을 조정할 수 있다. 구체적으로 제어부(150)는 텍스트 검출부(151), 계수 계산부(152), 방향성 검출부(153), 및 방향성 조정부(154)를 포함할 수 있다.

텍스트 검출부(151)는 입력된 이미지의 텍스트 영역을 검출할 수 있다. 구체적으로, 텍스트 검출부(151)는 통신 인터페이스부(130)를 통해 입력된 이미지, 저장부(120)에 기저장된 이미지 또는 스캐닝부(110)에서 독취된 이미지에 대해서 텍스트 영역을 검출하고, 텍스트 영역이 검출되지 않은 영역에 대해서는 화이트 칼라로 채우는 것이 수행될 수 있다.

계수 계산부(152)는 검출된 텍스트 영역에 대해서 이진 이미지로 변환하고, 상기 이진 이미지의 비대칭 파라미터를 계산할 수 있다. 구체적으로, 계수 계산부(152)는 텍스트 영역에 대한 비대칭 파라미터인, 비대칭 계수(asym0, asym90), 수평 계수(ah) 및 수직 계수(av)를 계산하기 위하여, 텍스트 검출부(151)에서 검출된 텍스트 영역에 대해서 이진 이미지로 변환하고, 비대칭 계수(asym0, asym90), 수평 계수(ah) 및 수직 계수(av)를 계산할 수 있다. 비대칭 파라미터 계수를 계산하는 구체적인 방법에 대해서는 상술하였는바 구체적인 설명은 생략한다.

방향성 검출부(153)는 계수 계산부(152)에서 계산된 비대칭 파라미터에 기초하여 이미지의 방향성을 검출할 수 있다. 구체적으로, 방향성 검출부(153)은 계수 계산부(152)에서 계산된 비대칭 계수(asym0, asym90), 수평 계수(ah) 및 수직 계수(av)를 이용하여, 이미지가 수평 모드(prtrait) 또는 수직 모드(landscapce)인지, 각각의 모드 상에서 이미지가 업(up) 배항 또는 다운(down) 배항인지를 검출할 수 있다.

방향성 조정부(154)는 방향성 검출부(153)에서 검출된 이미지의 방향성에 기초하여 현재 이미지의 방향성이 디폴트 방향과 상이하면 방향성을 조정할 수 있다. 구체적으로, 방향성 조정부(154)는 파라미터 asym0이 제로보다 크고, 수평 계수(ah)가 수직 계수(av)보다 큰 경우, 이미지의 방향성이 정확한 것으로 파악하여, 별다른 조정을 수행하지 않고, 파라미터 asym0이 제로보다 작거나 수평 계수(ah)가 수직 계수(av)보다 큰 경우, 이미지를 180도 회전하는 조정을 수행할 수 있으며, 파라미터 asym0이 제로보다 크거나 수평 계수(ah)가 수직 계수(av)보다 작은 경우, 이미지를 90도로 회전하는 조정을 수행할 수 있으며, 상술한 조건에 만족하지 않는 이미지에 대해서는 270도로 회전하는 조정을 수행할 수 있다.

그리고, 제어부(150)는 상술한 바와 같은 일련의 이미지 방향성 조정이 수행된 이미지에 대해서 인쇄 엔진부(140)를 제어하여 인쇄 잡을 진행할 수 있으며, 이미지 방향성이 조정된 이미지를 저장부(120)에 저장하거나, 통신 인터페이스부(130)를 통해 단말장치(미도시)로 방향성이 조정된 이미지를 전송할 수 있다.

이에 따라, 본 화상형성장치(100)는 정상/역전된 방향성인지 수평 모드 또는 수직 모드 방향성인지를 검출할 수 있으며, 검출된 방향성에 따라 자동으로 이미지의 방향성을 조정할 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

도 1은 수직으로 레벨화된 페이지의 단편을 나타내는 도,

도 2는 페이지의 수평 돌출부분을 나타내는 도,

도 3은 페이지의 수직 돌출부분을 나타내는 도,

도 4는 문턱값 처리 이후 돌출부분의 수평 프로파일을 나타내는 도,

도 5는 문턱값 처리 이후 돌출부분의 미분된 수평 프로파일을 나타내는 도,

도 6은 문턱값 처리 이후 돌출부분의 미분된 프로파일의 제곱을 나타내는 도,

도 7은 부호로 문턱값 처리 이후 돌출부분의 미분된 프로파일의 제곱을 나타내는 도,

도 8은 비대칭의 계산을 위한 알고리즘의 흐름도,

도 9는 문서의 방향성의 검출을 위한 알고리즘의 흐름도, 그리고

도 10은 본 실시예에 따른 화상형성장치의 블록도이다.

Claims (16)

1. 이미지의 방향성 검출방법에 있어서,

   텍스트 블록들을 선택하는 단계;

   상기 텍스트 블록의 수(N)가 설정된 문턱값(T)보다 작은지에 대해서 테스트하는 단계;

   상기 텍스트 블록의 수(N)가 설정된 문턱값(T)보다 작은 경우, 문서의 방향성의 검출을 수행하지 않는 단계;

   상기 텍스트 블록들의 수(N)가 설정된 문턱값(T)보다 큰 경우, 비텍스트 영역들을 화이트 칼라로 채우는 단계;

   상기 이미지를 이진 이미지로 변환하는 단계;

   텍스트의 비대칭 파라미터(asym0, asym90)들을 계산하는 단계;

   수평 계수(ah) 및 수직 계수(av)를 계산하는 단계;

   상기 파라미터 asym0이 제로보다 크고, 상기 수평 계수(ah)가 상기 수직 계수(av)보다 큰 지를 테스트하는 단계;

   상기 파라미터 asym0이 제로보다 크고, 상기 수평(ah) 계수가 상기 수직(av) 계수보다 큰 지에 대한 테스트 결과가 양의 결과인 경우, 상기 이미지는 정확한 방향성을 가지는 것으로 결정하는 단계;

   상기 파라미터 asym0이 제로보다 크고, 상기 수평(ah) 계수가 상기 수직(av) 계수보다 큰 지에 대한 테스트 결과가 음의 결과의 경우, 상기 파라미터 asym0이 제로보다 작은지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 큰지에 대하여 테스트하는 단계;

   상기 파라미터 asym0이 제로보다 작은지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 큰지에 대한 테스트 결과가 양의 결과인 경우, 상기 이미지를 180도로 회전하는 단계;

   상기 파라미터 asym0이 제로보다 작은지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 큰지에 대한 테스트 결과가 음의 결과의 경우, 상기 파라미터 asym0이 제로보다 큰지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 작은지에 대하여 테스트하는 단계;

   상기 파라미터 asym0이 제로보다 큰지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 작은지에 대한 테스트 결과가 양의 결과인 경우, 상기 이미지를 90도로 회전하는 단계; 및

   상기 파라미터 asym0이 제로보다 큰지와 상기 수평 계수(ah)는 상기 수직 계수(av)보다 작은지에 대한 테스트 결과가 음의 결과인 경우, 상기 이미지를 270도로 회전하는 단계;를 포함하는 방향성 검출방법.
2. 제 1 항에 있어서,

   상기 방향성 검출방법은,

   상기 이미지에 대한 복사물을 생성하는 동작 이전에 수행되는 것을 특징으로 하는 방향성 검출방법.
3. 화상형성장치의 화상형성방법에 있어서,

   이미지를 입력받는 단계;

   상기 입력된 이미지의 텍스트 영역을 검출하는 단계;

   상기 검출된 텍스트 영역에 대해서 이진 이미지로 변환하고, 상기 이진 이미지의 비대칭 파라미터를 계산하는 단계; 및

   상기 계산된 비대칭 파라미터에 기초하여 상기 이미지의 방향성(orientation)을 검출하는 단계;를 포함하는 화상형성방법.
4. 제3항에 있어서,

   상기 검출된 이미지의 방향성이 디폴트 방향과 상이하면, 상기 입력된 이미지에 대한 방향성을 조정하는 단계;를 더 포함하는 것을 특징으로 하는 화상형성방법.
5. 제4항에 있어서,

   상기 방향성이 조정된 이미지를 인쇄하는 단계;를 더 포함하는 것을 특징으로 하는 화상형성방법.
6. 제4항에 있어서,

   상기 방향성이 조정된 이미지를 저장하는 단계;를 더 포함하는 것을 특징으 로 하는 화상형성방법.
7. 제3항에 있어서,

   상기 이미지를 입력받는 단계는,

   상기 화상형성장치의 스캐닝부를 통해 이미지를 스캐닝하는 것을 특징으로 하는 화상형성방법.
8. 제3항에 있어서,

   상기 비대칭 파라미터를 계산하는 단계는,

   상기 텍스트의 비대칭 계수, 수평 계수 및 수직 계수를 계산하는 것을 특징으로 하는 화상형성방법.
9. 제3항에 있어서,

   상기 방향성을 검출하는 단계는,

   상기 이미지가 수평 모드(portrait) 또는 수직 모드(landscape)인지, 각각의 상기 모드 상에서 업(up) 방향성 또는 다운(down) 방향성인지를 검출하는 것을 특징으로 하는 화상형성방법.
10. 입력된 이미지의 텍스트 영역을 검출하는 텍스트 검출부;

    상기 검출된 텍스트 영역에 대해서 이진 이미지로 변환하고, 상기 이진 이미 지의 비대칭 파라미터를 계산하는 계수 계산부; 및

    상기 계산된 비대칭 파라미터에 기초하여 상기 이미지의 방향성을 검출하는 방향성 검출부;를 포함하는 화상형성장치.
11. 제10항에 있어서,

    상기 검출된 이미지의 방향성이 디폴트 방향과 상이하면, 상기 입력된 이미지에 대한 방향성을 조정하는 방향성 조정부;를 더 포함하는 것을 특징으로 하는 화상형성장치.
12. 제11항에 있어서,

    상기 방향성이 조정된 이미지를 인쇄하는 인쇄 엔진부;를 더 포함하는 것을 특징으로 하는 화상형성장치.
13. 제11항에 있어서,

    상기 방향성이 조정된 이미지를 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 화상형성장치.
14. 제10항에 있어서,

    이미지를 독취하는 스캐닝부;를 더 포함하고,

    상기 텍스트 검출부는 상기 스캐닝부에서 독취된 이미지를 입력받는 것을 특 징으로 하는 화상형성장치.
15. 제10항에 있어서,

    상기 계수 계산부는,

    상기 텍스트의 비대칭 계수, 수평 계수 및 수직 계수를 계산하는 것을 특징으로 하는 화상형성장치.
16. 제10항에 있어서,

    상기 방향성 검출부는,

    상기 이미지가 수평 모드(portrait) 또는 수직 모드(landscape)인지, 각각의 상기 모드 상에서 업(up) 방향성 또는 다운(down) 방향성인지를 검출하는 것을 특징으로 하는 화상형성장치.

Images