KR100703284B1 - 영상신호의 이진화 장치 및 방법 - Google Patents

영상신호의 이진화 장치 및 방법 Download PDF

Info

Publication number
KR100703284B1
KR100703284B1 KR1020030006420A KR20030006420A KR100703284B1 KR 100703284 B1 KR100703284 B1 KR 100703284B1 KR 1020030006420 A KR1020030006420 A KR 1020030006420A KR 20030006420 A KR20030006420 A KR 20030006420A KR 100703284 B1 KR100703284 B1 KR 100703284B1
Authority
KR
South Korea
Prior art keywords
block
letter
pixel
blocks
background
Prior art date
Application number
KR1020030006420A
Other languages
English (en)
Other versions
KR20040069867A (ko
Inventor
임채환
신기택
장익훈
김남철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030006420A priority Critical patent/KR100703284B1/ko
Priority to US10/767,061 priority patent/US7567709B2/en
Priority to EP04002061A priority patent/EP1455299A3/en
Priority to CNB2004100025645A priority patent/CN1311394C/zh
Publication of KR20040069867A publication Critical patent/KR20040069867A/ko
Application granted granted Critical
Publication of KR100703284B1 publication Critical patent/KR100703284B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • G06V30/162Quantising the image signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/403Discrimination between the two tones in the picture signal of a two-tone original
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20052Discrete cosine transform [DCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

영상화면의 이진화처리 장치가, 영상화면을 입력하는 입력부와, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와, 상기 블록류부에서 분류된 글자블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와, 에지향상부에서 출력되는 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된다.
이진화, 블록분류, 에지향상, 전처리,

Description

영상신호의 이진화 장치 및 방법{DEVICE AND METHOD FOR BINARIZATION OF IMAGE USING QUADRATIC FILTER AND IMPROVED QUADRATIC FILTER}
도 1은 종래의 영상 이진화 장치의 구성을 도시하는 도면
도 2는 본 발명의 제1실시예에 따른 영상 이진화 장치의 구성을 도시하는 도면
도 3은 본 발명의 제2실시예에 따른 영상 이진화 장치의 구성을 도시하는 도면
도 4는 본 발명의 제3실시예에 따른 영상 이진화 장치의 구성을 도시하는 도면
도 5는 본 발명의 제4실시예에 따른 영상 이진화 장치의 구성을 도시하는 도면
도 6은 도 3 - 도 6에서 블록분류부의 상세 구성을 도시하는 도면
도 7a - 도 7c는 도 6의 블록분류부에서 글자블록 및 배경블록을 분류하는 동작을 설명하기 위한 도면
도 8은 도 3 - 도 6에서 에지향상부의 상세 구성을 도시하는 도면
도 9는 에지향상부에서 글자블록의 에지 향상을 수행하는 동작을 설명하기 위한 도면
도 10은 도 3 - 도 6에서 에지향상부의 또 다른 상세 구성을 도시하는 도면
도 11a - 도 11c는 본 발명의 실시예에 따른 영상 이진화 장치에서 QF 및 IQF 특성을 비교 설명하기 위한 도면
도 12는 본 발명의 제1실시예에 따른 영상 이진화 방법의 절차를 도시하는 흐름도
도 13은 본 발명의 제2실시예에 따른 영상 이진화 방법의 절차를 도시하는 흐름도
도 14는 본 발명의 제3실시예에 따른 영상 이진화 방법의 절차를 도시하는 흐름도
도 15는 본 발명의 제4실시예에 따른 영상 이진화 방법의 절차를 도시하는 흐름도
도 16은 도 12 - 도 15에서 블록 분류 과정의 동작 절차를 설명하기 위한 흐름도
도 17은 도 12 - 도 15에서 영상신호를 이진화하는 절차를 설명하기 위한 흐름도
도 18은 본 발명의 실시예에 따라 쿼드래틱 필터를 사용하여 입력되는 영상화면을 이진화하는 절차를 설명하기 위한 도면
도 19a - 도 19i는 도 18과 같은 이진화 절차를 수행하는 각 단계에서 발생되는 영상을 도시하는 도면
도 20은 본 발명의 실시예에 따라 개선된 쿼드래틱 필터를 사용하여 입력되는 영상화면을 이진화하는 절차를 설명하기 위한 도면
도 21a - 도 21g는 도 20과 같은 이진화 절차를 수행하는 각 단계에서 발생되는 영상을 도시하는 도면
본 발명은 영상신호를 이진화하는 장치 및 방법에 관한 것으로, 특히 영상신호의 글자를 인식하기 전에 입력되는 영상신호를 이진신호로 전처리하는 장치 및 방법에 관한 것이다.
현재 영상신호의 글자를 인식하기 위해서는 먼저 전처리(pre-processing) 동작을 수행하는 것이 일반적이다. 전처리는 상기 영상신호의 글자 인식 전에 영상신호를 처리하는 동작을 의미한다. 상기 영상신호의 전처리 동작은 입력되는 영상화면이 글자를 인식하기에 적절한가를 판단하는 동작, 입력되는 영상화면의 기울기를 보정하는 동작, 입력되는 영상화면의 크기를 적절하게 보정하는 동작, 또는 입력되는 영상신호의 글자를 인식할 수 있도록 영상신호를 이진화하는 동작으로 구성되어 있다.
도 1은 영상신호를 이진화하는 종래의 이진화 장치 구성을 도시하는 도면이다.
상기 도 1을 참조하면, 상기 도 1은 쿼드래틱 필터(quadratic filter)를 사용하는 이진화 장치의 구성을 도시하고 있다. 상기 쿼드래틱 필터는 폰타노트(P. Fontanot) 및 램포니(G. Ramponi) 등에 의해 발표된 "A polynomial filter for the preprocessing of mail address images"[in Proc. 1993 IEEE Winter Workshop on Nonlinear Digital Signal Processing, Tampere, Finland, Jan. 1993, pp.2.1-2.6]에 개시되어 있다.
먼저 상기 쿼드래틱 필터의 동작을 살펴보면, 제1기준값계산부(first threshold selection part)11은 영상화면의 각 화소들을 글자 화소(character pixel)와 배경화소(background pixel)들로 분류하기 위한 제1기준값 Th1을 계산한다. 그리고 평균값 계산부(Mean Computation part)13은 상기 영상화면의 각 화소들을 상기 제1기준값 Th1을 기준으로 글자화소 및 배경화소로 분류하고 그 평균값들을 계산한다. 이후 정규화부(normalization part)15는 상기 평균값 계산부13의 출력인 글자화소와 배경화소의 평균값들을 이용하여 의해 수신되는 영상화면의 각 화소들을 1 또는 0에 가까운 값으로 변환한다. 이때 상기 정규화부15는 글자화소를 1에 가까운 값으로 변환하고 배경화소를 0에 가까운 값으로 변환한다고 가정한다. 쿼드래틱 처리부(quadratic operation part)17은 각 화소들에 대하여 임의의 중심화소와 주변화소들과의 관계를 이용하여 상기 정규화된 화소들의 에지를 향상시키는 동작을 수행한다. 그리고 역정규화부(denormalization part)19는 상기 쿼드래틱 처리부17에서 출력되는 에지 성분이 향상된 각 화소들을 본래의 화소 값들의 범위로 역정규화하는 기능을 수행한다. 또한 제2기준값계산부(second threshold computation part)21은 상기 역정규화된 화소들을 배경화소 및 글자화소로 분류하기 위한 제2기준값 Th2를 계산한다.
그러면 이진화부(simple binarization part)30은 상기 역정규화부19에서 출력되는 각 화소들을 상기 제2기준값 Th2를 기준으로 특정한 두 개의 밝기 값으로 변환하여 출력한다.
그러나 상기와 같은 이진화 방법은 영상화면 전체를 대상으로 수행하면, 불균일한 조명이나 영상내에 그림자가 있는 열악한 조건하에 촬영된 영상에 대해서 이진화가 잘 되지 않는 문제점이 발생한다.
따라서 본 발명의 목적은 영상신호를 2진화할 때 영상화면을 글자 블록과 배경블록으로 분류한 후 2진화할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 영상신호를 2진화할 때 영상화면을 글자블록과 배경블록으로 분류하고, 상기 분류된 글자블록을 성장시켜 글자블록들을 재분류한 후 2진화할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 영상신호를 이진화할 때 영상화면을 글자블록과 배경블록으로 분류하고, 상기 분류된 글자블록을 주변 블록들과 그룹핑하여 에지성분을 향상시키며, 이후 상기 그룹핑된 블록들에서 상기 글자블록을 분리한 후 이진화할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 영상신호를 이진화할 때 영상화면을 글자블록과 배경블록으로 분류하고, 상기 분류된 글자 블록을 성장시켜 상기 글자블록들을 재분류하며, 상기 분류된 글자블록을 주변 블록들과 그룹핑하여 에지성분을 향상시키며, 이후 상기 그룹핑된 블록들에서 상기 글자블록을 분리한 후 2진화할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 영상신호를 이진화할 때 영상화면을 글자블록 및 배경블록으로 분류한 후, 쿼드래틱 필터를 사용하여 글자블록들의 에지 성분을 향상시킨 후 글자블록 및 배경블록의 화소들을 이진화할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 영상신호를 이진화할 때 영상화면을 글자블록 및 배경블록으로 분류한 후, 개선된 쿼드래틱 필터를 사용하여 문자블록들의 에지 성분을 향상시킨 후 글자블록 및 배경블록의 화소들을 이진화할 수 있는 장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면의 이진화처리 장치는, 영상화면을 입력하는 입력부와, 상기 영상화면을 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와, 상기 블록분류부에서 분류된 글자블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와, 에지향상부에서 출력되는 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면 이진화 처리장치는, 영상화면을 입력하는 입력부와, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와, 상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 부분을 글자블록으로 복원하는 블록성장부와, 상기 블록성장부에서 출력되는 글자블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와, 에지향상부에서 출력되는 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록성장부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면 이진화 처리장치는, 영상화면을 입력하는 입력부와, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와, 상기 블록분류부에서 분류된 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 블록그룹핑부와, 상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와, 에지향상부에서 출력되는 그룹핑된 블록에 상기 글자블록을 분리하는 블록분리부와, 상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면 이진화 처리장치는, 영상화면을 입력하는 입력부와, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와, 상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 블록을 글자블록으로 복원하는 블록성장부와, 상기 블록성장부120에서 출력되는 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 블록그룹핑부와, 상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와, 에지향상부에서 출력되는 그룹핑된 블록에 상기 글자블록을 분리하는 블록분리부와, 상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록성장부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면 이진화 처리방법은, 영상화면을 입력하는 과정과, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과, 상기 분류된 글자블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과, 상기 에지가 향상된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류 과정에서 분류된 배경블록의 화소들을 제2밝기 값으로 이진화하는 과정으로 이루어진다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면 이진화 처리방법은, 영상화면을 입력하는 과정과, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과, 상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 블록을 글자블록으로 복원하는 블록성장과정과, 상기 글자블록의 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과, 에지향상 처리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 배경블록의 화소들을 제2밝기 값으로 이진화하는 과정으로 이루어진다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면 이진화 처리방법은, 영상화면을 입력하는 과정과, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과, 상기 분류된 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 과정과, 상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과, 에지향상된 그룹핑된 블록에 상기 글자블록을 분리하는 블록분리부와, 상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부에서 출력되는 배경블록의 화소들을 제2 밝기 값으로 이진화하는 과정으로 이루어진다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상화면 이진화 처리방법은, 영상화면을 입력하는 과정과, 상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과, 상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 블록을 글자블록으로 복원하는 블록성장 과정과, 상기 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 과정과, 상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과, 에지향상된 그룹핑된 블록에 상기 글자블록을 분리하는 과정과, 상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 배경블록의 화소들을 제2밝기 값으로 이진화하는 과정으로 이루어진다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
하기 설명에서 영상화면의 크기, 글자 및 배경블록의 크기 등과 같은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
이하 설명되는 본 발명의 실시예들의 설명에서, 영상화면이라는 용어는 입력되는 영상을 의미하는 용어로써, 본 발명의 실시예에서는 640×480 화소의 크기를 갖는다고 가정한다. 블록이라는 용어는 글자 및 배경블록을 의미하는 용어로써, 본 발명의 실시예에서는 8×8 화소의 크기를 갖는다고 가정한다. 또한 그룹핑된 블록은 이진화하고자 하는 글자블록을 중심으로 주변의 8개의블록들로 구성된 블록을 의미하는 용어로써, 본 발명의 실시예에서는 24×24 화소의 크기를 갖는다고 가정한다.
이하 본 발명의 실시예들을 첨부되는 도면들을 참조하여 상세히 설명한다.
도 2는 본 발명의 제1실시예에 따른 이진화 장치의 구성을 도시하는 도면이다.
상기 도 2를 참조하면, 입력부110은 영상화면을 입력하는 기능을 수행한다. 여기서 상기 입력부110은 카메라(camera), 스캐너(scanner), 모뎀 및 네트워크 등을 포함하는 통신인터페이스부, 컴퓨터 등이 될 수 있다. 여기서 상기 영상화면은 640(column)×480(row)의 화소들로 이루어진다고 가정한다.
블록분류부(block classification part)120은 상기 입력부110에서 입력되는 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들에 포함되는 화소들을 검사하여 글자블록 및 배경블록들로 분류하는 기능을 수행한다. 상기와 같이 블록분류부120이 각 블록들을 글자블록 및 배경블록들로 분류하는 이유는 글자가 포함되어 있는 영역에 대해서만 이진화를 수행하기 위함이다. 여기서 상기 블록은 상기한 바와 같이 8×8 화소의 크기를 가진다고 가정한다.
에지향상부(edge enhancement part)130은 상기 블록분류부120에서 분류된 글자블록들의 글자화소와 주변화소들 간의 관계를 이용하여 글자블록의 에지를 향상시키고 잡음을 감소시킨 화소들을 생성하며, 또한 상기 화소들을 이진화하기 위한 기준값 Th2를 계산한다. 상기 에지향상부130은 상기 쿼드래틱 필터 또는 개선된 쿼드래틱 필터를 사용할 수 있다.
이진화부(binarization part)140은 에지향상부130에서 출력되는 글자블록들의 화소들을 상기 기준값Th2와 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부120에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화한다. 이진화된 영상을 인식기에 보내기에 앞서 영상을 압축하여 저장 공간의 효율성을 높이는 압축부는 첨가할 수 있다.
이후 인식기150은 상기 이진화부140에서 출력되는 이진화신호를 인식한다.
도 3은 본 발명의 제2실시예에 따른 이진화 장치의 구성을 도시하는 도면이다.
상기 도 3을 참조하면, 입력부110은 영상화면을 입력하는 기능을 수행한다. 여기서 상기 입력부110은 카메라(camera), 스캐너(scanner), 모뎀 및 네트워크 등을 포함하는 통신인터페이스부, 컴퓨터 등이 될 수 있다. 여기서 상기 영상화면은 640(column)×480(row)의 화소들로 이루어진다고 가정한다.
블록분류부(block classification part)120은 상기 입력부110에서 입력되는 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들에 포함되는 화소들을 검 사하여 글자 블록 및 배경블록들로 분류하는 기능을 수행한다. 상기와 같이 블록분류부120이 각 블록들을 글자블록 및 배경블록들로 분류하는 이유는 글자가 포함되어 있는 영역에 대해서만 이진화를 수행하기 위함이다. 여기서 상기 블록은 상기한 바와 같이 8×8 화소의 크기를 가진다고 가정한다.
블록성장부(block Growing part)160은 상기 블록분류부120에서 분류된 글자블록들을 확장한다. 상기 블록 분류시 글자 사이의 배경 영향으로 글자화소를 포함하는 블록이 배경블록으로 분류될 수 있으며, 상기 글자블록을 성장하는 이유는 이렇게 배경블록으로 분류된 화소들을 글자블록으로 확장하기 위함이다.
에지향상부(edge enhancement part)130은 블록성장부160에서 출력되는 글자블록의 글자화소와 주변화소들 간의 관계를 이용하여 글자블록의 에지를 향상시키고 잡음을 감소시킨 화소들을 생성하며, 또한 상기 화소들을 이진화하기 위한 기준값 Th2를 발생한다. 상기 에지향상부130은 상기 쿼드래틱 필터 또는 개선된 쿼드래틱 필터를 사용할 수 있다.
이진화부(binarization part)140은 에지향상부130에서 출력되는 글자블록들의 화소들을 상기 기준값Th2과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부120에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화한다. 상기 이진화된 영상을 인식기에 보내기에 앞서 영상을 압축하여 저장 공간의 효율성을 높이는 압축부는 첨가할 수 있다.
이후 인식기150은 상기 이진화부140에서 출력되는 이진화신호를 인식한다.
도 4는 본 발명의 제3실시예에 따른 이진화 장치의 구성을 도시하는 도면이 다.
상기 도 4를 참조하면, 입력부110은 영상화면을 입력하는 기능을 수행한다. 여기서 상기 입력부110은 카메라(camera), 스캐너(scanner), 모뎀 및 네트워크 등을 포함하는 통신인터페이스부, 컴퓨터 등이 될 수 있다. 여기서 상기 영상화면은 640(column)×480(row)의 화소들로 이루어진다고 가정한다.
블록분류부(block classification part)120은 상기 입력부110에서 입력되는 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들에 포함되는 화소들을 검사하여 글자 블록 및 배경블록들로 분류하는 기능을 수행한다. 상기와 같이 블록분류부120이 각 블록들을 글자블록 및 배경블록들로 분류하는 이유는 글자가 포함되어 있는 영역에 대해서만 이진화를 수행하기 위함이다. 여기서 상기 블록은 상기한 바와 같이 8×8 화소의 크기를 가진다고 가정한다.
블록그룹핑부(block grouping part)170은 상기 블록분류부120에서 출력되는 글자블록들을 입력하며, 상기 글자블록을 중심으로 인접한 8개의 블록들을 그룹핑하여 그룹화된 블록들을 생성한다. 이는 하나의 글자블록만으로 기준값을 정하여 이진화 동작을 수행하면 배경화소와 글자화소를 구분하기 위한 기준값이 인근 블록의 기준값과 그 값의 차이가 크게 나서 이진화 영상에서 블록간에 불연속 현상이 발생할 수도 있다. 따라서 상기 블록그룹핑부170에서 블록들을 그룹핑하는 이유는 글자블록 영역을 확장하여 글자블록의 이진화 신뢰성을 향상시키기 위함이다.
에지향상부(edge enhancement part)130은 블록그룹핑부170에서 출력되는 그룹핑된 글자블록의 글자화소와 주변화소들 간의 관계를 이용하여 글자블록의 에지 를 향상시키고 잡음을 감소시킨 화소들을 생성하며, 또한 상기 화소들을 이진화하기 위한 기준값 Th2를 발생한다. 상기 에지향상부130은 상기 쿼드래틱 필터 또는 개선된 쿼드래틱 필터를 사용할 수 있다.
블록분리부(block splitting part)180은 상기 에지향상부130에서 출력되는 그룹핑된 블록을 입력하며, 상기 그룹핑된 블록에서 상기 글자블록을 분리하여 출력한다. 즉, 상기 블록그룹핑부170에서 그룹핑된 블록에서 이진화를 위한 글자블록만을 분리하는 기능을 수행한다.
이진화부(binarization part)140은 블록분리부130에서 분리된 글자블록들의 화소들을 상기 기준값Th2와 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부120에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화한다. 상기 이진화된 영상을 인식기에 보내기에 앞서 영상을 압축하여 저장 공간의 효율성을 높이는 압축부는 첨가할 수 있다.
이후 인식기150은 상기 이진화부140에서 출력되는 이진화신호를 인식한다.
도 5는 본 발명의 제4실시예에 따른 이진화 장치의 구성을 도시하는 도면이다.
상기 도 5를 참조하면, 입력부110은 영상화면을 입력하는 기능을 수행한다. 여기서 상기 입력부110은 카메라(camera), 스캐너(scanner), 모뎀 및 네트워크 등을 포함하는 통신인터페이스부, 컴퓨터 등이 될 수 있다. 여기서 상기 영상화면은 640(column)×480(row)의 화소들로 이루어진다고 가정한다.
블록분류부(block classification part)120은 상기 입력부110에서 입력되는 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들에 포함되는 화소들을 검사하여 글자 블록 및 배경블록들로 분류하는 기능을 수행한다. 상기와 같이 블록분류부120이 각 블록들을 글자블록 및 배경블록들로 분류하는 이유는 글자가 포함되어 있는 영역에 대해서만 이진화를 수행하기 위함이다. 여기서 상기 블록은 상기한 바와 같이 8×8 화소의 크기를 가진다고 가정한다.
블록성장부(block growing part)160은 상기 블록분류부120에서 분류된 글자블록들을 확장한다. 상기 블록 분류시 글자 사이의 배경 영향으로 글자화소를 포함하는 블록이 배경블록으로 분류될 수 있으며, 상기 글자블록을 성장하는 이유는 이렇게 배경블록으로 분류된 화소들을 글자블록으로 확장하기 위함이다.
블록그룹핑부(block grouping part)170은 상기 블록성장부160에서 출력되는 글자블록들을 입력하며, 상기 글자블록을 중심으로 인접한 주변 8개의 블록들을 그룹핑하여 그룹핑된 블록들을 생성한다. 이는 글자블록(8×8) 하나만으로 배경화소와 글자화소를 구분하기 위한 기준값을 정하여 이진화 과정을 수행하면 블록의 크기가 너무 작아 인접한 글자블록의 기준값과 그 값의 차이가 크게 나서 이진화 영상에서 블록간의 불연속 현상이 발생할 수도 있다. 따라서 상기 블록그룹핑부170에서 블록들을 그룹핑하는 이유는 글자블록 영역을 확장하여 글자블록의 이진화 신뢰성을 향상시키기 위함이다.
에지향상부(edge enhancement part)130은 블록그룹핑부170에서 출력되는 그룹핑된 글자블록의 글자화소와 주변화소들 간의 관계를 이용하여 글자블록의 에지를 향상시키고 잡음을 감소시킨 화소들을 생성하며, 또한 상기 화소들을 이진화하 기 위한 기준값 Th2를 발생한다. 상기 에지향상부130은 상기 쿼드래틱 필터 또는 개선된 쿼드래틱 필터를 사용할 수 있다.
블록분리부(block splitting part)180은 상기 에지향상부130에서 출력되는 그룹핑된 블록을 입력하며, 상기 그룹핑된 블록에서 상기 글자블록을 분리하여 출력한다. 즉, 상기 블록그룹핑부170에서 그룹핑된 블록에서 이진화를 위한 글자블록만을 분리하는 기능을 수행한다.
이진화부(binarization part)140은 블록분리부130에서 분리된 글자블록들의 화소들을 상기 기준값Th2와 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부120에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화한다. 상기 이진화된 영상을 인식기에 보내기에 앞서 영상을 압축하여 저장 공간의 효율성을 높이는 압축부는 첨가할 수 있다.
이후 인식기150은 상기 이진화부140에서 출력되는 이진화신호를 인식한다.
상기한 바와 같이 본 발명의 실시예에 따른 이진화 장치는 먼저 영상화면을 블록으로 분할한 후, 분할된 블록들을 글자블록 및 배경블록으로 분류한다. 상기와 같이 영상화면을 글자블록 및 배경블록으로 분류하는 이유는 이진화시 글자블록의 화소들에 대하여 에지 향상 및 이진화 동작을 수행하고, 상기 배경블록은 이진화의 특정 밝기 값으로 고정시킨다.
또한 상기 본 발명의 제2실시예에 따른 이진화장치는 상기 제1실시예에 따른 이진화장치에서 에지를 향상시키기 전에 상기 블록분류부120에서 분류된 글자블록을 성장시키는데, 이는 상기 블록 분류시 배경블록에 글자 화소가 포함되는 것을 방지하기 위함이다. 따라서 상기 제2실시예에서는 상기 분류된 글자블록을 성장시킨 후, 배경블록으로 분류된 블록에 글자화소가 포함된 경우에는 이를 글자블록으로 보정하는 동작을 수행한다.
또한 본 발명의 제3실시예에 따른 이진화장치는 상기 제1실시예에 따른 이진화장치에서 에지를 향상시키기 전에 상기 블록분류부120에서 분류된 글자블록을 주변의 블록들과 그룹핑하며, 상기 그룹핑된 블록의 에지를 향상시킨 후 다시 원래의 글자블록으로 분리한 후 이진화 동작을 수행한다. 상기와 같이 글자블록을 그룹핑하는 이유는 상기 글자블록이 매우 작은 수의 화소들을 가지므로, 상기 글자블록의 주변블록들을 그룹핑하여 블록 영역을 확장하며, 이렇게 그룹핑된 블록의 에지를 향상시키기 위함이다.
마지막으로 본 발명의 제4실시예에 따른 이진화장치는 상기 제1실시예에 따른 이진화장치에서 상기 블록성장 및 블록그룹핑을 더 구비한다. 이하의 설명에서는 상기 제4실시예를 중심으로 하여 구체적인 동작을 살펴보기로 한다. 또한 본 발명의 영상화면은 명함 영상신호로 가정한다.
상기 입력부110은 영상화면을 입력한다. 여기서 상기 영상화면은 N×M의 크기를 가지며, 본 발명의 실시예에서는 상기한 바와 같이 640(N)×480(M) 화소의 크기를 가진다고 가정한다. 또한 상기 입력되는 영상은 컬러 영상(color image) 또는 색상정보가 없는 흑백영상(gray image)이 될 수 있다. 본 발명의 실시예에서는 상기 영상화면이 흑백 영상이라고 가정한다.
그리고 상기 영상화면은 블록분류부120에 입력되여 블록으로 분할된 후 글자 블록 및 배경블록으로 분류된다.
도 6은 상기 블록분류부120의 구성을 도시하는 도면이다. 상기 블록분류부120은 상기 영상화면을 소정 크기의 블록들로 나누고, 각 블록들을 각각 글자블록 및 배경블록으로 분류하는 동작을 수행한다. 이때 상기 블록분류부120이 각 블록들을 분류하는 목적은 영상화면을 이진화할 때 글자가 포함된 영역에 대해서만 이진화를 수행하기 위함이다.
상기 도 6을 참조하면, 블록분할부211은 상기 영상화면을 블록크기로 분할한다. 이때 상기 영상화면이 640×480 화소이고, 상기 블록이 8×8 화소이면, 상기 블럭분할부211은 4800개의 블록들로 분할한다.
상기 블록분할부211에서 출력되는 블록영상들은 DCT변환부213에 인가되어 DCT(discrete cosing transform) 변환된다. 그리고 에너지계산부215는 상기 DCT 변환된 블록 내에서 우수한 DCT 계수(dominant DCT coefficients)의 절대값의 합을 계산한다. 이때 상기 글자블록의 DCT 계수(coefficients)들의 에너지분포(energy distribution)는 배경블록의 그것보다 큰 값을 가진다. 도 7a는 글자블록과 배경블록에 대한 DCT 계수들의 에너지 분포를 비교하는 도면이다. 상기 도 7a에서 Y축은 절대값의 합의 평균을 로그 스케일(log scale)로 표시하고 있으며, X축은 DCT 계수의 지그재그 스캔 오더(zigzag scan order)를 표시하고 있다. 상기 도 7a에 도시된 바와 같이 글자블록의 DCT계수는 배경블록의 DCT 계수보다 큰 값을 가지고 있음을 알 수 있다. 그리고 도 7b는 글자블록에 대한 DCT 계수의 에너지 분포 특성을 도시하고 있다. 상기 도 7b에서 Y축은 절대값의 합의 평균을 정상 스케일(lognormal scale)로 표시하고 있으며, X축은 DCT 계수의 지그재그 스캔 오더(zigzag scan order)를 표시하고 있다. 이때 상기 도 7b에 도시된 바와 같이 일부 DCT 계수가 절대값의 합의 평균이 큰 값을 가진다는 것을 알 수 있다. 따라서 본 발명의 실시예에서는 블록분류 시 사용되는 우수한DCT 계수(dominant DCT coefficients)는 도 7c에 도시된 바와 D1∼D9까지라고 가정한다. 따라서 k번째 블록에서의 우수한 DCT계수의 절대값의 합은 하기 <수학식 1>과 같이 계산할 수 있다.
Figure 112003003658414-pat00001
상기 <수학식 1>에서
Figure 112003003658414-pat00002
는 k번째 블록의 i번째 우수한 DCT 계수를 의미하고, Sk는 k번째 블록의 DCT 계수의 절대값의 합을 의미한다. 따라서 본 발명의 실시예에서는 우수한 DCT 계수인 D1 - D9까지의 DCT 계수의 절대값의 합을 계산한다.
상기 에너지 계산부215는 상기 <수학식 1>과 같은 계산을 모든 블록들(k=0,1,2,...,4799)에 대하여 수행한다. 그리고 상기 각 블록별 에너지값 Sk(k=0,1,...,4799)들은 기준값 계산부217에 인가된다.
상기 기준값 계산부217은 상기 각 블록별로 계산된 에너지값 Sk(k=0,1,...,4799)들을 가산한 후, 상기 가산된 전체블록의 에너지값을 블록의 총개수(TBN)로 나누어 평균값 <Sk>을 구한다. 이때 상기 <Sk> 값은 하기 <수학식 2>와 같이 구하며, 이때의 상기 <Sk> 값은 상기 블록 영상신호를 글자블록 또는 배경블록으로 판정하기 위한 기준값 Cth가 된다.
Figure 112003003658414-pat00003
상기 <수학식 2>에서 TBN은 블록의 총 개수를 나타낸다.
분류부219는 상기 에너지 계산부215에서 출력되는 블록별 에너지값(우수한 DCT 계수들의 절대값의 합)들을 순차적으로 입력하며, 상기 입력되는 블록 에너지값을 상기 기준값 Cth와 비교하여 각 블록을 글자블록 또는 배경블록으로 분류한다. 이때 상기 분류부219의 블록 분류는 하기 <수학식 3>에 나타낸 바와 같이, Sk 값이 상기 기준값 Cth보다 크면 해당하는 k번째 블록을 글자블록(CB)으로 분류하고, 상기 기준값 Cth보다 작으면 해당하는 k번째 블록을 배경블록(BB)으로 분류한다.
Figure 112003003658414-pat00004

상기와 같이 블록분류부120에 분류된 글자블록들의 화소는 0-255의 그레이 레벨(gray level)을 가질 수 있다. 상기 블록분류부120에서 출력되는 글자블록의 영상은 각각 에지향상부120, 블록성장부160, 또는 블록그룹핑부170에 입력될 수 있 다. 여기서는 블록성장부160에 입력되는 경우를 살펴본다.
상기 블록성장부160은 상기 분류된 글자블록의 영역을 성장(growing)한다. 이때 상기 블록분류부120에서 하나의 글자가 글자 사이의 배경의 영향으로 글자 화소를 포함하는 블록이 배경블록으로 분류되는 경우가 발생될 수 있다. 상기 글자블록을 성장하는 목적은 상기 글자블록을 확장하므로써, 상기 블록 분류시에 글자화소가 포함된 배경블록을 글자블록으로 변경하기 위함이다.
상기 블록성장부160은 모포로지컬 필터(morphological filter: 형태학적 필터)를 사용하여 구현할 수 있다. 상기 모포로지컬 필터는 상기 글자블록을 확장(dilation)한 후 수축(erosion)하여는 닫힘(closing)으로써 글자블록을 성장한다. 즉 닫힘연산은 영역의 내부의 구멍을 채우는 역할을 하는데 우선 확장을 통해 글자 블록이 확장됨으로써 글자블록과 글자블록 사이의 고립된 배경블록들이 글자블록으로 변환되고 닫힘 연산의 수축을 통해 원래의 블록크기로 복원된다. 상기와 같은 모포로지컬 필터는 곤잘레스(R.C.Gonzalez)와 우즈(R.Woods) 등에 의해 출판된 책 "Digital Image Processing" [2nd ed., Prentice Hall, pp.519-560, 2002)에 기재되어 있다. 그리고 상기 블록성장부160은 상기 블록 성장시 글자화소를 포함하고 있는 배경 블록을 글자블록으로 변경한다.
상기 블록성장부160에서 출력되는 글자블록들은 블록그룹핑부170 또는 에지향상부130에 입력될 수 있다. 여기서는 상기 블록그룹핑부170에 입력되는 경우를 살펴본다.
상기 블록그룹핑부170은 상기 블록분류부120 또는 상기 블록성장부160에서 출력되는 글자블록을 중심으로 인접한 8개의 블록들을 그룹핑하여 24×24화소의 크기를 가지는 그룹핑된 블록을 생성한다. 이는 상기 글자블록의 크기가 8×8화소의 크기를 갖는데, 이런 글자블록(8×8) 하나만으로 배경화소와 글자화소를 구분하기 위한 기준값을 정하여 이진화 과정을 수행하면 블록의 크기가 너무 작아 인접한 글자블록의 기준값과 그 값의 차이가 크게 나서 이진화 영상에서 블록간의 불연속 현상이 발생할 수도 있다. 따라서 상기와 같이 그룹핑된 블록을 생성하여 이진화를 수행하기 위한 영역을 확장하므로써 이진화의 신뢰성을 향상시킬 수 있게 된다.
상기 블록그룹핑부170에서 출력되는 글자블록을 포함하는 그룹핑된 블록은 에지향상부130에 인가된다. 상기 에지향상부130은 상기 블록분류부120, 블록성장부160 또는 블록그룹핑부170에 출력되는 블록들을 입력할 수 있다. 이때 상기 블록분류부120 및 블록성장부160에서 출력되는 글자블록은 8×8화소의 크기를 가지는 블록이며, 상기 블록그룹핑부170에서 출력되는 그룹핑된 블록은 이진화할 글자블록 및 상기 글자블록과 인접하는 8개의 블록들이 그룹핑된 24×24화소의 크기를 가진다.
상기 에지향상부130은 쿼드래틱 필터(quadratic filiter: QF) 또는 개선된 쿼드래틱 필터(improved quadratic filter: IQF)를 사용할 수 있다. 상기 쿼드래틱 필터는 도 8에 도시된 바와 같이 글자블록을 정규화한 후 상기 정규화된 글자블록의 에지를 향상시키며, 상기 에지가 향상된 글자블록을 역정규화시켜 정규화 이전의 밝기값의 범위로 변환하며, 상기 역정규화된 글자블록으로부터 글자블록의 화소들을 이진화하기 위한 기준값 BTH를 생성한다. 그리고 개선된 쿼드래틱 필터는 도 10에 도시된 바와 같이 글자블록을 정규화한 후 상기 정규화된 글자블록의 에지를 향상시키며, 또한 상기 글자블록으로부터 계산된 기준값을 정규화시켜 글자블록의 화소들을 이진화하기 위한 기준값 BTHN를 생성한다.
먼저 상기 도 8을 참조하여 쿼드래틱 필터를 이용하여 글자블록의 에지를 향상시키는 동작을 살펴본다.
상기 도 8을 참조하면, 먼저 제1기준값계산부311은 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값 Th1을 계산한다. 상기 제1기준값계산부311은 상기 제1기준값 Th1을 계산하며, 상기 제1기준값 Th1은 글자화소와 배경화소를 구분하여 다음 단계에서 구분한 두 종류의 화소들을 정규화하는데 사용된다. 이때 상기 제1기준값 Th1은 두 종류의 화소의 분산의차(between-class variance)가 최대가 되는 그레이 값(gray value)을 선택한다. 상기 제1기준값 Th1은 오츠(Otsu) 방식 또는 카푸르(Kapur) 방식을 사용할 수 있다. 상기 오츠 방식을 사용하여 상기 제1기준값 Th1을 계산하는 방법은 하기와 같은 <수학식 4>에 의해 구할 수 있으며, 이는 오츠(N. Otsu)에 의해 발표된 논문 "A Threshold Selection Method from Gray-Level Histogram" [IEEE Trans. on Systems. Man and Cybernetics, Vol.SMC-9, no.1, pp.62-66, Jan. 1979.]에 기재되어 있다.
Figure 112003003658414-pat00005
그리고 평균값 계산부313은 상기 글자블록의 화소들을 상기 제1기준값Th1을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산한다. 상기 평균값 계산(mean computation for two classes) 과정을 살펴보면, 먼저 글자블록 x(m,n)의 화소들을 상기 제1기준값 Th1을 기준으로 하기 <수학식 5>와 같이 글자화소(character pixel: CP)와 배경화소(background pixel: BP)로 분류한 후, 하기 <수학식 6>과 같이 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1을 계산한다.
Figure 112003003658414-pat00006
상기 <수학식 5>에서 x(m,n)은 글자블록을 의미하며, Th1은 상기 글자블록의 화소들을 글자화소 및 배경화소로 분류하기 위한 기준값이다.
Figure 112003003658414-pat00007
상기 <수학식 6>에서 Sc는 글자화소의 밝기 값의 합이고, Nc는 글자화소의 수이며, Sb는 배경화소의 밝기 값의 합이고, Nb는 배경화소의 수이다.
그러면 정규화부315는 상기 입력되는 글자블록 x(m,n)의 화소들을 상기 평균값계산부313에서 출력되는 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화한다. 상기 정규화부315는 상기 입력되는 글자블록 x(m,n)의 화소들을 정규화하여 입력되는 글자블록 영상의 밝기 값의 변화폭(dynamic range)을 줄이는 기능을 수행한다. 상기 정규화부315는 하기 <수학식 7>에 의해 입력되는 글자블록 x(m,n)의 화소들을 정규화한다.
Figure 112003003658414-pat00008
xN(m,n)은 정규화된 글자블록을 나타내며, μ0는 글자화소의 평균 밝기 값을 나타내고, μ1은 배경화소의 평균 밝기 값을 나타낸다.
이후 상기 정규화된 글자블록 xN(m,n)은 쿼드래틱 처리부317에서 쿼드래틱 처리되어 글자블록의 에지가 향상되고 잡음이 감소된다. 상기 쿼드래틱처리부317은 상기 정규화된 화소의 주변화소와 관계를 이용하여 에지를 향상시키고 잡음을 감소시키는 기능을 수행한다. 도 9는 상기 쿼드래틱 처리부317에서 처리되는 중심화소와 주변화소들을 도시하고 있으며, <수학식 8>은 상기 쿼드래택 처리부317에서 글자블록 화소를 쿼드래틱 처리하여 에지 향상 및 잡음을 감소시키는 특성을 나타낸다. 상기 쿼드래틱 처리부317은 그레이 레벨차를 크게하여 글자화소는 진하게 처리하고 배경화소는 밝게 처리하므로써, 글자 부분의 에지를 선명하게 처리하는 동시에 잡음을 제거하는 기능을 수행한다.
Figure 112003003658414-pat00009
상기 쿼드래틱 처리부317의 출력은 역정규화부319에 입력되며, 상기 역정규화부319는 상기 쿼드래틱 처리된 글자블록 yN(m,n)을 역정규화하여 출력 y(m,n)을 발생한다. 상기 역정규화부319는 상기 정규화부315에서 정규화한 글자블록의 화소들을 정규화 동작 이전의 밝기 값의 범위로 변환하는 기능을 수행한다. 이때 상기 역정규화부319는 하기 <수학식 9>와 같이 역정규화 동작을 수행한다.
y(m, n) = yN(m, n)(μ0 - μ1) + μ1
상기 역정규화부319에서 출력되는 글자블록 y(m,n)은 이진화부140 및 제2기준값 계산부321에 인가된다. 상기 제2기준값 계산부321은 상기 이진화부140에서 글자블록의 화소들을 글자화소 및 배경화소로 이진화하기 위한 제2기준값 Th2를 계산하며, 상기 제2기준값 Th2는 이진화부140의 기준값 BTH가 된다. 상기 제2기준값계산부321을 사용하는 이유는 상기 역정규화부319에서 정규화된 글자블록을 다시 원래의 밝기를 가지는 글자블록으로 역정규화하였기 때문이다. 이때 상기 제2기준값 계산부321은 상기 오츠 방식 또는 카푸르 방식에 의해 상기 기준값 BTH(제2기준값 Th2)를 계산할 수 있다. 이때 상기 오츠 방식을 사용하는 경우, 상기 제2기준값 계산부321은 상기 역정규화된 글자블록의 화소들을 상기 <수학식 4>와 같은 방법으로 계산하여 상기 기준값 BTH를 계산한다.
상기한 바와 같이 도 8과 같은 구성을 가지는 에지향상부130은 수신되는 글자블록(또는 글자블록을 포함하는 그룹핑된 블록) 내의 글자화소 및 배경화소들을 정규화하여 동적범위를 줄여 상기 정규화된 화소들을 쿼드래틱 처리하여 글자블록(또는 글자블록을 포함하는 그룹핑블록)의 에지를 향상시킨 후, 다시 상기 정규화된 글자블록(또는 글자블록을 포함하는 그룹핑블록)의 정규화된 화소들을 역정규화하여 원래의 화소의 그레이레벨 범위로 복원한다. 그리고 상기 역정규화된 글자블록의 화소들로부터 글자블록의 화소들을 이진화하기 위한 기준값을 다시 계산한다.
상기 도 8과 같은 쿼드래틱 필터를 개선하여 도 10과 같은 개선된 쿼드래틱 필터 방식으로 글자블록(또는 글자블록을 포함하는 그룹핑된 블록)의 에지를 향상시킬 수 있다. 도 10은 개선된 쿼드래틱 필터를 사용하는 에지향상부10의 구성을 도시하고 있다.
상기 도 10을 참조하면, 먼저 제1기준값계산부311은 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값 Th1을 계산한다. 상기 제1기준값 발생부311은 상기 도 8의 제1기준값발생부311과 동일한 동작을 수행한다.
평균값계산부313은 상기 글자블록의 화소들을 상기 제1기준값Th1을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산한다. 상기 평균값계산부313도 상기 도 8의 평균값계산부313과 동일한 동작을 수행한다.
정규화부315는 상기 입력되는 글자블록 x(m,n)의 화소들을 상기 평균값계산부313에서 출력되는 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화한다. 상기 정규화부315도 상기 도 8의 정규화부315와 동일한 동작을 수행한다.
쿼드래틱처리부317은 상기 정규화된 화소의 주변화소와 관계를 이용하여 에지를 향상시키고 잡음을 감소시키는 기능을 수행한다. 도 9는 상기 쿼드래틱처리부317에서 처리되는 중심화소와 주변화소들을 도시하고 있으며, <수학식 8>은 상기 쿼드래택처리부317에서 글자블록 화소를 쿼드래틱 처리하여 에지 향 상 및 잡음을 감소시키는 특성을 나타낸다. 상기 쿼드래틱처리부317도 상기 도 8의 쿼드래틱처리부317와 동일한 동작을 수행한다.
이때 상기 쿼드래틱처리부317의 출력인 정규화된 글자블록(또는 글자블록이 포함된 그룹핑된 블록)은 역정규화 동작을 수행하지 않고 그대로 출력된다. 따라서 이진화부140에서 글자블록의 화소들을 이진화하기 위한 기준값 BTHN을 생성하기 위하여, 상기 개선된 쿼드래틱필터는 상기 제1기준값 계산부311에서 계산되는 제1기준값 Th1을 기준값 정규화부331에서정규화하여 제2기준값 Th2를 생성한다. 이때 상기 제2기준값Th2는 상기 이진화부140에서 글자블록의 화소들을 이진화기 위한 기준값 BTHN으로 사용된다.
상기 기준값정규화부331은 상기 정규화부315의 정규화방법과 동일한 방법으로 상기 제1기준값 Th1을 정규화한다. 상기 기준값정규화부331은 상기 제1기준값을 하기 <수학식 10>와 같이 정규화하여 제2기준값 Th2(기준값 BTHN)를 생성한다.
Figure 112003003658414-pat00010
상기 <수학식 10>에서 Th2는 이진화부140에서 글자화소 및 배경화소를 구분하기 위한 정규화된 기준값 BTHN이며, xN(m,n)은 정규화된 글자블록을 나타내며, μ0는 글자화소의 평균 밝기 값을 나타내고, μ1은 배경화소의 평균 밝기 값을 나타낸다.
상기한 바와 같이 도 10과 같은 구성을 가지는 에지향상부130은 수신되는 글자블록(또는 글자블록을 포함하는 그룹핑된 블록) 내의 글자화소 및 배경화소들을 정규화하여 동적범위를 줄여 주고, 상기 정규화된 화소들을 쿼드래틱 처리하여 글자블록(또는 글자블록을 포함하는 그룹핑블록)의 에지를 향상시킨다. 또한 상기 쿼드래틱처리부317에서 출력되는 글자블록(또는 글자블록을 포함하는 그룹핑블록)은 정규화된 블록이므로, 상기 제1기준값을 정규화하여 글자블록의 화소들을 이진화하기 위한 기준값BTHN을 생성한다.
상기한 바와 같이 본 발명의 제1실시예-제4실시예에서는 에지향상부130을 도 8과 같은 쿼드래틱필터 또는 도 10과 같은 개선된 쿼드래틱 필터를 이용하여 구현할 수 있다. 상기 에지향상부130을 도10과 같은 개선된 쿼드래틱 필터를 이용하여 글자블록을 이진화 하면 도8과 같은 쿼드래틱 필터를 이용하여 글자블록(또는 글자블록을 포함하는 그룹핑블록)을 이진화하여 얻은 이진화영상에서 글자 주위의 검은 블록이 생기는 문제를 해결하면서 에지를 향상시키는 기능을 수행한다. 이때 상기 개선된 쿼드래틱필터를 사용하는 경우에는 쿼드래틱 필터에서 사용하는 역정규화 동작을 수행하지 않는다. 따라서 상기 쿼드래틱 필터를 사용하는 경우에는 상기 쿼드래틱 처리된 글자 블록(또는 글자블록을 포함하는 그룹핑블록)을 역정규화하는 동시에 역정규화된 글자블록(또는 글자블록을 포함하는 그룹핑블록)에서 기준값 BTH를 계산한다. 그러나 상기 개선된 쿼드래틱 필터를 사용하는 경우에는 상기 쿼드래틱 처리된 정규화 글자 블록(또는 글자블록을 포함하는 그룹핑블록)을 그대로 사용하며, 제1기준값을 정규화하여 상기 기준값 BTHN을 계산한다. 도 11a - 도 11c는 쿼드래틱 필터(QF) 및 개선된 쿼드래픽필터(IQF)의 출력 특성을 비교 설명하기 위한 도면이다. 여기서 상기 도 11a는 필터에 입력되는 영상화면이며, 도 11b는 QF 후의 영상화면을 도시하고 있고, 도 11c 는 IQF 후의 영상화면을 도시하고 있다.
상기 에지향상부130에서 글자블록을 출력하면 상기 에지향상부130의 출력은 이진화부140에 입력되며, 글자블록을 포함하는 그룹핑된 블록을 출력하면 상기 에지향상부130의 출력은 블록분리부180에 인가된다. 상기 글자블록을 포함하는 그룹핑된 블록을 입력하는 블록분리부180은 상기 그룹핑된 블록에서 상기 글자블록의 영상을 분리하여 출력한다. 이는 상기 블록그룹핑부170에서 글자블록의 주변블록들을 그룹핑한 것을 원래대로 복원하는 것이다. 즉, 24×24화소 크기를 가지는 그룹핑된 블록에서 중앙에 위치한 8×8화소 크기의 글자블록을 분리 추출한다.
상기 블록분리부180 또는 상기 에지향상부130에서 출력되는 글자블록은 이진화부140에 입력된다. 그리고 상기 이진화부140은 글자블록의 화소들을 이진화하기 위하여 상기 에지향상부130에서 출력되는 상기 기준값을 수신한다. 이때 상기 이진화부140에 입력되는 글자블록은 y(m,n)(도 8과 같은 쿼드래틱 필터에서 출력되는 글자블록) 또는 yN(m,n)(도 10과 같은 개선된 쿼드래틱 필터에서 출력되는 글자블록)이 된다. 따라서 상기 기준값도 BTH 또는 BTHN이 된다.
상기 이진화부140은 상기 수신되는 글자블록의 각 화소들을 상기 기준값을 이용하여 배경화소와 글자화소로 분류하고, 상기 분류된 글자화소 및 배경화소들을 두 개의 밝기 값으로 변환하여 이진화 동작을 수행한다. 즉, 상기 이진화부140은 글자블록이 입력되면 대응되는 기준값과 상기 글자블록의 화소들을 비교하며, 비교결과 상기 영상화소 값이 상기 기준값 보다 크거나 같은 글자화소로 분류하고 작으면 배경화소로 분류한다. 그리고 상기 이진화부140은 상기 분류된 결과에 따라 글자화소는 α밝기 값으로 변환하고 배경화소는 β밝기 값으로 변환하여 이진화한다. 상기 이진화부140에서 글자블록의 화소들을 이진화하는 방법은 하기 <수학식 11>과 같다.
Figure 112003003658414-pat00011
상기 <수학식 11>에서 y(m,n) 및 BTH는 쿼드래틱 필터에서 출력되는 글자블록 및 기준값이고, yN(m,n) 및 BTHN은 개선된 쿼드래틱 필터에서 출력되는 글자블록 및 기준값이며, yB(m,n)은 이진화된 글자블록이다.
또한 상기 이진화부140은 상기 블록분류부120 또는 블록성장부160에서 출력되는 배경블록 영상을 수신한다. 상기 이진화부140은 상기 배경블록의 화소들을 β밝기 값으로 일괄 변환한다.
도 12-도 15는 각각 본 발명의 제1실시예-제4실시예에 따른 이진화 절차를 도시하는 흐름도이다.
먼저 상기 도 12를 참조하여 본 발명의 제1실시예에 따른 영상화면의 이진화 동작을 살펴보면, 영상화면이 입력되면, 411단계에서 이를 감지하며, 413단계에서 상기 영상화면을 설정된 블록크기로 분할한 후 분할된 블록들을 각각 글자블록과 배경블록으로 분류한다.
도 16은 본 발명의 실시예에 따라 입력되는 영상화면을 분할하여 글자블록 및 배경블록으로 분류하는 절차를 도시하는 흐름도이다.
상기 도 16을 참조하면, 영상화면이 입력되면 611단계에서 블록분할부211은 상기 영상화면을 설정된 크기의 블록으로 분할한다. 이때 상기 영상화면은 640×480 화소이며 블록은 8×8화소로 가정한다. 따라서 상기 블록분할을 수행하면 4800개의 블록들로 분할됨을 알 수 있다.
이후 613단계에서 상기 블록번호 BN을 0으로 하고 615단계에서 블록번호 BN의 블록을 억세스한다. 그리고 617단계에서 DCT변환부213은 억세스한 블록을 DCT 변환하며, 617단계에서 에너지계산부215는 상기 DCT 변환된 블록 내에서 우수한 DCT 계수들(dominant DCT coefficients)의 절대값의 합 Sk를 계산하여 저장한다. 이때 상기 글자블록의 DCT 계수들(coefficients)의 에너지분포(energy distribution)는 배경블록의 DCT 계수보다 큰 값을 가지며, 글자블록과 배경블록에 대한 DCT 계수의 에너지 분포는 상기 도 7a와 같은 특성을 가진다. 그리고 상기 글자블록에 대한 DCT 계수의 에너지 분포는 도 7b와 같은 특성을 가진다. 따라서 k번째 블록에서의 DCT계수의 절대값의 합 Sk는 상기 <수학식 1>과 같이 계산할 수 있다. 여기서 상 기 k는 BN과 같은 변수이며, 블록번호를 의미한다. 상기 619단계에서 상기 Sk를 구한 후, 621단계에서 마지막 블록의 Sk를 계산하였는가 검사하며, 아니면 623단계에서 블록번호를 하나 증가시킨 후 615단계로 되돌아가 위와 같은 동작을 반복수행한다.
상기 615단계-623단계를 반복수행하면, DCT변환부213은 각 블록을 DCT변환하게 되며, 상기 에너지 계산부215는 상기 <수학식 1>과 같은 계산을 모든 블록들(k=0,1,2,...,4799)에 대하여 수행한다. 그리고 상기 각 블록별 에너지값 Sk(k=0,1,...,4799)들은 기준값계산부217에 인가된다. 상기 기준값계산부217은 상기 각 블록별로 계산된 에너지값 Sk(k=0,1,...,4799)들을 가산한 후, 상기 가산된 전체블록의 에너지값을 블록의 총개수(TBN)로 나누어 평균값 <Sk>을 구한다. 이때 상기 <Sk> 값은 상기 <수학식 2>와 같이 구하며, 이때의 상기 <Sk> 값은 상기 블록 영상신호를 글자블록 또는 배경블록으로 판정하기 위한 기준값 Cth가 된다.
상기 기준값 Cth를 구한 후, 상기 각 블록들을 글자블록 및 배경블록으로 분류하는 동작을 수행한다. 이를 위하여 먼저 627단계에서 블록번호 BN을 0으로 초기화한 후, 상기 블록번호BN에 해당하는 블록의 Sk를 억세스한다. 그리고 631단계에서 상기 분류기219는 상기 입력되는 블록의 Sk 값을 상기 기준값 Cth와 비교하여 BN에 해당되는 블록을 글자블록 또는 배경블록으로 분류한다. 이때 상기 블록 분류는 상 기<수학식 3>에 나타낸 바와 같이, Sk 값이 상기 기준값 Cth보다 크거나 같으면 분류부219는 633단계에서 해당되는 BN 블록을 글자블록으로 분류하고, 상기 기준값 Cth보다 작으면 635단계에서 해당되는 BN 블록을 배경블록으로 분류한다. 이후 분류된 블록이 마지막 블록인가를 검사하며, 아니면 639단계로 진행하여 블록번호를 하나 증가시킨 후, 629단계로 되돌아가 상기와 같은 동작을 반복 수행한다. 그리고 상기와 같은 동작의 수행을 완료하면, 블록 분류 결과를 출력한다. 상기 영상화면을 블록 크기로 분할한 후, 글자블록 및 배경블록으로 분류한다.
상기와 같이 블록분류 동작이 종료되면, 415단계에서 블록번호 BN을 0으로 초기화한 후, 417단계에서 상기 블록번호에 대응되는 블록을 억세스한 후, 억세스된 블록이 글자블록인가 검사한다. 이때 상기 억세스된 블록이 배경블록이면, 423단계로 진행하여 배경블록의 각 화소들을 배경화소의 밝기 값인 β값으로 일괄 변환하여 이진화 동작을 수행한 후, 425단계에서 이진화 결과를 저장한다. 이후 427단계에서 현재 이진화 처리를 수행한 블록이 상기 영상화면의 마지막 블록인가 검사하며, 아니면 429단계에서 블록번호를 하나 증가시킨 후 417단계로 되돌아가 상기와 같은 동작을 반복 수행한다.
또한 상기 419단계에서 억세스된 블록이 글자블록이면 421단계로 진행하여 글자블록의 잡음을 감소시키며 에지를 향상시키는 쿼드래틱 필터링를 수행한다. 이때 상기 글자블록의 잡음을 감소시키며 에지를 향상 절차는 상기 도 8 또는 도 10과 같은 절차를 통해 이루어진다.
먼저 도 8과 같은 쿼드래틱 필터를 이용하여 글자블록의 에지를 향상시키는 동작을 살펴보면, 먼저 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값 Th1을 계산하며, 상기 제1기준값 Th1은 글자화소와 배경화소를 구분하여 다음 단계에서 두 종류의 화소들을 정규화하는데 사용된다. 이때 상기 제1기준값 Th1은 두 종류의 화소의 분산의 차(between-class variance)가 최대가 되는 그레이 값(gray value)을 선택하며, 상기 <수학식 4>에 의해 구할 수 있다.
두 번째로 상기 글자블록의 화소들을 상기 제1기준값 Th1을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산하는 과정을 수행한다. 상기 평균값 계산(mean computation for two classes) 과정을 살펴보면, 먼저 글자블록 x(m,n)의 화소들을 상기 제1기준값 Th1을 기준으로 상기 <수학식 5>와 같이 글자화소와 배경화소로 분류한 후, 상기 <수학식 6>과 같이 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1을 계산한다.
세 번째로 상기 입력되는 글자블록 x(m,n)의 화소들을 상기 평균값계산부313에서 출력되는 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화한다. 상기 글자블록의 정규화 방법은 상기 <수학식 7>에 의해 입력되는 글자블록 x(m,n)의 화소들을 정규화한다.
네 번째로 상기 정규화된 글자블록 xN(m,n)을 쿼드래틱 처리하여 글자블록의 에지를 향상시키고 잡음을 감소시킨다. 상기 쿼드래틱 처리 과정에서는 글자블록의 그레이 레벨차를 크게하여 글자화소는 진하게 처리하고 배경화소는 밝게 처리하므로써, 글자 부분의 에지를 선명하게 처리하는 동시에 잡음을 제거하며, 이는 상기 <수학식 8>에 의해 수행된다.
다섯 번째로 상기 쿼드래틱 처리된 글자블록 yN(m,n)을 역정규화하여 y(m,n)을 발생한다. 상기 역정규화 과정은 상기 정규화 과정에서 정규화한 글자블록의 화소들을 정규화 동작 이전의 밝기 값의 범위로 변환하는 기능을 수행한다. 상기 역정규화 동작은 상기 <수학식 9>와 같이 수행한다.
여섯 번째로 역정규화 과정에서 생성된 글자블록 y(m,n)을 이용하여 제2기준값 Th2를 생성한다. 상기 제2기준값 Th2는 글자블록의 화소들을 글자화소 및 배경화소로 이진화하기 위한 기준값 BTH가 된다. 이때 상기 제2기준값 Th2는 상기 오츠 방식 또는 카푸르 방식에 의해 구할 수 있다. 이때 상기 오츠 방식을 사용하는 경우, 상기 제2기준값 Th2는 상기 역정규화된 글자블록의 화소들을 상기 <수학식 4>와 같은 방법으로 계산하여 상기 기준값 BTH를 계산한다.
상기 도 10을 참조하여 글자블록의 에지를 향상시키는 동작을 살펴보면, 먼저 상기 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값 Th1을 계산한다. 상기 제1기준값Th1의 발생 방법은 상기 도 8의 제1기준값 Th1과 동일한 방법으로 구할 수 있다.
두 번째로 상기 글자블록의 화소들을 상기 제1기준값 Th1을 기준으로 글자화 소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산한다. 상기 평균 밝기 값을 계산하는 동작은 상기 도 8의 평균 밝기 값 계산 방법과 동일한 방법으로 구할 수 있다.
세 번째로 상기 입력되는 글자블록 x(m,n)의 화소들을 상기 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화한다. 상기 정규화 방법도 상기 도 8의 정규화 방법과 동일한 방법으로 구할 수 있다.
네 번째로 상기 정규화된 화소의 주변화소와 관계를 이용하여 쿼드래틱 처리하므로써, 상기 글자블록의 에지를 향상시키고 잡음을 감소시킨다. 상기 쿼드래틱 처리 방법도 상기 도 8의 쿼드래틱 처리 방법과 동일한 방법으로 수행할 수 있다.
다섯 번째로 상기 제1기준값 Th1를 정규화하여 제2기준값 Th2로 생성한다. 이는 상기 쿼드래틱 처리된 글자블록을 역정규화하지 않고 정규화된 글자블록을 이진화 처리 과정으로 전달하기 때문이다. 따라서 상기 도 10과 같은 개선된 쿼드래틱 처리 방법을 사용하면 상기 제1기준값 Th1을을 상기 <수학식 10>과 같이 정규화하여 제2기준값 Th2(기준값 BTHN)를 생성한다.
상기한 바와 같이, 쿼드래틱 필터를 사용하여 글자블록의 에지를 향상시킬 때, 본 발명의 실시예들에서는 상기 도 8과 같은 쿼드래틱필터 또는 도 10과 같은 개선된 쿼드래틱 필터를 이용하여 구현할 수 있다. 상기 개선된 쿼드래틱 필터 방법은 상기 쿼드래틱 필터를 이용하여 글자블록을 이진화하여 얻은 이진화 영상에서 글자 주위의 검은 블록이 생기는 문제를 해결하면서 에지를 향상시키는 기능을 수행한다. 이때 상기 개선된 쿼드래틱 필터 방법을 사용하는 경우에는 상기 쿼드래틱 필터에서 사용하는 역정규화 동작을 수행하지 않는다. 따라서 상기 쿼드래틱 필터를 사용하는 경우에는 상기 쿼드래틱 처리된 글자 블록을 역정규화하는 동시에 역정규화된 글자블록에서 기준값 BTH를 계산한다. 그러나 상기 개선된 쿼드래틱 필터를 사용하는 경우에는 상기 쿼드래틱 처리된 정규화 글자 블록을 그대로 사용하며, 제1기준값Th1을 정규화하여 상기 기준값 BTHN을 계산한다.
상기 421단계에서 쿼드래틱 처리 또는 개선된 쿼드래틱 처리 과정을 수행하여 글자블록의 잡음을 감소시키며 에지를 향상시키는 동작을 수행한 후, 423단계에서 글자블록들의 화소들을 상기 기준값 BTH 또는 BTHN과 비교하여 이진화 동작을 수행한다. 이때 상기 화소 값이 기준값 BTH 또는 BTHN보다 작으면 상기 해당화소를 배경화소의 밝기 값인 β값으로 변환하며, 상기 화소 값이 기준값 BTH 또는 BTHN보다 크면 해당 화소를 글자화소의 밝기 값인 α값으로 변환한 후, 425단계에서 글자블록의 변환된 상기 이진화 값을 저장한다. 즉, 글자블록인 경우에는 글자블록의 화소 밝기 값들을 기준값 BTH와 비교하면서 글자화소 또는 배경화소의 밝기 값으로 이진화한 후, 그 결과 값을 저장한다, 그러나 상기 419단계에서 블록이 배경블록이면 상기 에지 향상 처리 동작을 수행하지 않고, 423단계에서 배경블록의 화소들을 배경화소 밝기 값으로 일괄 처리한다.
도 17은 상기 이진화 처리 동작을 도시하는 흐름도이다.
상기 도 17을 참조하면, 먼저 이진화부140은 711단계에서 수신되는 블록이 글자블록인지 아니면 배경블록인지 검사한다. 이때 상기 입력되는 블록이 글자블록이면 713단계에서 블록의 화소번호 PN을 0으로 초기화하고, 715단계에서 PN의 화소 값을 억세스한다. 이때 상기 글자블록의 화소 값은 상기 도 8 또는 도 10에 의해 쿼드래틱 처리된 화소가 된다. 이후 상기 이진화부140은 717단계에서 상기 상기 <수학식 11>과 같이 억세스된 화소값을 상기 기준값과 비교하여 α또는 β로 이진화한다. 즉, 상기 억세스된 화소의 밝기 값이 상기 기준값 보다 크거나 같으면 721단계에서 해당 화소를 글자화소의 밝기 값 α로 변환하고, 상기 기준값 보다 작으면 719단계에서 해당화소를 배경화소의 밝기 값 β로 변환한다. 그리고 723단계에서 해당 글자블록의 모든 화소들에 대한 이진화 처리를 종료하였는가 검사하며, 아니면 729단계에서 화소번호를 하나 증가시킨 후 715단계로 되돌아가 상기와 같은 이진화 처리 동작을 반복 수행한다. 상기와 같이 이진화 동작을 수행하면 글자블록의 모든 화소들은 밝기 값 α 또는 β로 이진화된다. 그러나 상기 711단계에서 배경블록으로 판정되면, 상기 이진화부140은 731단계-739단계를 수행하면서 배경블록의 화소들을 모두 배경화소의 밝기 값β로 일괄 변환한다.
상기 글자블록의 이진화 동작을 수행한 후, 427단계에서 현재 이진화된 블록이 상기 영상화면의 마지막 블록인가 검사하며, 아니면 역시 429단계에서 블록번호를 하나 증가시킨 후 417단계로 되돌아가 상기와 같은 동작을 반복 수행한다. 상기와 같은 동작을 반복 수행하면서 영상화면의 글자블록 및 배경블록들의 화소를 이진화한다. 그리고 상기 영상화면의 마지막 블록의 이진화 동작을 수행하면, 427단 계에서 이를 감지하고 431단계에서 상기 이진화된 영상화면의 결과값을 인식기로 전달하고 종료한다.
두 번째로 상기 도 13을 참조하여 본 발명의 제2실시예에 따른 영상화면의 이진화 동작을 살펴본다. 상기 제2실시예의 이진화 동작은 상기 413단계에서 영상화면의 블록들을 글자블록 및 배경블록으로 분류한 후, 511단계에서 상기 글자블록의 영상을 성장한다. 상기 블록 분류과정은 상기 도 16과 같은 절차로 수행된다. 이때 상기 블록분류 과정에서 하나의 글자가 글자 사이의 배경 영향으로 글자화소를 포함하는 블록이 배경블록으로 분류될 수 있다. 따라서 상기 511단계의 블록 성장 과정에서는 상기 분류된 글자블록의 영역을 성장시켜 글자화소가 글자블록에 포함될 수 있도록 한다.
상기 블록성장을 하는 목적은 상기 글자블록을 확장하므로써, 상기 블록 분류시에 글자화소가 포함된 배경블록을 글자블록으로 변경하기 위함이다. 상기 블록성장은 상기한 바와 같이 모포로지컬 필터(morphological filter: 형태학적 필터)를 사용하여 구현할 수 있다. 상기 모포로지컬 필터는 상기 글자블록을 확장(dilation)한 후 수축(erosion)하는 닫힘(closing)으로써 글자블록을 성장한다. 즉, 닫힘연산은 영역의 내부의 구멍들을 채우는 역할을 하는데 우선 확장을 통해 글자 블록이 확장됨으로써 글자블록과 글자블록 사이의 고립된 배경블록들이 글자블록으로 변환되고 닫힘 연산의 수축을 통해 원래의 블록크기로 복원된다.
이후의 동작은 상기 도 12의 제1실시예와 동일한 절차로 수행된다.
세 번째로 상기 도 14를 참조하여 본 발명의 제3실시예에 따른 영상화면의 이진화 동작을 살펴본다. 먼저 영상화면이 입력되면 411단계에서 이를 감지하며, 413단계에서 상기 영상화면을 설정된 블록크기로 분할한 후 분할된 블록들을 각각 글자블록과 배경블록으로 분류한다. 상기 블록분류는 상기 도 16과 같은 절차로 이루어진다. 이때 글자블록의 이진화 동작은 상기 도 8 또는 도 10과 같은 에지향상 과정 및 상기 도 17과 같은 이진화 처리 과정을 수행한다.
이때 하나의 글자블록(8×8화소)만으로 배경화소와 글자화소를 구분하기 위한 기준값을 정하여 이진화 과정을 수행하면 블록의 크기가 너무 작아 인접한 글자블록의 기준값과 그 값의 차이가 크게 나서 이진화 영상에서 블록간의 불연속 현상이 발생할 수도 있다. 따라서 521단계에서 상기 분류된 글자블록을 중심으로 인접한 8개의 블록들을 그룹핑하여 24×24화소의 크기를 가지는 그룹핑된 블록을 생성한다. 상기 블록 그룹핑 과정에서 이진화를 수행하고자 하는 글자 블록을 중심으로 주변의 블록들을 그룹핑하여 영역을 확장한 후, 421단계에서 확장된 블록의 화소들을 쿼드래틱 필터링하여 글자블록 내의 이진화 처리한다. 이후 523단계에서는 상기 쿼드래틱 필터링 또는 개선된 쿼드래틱 필터링 된 그룹핑된 블록에서 중앙에 위치한 8×8 화소 크기의 글자블록을 분리 추출한다. 그리고 423단계-429단계에서 상기 분리된 글자블록의 화소들을 기준값 BTH 또는 BTHN에 의해 이진화 처리된다.
이외의 동작은 상기 도 12의 제1실시예와 동일한 절차로 수행된다.
네 번째로 상기 도 15를 참조하여 본 발명의 제4실시예에 따른 영상화면의 이진화 동작을 살펴본다.
상기 제4실시예의 이진화 동작은 상기 413단계에서 영상화면의 블록들을 글자블록 및 배경블록으로 분류한 후, 511단계에서 상기 글자블록의 영상을 성장한다. 상기 블록 분류과정에서 하나의 글자가 글자 사이의 배경 영향으로 글자화소를 포함하는 블록이 배경블록으로 분류될 수 있다. 따라서 상기 511단계의 블록 성장 과정에서는 상기 분류된 글자블록의 영역을 성장시켜 글자화소가 글자블록에 포함될 수 있도록 한다
이후 상기 분류된 결과에 따라 글자블록 및 배경블록의 이진화 절차를 수행한다. 이때 글자블록인 경우, 521단계에서 상기 글자블록을 중심으로 인접한 8개의 블록을 그룹핑하여 24×24블록으로 확장한다. 즉, 하나의 글자블록(8×8화소)만으로 이진화 과정을 수행하는 경우, 영역이 너무 작기 때문에 그 영역 내의 잡음에 영향을 많이 받게 된다. 따라서 상기 블록 그룹핑 과정에서는 이진화를 수행하고자 하는 글자 블록을 중심으로 주변의 블록들을 그룹핑하여 영역을 확장한 후, 421단계에서 확장된 블록의 화소들을 쿼드래틱 필터링 또는 개선된 쿼드래틱 필터링하여 글자블록 내의 화소들을 이진화 처리한다. 이후 523단계에서는 상기 쿼드래틱 필터링된 그룹핑된 블록에서 중앙에 위치한 8×8 화소 크기의 글자블록을 분리 추출한다. 그리고 423단계-429단계에서 상기 분리된 글자블록의 화소들을 기준값 BTH 또는 BTHN에 의해 이진화 처리된다. 이외의 동작은 상기 도 12의 제1실시예와 동일한 절차로 수행된다.
도 18은 상기 에지향상부130을 쿼드래틱 필터를 사용하여 구현한 경우의 이 진화 절차를 설명하기 위한 도면이다. 상기 도 18은 제4실시예에 쿼드래틱 필터를 사용하여 이진화 하는 경우의 절차를 도시하고 있다. 그리고 도 19a - 도 19i는 상기 도 18과 같은 절차로 이진화를 수행할 때의 영상을 도시하는 도면이다.
상기 도 18을 참조하면, 611단계에서 입력부110은 도 19a와 같은 영상화면을 입력한다. 여기서 상기 영상화면은 640(column)×480(row)의 화소들로 이루어진다고 가정한다. 그러면 613단계에서 블록분류부120은 상기 입력부110에서 발생되는 도 19a와 같은 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들에 포함되는 화소들을 검사하여 글자 블록 및 배경블록들로 분류하는 기능을 수행한다. 여기서 상기 블록 분할은 8×8 화소 단위로 이루어지며, 블록분류 과정을 수행하고 나면 도 19a와 같은 영상화면은 도 19b와 같이 글자블록 및 배경블록으로 분류된다. 상기 도 19b에서 그레이(gray) 부분은 글자블록으로 분류된 영역이며, 검은색(black) 부분은 배경블록으로 분류되었음을 의미한다.
그리고 615단계에서 블록성장부160은 도 19c와 같이 상기 블록분류부120에서 분류된 글자블록들을 확장한다. 이는 상기 블록 분류시 글자 사이의 배경 영향으로 글자화소를 포함하는 블록이 배경블록으로 분류될 수 있으며, 상기 글자블록을 성장하는 이유는 이렇게 배경블록으로 분류된 화소들을 글자블록으로 확장하기 위함이다. 이후 617단계에서 상기 블록성장부160은 상기 도 19c와 같이 성장된 영상화면의 글자블록들을 순차적으로 블록그룹핑부170에 출력한다. 이때 상기 블록그룹핑부170에 출력되는 영상은 글자블록으로써 도 19d와 같다. 619단계에서 상기 블록그룹핑부170은 상기 블록성장부160에서 출력되는 도 19d와 같은 글자블록들을 입력하 며, 상기 글자블록을 중심으로 인접한 주변 블록들을 그룹핑하여 도 19e와 같이 그룹핑된 블록들을 생성한다.
상기 도 19e와 같이 그룹핑된 블록들은 에지향상부130에 입력된다. 여기서 상기 에지향상부130은 상기한 바와 쿼드래틱 필터가 된다. 상기 쿼드래틱필터의 동작절차를 살펴보면, 621단계에서 제1기준값발생부311은 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값 Th1을 계산한다. 상기 제1기준값 Th1은 상기 <수학식 4>와 같은 방법으로 구할 수 있다. 623단계에서 상기 평균값 계산부313은 상기 <수학식 5> 및 <수학식 6>과 같은 계산을 수행하면서, 상기 글자블록의 화소들을 상기 제1기준값 Th1을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산한다. 이후 625단계에서 상기 정규화부315는 상기 입력되는 글자블록 x(m,n)의 화소들을 상기 평균값계산부313에서 출력되는 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1에 의해 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화한다. 상기 정규화부315는 상기 <수학식 7>에 의해 입력되는 글자블록 x(m,n)의 화소들을 정규화한다.
이후 627단계에서 상기 정규화된 글자블록 xN(m,n)은 쿼드래틱처리부317에서 쿼드래틱 처리되어 글자블록의 에지가 향상되고 잡음이 감소된다. 상기 쿼드래틱처리부317은 상기 <수학식 8>과 같은 계산 과정을 수행한다. 629단계에서 상기 역정규화부319는 상기 쿼드래틱 처리된 글자블록 yN(m,n)을 역정규화하여 출력블록y(m,n)을 발생한다. 상기 역정규화부319는 상기 <수학식 9>와 같은 계산을 수행하여 상기 정규화부315에서 정규화한 글자블록의 화소들을 정규화 동작 이전의 밝기 값의 범위로 변환한다. 상기 상기 역정규화부319에서 출력되는 영상은 도 19f와 같으며, 글자블록 y(m,n)은 블록분리부180 및 제2기준값계산부321에 인가된다. 그러면 631단계에서 상기 제2기준값계산부321은 상기 이진화부140에서 글자블록의 화소들을 글자화소 및 배경화소로 이진화하기 위한 제2기준값 Th2를 발생하며, 상기 제2기준값 Th2는 이진화부140의 기준값 BTH가 된다.
633단계에서 상기 블록분리부180은 상기 쿼드래틱 필터에서 출력되는 도 19f와 같이 에지가 향상된 그룹핑된 블록을 입력하며, 상기 그룹핑된 블록에서 상기 글자블록을 분리하여 도 19g와 같이 출력한다. 즉, 상기 블록분리부180은 상기 그룹핑된 블록에서 중앙에 위치한 글자블록만을 분리하는 기능을 수행한다. 그리고 635단계에서 상기 이진화부140은 블록분리부180에서 분리된 도 19g와 같은 글자블록들의 화소들을 상기 기준값BTH와 비교하여 도 19h와 같이 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화한다. 상기 블록분류부120 또는 블럭성장부160에서 출력되는 배경블록의 화소들은 제2밝기 값으로 이진화한다.
상기와 같은 동작을 반복하면서 글자블록 및 배경블록의 이진화 동작을 수행하며, 영상화면의 모든 블록에 대한 이진화 동작이 종료되면, 637단계에서 이를 감지하며, 639단계에서 도 19i와 이진화된 영상화면을 출력한다.
도 20은 상기 에지향상부130을 개선된 쿼드래틱 필터를 사용하여 구현한 경우의 이진화 절차를 설명하기 위한 도면이다. 상기 도 20은 제4실시예에 개선된 쿼 드래틱 필터를 사용한 경우의 절차를 도시하고 있다. 그리고 도 21a - 도 21g는 상기 도 18과 같은 절차로 이진화를 수행할 때의 영상을 도시하는 도면이다.
상기 도 20을 참조하면, 611단계에서 입력부110은 도 20a와 같은 영상화면을 입력한다. 여기서 상기 영상화면은 640(column)×480(row)의 화소들로 이루어진다고 가정한다. 그러면 613단계에서 블록분류부120은 상기 입력부110에서 발생되는 도 20a와 같은 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들에 포함되는 화소들을 검사하여 글자 블록 및 배경블록들로 분류하는 기능을 수행한다. 여기서 상기 블록 분할은 8×8 화소 단위로 이루어지며, 블록분류 과정을 수행하고 나면 도 21a와 같은 영상화면은 도 21b와 같이 글자블록 및 배경블록으로 분류된다. 상기 도 21b에서 그레이(gray) 부분은 글자블록으로 분류된 영역이며, 검은색(black) 부분은 배경블록으로 분류되었음을 의미한다.
그리고 615단계에서 블록성장부160은 도 21c와 같이 상기 블록분류부120에서 분류된 글자블록들을 확장한다. 이는 상기 블록 분류시 글자 사이의 배경 영향으로 글자화소를 포함하는 블록이 배경블록으로 분류될 수 있으며, 상기 글자블록을 성장하는 이유는 이렇게 배경블록으로 분류된 화소들을 글자블록으로 확장하기 위함이다. 이후 617단계에서 상기 블록성장부160은 상기 도 21c와 같이 성장된 영상화면의 글자블록들을 순차적으로 블록그룹핑부170에 출력한다. 이때 상기 블록그룹핑부170에 출력되는 영상은 글자블록으로써 도 21d와 같다. 619단계에서 상기 블록그룹핑부170은 상기 블록성장부160에서 출력되는 도 21d와 같은 글자블록들을 입력하며, 상기 글자블록을 중심으로 인접한 주변 블록들을 그룹핑하여 도 21e와 같이 그 룹핑된 블록들을 생성한다.
상기 도 21e와 같이 그룹핑된 블록 영상들은 에지향상부130에 입력된다. 여기서 상기 에지향상부130은 상기한 바와 개선된 쿼드래틱 필터가 된다. 상기 개선된 쿼드래틱필터의 동작절차를 살펴보면, 621단계에서 제1기준값발생부311은 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값 Th1을 계산한다. 상기 제1기준값 Th1은 상기 <수학식 4>와 같은 방법으로 구할 수 있다. 623단계에서 상기 평균값 계산부313은 상기 <수학식 5> 및 <수학식 6>과 같은 계산을 수행하면서, 상기 글자블록의 화소들을 상기 제1기준값 Th1을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산한다. 이후 625단계에서 상기 정규화부315는 상기 입력되는 글자블록 x(m,n)의 화소들을 상기 평균값계산부313에서 출력되는 글자화소의 평균 밝기 값 μ0 및 배경화소의 평균 밝기 값 μ1을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화한다. 상기 정규화부315는 상기 <수학식 7>에 의해 입력되는 글자블록 x(m,n)의 화소들을 정규화한다.
이후 627단계에서 상기 정규화된 글자블록 xN(m,n)은 개선된 쿼드래틱처리부317에서 개선된쿼드래틱 처리되어 글자블록의 에지가 향상되고 잡음이 감소된다. 상기 쿼드래틱처리부317은 상기 <수학식 8>과 같은 계산 과정을 수행한다. 그리고 711단계에서 상기 기준값정규화부331은 상기 정규화부315의 정규화방법과 동일한 방법으로 상기 제1기준값 Th1을 상기 <수학식 10>과 같이 정규화하여 제2기준값 Th2(기준값 BTHN)를 생성한다.
그리고 633단계에서 상기 블록분리부180은 상기 개선된 쿼드래틱 필터에서 출력되는 그룹핑된 블록을 입력하며, 상기 그룹핑된 블록에서 상기 글자블록을 분리하여 출력한다. 즉, 상기 블록분리부180은 상기 그룹핑된 블록에서 중앙에 위치한 글자블록만을 분리하는 기능을 수행한다. 그리고 635단계에서 상기 이진화부140은 블록분리부180에서 분리된 글자블록들의 화소들을 상기 기준값 BTHN과 비교하여 도 21f와 같이 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화한다. 상기 블록분류부120 또는 블럭성장부160에서 출력되는 배경블록의 화소들은 제2밝기 값으로 이진화한다.
상기와 같은 동작을 반복하면서 글자블록 및 배경블록의 이진화 동작을 수행하며, 영상화면의 모든 블록에 대한 이진화 동작이 종료되면, 637단계에서 이를 감지하며, 639단계에서 도 21g와 이진화된 영상화면을 출력한다.
상술한 바와 같이 영상신호에서 글자를 인식하기 위한 전처리 동작을 수행할 때, 영상화면을 처리할 블록 단위로 분할한 후, 분할된 블록들을 글자블록과 배경블록으로 분류하고, 분류된 글자블록들만 쿼드래틱 처리한 후 글자화소 및 배경화소로 이진화처리하며, 배경블록의 화소들은 모두 배경화소로 일괄 처리한다. 따라서 불규일한 조명이나 영상내에 그림자가 생기는 열악한 조건에서 촬영된 영상에 대해서도 이진화 성능에 신뢰성을 향상시킬 수 있다. 또한 상기 블록 분류시 배경블록으로 포함될 수 있는 글자화소는 글자블록을 성장하여 글자블록에 포함시켜 글자블록 분류의 신뢰성을 향상시킬 수 있다. 그리고 이진화 처리시 글자블록의 주변블록들을 그룹핑하여 쿼드래틱 처리한 후, 이진화처리 전단계에서 다시 그룹핑된 블록에서 글자블록을 분리하므로써, 글자블록의 이진화 처리에 대한 신뢰성을 향상시킬 수 있는 이점이 있다.

Claims (20)

  1. 영상화면의 이진화처리 장치에 있어서,
    영상화면을 입력하는 입력부와,
    상기 영상화면을 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와,
    상기 블록류부에서 분류된 글자블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와,
    에지향상부에서 출력되는 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된 것을 특징으로 하는 상기 이진화장치.
  2. 제1항에 있어서, 상기 에지향상부가,
    상기 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값을 계산하는 제1기준값 계산부와,
    상기 글자블록의 화소들을 상기 제1기준값을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산하는 평균값계산부와,
    상기 글자블록의 화소들을 상기 평균값계산부에서 출력되는 글자화소의 평균 밝기 값 및 배경화소의 평균 밝기 값을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화하는 정규화부와,
    상기 정규화된 글자블록을 쿼드래틱 처리하여 글자블록의 에지를 향상시키고 잡음을 감소시시키는 쿼드래틱 처리부와,
    상기 쿼드래틱 처리된 글자블록의 영상을 역정규화하여 제2기준값 계산부 및 상기 이진화부에 출력하는 역정규화부와,
    역정규화된 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제2기준값을 계산하며, 상기 제2기준값을 상기 이진화부의 기준값으로 출력하는 제2기준값 계산부로 구성된 것을 특징으로 하는 상기 이진화장치.
  3. 제2항에 있어서, 상기 에지향상부가 쿼드래틱 필터임을 특징으로 하는 상기 이진화장치.
  4. 제1항에 있어서, 상기 블록분류부가,
    상기 입력되는 영상화면을 미리 설정된 블록 크기로 분할하는 블록분할부와,
    상기 블록분할부에서 출력되는 블록들을 DCT (discrete cosine transform) 변환하는 DCT변환부와,
    상기 DCT변환된 각각의 블록 내에서 우수한 DCT 계수들(dominant DCT coefficients)의 절대값의 합을 계산하여 해당 블록의 에너지값으로 출력하는 에너지계산부와,
    에너지계산부에서 출력되는 상기 각 블록별로 계산된 에너지값들을 가산한 후, 상기 가산된 전체블록의 에너지값을 블록의 총개수로 나누어 평균한 값을 기준값으로 발생하는 기준값계산부와,
    상기 에너지계산부에서 출력되는 상기 블록별 에너지값들을 순차적으로 입력하며, 상기 입력되는 블록 에너지값을 상기 기준값을 이용하여 글자블록 또는 배경블록으로 분류하는 분류기로 구성된 것을 특징으로 하는 상기 이진화장치.
  5. 제4항에 있어서, 상기 블록은 8×8 화소의 크기를 가지며, 상기 각 블록의 에너지값은 하기 <수학식 12>에 의해 구해짐을 특징으로 하는 상기 이진화 장치.
    Figure 112003003658414-pat00012
    여기서
    Figure 112003003658414-pat00013
    는 k번째 블록의 i번째 우수한 DCT 계수를 의미하고, Sk는 k번째 블록의 우수한 DCT 계수의 절대값의 합을 의미
  6. 제1항에 있어서, 상기 에지향상부가,
    상기 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값을 계산하는 제1기준값 계산부와,
    상기 글자블록의 화소들을 상기 제1기준값을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산하는 평균값계산부와,
    상기 글자블록의 화소들을 상기 평균값계산부에서 출력되는 글자화소의 평균 밝기 값 및 배경화소의 평균 밝기 값을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화하는 정규화부와,
    상기 정규화된 글자블록을 쿼드래틱 처리하여 글자블록의 에지를 향상시키고 잡음을 감소시시켜 상기 이진화부에 출력하는 쿼드래틱 처리부와,
    상기 제1기준값을 정규화하여 글자블록의 화소들을 글자화소와 배경화소로 분류하기 위한 제2기준값을 계산하며, 상기 제2기준값을 상기 이진화부의 기준값으로 출력하는 제2기준값 계산부로 구성된 것을 특징으로 하는 상기 이진화장치.
  7. 영상화면의 이진화처리 장치에 있어서,
    영상화면을 입력하는 입력부와,
    상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와,
    상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 부분을 글자블록으로 복원하는 블록성장부와,
    상기 블록성장부에서 출력되는 글자블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와,
    에지향상부에서 출력되는 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록성장부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된 것을 특징으로 하는 상기 이진화장치.
  8. 제7항에 있어서, 상기 블록성장부는
    모포로지컬(morphological) 필터를 사용할 수 있으며, 상기 모포로지컬 필터는 상기 글자블록을 확장하여 글자블록과 글자블록 사이의 고립된 배경블록들을 글자블록으로 변환하고, 수축을 통해 원래 크기의 블록 크기로 복원하는 것을 특징으로 하는 상기 이진화 장치.
  9. 영상화면의 이진화처리 장치에 있어서,
    영상화면을 입력하는 입력부와,
    상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와,
    상기 블록류부에서 분류된 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 블록그룹핑부와,
    상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와,
    에지향상부에서 출력되는 그룹핑된 블록에 상기 글자블록을 분리하는 블록분리부와,
    상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된 것을 특징으로 하는 상기 이진화장치.
  10. 영상화면의 이진화처리 장치에 있어서,
    영상화면을 입력하는 입력부와,
    상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 블록분류부와,
    상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 블록을 글자블록으로 복원하는 블록성장부와,
    상기 블록성장부120에서 출력되는 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 블록그룹핑부와,
    상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 에지향상부와,
    에지향상부에서 출력되는 그룹핑된 블록에 상기 글자블록을 분리하는 블록분리부와,
    상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록성장부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 이진화부로 구성된 것을 특징으로 하는 상기 이진화장치.
  11. 영상화면의 이진화처리 방법에 있어서,
    영상화면을 입력하는 과정과,
    상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과,
    상기 분류된 글자블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시 키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과,
    상기 에지가 향상된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류 과정에서 분류된 배경블록의 화소들을 제2밝기 값으로 이진화하는 과정으로 이루어짐을 특징으로 하는 상기 이진화방법.
  12. 제11항에 있어서, 상기 에지향상 과정이,
    상기 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값을 계산하는 과정과,
    상기 글자블록의 화소들을 상기 제1기준값을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산하는 과정과,
    상기 글자블록의 화소들을 상기 글자화소의 평균 밝기 값 및 배경화소의 평균 밝기 값을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화하는 과정과,
    상기 정규화된 글자블록을 쿼드래틱 처리하여 글자블록의 에지를 향상시키고 잡음을 감소시시키는 쿼드래틱 처리 과정과,
    상기 쿼드래틱 처리된 글자블록의 영상을 상기 이진화과정에서 처리할 수 있 도록 역정규화하는 과정과,
    역정규화된 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제2기준값을 계산하며, 상기 제2기준값을 상기 이진화 과정의 기준값으로 출력하는 과정으로 이루어짐을 특징으로 하는 상기 이진화방법.
  13. 제12항에 있어서, 상기 에지향상 과정이 쿼드래틱 필터에 의해 수행됨을 특징으로 하는 상기 이진화방법.
  14. 제11항에 있어서, 상기 블록분류과정이,
    상기 입력되는 영상화면을 미리 설정된 블록 크기로 분할하는 과정과,
    상기 분할된 블록들을 DCT 변환하는 과정과,
    상기 DCT변환된 각각의 블록 내에서 우수한 DCT 계수들의 절대값의 합을 계산하여 해당 블록의 에너지값으로 출력하는 과정과,
    상기 각 블록별로 계산된 에너지값들을 가산한 후, 상기 가산된 전체블록의 에너지값을 블록의 총개수로 나누어 평균한 값을 기준값으로 발생하는 과정과,
    상기 블록별 에너지값들을 순차적으로 입력하며, 상기 입력되는 블록 에너지값을 상기 기준값을 이용하여 글자블록 또는 배경블록으로 분류하는 과정으로 이루어짐을 특징으로 하는 상기 이진화방법.
  15. 제14항에 있어서, 상기 블록은 8×8화소의 크기를 가지며, 상기 각 블록의 에너지값은 하기 <수학식 13>에 의해 구해짐을 특징으로 하는 상기 이진화 방법.
    Figure 112003003658414-pat00014
    여기서
    Figure 112003003658414-pat00015
    는 k번째 블록의 i번째 우수한 DCT 계수를 의미하고, Sk는 k번째 블록의 우수한 DCT 계수의 절대값의 합을 의미
  16. 제11항에 있어서, 상기 에지 향상 과정이,
    상기 글자블록의 각 화소를 글자화소와 배경화소로 분류하기 위한 제1기준값을 계산하는 과정과,
    상기 글자블록의 화소들을 상기 제1기준값을 기준으로 글자화소와 배경화소로 분류한 후, 상기 글자블록의 글자화소 및 배경화소의 평균 밝기값들을 계산하는 과정과,
    상기 글자블록의 화소들을 상기 글자화소의 평균 밝기 값 및 배경화소의 평균 밝기 값을 이용하여 글자화소를 1에 가까운 값으로, 배경화소를 0에 가까운 값으로 정규화하는 과정과,
    상기 정규화된 글자블록을 쿼드래틱 처리하여 글자블록의 에지를 향상시키고 잡음을 감소시시켜 상기 이진화부에 출력하는 쿼드래틱 처리 과정과,
    상기 제1기준값을 정규화하여 각 화소를 글자화소와 배경화소로 분류하기 위한 제2기준값을 계산하며, 상기 제2기준값을 상기 이진화과정의 기준값으로 출력하는 과정으로 이루어짐을 특징으로 하는 상기 이진화방법.
  17. 영상화면의 이진화처리 방법에 있어서,
    영상화면을 입력하는 과정과,
    상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과,
    상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 블록을 글자블록으로 복원하는 블록성장과정과,
    상기 글자블록의 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과,
    에지향상 처리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 배경블록의 화소들을 제2밝기 값으로 이진화하는 과정으로 이루어짐을 특징으로하는 상기 이진화방법.
  18. 제17항에 있어서, 상기 블록성장과정이
    글자블록을 성장시켜 글자블록과 글자블록 사이에 고립된 배경블록들을 글지블록으로 변환하는 과정과,
    상기 성장된 글자블록을 축소하여 원래의 크기로 복원하는 과정으로 이루어짐을 특징으로 하는 상기 이진화 방법.
  19. 영상화면의 이진화처리 방법에 있어서,
    영상화면을 입력하는 과정과,
    상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과,
    상기 분류된 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 과정과,
    상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과,
    에지향상된 그룹핑된 블록에 상기 글자블록을 분리하는 블록분리부와,
    상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 블록분류부에서 출력되는 배경블록의 화소들을 제2밝기 값으로 이진화하는 과정으로 이루어짐을 특징으로 하는 상기 이진화방법.
  20. 영상화면의 이진화처리 방법에 있어서,
    영상화면을 입력하는 과정과,
    상기 영상화면을 상기 블록으로 분할하고, 상기 분할된 블록들을 글자 블록 및 배경블록들로 분류하는 과정과,
    상기 분류된 글자블록을 성장시켜 배경블록으로 분류된 글자화소를 포함하는 블록을 글자블록으로 복원하는 블록성장 과정과,
    상기 글자블록을 주변블록들과 그룹핑시켜 그룹핑된 블록을 생성하는 과정과,
    상기 그룹핑된 블록에서 주변화소들 간의 관계를 이용하여 에지를 향상시키고, 상기 글자블록의 글자화소 및 배경화소를 구분하기 위한 기준값을 생성하는 과정과,
    에지향상된 그룹핑된 블록에 상기 글자블록을 분리하는 과정과,
    상기 분리된 글자블록들의 화소들을 상기 기준값과 비교하여 글자화소 및 배경화소의 제1 및 제2밝기 값으로 이진화하고, 또한 상기 배경블록의 화소들을 제2밝기 값으로 이진화하는 과정으로 이루어짐을 특징으로 하는 상기 이진화방법.
KR1020030006420A 2003-01-30 2003-01-30 영상신호의 이진화 장치 및 방법 KR100703284B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020030006420A KR100703284B1 (ko) 2003-01-30 2003-01-30 영상신호의 이진화 장치 및 방법
US10/767,061 US7567709B2 (en) 2003-01-30 2004-01-30 Segmentation, including classification and binarization of character regions
EP04002061A EP1455299A3 (en) 2003-01-30 2004-01-30 Device and method for binarizing image
CNB2004100025645A CN1311394C (zh) 2003-01-30 2004-01-30 用于二进制化图像的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030006420A KR100703284B1 (ko) 2003-01-30 2003-01-30 영상신호의 이진화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040069867A KR20040069867A (ko) 2004-08-06
KR100703284B1 true KR100703284B1 (ko) 2007-04-03

Family

ID=32822627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030006420A KR100703284B1 (ko) 2003-01-30 2003-01-30 영상신호의 이진화 장치 및 방법

Country Status (4)

Country Link
US (1) US7567709B2 (ko)
EP (1) EP1455299A3 (ko)
KR (1) KR100703284B1 (ko)
CN (1) CN1311394C (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019242A1 (en) * 2005-07-22 2007-01-25 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP4600775B2 (ja) * 2006-04-03 2010-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
JP4926568B2 (ja) * 2006-06-29 2012-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US7787693B2 (en) * 2006-11-20 2010-08-31 Microsoft Corporation Text detection on mobile communications devices
US20080187194A1 (en) * 2007-02-05 2008-08-07 Zhang Daoxian H Cad image normalization
JP4872860B2 (ja) * 2007-09-13 2012-02-08 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置及び画像処理方法
JP4582200B2 (ja) * 2008-06-03 2010-11-17 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像変換方法、およびコンピュータプログラム
KR101015663B1 (ko) * 2008-06-24 2011-02-22 삼성전자주식회사 문자인식장치에서의 문자인식방법 및 그 장치
JP5206503B2 (ja) * 2009-03-03 2013-06-12 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101103176B1 (ko) * 2010-09-07 2012-01-04 영남대학교 산학협력단 발광 모듈의 제어 방법 및 시스템
US8571307B2 (en) * 2010-11-16 2013-10-29 Hand Held Products, Inc. Method and system operative to process monochrome image data
JP5828649B2 (ja) * 2011-03-09 2015-12-09 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
CN102156868B (zh) * 2011-03-31 2013-03-13 汉王科技股份有限公司 图像二值化方法和装置
US11055334B2 (en) * 2011-09-23 2021-07-06 Avaya Inc. System and method for aligning messages to an event based on semantic similarity
KR20140012391A (ko) * 2012-07-20 2014-02-03 주식회사바텍 X선 영상장치의 노이즈 저감화 방법 및 시스템
US9171204B2 (en) * 2012-12-12 2015-10-27 Qualcomm Incorporated Method of perspective correction for devanagari text
US9520102B2 (en) 2013-04-29 2016-12-13 International Business Machines Corporation Text extraction from graphical user interface content
US20150228045A1 (en) * 2013-09-23 2015-08-13 Infosys Limited Methods for embedding and extracting a watermark in a text document and devices thereof
CN105335935B (zh) * 2014-06-11 2018-03-16 富士通株式会社 图像处理装置和方法
JP6599672B2 (ja) * 2015-07-17 2019-10-30 日本電産サンキョー株式会社 文字切り出し装置、文字認識装置、および文字切り出し方法
CN108969347B (zh) * 2017-11-22 2021-02-19 青岛大学附属医院 为鼻炎患者提供舒适清洗的压力球按压压力参考系统
US11087448B2 (en) * 2019-05-30 2021-08-10 Kyocera Document Solutions Inc. Apparatus, method, and non-transitory recording medium for a document fold determination based on the change point block detection
CN111311573B (zh) * 2020-02-12 2024-01-30 贵州理工学院 枝条确定方法、装置及电子设备
CN112699962A (zh) * 2021-01-13 2021-04-23 福州大学 一种在边缘节点上部署二值化分类网络的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765123A (ja) * 1993-08-24 1995-03-10 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2001291056A (ja) 2000-04-05 2001-10-19 Fujitsu Ltd 文書画像認識装置及び記録媒体
JP2001291058A (ja) * 2000-04-07 2001-10-19 Fujitsu Ltd 文字認識装置及び記録媒体
JP2002016800A (ja) 2000-06-28 2002-01-18 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002314806A (ja) 2001-04-11 2002-10-25 Canon Inc 画像処理方法及びその装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4783838A (en) * 1984-12-26 1988-11-08 Konishiroku Photo Industry Co., Ltd. Image processing method and apparatus therefor
JPH04320160A (ja) * 1991-04-19 1992-11-10 Matsushita Electric Ind Co Ltd 画像信号圧縮伸長装置および領域識別処理装置
US5212741A (en) * 1992-01-21 1993-05-18 Eastman Kodak Company Preprocessing of dot-matrix/ink-jet printed text for Optical Character Recognition
CA2108684C (en) * 1992-02-25 1998-09-15 Yukio Kaji Image scanner
DE4411248C1 (de) * 1994-03-31 1995-10-26 Licentia Gmbh Verfahren und Vorrichtung zum Binarisieren von Pixel-Daten
AUPN727295A0 (en) * 1995-12-21 1996-01-18 Canon Kabushiki Kaisha Zone segmentation for image display
JPH1056569A (ja) * 1996-08-07 1998-02-24 Riso Kagaku Corp 画像処理方法および装置
FR2795205B1 (fr) * 1999-06-15 2001-07-27 Mannesmann Dematic Postal Automation Sa Procede pour binariser des images numeriques a plusieurs niveaux de gris
EP1117072A1 (en) 2000-01-17 2001-07-18 Koninklijke Philips Electronics N.V. Text improvement
JP4391704B2 (ja) * 2001-01-11 2009-12-24 富士通株式会社 多値画像から二値画像を生成する画像処理装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765123A (ja) * 1993-08-24 1995-03-10 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2001291056A (ja) 2000-04-05 2001-10-19 Fujitsu Ltd 文書画像認識装置及び記録媒体
JP2001291058A (ja) * 2000-04-07 2001-10-19 Fujitsu Ltd 文字認識装置及び記録媒体
JP2002016800A (ja) 2000-06-28 2002-01-18 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002314806A (ja) 2001-04-11 2002-10-25 Canon Inc 画像処理方法及びその装置

Also Published As

Publication number Publication date
US7567709B2 (en) 2009-07-28
CN1519770A (zh) 2004-08-11
EP1455299A2 (en) 2004-09-08
US20050008250A1 (en) 2005-01-13
CN1311394C (zh) 2007-04-18
KR20040069867A (ko) 2004-08-06
EP1455299A3 (en) 2006-05-03

Similar Documents

Publication Publication Date Title
KR100703284B1 (ko) 영상신호의 이진화 장치 및 방법
KR100977713B1 (ko) 영상신호의 글자 인식을 위한 전처리 장치 및 방법
US7876959B2 (en) Methods and systems for identifying text in digital images
US5546474A (en) Detection of photo regions in digital images
JP3353968B2 (ja) 画像処理装置
US7346211B2 (en) Image type classification using color discreteness features
EP1173003B1 (en) Image processing method and image processing apparatus
KR100946888B1 (ko) 영상화면 내의 피사체의 기울기 보정 장치 및 방법
US6985628B2 (en) Image type classification using edge features
US7620246B2 (en) Method and apparatus for image processing
Biswas et al. A global-to-local approach to binarization of degraded document images
US7130085B2 (en) Half-tone dot elimination method and system thereof
KR20040069865A (ko) 영상화면 내의 글자영역 확장장치 및 방법
Nomura et al. A new method for degraded color image binarization based on adaptive lightning on grayscale versions
Papamarkos A technique for fuzzy document binarization
JP3150762B2 (ja) グラディエントベクトルの抽出方式及び文字認識用特徴抽出方式
Sakila et al. A hybrid approach for document image binarization
JP2960468B2 (ja) 濃淡画像の2値化方法及び装置
Yang OCR oriented binarization method of document image
Chiddarwar et al. Contrast Based Enhancement of Palm-leaf Manuscript Images
Suen et al. Color document image segmentation for automated document entry systems
JP2001291056A (ja) 文書画像認識装置及び記録媒体
Shin et al. Block adaptive binarization of business card images in PDA using modified quadratic filter
KR19990005294A (ko) 패턴 인식 시스템의 입력 영상 이진화 방법
Lokhande et al. Document Image Binarization Technique for Degraded Document Images

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee