KR100745753B1 - 영상의 문자 영역 검출장치 및 방법 - Google Patents

영상의 문자 영역 검출장치 및 방법 Download PDF

Info

Publication number
KR100745753B1
KR100745753B1 KR1020050111432A KR20050111432A KR100745753B1 KR 100745753 B1 KR100745753 B1 KR 100745753B1 KR 1020050111432 A KR1020050111432 A KR 1020050111432A KR 20050111432 A KR20050111432 A KR 20050111432A KR 100745753 B1 KR100745753 B1 KR 100745753B1
Authority
KR
South Korea
Prior art keywords
character
area
region
detected
detecting
Prior art date
Application number
KR1020050111432A
Other languages
English (en)
Other versions
KR20070053544A (ko
Inventor
정철곤
문영수
치펑 리우
김지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050111432A priority Critical patent/KR100745753B1/ko
Priority to US11/594,827 priority patent/US20070116360A1/en
Publication of KR20070053544A publication Critical patent/KR20070053544A/ko
Application granted granted Critical
Publication of KR100745753B1 publication Critical patent/KR100745753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/147—Determination of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18076—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Character Input (AREA)

Abstract

영상의 문자 영역 검출장치 및 방법이 개시된다. 이 장치는 문자 스트록 필터를 사용한 문자 스트록들의 검출에 의해, 영상에서 문자 후보영역을 검출하는 문자 후보영역 검출부; 및 상기 문자 후보영역 검출부의 검출결과에 응답하여, 상기 검출된 문자 후보영역의 부분 영역들에 대한 각각의 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 사용하여, 상기 검출된 문자 후보영역이 문자 영역인지 여부를 검사하는 문자 영역 검사부를 구비하는 것을 특징으로 한다. 따라서, 본 발명에 따르면, 문자 후보 영역을 검출시 스트록 필터를 사용함으로써, 효과적으로 문자 후보영역을 추출할 수 있고, 특징치 조합에 의해 문자 영역의 판별에 있어서 정밀한 판별 성능을 제공하도록 하며, 검출된 문자 영역을 보정함으로써, 최적의 문자 영역이 검출되도록 한다.

Description

영상의 문자 영역 검출장치 및 방법{Apparatus and method for detecting a text area of a image}
도 1은 본 발명에 의한 영상의 문자 영역 검출장치를 설명하기 위한 일 실시예의 블록도이다.
도 2는 도 1에 도시된 문자 후보영역 검출부를 설명하기 위한 일 실시예의 블록도이다.
도 3은 한글 문자에 대한 문자 스트록들의 일 예를 나타내는 도면이다.
도 4는 영어 문자에 대한 문자 스트록들의 일 예를 나타내는 도면이다.
도 5는 문자 스트록 필터의 일 예를 나타내는 도면이다.
도 6은 문자 스트록 영역을 재조정하고, 재조정된 문자 스트록 영역에 대해 히스토그램화 한 일 예를 나타낸 도면이다.
도 7은 도 1에 도시된 문자영역 검사부를 설명하기 위한 일 실시예의 블록도이다.
도 8은 도 7에 도시된 특징치 검출부를 설명하기 위한 일 실시예의 블록도이다.
도 9는 검출된 문자 후보영역에 대해 소정 크기의 윈도우를 사용하여 분할한 부분 영역들의 일 예를 나타내는 도면이다.
도 10은 도 1에 도시된 경계 보정부를 설명하기 위한 일 실시예의 블록도이다.
도 11은 도 10에 도시된 경계선 축소부에 의해 문자 영역의 경계선이 축소되는 일 예를 나타내는 도면이다.
도 12는 도 10에 도시된 경계선 결합부를 설명하기 위한 일 실시예의 블록도이다.
도 13은 경계선 결합부의 각 구성요소를 설명하기 위한 일 예의 도면이다.
도 14는 경계선 확장부를 설명하기 위한 일 예의 도면이다.
도 15는 본 발명에 의한 영상의 문자 영역 검출방법을 설명하기 위한 일 실시예의 플로차트이다.
도 16은 도 15에 도시된 제702 단계를 설명하기 위한 일 실시예의 플로차트이다.
도 17은 도 15에 도시된 제704 단계를 설명하기 위한 일 실시예의 플로차트이다.
도 18은 도 17에 도시된 제900 단계를 설명하기 위한 일 실시예의 플로차트이다.
도 19는 도 15에 도시된 제708 단계를 설명하기 위한 일 실시예의 플로차트이다.
도 20은 도 19에 도시된 제1012 단계를 설명하기 위한 일 실시예의 플로차트이다.
<도면의 주요 부호에 대한 간단한 설명>
100: 영상 크기 조정부 110: 문자 후보 영역 검출부
120: 문자 영역 검사부 130: 검출결과 조합부
140; 경계 보정부 200: 에러 검출부
210: 제1 모폴로지 처리부 220: 문자 스트록 검출부
230: 제2 모폴로지 처리부 240: 연결 요소 분석부
250: 후보 영역 결정부 300: 특징치 검출부
310: 제1 점수 산출부 320: 문자 영역 결정부
400: 후보 영역 크기 조정부 410: 부분 영역 검출부
420: 정규화 휘도 특징치 검출부 430: CGV 특징치 검출부
500: 경계선 축소부 510: 경계선 결합부
520: 경계선 확장부 600: 간격 검사부
610: 제2 점수 산출부 620: 결합부
본 발명은 영상에서 문자 영역의 검출에 관한 것으로, 보다 상세하게는 스트록 필터에 기반한 영상의 문자 영역 검출장치 및 방법에 관한 것이다.
비디오나 영상 내의 자막문자는 의미있는 정보를 포함하고 있기 때문에, DCM(Digital Contents Management) 서비스를 위해 자막 문자의 내용 파악이 중요시 되고 있다. 즉, 자막 문자의 내용 파악은 동영상 요약, 동영상 검색, 중요 장면 검출 및 문자 기반 모바일 서비스 등 다양한 DCM 서비스에 활용된다. 이러한 자막 문자를 검출하기 위해서는 먼저 자막 문자가 위치하는 영역을 검출할 필요성이 있다.
이러한 자막 문자의 영역을 검출하기 위한 종래의 기술로는 영상의 에지나 칼라 특성에 기반하여 문자 영역을 검출하거나, CGV(Constant Gradient Variance), 그레이(Gray), 그레디언트(Gradient) 등을 기초로 단일의 머신학습 분류기를 생성하고, 이를 기반으로 문자 영역을 검출하거나, 멀티 해상도(multi-resolusion) 기법을 활용하여 각 피라미드 레벨에서 머신학습 기반하에 문자영역을 검출하도록 하고, 검출된 결과들을 단순 통합하여 최종적인 문자 영역을 검출하는 방식들을 사용하였다.
그러나, 종래의 기술에 의하면, 에지나 칼라의 특성만으로는 배경 영역과 문자 영역의 구분 능력에 한계가 있어 오검출이나 미검출이 다수 발생할 수 있고, 단일 분류기의 적용에 의한 경우에 문자 영역 검출에 성능상의 한계를 나타내며, 다수의 분류기 조합의 적용이 요구되며, 각 피라미드 레벨에서의 효율적인 영역 검출과정 및 계층적 통합 검출과정이 필요함에 따라 처리 속도의 지연 등의 문제점들이 발생한다.
본 발명이 이루고자 하는 기술적 과제는 스트록 필터에 기반하여 최적의 문자 영역을 검출하기 위한 영상의 문자 영역 검출장치 및 방법을 제공하는데 있다.
상기의 과제를 이루기 위해, 본 발명에 의한 영상의 문자 영역 검출장치는 문자 스트록 필터를 사용한 문자 스트록들의 검출에 의해, 영상에서 문자 후보영역을 검출하는 문자 후보영역 검출부; 및 상기 문자 후보영역 검출부의 검출결과에 응답하여, 상기 검출된 문자 후보영역의 부분 영역들에 대한 각각의 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 사용하여, 상기 검출된 문자 후보영역이 문자 영역인지 여부를 검사하는 문자 영역 검사부를 구비하는 것을 특징으로 한다.
상기의 다른 과제를 이루기 위해, 본 발명에 의한 영상의 문자 영역 검출방법은 문자 스트록 필터를 사용한 문자 스트록들의 검출에 의해, 영상에서 문자 후보영역을 검출하는 단계; 및 상기 검출된 문자 후보영역의 부분 영역들에 대한 각각의 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 사용하여, 상기 검출된 문자 후보영역이 문자 영역인지 여부를 검사하는 단계를 구비하는 것을 특징으로 한다.
이하, 본 발명에 의한 영상의 문자 영역 검출장치를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 의한 영상의 문자 영역 검출장치를 설명하기 위한 일 실시예의 블록도로서, 영상 크기 조정부(100), 문자 후보영역 검출부(110), 문자영역 검사부(120), 검출결과 조합부(130) 및 경계 보정부(140)로 구성된다.
영상 크기 조정부(100)는 영상의 크기를 조정하고, 조정한 결과를 문자 후보영역 검출부(110)로 출력한다. 영상 크기 조정부(100)는 원래의 영상을 확대할 수도 있고, 축소할 수도 있다.
문자 후보영역 검출부(110)는 크기가 조정된 영상에서 문자 스트록들을 검출함으로써, 크기가 조정된 영상에서 문자 후보영역을 검출하고, 검출한 결과를 문자영역 검사부(120)로 출력한다.
도 2는 도 1에 도시된 문자 후보영역 검출부(110)를 설명하기 위한 일 실시 예의 블록도로서, 에지 검출부(200), 제1 모폴로지 처리부(210), 문자 스트록 검출부(220), 제2 모폴로지 처리부(230), 연결 요소 분석부(240) 및 후보 영역 결정부(250)로 구성된다.
에지 검출부(200)는 크기가 조정된 영상으로부터 에지를 검출하고, 검출한 결과를 제1 모폴로지 처리부(210)로 출력한다. 에지는 영상에서 콘트라스트(contrast) 차가 큰 부분에 해당한다.
제1 모폴로지 처리부(210)는 검출된 에지에 대해 모폴로지(morphology) 처리를 수행하고, 수행한 결과를 문자 스트록 검출부(220)로 출력한다. 모폴로지 처리는 형태학적인 영상처리 기법에 관한 것으로, 영상 전처리 작업이나 초기 객체분류 또는 객체의 내재된 구조를 명확하게 하여 경계, 골격 등과 같은 형태를 표현하는데 유용한 영상 요소의 추출을 위해 사용되는 기법이다. 이러한 모폴로지 처리는 확장(dilation), 축소(erosion) 등의 처리가 행해진다. 확장은 기존의 영상보다 밝은 부분이 더 커지게 되는 것이고, 축소 기법은 기존의 영상보다 어두운 부분이 더 커지게 되는 것이다. 결국, 제1 모폴로지 처리부(210)는 검출된 에지에 대해 모폴로지 처리를 통해 에지를 확장 또는 축소한다.
문자 스트록 검출부(220)는 모폴로지 처리된 영상으로부터 문자 스트록들을 검출하고, 검출한 결과를 제2 모폴로지 처리부(230)로 출력한다. 여기서, 문자 스트록이라 함은, 문자를 구성하는 한 획을 의미한다. 예를 들어, 한글 문자는 다수의 스트록들이 모여서 하나의 한글 문자를 형성하며, 영어 문자의 경우에도 다수의 스트록들이 이어져서 하나의 알파벳 문자를 형성한다.
도 3은 한글 문자에 대한 문자 스트록들의 일 예를 나타내는 도면이고, 도 4는 영어 문자에 대한 문자 스트록들의 일 예를 나타내는 도면이다. 도 3의 (a)에 해당하는 한글 문자에 대한 문자 스트록들이 도 3의 (b)에 도시된 ① 내지 ④에 해당하고, 도 4의 (a)에 해당하는 영어 문자에 대한 문자 스트록들이 도 4의 (b)에 도시된 ① 내지 ③에 해당한다.
문자 스트록 검출부(220)는 문자 스트록 필터를 사용해 영상을 스캐닝하면서 문자 스트록들을 검출하는 것을 특징으로 한다. 문자 스트록 검출부(220)는 문자 스트록 필터에 포함된 화소들의 화소값들로부터 문자 스트록들을 검출한다.
도 5는 문자 스트록 필터의 일 예를 나타내는 도면이다. 도 5에 도시된 바와 같이, 문자 스트록 필터는 직사각형의 모양을 갖는 제1 필터(①), 제2 필터(②) 및 제3 필터(③)를 한 쌍으로 갖는 것을 특징으로 한다.
제1 필터(①)의 세로폭을 d라 할 때, 제2 필터(②) 및 제3 필터(③)의 세로폭은 제1 필터(①)의 세로폭의 1/2에 해당한다. 또한, 제1 필터(①)와 제2 필터(②)의 이격된 거리도 제1 필터(①)의 세로폭의 1/2에 해당하고, 제1 필터(①)와 제3 필터(③)의 이격된 거리도 제1 필터(①)의 세로폭의 1/2에 해당한다. 다만, 이러한 조건은 일 예에 지나지 않는 것으로 다양한 크기의 필터가 구성될 수 있다.
문자 스트록 검출부(220)는 문자 스트록 필터의 각도를 변화시키면서 문자 스트록들을 검출하는 것을 특징으로 한다. 예를 들어, 문자 스트록 검출부(220)는 문자 스트록 필터의 각도를 0[도], 45[도], 90[도], 및 135[도]로 각각 회전시키면서, 그 때마다 문자 스트록 필터에 포함되는 화소들의 화소값들로부터 문자 스트록 들을 검출한다.
한편, 문자 스트록 검출부(220)는 문자 스트록 필터의 크기를 변화시키면서 문자 스트록들을 검출하는 것을 특징으로 한다. 예를 들어, 문자 스트록 검출부(220)는 제1 필터(①), 제2 필터(②) 및 제3 필터(③)의 가로폭 또는 세로폭의 크기를 변화시키면서 문자 스트록들을 검출한다.
문자 스트록 검출부(220)는 다음의 수학식 1에 의해 구해진 문자 스트록 검출을 위한 필터링값이 제1 임계값을 초과하는 영역을 문자 스트록들로서 검출하는 것을 특징으로 한다.
Figure 112005066952399-pat00001
여기서, R(α,d)는 필터링값을 의미하고, α는 문자 스트록 필터의 기울어진 각도를 의미하고, d는 제1 필터의 세로폭을 의미하고, m1 (1) 은 제1 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m2 (1)은 제2 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m3 (1)은 제3 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m1 (2)은 제1 필터에 포함된 화소들의 화소값들에 대한 분산을 의미한다.
제1 임계값은 문자 스트록 필터에 의해 필터링된 영상이 문자 스트록이라고 인정할 만한 최소한도의 값으로서, 미리 반복적인 실험을 통해 얻어진 값을 사용한다.
제2 모폴로지 처리부(230)는 검출된 문자 스트록들에 대해 모폴로지(morphology) 처리를 수행하고, 수행한 결과를 연결 요소 분석부(240)로 출력한다. 제2 모폴로지 처리부(230)는 모폴로지 처리를 통해 문자 스트록들을 확장 또는 축소한다.
연결 요소 분석부(240)는 모폴로지 처리된 문자 스트록들이 차지하는 영역 즉, 문자 스트록 영역의 연결요소를 분석하여 문자 스트록 영역을 재조정하고, 재조정한 결과를 후보 영역 결정부(250)로 출력한다.
연결 요소 분석부(240)는 다수의 문자 스트록 영역이 상측, 하측, 좌측 또는 우측에 접해 있을 때, 접해진 문자 스트록 영역을 하나의 문자 스트록 영역으로 통합하는 것을 특징으로 한다.
도 6은 문자 스트록 영역을 재조정하고, 재조정된 문자 스트록 영역에 대해 히스토그램화 한 일 예를 나타낸 도면이다. 도 6의 (a)는 문자 스트록 영역을 나타내고, 도 6의 (b)는 재조정된 문자 스트록 영역 및 이 영역에 대한 히스토그램의 일 예이다. 도 6의 (b)에서 보는 바와 같이, 연결 요소 분석부(240)는 다수의 문자 스트록 영역이 상측, 하측, 좌측 또는 우측에 접해 있을 때, 접해진 문자 스트록 영역을 하나의 문자 스트록 영역으로 통합함으로써, 좀더 큰 영영으로 재조정된다.
또한, 연결 요소 분석부(240)는 문자 스트록 영역에 포함된 화소수가 소정 개수 이하라면, 문자 스트록 영역을 문자 후보영역에서 배제하는 것을 특징으로 한다. 도 6의 (b)에서 보는 바와 같이, 연결 요소 분석부(240)는 문자 스트록 영역에 포함된 화소수가 소정 개수 이하(예를 들어, 300 화소수 이하)라면, 문자 스트록 영역을 문자 후보영역에서 배제한다. 즉, 연결 요소 분석부(240)에 의해 화소수가 작은 문자 스트록 영역이 제거됨으로써, 도 6의 (b)에 도시된 바와 같이, 단순화 된 문자 스트록 영역으로 재조정된다.
후보 영역 결정부(250)는 재조정된 문자 스트록 영역의 화소수를 가로 및 세로로 직교투영한 결과로부터 문자 후보영역을 결정한다.
후보영역 결정부(250)는 문자 스트록 영역의 화소수를 가로로 직교투영하여 히스토그램화 한 결과 중 제1 비교값을 초과하고, 세로로 직교투영하여 히스토그램화 한 결과 중 제2 비교값을 초과하는 문자 스트록 영역을 상기 문자 후보영역으로 결정하는 것을 특징으로 한다. 도 6의 (b)에 도시된 바와 같이, 후보영역 결정부(250)는 문자 스트록 영역(① 및 ②)의 화소수를 가로로 직교투영하여 히스토그램화 한 결과(③) 중 제1 비교값(R1)을 초과하는 문자 스트록 영역(③)과, 세로로 직교투영하여 히스토그램화 한 결과(④ 및 ⑤) 중 제2 비교값(R2)을 초과하는 문자 스트록 영역(⑤)을 동시에 만족하는 문자 스트록 영역(①)을 문자 후보영역으로 결정한다.
문자영역 검사부(120)는 문자 후보영역 검출부(110)의 검출결과에 응답하여, 검출된 문자 후보영역이 문자 영역인지 여부를 검사하고, 검사한 결과를 검출결과 조합부(130)로 출력한다.
도 7은 도 1에 도시된 문자영역 검사부(120)를 설명하기 위한 일 실시예의 블록도로서, 특징치 검출부(300), 제1 점수 산출부(310) 및 문자 영역 결정부(320)로 구성된다.
특징치 검출부(300)는 검출된 문자 후보영역을 소정 크기로 분할한 부분영역들에 대해 각각 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 검출한다. 정규화 휘도 특징치는 부분 영역의 휘도에 대한 정규화된 값을 의미한다.
도 8은 도 7에 도시된 특징치 검출부(300)를 설명하기 위한 일 실시예의 블록도로서, 후보영역 크기 조정부(400), 부분 영역 검출부(410), 정규화 휘도 특징치 검출부(420) 및 CGV 특징치 검출부(430)로 구성된다.
후보영역 크기 조정부(400)는 검출된 문자 후보영역의 크기를 조정하고, 크기가 조정된 문자 후보영역의 결과를 부분 영역 검출부(410)로 출력한다. 예를 들어, 후보영역 크기 조정부(400)는 검출된 문자 후보영역의 크기를 세로폭이 15[픽셀]에 해당하는 크기로 조정한다.
부분 영역 검출부(410)는 소정 크기의 윈도우를 사용하여, 문자 후보영역에 대한 부분영역들을 검출하고, 검출한 결과를 정규화 휘도 특징치 검출부(420) 및 CGV 특징치 검출부(430)로 출력한다.
도 9는 검출된 문자 후보영역에 대해 소정 크기의 윈도우를 사용하여 분할한 부분 영역들의 일 예를 나타내는 도면이다. 도 9의 (a)는 문자 후보영역 검출부(110)에서 검출된 문자 후보영역이고, 도 9의 (b)는 소정 크기(예를 들어, 15×15[ 픽셀])의 윈도우(①)를 사용해 문자 후보영역에 대해 스캐닝하는 과정을 나타내는 도면이고, 도 9의 (c)는 소정 크기의 윈도우에 의해 분할된 부분 영역들을 나타내는 도면이다.
정규화 휘도 특징치 검출부(420)는 부분 영역 검출부(410)에서 검출된 부분 영역들 각각에 대한 정규화 휘도 특징치를 검출한다.
정규화 휘도 특징치 검출부(420)는 다음의 수학식 2를 사용하여, 임의의 부분 영역에 대한 각 화소들의 정규화 휘도 특징치 성분을 검출하는 것을 특징으로 한다.
Figure 112005066952399-pat00002
여기서, Nf(s)는 상기 임의의 부분 영역 내의 화소 s에 대한 정규화 휘도 특징치 성분을 의미하고, f(s)는 상기 화소 s에 대한 휘도값을 의미하고, Vmin 은 상기 임의의 부분 영역 내 화소들에 대한 휘도값들 중 가장 낮은 휘도값을 의미하고, Vmax 은 상기 임의의 부분 영역 내 화소들에 대한 휘도값들 중 가장 높은 휘도값을 의미하고, L은 휘도값을 정규화하기 위한 소정 상수값을 의미한다.
예를 들어, L이 255의 상수값을 갖는다면, 정규화 휘도 특징치 성분은 0 내지 255 사이의 범위 내에서 정규화된다.
부분 영역의 크기가 15×15[픽셀]의 크기를 갖는다면, 부분 영역 내에 225개의 화소들을 갖는다. 따라서, 각 화소에 대한 정규화 휘도 특징치 성분은 225개의 값을 갖는다. 결국, 225개의 정규화 휘도 특징치 성분이 모여서 벡터값에 해당하는 정규화 휘도 특징치를 구성하게 된다.
CGV 특징치 검출부(430)는 검출된 부분 영역들 각각에 대한 CGV 특징치를 검출한다.
CGV 특징치 검출부(430)는 다음의 수학식 3을 사용하여, 임의의 부분 영역에 대한 각 화소들의 CGV 특징치 성분을 검출하는 것을 특징으로 한다.
Figure 112005066952399-pat00003
여기서, CGV(s)는 임의의 부분 영역 내의 화소 s에 대한 CGV 특징치 성분을 의미하고, g(s)는 상기 화소 s에 대한 그레디언트(gradient) 크기를 의미하고, LM(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 평균을 의미하고, LV(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 분산을 의미하고, GV는 상기 임의의 부분 영역 내의 화소들의 휘도값 분산을 의미한다. 즉, 화소 s에 대한 그레디언트(gradient) 크기는 그레디언트 필터를 통과시켜 얻는 값이다. 또한, LM(s)는 각 화소를 중심으로 부분 영역을 작은 영역(예를 들어, 9×9[픽셀])으로 나누었을 때, 이 나뉘어진 소정 영역에 포함된 화소들의 휘도값 평균을 의미한다. 또한, LV(s)는 각 화소를 중심으로 부분 영역을 작은 영역(예를 들어, 9×9[픽셀])으로 나누었을 때, 이 나뉘어진 소정 영역에 포함된 화소들의 휘도값 분산을 의미한다.
부분 영역의 크기가 15×15[픽셀]의 크기를 갖는다면, 부분 영역 내에 225개의 화소들을 갖는다. 따라서, 각 화소에 대한 CGV 특징치 성분은 225개의 값을 갖는다. 결국, 225개의 CGV 특징치 성분이 모여서 벡터값에 해당하는 CGV 특징치를 구성하게 된다.
결국, 특징치 검출부(300)는 하나의 부분 영역에서 벡터값에 해당하는 정규화 휘도 특징치 및 CGV 특징치를 검출한다.
제1 점수 산출부(310)는 부분 영역들 각각에 대한 정규화 휘도 특징치 및 CGV 특징치를 통합하여, 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출하고, 산출한 결과를 문자 영역 결정부(320)로 출력한다.
제1 점수 산출부(310)는 다음의 수학식 4를 사용하여 임의의 부분 영역에 대한 문자 영역 판별점수를 산출하는 것을 특징으로 한다.
Figure 112005066952399-pat00004
여기서, F0는 상기 임의의 부분 영역에 대한 상기 문자 영역 판별점수를 의미하고, F1은 상기 임의의 부분 영역에 대한 정규화 휘도 특징치의 SVM(Support Vector Machine) 출력 점수를 의미하고, F2은 상기 임의의 부분 영역에 대한 CGV 특징치의 SVM(Support Vector Machine) 출력 점수를 의미하고, P1은 정규화 휘도 특징치의 미리 훈련된 사전 확률을 의미하고, P2은 CGV 특징치의 미리 훈련된 사전 확률 을 의미한다.
사전 확률 P1는 정규화 휘도 특징치에 대해 반복적인 훈련을 통해 구해진 분류 성능을 확률화 한 것이다. 또한, 사전 확률 P2는 CGV 특징치에 대해 반복적인 훈련을 통해 구해진 분류 성능을 확률화 한 것이다.
SVM(Support Vector Machine) 출력 점수는 다음의 수학식 5를 사용하여 구한다.
Figure 112005066952399-pat00005
여기서, F는 SVM 출력 점수를 의미하고, αt는 가중치를 의미하고, yt는 레이블을 의미하고, K는 커널(Kernel)을 의미하고, xtj는 특징치를 의미하고, z는 변수를 의미하고, b는 상수값을 의미한다.
문자 영역 결정부(320)는 제1 점수 산출부(310)에서 산출된 각 부분 영역들에 대한 각각의 문자 영역 판별점수들의 평균을 제2 임계값과 비교하여, 비교 결과에 따라 문자 후보 영역을 문자 영역으로 결정한다. 즉, 문자 영역 결정부(320)는 문자 후보 영역에 대한 각 부분 영역들의 문자 영역 판별점수들을 평균하고, 구해진 평균한 값을 소정의 제2 임계값과 비교한다. 문자 영역 결정부(320)는 구해진 평균값이 소정의 제2 임계값 이상이라면, 문자 후보영역에 대해 문자 영역으로 결 정한다. 제2 임계값은 문자 후보영역이 문자 영역으로 판별되기 위한 최소한의 값을 의미한다.
검출결과 조합부(130)는 크기가 조정된 영상들 각각에서 검출된 동일 문자 영역에 대한 문자 영역 판별점수의 평균들 중 가장 큰 값을 나타내는 영상을 선택하고, 선택한 결과를 경계 보정부(140)로 출력한다.
예를 들어, 영상 크기 조정부(100)에서 레벨 1의 크기로 조정된 영상에 대한 문자영역 A가 검출되고, 검출된 문자 영역 A에 대한 문자 영역 판별점수의 평균이 "10"이라 가정하고, 영상 크기 조정부(100)에서 레벨 2의 크기로 조정된 영상에 대한 문자영역 A가 검출되고, 검출된 문자 영역 A에 대한 문자 영역 판별점수의 평균이 "8"이라 가정할 때, 검출결과 조합부(130)는 동일한 문자 영역 A에 대한 문자 영역 판별점수의 평균 중 큰 값을 나타내는 레벨 1을 선택한다.
경계 보정부(140)는 검출결과 조합부(130)에서 선택된 영상에 포함된 문자 영역의 경계를 보정한다.
도 10은 도 1에 도시된 경계 보정부(140)를 설명하기 위한 일 실시예의 불록도로서, 경계선 축소부(500), 경계선 결합부(510) 및 경계선 확장부(520)로 구성된다.
경계선 축소부(500)는 검출된 문자 영역의 부분 영역들 각각에 대한 문자 영역 판별점수들이 제3 임계값 이하인가를 검사하고, 검사결과에 따라 문자 영역의 경계선을 축소한다. 제3 임계값은 문자 영역의 부분 영역들 각각이 문자 영역에 해당하는가를 판단하기 위한 최소한의 값을 의미한다. 임의의 부분 영역에 대한 문자 영역 판별점수가 제3 임계값을 초과한다면, 이 부분 영역은 문자 영역에 해당하므로 문자 영역의 경계선이 축소되지 않는다. 그러나, 임의의 부분 영역에 대한 문자 영역 판별점수가 제3 임계값을 초과하지 않는다면, 이 부분 영역은 문자 영역에 해당하지 않으므로 문자 영역의 경계선이 축소된다.
도 11은 경계선 축소부(500)에 의해 문자 영역의 경계선이 축소되는 일 예를 나타내는 도면이다. 도 11에 도시된 바와 같이, 화살표에 의해 표시된 부분 영역들은 문자 영역 판별 점수가 제3 임계값 이하이므로, 문자 영역의 경계선이 축소된 것이다.
경계선 결합부(510)는 검출결과 조합부(130)에서 선택된 영상에 포함된 문자 영역 사이의 간격을 검사하여, 문자 영역의 경계선을 결합한다.
도 12는 도 10에 도시된 경계선 결합부(510)를 설명하기 위한 일 실시예의 불록도로서, 간격 검사부(600), 제2 점수 산출부(610) 및 결합부(620)로 구성된다.
도 13은 경계선 결합부(510)의 각 구성요소를 설명하기 위한 일 예의 도면이다. 도 13에 도시된 바와 같이, 문자 영역 검사부(120)에 의해 세 부분의 문자 영역(a, b 및 c)이 검출되어 있음을 도시하고 있다.
간격 검사부(600)는 검출된 문자 영역 사이의 간격을 검사하고, 검사한 결과를 제2 점수 산출부(610)로 출력한다. 예를 들어, 도 13을 가지고 설명하면, 간격 검사부(600)는 문자 영역 a와 문자 영역 b 사이의 간격(D1)을 검사하고, 문자 영역 b와 문자 영역 c 사이의 간격(D2)을 검사한다.
간격 검사부(600)는 문자 영역 사이의 간격이 소정 간격 범위(Dmin ≤ D ≤Dmax)속한다면 이하라면, 소정 간격 범위에 속한다는 검사결과를 제2 점수 산출부(610)로 출력한다. 또한, 간격 검사부(600)는 문자 영역 사이의 간격이 소정 간격 범위 이하( D＜Dmin)라면, 소정 간격 범위 이하라는 검사결과를 결합부(620)로 출력한다.
제2 점수 산출부(610)는 간격 검사부(600)의 검사 결과에 따라, 문자 영역 사이의 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출한다. 예를 들어, 도 13을 가지고 설명하면, 문자 영역 a와 문자 영역 b 사이의 간격(D1)이 소정 간격 범위에 속한다면, 제2 점수 산출부(610)는 문자 영역 a와 문자 영역 b 사이의 영역 d의 분할 영역들에 대한 문자 영역 판별점수들을 각각 검출한다. 제2 점수 산출부(610)는 전술한 수학식 2 내지 4를 사용하여 문자 영역 판별점수를 구한다.
결합부(620)는 제2 점수 산출부(610)에서 산출된 문자 영역 판별점수들의 평균과 제4 임계값을 비교하여, 비교결과에 따라 검출된 문자 영역의 경계선을 결합한다. 제4 임계값은 문자 영역 사이의 영역에 대한 경계선을 결합하기 위한 최소한의 값을 의미한다. 예를 들어, 도 13을 가지고 설명하면, 결합부(620)는 영역 d의 문자 영역 판별점수들의 평균이 제4 임계값(Th4) 이상이라면, 문자 영역 a 및 문자 영역 b의 경계선을 결합한다.
한편, 결합부(620)는 간격 검사부(600)로부터 문자 영역 사이의 간격이 소정 간격 범위 이하라는 검사 결과를 입력받으면, 문자 영역 사이의 경계선을 결합한다. 예를 들어, 도 13을 가지고 설명하면, 문자 영역 b 및 문자 영역 c의 간격(D2)이 소정 간격 범위 이하( D＜Dmin)라는 검사 결과를 입력받으면, 결합부(620)는 문자 영역 b 및 문자 영역 c의 경계선을 결합한다.
경계선 확장부(520)는 검출결과 조합부(130)에서 선택된 영상에 포함된 문자 영역과 문자영역의 중심부분에 해당하는 중심영역 사이의 화소 분포의 유사도를 비교하여, 비교된 유사도와 문자영역 판별점수에 따라 문자 영역의 경계선을 확장한다.
도 14는 경계선 확장부를 설명하기 위한 일 예의 도면이다. 도 14의 (a)는 검출된 문자 영역(실선 영역:①)과 검출된 문자 영역의 중심 영역(점선 영역:②)을 도시한 도면이고, 도 14의 (b)는 검출된 문자 영역의 화소 분포(①) 및 문자 영역의 중심 영역의 화소 분포(②)를 나타내는 도면이다. 문자 영역의 중심영역은 문자 영역의 1/2 또는 1/3로 정할 수 있으나, 이는 예시적인 것에 지나지 않는다.
도 14에 도시된 바와 같이, 경계선 확장부(520)는 문자 영역의 화소분포와 중심영역의 화소분포의 유사도를 비교하고, 유사도가 소정 기준 이상인가를 검사한다. 한편, 경계선 확장부(520)는 문자 영역의 부분 영역들 각각에 대한 문자 영역 판별점수들의 평균이 제5 임계값을 초과하는가를 검사한다. 경계선 확장부(520)는유사도가 소정 기준 이상이고, 문자 영역 판별점수들의 평균이 제5 임계값을 초과 할 때, 검출된 문자 영역에 대한 경계선을 확장한다. 따라서, 도 14의 (a)에 도시된 바와 같이, 경계선 확장부(520)는 문자 영역을 적절하게 포함하지 못하고 구분된 실선 부분의 영역을 확장함으로써, 잘려진 문자가 모두 포함되도록 한다.
이하, 본 발명에 의한 영상의 문자 영역 검출방법을 첨부된 도면을 참조하여 상세히 설명한다.
도 15는 본 발명에 의한 영상의 문자 영역 검출방법을 설명하기 위한 일 실시예의 플로차트이다.
먼저, 영상의 크기를 조정한다(제700 단계). 원래의 영상을 확대할 수도 있고, 축소할 수도 있다.
제700 단계 후에, 문자 스트록들의 검출에 의해, 영상에서 문자 후보영역을 검출한다(제702 단계).
도 16은 도 15에 도시된 제702 단계를 설명하기 위한 일 실시예의 플로차트이다.
영상으로부터 에지를 검출한다(제800 단계). 에지는 영상에서 콘트라스트(contrast) 차가 큰 부분에 해당한다.
제800 단계 후에, 검출된 에지에 대해 모폴로지(morphology) 처리를 수행한다(제802 단계). 모폴로지 처리는 확장(dilation), 축소(erosion) 등의 처리가 행해진다. 확장은 기존의 영상보다 밝은 부분이 더 커지게 되는 것이고, 축소 기법은 기존의 영상보다 어두운 부분이 더 커지게 되는 것이다.
제802 단계 후에, 모폴로지 처리된 영상으로부터 문자 스트록들을 검출한다( 제804 단계). 도 5에 도시된 바와 같이, 문자 스트록 필터는 직사각형의 모양을 갖는 제1 필터(①), 제2 필터(②) 및 제3 필터(③)를 한 쌍으로 갖는 것을 특징으로 한다. 다만, 이러한 조건은 일 예에 지나지 않는 것으로 다양한 크기의 필터가 구성될 수 있다.
제804 단계는 문자 스트록 필터를 사용해 영상을 스캐닝하면서 문자 스트록들을 검출하는 것을 특징으로 한다.
문자 스트록 필터의 각도를 변화시키면서 문자 스트록들을 검출하는 것을 특징으로 한다. 예를 들어, 문자 스트록 필터의 각도를 0[도], 45[도], 90[도], 및 135[도]로 각각 회전시키면서, 그 때마다 문자 스트록 필터에 포함되는 화소들의 화소값들로부터 문자 스트록들을 검출한다.
또한, 문자 스트록 필터의 크기를 변화시키면서 문자 스트록들을 검출하는 것을 특징으로 한다. 예를 들어, 도 5의 제1 필터(①), 제2 필터(②) 및 제3 필터(③)의 가로폭 또는 세로폭의 크기를 변화시키면서 문자 스트록들을 검출한다.
제804 단계는 전술한 수학식 1에 의해 구해진 필터링값이 제1 임계값을 초과하는 영역을 문자 스트록들로서 검출하는 것을 특징으로 한다. 수학식 1에서, R(α,d)는 필터링값을 의미하고, α는 문자 스트록 필터의 기울어진 각도를 의미하고, d는 제1 필터의 세로폭을 의미하고, m1 (1) 은 제1 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m2 (1)은 제2 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m3 (1)은 제3 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m1 (2)은 제1 필터에 포함된 화소들의 화소값들에 대한 분산을 의미한다.
제1 임계값은 문자 스트록 필터에 의해 필터링된 영상이 문자 스트록이라고 인정할 만한 최소한도의 값으로서, 미리 반복적인 실험을 통해 얻어진 값을 사용한다.
제804 단계 후에, 문자 스트록들이 차지하는 영역에 해당하는 문자 스트록 영역에 대해 모폴로지(morphology) 처리를 수행한다(제806 단계). 모폴로지 처리를 통해 문자 스트록들을 확장 또는 축소 등을 한다.
제806 단계 후에, 검출된 문자 스트록들이 차지하는 영역을 문자 스트록 영역이라 할 때, 문자 스트록 영역의 연결요소를 분석하여 문자 스트록 영역을 재조정한다(제808 단계).
제808 단계는 다수의 문자 스트록 영역이 상측, 하측, 좌측 또는 우측에 접해 있을 때, 접해진 문자 스트록 영역을 하나의 문자 스트록 영역으로 통합하는 것을 특징으로 한다. 도 6의 (b)에서 보는 바와 같이, 다수의 문자 스트록 영역이 상측, 하측, 좌측 또는 우측에 접해 있을 때, 접해진 문자 스트록 영역을 하나의 문자 스트록 영역으로 통합함으로써, 좀더 큰 영역으로 재조정된다.
또한, 제808 단계는 문자 스트록 영역에 포함된 화소수가 소정 개수 이하라면, 문자 스트록 영역을 문자 후보영역에서 배제하는 것을 특징으로 한다. 도 6의 (b)에서 보는 바와 같이, 문자 스트록 영역에 포함된 화소수가 소정 개수 이하(예를 들어, 300 화소수 이하)라면, 문자 스트록 영역을 문자 후보영역에서 배제한다. 즉, 화소수가 작은 문자 스트록 영역이 제거됨으로써, 도 6의 (b)에 도시된 바와 같이, 단순화 된 문자 스트록 영역으로 재조정된다.
제808 단계 후에, 재조정된 문자 스트록 영역의 화소수를 가로 및 세로로 직교투영한 결과로부터 문자 후보영역을 결정한다(제810 단계).
제810 단계는 문자 스트록 영역의 화소수를 가로로 직교투영하여 히스토그램화 한 결과 중 제1 비교값을 초과하고, 세로로 직교투영하여 히스토그램화 한 결과 중 제2 비교값을 초과하는 문자 스트록 영역을 상기 문자 후보영역으로 결정하는 것을 특징으로 한다. 도 6의 (b)에 도시된 바와 같이, 문자 스트록 영역(① 및 ②)의 화소수를 가로로 직교투영하여 히스토그램화 한 결과(③) 중 제1 비교값(R1)을 초과하는 문자 스트록 영역(③)과, 세로로 직교투영하여 히스토그램화 한 결과(④ 및 ⑤) 중 제2 비교값(R2)을 초과하는 문자 스트록 영역(⑤)을 동시에 만족하는 문자 스트록 영역(①)을 문자 후보영역으로 결정한다.
제702 단계 후에, 검출된 문자 후보영역이 문자 영역인지 여부를 검사한다(제704 단계).
도 17는 도 15에 도시된 제704 단계를 설명하기 위한 일 실시예의 플로차트이다.
검출된 문자 후보영역을 소정 크기로 분할한 부분영역들에 대해 각각 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 검출한다(제900 단계). 정규화 휘도 특징치는 부분 영역의 휘도에 대한 정규화된 값을 의미한다.
도 18은 도 17에 도시된 제900 단계를 설명하기 위한 일 실시예의 플로차트이다.
검출된 문자 후보영역의 크기를 조정한다(제1000 단계). 예를 들어, 검출된 문자 후보영역의 크기를 세로폭이 15[픽셀]에 해당하는 크기로 조정한다.
제1000 단계 후에, 소정 크기의 윈도우를 사용하여, 크기가 조정된 문자 후보영역에 대한 부분영역들을 검출한다(제1002 단계). 도 9에 도시된 바와 같이, 도 9의 (a)는 문자 후보영역 검출부(110)에서 검출된 문자 후보영역이고, 도 9의 (b)는 소정 크기(예를 들어, 15×15[픽셀])의 윈도우(①)를 사용해 문자 후보영역에 대해 스캐닝하는 과정을 나타내는 도면이고, 도 9의 (c)는 소정 크기의 윈도우에 의해 분할된 부분 영역들을 나타내는 도면이다.
제1002 단계 후에, 검출된 부분 영역들 각각에 대한 정규화 휘도 특징치 및 CGV 특징치를 검출한다(제1004 단계).
전술한 수학식 2를 사용하여, 임의의 부분 영역에 대한 각 화소들의 정규화 휘도 특징치 성분을 검출하는 것을 특징으로 한다. 수학식 2에서, Nf(s)는 임의의 부분 영역 내의 화소 s에 대한 정규화 휘도 특징치 성분을 의미하고, f(s)는 상기 화소 s에 대한 휘도값을 의미하고, Vmin 은 상기 임의의 부분 영역 내 화소들에 대한 휘도값들 중 가장 낮은 휘도값을 의미하고, Vmax 은 상기 임의의 부분 영역 내 화소 들에 대한 휘도값들 중 가장 높은 휘도값을 의미하고, L은 휘도값을 정규화하기 위한 소정 상수값을 의미한다.
예를 들어, L이 255의 상수값을 갖는다면, 정규화 휘도 특징치 성분은 0 내지 255 사이의 범위 내에서 정규화된다. 또한, 부분 영역의 크기가 15×15[픽셀]의 크기를 갖는다면, 부분 영역 내에 225개의 화소들을 갖는다. 따라서, 각 화소에 대한 정규화 휘도 특징치 성분은 225개의 값을 갖는다. 결국, 225개의 정규화 휘도 특징치 성분이 모여서 벡터값에 해당하는 정규화 휘도 특징치를 구성하게 된다.
한편,전술한 수학식 3을 사용하여, 임의의 부분 영역에 대한 각 화소들의 CGV 특징치 성분을 검출하는 것을 특징으로 한다. 수학식 3에서, CGV(s)는 임의의 부분 영역 내의 화소 s에 대한 CGV 특징치 성분을 의미하고, g(s)는 상기 화소 s에 대한 그레디언트(gradient) 크기를 의미하고, LM(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 평균을 의미하고, LV(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 분산을 의미하고, GV는 상기 임의의 부분 영역 내의 화소들의 휘도값 분산을 의미한다. 즉, 화소 s에 대한 그레디언트(gradient) 크기는 그레디언트 필터를 통과시켜 얻는 값이다. 또한, LM(s)는 각 화소를 중심으로 부분 영역을 작은 영역(예를 들어, 9×9[픽셀])으로 나누었을 때, 이 나뉘어진 소정 영역에 포함된 화소들의 휘도값 평균을 의미한다. 또한, LV(s)는 각 화소를 중심으로 부분 영역을 작은 영역(예를 들어, 9×9[픽셀])으로 나누었을 때, 이 나뉘어진 소정 영역에 포함된 화소들의 휘도값 분산을 의미한다.
예를 들어, 부분 영역의 크기가 15×15[픽셀]의 크기를 갖는다면, 부분 영역 내에 225개의 화소들을 갖는다. 따라서, 각 화소에 대한 CGV 특징치 성분은 225개의 값을 갖는다. 결국, 225개의 CGV 특징치 성분이 모여서 벡터값에 해당하는 CGV 특징치를 구성하게 된다.
제900 단계 후에, 부분 영역들 각각에 대한 정규화 휘도 특징치 및 CGV 특징치를 통합하여, 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출한다(제902 단계).
전술한 수학식 4를 사용하여 임의의 부분 영역에 대한 문자 영역 판별점수를 산출하는 것을 특징으로 한다. 수학식 4에서, F0는 상기 임의의 부분 영역에 대한 상기 문자 영역 판별점수를 의미하고, F1은 상기 임의의 부분 영역에 대한 정규화 휘도 특징치 f1의 SVM(Support Vector Machine) 출력 점수를 의미하고, F2은 상기 임의의 부분 영역에 대한 CGV 특징치 f2의 SVM(Support Vector Machine) 출력 점수를 의미하고, P1은 정규화 휘도 특징치 f1의 미리 훈련된 사전 확률을 의미하고, P2은 CGV 특징치 f2의 미리 훈련된 사전 확률을 의미한다.
사전 확률 P1는 정규화 휘도 특징치 f1에 대해 반복적인 훈련을 통해 구해진 분류 성능을 확률화 한 것이다. 또한, 사전 확률 P2는 CGV 특징치 f2에 대해 반복적인 훈련을 통해 구해진 분류 성능을 확률화 한 것이다.
문자 영역 판별점수를 산출하기 위해 특징치에 대한 SVM(Support Vector Machine) 출력 점수가 전술한 수학식 5에 의해 산출된다. 수학식 5에서, F는 SVM 출력 점수를 의미하고, αt는 가중치를 의미하고, yt는 레이블을 의미하고, K는 커널(Kernel)을 의미하고, xtj는 특징치를 의미하고, z는 변수를 의미하고, b는 상수값을 의미한다.
제902 단계 후에, 산출된 문자 영역 판별점수들의 평균을 제2 임계값과 비교하여, 비교 결과에 따라 문자 후보 영역을 문자 영역으로 결정한다(제904 단계).
제904 단계는 문자 후보 영역에 대한 각 부분 영역들의 문자 영역 판별점수들을 평균하고, 구해진 평균한 값을 소정의 제2 임계값과 비교한다. 제904 단계는 구해진 평균값이 소정의 제2 임계값 이상이라면, 문자 후보영역에 대해 문자 영역으로 결정한다. 제2 임계값은 문자 후보영역이 문자 영역으로 판별되기 위한 최소한의 값을 의미한다.
제704 단계 후에, 크기가 조정된 영상들 각각에서 검출된 동일 문자 영역에 대한 문자 영역 판별점수의 평균들 중 가장 큰 값을 나타내는 영상을 선택한다(제706 단계). 예를 들어, 레벨 1의 크기로 조정된 영상으로부터 문자영역 A가 검출되고, 검출된 문자 영역 A에 대한 문자 영역 판별점수의 평균이 "10"이라 가정하고, 레벨 2의 크기로 조정된 영상으로부터 문자영역 A가 검출되고, 검출된 문자 영역 A에 대한 문자 영역 판별점수의 평균이 "8"이라 가정할 때, 제706 단계는 동일한 문자 영역 A에 대한 문자 영역 판별점수의 평균 중 큰 값을 나타내는 레벨 1을 선택한다.
제706 단계 후에, 제706 단계에서 선택된 영상에 포함된 문자 영역의 경계를 보정한다(제708 단계).
도 19는 도 15에 도시된 제708 단계를 설명하기 위한 일 실시예의 플로차트이다.
검출된 문자 영역의 부분 영역들 각각에 대한 문자 영역 판별점수들이 제3 임계값 이하인가를 검사하고, 검사결과에 따라 문자 영역의 경계선을 축소한다(제1010 단계). 제3 임계값은 문자 영역의 부분 영역들 각각이 문자 영역에 해당하는가를 판단하기 위한 최소한의 값을 의미한다. 임의의 부분 영역에 대한 문자 영역 판별점수가 제3 임계값을 초과한다면, 이 부분 영역은 문자 영역에 해당하므로 문자 영역의 경계선이 축소되지 않는다. 그러나, 임의의 부분 영역에 대한 문자 영역 판별점수가 제3 임계값을 초과하지 않는다면, 이 부분 영역은 문자 영역에 해당하지 않으므로 문자 영역의 경계선이 축소된다.
도 11에 도시된 바와 같이, 화살표에 의해 표시된 부분 영역들은 문자 영역 판별 점수가 제3 임계값 이하이므로, 문자 영역의 경계선이 축소된 것이다.
한편, 검출된 문자 영역 사이의 간격을 검사하여, 검출된 문자 영역의 경계선을 결합한다(제1012 단계).
도 20은 도 19에 도시된 제1012 단계를 설명하기 위한 일 실시예의 플로차트이다.
검출된 문자 영역 사이의 간격을 검사한다(제1020 단계). 예를 들어, 도 13을 가지고 설명하면, 문자 영역 a와 문자 영역 b 사이의 간격(D1)을 검사하고, 문자 영역 b와 문자 영역 c 사이의 간격(D2)을 검사한다. 문자 영역 사이의 간격이 소정 간격 범위(Dmin ≤ D ≤Dmax)속한다면 이하라면, 소정 간격 범위에 속한다는 검사결과를 출력한다. 또한, 문자 영역 사이의 간격이 소정 간격 범위 이하( D＜Dmin)라면, 소정 간격 범위 이하라는 검사결과를 출력한다.
제1020 단계 후에, 문자 영역 사이의 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출한다(제1022 단계).
예를 들어, 도 13을 가지고 설명하면, 문자 영역 a와 문자 영역 b 사이의 간격(D1)이 소정 간격 범위에 속한다면, 문자 영역 a와 문자 영역 b 사이의 영역 d의 분할 영역들에 대한 문자 영역 판별점수들을 각각 검출한다. 제1022 단계는 전술한 수학식 2 내지 4를 사용하여 문자 영역 판별점수를 구한다.
제1022 단계 후에, 산출된 문자 영역 판별점수들의 평균과 제4 임계값을 비교하여, 비교결과에 따라 검출된 문자 영역의 경계선을 결합한다(제1024 단계).
제4 임계값은 문자 영역 사이의 영역에 대한 경계선을 결합하기 위한 최소한의 값을 의미한다. 예를 들어, 도 13을 가지고 설명하면, 영역 d의 문자 영역 판별점수들의 평균이 제4 임계값(Th4) 이상이라면, 문자 영역 a 및 문자 영역 b의 경계선을 결합한다.
한편, 문자 영역 사이의 간격이 소정 간격 범위 이하라는 검사 결과를 입력받으면, 문자 영역 사이의 경계선을 결합한다. 예를 들어, 도 13을 가지고 설명하 면, 문자 영역 b 및 문자 영역 c의 간격(D2)이 소정 간격 범위 이하( D＜Dmin)라는 검사 결과를 입력받으면, 문자 영역 b 및 문자 영역 c의 경계선을 결합한다.
한편, 검출된 문자 영역과 검출된 문자영역의 중심부분에 해당하는 중심영역 간의 화소 분포의 유사도를 비교하여, 비교된 유사도에 따라 검출된 문자 영역의 경계선을 확장한다(제1014 단계).
도 14에 도시된 바와 같이, 문자 영역의 화소분포와 중심영역의 화소분포의 유사도를 비교하고, 유사도가 소정 기준 이상인가를 검사한다. 한편, 문자 영역의 부분 영역들 각각에 대한 문자 영역 판별점수들의 평균이 제5 임계값을 초과하는가를 검사한다. 유사도가 소정 기준 이상이고, 문자 영역 판별점수들의 평균이 제5 임계값을 초과할 때, 검출된 문자 영역에 대한 경계선을 확장한다. 따라서, 도 14의 (a)에 도시된 바와 같이, 문자 영역을 적절하게 포함하지 못하고 구분된 실선 부분의 영역을 확장함으로써, 잘려진 문자가 모두 포함되도록 한다.
한편, 상술한 본 발명의 방법 발명은 컴퓨터에서 읽을 수 있는 코드/명령들(instructions)/프로그램으로 구현될 수 있고, 매체, 예를 들면 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 코드/명령들/프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크, 마그네틱 테이프 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다. 또한, 본 발명의 실시예들은 컴퓨터 로 읽을 수 있는 코드를 내장하는 매체(들)로서 구현되어, 네트워크를 통해 연결된 다수개의 컴퓨터 시스템들이 분배되어 처리 동작하도록 할 수 있다. 본 발명을 실현하는 기능적인 프로그램들, 코드들 및 코드 세그먼트(segment)들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 쉽게 추론될 수 있다.
이러한 본원 발명인 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 의한 영상의 문자 영역 검출장치 및 방법은 문자 후보 영역을 검출시 스트록 필터를 사용함으로써, 효과적으로 문자 후보영역을 추출할 수 있다.
또한, 본 발명에 의한 영상의 문자 영역 검출장치 및 방법은 특징치 조합에 의해 문자 영역의 판별에 있어서 보다 정밀한 판별 성능을 제공하도록 한다.
또한, 본 발명에 의한 영상의 문자 영역 검출장치 및 방법은 검출된 문자 영역을 보정함으로써, 최적의 문자 영역이 검출되도록 한다.

Claims (51)

  1. 문자 스트록 필터를 사용한 문자 스트록들의 검출에 의해, 영상에서 문자 후보영역을 검출하는 문자 후보영역 검출부; 및
    상기 문자 후보영역 검출부의 검출결과에 응답하여, 상기 검출된 문자 후보영역의 부분 영역들에 대한 각각의 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 사용하여, 상기 검출된 문자 후보영역이 문자 영역인지 여부를 검사하는 문자 영역 검사부를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  2. 제1항에 있어서, 상기 문자 후보영역 검출부는
    상기 영상으로부터 상기 문자 스트록들을 검출하는 문자 스트록 검출부;
    상기 검출된 문자 스트록들이 차지하는 영역을 문자 스트록 영역이라 할 때, 상기 문자 스트록 영역의 연결요소를 분석하여 상기 문자 스트록 영역을 재조정하는 연결 요소 분석부; 및
    상기 재조정된 문자 스트록 영역의 화소수를 가로 및 세로로 직교투영한 결과로부터 상기 문자 후보영역을 결정하는 후보영역 결정부를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  3. 제2항에 있어서, 상기 문자 스트록 검출부는
    문자 스트록 필터를 사용해 상기 영상을 스캐닝하면서 상기 문자 스트록들을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  4. 제3항에 있어서, 상기 문자 스트록 검출부는
    상기 문자 스트록 필터의 각도를 변화시키면서 상기 문자 스트록들을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  5. 제3항에 있어서, 상기 문자 스트록 검출부는
    상기 문자 스트록 필터의 크기를 변화시키면서 상기 문자 스트록들을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  6. 제3항에 있어서, 상기 문자 스트록 필터는
    직사각형의 모양을 갖는 제1 필터, 제2 필터 및 제3 필터를 한 쌍으로 갖는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  7. 제6항에 있어서, 상기 문자 스트록 검출부는
    다음의 수학식 1을 사용하여 구해진 문자 스트록 검출을 위한 필터링값이 제1 임계값을 초과하는 영역을 상기 문자 스트록들로서 검출하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
    [수학식 1]
    Figure 112005066952399-pat00006
    여기서, R(α,d)는 상기 필터링값을 의미하고, α는 상기 문자 스트록 필터의 기울어진 각도를 의미하고, d는 상기 제1 필터의 세로폭을 의미하고, m1 (1) 은 상기 제1 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m2 (1)은 상기 제2 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m3 (1)은 상기 제3 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m1 (2)은 상기 제1 필터에 포함된 화소들의 화소값들에 대한 분산을 의미한다.
  8. 제2항에 있어서, 상기 연결 요소 분석부는
    다수의 문자 스트록 영역이 상측, 하측, 좌측 또는 우측에 접해 있을 때, 상기 접해진 문자 스트록 영역을 하나의 문자 스트록 영역으로 통합하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  9. 제2항에 있어서, 상기 연결 요소 분석부는
    상기 문자 스트록 영역에 포함된 화소수가 소정 개수 이하라면, 상기 문자 스트록 영역을 상기 문자 후보영역에서 배제하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  10. 제2항에 있어서, 상기 후보영역 결정부는
    상기 문자 스트록 영역의 화소수를 가로로 직교투영하여 히스토그램화 한 결과 중 제1 비교값을 초과하고, 세로로 직교투영하여 히스토그램화 한 결과 중 제2 비교값을 초과하는 문자 스트록 영역을 상기 문자 후보영역으로 결정하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  11. 제2항에 있어서, 상기 문자 후보영역 검출부는
    상기 영상으로부터 에지를 검출하는 에지 검출부를 더 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  12. 제11항에 있어서, 상기 문자 후보영역 검출부는
    상기 검출된 에지에 대해 모폴로지(morphology) 처리를 수행하는 제1 모폴로지 처리부를 더 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  13. 제2항에 있어서, 상기 문자 후보영역 검출부는
    상기 검출된 문자 스트록들에 대해 모폴로지(morphology) 처리를 수행하는 제2 모폴로지 처리부를 더 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장 치.
  14. 제1항에 있어서, 상기 문자 영역 검사부는
    상기 검출된 문자 후보영역을 소정 크기로 분할한 부분영역들에 대해 각각 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 검출하는 특징치 검출부;
    상기 부분 영역들 각각에 대한 상기 정규화 휘도 특징치 및 상기 CGV 특징치를 통합하여, 상기 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출하는 제1 점수 산출부;
    상기 산출된 문자 영역 판별점수들의 평균을 제2 임계값과 비교하여, 상기 비교 결과에 따라 상기 문자 후보 영역을 상기 문자 영역으로 결정하는 문자 영역 결정부를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  15. 제14항에 있어서, 상기 특징치 검출부는
    상기 검출된 문자 후보영역의 크기를 조정하는 후보영역 크기 조정부;
    소정 크기의 윈도우를 사용하여, 상기 크기가 조정된 문자 후보영역에 대한 상기 부분영역들을 검출하는 부분 영역 검출부;
    상기 검출된 부분 영역들 각각에 대한 상기 정규화 휘도 특징치를 검출하는 정규화 휘도 특징치 검출부; 및
    상기 검출된 부분 영역들 각각에 대한 CGV 특징치를 검출하는 CGV 특징치 검 출부를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  16. 제15항에 있어서, 상기 정규화 휘도 특징치 검출부는
    다음의 수학식 2를 사용하여, 임의의 부분 영역에 대한 각 화소들의 정규화 휘도 특징치 성분을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
    [수학식 2]
    Figure 112005066952399-pat00007
    여기서, Nf(s)는 상기 임의의 부분 영역 내의 화소 s에 대한 정규화 휘도 특징치 성분을 의미하고, f(s)는 상기 화소 s에 대한 휘도값을 의미하고, Vmin 은 상기 임의의 부분 영역 내 화소들에 대한 휘도값들 중 가장 낮은 휘도값을 의미하고, Vmax 은 상기 임의의 부분 영역 내 화소들에 대한 휘도값들 중 가장 높은 휘도값을 의미하고, L은 휘도값을 정규화하기 위한 소정 상수값을 의미한다.
  17. 제15항에 있어서, 상기 CGV 특징치 검출부는
    다음의 수학식 3을 사용하여, 임의의 부분 영역에 대한 각 화소들의 CGV 특징치 성분을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
    [수학식 3]
    Figure 112005066952399-pat00008
    여기서, CGV(s)는 상기 임의의 부분 영역 내의 화소 s에 대한 CGV 특징치 성분을 의미하고, g(s)는 상기 화소 s에 대한 그레디언트(gradient) 크기를 의미하고, LM(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 평균을 의미하고, LV(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 분산을 의미하고, GV는 상기 임의의 부분 영역 내의 화소들의 휘도값 분산을 의미한다.
  18. 제14항에 있어서, 상기 제1 점수 산출부는
    다음의 수학식 4를 사용하여 임의의 부분 영역에 대한 문자 영역 판별점수를 산출하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
    [수학식 4]
    Figure 112005066952399-pat00009
    여기서, F0는 상기 임의의 부분 영역에 대한 상기 문자 영역 판별점수를 의미하고, F1은 상기 임의의 부분 영역에 대한 정규화 휘도 특징치의 SVM(Support Vector Machine) 출력 점수를 의미하고, F2은 상기 임의의 부분 영역에 대한 CGV 특징치의 SVM(Support Vector Machine) 출력 점수를 의미하고, P1은 정규화 휘도 특징치의 미리 훈련된 사전 확률을 의미하고, P2은 CGV 특징치의 미리 훈련된 사전 확률을 의미한다.
  19. 제1항에 있어서, 상기 영상의 문자 영역 검출장치는
    상기 영상의 크기를 조정하는 영상 크기 조정부; 및
    상기 크기가 조정된 영상들 각각에서 검출된 동일 문자 영역에 대한 문자 영역 판별점수의 평균들 중 가장 큰 값을 나타내는 영상을 선택하는 검출 결과 조합부를 더 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  20. 제1항에 있어서, 상기 영상의 문자 영역 검출장치는
    상기 검출된 문자 영역의 경계를 보정하는 경계 보정부를 더 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  21. 제20항에 있어서, 상기 경계 보정부는
    상기 검출된 문자 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들이 제3 임계값 이하인가를 검사하고, 상기 검사결과에 따라 문자 영역의 경계선을 축소하는 경계선 축소부를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  22. 제20항에 있어서, 상기 경계 보정부는
    상기 검출된 문자 영역 사이의 간격을 검사하여, 상기 검출된 문자 영역의 경계선을 결합하는 경계선 결합부를 구비하는 것을 특징으로 하는 영상의 문자 영 역 검출장치.
  23. 제22항에 있어서, 상기 경계선 결합부는
    상기 검출된 문자 영역 사이의 간격을 검사하는 간격 검사부;
    상기 간격 검사부의 검사 결과에 따라, 상기 문자 영역 사이의 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출하는 제2 점수 산출부;
    상기 산출된 문자 영역 판별점수들의 평균과 제4 임계값을 비교하여, 상기 비교결과에 따라 상기 검출된 문자 영역의 경계선을 결합하는 결합부를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  24. 제20항에 있어서, 상기 경계 보정부는
    상기 검출된 문자 영역과 상기 검출된 문자영역의 중심부분에 해당하는 중심영역 간의 화소 분포의 유사도를 비교하여, 상기 비교된 유사도에 따라 상기 검출된 문자 영역의 경계선을 확장하는 경계선 확장부를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  25. 제24항에 있어서, 상기 경계선 확장부는
    상기 비교된 유사도가 소정 기준을 초과하고, 상기 검출된 문자 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들의 평균이 제5 임계 값을 초과할 경우에, 상기 검출된 문자 영역의 경계선을 확장하는 것을 특징으로 하는 영상의 문자 영역 검출장치.
  26. (a) 문자 스트록 필터를 사용한 문자 스트록들의 검출에 의해, 영상에서 문자 후보영역을 검출하는 단계; 및
    (b) 상기 검출된 문자 후보영역의 부분 영역들에 대한 각각의 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 사용하여, 상기 검출된 문자 후보영역이 문자 영역인지 여부를 검사하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  27. 제26항에 있어서, 상기 (a) 단계는
    (a1) 상기 영상으로부터 상기 문자 스트록들을 검출하는 단계;
    (a2) 상기 검출된 문자 스트록들이 차지하는 영역을 문자 스트록 영역이라 할 때, 상기 문자 스트록 영역의 연결요소를 분석하여 상기 문자 스트록 영역을 재조정하는 단계; 및
    (a3) 상기 재조정된 문자 스트록 영역의 화소수를 가로 및 세로로 직교투영한 결과로부터 상기 문자 후보영역을 결정하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  28. 제27항에 있어서, 상기 (a1) 단계는
    문자 스트록 필터를 사용해 상기 영상을 스캐닝하면서 상기 문자 스트록들을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  29. 제28항에 있어서, 상기 (a1) 단계는
    상기 문자 스트록 필터의 각도를 변화시키면서 상기 문자 스트록들을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  30. 제28항에 있어서, 상기 (a1) 단계는
    상기 문자 스트록 필터의 크기를 변화시키면서 상기 문자 스트록들을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  31. 제28항에 있어서, 상기 (a1) 단계는
    직사각형의 모양을 갖는 제1 필터, 제2 필터 및 제3 필터를 한 쌍으로 갖는 상기 문자 스트록 필터를 사용해 상기 문자 스트록들을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  32. 제31항에 있어서, 상기 (a1) 단계는
    다음의 수학식 1을 사용하여 구해진 문자 스트록 검출을 위한 필터링값이 제1 임계값을 초과하는 영역을 상기 문자 스트록들로서 검출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
    [수학식 1]
    Figure 112005066952399-pat00010
    여기서, R(α,d)는 상기 필터링값을 의미하고, α는 상기 문자 스트록 필터의 기울어진 각도를 의미하고, d는 상기 제1 필터의 세로폭을 의미하고, m1 (1) 은 상기 제1 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m2 (1)은 상기 제2 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m3 (1)은 상기 제3 필터에 포함된 화소들의 화소값들에 대한 평균을 의미하고, m1 (2)은 상기 제1 필터에 포함된 화소들의 화소값들에 대한 분산을 의미한다.
  33. 제27항에 있어서, 상기 (a2) 단계는
    다수의 문자 스트록 영역이 상측, 하측, 좌측 또는 우측에 접해 있을 때, 상기 접해진 문자 스트록 영역을 하나의 문자 스트록 영역으로 통합하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  34. 제27항에 있어서, 상기 (a2) 단계는
    상기 문자 스트록 영역에 포함된 화소수가 소정 개수 이하라면, 상기 문자 스트록 영역을 상기 문자 후보영역에서 배제하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  35. 제27항에 있어서, 상기 (a3) 단계는
    상기 문자 스트록 영역의 화소수를 가로로 직교투영하여 히스토그램화 한 결과 중 제1 비교값을 초과하고, 세로로 직교투영하여 히스토그램화 한 결과 중 제2 비교값을 초과하는 문자 스트록 영역을 상기 문자 후보영역으로 결정하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  36. 제27항에 있어서, 상기 (a) 단계는
    (a4) 상기 영상으로부터 에지를 검출하는 단계를 더 구비하고,
    상기 (a4) 단계 후에, 상기 (a1) 단계로 진행하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  37. 제36항에 있어서, 상기 (a) 단계는
    (a5) 상기 검출된 에지에 대해 모폴로지(morphology) 처리를 수행하는 단계를 더 구비하고,
    상기 (a5) 단계 후에, 상기 (a1) 단계로 진행하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  38. 제27항에 있어서, 상기 (a) 단계는
    (a6) 상기 검출된 문자 스트록들에 대해 모폴로지(morphology) 처리를 수행하는 단계를 더 구비하고,
    상기 (a6) 단계 후에, 상기 (a) 단계로 진행하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  39. 제26항에 있어서, 상기 (b) 단계는
    (b1) 상기 검출된 문자 후보영역을 소정 크기로 분할한 부분영역들에 대해 각각 정규화 휘도(normalized intensity) 특징치 및 CGV(Constant Gradient Variance) 특징치를 검출하는 단계;
    (b2) 상기 부분 영역들 각각에 대한 상기 정규화 휘도 특징치 및 상기 CGV 특징치를 통합하여, 상기 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출하는 단계; 및
    (b3) 상기 산출된 문자 영역 판별점수들의 평균을 제2 임계값과 비교하여, 상기 비교 결과에 따라 상기 문자 후보 영역을 상기 문자 영역으로 결정하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  40. 제39항에 있어서, 상기 (b1) 단계는
    (b11) 상기 검출된 문자 후보영역의 크기를 조정하는 단계;
    (b12) 소정 크기의 윈도우를 사용하여, 상기 크기가 조정된 문자 후보영역에 대한 상기 부분영역들을 검출하는 단계; 및
    (b13) 상기 검출된 부분 영역들 각각에 대한 상기 정규화 휘도 특징치 및 CGV 특징치를 검출하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  41. 제40항에 있어서, 상기 (b13) 단계는
    다음의 수학식 2를 사용하여, 임의의 부분 영역에 대한 각 화소들의 정규화 휘도 특징치 성분을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
    [수학식 2]
    Figure 112005066952399-pat00011
    여기서, Nf(s)는 상기 임의의 부분 영역 내의 화소 s에 대한 정규화 휘도 특징치 성분을 의미하고, f(s)는 상기 화소 s에 대한 휘도값을 의미하고, Vmin 은 상기 임의의 부분 영역 내 화소들에 대한 휘도값들 중 가장 낮은 휘도값을 의미하고, Vmax 은 상기 임의의 부분 영역 내 화소들에 대한 휘도값들 중 가장 높은 휘도값을 의미하고, L은 휘도값을 정규화하기 위한 소정 상수값을 의미한다.
  42. 제40항에 있어서, 상기 (b13) 단계는
    다음의 수학식 3을 사용하여, 임의의 부분 영역에 대한 각 화소들의 CGV 특징치 성분을 검출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
    [수학식 3]
    Figure 112005066952399-pat00012
    여기서, CGV(s)는 상기 임의의 부분 영역 내의 화소 s에 대한 CGV 특징치 성분을 의미하고, g(s)는 상기 화소 s에 대한 그레디언트(gradient) 크기를 의미하고, LM(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 평균을 의미하고, LV(s)는 상기 화소 s를 중심으로 소정 영역 범위 내의 화소들의 휘도값 분산을 의미하고, GV는 상기 임의의 부분 영역 내의 화소들의 휘도값 분산을 의미한다.
  43. 제39항에 있어서, 상기 (b2) 단계는
    다음의 수학식 4를 사용하여 임의의 부분 영역에 대한 문자 영역 판별점수를 산출하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
    [수학식 4]
    Figure 112005066952399-pat00013
    여기서, F0는 상기 임의의 부분 영역에 대한 상기 문자 영역 판별점수를 의미하고, F1은 상기 임의의 부분 영역에 대한 정규화 휘도 특징치의 SVM(Support Vector Machine) 출력 점수를 의미하고, F2은 상기 임의의 부분 영역에 대한 CGV 특 징치의 SVM(Support Vector Machine) 출력 점수를 의미하고, P1은 정규화 휘도 특징치의 미리 훈련된 사전 확률을 의미하고, P2은 CGV 특징치의 미리 훈련된 사전 확률을 의미한다.
  44. 제26항에 있어서, 상기 영상의 문자 영역 검출방법은
    (c) 상기 영상의 크기를 조정하는 단계; 및
    (d)) 상기 크기가 조정된 영상들 각각에서 검출된 동일 문자 영역에 대한 문자 영역 판별점수의 평균들 중 가장 큰 값을 나타내는 영상을 선택하는 단계를 더 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  45. 제26항에 있어서, 상기 영상의 문자 영역 검출방법은
    (e) 상기 검출된 문자 영역의 경계를 보정하는 단계를 더 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  46. 제45항에 있어서, 상기 (e) 단계는
    (e1) 상기 검출된 문자 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들이 제3 임계값 이하인가를 검사하고, 상기 검사결과에 따라 문자 영역의 경계선을 축소하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  47. 제45항에 있어서, 상기 (e) 단계는
    (e2) 상기 검출된 문자 영역 사이의 간격을 검사하여, 상기 검출된 문자 영역의 경계선을 결합하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  48. 제47항에 있어서, 상기 (e2) 단계는
    (e21) 상기 검출된 문자 영역 사이의 간격을 검사하는 단계;
    (e22) 상기 문자 영역 사이의 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들을 산출하는 단계; 및
    (e23) 상기 산출된 문자 영역 판별점수들의 평균과 제4 임계값을 비교하여, 상기 비교결과에 따라 상기 검출된 문자 영역의 경계선을 결합하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  49. 제45항에 있어서, 상기 (e) 단계는
    (e3) 상기 검출된 문자 영역과 상기 검출된 문자영역의 중심부분에 해당하는 중심영역 간의 화소 분포의 유사도를 비교하여, 상기 비교된 유사도에 따라 상기 검출된 문자 영역의 경계선을 확장하는 단계를 구비하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  50. 제49항에 있어서, 상기 (e3) 단계는
    상기 비교된 유사도가 소정 기준을 초과하고, 상기 검출된 문자 영역을 소정 크기로 분할한 부분 영역들 각각에 대한 문자 영역 판별점수들의 평균이 제5 임계값을 초과할 경우에, 상기 검출된 문자 영역의 경계선을 확장하는 것을 특징으로 하는 영상의 문자 영역 검출방법.
  51. 제26항 내지 제50항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050111432A 2005-11-21 2005-11-21 영상의 문자 영역 검출장치 및 방법 KR100745753B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050111432A KR100745753B1 (ko) 2005-11-21 2005-11-21 영상의 문자 영역 검출장치 및 방법
US11/594,827 US20070116360A1 (en) 2005-11-21 2006-11-09 Apparatus and method for detecting character region in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050111432A KR100745753B1 (ko) 2005-11-21 2005-11-21 영상의 문자 영역 검출장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070053544A KR20070053544A (ko) 2007-05-25
KR100745753B1 true KR100745753B1 (ko) 2007-08-02

Family

ID=38053607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050111432A KR100745753B1 (ko) 2005-11-21 2005-11-21 영상의 문자 영역 검출장치 및 방법

Country Status (2)

Country Link
US (1) US20070116360A1 (ko)
KR (1) KR100745753B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100995973B1 (ko) * 2008-08-01 2010-11-22 포항공과대학교 산학협력단 슬라브 영상으로부터 관리번호 영역을 추출하는 방법
KR101395822B1 (ko) * 2012-06-05 2014-05-16 성균관대학교산학협력단 영상 내 텍스트 정보의 선택적 제거 방법 및 장치
US9305239B2 (en) 2014-05-13 2016-04-05 Samsung Electronics Co., Ltd. Detecting and processing small text in digital media

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596270B2 (en) * 2005-09-23 2009-09-29 Dynacomware Taiwan Inc. Method of shuffling text in an Asian document image
KR100812347B1 (ko) * 2006-06-20 2008-03-11 삼성전자주식회사 스트록 필터를 이용한 문자 추출 방법 및 그 장치
US7970760B2 (en) * 2008-03-11 2011-06-28 Yahoo! Inc. System and method for automatic detection of needy queries
US8620080B2 (en) * 2008-09-26 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for locating text in a digital image
US8437557B2 (en) 2010-05-11 2013-05-07 Microsoft Corporation Auto classifying images as “image not available” images
KR101462249B1 (ko) * 2010-09-16 2014-11-19 주식회사 케이티 비디오 컨텐츠의 시청각 정보 출력 오류를 검출하는 장치 및 방법
JP5075997B2 (ja) * 2011-03-30 2012-11-21 株式会社東芝 電子機器、プログラムおよび文字列認識方法
US8713801B2 (en) 2011-05-18 2014-05-06 L.P.I. Consumer Products, Inc. Razor with blade heating system
JP4937417B1 (ja) * 2011-06-14 2012-05-23 株式会社ナナオ 文字領域画素判定装置またはその方法
US9064191B2 (en) 2012-01-26 2015-06-23 Qualcomm Incorporated Lower modifier detection and extraction from devanagari text images to improve OCR performance
US9053361B2 (en) 2012-01-26 2015-06-09 Qualcomm Incorporated Identifying regions of text to merge in a natural image or video frame
US9014480B2 (en) 2012-07-19 2015-04-21 Qualcomm Incorporated Identifying a maximally stable extremal region (MSER) in an image by skipping comparison of pixels in the region
US9262699B2 (en) 2012-07-19 2016-02-16 Qualcomm Incorporated Method of handling complex variants of words through prefix-tree based decoding for Devanagiri OCR
US9047540B2 (en) 2012-07-19 2015-06-02 Qualcomm Incorporated Trellis based word decoder with reverse pass
US9141874B2 (en) 2012-07-19 2015-09-22 Qualcomm Incorporated Feature extraction and use with a probability density function (PDF) divergence metric
US9076242B2 (en) 2012-07-19 2015-07-07 Qualcomm Incorporated Automatic correction of skew in natural images and video
JP5284523B1 (ja) * 2012-09-05 2013-09-11 株式会社東芝 情報処理システム、プログラムおよび情報処理システムの処理方法
KR102050422B1 (ko) * 2013-03-14 2020-01-08 한화테크윈 주식회사 문자 인식 장치 및 방법
US10997757B1 (en) * 2014-06-17 2021-05-04 FlipScript, Inc. Method of automated typographical character modification based on neighboring characters
US9524430B1 (en) * 2016-02-03 2016-12-20 Stradvision Korea, Inc. Method for detecting texts included in an image and apparatus using the same
CN106485710A (zh) * 2016-10-18 2017-03-08 广州视源电子科技股份有限公司 一种元件错件检测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940001011A (ko) * 1992-06-23 1994-01-10 이헌조 문자 인식을 통한 후보 분류 방법
KR940015911A (ko) * 1992-12-23 1994-07-22 이헌조 문자 인식방법
KR970049825A (ko) * 1995-12-06 1997-07-29 구자홍 문자 인식장치의 접촉문자 분리 및 특징 추출방법
JPH1011537A (ja) * 1996-06-19 1998-01-16 Oki Electric Ind Co Ltd 文字切り出し装置
KR20000060673A (ko) * 1999-03-18 2000-10-16 이준환 압축된 뉴스 영상에서의 문자영역 추출 및 문자 인식방법
JP2003018403A (ja) * 2001-07-05 2003-01-17 Ricoh Co Ltd 画像処理装置
JP2004133951A (ja) * 1998-04-27 2004-04-30 Sanyo Electric Co Ltd 文字認識方法、文字認識装置および記憶媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG71018A1 (en) * 1997-03-01 2000-03-21 Inst Of Systems Science Nat Un Robust identification code recognition system
US6996295B2 (en) * 2002-01-10 2006-02-07 Siemens Corporate Research, Inc. Automatic document reading system for technical drawings

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940001011A (ko) * 1992-06-23 1994-01-10 이헌조 문자 인식을 통한 후보 분류 방법
KR940015911A (ko) * 1992-12-23 1994-07-22 이헌조 문자 인식방법
KR970049825A (ko) * 1995-12-06 1997-07-29 구자홍 문자 인식장치의 접촉문자 분리 및 특징 추출방법
JPH1011537A (ja) * 1996-06-19 1998-01-16 Oki Electric Ind Co Ltd 文字切り出し装置
JP2004133951A (ja) * 1998-04-27 2004-04-30 Sanyo Electric Co Ltd 文字認識方法、文字認識装置および記憶媒体
KR20000060673A (ko) * 1999-03-18 2000-10-16 이준환 압축된 뉴스 영상에서의 문자영역 추출 및 문자 인식방법
JP2003018403A (ja) * 2001-07-05 2003-01-17 Ricoh Co Ltd 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100995973B1 (ko) * 2008-08-01 2010-11-22 포항공과대학교 산학협력단 슬라브 영상으로부터 관리번호 영역을 추출하는 방법
KR101395822B1 (ko) * 2012-06-05 2014-05-16 성균관대학교산학협력단 영상 내 텍스트 정보의 선택적 제거 방법 및 장치
US9305239B2 (en) 2014-05-13 2016-04-05 Samsung Electronics Co., Ltd. Detecting and processing small text in digital media

Also Published As

Publication number Publication date
US20070116360A1 (en) 2007-05-24
KR20070053544A (ko) 2007-05-25

Similar Documents

Publication Publication Date Title
KR100745753B1 (ko) 영상의 문자 영역 검출장치 및 방법
KR101452562B1 (ko) 비디오 이미지에서 텍스트를 검출하는 방법
US9418407B2 (en) Detecting glare in a frame of image data
KR100647284B1 (ko) 영상의 문자 추출 장치 및 방법
KR101566196B1 (ko) 히스토그램 분석을 이용한 영상 분류 방법 및 장치, 이를 이용한 문자 인식 방법 및 장치
JP4626886B2 (ja) デジタル画像におけるキャプションを位置特定及び抽出する方法及び装置
US20080226171A1 (en) Correcting device and method for perspective transformed document images
CN108805116B (zh) 图像文本检测方法及其系统
US9704057B1 (en) Methods and apparatus relating to image binarization
JPH0737103A (ja) 傾き角度検出装置
US8306335B2 (en) Method of analyzing digital document images
CN113221778B (zh) 手写表格的检测与识别方法及装置
KR100718139B1 (ko) 영상에 포함된 문자 인식장치 및 방법
Jain et al. A hybrid approach for detection and recognition of traffic text sign using MSER and OCR
JP4749879B2 (ja) 顔判別方法および装置並びにプログラム
Liu et al. Detection and segmentation text from natural scene images based on graph model
JP2006285959A (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
JP6377214B2 (ja) テキスト検出方法および装置
JP5283267B2 (ja) コンテンツ識別方法及び装置
JP4409713B2 (ja) 文書画像認識装置及び記録媒体
JP2000357287A (ja) ナンバープレート認識方法および認識装置
KR102616938B1 (ko) 바코드 영역 검출 방법 및 이러한 방법을 수행하는 장치
Huang et al. Apply Adaptive Threshold Operation and Conditional Connected-component to Image Text Recognition
Huang et al. A new video text extraction method based on stroke
CN108573258B (zh) 一种快速的复杂背景图像中维语文字定位方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee