KR100540735B1 - 자막문자기반의 영상 인덱싱 방법 - Google Patents

Abstract

본 발명은 자막문자기반의 영상 인덱싱 방법에 관한 것으로서, 미리 설정된 다수의 자막예상블록에서 자막을 검출하고, 그 자막에 포함되어 있는 자막문자를 분리한 다음, 이 자막문자에 소정의 인덱싱 번호를 부여하고 더불어, 그 인덱싱 번호를 상기 자막문자와 관련된 일련의 영상 프레임 군(群) 중에서 가장 처음의 영상 프레임과 일대일 매칭시켜, 이를 통해 자막문자와 영상을 인덱싱시킴으로써, 자막문자를 통해 사용자가 원하는 영상을 소정의 프로그램내에서 보다 빠르고 쉽게 검색할 수 있도록 한다.

자막, 문자, 영상, 프레임, 인덱싱

Description

자막문자기반의 영상 인덱싱 방법{Method of Video Indexing based on caption character}

도 1은 본 발명에 따른 인덱싱 방법을 도시한 플로우 챠트

도 2는 도 1의 자막검출방법의 실시예를 도시한 플로우 챠트

도 3은 도 1의 자막문자분리방법의 실시예를 도시한 플로우 챠트

도 4는 도 1의 자막문자인식방법의 실시예를 도시한 플로우 챠트

도 5a 내지 도 5f는 자막예상블록을 예로 들어 도시한 도면

도 6은 자막문자분리를 예로 들어 설명한 도면

도 7은 자막문자의 세선화(skeleton)를 예로 들어 설명한 도면

도 8은 자소분리를 예로 들어 설명한 도면

도 9는 문자인식에 사용되는 마스크의 일예가 도시된 도면

도 10은 자막문자와 영상의 인덱싱(indexing)을 예로 들어 설명한 도면이다.

본 발명은, 자막문자를 이용해 사용자가 시청하고자 하는 영상을 소정의 프로그램내에서 빠르고 쉽게 검색할 수 있도록 하는, 자막문자기반의 영상 인덱싱 방 법에 관한 것이다.

현재의 멀티미디어 정보화 시대에서, STB(Settop box)나 PVR(Personal Video Recorder)과 같은 디지털 영상 처리 기기는 단순히 영상을 제공하는 기능뿐만 아니라, 특정 프로그램의 영상을 녹화해 두었다가 이를 디스플레이해주는 기능도 가지고 있어서, 사용자는 이를 통해 그 녹화된 프로그램의 영상을 볼 수 있게 되는데, 이 때, 사용자는 때때로 그 프로그램의 일부만을 발췌해서 보고자 하는 경우가 있다.

예를 들면, 교육 프로그램, 또는 자연 다큐멘트리와 같은 교양 프로그램의 전체 영상 중에서, 사용자는 자신에게 필요한 부분만을 발췌해서 보고자 하는 경우가 있는데, 이 경우에는 사용자가 원하는 부분을 가능한 빠르게 검색하여 그 부분부터 디스플레이시켜 줄 필요가 있다.

한편, 전술한 프로그램의 영상에는, 때때로, 현재 표시되고 있는 영상의 내용을 함축적으로 나타내는 문자가 그 자막내에 포함되어 있는 경우가 있는데, 이러한 자막문자를 이용하게 되면, 소정의 프로그램내에서 사용자가 원하는 영상을 보다 쉽고 빠르게 검색할 수 있게 되어 상기한 필요성을 만족시켜 줄 수가 있다.

이에, 본 발명은 상기한 필요성을 만족시키기 위하여 개발된 것으로, 자막문자를 이용해 사용자가 원하는 영상을 보다 빠르고 쉽게 검색할 수 있도록 하는, 자막문자기반의 영상 인덱싱 방법을 제공하는데 그 목적이 있다.

이를 위해 본 발명은, 미리 설정된 다수의 자막예상블록에서 자막을 검출하 고, 그에 포함되어 있는 자막문자를 분리한 다음, 이 자막문자에 소정의 인덱싱 번호를 부여하고 더불어, 그 인덱싱 번호를 상기 자막문자와 관련된 일련의 영상 프레임 군(群) 중에서 가장 처음의 영상 프레임과 일대일 매칭시켜, 이를 통해 자막문자와 영상을 인덱싱시킴으로써, 소정의 자막문자를 통해 사용자가 원하는 영상을 보다 빠르고 쉽게 검색할 수 있도록 한다.

이하, 첨부된 도면을 참조하여 본 발명을 살펴보면 다음과 같다.

먼저, 도 1을 참조하여 본 발명에 따른 자막문자기반의 영상 인덱싱 방법을 설명하는데, 상기 도 1은 본 발명의 인덱싱 방법을 도시한 플로우 챠트이다.

본 발명에 따른 인덱싱 방법은, 우선 특정 디지털 영상처리기기, 예컨대, PVR의 영상 표시 화면 영역 중에서 자막이 위치하는 영역으로 예상되는 블록(이하, "자막예상블록"으로 약칭)을 미리 다수 설정한다.

이는, 영상 표시 화면의 전체 영역에서 자막을 모두 검출하게 되면, 그 자막 검출을 위한 시간이 증대되기 때문에, 본 발명에서는 실험 및 경험 등을 통해, 자막이 특정 영역에 한정되어 표시된다는 공지된 사실을 이용해 자막예상블록을 미리 설정하여, 설정한 복수의 자막예상블록내에서 자막을 검출한다.

상기 자막예상블록은 영상 표시 화면의 전체 영역 중에서 1/3 ~ 1/4정도의 영역이 적당하나 해당 디지털 영상처리기기의 연산 처리 속도 등에 따라 1/2 정도영역을 설정하는 것도 가능하다.

한편, 본 발명에 따라 자막예상블록이 미리 다수 설정된 상태에서, 해당 디 지털 영상처리기기로 소정의 디지털 영상 프레임이 수신되고 디코딩되면, 이 디코딩된 디지털 영상 프레임에서 상기 미리 설정된 다수의 자막예상블록에 대응되는 위치에 자막이 있는가를 판별하여, 자막을 검출한다(S100).

이 때, 상기 자막 판별 양태는 본 발명에 따라 다음과 같은 특징을 갖는다.

즉, 자막예상블록내의 일정 영역에 그레이 레벨이 급격하게 변화하는 부분 이 있을 경우에는, 즉 소정의 기설정된 그레이(gray) 레벨의 변화량보다 큰 변화량을 가진 부분이 있을 경우에는, 자막예상블록내에 자막이 있는 것으로 판별하고, 그렇지 않은 경우에는, 즉, 자막예상블록내의 그레이 레벨 변화량이 기설정된 그레이(gray) 레벨의 변화량 이하인 경우에는, 자막예상블록내에는 자막이 없는 것으로 판별한다.

한편, 전술한 바에 따라 소정의 자막예상블록내에 자막영역이 있는 것으로 판별된 경우에는 단계(S100)에 따라 해당 자막예상블록내에서 문자분리기를 통해 자막을 검출하고, 검출한 자막내에 포함되어 있는 자막문자를 분리한 다음(S200), 단계(S200)에서 분리한 자막문자가 어떠한 자형(字型)을 가지고 있는가에 대한 문자인식을 수행한다(S300).

다음, 단계(S300)에 따라 자형(字型)에 대한 문자인식이 종료되면, 자막문자의 중복 유무를 설정 프레임까지 연속적으로 수행하여 자막문자의 중복이 이루어지지 않으면, 그 문자인식이 종료된 자막문자에, 인덱싱(indexing) 번호를 부여하고, 관련된 연속적인 영상 프레임 군(群)에서 시작 프레임에 해당하는 영상 프레임에 매칭시킨 다음, 그 매칭 관계를 해당 디지털 영상 처리 기기내의 데이터 베이스 등 에 저장하여 자막문자와 영상프레임의 인덱싱(indexing)을 종료한다(S400).

이상과 같이, 본 발명에서는, 다수의 자막예상블록을 미리 설정한 다음, 그 다수의 자막예상블록에 자막이 있을 경우, 자막에서 자막문자를 분리한 다음, 이 자막문자에 인덱싱 번호를 부여하고 더불어, 그 인덱싱 번호를 자막문자와 관련된 일련의 영상 프레임 군(群) 중에서 가장 처음의 영상 프레임과 일대일 매칭시켜 이러한 매칭 관계를 저장하게 되면, 사용자는 이렇게 저장된 소정의 자막문자를 통해 원하는 영상을 보다 쉽게 검색할 수 있게 된다.

다음, 도 2를 참조하여 도 1에 도시된 단계(S100)의 자막검출방법을 예로 들어 설명하는데, 상기 도 2는, 도 1에 도시된 단계(S100)의 자막검출방법에 대한 일예가 도시된 플로우 챠트이다.

먼저, 단계(S100)의 자막검출방법은, 전술한 본 발명의 자막예상블록이 미리 다수 설정된 상태에서, 해당 디지털 영상처리기기로 소정의 디지털 영상 프레임이 수신되고(S101) 디코딩되면(S102), 단계(S102)에 따라 디코딩된 디지털 영상 프레임에서 상기 미리 설정된 다수의 자막예상블록에 대응되는 소정의 영역을 검출한다(S103).

그런 다음, 단계(S103)에 따라 검출한 자막예상블록 영역에서, 그레이(gray) 레벨의 변화량을 검출하여(S104), 그 영역내에 그레이(gray) 레벨이 급격하게 변화하는 부분이 있을 경우에는(S105), 즉 소정의 기설정된 그레이(gray) 레벨의 변화량보다 큰 변화량을 가진 부분이 있을 경우에는, 자막예상블록내에 자막이 있는 것으로 판별하고(S106), 그렇지 않은 경우에는, 즉, 자막예상블록내의 그레이 레벨 변화량이 기설정된 그레이(gray) 레벨의 변화량 이하인 경우에는, 자막예상블록내에는 자막이 없는 것으로 판별한다.

한편, 단계(S106)에 따라 소정의 자막예상블록내에 자막영역이 있는 것으로 판별된 경우에는, 그 자막영역내의 자막을 검출하는데(S105), 이러한 일련의 동작은 상기 자막예상블록에 대한 그레이 레벨의 변화량 검사(check)가 종료될 때까지 (S108)반복적으로 수행된다.

다음, 도 3을 참조하여 도 1에 도시된 단계(S200)의 자막문자분리방법을 예로 들어 설명하는데, 상기 도 2는, 도 1에 도시된 단계(S100)의 자막문자분리 방법에 대한 일예가 도시된 플로우 챠트이다.

먼저, 본 발명에 따른, 단계(S200)의 자막문자분리방법은, 단계(S100)에 따라 소정의 자막예상블록내에 자막이 있는 것으로 판별되어 검출된 경우에, 우선, 기설정된 라인 검출 알고리즘에 따라, 상기 검출한 자막에서 소정의 문자분리수직라인을 검출한다(S201).

예를 들면, 자막에서 가장 좌측의 수직 라인을 기준 라인으로 정의하고, 설정한 기준 라인부터 수평 방향으로 설정 픽셀만큼 이격된 소정의 수직 라인을 문자분리수직라인으로 설정하여 검출한다.

한편, 단계(S201)에 따라, 문자분리수직라인이 검출되면, 이 문자분리수직라인에서 좌측으로 설정 픽셀만큼 이격된 좌측수직라인을 검출하여(S202), 상기 두 수직라인사이가 공백(空白)인 경우에(S203) 즉, 그 사이의 그레이 레벨이 문자 표시를 나타내는 소정의 그레이 레벨보다 작은 경우에, 그리고, 이와 더불어, 그 좌 측수직라인에 설정 그레이 레벨 이상의 픽셀이 있을 경우에는(S207), 문자가 있는 것으로 판별하여 상기 문자수직라인 좌측에 위치한 자막문자를 분리한다(S208).

이어, 단계(S208)가 종료되면, 상기 문자분리수직라인 우측으로 설정 픽셀만큼 이격된 우측수직라인을 검출한 다음(S209), 두 수직라인사이가 공백(空白)이고(S210), 우측수직라인에 설정 그레이 레벨 이상의 픽셀이 있을 경우엔 단계(S201)로 진행하여 두 번째의 문자분리수직라인을, 즉 처음의 문자분리수직라인에서 설정 픽셀만큼 이격된 두 번째의 문자분리수직라인을 검출하여 다시 그 두 번째의 문자분리수직라인 좌측의 문자를 검출하는데, 이러한 문자 검출 동작은 단계(S211)에서 소정의 문자분리수직라인으로부터 우측으로 설정 픽셀만큼 이격된 우측수직라인에 설정 그레이 레벨 이상의 픽셀이 없을 때까지 반복적으로 수행하여 자막에서 문자를 분리한다.

한편, 이러한 문자 분리 동작과 달리, 단계(S204)에서 두 수직 라인, 즉, 문자분리수직라인과 그 좌측수직라인의 사이가 공백이 아닐 경우, 즉 그 사이에 문자표시를 의미하는, 설정 그레이 레벨 이상의 픽셀이 있을 경우엔, 오류가 발생한 것으로 판별하여, 그 오류가 어떠한 종류에 속하는지 기설정된 오류 판별 알고리즘에 따라 검출한 다음(S204), 해당 오류 종류에 맞게 문자분리수직라인을 재검출하고(S205), 그 재검출한 문자분리수직라인을 기준으로 좌측에 위치한 소정의 문자를 분리하여 단계(S209)로 진행하는데, 전술한 동작은 자막문자가, 정방형의 문자가 아니고, 영문자나, 숫자일 때 발생되는 경우로, 본 발명에서는 이러한 경우를 모두 오류로 분류하여, 각 경우마다 가변적으로 문자분리수직라인을 검출하 여 문자분리를 수행하도록 하는데, 전술한 자막문자의 분리는 하나의 일예에 불과하며, 그에 대한 다양한 변형은 얼마든지 가능하다.

다음, 도 4를 참조하여 도 1에 도시된 단계(S300)의 자막문자인식방법을 예로 들어 설명하는데, 상기 도 4는, 도 1에 도시된 단계(S300)의 자막문자인식방법에 대한 일예가 도시된 플로우 챠트이다.

먼저, 본 발명에 따른 자막문자인식방법은, 단계(S200)에서 분리된 문자를 세선화(Skeleton, or Tinning)시킨다(S301).

통상적으로, 문자들의 자획은 가로 또는 세로 방향으로 그어진 다수의 라인으로 이루어져 있기 때문에, 후술하는 단계인 특징점 추출 단계에서 해당 문자를 인식하기 위해 필요한 특징점을 추출하기가 쉽지 않고, 최종적인 문자 인식 단계에서도 많은 오류를 발생시킨다.

이를 해결하고자 본 발명에서는, 단계(S200)의 문자 분리 후에, 분리된 문자를 가장 원형의 형태로 만드는 골격화(骨格化) 단계인 세선화 단계(S301)를 수행하여, 해당 문자의 자획의 가장 기본적인 골격에 해당되는 라인의 픽셀(pixel)들만 소정의 설정 그레이 레벨로 표시되도록 하고, 나머지 라인에 속한 픽셀은 공백(空白)을 나타내는 소정의 그레이 레벨로 표시되도록 하여 세선화시킨다.

예를 들면, 문자의 자획의 기본적인 골격에 해당되는 라인의 픽셀들은 이진 비트 "1"로 표시하도록 하고, 그 라인 이외의 나머지 라인에 속한 픽셀들은 이진 비트 "0"으로 표시하도록 한다.

다음, 단계(S301)에 따라 문자의 세선화가 완료되면, 세선화가 완료된 문자 를, 기설정된 좌표 변환 알고리즘에 따라 좌표 변환시켜, 소정의 문자 표시 영역 중에서 미리 설정한 중심 영역으로 중심변환, 즉 센터링(centering)시킨다(S302).

통상적으로, 문자가 상기 소정의 문자 표시 영역내의 하부 또는 상부에 위치하거나, 좌측 또는 우측으로 치우쳐 위치하는 경우가 있는데, 예컨대, 숫자나 영어 소문자 등이 이에 해당하는데, 이렇게 어느 한 쪽으로 치우친 위치는 후술 단계의 특징점 추출시 해당 특징점들을 추출하기가 쉽지 않을 뿐만 아니라 많은 오류를 발생시켜, 이에 따라 문자 인식율을 저하시키게 된다.

그래서, 본 발명에서는, 문자의 위치에 영향을 받지 않고, 해당 문자의 특징점이 항상 동일한 위치에서 추출될 수 있도록, 단계(S302)에 따라 특징점 추출 전에 중심변환(centering)을 하게 된다.

다음, 단계(S302)에 따라 중심변환(centering)이 완료되면, 중심 변환이 완료된 문자가 한글인 경우에, 본 발명에 따른, 윤곽선 마스크를 이용하여 자소 분리를 수행한다.

상기 윤곽선 마스크는, 세선화된 해당 문자에서, 좌측 최상단의 픽셀부터 시작하여 그 문자의 끝점에 해당하는 픽셀까지 방향 값을 반복적으로 추출할 수 있도록 해주는 마스크로서, 상기 방향 값 자체는 소정의 방향을 나타내며, 방향 표시값의 반복 횟수는 그 해당 방향에 위치한 픽셀 수를 나타내는데, 이러한 윤곽선 마스크를 이용해 상기 방향 값을 기술된 순서대로 기록하게 되면, 한글이 자소로 분리 된다.

한편, 단계(S304)의 자소분리가 종료되면, 본 발명에 적용되는 문자 인식 방 법은, 마지막으로, 그 분리된 자소를 포함한 문자의 특징점을, 나타내는 특징점 마스크들을 검출하고(S305), 이 검출한 마스크들 각각에 매칭되어 있는 자획을 설정 알고리즘에 따라 조합함으로써(S400), 문자가 어떠한 자형(字型)인지 인식하게 된다.

예를 들면, 디지털 영상 처리 기기내의 데이터 베이스에 특정 자획에 매칭되는 마스크의 해당 번호를 미리 저장한 다음, 상기 검출한 마스크의 번호들과 상기 데이터 베이스에 미리 저장된 번호들과의 일치 유무를 검출하여, 상기 검출한 마스크의 번호와 동일한 번호들의 해당 마스크에 각기 매칭된 특정 자획을 조합하게 되면, 특정 문자의 자형(字型)을 인식할 수 있게 된다.

그리고, 본 발명에 사용되는 특징점은 문자를 가장 잘 표현할 수 있는 방법 중의 일예로서, 본 발명에서는, 전술한 바와 같이, 그 특징점 추출을 위해, 자소의 끝점과 꺾인 점, 분기점, 그 각각의 위치 정보를 표현할 수 있는 특징점 마스크를 이용하여 문자의 자형(字型)을 인식하도록 하는 것이 바람직하다.

다음, 도 5a 내지 도 5f는, 본 발명에 사용되는 자막예상블록을 예로 들어 도시한 도면으로서, 이에 도시한 바와 같이, 본 발명에서는, 영상 표시 화면의 전체 영역에서 자막을 모두 검출하게 되면, 그 자막 검출을 위한 시간이 증대되기 때문에, 본 발명에서는 실험 및 경험 등을 통해, 자막이 특정 영역에 한정되어 표시된다는 공지된 사실을 이용해 디지털 영상처리기기의 예컨대, PVR의 영상 표시 화면 영역 중에서 자막이 위치하는 영역으로 예상되는 자막예상블록을 미리 설정하는데, 여기서 부호 500-1, 500-2, 500-3, 500-4, 500-5, 500-6 각각은 전술한 자막예 상블록의 일예에 해당되며, 이러한 자막예상블록(500-1, 500-2, 500-3, 500-4, 500-5, 500-6)은 해당 디지털 영상처리기기의 연산 처리 속도 등에 따라 얼마든지 다양한 변형이 가능하다.

다음, 도 6은 문자분리방법을 예로 들어 설명한 도면으로서, 이에 도시된 바와 같이, 자막의 문자열에서 가장 좌측의 수직 라인(L-1)을 기준 라인으로 정의하고, 정의한 기준 라인(L-1)부터 수평 방향으로 설정 픽셀(a)만큼 이격된 소정의 수직 라인(L-2)을, 본 발명에서 사용되는 문자분리수직라인으로 설정하며, 이 문자분리수직라인에 설정 픽셀(A)만큼 이격된 수직라인에 문자를 나타내는 그레이 레벨 이상의 픽셀이 있는 경우에 그 문자분리수직라인의 좌측에 있는 "전"이라는 문자를 자막에서 분리한다. 그리고, 문자분리수직라인에서 설정 픽셀(B)만큼 이격된 수직라인에 설정 그레이 레벨 이상의 픽셀이 있는 경우에 다시, L-2의 라인을 기준 라인으로 하여 문자분리수직라인을 검출하고 그 이후의 단계를 상기와 같이 수행하여 북"이라는 문자를 자막에서 분리하게 된다.

다음, 도 7은 본 발명에 사용되는 세선화(skeleton)방법을 예로 들어 설명한 도면으로서, 이에 도시된 바와 같이, "ㅈ"의 "ㅡ"자획은 3개의 라인으로 이루어졌는데, 본 발명에서는 이러한 3개의 라인을 하나의 라인으로 세선화 하도록 한다. 즉, 해당 문자의 자획의 가장 기본적인 골격에 해당되는 라인의 픽셀(pixel)들만 소정의 설정 그레이 레벨로 표시되도록 하고, 나머지 라인에 속한 픽셀은 공백(空白)을 나타내는 소정의 그레이 레벨로 표시되도록 하여 세선화 하도록 한다.

다음, 도 8은 자소분리방법을 예로 들어 도시한 도면으로서, 이에 도시한 바 와 같이, 세선화된 해당 문자의 좌측 최상단의 픽셀부터 시작하여 그 문자의 끝점에 해당하는 픽셀까지 방향 값을 반복적으로 추출하여 자소를 분리하는데, 예를 들면, 도 8에 도시된 8방향 마스크를 사용하여 세선화된 해당 문자 "ㅜ"를 분리할 경우, 좌측 최상단의 픽셀부터 그 끝점까지 방향값을 표시하면, 3, 3, 3, 3으로 진행하다가, 분기점에서 (3, 5)로 표시되고, 다시 좌측으로 진행하여 3, 3, 3, 3으로 표시되고, 마지막으로, 5, 5, 5, 5, 5로 표시되는데, 이러한 일련의 방향 값을 통해 "ㅜ"로 분리할 수 있게 되며, 상기 3, 또는 5의 반복 횟수는 진행 방향에 위치하는 픽셀 수에 따라 결정된다.

다음, 도 9는 본 발명의 문자인식에 사용되는 마스크로서, 이에 도시된 바와 같이, 본 발명에서는, 해당 디지털 영상 처리 기기내의 데이터 베이스에 특정 자획에 매칭되는 마스크의 해당 번호(100-1, 100-2, 100-3, 100-4, 100-5, 100-6, 100-7, 100-8)를 미리 저장한 다음, 특정 자형(字型)을 가진 문자에 상기 저장된 마스크로 마스킹하여 그 자형(字型)을 표현하는 마스크의 해당 번호를 검출한 후, 검출한 해당 번호의 마스크에 매칭된 자획을 조합함으로써 상기 문자의 자형(字型)을 인식할 수 있게 하는데, 예를 들면, "ㄱ"은 100-1, 100-6, 100-3의 해당 마스크에 매칭되어 있는 자획을 조합함으로써 그 "ㄱ"이라는 자형(字型)을 인식할 수 있게 된다.

다음, 도 10은, 자막문자와 영상의 인덱싱(indexing)을 예로 들어 설명한 도면으로서, 이에 도시된 바와 같이, 자형(字型)에 대한 문자인식이 종료되면, 자막문자의 중복 유무를 설정 프레임까지 연속적으로 수행하여 자막문자의 중복이 이루 어지지 않으면, 그 문자인식이 종료된 자막문자에, 인덱싱(indexing) 번호(0, 1, 2, 3, ..., N)를 부여하고, 관련된 연속적인 영상 프레임 군(群)에서 시작 프레임에 해당하는 영상 프레임에 매칭시킨 다음, 그 매칭 관계를 해당 디지털 영상 처리 기기내의 데이터 베이스 등에 저장하여 자막문자와 영상프레임을 인덱싱(indexing)하는데, 예를 들면, A-1, A-2 , ... , A-8로 이루어진 영상 프레임 군(群)에서 중복되는 자막문자가 "꿀벌의 생애"인 경우에 그 자막문자에 인덱싱 번호 "0"을 부여하고, 그 인덱싱 번호에 시작 프레임인 "A-1"을 매칭시켜 두게 되면, 사용자가 꿀벌 이라는 문자를 입력할 경우, 그 인덱싱 번호 "0"을 참조하여 소정의 영상 시작 프레임인 "A-1"을 찾을 수 있게 된다.

이와 같이, 특정 자막 문자에 인덱싱 번호를 부여하고 더불어, 그 인덱싱 번호를 해당 자막문자와 관련된 일련의 영상 스트림 중에서 가장 처음의 영상 프레임과 일대일 매칭시킨 다음, 그 매칭 관계를 디지털 영상 표시 장치내의 데이터 베이스에 미리 저장하게 되면, 소정의 프로그램내에서 특정 자막 문자를 통해 사용자가 원하는 영상 프레임을 쉽게 찾을 수 있게 된다.

이상에서 상세히 설명한 바와 같이, 본 발명에 따른 자막문자기반의 영상 인덱싱 방법은, 디지털 영상신호에서 자막문자를 검출하고 영상 프레임과 인덱싱시킴으로써, 특정 프로그램내에서, 소정의 자막문자를 통해 사용자가 원하는 영상을 보다 빠르고 쉽게 검색 및 접근(access)할 수 있는 효과가 있다.

본 발명은 기재된 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims (7)

1. 디지털 영상 처리 기기에서 디코딩된 특정 프로그램 영상물의 영상 프레임마다, 상기 영상 프레임의 전체 영역 중에서 미리 설정한 자막예상블록을 검출하여 그 영역에 대한 자막 유무를 판별하는 제 1 단계;

   상기 제 1 단계에서 상기 자막예상블록에 자막이 있다고 판별된 경우, 상기 디지털 영상 처리 기기내의 문자분리기를 통해 상기 자막에서 자막문자를 분리하는 제 2 단계;

   상기 제 2 단계에서 분리된 자막문자의 자형(字型)을 상기 디지털 영상 처리 기기내의 문자인식기를 이용해 인식하는 제 3 단계;

   상기 제 3 단계에서 자형(字型)의 인식이 이루어진 자막문자에 인덱싱 번호를 할당하고, 자막문자가 분리된 해당 영상 프레임을 그 인덱싱 번호에 매칭시켜 상기 디지털 영상 처리 기기내의 데이터베이스에 저장하는 제 4 단계로 이루어지는, 자막문자기반의 영상 인덱싱 방법.
2. 제 1 항에 있어서, 상기 제 1 단계는;

   상기 자막예상블록내의 그레이(gray) 레벨 변화량과 미리 설정된 그레이 레벨의 변화량과의 비교 결과에 따라 자막 유무를 판별하는 것을 특징으로 하는, 자막문자기반의 영상 인덱싱 방법.
3. 제 2 항에 있어서, 상기 자막 유무 판별은;

   상기 자막예상블록내의 그레이 레벨 변화량이 미리 설정된 그레이 레벨 변화량보다 큰 경우에는 상기 자막예상블록내에 자막이 있는 것으로 판별하고, 상기 자막예상블록내의 그레이 레벨 변화량이 상기 미리 설정된 그레이 레벨 변화량 이하인 경우에는 상기 자막예상블록내에 자막이 없는 것으로 판별하는, 자막문자기반의 영상 인덱싱 방법.
4. 제 1 항 또는 제 3 항 중 어느 한 항에 있어서, 상기 자막예상블록은;

   다수개가 미리 설정되어 있는 것을 특징으로 하는, 자막문자기반의 영상 인덱싱 방법.
5. 제 1 항에 있어서, 상기 제 2 단계는;

   상기 자막에서 기실정된 라인 검출 알고리즘에 따라 문자분리 수직라인을 검출하는 제 2-1단계;

   상기 제 2-1단계에서 검출한 문자분리 수직라인에서 좌측으로 설정 픽셀 개수만큼 이격된 좌측 수직 라인에 설정 그레이 레벨 이상의 픽셀이 있는 경우에, 상기 문자분리수직라인 좌측에 자막문자가 있는 것으로 판별하여 해당 자막문자를 분리하는 제 2-2단계로 이루어지는 것을 특징으로 하는, 자막문자기반의 영상 인덱싱 방법.
6. 제 5 항에 있어서, 상기 제 2-2단계 후에;

   상기 문자분리 수직라인에서 우측으로 설정 픽셀 개수만큼 이격된 우측수직라인에 설정 그레이 레벨 이상의 픽셀 유무에 대해 판별하여 그 판별 결과에 따라, 상기 제 2-1 단계와 제 2-2 단계를 반복적으로 수행하도록 하는 것을 특징으로 하는, 자막문자기반의 영상 인덱싱 방법.
7. 제 1 항에 있어서, 상기 제 3 단계와 제 4 단계 사이에;

   상기 제 3 단계에서 자형(字形)의 인식이 이루어진 자막문자의 중복 유무에 대해 판별하는 단계를 추가로 포함하는 것을 특징으로 하는, 자막문자기반의 영상 인덱싱 방법.

Images