KR100865248B1 - 비디오 신호에서의 자막 검출 - Google Patents

비디오 신호에서의 자막 검출 Download PDF

Info

Publication number
KR100865248B1
KR100865248B1 KR1020037000548A KR20037000548A KR100865248B1 KR 100865248 B1 KR100865248 B1 KR 100865248B1 KR 1020037000548 A KR1020037000548 A KR 1020037000548A KR 20037000548 A KR20037000548 A KR 20037000548A KR 100865248 B1 KR100865248 B1 KR 100865248B1
Authority
KR
South Korea
Prior art keywords
image
complexity
subtitles
image region
subtitle
Prior art date
Application number
KR1020037000548A
Other languages
English (en)
Other versions
KR20030024781A (ko
Inventor
네스바드바잔에이.디.
브럴스윌헬머스에이치.에이.
베르보르트제라르더스제이.엠.
펜즈버나드에이치.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030024781A publication Critical patent/KR20030024781A/ko
Application granted granted Critical
Publication of KR100865248B1 publication Critical patent/KR100865248B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

방법 및 장치(300)는 비디오 신호에서 자막들의 존재, 나타남, 사라짐을 검출하도록 개시되어 있다. 매우 높은 신뢰성은 대부분의 계산들이 이미 MPEG 인코더(101-113) 또는 디코더의 회로에 의해 이루어진다는 사실로 인해 달성될 수 있고, 여분의 프로세싱 파워가 필요하다. 자막은 자막들이 디스플레이되는 이미지 영역의 복잡도가 실제적으로 적어도 하나의 다른 이미지 영역의 복잡도를 초과하는 경우 검출된다. 복잡도를 나타내는 성질들의 예들은 (i) 비트 비용(b)의 곱들 및 MPEG 슬라이스들에서의 양자화기 스케일(qs), (ii) 스펙트럼 DCT 계수들(c)의 무게 중심의 위치, (iii) 작은 모션 벡터(mv)를 갖는 자막 이미지 영역에서의 매크로블록들의 수 대 큰 모션 벡터를 갖는 매크로블록들의 수, 또는 (iv) 장면 변화들이 서로 다른 이미지 영역들에서 동시에 검출되지 않는다는 사실이다. 장치는 광고 방송 검출 또는 키프레임 생성에 사용될 수 있다.
포스트 프로세싱 알고리즘, 격리된 텍스트 블록, 비디오 신호, 자막, 모션 벡터

Description

비디오 신호에서의 자막 검출{Detecting subtitles in a video signal}
본 발명은 비디오 신호에서 자막들을 검출하는 방법 및 장치에 관한 것이다.
비디오 신호에서 자막들을 검출하는 공지된 방법은 국제 특허 출원 WO-A 95/01051에 개시되어 있다. 이러한 종래 기술 방법에서는 텔레비전 라인에서의 신호 레벨 전이들의 수가 카운트된다. 상기 검출은 자막들이 일반적으로 어두운 배경상의 밝은 문자들이라는 인식에 기초한다.
본 발명의 목적은 자막들을 검출하는 대안적인 방법 및 장치를 제공하는 것이다.
이러한 목적을 위해, 본 발명에 따른 방법은 각 프레임을 자막들이 재생될 것으로 기대되는 제 1 이미지 영역 및 상기 제 1 이미지 영역과 일치하지 않는 적어도 하나의 제 2 이미지 영역으로 분할하고, 상기 제 1 및 제 2 이미지 영역들의 복잡도를 계산한다. 출력 신호는 상기 제 1 이미지 영역의 복잡도가 미리 결정된 비율만큼 상기 제 2 이미지 영역의 복잡도를 초과하는 경우 생성된다.
상기 방법 및 장치의 실시예들은 기존의 MPEG 인코더들 및/또는 디코더들의 회로가 사용될 수 있는 이점들을 갖는다. 자막들을 검출하기 위한 프로세싱 파워는 대부분의 컴퓨터 연산들이 이미 비디오 인코더 또는 디코더에서의 회로에 의해 이루어 진다는 사실로 인해 한계에 이르렀다.
일 실시예는 프레임들을 다수의 비트들 및 양자화기 스케일로 각각이 인코딩된 슬라이스들로 MPEG 분할하는 것에 기초한다. 제 1 및 제 2 이미지 영역들의 복잡도들은 본 명세서에서, 각 이미지 영역들을 구성하는 슬라이스들에 대해 상기 비트들 및 양자화기 스케일의 수의 곱들을 합산함으로서 계산된다.
추가적인 실시예는 이미지 데이터를 스펙트럼 DC 및 AC 계수들로 변환하는 것에 기초한다. 제 1 및 제 2 이미지 영역들의 복잡도는 무게 중심의 스펙트럼 계수들에 의해 표현된다.
또다른 실시예는 프레임들을 모션 벡터들을 갖는 블록들로 MPEG 분할하는 것에 기초한다. 제 1 이미지 영역의 복잡도는 미리 결정된 제 1 임계치보다 더 작은 모션 벡터를 갖는 블록들의 수에 의해 표현되고, 제 2 이미지 영역의 복잡도는 미리 결정된 제 2 임계치보다 더 큰 모션 벡터를 갖는 블록들의 수에 의해 표현된다.
또다른 실시예에서, 닮은 예측 블록들을 검색하기 위한 MPEG 디코더의 모션 추정 회로는 장면 변화들을 검출하기 위해 사용된다. 제 1 및 제 2 이미지 영역들의 복잡도들은 본 명세서에서, 각 이미지 영역내 장면 변화의 발생에 의해 표현되고, 출력 신호는 장면 변화가 상기 제 1 이미지 영역에서 검출되고 상기 제 2 이미지 영역에서 검출되지 않는 경우 생성된다. 이러한 실시예에서, 출력 신호는 자막의 존재보다 그것의 나타남 또는 사라짐을 표시하는 것에 주목하자.
자막들의 검출은 비디오 신호 프로세싱의 여러 종류들에 유용하다.
자막은 텍스트의 전자식 버전을 제공하도록 OCR 알고리즘이 적용될 수 있다. 전자 텍스트는 별개로 저장되고 이어서 예를 들어, 데이터베이스에 저장된 비디오 장면들을 인덱싱하기 위해 사용된다. 그의 통상적인 응용은 구두로된 키워드들에 기초한 비디오 레코더에서 비디오 장면들의 검색이다.
또다른 응용은 비디오 재료의 검색 또는 에디트를 위한 키프레임들의 생성이다. 키프레임은 일반적으로, 장면 변화 후의 제 1 프레임들 중 하나이다. 본 발명은 키프레임들로서 선택될 자막화된 프레임들을 허용한다.
자막 검출은 또한, 텔레비전 프로그램들에서 광고 방송 검출시에 도움을 준다. 광고들은 거의 자막화되지 않기 때문에, 자막화된 영화 상영동안 시간의 특정 기간에 대한 자막들의 부재는 광고 방송을 나타낸다.
도 1은 본 발명에 따른 자막 검출기를 포함하는 MPEG 인코더를 개략적으로 도시한 도면.
도 2는 본 발명에 따른 자막 검출기를 포함하는 MPEG 디코더를 개략적으로 도시한 도면.
도 4는 도 1 내지 도 2에 도시된 자막 검출기의 제 1 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도.
도 5는 도 1 내지 도 2에 도시된 자막 검출기의 제 2 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도.
도 6은 도 5에 도시된 실시예의 동작을 예시한 타이밍도.
도 7은 도 1 내지 도 2에 도시된 자막 검출기의 제 3 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도.
도 8A 내지 도 8B는 도 7에 도시된 실시예의 동작을 예시한 히스토그램.
도 9는 도 1 내지 도 2에 도시된 자막 검출기의 제 4 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도.
도 1은 본 발명에 따른 자막을 검출하는 장치를 포함하는 MPEG 인코더를 개략적으로 도시한 도면이다. MPEG 인코더는 그 자체가 공지되어 있다. MPEG 인코더는 각 입력 이미지를 블록들로 분할하는 회로(101), 각 블록으로부터 예측 블록을 감산하는 감산기(102), 8x8 이미지 픽셀들의 각 블록을 8x8 스펙트럼 계수들의 블록들로 변환하는 이산 코사인 변환 회로(103), 양자화기(104), 가변 길이 인코더(105), 버퍼(106), 비트 레이트 제어 회로(107), 역 양자화기(108), 역 이산 코사인 변환 회로(109), 가산기(110), 프레임 메모리(111), 모션 추정 회로(112), 및 모션 보상기(113)를 포함한다. MPEG 인코터의 동작은 비디오 압축의 분야에 숙련자들에게 공지되어 있으므로, 자세히 기술하지 않는다. 그 중에서도 특히, 완벽한 설명은 J.L. Mitchel등에 의한, 저서 "MPEG 비디오 압축 표준", ISBN 0-412-08771-5, Kluwer Academic Publishers에서 찾을 수 있다.
도 1에서 참조 번호 300은 자막 검출기를 표시한다. 그의 여러 실시예들이 이하 기술될 것이다. 검출기는 MPEG 인코더에 의해 생성된 입력 신호들을 수신한다. 검출기에 공급되는 실제 신호(또는 신호들의 세트)는 상기 실시예에 의존한다. 5가지 입력 신호들은 원으로 둘러싸인 신호 이름들로 도 1에 도시되어 있다:
- b는 오버헤드 비트들을 배제하는 이미지 슬라이스를 인코딩하도록 사용되는 비트들의 수를 표시한다.
- qs는 슬라이스에 대한 양자화기 스케일을 표시한다.
- c는 매크로블록의 변환 계수들(DC 및 AC)을 표시한다.
- mv는 매크로블록의 모션 벡터(들)를 표시한다.
- mad는 모션 추정기에 의해 발견된 예측 블록 및 입력 이미지 블록 사이의 평균 절대차를 표시한다.
도 2는 가변 길이 디코더(201), 슬라이스 프로세서(202), 매크로블록 프로세서(203), 역 양자화기(204), 역 이산 코사인 변환기(205), 가산기(206), 프레임 메모리(207), 및 모션 보상기(208)를 포함하는 MPEG 디코더를 도시한 도면이다. 상기 인코더처럼, 이러한 MPEG 디코더의 또다른 설명은 본 명세서에서 제시되지 않는다. 참조 번호 300는 다시, MPEG 디코더의 여러 부분들로부터 입력 신호들을 수신하는 자막 검출기를 표시한다. 도 2에서의 신호들 b, mv, qs, 및 c는 도 1에서와 같다.
자막 검출기(300)의 동작은 이제부터 기술될 것이다. 도 3에 도시된 바와 같이, 검출기는 디스플레이 스크린을 자막들이 일반적으로 디스플레이되는 제 1 이미지 영역(31) 및 또다른 이미지 영역들(32)로 분리한다. 제 1 이미지 영역(31) 및 부가의 이미지 영역들(32)은 또한, 자막 영역 및 자막이 아닌 영역으로 각각 이하 언급될 것이다. 자막 검출 알고리즘은 자막들이 보이지 않는 제 2 이미지 영역의 복잡도, 및 자막들이 디스플레이되는 제 1 이미지 영역의 복잡도 사이의 현저한 차 이에 기초한다.
도 4는 자막 검출기(300)의 제 1 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도이다. 이러한 실시예에서, 복잡도는 각 이미지 영역 및 양자화기 스케일 qs를 인코딩하도록 사용되는 비트들 b의 수의 곱에 의해 표현된다. 자막 영역에 대해서, 복잡도 C1은 다음과 같다:
Figure 112003001187813-pct00001
여기서 S1은 자막 영역을 집합적으로 형성하는 슬라이스들의 세트를 표시한다. 자막이 아닌 영역에 대해서, 복잡도 C2는 다음과 같다:
Figure 112003001187813-pct00002
여기서 S2는 자막이 아닌 영역을 집합적으로 형성하는 슬라이스들의 세트를 표시한다. 상기 두 영역들의 서로 다른 크기들을 고려하기 위해, 복잡도들 C1 및 C2는 상기 영역들을 커버하는 매크로블록들의 수로 그들을 나눔으로서 정규화될 수 있다. 복잡도들 C1 및 C2는 단계(41)에서 계산된다.
단계(42)에서, 현재 프레임 m에 대한 비율 Rm=C2/C1이 계산된다. Rm 은 자막이 프레임에 존재할 때 낮다. 자막이 존재하지 않는 경우, 상기 두 영역들의 복잡도들은 거의 동일하므로 대등하다. 자막의 구조(일반적으로 적은 흑색 라인으로 둘러싸인 백색 폰트들), 및 자막이 최초의 프레임에 오버레이된다는 부가의 사실은 자막 영역의 복잡도 값들을 현저하게 증가시키는 원인이다. 따라서, 비율 Rm이 감소한다. 보다 낮은 비율 일수록, 자막은 보다 크고 보다 복잡하다.
사용가능한 자막화된 재료의 2 시간의 검사로부터 영화에서 자막의 최소 지속 기간이 2초라는 것을 알아냈다. 검출기는 상기 시간 기간내에 생성된 각 I 프레임에 대한 비율 Rm을 계산한다.
이어지는 단계(43)에서, 비율들 Rm이 합산된다. 단계(44)에서,
Figure 112007034031642-pct00003
은 임계치 Thr과 비교된다.
Figure 112007034031642-pct00004
이 상기 임계치보다 낮은 경우, 자막이 존재하도록 알려지고, 적절한 출력 신호가 단계(45)에서 생성된다. 임계치 Thr은 경험적으로, 사용가능한 자막화된 영화 재료의 검사로부터 선택된다.
도 5는 자막 검출기(300)의 제 2 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도이다. 이러한 실시예에 있어서, 복잡도는 각 아미지 영역들(31, 32)에서 장면 변화의 발생에 의해 표현된다. 이러한 목적을 위해서, 자막 검출기는 MPEG 인코더로부터 최신 매크로블록의 평균 절대 왜곡(mad)을 수신한다. 평균 절대 왜곡 MAD는 프레임 메모리(111)(도 1을 참조)에서 최신 입력 블록을 가장 닮은 이미지 블록을 위치시키기 위해 인코더에 의해 사용되는 표준이고, 예측 인코딩을 위해 예측 블록으로서 사용될 상기 블록을 선택한다. 제 1 단계(51)에서, 검출기(300)는 실제 프레임에 대한 자막 영역에서 평균 절대 왜곡들의 합
Figure 112003001187813-pct00005
을 계산하고, 자막이 아닌 영역에서 평균 절대 왜곡들의 합
Figure 112003001187813-pct00006
를 계산한다. 단계(52)에서, 검 출기는 실제 프레임 주위의 제 1 주어진 타이밍 윈도우 t1 내의 모든 프레임들(I, P, 및 B)에 대한 평균값들 AvMAD1 및 AvMAD2을 계산하고, 프레임 주위의 보다 작은 타이밍 윈도우 t2 내에 있는 프레임들을 배제한다(도 6 참조). 단계(53)에서, 실제 프레임의 합
Figure 112003001187813-pct00007
이 타이밍 윈도우 내의 프레임들의 평균값 AvMAD1과 비교된다. 합
Figure 112003001187813-pct00008
이 실제적으로 평균값 AvMAD1보다 더 큰 경우, 합
Figure 112003001187813-pct00009
은 로컬 피크값이다. 이 경우에서, 장면 변화는 자막 영역에서 검출되었을 것이다. 유사한 방법으로, 합
Figure 112003001187813-pct00010
는 단계(54)에서 평균값 AvMAD2와 비교된다.
Figure 112003001187813-pct00011
가 실제적으로 AvMAD2보다 더 큰 경우, 합
Figure 112003001187813-pct00012
는 로컬 피크값이고 장면 변화는 자막이 아닌 영역에서 검출되었을 것이다. 장면 변화가 자막이 아닌 영역을 제외하고 자막 영역에서 검출되었을 경우, 실제 프레임은 자막의 나타남 또는 사라짐의 것으로 인덱싱된다. 출력 신호는 이어서, 단계(55)에서 생성될 것이다.
도 7은 자막 검출기(300)의 제 3 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도이다. 이러한 실시예에서, 복잡도는 인코더에 의해 생성되거나 디코더에 의해 수신된 '무게 중심'의 DCT 계수들 c에 의해 표현된다. 단계(71)에서, 자막 영역을 형성하는 블록들의 DCT 계수들 c1(0)...c1(63)의 히스토그램이 계산된다. 유익하게는, 이것은 I 프레임들에 대해서만 이루어진다. 단계(72)에서, 동일한 히스토그램이 자막이 아닌 영역들을 형성하는 블록들의 DCT 계수들 c2(0)..c2(63)에 대 해 계산된다. 단계(73)에서, 각각의 무게 중심 n1 및 n2가 계산된다. 무게 중심은 다음에 대한 DCT 계수의 인덱스 n이다:
Figure 112003001187813-pct00013
이것은 도 8A 내지 도 8B에서 예시되며, 도 8A는 자막이 없는 이미지 영역들의 통상적인 히스토그램을 도시하고, 도 8B는 자막을 갖는 이미지 영역들의 통상적인 히스토그램을 도시한다. 이것은 자막들을 커버하는 블록들이 다수의 높은 AC 계수들을 포함하도록 자막들이 일반적으로 적은 흑색 경계를 갖는 백색이라는 사실에 기인한다.
단계(74)에서, 무게 중심 n1 및 n2가 비교된다. 중심 n1이 실제적으로 중심 n2보다 더 높은 공간 주파수에 대응하는 경우, 실제 I 프레임은 자막 프레임이 있는 것으로 검출된다. 이 경우에서, 출력 신호가 단계(75)에서 발생된다.
도 9는 자막 검출기(300)의 제 3 실시예에 의해 실행되는 동작 단계들을 도시한 흐름도이다. 이러한 실시예에서, 복잡도는 인코더에 의해 생성되거나 수신기에 의해 수신된 모션 벡터들 mv로부터 얻어진다. 단계(91)에서, 자막 영역을 형성하는 내부 매크로블록들의 모션 벡터들 mv1이 주어진 값 M1보다 더 작은지의 여부가 체크된다. 이 경우에서, 카운터 n1이 단계(92)에서 증가된다. 단계(93)에서, 자막이 아닌 영역을 형성하는 내부 매크로블록들의 모션 벡터들 mv2가 주어진 값 M2보다 더 큰지의 여부가 체크된다. 이 경우에, 카운터 n2가 단계(94)에서 증가된다.
단계(95)에서, 검출기는 자막 영역에서 작은 모션 벡터들의 평균수 n1/N1이 자막이 아닌 영역에서 큰 모션 벡터들의 평균수 n2/N2를 초과하는지의 여부가 체크하고, N1 및 N2는 각각 자막 영역 및 자막이 아닌 영역에서 매크로블록들의 총 수이다. 초과하는 경우에, 자막이 존재하도록 알려지고, 적절한 출력 신호가 단계(96)에서 생성된다. 이러한 실시예는 자막 영역에서의 모션 벡터들이 일반적으로 작도록 자막들이 정적이라는 인식을 이용한다. 이것은 도 10에 예시되어 있고, 참조 번호 98 및 99는 큰 모션 벡터들을 갖는 매크로블록들 및 작은(거의 0) 모션 벡터들 각각을 표시한다.
자막은 또한, 이미지의 각 (8x8) 블록에 대해, 그러한 블록이 "텍스트 블록"일 것인지의 여부를 결정하고, 이어서 인접한 텍스트 블록들의 상당한 수를 수용하는 영역으로 자막을 식별함으로서 검출될 수 있다. 가능한 텍스트 블록 검출 알고리즘은 AC 계수들의 주어진 세트의 절대합을 계산하는 단계, 및 임계치 Thr에 대해 상기 절대합을 체킹하는 단계를 포함한다. 수학적 표기로는 다음과 같다.
Figure 112003001187813-pct00014
여기서 x,y는 이미지 내의 블록의 위치를 표시하고, i,j는 블록 내의 AC 계수들의 위치를 표시하며, I,J는 텍스트 검출이 고려되는 계수 위치들을 표시한다(예를 들어, 지그재그 스캔의 제 1의 9개의 AC 계수들).
그렇게 집합적으로 얻어진 텍스트 블록 검출값들 TB(x,y)는 가능한 텍스트 블록들에 대해 1을 포함하고 다른 것들에 대해 0을 포함하는 행렬을 구성한다. 텍스트 블록 행렬은 일반적으로, 자막 영역에서 상당한 수의 1을 포함한다. 행렬은 또한, 날카로운 휘도 에지들로 인해 이미지에서의 다른 곳에 격리된 텍스트 블록들을 포함하고, 자막의 워드들 사이의 공간들 또는 잘못된 검출로 인해 자막 영역에서 격리된 텍스트가 아닌 블록들을 포함한다. 그러므로, 필터링 단계가 텍스트 블록 검출의 결과에 적용된다. 제 1 필터는 격리된 텍스트 블록들을 제거하도록 사용된다. 제 2 필터는 텍스트 블록들 사이의 간격들을 가깝게 하도록 사용된다. 시퀀스 리무브 클로즈 리무브 클로즈(remove-close-remove-close)(2개의 반복 필터 동작들)가 적절하다는 사실이 공지되어 있다. 많이 반복하는 것이 결과를 현저히 향상시키지는 않는다. 필터 사이즈는 각 이미지 제공자에 의해 사용되는 폰트 크기에 따라 조정될 수 있으므로, 국가로부터 국가까지 또는 방송국으로부터 방송국까지 다양할 수 있다.
텍스트 블록 행렬을 사용하는 자막 국소화는 또한, 종횡비(자막들은 일반적으로 수평으로 확장된다) 및 위치(보다 낮은 제 3의 스크린)와 같은 등비적 성질들을 고려함으로서 향상될 수 있다. 또한, 시간 성질들(자막들은 시간의 특정 기간동안 정적이다)이 포스트 프로세싱 알고리즘(post-precessing algorithm)에 의해 고려될 수 있다.
비디오 신호에서 자막들의 존재, 나타남, 또는 사라짐을 검출하는 방법 및 장치(300)는 공지되어 있다. 매우 높은 신뢰성은 대부분의 계산들이 이미 MPEG 인 코더(101-113) 또는 디코더의 회로에 의해 이루어진다는 사실로 인해 달성될 수 있고, 여분의 프로세싱 파워가 필요하다. 자막은 자막들이 디스플레이되는 이미지 영역의 복잡도가 실제적으로 적어도 하나의 다른 이미지 영역의 복잡도를 초과하는 경우 검출된다. 복잡도를 나타내는 성질들의 예들은 (i) 비트 비용(b)의 곱들 및 MPEG 슬라이스들에서의 양자화기 스케일(qs), (ii) 스펙트럼 DCT 계수들(c)의 무게 중심의 위치, (iii) 작은 모션 벡터(mv)를 갖는 자막 이미지 영역에서의 매크로블록들의 수 대 큰 모션 벡터를 갖는 매크로블록들의 수, 또는 (iv) 장면 변화들이 서로 다른 이미지 영역들에서 동시에 검출되지 않는다는 사실이다.
장치는 광고 방송 검출 또는 키프레임 생성에 사용될 수 있다.

Claims (6)

  1. 비디오 신호에서 자막들(subtitles)을 검출하는 방법에 있어서,
    각 프레임을 자막들이 재생될 것으로 기대되는 제 1 이미지 영역 및 상기 제 1 이미지 영역과 일치하지 않는 적어도 하나의 제 2 이미지 영역으로 분할하는 단계;
    상기 제 1 및 제 2 이미지 영역들의 복잡도를 계산하는 단계; 및
    상기 제 1 이미지 영역의 복잡도가, 미리 결정된 비율만큼, 상기 제 2 이미지 영역의 복잡도를 초과하는 경우, 상기 비디오 신호에서 자막의 존재 여부를 나타내는 출력 신호를 생성하는 단계를 포함하는, 자막 검출 방법.
  2. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지 영역들은 다수의 비트들 및 양자화기 스케일로 각기 인코딩된 슬라이스들로 분할되며, 상기 제 1 및 제 2 이미지 영역들의 복잡도는 상기 각 이미지 영역을 구성하는 상기 슬라이스들에 대해 상기 다수의 비트들 및 양자화기 스케일의 곱들을 합산함으로써 계산되는, 자막 검출 방법.
  3. 제 1 항에 있어서,
    각 이미지 영역내의 이미지 데이터는 스펙트럼 계수들로 변환되고, 상기 방법은 상기 각 이미지 영역의 상기 스펙트럼 계수들의 무게 중심을 계산하는 단계를 더 포함하며, 상기 제 1 및 제 2 이미지 영역들의 복잡도는 상기 각각의 무게 중심의 스펙트럼 위치에 의해 표현되는, 자막 검출 방법.
  4. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지 영역들은 모션 벡터들을 갖는 블록들로 분할되고, 상기 제 1 이미지 영역의 복잡도는 미리 결정된 제 1 임계치보다 더 작은 모션 벡터를 갖는 블록들의 수에 의해 표현되며, 상기 제 2 이미지 영역의 복잡도는 미리 결정된 제 2 임계치보다 더 큰 모션 벡터를 갖는 블록들의 수에 의해 표현되는, 자막 검출 방법.
  5. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지 영역들에서 장면 변화를 검출하는 단계를 더 포함하고,
    상기 제 1 및 제 2 이미지 영역의 복잡도는 상기 각 이미지 영역에서 장면 변화의 발생에 의해 표현되며, 상기 출력 신호는 장면 변화가 상기 제 1 이미지 영역에서는 검출되고 상기 제 2 이미지 영역에서는 검출되지 않으면 생성되는, 자막 검출 방법.
  6. 비디오 신호에서 자막들을 검출하는 장치에 있어서,
    각 프레임을 자막들이 재생될 것으로 기대되는 제 1 이미지 영역 및 상기 제 1 이미지 영역과 일치하지 않는 적어도 하나의 제 2 이미지 영역으로 분할하는 수단;
    상기 제 1 및 제 2 이미지 영역들의 복잡도를 계산하는 수단; 및
    상기 제 1 이미지 영역의 복잡도가 미리 결정된 비율만큼 상기 제 2 이미지 영역의 복잡도를 초과하는 경우 상기 비디오 신호에서 자막의 존재 여부를 나타내는 출력 신호를 생성하는 수단을 포함하는, 자막 검출 장치.
KR1020037000548A 2001-05-15 2002-05-08 비디오 신호에서의 자막 검출 KR100865248B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01201779.4 2001-05-15
EP01201779 2001-05-15
PCT/IB2002/001619 WO2002093910A1 (en) 2001-05-15 2002-05-08 Detecting subtitles in a video signal

Publications (2)

Publication Number Publication Date
KR20030024781A KR20030024781A (ko) 2003-03-26
KR100865248B1 true KR100865248B1 (ko) 2008-10-27

Family

ID=8180301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037000548A KR100865248B1 (ko) 2001-05-15 2002-05-08 비디오 신호에서의 자막 검출

Country Status (8)

Country Link
US (1) US7023917B2 (ko)
EP (1) EP1393553B1 (ko)
JP (1) JP4197958B2 (ko)
KR (1) KR100865248B1 (ko)
CN (1) CN1220370C (ko)
AT (1) ATE413063T1 (ko)
DE (1) DE60229632D1 (ko)
WO (1) WO2002093910A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372639B1 (ko) 2010-05-25 2014-03-11 한국전자통신연구원 광고 영상 검출 방법 및 장치

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005017899A1 (en) * 2003-08-18 2005-02-24 Koninklijke Philips Electronics N.V. Video abstracting
CN100484210C (zh) * 2003-11-17 2009-04-29 皇家飞利浦电子股份有限公司 视频图像处理方法
KR100626376B1 (ko) * 2004-05-27 2006-09-20 삼성전자주식회사 레터박스 검출 장치 및 방법, 그리고 이를 구비한 엠팩디코딩 장치
JP4700002B2 (ja) 2004-08-19 2011-06-15 パイオニア株式会社 テロップ検出方法、テロップ検出プログラム、およびテロップ検出装置
TWI254879B (en) * 2004-12-17 2006-05-11 Quanta Comp Inc System and method for video encoding
CN100367777C (zh) * 2005-02-24 2008-02-06 威盛电子股份有限公司 实时侦测字幕滚动的装置及其方法
US7545978B2 (en) * 2005-07-01 2009-06-09 International Business Machines Corporation Methods and apparatus for filtering video packets for large-scale video stream monitoring
US7511257B2 (en) * 2005-08-24 2009-03-31 Aptina Imaging Corporation Method and apparatus providing and optical guide in image sensor devices
JP4814849B2 (ja) * 2007-08-10 2011-11-16 富士通株式会社 フレームの特定方法
KR20100016741A (ko) * 2008-08-05 2010-02-16 삼성전자주식회사 영상처리장치 및 그 제어 방법
WO2010073177A1 (en) 2008-12-24 2010-07-01 Nxp B.V. Image processing
CN101835011B (zh) * 2009-03-11 2013-08-28 华为技术有限公司 字幕检测方法及装置、背景恢复方法及装置
US8260055B2 (en) * 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
CN101527800B (zh) * 2009-03-31 2011-01-05 西安交通大学 一种获取基于h.264/avc压缩视频字幕的方法
CN101867736B (zh) * 2009-04-17 2012-08-29 联咏科技股份有限公司 解交错装置及方法及动态字幕补偿器
JP4620163B2 (ja) * 2009-06-30 2011-01-26 株式会社東芝 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法
JP5525201B2 (ja) * 2009-07-28 2014-06-18 パナソニック株式会社 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US20120106648A1 (en) * 2009-09-02 2012-05-03 Kazuaki Terashima Image processing device and video reproducing device
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US20120249879A1 (en) * 2010-05-14 2012-10-04 Yuan yan-wei Method for eliminating subtitles of a video program, and associated video display system
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
CN102595055A (zh) * 2012-02-29 2012-07-18 北京汉邦高科数字技术股份有限公司 一种在yuv图像上叠加文字的方法
US20160092747A1 (en) * 2014-09-29 2016-03-31 Qualcomm Incorporated Devices and methods for facilitating digital imagery encoding based on detection of text and computer generated graphics
CN107027067B (zh) * 2015-06-23 2020-02-07 讯飞智元信息科技有限公司 获取mv视频资源中字幕信息的方法及系统
US20210173863A1 (en) * 2016-09-19 2021-06-10 Prockopee Holdings Pte Ltd Frameworks and methodologies configured to enable support and delivery of a multimedia messaging interface, including automated content generation and classification, content search and prioritisation, and data analytics
CN110599525A (zh) * 2019-09-30 2019-12-20 腾讯科技（深圳）有限公司 图像补偿方法和装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990042485A (ko) * 1997-11-27 1999-06-15 전주범 다화면 텔레비전의 자막신호 표시제어장치
KR19990050606A (ko) * 1997-12-17 1999-07-05 전주범 다화면 텔레비전의 광고방송 검출에 따른 부화면재생방법
US6185329B1 (en) 1998-10-13 2001-02-06 Hewlett-Packard Company Automatic caption text detection and processing for digital images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9312690D0 (en) 1993-06-18 1993-08-04 Philips Electronics Uk Ltd Television receiver
DE69519980T2 (de) * 1994-12-28 2001-06-07 Siemens Corp Res Inc Verfahren und Gerät zur Detektion und Interpretation von Untertiteln in digitalen Videosignalen
MY119560A (en) * 1996-05-27 2005-06-30 Nippon Telegraph & Telephone Scheme for detecting captions in coded video data without decoding coded video data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990042485A (ko) * 1997-11-27 1999-06-15 전주범 다화면 텔레비전의 자막신호 표시제어장치
KR19990050606A (ko) * 1997-12-17 1999-07-05 전주범 다화면 텔레비전의 광고방송 검출에 따른 부화면재생방법
US6185329B1 (en) 1998-10-13 2001-02-06 Hewlett-Packard Company Automatic caption text detection and processing for digital images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372639B1 (ko) 2010-05-25 2014-03-11 한국전자통신연구원 광고 영상 검출 방법 및 장치

Also Published As

Publication number Publication date
US20030021342A1 (en) 2003-01-30
EP1393553B1 (en) 2008-10-29
CN1462546A (zh) 2003-12-17
WO2002093910A1 (en) 2002-11-21
CN1220370C (zh) 2005-09-21
EP1393553A1 (en) 2004-03-03
JP2004529578A (ja) 2004-09-24
ATE413063T1 (de) 2008-11-15
JP4197958B2 (ja) 2008-12-17
US7023917B2 (en) 2006-04-04
DE60229632D1 (de) 2008-12-11
KR20030024781A (ko) 2003-03-26

Similar Documents

Publication Publication Date Title
KR100865248B1 (ko) 비디오 신호에서의 자막 검출
KR101369915B1 (ko) 영상 식별자 추출 장치
US5911008A (en) Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding
US6810144B2 (en) Methods of and system for detecting a cartoon in a video data stream
US5751378A (en) Scene change detector for digital video
US6185329B1 (en) Automatic caption text detection and processing for digital images
KR100591470B1 (ko) 비디오 시퀀스의 변환 검출
KR100468967B1 (ko) 썸네일 영상 생성장치 및 방법
US6449392B1 (en) Methods of scene change detection and fade detection for indexing of video sequences
US9367616B2 (en) Video descriptor generation device
EP0896466B1 (en) Fade detector for digital video
US7295711B1 (en) Method and apparatus for merging related image segments
US8421928B2 (en) System and method for detecting scene change
Kaup et al. Efficient prediction of uncovered background in interframe coding using spatial extrapolation
US7352877B2 (en) Digital-watermark-embedding and picture compression unit
US20050002569A1 (en) Method and apparatus for processing images
US20110274317A1 (en) Matching weight information extraction device
US7593592B2 (en) Method of detecting blocking artifacts
JP2005136810A (ja) コンテンツ品質評価装置、その方法及びそのプログラム
KR100473944B1 (ko) 디지털 영상신호의 텍스트 추출방법
JP2000194727A (ja) 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP3339544B2 (ja) ディゾルブ検出方法および装置
JP3803138B2 (ja) シーン・チェンジおよび／またはフラッシュ検出装置
JP3333956B2 (ja) カット点検出方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111021

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee