KR20090006724A - 혼합 모드 필름 및 비디오의 화면 이동 문자를 검출하는시스템 및 방법 - Google Patents

혼합 모드 필름 및 비디오의 화면 이동 문자를 검출하는시스템 및 방법 Download PDF

Info

Publication number
KR20090006724A
KR20090006724A KR1020080052656A KR20080052656A KR20090006724A KR 20090006724 A KR20090006724 A KR 20090006724A KR 1020080052656 A KR1020080052656 A KR 1020080052656A KR 20080052656 A KR20080052656 A KR 20080052656A KR 20090006724 A KR20090006724 A KR 20090006724A
Authority
KR
South Korea
Prior art keywords
motion
frames
mixed
blocks
frame
Prior art date
Application number
KR1020080052656A
Other languages
English (en)
Inventor
지 쥬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20090006724A publication Critical patent/KR20090006724A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

혼합-모드 비디오 시퀀스에서 화면 이동 문자를 검출하기 위한 다양한 실시예들이 제공된다. 본 발명에 따른 화면 이동 문자 검출 시스템은 혼합-모드 비디오 시퀀스의 둘 이상의 추출된 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 움직임 추정부를 포함한다. 추출 프레임 움직임 분석부는 둘 이상의 추출된 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 움직임 벡터들을 분석한다. 실질적으로 지속적인 움직임의 존재는 혼합-모드 비디오 시퀀스의 화면 이동하는 문자가 존재하는 것을 나타낸다. 연속 프레임 움직임 분석부는 혼합 모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이들을 계산한다. 픽셀 값들의 차이들은 혼합-모드 비디오 시퀀스의 화면 이동하는 문자의 존재를 더 나타낸다.
화면 이동, 스크롤링, 문자, 검출

Description

혼합 모드 필름 및 비디오의 화면 이동 문자를 검출하는 시스템 및 방법{System and method for detecting scrolling text in mixed mode film and video}
본 발명은 영상 처리에 관한 것으로 보다 상세히는 혼합-모드 비디오 시퀀스의 화면 이동 문자 검출에 관한 것이다.
비디오 부호화 장치와 같은 멀티미디어 처리 시스템들은 MPEG-x 및 H,26x와 같은 국제 표준들에 기초한 부호화 방법을 이용해 멀티미디어 데이터를 부호화한다. 그러한, 부호화 방법들은 일반적으로 멀티미디어 데이터를 전송 및/또는 저장하기 위해 압축하는 것과 관련되어 있고, 프로그래시브 및 인터레이스(비프로그래시브) 시퀀스들을 조합할 수 있다. 포괄적으로 압축은 데이터로부터 중복성을 제거하는 과정이다. 또한, 비디오 디스플레이 시스템들은 NTSC, HDTC 또는 PAL과 같은 디스플레이 표준들과의 호환성을 보장하는 것, 인지되는 움직임 블러(blur)를 줄이기 위해 프레임율(frame rate)을 높이는 것, 디스플레이 기기마다 상이한 프레임 율로 컨텐츠의 부드러운 움직임 묘사를 달성하는 것과 같은 다양한 목적을 위해 멀티미디어 데이터를 트랜스코드(transcode) 또는 변환(transform)한다. 이러한 트랜스코딩 방법들은 프레임율 변환, 디인터레이싱 등을 수행하기 위한 부호화 방법으로서 유사한 기능들을 수행한다.
비디오 신호는 프레임들(각각의 프레임은 전체 픽처), 또는 필드들(예를 들어, 픽처의 홀수 또는 복수 라인들의 필드로 구성된 인터레이스 비디오 스트램)을 포함하는 픽처들의 시퀀스로 표현될 수 있다. 프레임은 픽처, 프레임 또는 필드들을 의미할 때 사용된다. 비디오 부호화 장치와 같은 멀티미디어 처리 장치는 블록들 또는 예를 들어, 16X16의 매크로 블록들로 분할함으로써 프레임을 부호화한다. 부호화 장치는 각각의 매크로 블록을 서브 블록들로 더 분할할 수 있다. 각각의 서브 블록은 추가적인 서브 블록들을 더 포함할 수 있다. 예를 들어, 매크로 블록의 서브 블록들에는 16X8 및 8X16 서브 블록들을 포함할 수 있다. 8X16 서브 블록들은 8X8 서브 블록들을 포함할 수 있다. 문맥에 따라, 블록은 매크로 블록 또는 서브 블록을 의미할 수 있고, 심지어 단일 픽셀을 의미할 수도 있다.
비디오 시퀀스들은 압축된 형식으로 수신 기기에 의해 수신될 수 있고, 이어서 수신 기기의 복호화 장치에 의해 압축이 해제될 수 있다. 영상 시퀀스들은 또한, 압축되지 않은 상태로 수신될 수 있다. 어느 경우든지, 비디오 시퀀스는 적어도 프레임율, 및 수평 및 수직 픽셀 해상도에 의해 특징될 수 있다. 많은 경우에, 디스플레이 기기는 서로 다른 프레임율 및/또는 픽셀 해상도를 요구하는 수신 기기와 연관되어있고, 적어도 하나의 비디오 프레임들의 복원이 수행될 수 있다. 비디오 프레임들의 복원은 둘 이상의 이미 수신된(또는 수신되고, 압축이 풀린) 비디오 프레임들 사이의 비디오 프레임을 추정하는 것을 포함할 수 있다. 게다가, 복호화 디바이스들은 이전에 복원된 비디오 데이터에 기초해 새로운 비디오 데이터를 생성할 수 있다.
풀다운에 의한 프레임율 변환은 새로운 비디오 데이터 생성의 일 예이다. 풀다운은 원본 보다 더 많은 프레임들을 포함하는 출력 비디오 신호를 생성하기 위해 알려진 패턴으로 소스 프레임들(source frames)을 반복한다. 예를 들어, 필름이 비디오로 이동하면, 비디오의 5 프레임을 채우기 위해 필름의 4 프레임을 "늘어뜨림(stretching)"으로써 초당 24 프레임의 필름은 비디오의 초당 60 필드로 변환된다. 예를 들어, NTSC 프레임에서 디스플레이되는 각각의 프레임은 두개의 완전한 필드들이 있어 4 필름 프레임들 마다 10 필드가 된다. 예를 들어, 3:2 풀다운에서 3 드, 다음은 2 필드, 다음은 3 필드 등으로 1 필름 프레임이 이용된다. 주기는 4 필름 프레임들이 처리된 다음에 스스로 반복된다. 인터레이스 풀다운(interlaced pulldown)에서, 두 개의 필드들은 짝수 및 홀수 인터레이스 필드들에 대응되고, 반면에 프로그래시브 풀다운에서 두개의 필드들은 완전한 프레임에 대응된다.
3:2 풀다운 처리의 하나의 단점은 최종 영상에서 보일 수 있는 원본 필름 프레임과 비교하여 비디오 신호에 약간의 오류를 생성한다는 점이다. 따라서, 출력 비디오 신호는 원본 버전보다 덜 부드럽게 나타난다. 이러한 오류를 "움직임 진동(motion judder)"이라 하고, 움직임 진동 상쇄의 처리에 의해 수정될 수 있다. 움직임 진동 상쇄는 출력 비디오 신호로부터 프레임들을 출력하고, 출력된 프레임들에 새로운 프레임율 변환을 수행하여 비디오 시퀀스를 부드럽게 한다.
본 발명이 해결하고자 하는 기술적 과제는 필름과 문자가 혼합되어 있는 혼합-모드 비디오 시퀀스에 보다 효율적으로 정확하게 화면 이동 문자를 검출하는 시스템 및 방법을 제공하는데 있고, 이러한 화면 이동 문자 검출 시스템 및 방법을 이용해 움직임 진동을 상쇄해 보다 부드러운 비디오 시퀀스의 재생을 가능하게 하는 시스템 및 방법을 제공함에 있다. 또한, 상기 방법들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 혼합-모드 비디오 시퀀스의 화면 이동 문자를 검출하는 방법은 혼합 모드 비디오 시퀀스의 둘 이상의 추출된 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 단계; 상기 둘 이상의 추출된 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계; 및 상기 프로그래시브-스캔 혼합 모드 비디오 시퀀스의 둘 이상의 연속 프레임들의 블록들 사이의 픽셀 값들의 차이를 계산하는 단계를 포함하고, 상기 실질적으로 지속적인 움직임의 존재는 상기 프로그래시브-스캔 혼합 모드 비디오 시퀀스의 화면 이동하는 문자가 존재하는 것을 나타내고, 상기 픽셀 값들의 차이는 상기 프로그래시브-스캔 혼합 모드 영상 시퀀스의 화면 이동하는 문자의 존재를 더 나타내는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 혼합 모드 비디오 시퀀스의 추출된 두 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 단계는 제1 추출 프레임의 블록과 제2 추출 프레임의 대응하는 블록 사이의 제1 움직임 벡터를 생성하는 단계; 및 제2 추출 프레임의 블록과 제3 추출 프레임의 대응하는 블록 사이의 제2 움직임 벡터를 생성하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 추출된 둘 이상의 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는 상기 제 1 추출 프레임 및 상기 제2 추출 프레임 사이의 제1 시간 거리 및 상기 제2 추출 프레임 및 상기 제3 추출 프레임 사이의 제2 시간 거리를 계산하는 단계를 포함할 수 있다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 화면 이동 문자 지시자를 계산하는 단계는 상기 제1 움직임 벡터와 상기 제2 시간 거리의 곱 및 상기 제2 움직임 벡터와 상기 제1 시간 거리의 곱이 실질적으로 동일한지 판단하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 추출된 둘 이상의 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는 상기 제1 및 제2 움직임 벡터 및 상기 제1 및 제2 시간 거리에 응답하는 화면 이동 문자 지시자를 계산하는 단계를 더 포함하고, 상기 화면 이동 문자 지시자는 상기 제1 및 제2 추출 프레임들의 화면 이동 문자의 존재를 나타내는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 추출된 둘 이상의 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는 움직임 벡터 값들의 히스토그램에서 블록들의 극치 숫자가 소정의 임계치를 초과하는지 판단하는 단계를 포함하고, 상기 블록들의 극치 숫자는 상기 제1 및 제2 추출 프레임들에 화면 이동 문자의 존재의 가능성을 나타내는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 혼합-모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이를 계산하는 단계는 제1 연속 프레임 및 이전 연속 프레임의 동일한 위치의 블록들 사이의 픽셀 값들에서 제1 차이를 계산하는 단계를 포함할 수 있다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 혼합 모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이를 계산하는 단계는 제1 연속 프레임 및 이전 연속 프레임의 오프셋 위치의 블록들 사이의 픽셀 값들에서 제2 차이를 계산하는 단계를 포함할 수 있다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 화면 이동 문자 검출 방법은 상기 제1 차이를 상기 제2 차이와 비교하는 단계를 포함하고, 상기 제2 차이보다 더 큰 제1 차이는 상기 제1 및 제2 연속 프레임들에 화면 이동 문자의 존재를 나타내는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 오프셋은 제1 및 제2 움직임 벡터의합이 제1 및 제2 시간 거리의 합에 의해 나누어진 선(line) 움직임 벡터를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 화면 이동 문자 검출 방법은 상기 연속된 프레임들의 적어도 하나의 블록의 표준 편차값을 구하는 단계를 더 포함하고, 상기 표준 편차는 상기 블록의 화면 이동 문자의 존재를 나타내는 것을 특징으로 한다.
적어도 하나의 연속 프레임들은 추출된 프레임일 수 있고, 또한 특정 실시예에서 픽셀 값들은 강도(intensity) 값들일 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 혼합-모드 비디오의 화면 이동 문자를 식별하는 방법은 혼합-모드 비디오의 복수의 프레임들의 대응하는 블록들 사이의 복수의 움직임 벡터를 생성하는 단계; 단일한 방향으로의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계를 포함하고, 상기 실질적으로 지속적인 움직임의 존재는 상기 혼합-모드 비디오에 화면 이동하는 문자가 존재하는 것을 나타내는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 화면 이동 문자 식별 방법은 제1 프레임 및 이전 프레임의 동일한 위치의 블록들 사이의 픽셀 값들의 차이들을 계산하는 단계를 포함하고, 상기 픽셀 값들의 차이들은 상기 혼합-모드 비디오의 화면 이동하는 문자의 존재를 나타내는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 단일한 방향으로의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는 경계에 대응되는 프레임들의 위치에서 상기 움직임 벡터들을 분석하는 단계를 포함 하는 것을 특징으로 하는 화면 이동 문자 식별 방법.
혼합-모드 비디오 시퀀스에서 화면 이동 문자를 검출하기 위한 시스템의 다양한 실시예가 제공된다. 본 발명의 일 실시예에 따른 화면 이동 문자 검출 시스템은 혼합-모드 비디오 시퀀스의 둘 이상의 추출된 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 움직임 추정부를 포함한다. 추출 프레임 움직임 분석부는 상기 둘 이상의 추출된 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 움직임 벡터들을 분석한다. 실질적으로 지속적인 움직임의 존재는 혼합-모드 비디오 시퀀스의 화면 이동하는 문자가 존재하는 것을 나타낸다. 연속 프레임 움직임 분석부는 혼합 모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이들을 계산한다. 픽셀 값들의 차이들은 혼합-모드 비디오 시퀀스의 화면 이동하는 문자의 존재를 나타낸다.
본 발명에 따르면, 혼합-모드 비디오 시퀀스에 화면 이동 문자를 보다 정확하게 검출할 수 있어, 화면 이동 문자에서 발생하기 쉬운 움직임 진동을 상쇄하여 보다 부드러운 비디오 시퀀스의 재생이 가능해진다.
도면을 참조하여 본 발명의 특정 실시예들을 기술한다. 이러한 실시예들은 본 발명의 예시적인 것이며, 본 발명은 이에 한정되지 아니한다. 발명의 범위는 청구항에 의해 정의된다. 상세한 설명에서 동일한 부분은 동일한 번호에 의해 지정되는 도면에 대해 참조가 이루어진다.
후-제작(post-production) 과정에서 미디어 스튜디오들은 비디오, 영화, 텔레비전 쇼와 같은 필름에 종종 화면 이동 문자를 부가한다. 이러한 화면 이동 문자는 비디오 디스플레이를 가로 질러 이동하는 자막 또는 티커(ticker)를 포함할 수 있다. 화면 이동 문자(130)의 예가 도 1에 도시되어 있다. 도시된 특정 예에서, 화면 이동 문자(130)는 주식에 대한 정보를 포함하고 있는 티커이다. 화면 이동 문자(130)는 디스플레이(100)에 보여지는 필름(120)에 겹쳐진다. 화면 이동 문자(130)는 뉴스 이야기, 스포츠 점수, 폐쇄된 자막 문자(closed-caption text) 등을 포함할 수 있다.
비록 화면 이동 문자(130)가 디스플레이에 수평을 이동하는 것이 도시되어 있더라도, 화면 이동 문자는 수직 또는 수직 및 수평으로 이동할 수 있다. 본 명세서에 기술된 다양한 실시예들이 수직, 수평 및 수직의 조합 방향으로 이동하는 화면 이동 문자에 적용될 수 있으나, 본 명세서의 나머지 부분은 수평 화면 이동 문자의 예시적인 실시예에 대해서만 기술할 것이다.
후-제작 과정에서 화면 이동 문자가 종종 부가되기 때문에, 화면 이동 문자는 이미 3:2 풀다운 처리된 비디오 신호와 혼합된다. 2:3 풀다운, 3:3:4 풀다운 등과 같은 다른 풀다운 처리가 이용될 수 있으나, 본 명세서의 나머지 부분은 3:2 풀다운 처리를 이용하는 예시적인 실시예들을 논의할 것이다. 이러한 처리로부터의 결과 신호는 혼합-모드 비디오 시퀀스로 참조될 것이다. 움직임 진동 상쇄는 그런 다음 혼합-모드 비디오 시퀀스에 적용된다. 그러나, 종래 기술에 따른 움직임 진동 상쇄는 화면 이동 문자에 진동을 초래할 수 있다. 필름이 이동하지 않는 프레임들을 통해 화면 이동 문자가 이동하기 때문에, 진동은 필름이 아닌, 화면 이동 문자에 발생한다.
이러한 문제점을 도시하기 위해, 도 2는 예시적인 혼합-모드 비디오 신호의 재생을 도시한다. F0, F1, F2 및 F3으로 표시된 일련의 디지털화된 필름 프레임들(21)은 3:2 풀다운 처리에서 짝수 필드(예를 들어, e0) 및 홀수 필드(예를 들어, o0)의 집합들로 나누어진다. 3:2 풀다운 처리는 최초 필름 프레임 F0(210)에 대해 교차하는 세 개의 짝수 및 홀수 필드들(212)을 생성하고, 두 번째 필름 프레임 F1(210)에 대해 두개의 교차하는 홀수 및 짝수 필드들(212)을 생성하고, 이러한 과정을 반복한다. 각각의 필드(212)는 특정 프레임(210)의 정보의 절반 또는 대략 절반을 나타낸다.
그런 다음 화면 이동 문자 프레임들(예를 들어, s0, s1 등)(214)은 혼합-모드 비디오 시퀀스(미도시)를 생성하기 위해 홀수 및 짝수 필드들(212)에 부가된다. 일 실시예에서 화면 이동 문자 프레임(214)은 서로 다르기 때문에 각각의 화면 이동 문자 프레임(212) 사이에 움직임이 있을 수 있다. 이러한 움직임은 특정 3 또는 2 필드들의 집합의 짝수 및 홀수 필드들(212)과 대조를 이룬다. 따라서, 종래 기술에 따른 움직임 진동 상쇄가 혼합-모드 비디오 시퀀스에 적용되면, 혼합-모드 비디오 시퀀스에 포함되어 있는 필름 정보는 부드럽게 나타날 것이다. 반면에 혼합-모드 비디오 시퀀스의 화면 이동 문자 부분에 진동이 발생할 것이다.
혼합-모드 비디오 시퀀스는 그럼 다음 혼합-모드 비디오 시퀀스의 프로그래 스-스캔 버전 즉, 프로그래시브-스캔 프레임들(216)을 생성하기 위해 디인터레이싱될 수 있다. 일 실시예에서 디인터레이싱은 혼합-모드 비디오 시퀀스를 프로그래시브-스캔 프레임들(216)로 보간함으로써 수행될 수 있다. 효과적으로, 각각의 프로그래시브-스캔 프레임들(216)은 짝수/홀수 필드(212) 및 그로부터 추출된 화면 이동 문자 프레임(214)의 조합과 가깝다. 따라서, 예를 들어, 프로그래시브-스캔 프레임들 a0, a1 및 a2(216)는 화면 이동 문자의 추가와 함께 필름 프레임 F0(210)과 모두 비슷한 것으로 나타난다. 프로그래시브-스캔 프레임들(216)은 또한, 3 프레임들 및 2 프레임들의 집합으로 반복한다. 프로그래시브-스캔 프레임들(216)이 반복하기 때문에 일 실시예에서 특정 3 또는 2 프레임 집합의 프레임들 사이의 혼합-모드 비디오 시퀀스의 필름 부분에서 움직임이 없다.
다양한 실시예에서, 화면 이동 문자(214)는 혼합 모드 비디오 시퀀스에서 검출될 수 있다. 비디오 수신 장치가 비디오 스트림의 어떤 부분이 화면 이동 문자를 포함하는지에 대한 지시자를 수신하지 않기 때문에 검출이 바람직하다. 화면 이동 문자를 검출하는 것은 유익하게 필름 및 화면 이동 문자에 다르게 적용될 움직임 진동 상쇄를 허용한다. 결과적으로, 후-상쇄 혼합-모드 비디오시퀀스는 부드러운 필름 및 부드러운 화면 이동 문자를 가지고 있는 것으로 인식된다. 다른 실시예들에서, 대체적으로 움직임 진동 상쇄는 화면 이동 문자(214)가 부드러운 것으로 화면 이동 문자를 검출함에 따라 비활성화된다.
일 실시예에서, 화면 이동 문자는 추출 프레임들(extracted frames)(218) 및 비추출 프레임들(non-extracted frames)(220)을 분석함으로써 검출될 수 있다. 특정 실시예의 추출 프레임들(218)은 프로그래시브-스캔 혼합-모드 비디오 시퀀스의 3 또는 2 프레임들의 각각의 집합의 최초 프레임이다. 따라서, 혼합-모드 비디오 시퀀스의 추출 프레임들(218)의 도시된 예들은 a0, b0, c0 및 d0이다. 각각의 추출 프레임(220)은 단일 원본 프레임으로부터 유도된 3 또는 2 프레임 집합의 최초 프레임이기 때문에 추출 프레임들(220) 사이에 필름 정보에 변화가 발생할 수 있다.
비추출 프레임들(220)은 나머지 프레임들이다. 일 실시예에서, 비추출 프레임들(220) 사이에 필름 정보에는 변화가 발생하지 않는다. 그러나, 추출 프레임들(218) 및 비추출 프레임들(220) 사이에는 화면 이동 문자 정보의 변화가 발생할 수 있다. 유리하게, 추출 프레임들(218) 및 비추출 프레임들(220)은 도 4와 관련하여 상세히 후술하는 바와 같이 혼합-모드 비디오 스퀀스에서 화면 이동 문자를 검출하기 위해 분석될 수 있다.
도 3은 본 발명의 일 실시예에 따른 혼합-모드 비디오 시스템(300)을 도시한다. 혼합-모드 비디오 시스템(300)은 혼합-모드 비디오 시퀀스에서 화면 이동 문자의 검출을 용이하게 한다. 다양한 실시예들에서, 혼합-모드 비디오 시스템(300)의 적어도 하나의 구성 요소가 임베디드 시스템(embedded system) 또는 임베디드 컴퓨터(embedded computer)에서 소프트웨어로 구현될 수 있다. 예를 들어, 혼합-모드 비디오 시스템(300)은 텔레비전 세트 등으로 구현될 수 있다.
일 실시예에서, 디인터레이싱부(330)는 디지털화된 필름 및 화면 이동 문자 부분을 포함하는 혼합-모드 비디오 시퀀스를 수신한다. 일 실시예에서, 혼합-모드 비디오 시퀀스는 케이블 네트워크, 위성 텔레비전 공급자, HDTV 텔레비전 방송국, 아날로그 텔레비전 방송국 등으로부터 수신될 수 있다. 디인터레이싱부(330)는 혼합-모드 비디오 시퀀스의 필름 정보를 보간하여 프로그래시브-스캔 혼합-모드 비디오 시퀀스(340)를 생성한다. 디인터레이싱부(330)는 프로그래시브-스캔 혼합-모드비디오 시퀀스(340)를 화면 이동 문자 검출부(350) 및 움직임 진동 상쇄부(360)에 제공한다. 몇몇 실시예들에서, 혼합-모드 비디오 시퀀스는 이미 프로그래시브-스캔 형태일 수 있다. 이 실시예들에서 디인터레이싱부(330)는 혼합-모드 비디오 시스템(300)으로부터 생략될 수 있다.
다양한 실시예들에서 화면 이동 문자 검출부(350)는 화면 이동 문자를 검출하기 위해 혼합-모드 비디오 시퀀스의 추출 프레임들 및 비추출 프레임들을 분석한다. 일 실시예에서, 화면 이동 문자 검출부는 혼합-모드 비디오 시퀀스의 둘 이상의 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성한다. 그런 다음 화면 이동 문자 검출부(350)는 추출 프레임들 사이의 적어도 일부 블록들의 실질적으로 지속적인 움직임을 검출하기 위해 움직임 벡터들을 분석한다. 특정 실시예들에서 실질적으로 지속적인 움직임의 존재는 화면 이동 문자의 존재를 나타낸다. 또한, 화면 이동 문자 검출부(350)는 혼합-모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이를 계산할 수 있다. 이러한 픽셀 값들의 차이도 혼합-모드 비디오 시퀀스의 화면 이동 문자의 존재를 나타낼 수 있다. 화면 이동 문자 검출의 구현들은 도 4 내지 8을 통해 아래에서 더 자세히 기술된다.
화면 이동 문자 검출부(350)는 화면 이동 문자의 존재를 나타내는 출력(353)을 움직임 진동 상쇄부(360)에 제공한다. 출력(353)을 수신한 움직임 진동 상쇄부(360)는 화면 이동 문자 및/또는 필름의 진동을 상쇄한다. 결과적으로 특정 실시예들의 혼합-모드 비디오 시스템(300)은 혼합-모드 비디오 시퀀스의 필름 및 화면 이동 문자 모두가 움직임 진동이 없이 또는 움직임 진동이 감소한 채로 보여지도록 한다.
도 4는 화면 이동 문자 검출부(450)의 상세한 구현을 도시한다. 화면 이동 문자 검출부(450)은 움직임 추정부(410), 추출 프레임 움직임 분석부(420) 및 연속 프레임 움직임 분석부(430)를 포함한다. 일 실시예에서, 움직임 추정부(420), 추출 프레임 움직임 분석부(420) 및 연속 프레임 움직임 분석부(430)는 텔레비전 세트에서 발경될 수 있는 임베디드 컴퓨터 시스템에 소프트웨어 부분으로 구현된다. 이러한 부분은 개별적인 블록들로 도시된다. 그러나, 특정 실시예에서 이러한 부분들은 기본적인 논리 또는 코드를 공유할 수 있다.
도시된 실시예에서 움직임 추정부(410)는 추출 프레임들(218)을 수신하고, 추출된 프레임들(218) 사이의 움직임을 추정한다. 전술한 바와 같이, 각각의 추출 프레임(218)이 3 또는 2 프레임의 반복되는 집합의 시작이므로 추출 프레임들(218)은 움직임을 포함할 수 있다. 또한, 화면 이동 문자가 추출 프레임은 물론 비추출 프레임에서 움직일 수 있기 때문에 특정 실시예들의 움직임 추정부(410)는 필름 및 화면 이동 문자 움직임을 추정한다. 도시된 실시예는 움직임 추정부(410)에 제공 되는 추출 프레임(218) b0 및 c0의 예를 도시한다. 그러나, 다양한 실시예에서 혼합-모드 비디오 시퀀스의 점들(420)로 지시된 다른 추출 프레임들(218)이 움직임 추정부(410)에 의해 분석될 수 있다.
일 실시예에서, 움직임 추정부(410)는 추출된 프레임들(218) 사이의 움직임을 추정하기 위해 움직임 추정 알고리즘을 수행한다. 이 알고리즘은 단순한 블록-부합 알고리즘(block-matching algorithm) 또는 3-D 반복 움직임 추정(RME : recursive motion estimation) 알고리즘과 같은 더 복잡한 알고리즘일 수 있다. 예를 들어, 만약 블록-부합 알고리즘이 이용되면, 추출 프레임들(218)은 필셀들의 블록들로 나뉘어질 수 있다. 제1 추출 프레임(218)의 블록들의 픽셀 값들은 제2, 이전 추출 프레임(218)의 유사한 모양 및 크기의 위치 차이가 나는 블록에 의해 추정될 수 있다. 이 방법은 제2 추출 프레임(218)의 검색 범위에서 제1 추출 프레임(218)의 블록과 이론적인 최상 부합(theoretical best match)을 찾거나 찾으려고 시도한다. 움직임 추정의 결과 두 개의 부합된 블록들 사이의 기하학적인 위치 차이를 나타내는 움직임 벡터가 생성된다. 참조 블록 및 목적 블록 사이의 부합되지 않는 정도인 코스트 함수를 필수적으로 최소화하는 벡터를 찾음으로써 움직임 벡터는 결정된다. 영상이 몇몇 블록들로 분할되므로, 블록-부합 알고리즘은 움직임 벡터들의 필드를 제공한다.
특정 실시예들의 움직임 추정부(410)는 움직임 벡터들 또는 움직임 벡터 필드를 추출 프레임 움직임 분석부(420)에 제공한다. 추출 프레임 움직임 분석 부(420)는 추출 프레임들(218) 사이의 지속적 또는 실질적으로 지속적인 움직임을 검출하기 위해 추출 프레임들(218)에 대응되는 움직임 벡터 필드를 분석한다. 특정 실시예들에서 지속적 움직임은 문자가 지속적인 비율(rate)로 화면 이동할 때에 화면 이동 문자를 나타낸다. 몇몇 실시예들에서, 추출 프레임 움직임 분석부(420)는 단일 방향의 움직임의 존재를 위해 추출 프레임들(218)을 분석한다. 그러한 움직임은 예를 들어 티커(ticker)가 디스플레이를 가로 질러 화면 이동할 때 단일 방향으로 움직일 수 있는 화면 이동 문자를 나타내는 것일 수 있다. 또한, 일 실시예에서 추출 프레임 움직임 분석부(420)는 프레임의 하부, 상부 및 측면에서 또는 이들 근처와 같이 경계에 대응되는 프레임들의 위치에서 움직임 벡터를 분석한다.
일 실시예에서, 움직임 추정부(410)는 연속 프레임 움직임 분석부(430)에 지시자(422)를 제공한다. 특정 실시예들의 지시자(422)는 두 추출 프레임들(218) 사이의 수평 움직임 즉, 화면 이동 문자가 존재할 것이라는 지시를 제공한다. 일 실시예에서, 지시자(422)가 화면 이동 문자 존재의 가능성의 지시를 제공할 때 연속 프레임 움직임 분석부(430)는 추가적인 분석을 수행한다. 지시자(422)가 화면 이동 문자 존재의 가능성을 지시하지 않으면, 연속 프레임 움직임 분석부(430)는 추가적인 분석을 수행하지 않는다. 대체적으로, 연속 프레임 움직임 분석부(430)는 지시자(422)에 의해 제공되는 지시와 무관하게 추가적인 분석을 수행한다.
다양한 실시예들의 연속 프레임 움직임 분석부(430)는 연속적인 프레임들(432) 사이의 화면 이동 문자의 존재를 검출하기 위해 연속적인 프레임들(432)를 분석한다. 연속 적인 프레임들(432)은 혼합-모드 비디오 시퀀스에서 서로 잇따르 는 추출 프레임들(218) 및 비추출 프레임들(220)을 포함한다. 따라서, 도시된 실시예에서, 혼합-모드 비디오 시퀀스에서 프레임 c1이 프레임 c0을 잇따르므로 비추출 프레임 c1은 추출 프레임 c0(218)의 연속적인 프레임이다. 다양한 실시예들에서, 점들(402)로 지시된 혼합-모드 비디오 시퀀스의 추가적으로 연속적인 프레임들(220)은 연속 프레임 움직임 분석부(430)에 의해 분석된다.
연속 프레임 움직임 분석부(430)의 다양한 실시예들은 제1 연속 프레임(432) 및 이전 연속 프레임(432)의 블록들 사이의 픽셀 값들의 차이들을 계산한다. 연속 프레임(432)에 문자가 있으면, 이전 연속 프레임의 문자는 문자의 움직임 때문에 제1 연속 프레임(432)의 문자로부터 오프셋(offset)(예를 들어, 다른 위치)될 수 있다. 다라서, 일 실시예에서 연속 프레임 움직임 분석부(432)는 각각의 연속 프레임(432)의 동일한 위치에서 블록들을 분석한다. 만약, 이러한 블록들 사이의 차이가 크면, 이전 연속 프레임(432)의 오프셋에 문자가 있을 수 있다. 연속 프레임 움직임 분석부(430)는 또한 서로 오프셋되어 있는 블록들을 분석할 수 있다. 일러한 블록들 사이의 픽셀 값 차이가 작으면, 블록들에 화면 이동 문자가 있을 수 있다. 이러한 블록-기반 비교의 더 자세한 예는 이하 도 7 및 8과 관련하여 기술된다.
연속 프레임 움직임 분석부(430)는 특정 실시예들에서 지시자(453)를 출력한다. 다양한 실시예들에서, 지시자(453)는 연속적인 프레임들(432) 사이의 화면 이동 문자가 존재하는지 여부를 나타낸다. 일 실시예에서 지시자(453)는 화면 이동 문자 검출부(450)의 출력이다.
도 5는 혼합-모드 비디오 시퀀스에서 화면 이동 문자를 검출하는 과정의 일 실시예를 도시한다. 일 실시예에서, 도 4의 화면 이동 문자 검출부(450)와 같은 화면 이동 문자 검출부에 의해 과정의 다양한 기능들이 수행된다. 보다 상세히는, 상기 과정의 다양한 기능들은 추출 프레임 움직임 분석부(420)에 의해 수행된다.
단계 502에서 수평 블록 열 k에 대해 본 발명에 따른 과정은 추출 프레임 F(t) 및 이전 추출 프레임 F(t-1)에 대해 움직임 벡터 히스토그램을 생성한다. 일 실시예에서, 본 발명에 따른 과정은 도 4의 움직임 추정부(410)과 같은 움직임 추정부에 의해 제공되는 움직임 벡터 필드들을 분석함으로써 움직임 벡터 히스토그램을 생성한다. 선택적으로 이러한 과정은 움직임 추정부에 의해 직접 수행될 수도 있다.
일 실시예에서 F(t) 및 F(t-1)의 정수 값들을 가지는 변수 "t"는 시간적 위치를 의미한다. 따라서, 예를 들어 도 2의 시간 t의 추출 프레임이 프레임 c0이면, 시간 t-1의 추출 프레임은 b0이다. 그리고, 시간 t-2의 프레임은 a0이다. 일 실시예에서, 본 발명에 따른 과정은 t가 증가함에 따라 추가적인 추축 프레임의 짝들을 평가한다. 따라서, 예를 들어, 본 발명에 따른 과정은 프레임 b0 및 c0, 프레임 c0 및 d0 등에 의해 잇따르는 프레임 a0 및 b0을 평가할 수 있다.
도 6은 분석부(420)에 의해 생성된 추출 프레임 F(t)의 예시적인 히스토그램을 도시한다. 히스토그램(600)은 특정 움직임 벡터 값을 가지고 있는 추출 프레임 F(t)의 k 열의 블록들의 숫자 대 움직임 벡터 값들을 도시한다. 도시된 실시예에서 움직임 벡터 값들은 수평 움직임 벡터 값들이다. 괄호의 용어 "dx"는 움직임 벡터들이 x 만큼 변경 예를 들어, 추출 프레임 F(t) 및 F(t-1) 사이의 수평 위치의 변경 된 것으로 값이 매겨진 것을 나타낸다.
도 5를 다시 참조하면, 단계 503은 추출된 프레임들 F(t) 및 F(t-1)을 위한 히스토그램의 극치(peak)에서 열 k의 블록들의 숫자인 극치 카운트 C(t,k) 및 C(t-1,k)를 각각 결정한다. 다시 도 6을 참조하면, 예시적인 극치(610)가 도시된다. 극치(610)는 가장 많은 숫자의 블록들에게 공통적인 움직임 벡터를 반영한다.
도 5를 다시 참조하면, 단계 506에서 카운트들 C(t,k) 및 C(t-1,k)에 대응하는 극치 움직임 벡터들 MV(t,k) 및 MV(t-1,k)이 각각 결정된다. 극치 움직임 벡터 MV(t,k)는 히스토그그램(600)의 극치(610)에 움직임 벡터 값이다. 마찬가지로, 극치 움직임 벡터 MV(t-1,k)는 추출 프레임 F(t-1)에 대응되는 히스토그램(미도시)의 극치에서 움직임 벡터 값이다. 극치 움직임 벡터 MV(t,k)는 추출 프레임들 F(t) 및 F(t-1) 사이에서 측정되고, 극치 움직임 벡터 MV(t-1,k)는 추출 프레임들 F(t-1) 및 F(t-2) 사이에서 측정된다.
단계 508에서 추출 프레임들 F(t) 및 F(t-1) 사이의 시간 거리 D(t) 및 추출 프레임들 F(t-1) 및 F(t-2) 사이의 시간 거리 D(t-1)이 결정된다. 일 실시예에서, 시간 거리는 추출 프레임과 이전 추출 프레임 사이의 연속 프레임들의 거리이다. 예를 들어, 도 2를 참조하면, 추출 프레임들 b0 및 a0 사이의 시간 거리는 3이고, 추출 프레임들 c0 및 b0 사이의 시간 거리는 2이다.
단계 510에서 극치 카운트들 C(t,k) 및 C(t-1,k)가 모두 임계치 Tc보다 큰지 결정된다. 예시적인 임계치(620)가 도 6의 히스토그램(600)에 도시된다. 만약 극치 카운트들 C(t,k) 및 C(t-1,k)가 모두 이 임계치보다 크면, 추출 프레임들 F(t) 및 F(t-1) 사이의 수평 움직임은 화면 이동 문자를 포함한다. 일 실시예에서, 임계치 Tc는 혼합-모드 비디오 시퀀스의 추출 프레임들의 숫자에 기초해 유도될 수 있다.
만약, 임계치가 초과되지 않으면, 분석부(420)는 단계 520)으로 진행한다. 그러나, 만약 임계치가 초과되면, 분석부(420)는 단계 512에서 값 θ에 대해,
|MV(t-1,k)*D(t)-MV(t,k)*D(t-1)|≤θ, (1)
인지 결정한다. 또는 균둥하게,
MV(t-1,k)*D(t)-θ≤MV(t,k)*D(t-1)≤MV(t-1,k)*D(t)+θ. (2)
인지 결정한다.
조건 (1) 또는 (2)을 이용해 분석부(420)는 효율적으로 MV(t-1, k) 및 D(t)의 곱 및 MV(t,k) 및 D(t-1)의 곱이 동일하거나 실질적으로 유사한지 판단한다. 만약 동일하면, |MV(t-1,k)*D(t)-MV(t,k)*D(t-1)|는 0이다. 만약 유사하면, |MV(t-1,k)*D(t)-MV(t,k)*D(t-1)|는 예를 들어 어떤 θ 값보다 작은 매우 작은 값이다. θ 값은 MV(t-1,k)*D(t)와 MV(t,k)*D(t-1) 사이의 작은 차이를 허용하도록 조정될 수 있다.
조건 (1)이 만족되면, 프레임들 F(t) 및 F(t-1)의 열 k와 프레임들 F(t-1) 및 F(t-2)의 열 k 사이의 수평 움직임은 동일하거나 거의 동일하다. 화면 이동 문자는 지속적인(또는 실질적으로 지속적인) 수평율(horizontal rate)로 이동할 수 있기 때문에 복수의 추출 프레임들에 걸친 열 k의 동일 또는 실질적으로 동일한 수평 움직임은 그러한 프레임들의 수평 화면 이동 문자의 존재를 나타낼 수 있다.
조건 (1)을 보다 이해하기 위해 조건 (1)은 다음과 같은 형식으로 다시 쓰여질 수 있다.
Figure 112008040207319-PAT00001
(3)
표현 (3)은 D(t-1) 프레임들에 걸쳐 분산되어 있는 극치 움직임 벡터 MV(t-1,k)의 픽셀들의 숫자가 D(t) 프레임들에 걸쳐 분산되어 있는 극치 움직임 벡터 MV(t,k)의 픽셀들의 숫자와 동일 또는 거의 동일하다는 것을 나타낸다. 표현 (3)의 좌항(LHS : left-hand side) 및 우항(RHS : right-hand side)은 블록들의 극치 숫자가 이동한 연속 프레임당 픽셀들의 평균 숫자를 나타낸다. 표현 (3)의 LHS 및 RHS가 동일하거나 거의 동일하면, 블록들의 극치 숫자는 추출된 프레임 F(t-2) 및 F(t) 사이의 연속 프레임들을 통해 평균적으로 동일한 비율로 움직인다. 따라서, 표현 (3)의 LHS 및 RHS가 동일 또는 거의 동일하면, 이러한 추출 프레임들의 열 k에는 화면 이동 문자가 있을 수 있다.
이러한 원리들을 나타내기 위해 예시들이 이용된다. 우선, D(t)가 2이고 D(t-1)이 3인 경우를 가정한다. 극치 움직임 벡터 MV(t)는 이 예에서 픽셀 단위로 8이다. 극치 움직임 벡터 MV(t-1)은 12 픽셀이다. 이예에서, MV(t-1,k)*D(t)-MV(t,k)*D(t-1)은 12*2-18*3으로 계산될 수 있고, 즉, 0이다. 따라서, 조건 (1)이 만족된다. 표현 (3)을 이용하면, 12 픽셀의 극치 움직임 벡터는 3 프레임들에 걸쳐 분산되어 있어 연속 프레임당 4 픽셀이고, 8 픽셀의 극치 움직임 벡터는 2 프레임들에 걸쳐 분산되어 있어 마찬가지로 연속 프레임당 4 픽셀이다. 따라서, 평균적으로 F(t-2) 및 F(t) 사이에서 블록들의 피크 숫자는 연속 프레임당 4 픽셀로 움직인다. 조건 (1)이 만족되는 이 예에서, 표현 (3)의 양쪽이 동일하기 때문에 추출 프레임들 F(t), F(t-1) 및 F(t-2) 사이에서 수평 움직임이 있을 수 있다.
조건 (1)이 만족되면, 특정 실시예들의 분석부(420)는 단계 514에서 카운터 P(k)를 증가시킨다. 아니면, 특정 실시예의 분석부(420)는 단계 516에서 카운터 P(k)를 감소시킨다. 일 실시예에서, 카운터 P(k)는 본 발명에 따른 과정이 시작하면, 예를 들어 0 또는 다른 숫자로 초기화된다. t가 증가함에 따라, 분석부(420)는 추출된 푸레임의 추가적인 쌍들을 분석하고, 각각의 추출된 프레임의 쌍을 대해 카운터 P(k)는 감소되거나 증가된다.
그런 다음, 분석부(420)는 단계 520에서 임계치 Tp에 대해 P(k)>Tp인지 결정한다. 그렇다면, 분석부(520)는 열 k에 화면 이동 문자가 있을 것이라고 결정한다. 그렇지 않으면, 분석부(420)는 열 k에 화면 이동 문자가 없는 것으로 결정한다. 따라서, 일 실시예에서 카운터 P(k)는 적어도 하나의 추출된 프레임에 화면 이동 문자가 존재할 가능성을 나타낸다.
도 7은 본 발명의 일실시예에 따른 혼합-모드 비디오 시퀀스의 화면 이동 문자 검출 과정을 도시한다. 일 실시예에서, 본 발명의 과정의 다양한 기능들은 도 4의 화면 이동 문자 검출부(450)와 같은 화면 문자 검출부에 의해 수행된다. 보다 상세히는, 특정 실시예에서 본 발명에 따른 과정(500)의 기능들은 연속 프레임 움직임 분석부(430)에 의해 수행된다. 또한, 일 실시예에서 본 발명에 따른 과정은 분석부(420)가 카운터 P(k)가 임계치 Tp보다 크다고 결정한 것에 대응되어 수행된다. 즉, 본 발명에 따른 과정은 열 k에 화면 이동 문자의 지시가 있으면 수행된다.
단계 702에서 연속 프레임의 열 k(분석부(420)에 의해 평가된 열 k일 수 있다.)의 하나의 블록에 대해, 분석부(430)는 표현 (4)와 같은 크기의 수평 라인 움직임 벡터, LMV(k)를 계산한다.
Figure 112008040207319-PAT00002
(4)
도 5와 관련하여 전술한 예를 살펴보면, 표현 (4)는 (8+12)/(2+3) 즉, 4로 계산된다. LMV(k)의 목적은 단계 708과 관련하여 상세히 후술된다.
단계 704에서 분석부(430)는 블록에서 픽셀 강도(intensity)의 표준 편차 σ를 계산한다. 일 실시예에서, 픽셀 강도의 표준 편차 σ는 블록에서 픽셀 강도 값의 변이의 측정이다. 표준 편차가 낮으면 블록의 변이가 적은 것이고, 반대로 표준 편차가 높으면, 블록의 변이가 큰 것이다. 일 실시예에서 문자가 존재하면 픽 셀 강도의 변이가 있기 쉽기 때문에 높은 변이는 블록에 문자가 존재하는 것을 나타낸다.
단계 706에서 분석부(420)는 연속 프레임의 블록과 이전 연속 프레임의 동일한 위치의 블록 사이의 SAD(sum of absolute difference) 값, SAD0을 계산한다. SAD0 값이 낮으면 블록들이 더 유사하다는 것이고, 반대로 SAD0 값이 높으면 블록들이 유사하지 않은 것이다. SAD 값의 계산은 차이의 절대값의 평균(mean absolute difference) 또는 차이의 절대값의 제곱합(squared sum of the absolute difference)과 같은 다른 값들로 대체될 수 있다.
단계 708에서 분석부(430)는 현재 프레임의 블록 및 LMV(k)에 의해 좌측(또는, 몇몇 실시예들에서 우측)으로 쉬프트된(shifted) 이전 연속 프레임의 블록 사이의 SAD 값, SAD1을 계산한다. 화면 이동 문자가 존재하면, 일 실시예에서 LMV(k)에 의해 좌측으로 이동한 이전 연속 프레임의 블록은 연속 프레임의 블록과 동일 또는 실질적으로 동일한 픽셀들이다. 따라서, SAD1 값이 낮으면 연속 프레임들 사이의 픽셀들(따라서, 문자)이 이동했다는 것을 나타낸다.
일 실시예에서 분석부(430)는 서로 다른 집합들의 연속 프레임들 사이가 아니라 3 또는 2 반복 프레임들의 집합의 연속 프레임들 사이의 SAD 값들을 계산한다. 따라서, 예를 들어 도 2를 다시 참조하면, 분석부(430)는 a2 와 b0 사이가 아닌 a0과 a1 사이 및 a1과 a2 사이의 SAD 값들을 계산할 수 있다. 유리하게, 필름 움 직임은 3 및 2 프레임들의 집합 안에서 반복된다. 그러나, 화면 이동 문자는 그렇지 않을 수 있다. 따라서, 반복되는 프레임들 사이의 SAD 값을 계산하는 것을 화면 이동 문자의 검출을 용이하게 한다.
도 8a 및 8b를 참조하면, SAD0 및 SAD1 계산의 예가 도시된다. 연속 프레임(800a) 및 이전 연속 프레임(800b)은 도 8A에 도시된 필름(810) 및 화면 이동 문자(820)를 포함한다. 연속 프레임(800a)의 블록(822a)은 도 8b에 도시된 이전 연속 프레임(800b)의 대응되는 블록(822a)에 비교된다. 블록(822a) 및 블록(822b)은 각각 연속 프레임(800a 및 800b)의 동일한 위치에 있다. 마찬가지로, 블록(822a)은 이전 연속 프레임(800b)의 블록(822b)으로부터 LMV(k)에 의해 오프셋된 위치의 블록(822c)에 비교된다.
화면 이동 문자(820)는 이전 연속 프레임(800b)의 연속 프레임(800a)과는 다른 위치에 도시된다. 결과적으로, 블록들(822a 및 822b)의 픽셀 값들이 다르므로, 블록(822a)과 블록(822b) 사이에 계산된 SAD0 값이 높을 것이다. 반면에, 블록들(822a 및 822c)가 동일 또는 실질적으로 동일하므로 블록(822a)과 블록(822c) 사이의 계산된 SAD1 값은 낮을(또는 0) 것이다.
도 7을 다시 참조하면, 분석부(430)는 단계 710에서 임계치 Tσ에 대해 σ>Tσ인지 및 SAD0>SAD1인지를 결정한다. 만약 이러한 조건들이 모두 만족되면, 단계 712에서 분석부(430)는 카운터 Q(k)를 증가시키고, 단계 714에서 SAD0을 E0 값으로 축적하고, SAD1을 E1 값으로 축적한다. 사실상, 특정 실시예들의 분석부(430)는 블록에 충분한 변이(예를 들어, 표준 편차)가 있는지 판단하고, 블록에 화면 이동 문자가 존재하는 가능성을 결정하기 위해 SAD 값들을 분석한다.
단계 710의 조건들이 만족되면, 분석부(430)는 열 k의 추가적인 블록들을 평가할지 여부를 결정한다. 만약, 평가할 추가적인 블록들이 있으면, 본 발명에 따른 과정은 단계 702로 돌아간다.
열 k에 추가적인 블록들이 없으면, 분석부(430)는 단계 718에서 임계치 Tq에 대해 카운터 Q(k)>Tq인지 결정한다. 만약 아니면, 분석부(430)는 단계 720에서 열 k에 화면 이동 문자가 없는 것으로 결정한다. 일 실시예에서, 따라서 카운터 Q(k)는 연속 프레임의 열 k의 화면 이동 문자의 존재의 지시자이다. 사실상, 특정 실시예들에서 카운터 Q(k)는 각각의 연속 프레임들에 대해 초기화되고, 그런 다음 단계 710의 조건들을 만족하는 프레임의 열 k의 각각의 블록에 대해 증가된다.
그러나, Q(k)가 Tq보다 크면, 분석부(430)는 단계 722에서 추가적인 결정을 한다. 단계 722에서 분석부(430)는 β>1인 β값에 대해 E0>E1*β인지 결정한다. 다시 말해, 분석부(430)은 추척된 SAD0 값들이 상수(예를 들어, 실험적으로 결정된)에 의해 조정된 축척된 SAD1 값들보다 큰지 판단한다. 이러한 조건이 만족되지 않으면, 단계 720에서 분석부(430)는 또한 열 k에 화면 이동 문자가 없는 것으로 결정한다. 그러나, 이러한 조건이 만족되면, 분석부(430)는 단계 724에서 열 k에 화면 이동 문자가 검출된 것으로 결정한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
도 1은 비디오 및 화면 이동 문자의 화면 디스플레이를 도시한다.
도 2는 본 발명의 일 실시예에 따른 프로그래시브-스캔 혼합 모드 비디오 시퀀스 생성의 블록 다이어그램이다.
도 3은 본 발명의 일 실시예에 따른 혼합-모드 비디오 시스템의 기능적 블록 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 화면 이동 문자 검출부의 기능적 블록 다이어그램이다.
도 5는 본 발명의 일 실시예에 따른 혼합-모드 비디오 시퀀스에서 화면 이동 문자를 검출하기 위한 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 도 5의 방법에 따른 움직임 벡터 값의 히스토그램이다.
도 7은 본 발명의 또 다른 실시예에 따른 혼합-모드 비디오 시퀀스에서 화면 이동 문자를 검출하기 위한 방법의 흐름도이다.
도 8a 및 8b는 도 7에 도시된 방법에 따른 SAD(Sum of Absolute Difference) 동작의 일 실시예를 도시한다.

Claims (22)

  1. 혼합-모드(mixed-mode) 비디오 시퀀스에서 화면 이동(scrolling)하는 문자를 검출하는 시스템에 있어서,
    세 개의 필드들 및 두 개의 필드들의 그룹들이 번갈아 교대하는 3:2 풀다운(pulldown) 필름 및 3:2 풀다운 필름과 혼합된 화면 이동 문자를 포함하는 혼합 모드 비디오 시퀀스를 수신하고, 짝수 및 홀수 필드들을 프로그래시브-스캔(progressive-scan) 혼합 모드 비디오 시퀀스를 생성하기 위해 디인터레이싱하는 디인터레이싱부; 및
    상기 프로그래시브-스캔 혼합 모드 비디오 시퀀스에서 추출된 둘 이상의 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 움직임 추정부, 상기 추출된 둘 이상의 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 추출 프레임 움직임 분석부 및 상기 프로그래시브-스캔 혼합 모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이들을 계산하는 연속 프레임 움직임 분석부를 포함하는 화면 이동 문자 검출부를 포함하고,
    상기 실질적으로 지속적인 움직임의 존재는 상기 프로그래시브-스캔 혼합 모드 비디오 시퀀스의 화면 이동하는 문자가 존재하는 것을 나타내고,
    상기 픽셀 값들의 차이들은 상기 프로그래시브-스캔 혼합 모드 영상 시퀀스의 화면 이동하는 문자의 존재를 더 나타내는 것을 특징으로 하는 화면 이동 문자 검출 시스템.
  2. 제 1 항에 있어서, 상기 추출 프레임 움직임 분석부는
    상기 복수의 움직임 벡터 중 적어도 일부 및 상기 추출된 프레임들 사이의 시간 거리들에 응답하는 화면 이동 문자 지시자를 계산하는 것을 특징으로 하는 화면 이동 문자 검출 시스템.
  3. 제 1 항에 있어서, 상기 연속 프레임 움직임 분석부는
    제1 연속 프레임 및 이전 연속 프레임의 동일한 위치의 블록들 사이의 픽셀 값들의 차이를 계산하는 것을 특징으로 하는 화면 이동 문자 검출 시스템.
  4. 제 1 항에 있어서, 상기 연속 프레임 움직임 분석부는
    제1 연속 프레임 및 이전 연속 프레임의 오프셋(offset) 위치의 블록들 사이의 픽셀 값들의 차이를 계산하는 것을 특징으로 하는 화면 이동 문자 검출 시스템.
  5. 혼합-모드 비디오 시퀀스에서 화면 이동 문자를 검출하는 방법에 있어서,
    혼합 모드 비디오 시퀀스의 둘 이상의 추출된 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 단계;
    상기 둘 이상의 추출된 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계; 및
    상기 프로그래시브-스캔 혼합 모드 비디오 시퀀스의 둘 이상의 연속 프레임들의 블록들 사이의 픽셀 값들의 차이를 계산하는 단계를 포함하고,
    상기 실질적으로 지속적인 움직임의 존재는 상기 프로그래시브-스캔 혼합 모드 비디오 시퀀스의 화면 이동하는 문자가 존재하는 것을 나타내고,
    상기 픽셀 값들의 차이는 상기 프로그래시브-스캔 혼합 모드 영상 시퀀스의 화면 이동하는 문자의 존재를 더 나타내는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  6. 제 5 항에 있어서, 상기 혼합 모드 비디오 시퀀스의 추출된 두 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 단계는
    제1 추출 프레임의 블록과 제2 추출 프레임의 대응하는 블록 사이의 제1 움직임 벡터를 생성하는 단계; 및
    제2 추출 프레임의 블록과 제3 추출 프레임의 대응하는 블록 사이의 제2 움직임 벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  7. 제 6 항에 있어서, 상기 추출된 둘 이상의 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는
    상기 제 1 추출 프레임 및 상기 제2 추출 프레임 사이의 제1 시간 거리 및 상기 제2 추출 프레임 및 상기 제3 추출 프레임 사이의 제2 시간 거리를 계산하는 단계를 포함하는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  8. 제 7 항에 있어서, 상기 화면 이동 문자 지시자를 계산하는 단계는
    상기 제1 움직임 벡터와 상기 제2 시간 거리의 곱 및 상기 제2 움직임 벡터와 상기 제1 시간 거리의 곱이 실질적으로 동일한지 판단하는 단계를 포함하는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  9. 제 7 항에 있어서, 상기 추출된 둘 이상의 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는
    상기 제1 및 제2 움직임 벡터 및 상기 제1 및 제2 시간 거리에 응답하는 화면 이동 문자 지시자를 계산하는 단계를 더 포함하고,
    상기 화면 이동 문자 지시자는 상기 제1 및 제2 추출 프레임들의 화면 이동 문자의 존재를 나타내는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  10. 제 6 항에 있어서, 상기 추출된 둘 이상의 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는
    움직임 벡터 값들의 히스토그램에서 블록들의 극치 숫자가 소정의 임계치를 초과하는지 판단하는 단계를 포함하고,
    상기 블록들의 극치 숫자는 상기 제1 및 제2 추출 프레임들에 화면 이동 문자의 존재의 가능성을 나타내는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  11. 제 5 항에 있어서, 상기 혼합-모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이를 계산하는 단계는
    제1 연속 프레임 및 이전 연속 프레임의 동일한 위치의 블록들 사이의 픽셀 값들에서 제1 차이를 계산하는 단계를 더 포함하는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  12. 제 11 항에 있어서, 상기 혼합 모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이를 계산하는 단계는
    제1 연속 프레임 및 이전 연속 프레임의 오프셋 위치의 블록들 사이의 픽셀 값들에서 제2 차이를 계산하는 단계를 더 포함하는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  13. 제 12 항에 있어서,
    상기 제1 차이를 상기 제2 차이와 비교하는 단계를 더 포함하고, 상기 제2 차이보다 더 큰 제1 차이는 상기 제1 및 제2 연속 프레임들에 화면 이동 문자의 존재를 나타내는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  14. 제 11 항에 있어서, 상기 오프셋은 제1 및 제2 움직임 벡터의 합이 제1 및 제2 시간 거리의 합에 의해 나누어진 선(line) 움직임 벡터를 포함하는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  15. 제 5 항에 있어서,
    상기 연속된 프레임들의 적어도 하나의 블록의 표준 편차값을 구하는 단계를 더 포함하고, 상기 표준 편차는 상기 블록의 화면 이동 문자의 존재를 나타내는 것을 특징으로 하는 화면 이동 문자 검출 방법.
  16. 제 5 항에 있어서, 상기 적어도 하나의 연속 프레임들은 추출된 프레임인 것을 특징으로 하는 화면 이동 문자 검출 방법.
  17. 제 5 항에 있어서, 상기 픽셀 값들은 강도(intensity) 값들인 것을 특징으로 하는 화면 이동 문자 검출 방법.
  18. 혼합-모드 비디오 시퀀스의 화면 이동 문자를 검출하는 시스템에 있어서,
    혼합-모드 비디오 시퀀스의 둘 이상의 추출된 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 움직임 추정부;
    상기 둘 이상의 추출된 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 추출 프레임 움직임 분석부; 및
    상기 혼합 모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이들을 계산하는 연속 프레임 움직임 분석부를 포함하고,
    상기 실질적으로 지속적인 움직임의 존재는 상기 혼합-모드 비디오 시퀀스의 화면 이동하는 문자가 존재하는 것을 나타내고,
    상기 픽셀 값들의 차이들은 상기 혼합-모드 비디오 시퀀스의 화면 이동하는 문자의 존재를 더 나타내는 것을 특징으로 하는 화면 이동 문자 검출 시스템.
  19. 혼합-모드 비디오의 화면 이동 문자를 식별하는 방법에 있어서,
    혼합-모드 비디오의 복수의 프레임들의 대응하는 블록들 사이의 복수의 움직임 벡터를 생성하는 단계;
    단일한 방향으로의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계를 포함하고,
    상기 실질적으로 지속적인 움직임의 존재는 상기 혼합-모드 비디오에 화면 이동하는 문자가 존재하는 것을 나타내는 것을 특징으로 하는 화면 이동 문자 식별 방법.
  20. 제 19 항에 있어서,
    제1 프레임 및 이전 프레임의 동일한 위치의 블록들 사이의 픽셀 값들의 차 이들을 계산하는 단계를 더 포함하고,
    상기 픽셀 값들의 차이들은 상기 혼합-모드 비디오의 화면 이동하는 문자의 존재를 더 나타내는 것을 특징으로 하는 화면 이동 문자 식별 방법.
  21. 제 19 항에 있어서, 상기 단일한 방향으로의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 단계는
    경계에 대응되는 프레임들의 위치에서 상기 움직임 벡터들을 분석하는 단계를 포함하는 것을 특징으로 하는 화면 이동 문자 식별 방법.
  22. 혼합-모드 비디오 시퀀스의 화면 이동 문자를 검출하는 시스템에 있어서,
    혼합-모드 비디오 시퀀스의 둘 이상의 추출된 프레임들의 블록들 사이의 복수의 움직임 벡터를 생성하는 수단;
    상기 둘 이상의 추출된 프레임들 사이의 블록들의 적어도 일부의 실질적으로 지속적인 움직임을 검출하기 위해 상기 움직임 벡터들을 분석하는 수단; 및
    상기 혼합 모드 비디오 시퀀스의 둘 이상의 연속적인 프레임들의 블록들 사이의 픽셀 값들의 차이들을 계산하는 수단을 포함하고,
    상기 실질적으로 지속적인 움직임의 존재는 상기 혼합-모드 비디오 시퀀스의 화면 이동하는 문자가 존재하는 것을 나타내고,
    상기 픽셀 값들의 차이들은 상기 혼합-모드 비디오 시퀀스의 화면 이동하는 문자의 존재를 나타내는 것을 특징으로 하는 화면 이동 문자 검출 시스템.
KR1020080052656A 2007-07-11 2008-06-04 혼합 모드 필름 및 비디오의 화면 이동 문자를 검출하는시스템 및 방법 KR20090006724A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/776,469 2007-07-11
US11/776,469 US8300958B2 (en) 2007-07-11 2007-07-11 System and method for detecting scrolling text in mixed mode film and video

Publications (1)

Publication Number Publication Date
KR20090006724A true KR20090006724A (ko) 2009-01-15

Family

ID=40253164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080052656A KR20090006724A (ko) 2007-07-11 2008-06-04 혼합 모드 필름 및 비디오의 화면 이동 문자를 검출하는시스템 및 방법

Country Status (2)

Country Link
US (1) US8300958B2 (ko)
KR (1) KR20090006724A (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374240B1 (en) 2008-07-10 2013-02-12 Marvell International Ltd. Image frame management
US8411738B2 (en) * 2009-03-12 2013-04-02 Samsung Electronics Co., Ltd. System and method for identification of vertical scrolling regions in digital video
US8260055B2 (en) * 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
US8718366B2 (en) * 2009-04-01 2014-05-06 Ati Technologies Ulc Moving text detection in video
CN102365867B (zh) * 2009-04-01 2015-12-16 马维尔国际贸易有限公司 渐进视频中的节奏检测
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US8421847B2 (en) * 2010-05-21 2013-04-16 Mediatek Inc. Apparatus and method for converting two-dimensional video frames to stereoscopic video frames
JP5672830B2 (ja) * 2010-08-06 2015-02-18 株式会社リコー 画像表示制御装置、画像表示システム、画像表示方法、プログラムおよび記録媒体
US9014269B2 (en) * 2010-09-30 2015-04-21 General Instrument Corporation Method and apparatus for managing bit rate
US9373039B2 (en) 2011-04-18 2016-06-21 Supponor Oy Detection of graphics added to a video signal
CA2831816A1 (en) * 2011-04-18 2012-10-26 Supponor Oy Detection of graphics added to a video signal
US8949735B2 (en) * 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
US10063853B2 (en) * 2013-12-16 2018-08-28 Barco N.V. Efficient error recovery
US9807339B2 (en) 2015-06-12 2017-10-31 Sharp Laboratories Of America, Inc. Frame rate conversion system
CN108134938B (zh) * 2016-12-01 2021-08-06 中兴通讯股份有限公司 视频扫描方式检测、纠正方法、及视频播放方法和装置
US10349134B2 (en) * 2017-05-10 2019-07-09 Accenture Global Solutions Limited Analyzing multimedia content using knowledge graph embeddings
CN113724744B (zh) * 2017-06-29 2023-05-05 杜比国际公司 用于使外部内容适配视频流的方法、系统和计算机可读媒体
CN109729298B (zh) * 2017-10-27 2020-11-06 联咏科技股份有限公司 图像处理方法与图像处理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297858B1 (en) * 1997-09-23 2001-10-02 Ati Technologies, Inc. Method and apparatus for detecting video transmissions
US6704055B1 (en) * 2001-03-30 2004-03-09 Pixelworks, Inc. 3:2 pull-down film mode detection using fuzzy logic
KR100930043B1 (ko) 2002-11-23 2009-12-08 삼성전자주식회사 스크롤링 텍스트나 그래픽 데이터를 검출할 수 있는움직임 추정장치 및 방법
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7557861B2 (en) * 2004-01-30 2009-07-07 Broadcom Corporation Reverse pull-down video using corrective techniques
EP1592250A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film-mode detection in video sequences
DE602004006966T2 (de) * 2004-04-30 2007-10-18 Matsushita Electric Industrial Co., Ltd., Kadoma Umkehr-Filmmodus-Extrapolation
KR100577684B1 (ko) * 2004-10-08 2006-05-10 삼성전자주식회사 저더-맵을 이용한 영상 처리 장치 및 방법
KR20070063304A (ko) * 2005-12-14 2007-06-19 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
JP4253327B2 (ja) * 2006-03-24 2009-04-08 株式会社東芝 字幕検出装置及び字幕検出方法ならびにプルダウン信号検出装置
EP1870857A1 (en) * 2006-06-19 2007-12-26 Koninklijke Philips Electronics N.V. Global motion estimation
US8134640B2 (en) * 2006-12-26 2012-03-13 Broadcom Corporation Video processor architecture and method for frame rate conversion
JP5294036B2 (ja) * 2007-02-20 2013-09-18 ソニー株式会社 画像表示装置、映像信号処理装置および映像信号処理方法
US20100271554A1 (en) * 2007-09-10 2010-10-28 Volker Blume Method And Apparatus For Motion Estimation In Video Image Data
US8718366B2 (en) * 2009-04-01 2014-05-06 Ati Technologies Ulc Moving text detection in video

Also Published As

Publication number Publication date
US8300958B2 (en) 2012-10-30
US20090016618A1 (en) 2009-01-15

Similar Documents

Publication Publication Date Title
KR20090006724A (ko) 혼합 모드 필름 및 비디오의 화면 이동 문자를 검출하는시스템 및 방법
US8175163B2 (en) System and method for motion compensation using a set of candidate motion vectors obtained from digital video
JP5242404B2 (ja) ビデオストリーミングにおける適応ｇｏｐ構造
JP4847040B2 (ja) ビデオシーケンスでのティッカー処理
CN100452832C (zh) 使用行和列向量的运动向量估计
KR20060047595A (ko) 적응 시간적인 예측을 채용하는 움직임 벡터 추정
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
KR20060047556A (ko) 필름 모드 검출 방법과, 필름 모드 검출기와, 움직임 보상방법 및 움직임 보상기
US20070139552A1 (en) Unified approach to film mode detection
KR20060047630A (ko) 움직임 보상된 출력 이미지 데이터를 생성하는 방법 및움직임 보상기
US20100177239A1 (en) Method of and apparatus for frame rate conversion
KR20060047638A (ko) 필름 모드 판정 방법, 움직임 보상 화상 처리 방법, 필름모드 검출기 및 움직임 보상기
JP2012034225A (ja) 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
KR20070020994A (ko) 영상신호 변환장치 및 그 방법
KR100235988B1 (ko) 디티브이 영상 포맷 변환장치 및 그 방법
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
US8120702B2 (en) Detection device and detection method for 32-pull down sequence
JP3676670B2 (ja) ピクチャのインターレース又はプログレッシブキャラクタを認識するための動きベクトルヒストグラムの処理
US8401070B2 (en) Method for robust inverse telecine
KR100813986B1 (ko) 움직임 적응적 디인터레이싱 방법 및 그 장치
Trocan et al. An adaptive motion-compensated approach for video deinterlacing
CN111294545A (zh) 图像数据插值方法及装置、存储介质、终端
US8243814B2 (en) Combing artifacts detection apparatus and combing artifacts detection method
JP5506550B2 (ja) 映像信号処理装置及び方法、並びに映像信号表示装置
KR100982509B1 (ko) 필름 모드 검출방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application