KR101019010B1 - Preprocessor method and apparatus - Google Patents

Preprocessor method and apparatus Download PDF

Info

Publication number
KR101019010B1
KR101019010B1 KR20087026885A KR20087026885A KR101019010B1 KR 101019010 B1 KR101019010 B1 KR 101019010B1 KR 20087026885 A KR20087026885 A KR 20087026885A KR 20087026885 A KR20087026885 A KR 20087026885A KR 101019010 B1 KR101019010 B1 KR 101019010B1
Authority
KR
Grant status
Grant
Patent type
Prior art keywords
video
frame
multimedia data
method
metadata
Prior art date
Application number
KR20087026885A
Other languages
Korean (ko)
Other versions
KR20090006159A (en )
Inventor
비자얄라크시미 알 라빈드란
팡 류
팡 스
타오 톈
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Abstract

본 발명은 일반적으로 멀티미디어 데이터 처리에 관한 것으로, 더욱 상세하게는, 데이터 압축 처리 전에 또는 데이터 압축 처리와 함께 수행되는 처리 동작에 관한 것이다. The present invention relates generally to multimedia data processing, and more particularly, to a processing operation performed with the data compression process or prior to the data compression process. 멀티미디어 데이터를 처리하는 방법은 인터레이싱된 비디오 프레임을 수신하는 단계, 인터레이싱된 비디오 프레임에 대해 메타데이터를 획득하는 단계, 메타데이터의 적어도 일부를 이용하여 인터레이싱된 비디오 프레임을 순차 비디오로 변환하는 단계, 및 순차 비디오 및 메타데이터의 적어도 일부를 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하는 단계를 포함한다. How to handle the multimedia data using at least part of the step, the meta data to obtain metadata for the step, the interlaced video frame which receives the interlaced video frame to convert the interlaced video frames into progressive video at least a portion of the stage, and the progressive video and metadata comprises the step of providing the encoder used to encode the video sequence. 또한, 본 발명의 방법은 인터레이싱된 비디오 프레임에 대한 공간 정보 및 양방향 모션 정보를 생성하는 단계, 및 인터레이싱된 비디오 프레임에 기초하고 공간 및 양방향 모션 정보를 이용하여 순차 비디오를 생성하는 단계를 포함한다. The method also includes the step of based on the step, and the inter-video-frame racing of generating spatial information and a bi-directional motion information for the interlaced video frame, and generates a progressive video by using the space, and bi-directional motion information do.
Figure R1020087026885
멀티미디어, 데이터 처리, 데이터 압축, 메타데이터, 순차 비디오 Multimedia, data processing, data compression, metadata, progressive video

Description

전처리기 방법 및 장치{PREPROCESSOR METHOD AND APPARATUS} Preprocessor method and apparatus {PREPROCESSOR METHOD AND APPARATUS}

35 USC§119 에 따른 우선권 주장 Priority is claimed in accordance with the 35 USC§119

본 특허 출원은, 본원의 양수인에게 모두 양도되며 본원에서 명확히 참조로서 병합하고 있는, 2006 년 4 월 3 일 출원된 미국 가출원 제 60/789,048 호와, 2006 년 4 월 4 일 출원된 미국 가출원 제 60/789,266 호와, 2006 년 4 월 4 일 출원된 미국 가출원 제 60/789,377 호에 대한 우선권을 주장하고 있다. The present patent application, are assigned for both of the present assignee and 4 wol 3 filed U.S. Provisional Application No. 60/789 048 No. 2006, which is clearly incorporated by reference in the present application, filed on April 04, 2006, U.S. Provisional Application No. 60 / No. 789,266, and US Provisional Application filed April 04, 2006 and claiming the priority to 60 / 789,377 calls.

배경 background

분야 Field

본 출원은 일반적으로 멀티미디어 데이터 처리에 관한 것으로, 더욱 상세하게는, 데이터 압축 처리 전에 또는 데이터 압축 처리와 함께 수행되는 처리 동작에 관한 것이다. The present application relates generally to multimedia data processing, and more particularly, to a processing operation performed with the data compression process or prior to the data compression process.

배경 background

개요 summary

본원에 설명되는 본 발명의 장치 및 방법의 각각은 몇몇 양태를 가지며, 그 양태들 중 어떤 단일의 양태도 그 바람직한 속성에 대해 단독으로 책임을 지는 것은 아니다. Each of the apparatus and method of the present invention described herein has several aspects, no single one of those aspects of the embodiments also not intended to be solely responsible for its desirable attributes. 이하, 본 발명의 범위를 제한함 없이, 본 발명의 보다 현저한 특징들을 간략하게 설명할 것이다. Below, without limiting the scope of the present invention, it will be briefly described the salient features of the invention than. 본 설명을 고려한 다음에, 특히 "상세한 설명" 으로 지칭되는 부분을 읽은 다음에, 당업자라면 본 발명의 특징들이 멀티미디어 데 이터 처리 장치 및 방법에 대한 개선을 어떻게 제공하는지를 이해할 것이다. Next considering the present description, in particular to read a portion which is referred to as the "Detailed Description" and those skilled in the art will understand how features of the present invention do provide improvements for multimedia data processing apparatuses and methods.

일 양태에서, 멀티미디어 데이터를 처리하는 방법은 인터레이싱된 비디오 프레임들을 수신하는 단계, 인터레이싱된 비디오 프레임들을 순차 비디오로 변환하는 단계, 순차 비디오와 연관된 메타데이터를 생성하는 단계, 및 순차 비디오 및 메타데이터의 적어도 일부를 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하는 단계를 포함한다. In one aspect, a method of processing multimedia data comprising: generating a phase, inter-racing converting the video frame into a progressive video, metadata associated with the progressive video receiving an interlaced video frame, and a progressive video and meta at least a portion of the data includes the step of providing the encoder used to encode the video sequence. 그 방법은 메타데이터를 이용하여 순차 비디오를 인코딩하는 단계를 더 포함할 수 있다. The method may further comprise the step of encoding the progressive video using metadata. 몇몇 양태에서, 인터레이싱된 비디오 프레임은 NTSC 비디오를 포함한다. In some aspects, the interlaced video frame includes a NTSC video. 비디오 프레임을 변환하는 단계는 인터레이싱된 비디오 프레임을 디인터레이싱하는 단계를 포함할 수 있다. Converting the video frame may include the step of de-interlacing an interlaced video frame.

몇몇 양태에서, 메타데이터는 대역폭 정보, 양방향 모션 정보, 대역폭 비율, 시간 및/또는 공간 복잡도와 같은 복잡도 값, 휘도 정보를 포함할 수 있고, 공간 정보는 휘도 및/또는 크로미넌스 정보를 포함할 수 있다. In some embodiments, metadata may include bandwidth information, bi-directional motion information, bandwidth ratio, time and / or complexity value, the luminance information such as the spatial complexity, the spatial information include a luminance and / or chrominance information, can. 또한, 그 방법은 인터레이싱된 비디오 프레임에 대한 공간 정보 및 양방향 모션 정보를 생성하는 단계, 및 인터레이싱된 비디오 프레임에 기초하고 공간 및 양방향 모션 정보를 이용하여 순차 비디오를 생성하는 단계를 포함할 수 있다. In addition, the method may include the step of: based on the step, and the inter-video-frame racing of generating spatial information and a bi-directional motion information for the interlaced video frame, and generates a progressive video by using the space, and bi-directional motion information have. 몇몇 양태에서, 인터레이싱된 비디오 프레임을 변환하는 단계는 3/2 풀다운 비디오 프레임을 역 텔레시네하는 단계, 및/또는 순차 비디오를 리사이징하는 단계를 포함한다. In some embodiments, the step of converting the interlaced video frames comprises the step of inverse telecine the 3/2 pull down video frame, and / or resizing the progressive video. 그 방법은 순차 비디오를 분할하여 영상 그룹 정보를 결정하는 단계를 더 포함할 수 있고, 분할 단계는 순차 비디오의 샷 검출을 포함할 수 있다. The method may further comprise the step of dividing a video sequence determines the picture group information, the dividing step can include the detection of the progressive video shot. 또한, 몇몇 양태에서, 그 방법은 잡음 제거 필터로 순차 비디오를 필터링하는 단계를 포함한다. Also, in some aspects, the method includes the step of filtering the progressive video to a noise removing filter.

다른 양태에서, 멀티미디어 데이터를 처리하는 장치는 인터레이싱된 비디오 프레임을 수신하도록 구성된 수신기, 인터레이싱된 비디오 프레임을 순차 비디오로 변환하도록 구성된 디인터레이서, 및 순차 비디오와 연관된 메타데이터를 생성하고, 순차 비디오 및 메타데이터를 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하도록 구성된 분할기를 포함할 수 있다. In another aspect, an apparatus that processes multimedia data, generating a deinterlacer, and metadata associated with the progressive video that is configured to convert a receiver, the interlaced video frame is configured to receive an interlaced video frame to the progressive video, and the progressive video and It may be the metadata includes a splitter configured to provide the encoder used to encode the video sequence. 몇몇 양태에서, 그 장치는 통신 모듈로부터 순차 비디오를 수신하고, 제공된 메타데이터를 이용하여 순차 비디오를 인코딩하도록 구성된 인코더를 더 포함할 수 있다. In some aspects, the apparatus may further include an encoder configured to receive a video sequence from the communication module, and to encode the video sequence using the metadata provided. 디인터레이서는 공간-시간 디인터레이싱 및/또는 역 텔레시네를 수행하도록 구성될 수 있다. Deinterlacer is space may be configured to perform time de-interlacing telecine and / or reverse. 분할기는 샷 검출을 수행하고, 샷 검출에 기초하여 압축 정보를 생성하도록 구성될 수 있다. Splitters may be performed for shot detection, and based on shot detection and to generate the compressed information. 몇몇 양태에서, 분할기는 대역폭 정보를 생성하도록 구성될 수 있다. In some embodiments, the dividers may be configured to generate a bandwidth information. 또한, 그 장치는 순차 프레임을 리사이징하도록 구성된 리샘플러를 포함할 수 있다. In addition, the apparatus may include a resampler configured to resize the frame sequence. 메타데이터는 대역폭 정보, 양방향 모션 정보, 대역폭 비율, 휘도 정보, 콘텐츠에 관련된 공간 복잡도 값 및/또는 콘텐츠에 관련된 시간 복잡도 값을 포함할 수 있다. The metadata may include information bandwidth, bi-directional motion information, bandwidth ratio, luminance information, the time complexity values ​​associated with a spatial complexity value and / or content associated with the content. 몇몇 양태에서, 디인터레이서는 인터레이싱된 비디오 프레임에 기초하고 공간 및 양방향 모션 정보를 이용하여 인터레이싱된 비디오 프레임 및 순차 비디오에 대한 공간 정보 및 양방향 모션 정보를 생성하도록 구성된다. In some embodiments, the deinterlacer is configured to generate the spatial information and a bi-directional motion information for the interlaced video and progressive video frames on the basis of the interlaced video frame, and using the spatial information and the two-way motion.

다른 양태는 멀티미디어 데이터를 처리하는 장치를 포함하고, 멀티미디어 데이터 처리 장치는 인터레이싱된 비디오 프레임을 수신하는 수단, 인터레이싱된 비디오 프레임을 순차 비디오로 변환하는 수단, 순차 비디오와 연관된 메타데이터를 생성하는 수단, 및 순차 비디오 및 메타데이터 중 적어도 일부를 순차 비디오를 인 코딩하는데 이용되는 인코더에 제공하는 수단을 포함한다. Another aspect comprises an apparatus for processing multimedia data, the multimedia data processing device to generate the inter-race means for receiving a video frame, comprising: means for converting an interlaced video frame to the progressive video, metadata associated with the progressive video and means, and the progressive video, and means for providing at least a portion of the meta data to the encoder used for encoding the progressive video. 몇몇 양태에서, 변환 수단은 역 텔레시네 장치 및/또는 공간-시간 디인터레이서를 포함한다. In some embodiments, the conversion means is a reverse telecine device and / or a space-time and a deinterlacer. 몇몇 양태에서, 생성 수단은 샷 검출을 수행하고, 샷 검출에 기초하여 압축 정보를 생성하도록 구성된다. In some embodiments, the generating means is configured to perform a shot is detected, and based on the detected shots generate a compressed information. 몇몇 양태에서, 생성 수단은 대역폭 정보를 생성하도록 구성된다. In some embodiments, the generating means is configured to generate a bandwidth information. 몇몇 양태에서, 생성 수단은 순차 프레임을 리사이징하도록 리샘플링하는 수단을 포함한다. In some embodiments, the generating means comprises means for re-sampling so as to sequentially re-sizing the frame.

다른 양태는, 실행 시, 머신으로 하여금, 인터레이싱된 비디오 프레임을 수신하게 하고, 인터레이싱된 비디오 프레임을 순차 비디오로 변환하게 하고, 순차 비디오와 연관된 메타데이터를 생성하게 하고, 순차 비디오 및 메타데이터의 적어도 일부를 순차 비디오를 인코딩하는데 이용되는 인코더로 제공하게 하는, 멀티미디어 데이터를 처리하는 명령들을 포함한 머신 판독가능 매체를 포함한다. Another aspect is, when executed, cause the machine, and to receive an interlaced video frame, the conversion of the interlaced video frame to the progressive video, and to generate the metadata associated with the progressive video, progressive video, and metadata at least to provide a portion to the encoder used to encode the video sequence, and a machine-readable medium comprising instructions for processing multimedia data.

다른 양태는, 인터레이싱된 비디오를 수신하고, 인터레이싱된 비디오를 순차 비디오로 변환하고, 순차 비디오와 연관된 메타데이터를 생성하고, 순차 비디오 및 메타데이터의 적어도 일부를 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하는 구성을 포함한 프로세서를 포함한다. Another aspect, upon receiving the interlaced video, and converts the interlaced video to progressive video, and the encoder that generates the metadata associated with the progressive video, and used to encode the progressive video at least a portion of the progressive video and metadata and a processor, including a structure for providing a. 인터레이싱된 비디오의 변환은 공간-시간 디인터레이싱을 수행하는 것을 포함할 수 있다. Inter-conversion of a racing video space may include a time-interlacing. 몇몇 양태에서, 인터레이싱된 비디오의 변환은 역 텔레시네를 수행하는 것을 포함한다. In some embodiments, the inter-conversion of a racing video, includes performing the inverse telecine. 몇몇 양태에서, 메타데이터의 생성은 샷 변화의 검출에 기초하여 압축 정보를 생성하는 것을 포함한다. In some embodiments, the generation of metadata involves the detection of a shot change based on the generated compressed information. 몇몇 양태에서, 메타데이터의 생성은 순차 비디오의 압축 정보를 결정하는 것을 포함한다. In some embodiments, the generation of the metadata comprises determining the compressed information of the progressive video. 몇몇 양태에서, 상기 구성은 비디오를 리샘플링하여 리 사이징된 순차 프레임을 생성하는 구성을 포함한다. In some aspects, the configuration includes a configuration for generating a progressive frame re-sizing by re-sampling the video. 몇몇 양태에서, 메타데이터는 대역폭 정보, 양방향 모션 정보, 콘텐츠에 기초한 시간 또는 공간 복잡도 정보와 같은 복잡도 정보, 및/또는 압축 정보를 포함할 수 있다. In some embodiments, metadata may include information, complexity, and / or compress information, such as bandwidth information, bi-directional motion information, time information or spatial complexity is based on content.

도면의 간단한 설명 Brief Description of the Drawings

도 1 은 스트리밍 멀티미디어 데이터를 전달하는 통신 시스템의 블록도이다. 1 is a block diagram of a communications system for delivering streaming multimedia data.

도 2 는 전처리기를 포함하는 디지털 송신 설비의 블록도이다. Figure 2 is a block diagram of a digital transmission facility comprising a pretreatment.

도 3a 는 전처리기의 예시적인 양태의 블록도이다. Figure 3a is a block diagram of an exemplary embodiment of pre-processor.

도 3b 는 멀티미디어 데이터를 처리하는 프로세스를 도시한 흐름도이다. Figure 3b is a flow diagram illustrating a process for processing multimedia data.

도 3c 는 멀티미디어 데이터를 처리하는 수단을 도시한 블록도이다. Figure 3c is a block diagram showing the means for processing the multimedia data.

도 4 는 예시적인 전처리기의 동작을 도시한 블록도이다. Figure 4 is a block diagram showing the operation of an exemplary pre-processor.

도 5 는 역 텔레시네 프로세스에 있어서 위상 결정의 도면이다. 5 is a view of the phase determined in the reverse telecine process.

도 6 은 텔레시네된 비디오를 역 텔레시네하는 프로세스를 도시한 흐름도이다. 6 is a flowchart illustrating the process of inverse telecine to the telecine video.

도 7 은 위상 전이를 도시한 트렐리스 도면이다. 7 is a diagram showing the phase transition trellis.

도 8 은 복수의 행렬을 생성하는데 이용되는 각각의 프레임을 식별하기 위한 가이드이다. Figure 8 is a guide to identify the respective frames which is used to generate a plurality of matrices.

도 9 는 도 8 의 메트릭이 생성되는 방법을 도시한 흐름도이다. Figure 9 is a flow chart illustrating how the metric of Figure 8 produced.

도 10 은 메트릭을 처리하여 추정된 위상을 얻는 것을 도시한 흐름도이다. 10 is a flow chart showing by obtaining the phase estimate to process the metrics.

도 11 은 결정 변수를 생성하는 시스템을 도시한 데이터 흐름도이다. 11 is a data flow diagram illustrating a system for generating the decision variables.

도 12 는 분기 정보를 평가하는데 이용되는 변수를 도시한 블록도이다. Figure 12 is a view showing a variable used to evaluate the branch information blocks Fig.

도 13a, 도 13b 및 도 13c 는 하부 포락선이 계산되는 방법을 도시한 흐름도이다. Figure 13a, Figure 13b and Figure 13c is a flow diagram illustrating how the lower envelope calculation.

도 14 는 일치성 검출기의 동작을 도시한 흐름도이다. 14 is a flowchart illustrating the operation of the correspondence detector.

도 15 는 위상 결정의 불일치를 보상하는데 이용되는 결정 변수에 대한 오프셋을 계산하는 프로세스를 도시한 흐름도이다. 15 is a flow diagram illustrating a process of calculating an offset for determining the variable which is used to compensate for a mismatch in the phase determination.

도 16 은 풀 다운 위상이 추정된 후의 역 텔레시네 동작을 표현한다. Figure 16 represents the reverse telecine operation after the pull-down phase estimate.

도 17 은 디인터레이서 디바이스의 블록도이다. 17 is a block diagram of a deinterlacer device.

도 18 은 다른 디인터레이서 디바이스의 블록도이다. 18 is a block diagram of a deinterlacer other devices.

도 19 는 인터레이싱된 영상의 서브샘플링 패턴의 도면이다. 19 is a view of a sub-sampling pattern of an interlaced image.

도 20 은 Wmed 필터링 모션 추정을 이용하여 디인터레이싱된 프레임을 생성하는 디인터레이서 디바이스의 블록도이다. 20 is a block diagram of a deinterlacer device for generating the de-interlacing the frame using a filter Wmed motion estimation.

도 21 은 멀티미디어 데이터의 정적 영역을 결정하는 애퍼처 (aperture) 의 일 양태를 도시한다. Figure 21 illustrates a form of the aperture (aperture) for determining a static region of the multimedia data.

도 22 는 멀티미디어 데이터의 슬로우 모션 영역을 결정하는 애퍼처의 일 양태를 도시하는 도면이다. 22 is a view illustrating a manner of the aperture to determine the slow-motion zone of the multimedia data.

도 23 은 모션 추정의 일 양태를 도시하는 도면이다. 23 is a view illustrating a manner of motion estimation.

도 24 는 모션 보상 결정에 이용되는 2 개의 모션 벡터 맵을 도시한다. Figure 24 shows the two motion vector map used to determine motion compensation.

도 25 는 멀티미디어 데이터를 디인터레이싱하는 방법을 도시하는 흐름도이다. 25 is a flow chart illustrating a method of de-interlacing the multimedia data.

도 26 은 공간-시간 정보를 이용하여 디인터레이싱된 프레임을 생성하는 방 법을 도시한 흐름도이다. 26 is a space a flow chart illustrating a method for generating the de-interlacing the frame by using the time information.

도 27 은 디인터레이싱을 위해 모션 보상을 수행하는 방법을 도시한 흐름도이다. 27 is a flow chart illustrating a method for performing motion compensation for the de-interlacing.

도 28 은 몇몇 양태에 따라 샷 검출 및 다른 전처리 동작을 위해 구성된 프로세서를 포함한 전처리기의 블록도이다. 28 is a block diagram of a pre-processor including a processor configured for shot detection and other pre-treatment operation according to some aspects.

도 29 는 인코딩 복잡도 C 와 할당된 비트 B 간의 관계를 도시한다. 29 shows the relationship between the encoding complexity C and allocated bits B.

도 30 은 영상 그룹을 처리하며, 몇몇 양태에서 이용되어 비디오 프레임에서의 샷 검출에 기초하여 비디오를 인코딩할 수 있는 프로세스를 도시한 흐름도이다. Figure 30 processes the image group, is used in some embodiments is a flow chart illustrating a process to encode a video on the basis of the detected shot in the video frame.

도 31 은 샷 검출에 대한 프로세스를 도시한 흐름도이다. 31 is a flow diagram illustrating a process for shot detection.

도 32 는 비디오의 상이한 샷 분류를 결정하는 프로세스를 도시한 흐름도이다. 32 is a flow diagram illustrating a process for determining the classification of the different shot video.

도 33 은 샷 검출 결과에 기초하여 비디오 프레임에 프레임 압축 방식을 할당하는 프로세스를 도시한 흐름도이다. 33 is a flow diagram illustrating a process of assigning compression types to frames in the video frame based on shot detection result.

도 34 는 갑작스런 장면 전환을 결정하는 프로세스를 도시한 흐름도이다. 34 is a flow diagram illustrating a process for determining a sudden scene change.

도 35 는 느리게 변하는 장면을 결정하는 프로세스를 도시한 흐름도이다. 35 is a flow diagram illustrating a process for determining a slowly changing scene.

도 36 은 카메라 플래시라이트를 포함하는 장면을 결정하는 프로세스를 도시한 흐름도이다. 36 is a flow diagram illustrating a process for determining a scene including a camera flash light.

도 37 은 이전 프레임 MV P 와 현재 프레임과 다음 프레임 MV N 간의 모션 보상 벡터를 도시한다. 37 shows the previous frame MV P and the present frame and the next frame, the motion compensation between the MV N vector.

도 38 은 프레임 차이 메트릭을 결정하는데 이용되는 변수에 대한 관계를 도시한 그래프이다. 38 is a graph showing the relationship of the variables that are used to determine a frame difference metric.

도 39 는 데이터 인코딩 및 레지듀얼 (residual) 계산을 도시한 블록도이다. 39 is a block diagram illustrating a data encoding and residuals (residual) calculation.

도 40 은 프레임 차이 메트릭의 결정을 도시한 블록도이다. 40 is a block diagram showing the determination of the frame difference metric.

도 41 은 압축 타입을 프레임에 할당하는 절차를 도시한 흐름도이다. 41 is a flowchart illustrating a procedure of assigning compression types to frames.

도 42 는 1-D 다상 (poly-phase) 리샘플링의 일 예를 도시한다. Figure 42 shows an example of the 1-D poly-phase (poly-phase) resampling.

도 43 은 데이터 프레임의 세이프 액션 영역 및 세이프 타이틀 영역을 도시한 그래픽이다. 43 is a graphic illustrating a safe action area and the safe title area of ​​a data frame.

도 44 는 데이터 프레임의 세이프 액션 영역을 도시한 그래픽이다. 44 is a graphic illustrating a safe action area of ​​the data frame.

상세한 설명 details

다음 설명은 본 발명의 예들의 완전한 이해를 제공하기 위한 상세한 설명을 제공한다. The following description provides the details for providing a thorough understanding of the present invention. 그러나, 당업자라면, 일 예 또는 양태의 프로세스 또는 디바이스의 모든 상세가 본원에 설명되거나 도시되어 있지는 않더라도 본 발명의 예들을 실시할 수도 있다는 것을 알 수 있다. However, those skilled in the art, one example or embodiment of the process or all the details of the device it can be seen that there may be made the Examples of the present invention, even if itjineun described or illustrated herein. 예를 들어, 전기 컴포넌트는, 본 발명의 예들을 지나치게 상세히 설명하여 불명확하게 되지 않도록 전기 컴포넌트의 모든 전기 접속 또는 모든 전기 소자를 도시하지는 않는 블록도로 도시될 수도 있다. For example, electrical component, or that all electrical connections not shown in all the electrical elements of the block so as not to obscure the description in detail over the embodiment of the present invention, electrical components may be shown the road. 다른 경우에는, 그러한 컴포넌트, 다른 구조 및 기술을 상세히 도시하여, 본 발명의 예들을 더 설명할 수도 있다. In other cases, the detail shown for such components, other structures and techniques may further explain the embodiments of the present invention.

본원에는, 기존 전처리 및 인코딩 시스템의 성능을 개선하는 전처리기 및 전처리기 동작 방법에 대한 어떤 발명의 양태 및 양태들이 설명되어 있다. Herein, there aspect and any aspect of the invention for the pre-processor and preprocessor operation method for improving the performance of a conventional pre-processing and encoding systems are explained. 그러 한 전처리기는 디인터레이싱, 역 텔레시네, 필터링, 샷 타입의 식별, 메타데이터의 처리와 생성, 및 대역폭 정보의 생성을 수행하는 것을 비롯한 인코딩 준비에 있어서 메타데이터 및 비디오를 처리할 수 있다. However, the preprocessor may process the metadata and the video encoded according to such preparation to perform a de-interlacing, inverse telecine, and filtering, the identification of the type of shot, the processing of the metadata and generates, and generates the bandwidth information. 본원에서, "한 양태", "일 양태", "어떤 양태", 또는 "일정 양태" 에 대한 참조는, 그 양태와 관련하여 설명된 특정 피처, 구조, 또는 특징 중 하나 이상이 전처리기 시스템의 적어도 하나의 양태에 포함될 수 있음을 의미한다. As used herein, a "one embodiment", "one embodiment", "certain embodiments", or "schedule mode" Reference is particular feature, structure, or the pre-processor system, one or more of the features described in connection with the embodiment of the means that may be included in at least one aspect. 본 명세서의 여러 곳에서 그러한 문구의 사용은 반드시 모두가 동일한 양태를 지칭하는 것은 아니며, 기타 양태들을 서로 제외한 별개의 양태 또는 다른 양태를 지칭하는 것도 아니다. The use of such phrases in various places in the specification are not necessarily all that it is not necessarily referring to the same aspect, it refers to a distinct aspect or another aspect of other aspects except each other. 또한, 어떤 양태에서는 나타날 수도 있지만 다른 양태에서는 나타나지 않을 수도 있는 여러 피처가 설명된다. Further, in some aspects, but may also receive a number of features that may not be present in other embodiments is described. 이와 유사하게, 어떤 양태를 위한 단계일 수도 있지만 다른 양태를 위한 단계는 아닐 수도 있는 여러 단계가 설명된다. Similarly, the steps may be for any aspect, but a number of steps, which steps for the other aspects may not be described.

본원에서 이용되는 "멀티미디어 데이터" 또는 "멀티미디어" 는 비디오 데이터 (오디오 데이터를 포함할 수 있음), 오디오 데이터, 또는 비디오 데이터와 오디오 데이터 모두를 포함하는 광의의 용어이다. "Multimedia data" or "multimedia" as used herein is a term in a broad sense, including both video data (which can include audio data), audio data, or video data and audio data. 본원에서 이용되는 "비디오 데이터" 또는 "비디오" 는 광의의 용어로서, 텍스트, 이미지, 및/또는 오디오 데이터를 포함한 하나 이상의 이미지 시리즈나 시퀀스 또는 하나의 이미지를 지칭하며, 달리 지정되지 않는 한, 멀티미디어 데이터를 지칭하는데 이용될 수 있고, 또는 서로 교환 가능하게 이용될 수도 있다. A "Video data" or "video" is used herein as a term in a broad sense, refers to text, images, and / or at least one image of the series or sequence or a single image including audio data, unless otherwise specified, multimedia It may be used to refer to data, or may be used interchangeably.

도 1 은 스트리밍 멀티미디어를 전달하는 통신 시스템 (100) 의 블록도이다. Figure 1 is a block diagram of a communication system 100 for delivering streaming multimedia. 그러한 시스템은 도 1 에 도시된 것과 같은 다수의 단말기로 디지털 압축된 비 디오를 송신하는데 적용된다. Such a system is applied for transmission of digital compressed video to a plurality of terminals such as that shown in Fig. 디지털 비디오 소스는, 예를 들어, 디지털 케이블 또는 위성 피드 (satellite feed) 또는 디지털화되는 아날로그 소스일 수 있다. Digital video sources can be, for example, a digital cable or satellite feed (satellite feed) digital or analog sources. 비디오 소스는 송신 설비 (120) 에서 처리되고, 하나 이상의 단말기 (160) 로 네트워크 (140) 를 통한 송신을 위해 캐리어 상에서 인코딩 및 변조된다. The video source is processed in the transmission equipment 120, is encoded and modulated onto a carrier for transmission over a network 140 to one or more terminals (160). 단말기 (160) 는 수신된 비디오를 디코딩하고, 통상 비디오의 적어도 일부를 표시한다. The terminal 160 is decoded, and display at least a portion of the normal video of the received video. 네트워크 (140) 는 인코딩된 데이터를 송신하는데 적합한 임의 타입의 통신 네트워크, 유선 또는 무선을 지칭한다. Network 140 refers to any type of communication network, a wired or wireless suitable for transmission of encoded data. 예를 들어, 네트워크 (140) 는 휴대 전화 네트워크, 유선 또는 무선 LAN (local area network) 또는 WAN (wide area network), 또는 인터넷일 수 있다. For example, network 140 may be a mobile telephone network, a wired or wireless LAN (local area network) or WAN (wide area network), or the Internet. 단말기 (160) 는 휴대 전화, PDA, 가정용이나 상업용 비디오 디스플레이 장비, 컴퓨터 (휴대용, 랩톱, 핸드헬드, PC, 및 대규모 서버 기반 컴퓨터 시스템), 및 멀티미디어 데이터를 이용할 수 있는 개인용 엔터테인먼트 디바이스를 비롯한, 데이터를 수신 및 표시할 수 있는 임의 타입의 통신 디바이스일 수 있지만, 이에 한정되는 것은 아니다. Terminal 160, including a cell phone, PDA, home or commercial video display device, a computer (portable, laptop, handheld, PC, and a larger server based computer system), and a personal entertainment device that can use the multimedia data, the data Although the number of the communication devices of any type that can receive and display, and the like.

도 2 및 도 3 은 전처리기 (202) 의 예시적인 양태를 도시한다. 2 and 3 illustrate an exemplary embodiment of pre-processor 202. The 도 2 에서, 전처리기 (202) 는 디지털 송신 설비 (120) 내에 있다. 2, the preprocessor 202 is in the digital transmission facility (120). 디코더 (201) 는 디지털 비디오 소스로부터 인코딩된 데이터를 디코딩하고, 메타데이터 (204) 및 비디오 (205) 를 전처리기 (202) 에 제공한다. Decoder 201 provides a decoded and encoded data from a digital video source, the metadata 204 and the pre-processor 202, a video 205. 전처리기 (202) 는 비디오 (205) 및 메타데이터 (204) 에 대한 일정 타입의 처리를 수행하고, 처리된 메타데이터 (206; 예를 들어, 기저 계층 참조 프레임, 인핸스먼트 계층 참조 프레임, 대역폭 정보, 콘텐츠 정보) 및 비디오 (207) 를 인코더 (203) 에 제공한다. Preprocessor 202 video 205 and performing the processing of certain types of meta data 204, the processing metadata (206; see, for example, the base layer reference frames, enhancement layer frame, the bandwidth information , the contents information) and the video unit 207 and provides it to the encoder 203. 그러한 멀 티미디어 데이터의 전처리는 시각 명료도, 안티-에일리어싱, 및 데이터의 압축 효율을 개선할 수 있다. Pretreatment of such multimedia data is visual clarity, anti-aliasing can improve the compression efficiency, and data. 일반적으로, 전처리기 (202) 는 디코더 (201) 에 의해 제공된 비디오 시퀀스를 수신하고, 비디오 시퀀스를 인코더에 의한 후속 처리 (예를 들어, 인코딩) 를 위해 순차 비디오 시퀀스로 변환한다. In general, pre-processor 202 receives the video sequences supplied by the decoder 201, and converted into a progressive video sequence for subsequent processing (e.g., encoding) of the video sequence in the encoder. 몇몇 양태에서, 전처리기 (202) 는 역 텔레시네, 디인터레이싱, 필터링 (예를 들어, 아티팩트 제거, 디링잉, 디블록킹, 및 디노이징), 리사이징 (예를 들어, SD (standard definition) 로부터 QVGA (Quarter Video Graphics Array) 로의 공간 해상도 다운-샘플링), 및 GOP 구조 생성 (예를 들어, 복잡도 맵 생성, 장면 전환 검출, 및 페이드/플래시 검출의 계산) 을 비롯한, 다수의 동작을 위해 구성될 수 있다. In some aspects, the preprocessor 202 inverse telecine, de-interlacing, filtering (e.g., artifact removal, de-ringing, de-blocking, and denoising), resizing QVGA (Quarter from (e.g., SD (standard definition) Video spatial resolution to the Graphics Array) down-sampling), and the GOP structure generation (for example, may be configured for the complexity map generation, the scene change detection, and the number of operations, including the calculation) of a fade / flash detection.

도 3a 는 모듈 또는 컴포넌트 (본원에서 일괄하여 "모듈" 로 지칭됨) 와 함께 수신된 메타데이터 (204) 및 비디오 (205) 에 대한 전처리 동작을 수행한 다음에, 후속 처리를 위해 (예를 들어, 인코더로) 처리된 메타데이터 (206) 및 순차 비디오 (207) 를 제공하도록 구성되는 전처리기 (202) 를 도시한다. Figure 3a is a module or component performing a pre-processing operation on (collectively referred to as "modules" herein) and metadata 204, and video 205 received along Next, (for example for further processing It shows the preprocessor (202) configured to provide the metadata 206 and the video sequence 207 is processed in an encoder). 그 모듈은 하드웨어, 소프트웨어, 펌웨어, 또는 그 조합으로 구현될 수 있다. The modules may be implemented in hardware, software, firmware, or a combination thereof. 전처리기 (202) 는 도시되어 있는 하나 이상의 모듈을 포함하며, 모두가 아래에서 더 설명되는 역 텔레시네 (301), 디인터레이서 (302), 디노이저 (303), 에일리어스 제거기 (304), 리샘플러 (305), 디블록커/디링거 (306), 및 GOP 분할기 (307) 를 포함하는 여러 모듈을 포함할 수 있다. Preprocessor 202 may include one or more modules which are shown, which all are described further below inverse telecine 301, a deinterlacer 302, dinoyi low 303, aliasing remover 304, a resampler 305, it may include several modules, including a de-blocker / de stringer 306, and a GOP divide by 307. the 또한, 전처리기 (202) 는 메모리 (308) 및 통신 모듈 (309) 을 비롯한, 비디오 및 메타데이터를 처리하는데 이용될 수도 있는 다른 적당한 모듈을 포함할 수 있다. In addition, the preprocessor 202 may include any other suitable modules that may be used to handle, including a memory 308 and a communication module 309, video and metadata. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당해 기술분야에서 공지되어 있는 임의의 다른 형태의 저장 매체에 상주할 수도 있다. A software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, CD-ROM, or any other form of storage medium known in the art . 예시적인 저장 매체는 프로세서에 연결되어, 프로세서가 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기록할 수 있도록 해준다. An exemplary storage medium is coupled to the processor, allowing the processor to read information from a storage medium, to write information to, the storage medium. 다른 방법으로는, 저장 매체는 프로세서와 일체로 형성될 수도 있다. In the alternative, the storage medium may be integral with the processor. 프로세서와 저장 매체는 ASIC 에 상주할 수도 있다. The processor and the storage medium may reside in an ASIC. ASIC 은 사용자 단말기에 상주할 수도 있다. The ASIC may reside in a user terminal. 다른 방법으로는, 프로세서와 저장 매체는 사용자 단말기에 별도의 컴포넌트로서 상주할 수도 있다. In the alternative, the processor and the storage medium may reside as discrete components in a user terminal.

도 3b 는 멀티미디어 데이터의 처리를 위한 프로세스 (300) 를 도시한 흐름도이다. Figure 3b is a flow diagram illustrating a process 300 for processing of the multimedia data. 프로세스 (300) 가 시작하고, 블록 320 으로 진행하여, 인터레이싱된 비디오를 수신한다. Process 300 is started, and proceeds to block 320 and receives the interlaced video. 도 2 및 도 3 에 도시된 전처리기 (202) 는 이러한 단계를 수행할 수 있다. 2 and the pre-processor 202 shown in Figure 3 may perform this step. 몇몇 양태에서, 디코더 (예를 들어, 도 2 의 디코더 (201)) 는 인터레이싱된 데이터를 수신하고, 이 인터레이싱된 데이터를 전처리기 (202) 에 제공할 수 있다. In some embodiments, the decoder (e.g., decoder 201 in FIG. 2) may receive the interlaced data, and provides this data to the interlacing preprocessor 202. The 몇몇 양태에서, 도 3c 에 전처리기 (202) 의 일부로서 도시되어 있는 데이터 수신 모듈 (330) 은 이러한 단계를 수행할 수 있다. In some embodiments, as part of the pre-processor 202 in Figure 3c, the data reception module 330 which may be shown to perform these steps. 그 다음에, 프로세스 (300) 는 블록 322 로 진행하여, 인터레이싱된 비디오를 순차 비디오로 변환한다. Then, the process 300 proceeds to block 322, and converts the interlaced video into progressive video. 도 2 및 도 3a 에 도시된 전처리기 (202) , 및 도 3c 의 모듈 (332) 은 이러한 단계를 수행할 수 있다. 2 and the pre-processor 202, and module 332 of Figure 3c shown in Fig. 3a may perform these steps. 인터레이싱된 비디오가 텔레시네되면, 블록 322 의 처리는 역 텔레시네를 수행하여 순차 비디오를 생성하는 것을 포함할 수 있다. When the interlaced telecine video, the processing of block 322 may include generating a progressive video by performing inverse telecine. 그 다음에, 프로세스 (300) 는 블록 324 로 진행하여, 순차 비디오와 연관된 메타데이터를 생성할 수 있다. Then, the process 300 may proceed to block 324 and generates the metadata associated with the progressive video. 도 3a 의 GOP 분할기 (307) 및 도 3c 의 모듈 (334) 은 그러한 처리를 수행할 수 있다. GOP partitioner 307 of Figure 3a, and module 334 of Figure 3c can perform such a process. 그 다음에, 프로세스 (300) 는 블록 326 으로 진행하여, 순차 비디오 및 메타데이터의 적어도 일부를 인코딩 (예를 들어, 압축) 을 위해 인코더에 제공한다. Then, the process 300 proceeds to block 326, at least a portion of the sequence encoding the video and metadata is provided to the encoder for a (e. G., Compression). 도 2 및 도 3a 에 도시된 전처리기 (202), 및 도 3c 의 모듈 (336) 은 이러한 단계를 수행할 수 있다. 2 and the pre-processor 202, and module 336 of Figure 3c shown in Fig. 3a may perform these steps. 순차 비디오 및 연관된 메타데이터를 인코딩을 위해 다른 컴포넌트로 제공한 후에, 프로세스 (300) 가 종료할 수 있다. After providing the progressive video, and metadata associated with the other component for the encoding, it is possible to process 300 terminates.

도 3c 는 멀티미디어 데이터를 처리하는 수단을 도시한 블록도이다. Figure 3c is a block diagram showing the means for processing the multimedia data. 본원에는 그러한 수단이 전처리기 (202) 에 포함되어 있는 것으로 도시되어 있다. Herein, there is shown as being such a means is included in the pre-processor (202). 전처리기 (202) 는 모듈 (330) 과 같은 비디오를 수신하는 수단을 포함한다. The pre-processor 202 includes means for receiving the video, such as the module 330. 또한, 전처리기 (202) 는 모듈 (332) 과 같은 인터레이싱된 데이터를 순차 비디오로 변환하는 수단을 포함한다. In addition, the preprocessor (202) comprises means for converting interlaced data, such as the module 332 to a progressive video. 그러한 수단은, 예를 들어, 공간-시간 디인터레이서 및/또는 역 텔레시네 장치를 포함할 수 있다. Such means, for example, a space may include a deinterlacer time and / or a reverse telecine apparatus. 또한, 전처리기 (202) 는 모듈 (334) 과 같은 순차 비디오와 연관된 메타데이터를 생성하는 수단을 포함한다. In addition, the preprocessor 202 includes a means for generating a progressive video and associated metadata, such as module 334. 그러한 수단은, 상술한 것과 같이 여러 타입의 메타데이터를 생성할 수 있는 GOP 분할기 (307; 도 3a) 를 포함할 수 있다. Such means, GOP partitioner that can generate metadata for various types as described above; may include (307, Figure 3a). 또한, 전처리기 (202) 는 모듈 (336) 에 의해 도시된 것과 같이 순차 비디오 및 메타데이터를 인코딩을 위해 인코더에 제공하는 수단을 포함할 수 있다. In addition, the preprocessor 202 may include means for providing an encoder for encoding the progressive video and metadata as illustrated by the module 336. The 몇몇 양태에서, 그러한 수단은 도 3a 에 도시된 통신 모듈 (309) 을 포함할 수 있다. In some aspects, such a means may comprise a communication module 309 shown in FIG. 3a. 당업자라면 알 수 있는 바와 같이, 그러한 수단은 다수의 표준적인 방법으로 구현될 수 있다. Those skilled in the art as can be seen, such a means may be implemented in a number of standard methods.

전처리기 (202) 는 전처리 동작 중 하나 이상의 동작을 위해 획득한 메타데이터 (예를 들어, 디코더 (201) 또는 다른 소스로부터 획득함) 를 이용할 수 있다. Preprocessor 202 may use the meta data to obtain one or more of the operations of the preprocessing operations (e. G., Decoder 201, or obtained from another source, also). 메타데이터는 멀티미디어 데이터의 콘텐츠 ("콘텐츠 정보") 를 설명하거나 분류하는 것과 관련된 정보를 포함할 수 있다. The metadata may include information related to describe or classify the content ( "content information") of the multimedia data. 특히, 메타데이터는 콘텐츠 분류를 포함할 수 있다. In particular, the metadata may include a content classification. 몇몇 양태에서, 메타데이터는 인코딩 동작을 위해 요구된 콘텐츠 정보를 포함할 수 있다. In some embodiments, the metadata may include the requested content information for the encoding operation. 그러한 경우에, 전처리기 (202) 는 콘텐츠 정보를 결정하고, 전처리 동작을 위해 콘텐츠 정보를 이용하고/하거나 예를 들어, 인코더 (203) 와 같은 다른 컴포넌트에 콘텐츠 정보를 제공하도록 구성될 수 있다. In such case, the preprocessor 202 may determine the content information and a content information for pre-processing operation and / or, for example, configured to provide the content information to the other components such as the encoder (203). 몇몇 양태에서, 전처리기 (202) 는 그러한 콘텐츠 정보를 이용하여, GOP 분할에 영향을 주고, 적절한 타입의 필터링을 결정하고/하거나 인코더로 통신되는 인코딩 파라미터를 결정할 수 있다. In some aspects, the preprocessor 202 by using such a content information, to influence the GOP division, can determine the appropriate type of filter and / or to determine the encoding parameters to be communicated to the encoder.

도 4 는 전처리기에 포함될 수 있는 프로세스 블록의 예시적인 실시형태를 도시하는 것으로서, 전처리기 (202) 에 의해 수행될 수 있는 처리를 도시한다. Figure 4 shows as an exemplary embodiment of a process that can be included in the preprocessor blocks, of a process that may be performed by the preprocessor 202. The 본 예에서, 전처리기 (202) 는 메타데이터 및 비디오 (204, 205) 를 수신하고, (처리된) 메타데이터 및 비디오를 포함한 출력 데이터 (206, 207) 를 인코더 (203) 에 제공한다. In this example, pre-processor 202 and video metadata 204 and 205 to receive and output data (206, 207), including the meta data, and video (processed) and provides it to the encoder 203. 통상, 전처리기에 의해 수신되는 비디오에는 3 가지 타입이 있다. Video that is received by a conventional, pre-treatment, there are three types. 첫째로, 수신된 비디오는 순차 비디오일 수 있고, 디인터레이싱은 수행되지 않아도 된다. First, the received video may be a video sequence, de-interlacing need not be performed. 둘째로, 비디오 데이터는 텔레시네된 비디오일 수 있고, 인터레이싱된 비디오는 24fps 영화 시퀀스로부터 변환된다. Second, the video data may be in the telecine video, the interlaced video is converted from 24fps movie sequence. 셋째로, 비디오는 텔레시네되지 않은 인터레이싱된 비디오일 수 있다. Third, the video may be a non-interlaced video telecine. 전처리기 (226) 는 아래에서 설명하 는 바와 같이 이들 타입의 비디오를 처리할 수 있다. Preprocessor 226 may process the video of these types, as is described and shown below.

블록 401 에서, 전처리기 (202) 는 수신된 비디오 (204, 205) 가 순차 비디오인지 여부를 결정한다. In block 401, pre-processor 202 that the received video (204, 205) determines whether or not a progressive video. 몇몇 경우에, 이는 메타데이터가 그러한 정보를 포함하면 메타데이터로부터 결정될 수 있고, 또는 비디오 자체의 처리에 의해 결정될 수 있다. In some cases, it may be determined by the process of when the metadata includes such information can be determined from the meta data, or video itself. 예를 들어, 아래에서 설명되는 역 텔레시네 프로세스는, 수신된 비디오 (205) 가 순차 비디오인지 여부를 결정할 수 있다. For example, the reverse telecine process that is described below, and the received video unit 205 can determine whether the progressive video. 수신된 비디오가 순차 비디오인 경우에, 프로세스는 블록 407 로 진행하여, 백색 가우스 잡음과 같은 잡음을 줄이기 위해 비디오에 대해 필터링 동작을 수행한다. If the received video is a video sequence, the process proceeds to block 407 and performs a filtering operation on the video to reduce noise, such as white Gaussian noise. 비디오가 순차 비디오가 아닌 경우에, 블록 401 에서, 프로세스는 블록 404 의 위상 검출기로 진행한다. If the video is not the progressive video, at block 401, the process proceeds to block 404 of the phase detector.

위상 검출기 (404) 는 텔레시네에서 생성된 비디오와 표준 방송 포맷에서 시작된 비디오를 구별한다. The phase detector 404 distinguishes between video originated in a video and a standard broadcast format generated by the telecine. 비디오가 텔레시네되었다는 결정이 이루어지면 (위상 검출기 (404) 에서 나가는 "예" 결정 경로), 텔레시네된 비디오는 역 텔레시네 (406) 에서 그 원래 포맷으로 리턴된다. If the decision is made that the video was telecined (phase "Yes" decision path leaves the detector 404), the telecined video is returned to its original format in inverse telecine 406. 중복 필드가 식별 및 제거되고, 동일 비디오로부터 유도된 필드가 완전한 이미지로 다시 만들어진다. The duplicate fields are identified and removed, and a field derived from the same video again made into a complete image. 복원된 필름 이미지의 시퀀스가 1/24 초의 일정한 간격으로 사진 기록되므로, GOP 분할기 (412) 또는 디코더에서 수행되는 모션 추정 프로세스는 일정하지 않은 시간축을 갖는 텔레시네된 데이터보다 오히려 역 텔레시네된 이미지를 이용하여 더 정확해진다. Since picture recording the sequence of reconstructed film images to 1/24 second intervals, motion estimation is performed in the GOP partitioner 412 or decoder process using a telecine image, rather than the reverse telecine data having a non-constant time base it becomes more accurate.

일 양태에서, 위상 검출기 (404) 는 비디오 프레임의 수신 후에 어떤 결정을 행한다. In one embodiment, phase detector 404 performs a decision after receiving the video frame. 이들 결정은 (ⅰ) 현재 비디오가 텔레시네 출력으로부터의 비디오인지 및 3:2 풀 다운 위상이 도 5 에 도시된 5 개의 위상 P 0 , P 1 , P 2 , P 3 , 및 P 4 중 하나인지 여부, 및 (ⅱ) 비디오가 통상의 NTSC 로서 생성되었는지 여부를 포함한다. These crystals (ⅰ) the current video is that the video from the telecine output and the 3: whether the second pull-down phase of the five shown in FIG phase P 0, P 1, P 2 , P 3, and P 4 one and (ⅱ) it includes whether the video has been created as a conventional NTSC. 그 결정은 위상 P 5 로서 표시된다. That decision is denoted as phase P 5. 이들 결정은 도 4 에 도시된 위상 검출기 (404) 의 출력으로서 나타난다. These decisions appear as outputs of phase detector 404 shown in Fig. "예" 라벨을 붙인 위상 검출기 (404) 로부터의 경로는 역 텔레시네 (406) 를 작동시켜, 동일한 사진 이미지로부터 형성된 필드를 분류하고 결합할 수 있도록 정확한 풀 다운 위상이 제공되었음을 나타낸다. Path from the "yes" phase detector 404 labeled is by operating the inverse telecine 406, indicating that the classification field is formed from the same photographic image and provide an accurate pull-down phase to be bonded. 이와 유사하게, "아니오" 라벨을 붙인 위상 검출기 (404) 로부터의 경로는 디인터레이서 (405) 를 작동시켜, 외관상 NTSC 프레임을 최적 처리를 위한 필드로 분할한다. Path from Similarly, the "no" phase detector 404 labeled this way is to operate the deinterlacer 405, the apparent divides the NTSC frame into fields for optimal processing. 또한, 역 텔레시네는 발명의 명칭이 "INVERSE TELECINE ALGORITHM BASED ON STATE MACHINE" 이고 본원의 양수인이 소유하고 있으며 본원에서 그 전체를 참조로서 병합하고 있는 동시 계속 중인 미국 특허 출원 [대리인 Docket No. In addition, the reverse telecine is the title of the invention "INVERSE TELECINE ALGORITHM BASED ON STATE MACHINE" and U.S. Patent Application are owned by the assignee of the present application are still in the same time, and incorporated by reference in its entirety herein, [Attorney Docket No. QFDM.021A(050943)] 에 더 설명되어 있다. QFDM.021A is further described in (050 943)].

위상 검출기 (404) 는, 상이한 타입의 비디오가 어느 때라도 수신될 수도 있으므로 연속하여 비디오 프레임을 분석할 수 있다. The phase detector 404, since the different types of video may be received at any time it is possible to continuously analyze the video frame. 일 예로서, NTSC 표준에 따르는 비디오는 커머셜로서 비디오 내에 삽입될 수도 있다. In one example, the video according to the NTSC standard may be inserted as a commercial message in the video. 역 텔레시네 후에, 결과로서 생성된 순차 비디오는 백색 가우스 잡음을 줄이는데 이용될 수 있는 디노이저 (필터) (407) 로 송신된다. After inverse telecine, the progressive video generated as a result dinoyi that may be used in reducing the white Gaussian noise is transmitted to the low (filter) 407.

통상의 NTSC 비디오가 인식되는 경우에는 (위상 검출기 (401) 로부터의 "아니오" 경로), 압축을 위해 디인터레이서 (405) 로 송신된다. When conventional NTSC video is recognized, is sent to ( "No" path from the phase detector 401), deinterlacer 405 for compression. 디인터레이서 (405) 가 인터레이싱된 필드를 순차 비디오로한 다음에, 순차 비디오에 대해 디노이징 동작이 수행될 수 있다. A is an interlaced field, the deinterlacer 405 to the progressive video, and then, the denoising operation can be performed on the progressive video.

적절한 역 텔레시네 또는 디인터레이싱 처리 후에, 블록 408 에서, 순차 비디오는 에일리어스 제거 및 리샘플링 (예를 들어, 리사이징) 을 위해 처리된다. After the appropriate inverse telecine or deinterlacing process, at block 408, a progressive video is processed for the alias removal and re-sampling (e. G., Re-sizing).

또한, 리샘플링 후에, 순차 비디오는 블록 410 으로 진행하여, 디블록커 및 디링잉 동작이 수행된다. In addition, after re-sampling, the video sequence proceeds to block 410, a de-blocker and de-ringing operation is performed. 2 가지 타입의 아티팩트인, "블록킹" 과 "링잉" 은 비디오 압축 애플리케이션에서 보통 발생한다. The two types of artifacts, "blocking" and "ringing" will usually occur in video compression applications. 압축 알고리즘이 각각의 프레임을 블록 (예를 들어, 8 × 8 블록) 으로 분할하기 때문에, 블록킹 아티팩트가 발생한다. Since the compression algorithm is to divide each frame into blocks (e.g., 8 × 8 block), there occurs a blocking artifact. 각각의 블록은 얼마간의 작은 에러로 재구성되고, 블록의 에지에 있는 에러는 종종 이웃 블록의 에지에 있는 에러와 대비되어, 블록 경계를 볼 수 있도록 해준다. Each block is reconstructed to some small errors, errors in the edge of the block is often opposed to the error in the edge of the neighboring block, allowing to see the block boundary. 한편, 링잉 아티팩트는 이미지 피처의 에지 주위에 있는 왜곡으로서 나타난다. On the other hand, the ringing artifact appears as distortions around the edges of image features. 인코더가 고주파수 DCT 계수의 양자화 시에 너무 많은 정보를 버리므로, 링잉 아티팩트가 발생한다. Since the encoder discard too much information at the time of quantizing the high-frequency DCT coefficients, and generates a ringing artifacts. 몇몇 예시적인 예에서, 디블록킹과 디링잉 모두는 저역통과 FIR (finite impulse response) 필터를 이용하여 이들 눈에 보이는 아티팩트를 숨길 수 있다. In some illustrative examples, both de-blocking and de-ringing may hide the artifacts visible in these eyes using a (finite impulse response) low-pass FIR filter.

디블록킹 및 디링잉 후에, 순차 비디오는 GOP 분할기 (412) 에 의해 처리된다. After de-blocking and de-ringing, a progressive video is processed by the GOP partitioner 412. GOP 포지셔닝은 샷 전환의 검출, 복잡도 맵 (예를 들어, 시간, 공간 대역폭 맵) 의 생성, 및 적응 GOP 분할을 포함할 수 있다. GOP positioning may include the generation, and the adaptive GOP division of the detection, the complexity map (e. G., Time, space, bandwidth map) of a shot transition. 샷 검출은, GOP (group of picture; 영상 그룹) 내의 프레임이 장면 전환이 발생한 것을 표시하는 데이터를 나타내는 때를 결정하는 것에 관련된다. Shot detection is, GOP; the frame in the (group of picture image group) is related to determining the time indicating data indicative of the occurrence of the scene change. 고정된 간격으로 I-프레임을 삽입 하는 대신에, 적절한 GOP 길이를 결정하고, GOP 길이에 기초하여 I-프레임을 삽입하도록, 장면 전환 검출을 비디오 인코더가 이용할 수 있다. Instead of inserting the I- frame at a fixed interval, and to determine a proper GOP length, so as to insert the I- frames based on the GOP length, and the scene change detection can be used, the video encoder. 또한, 전처리기 (202) 는 멀티미디어 데이터를 인코딩하는데 이용될 수 있는 대역폭 맵을 생성하도록 구성될 수 있다. In addition, the preprocessor 202 can be configured to generate a bandwidth map that may be used to encode the multimedia data. 그 대신에, 몇몇 양태에서는, 전처리기 외부에 위치한 콘텐츠 분류 모듈이 대역폭 맵을 생성한다. Instead, in some embodiments, and to generate a bandwidth map content classification module in the preprocessor outside. 적응 GOP 분할은 함께 코딩된 영상 그룹의 콤퍼지션 (composition) 을 적응 변경할 수 있다. Adaptive GOP partitioning can be changed to adapt the comb purge illustration (composition) of the video group coding together. 도 4 에 도시된 동작의 예시적인 실시형태는 아래에 설명된다. An exemplary embodiment of the operation shown in Figure 4 is described below.

역 텔레시네 Inverse Telecine

역 텔레시네 처리는 아래에서 설명되고, 역 텔레시네의 예시적인 실시형태는 도 4 내지 도 16 을 참조하여 제공된다. Inverse telecine processing is described below, an illustrative embodiment of a reverse telecine is provided with reference to Figures 4 to 16. 소스의 특성이 알려져 있으며 이상적으로 매칭하는 처리 형태를 선택하는데 이용되는 경우에, 비디오 압축이 최선의 결과를 제공한다. The characteristics of the source is known and, if that is used to select a treatment form that is ideally matched, the video compression provides the best results. 예를 들어, 오프-디-에어 (off-the-air) 비디오는 몇몇 방법으로 발생할 수 있다. For example, the off-di-air (off-the-air) video may take place in several ways. 비디오 카메라나 브로드캐스트 스튜디오 등에서 통상적인 방법으로 생성되는 브로드캐스트 비디오는 미국의 NTSC 표준을 따른다. Broad produced by conventional methods, etc. video camera or broadcast studio video broadcast follows the NTSC standard in the United States. NTSC 표준에 따라, 각각의 프레임은 2 개의 필드로 이루어진다. According to the NTSC standard, each frame is composed of two fields. 한 필드는 홀수 라인으로 이루어지고, 다른 필드는 짝수 라인으로 이루어진다. One field is composed of odd lines and the other field is made up of the even lines. 이는 "인터레이싱된" 포맷으로 지칭될 수도 있다. This may also be referred to as the "interlaced" format. 약 30 프레임/초로 프레임이 생성되는 동안에, 필드는 1/60 초 떨어져 있는 텔레비전 카메라 이미지의 레코드이다. While the approximately 30 frame / second frame is generated, the field is the record of a television camera image in 1/60 second apart. 한편, 필름은 24 프레임/초로 촬영되어, 각각의 프레임은 완전한 이미지로 이루어진다. On the other hand, the film is shot at 24 frames / second, each frame is composed of a complete image. 이는 "순차" 포맷으로서 지칭될 수도 있다. This may be referred to as a "sequential" format. NTSC 장비에서의 송신의 경우에, "순차" 비디오는 텔레시네 프로세스를 통해 "인터레이싱된" 비디오 포맷으로 변환된다. In the case of transmission in the NTSC equipment, "sequential" video is converted to the "interlacing" video format through a telecine process. 일 양태에서, 아래에서 더 설명되는 바와 같이, 본 발명의 시스템은 비디오가 텔레시네되고 적절한 변환을 수행하여 원래 순차 프레임을 재생하는 때를 결정하는 이점을 갖는다. In one aspect, as will be described further below, the system of the present invention has the advantage of determining the time for reproducing the original sequential video frames by the telecine, and performs the appropriate conversion.

도 5 는 인터레이싱된 비디오로 변환된 순차 프레임을 텔레시네하는 효과를 도시한다. Figure 5 illustrates the effect of a sequential frame telecine converted to an interlaced video. F 1 , F 2 , F 3 , 및 F 4 는 텔레시네 장치에 입력되는 순차 비디오이다. F 1, F 2, F 3 , and F 4 is a progressive video input to the telecine apparatus. 아래의 숫자 "1" 및 "2" 는 홀수 또는 짝수 필드 중 어느 하나의 표시이다. The numbers below "1" and "2" is any one of a display of odd or even field. 프레임 레이트 간의 불일치를 고려하여 몇몇 필드가 반복된다는 것에 주목하자. Taking into account the mismatch between the frame rates to be noted that some of the field is repeated. 또한, 도 4 는 풀-다운 위상 P 0 , P 1 , P 2 , P 3 , 및 P 4 를 도시한다. Further, 4 is the pull-down phase is shown the P 0, P 1, P 2 , P 3, and P 4. 위상 P0 은 동일한 제 1 필드를 갖는 2 개의 NTSC 호환성 프레임 중 제 1 프레임에 의해 표시된다. Phase P0 is represented by the first frame of the two NTSC compatible frame having the same first field. 다음 4 개의 프레임은 위상 P 1 , P 2 , P 3 , 및 P 4 에 대응한다. Next four frames corresponds to a phase P 1, P 2, P 3 , and P 4. P 2 및 P 3 에 의해 표시된 프레임은 동일한 제 2 필드를 갖는다는 것에 주목하자. Notice that is by P 2 and P 3 shown in the frame have the same first field. 필름 프레임 F 1 이 3 회 스캔되므로, 2 개의 동일한 연속적인 출력의 NTSC 호환성 제 1 필드가 형성된다. Since the film frame F 1 it is scanned three times, to form the NTSC compatibility first field of two identical successive output. 필름 프레임 F 1 로부터 유도된 모든 NTSC 필드가 동일 필름 이미지로부터 선택되므로, 동시에 선택되게 된다. All NTSC fields derived from film frames F 1 so selected from the same film image, and at the same time be selected. 필름으로부터 유도된 다른 NTSC 프레임은 1/24 초 떨어져 있는 인접한 필드를 가질 수도 있다. The other film derived from an NTSC frame may have the adjacent fields in 1/24 second apart.

도 4 에 도시된 위상 검출기 (404) 는 비디오 프레임의 수신 후에 어떤 결정을 행한다. The phase detector 404 shown in Figure 4 performs a decision after receiving the video frame. 이들 결정은 (ⅰ) 현재 비디오가 텔레시네 출력으로부터의 비디오 인지 및 3:2 풀 다운 위상이 도 5 의 정의 (512) 에 도시되어 있는 5 개의 위상 P 0 , P 1 , P 2 , P 3 , 및 P 4 중 하나인지 여부; These crystals (ⅰ) the current video is that the video from the telecine output and the 3: 2 pull-down phase the five phases shown in definition 512 of FIG. 5 P 0, P 1, P 2, P 3, and whether one of P 4; 및 (ⅱ) 비디오가 통상적인 NTSC 로서 생성되었는지 여부를 포함하고, 그 결정은 위상 P 5 로서 표시된다. And (ⅱ) including whether or not the video is generated as conventional NTSC, and the decision is represented as a phase P 5.

이들 결정은 도 4 에 도시된 위상 검출기 (401) 의 출력으로서 나타난다. These decisions appear as outputs of phase detector 401 shown in Fig. "예" 라벨을 붙인 위상 검출기 (401) 로부터의 경로는 역 텔레시네 (406) 를 작동시켜, 동일 사진 이미지로부터 형성된 필드를 분류하고 결합할 수 있도록 정확한 풀 다운 위상이 제공되는 것을 나타낸다. Path from the "yes" phase detector 401 labeled is by operating the inverse telecine 406, it indicates that the classification field is formed from the same photographic image and provide an accurate pull-down phase to be bonded. 이와 유사하게, "아니오" 라벨을 붙인 위상 검출기 (401) 로부터의 경로는 디인터레이서 블록 (405) 을 작동시켜, 외관상 NTSC 프레임을 최적 처리를 위한 필드로 분할한다. Path from Similarly, the "no" phase detector 401 is labeled this way by operating the deinterlacer block 405, it divides the apparent NTSC frame into fields for optimal processing.

도 6 은 비디오 스트림을 역 텔레시네하는 프로세스 (600) 를 도시한 흐름도이다. Figure 6 is a flow diagram illustrating a process 600 for inverse telecine the video stream. 일 양태에서, 프로세스 (600) 는 도 3 의 역 텔레시네 (301) 에 의해 수행된다. In one embodiment, process 600 is performed by the inverse telecine 301 of FIG. 단계 651 에서 시작하여, 역 텔레시네 (301) 는 수신된 비디오에 기초하여 복수의 메트릭을 결정한다. Beginning at step 651, a reverse telecine unit 301 determines a plurality of metrics based on the received video. 본 양태에서는, 동일 프레임 또는 인접 프레임으로부터 유도된 필드 간의 차이의 합인 4 개의 메트릭이 형성된다. In the present embodiment, the sum of four metrics for the difference between the fields derived from the same frame or the adjacent frames is formed. 또한, 4 개의 메트릭은 수신된 데이터로부터 유도된 4 개의 메트릭과 6 개의 가설화된 위상 각각에 대한 이들 메트릭의 가장 가능성 있는 값 간의 거리의 유클리드 측정으로 어셈블링된다. In addition, four metrics are assembled in the Euclidean distance measure between the metric and four to six screen hypothesis most likely value of the phase for each of these metrics derived from received data. 유클리드 합은 분기 정보로 지칭되고, 각각의 수신된 프레임에 대해 6 개의 그러한 양이 존재한다. Euclidean sum is referred to as the branch information, and six such amount exists for each received frame. 각각의 가설화된 위상은 뒤에 오는 위상을 가지며, 이러한 뒤에 오는 위상은 가능한 풀 다운 위상의 경우에 각각의 수신된 프 레임에 따라 변한다. Each of the hypotheses Chemistry phase has a phase that follows the phase that comes after this varies depending on each received frame in the case of a pull-down phase.

가능한 전이 경로는 도 7 에 도시되어 있고, 참조 부호 767 로 표시되어 있다. Possible transition path is shown in Figure 7, it is indicated by reference numeral 767. 그러한 경로가 6 개 존재한다. Such path exists 6. 결정 프로세스는 가설화된 위상의 각 경로에 대해 유클리드 거리의 합과 등가인 4 개의 측정을 유지한다. Decision process maintains the sum equivalent to the four measurements of the Euclidean distance for each path of the phase hypotheses screen. 변경된 조건에 절차가 응답하도록, 그 합에 있어서 각각의 유클리드 거리는 오래됨에 따라 줄어든다. Procedure to respond to the changed condition, each of the Euclidean distance is reduced in accordance with the out-of-date according to the sum. 유클리드 거리의 합이 최소인 위상 트랙이 동작하는 위상 트랙인 것으로 생각된다. Is considered that the sum of the Euclidean distance of the track phase to a minimum phase track operation. 이러한 트랙의 현재 위상은 "적용 가능한 위상" 으로 지칭된다. Current phase of such a track is referred to as "the applicable phase." 이때, P 5 가 아닌 한, 선택된 위상에 기초한 역 텔레시네가 발생할 수 있다. At this time, there may occur a, reverse telecine based on the selected phase non-P 5. P 5 가 선택되면, 블록 405 (도 4) 에서, 현재 프레임은 디인터레이서를 이용하여 디인터레이싱된다. If P 5 is selected, at block 405 (FIG. 4), the current frame is de-interlacing using a deinterlacer. 요약하면, 적용 가능한 위상은 현재 풀 다운 위상으로서 이용되거나, 유효한 NTSC 포맷을 갖는 것으로 추정된 프레임의 디인터레이싱을 명령하는 표시자로서 이용된다. In summary, the applicable phase is used as a current or a pull-down phase, it is used as an indicator to instruct the deinterlacing of the frame estimate to have a valid NTSC format.

비디오 입력으로부터 수신된 모든 프레임에 대해, 4 개의 메트릭 각각에 대한 새로운 값이 계산된다. For every frame received from the video input, the new value is calculated for each of four metrics. 이들은 다음과 같이 정의된다. They are defined as follows:

Figure 112008076058963-pct00001

용어 SAD 는 용어 "summed absolute differences" 의 약자이다. SAD is an abbreviation of the term The term "summed absolute differences". 도 8 에 는 메트릭을 형성하도록 차분되는 필드가 그림으로 도시되어 있다. In Figure 8 has a field that is to form the difference metrics is shown in Fig. 아래 첨자는 필드 번호를 지칭하고, 글자는 이전 (= P) 또는 현재 (= C) 를 지칭한다. Subscript refers to the field number, and the letter refers to the earlier (P =) or present (= C). 도 8 의 괄호는 필드의 쌍 단위 (pair-wise) 차분을 지칭한다. Bracket of Figure 8 refers to a pair of units (pair-wise) the difference between the fields. SAD FS 는 C 1 라벨을 붙인 현재 프레임의 필드 1 과 P 1 라벨을 붙인 이전 프레임의 필드 1 간의 차이 (도 8 에 제공된 정의에서 FS 라는 라벨을 붙인 괄호에 의해 걸쳐 있음) 를 지칭하고, SAD SS 는 C 2 라벨을 붙인 현재 프레임의 필드 2 와 P 2 라벨을 붙인 이전 프레임의 필드 2 간의 차이 (SS 라벨을 붙인 괄호에 의해 걸쳐 있음) 를 지칭하고, SAD CO 는 C 2 라벨을 붙인 현재 프레임의 필드 2 와 C 1 라벨을 붙인 현재 프레임의 필드 1 간의 차이 (CO 라벨을 붙인 괄호에 의해 걸쳐 있음) 를 지칭하며, SAD PO 는 양쪽 모두가 PO 라벨을 붙인 괄호에 의해 걸쳐 있는 현재 프레임의 필드 1 과 이전 프레임의 필드 2 간의 차이를 지칭한다. SAD FS is referred to (with over by the bracket labeled called FS in the definition given in Figure 8), a difference between field 1 of the previous frame is pasted to the current frame, field 1 and P 1 label attached to C 1 label, and SAD SS refers to the (with over by the bracket attached to SS label) the difference between the previous frame attached to field 2 and P 2 labels of the current frame is attached to C 2 label field 2, and SAD CO is the current frame attached to C 2 label refers to the field (over by denominated CO label brackets) the difference between the present frame field 1 attached to 2 and C 1 label, SAD PO is a field of the current frame that spans by the parentheses are both attached to PO label 1 and it refers to the difference between the two fields of the previous frame.

아래에는, 각각의 SAD 를 평가하기 위한 계산 부하가 설명된다. Below, the calculation load for evaluating the respective SAD is described. 통상적인 NTSC 에 있어서, 약 480 개의 활성 수평 라인이 존재한다. In the conventional NTSC, approximately 480 active horizontal line exists. 4:3 가로세로비 (aspect ratio) 를 가지며, 수평 방향으로 해상도가 동일하기 위해, 480 × 4/3 = 640 과 등가인 수직 라인 또는 자유도가 존재해야 한다. 4:03 has a width-to-height ratio (aspect ratio), and to have the same resolution in the horizontal direction, there is a need to 480 × 4/3 = 640 equivalent to the vertical line or the degree of freedom. 640 × 480 개 화소의 비디오 포맷은 ATSC (Advanced Television Standards Committee) 에 의해 수용된 포맷 중 하나이다. 640 × 480 video format of one pixel is one of the formats accepted by the (Advanced Television Standards Committee) ATSC. 따라서, 1/30 초의 프레임 지속기간마다, 640 × 480 = 307,200 개의 새로운 화소가 생성된다. Thus, each 1/30 second frame duration, 640 × 480 = 307 200 The new pixel is generated. 새로운 데이터는 9.2 × 10 6 화소/초의 레이트로 생성되어, 이러한 시스템을 실행하는 하드웨어나 소프트웨어가 약 10 MB 이상의 레이트로 데이터를 처리한다는 것을 의미한다. New data is generated with 9.2 × 10 6 pixels / second rate, and means that a hardware or software to run such a system that processes the data to at least about 10 MB rate. 이는 그 시스템의 고속 부분 중 하나이다. This is one of the high-speed part of the system. 이는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 그 임의의 조합에 의해 구현될 수 있다. This may be implemented by hardware, software, firmware, middleware, microcode, or any combination thereof. SAD 계산기는 자립형 컴포넌트이거나, 다른 디바이스의 컴포넌트 내에 있는 하드웨어, 펌웨어, 미들웨어로서 포함되거나, 프로세서 상에서 실행되는 마이크로코드 또는 소프트웨어에 구현되거나, 또는 그 조합일 수 있다. SAD calculator or a stand alone component, or incorporated by hardware, firmware, middleware in a component of another device, or implemented in microcode or software running on a processor, or a combination thereof. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에 구현 시, 계산을 수행하는 프로그램 코드 또는 코드 세그먼트는 저장 매체와 같은 머신 판독가능 매체에 저장될 수도 있다. Software, firmware, middleware or microcode, program code to perform the implementation, the calculation or code segments may be stored in a machine readable medium such as storage medium. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 문장들의 임의의 조합을 표현할 수도 있다. A code segment may represent any combination of a procedure, a function, a subprogram, a program, a routine, a subroutine, a module, a software package, a class, or instructions, data structures, or program statements. 코드 세그먼트는 정보, 데이터, 인수 (argument), 파라미터, 또는 메모리 콘텐츠를 전달하고/하거나 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수도 있다. A code segment may be coupled to another code segment or a hardware circuit by receiving information, data, arguments (argument), the transmission parameters, or memory contents and / or.

도 9 의 흐름도 (900) 는 도 8 의 관계를 명시적으로 나타낸 것으로서, 식 (1) 내지 식 (4) 의 그림 표현이다. Flowchart 900 of Figure 9 is a pictorial representation of the relationship as shown in Figure 8 explicitly, equation (1) to (4). 이는 SAD FS , SAD CO , SAD SS 및 SAD PO 의 가장 최근 값이 각각 유지되는 저장 위치 (941, 942, 943 및 944) 를 도시한다. This shows the FS SAD, SAD CO, and SS SAD storage position at which the most recent value of the SAD PO keep each (941, 942, 943 and 944). 이들은 각각 4 개의 절대 차이 합 계산기 (940) 에 의해 각각 생성되어, 이전 제 1 필드 데이터의 휘도 값 (931), 현재 제 1 필드 데이터의 휘도 값 (932), 현재 제 2 필드 데이터의 휘도 값 (933) 및 이전 제 2 필드 데이터의 휘도 값 (934) 을 처리한다. Each of which is produced respectively by the four absolute difference sum calculator 940, before the first luminance value 931 the luminance value of the current first field data, the luminance value (932), the current second field data of the field data ( 933) and the previous second processes the luminance value 934 of the field data. 메트릭을 정의하는 덧셈에 있어서, 용어 "값(i,j)" 는 위치 i, j 에 있는 휘도 값을 의미하고, 활성 화소 전부에 대해 덧셈이 이루어지지만, 활성 화소의 중요한 부분집합에 대한 덧셈이 제외되는 것은 아니다. In addition to defining a metric, the term "value (i, j)" is position i, meaning the intensity value in j, and the additive, but the place for the active pixel all, the addition of the relevant subset of the active pixel it is not excluded.

도 10 의 흐름도 (1000) 는 텔레시네된 비디오를 검출하고, 이를 역 텔레시네하여 원래 스캔된 필름 이미지로 복원하는 프로세스를 도시하는 상세한 흐름도이다. A flow chart 1000 of Figure 10 is a detailed flow diagram illustrating a process of detection, and this reverse telecine to restore to the original scan the film image to the telecine video. 단계 1030 에서, 도 9 에 정의된 메트릭이 평가된다. In step 1030, a metric is defined in Figure 9 are evaluated. 단계 1083 으로 진행하여, 4 개의 메트릭의 하부 포락선 값을 찾는다. The process advances to step 1083, looking for the lower envelope values ​​of four metrics. SAD 메트릭의 하부 포락선은 동적으로 결정되는 양으로서, 최고 수치 플로어 (numerical floor) 이며, 그 아래에서 SAD 는 관통하지 않는다. A lower envelope of the SAD metric is an amount that is dynamically determined, the highest level floor (numerical floor), SAD does not penetrate under it. 단계 1085 로 진행하고, 아래의 식 (5) 내지 식 (10) 에서 정의되는 분기 정보를 결정하여, 이전에 결정된 메트릭, 하부 포락선 값 및 실험적으로 결정된 상수 A 를 이용할 수 있다. Proceeds to step 1085, and determines the branch information, which is defined in equation (5) to (10) below, it is possible to use the constant A is determined as the metric previously determined, the lower envelope value and the experimentally. 연속적인 위상 값이 일치하지 않을 수도 있으므로, 단계 1087 에서 이러한 외관상 불안정을 줄이기 위해 양 Δ 가 결정된다. The successive phase values ​​so do not necessarily, the amount Δ is determined in step 1087 in order to reduce this apparent instability. 그 위상은, 위상 결정 시퀀스가 도 7 에 도시된 당해 모델과 일치하는 경우에, 일치하는 것으로 생각된다. The phase, when the phase decision sequence matches the art model shown in Figure 7, it is considered as matching. 그 단계 다음에, 프로세스는 단계 1089 로 진행하여, 현재 Δ 값을 이용하여 결정 변수를 계산한다. In that step, then the process proceeds to step 1089, and calculates a decision variable using a current value Δ. 결정 변수 계산기 1089 는 유도되어 1080 의 블록에서 생성된 모든 정보를 이용하여 결정 변수를 평가한다. Determining variable calculator 1089 evaluates the decision variable is derived using all of the information generated by the block 1080. 단계 1030, 단계 1083, 단계 1085, 단계 1087 및 단계 1089 는 도 6 의 메트릭 결정 (651) 의 확장이다. Step 1030, Step 1083, Step 1085, Step 1087 and Step 1089 is an extension of the decision metric 651 of FIG. 이들 변수로부터, 위상 선택기 (1090) 에 의해 적용 가능한 위상이 구해진다. From these variables, is obtained, as applicable by a phase selector 1090 phase. 도시된 것과 같이, 결정 단계 1091 는 적용 가능한 위상을 이용하여, 텔레시네된 비디오를 역 텔레시네하거나 디인터레이싱한다. As shown, step 1091 is determined using the phase applicable, the de-interlacing reverse telecine or the telecine video. 이는 도 4 의 위상 검출기 (404) 동작의 보다 명시적인 표현이다. This is more explicit expression of the phase detector 404, the operation of FIG. 일 양태에서, 도 10 의 처리는 도 4 의 위상 검출기 (404) 에 의해 수행된다. In one aspect, the process of Figure 10 is performed by the phase detector 404 of FIG. 단계 1030 에서 시작하여, 위상 검출기 (404) 는 도 8 을 참조하여 상술한 프로세스에 의해 복수의 메트릭을 결정하고, 단계 1083, 단계 1085, 단계 1087, 단계 1089, 단계 1090, 및 단계 1091 을 걸쳐 진행한다. Beginning at step 1030, proceeds the phase detector 404 is configured to determine a plurality of metrics by the above-described process with reference to FIG. 8, step over the 1083, step 1085, step 1087, step 1089, step 1090, and steps 1091 do.

흐름도 (1000) 는 현재 위상을 추정하는 프로세스를 도시한다. Flow diagram 1000 illustrating a process of estimating the phase current. 단계 1083 에서의 흐름도는 결정된 메트릭 및 하부 포락선 값을 이용하여 분기 정보를 계산하는 것을 설명한다. In step 1083 of the flow chart explains that for calculating the branch information using the determined metrics and lower envelope values. 분기 정보는 상술한 유클리드 거리로서 인식될 수도 있다. Branch information may be recognized as the aforementioned Euclidean distance. 분기 정보를 생성하는데 이용될 수도 있는 예시적인 식은 아래의 식 (5) 내지 식 (10) 이다. It is formula (5) to (10) of an exemplary equation which may be used to generate the branch information below. 분기 정보 양은 도 12 의 블록 (1209) 에서 계산된다. Branch information amount is calculated in block 1209 of Figure 12.

처리된 비디오 데이터는 예를 들어, 프로세서에 접속된 디스크 타입 저장 매체 (예를 들어, 자기식 또는 광학식) 또는 칩 구성된 저장 매체 (예를 들어, ROM, RAM) 를 포함할 수 있는 저장 매체에 저장될 수 있다. The processed video data are, for example, storing the disk-type storage medium coupled to the processor (e.g., magnetic or optical) or a chip configured storage medium in a storage medium, which may include (e.g., ROM, RAM) It can be. 몇몇 양태에서, 역 텔레시네 (406) 및 디인터레이서 (405) 는 각각 저장 매체의 일부 또는 전부를 포함할 수 있다. In some embodiments, the inverse telecine 406 and the deinterlacer 405 may comprise a portion or all of each of the storage media. 분기 정보 양은 다음 식에 의해 정의된다. Branch information amount is defined by the following expression.

Figure 112008076058963-pct00002

Figure 112008076058963-pct00003

분기 계산의 구체적인 상세는 도 12 의 분기 정보 계산기 (1209) 에 도시되어 있다. Specific details of the branch calculation is shown in branch information calculator 1209 of Fig. 계산기 (1209) 에 도시된 바와 같이, 분기 정보를 전개하는 것은, SAD FS 및 SAD SS 의 하부 포락선 값인 L S , SAD PO 의 하부 포락선 값인 L P , 및 SAD CO 의 하부 포락선 값인 L C 와 같은 양들을 이용한다. As illustrated in the converter 1209, it is to deploy the branch information, SAD FS and SAD SS lower envelope value L S, an amount such as L P, and the lower envelope value L C of the SAD CO lower envelope value of the SAD PO of utilize. 하부 포락선들은 분기 정보 계산 시 거리 오프셋으로서 이용되거나, 단독으로 이용되거나, 또는 미리 결정된 상수 A 와 함께 이용되어, H S , H P 및 H C 를 생성한다. Lower envelope are branch information when calculating or used as the offset distance, is used in conjunction with, or used alone, or a predetermined constant A, and generates the H S, H and P H C. 그 값들은 아래에서 설명되는 하부 포락선 추적기에 최신 값으로 유지된다. The values ​​are held by the lower envelope tracker, described below with the latest values. H 오프셋은 다음과 같이 정의된다. H offset is defined as:

Figure 112008076058963-pct00004

L S , L P 및 L C 의 값들을 추적하는 프로세스는 도 13a, 도 13b 및 도 13c 에 표현된다. The process of tracking the value of S L, L P and L C is represented in Figure 13a, Figure 13b and Figure 13c. 예를 들어, 도 13a 의 상부에 도시된 L P 에 대한 추적 알고리즘 (1300) 을 고려하자. For example, consider a tracking algorithm 1300 for the L P shown at the upper portion in Fig. 13a. 메트릭 SAD PO 는 비교기 (1305) 에서 현재 L P 값과 임계값 T P 를 더한 것과 비교된다. PO SAD metric is compared to the current value of L P and the threshold value plus the T P from the comparator 1305. 메트릭 SAD PO 가 초과하는 경우에, 블록 1315 에 도시된 바와 같이, 현재 L P 값은 변하지 않는다. If the SAD metric is greater than PO, the current value P L, as shown in block 1315 is not changed. 메트릭 SAD PO 가 초과하지 않는 경우에, 블록 1313 에 도시된 바와 같이, 새로운 L P 값은 SAD PO 및 L P 의 선형 조합으로 된다. If SAD metric PO has not exceeded, the new value P L, as shown in block 1313 is a linear combination of the SAD PO and L P. 블록 1315 에 대한 다른 양태에서, 새로운 L P 값은 L P + T P 이다. New L P value In another embodiment of the block 1315 is a L P T + P.

이와 유사하게, 도 13b 및 도 13c 의 양들 L S 및 L C 가 계산된다. Similarly, Figure 13b is calculated, and the sheep in Figure 13c L S and L C. 동일 기능을 갖는 도 13a, 도 13b 및 도 13c 의 처리 블록은 동일한 번호이지만 프라임 (' 또는 ") 이 부여되어, 상이한 변수 세트에 대해 작용한다는 것을 나타낸다. 예를 들어, SAD PO 및 L C 의 선형 조합이 형성되는 경우에, 그 동작은 블록 1313' 에 도시되어 있다. L P 의 경우에서와 같이, 1315' 에 대한 다른 양태는 L C 를 L C + T C 로 대체할 것이다. Processing block of Figure 13a, Figure 13b and 13c having the same function are given the same number, but the prime ( 'or'), indicates that act on the different set of variables. For example, linear in the SAD PO and L C in the case where the combination is formed, the operation 'is shown in. as in the case of the P L, 1315, block 1313, another aspect of the is to be substituted for the L C with L C T + C.

그러나, L S 의 경우에, 도 13b 의 알고리즘은 교대로 SAD PS 와 SAD SS 를 처리하여, 각각의 X 를 라벨링하는데, 그 이유는 이러한 하부 포락선이 양쪽 변수에 적용되기 때문이다. However, in the case of S L, the algorithm of the Fig. 13b is to alternately process the SAD and the SAD PS SS, to label the each of the X, because these lower envelope is applied to both variables. 블록 1308 내의 현재 SAD FS 값이 블록 1303 에서 X 에 대한 위치로 판독된 다음에, 블록 1307 내의 현재 SAD SS 값이 블록 1302 에서 X 에 대한 위치로 판독될 때, SAD FS 및 SAD SS 값의 교번이 발생한다. Next, the current SAD FS value in the block 1308, the read-out at block 1303 to the position for the X, the alternation when the current SAD SS value in the block 1307 to be read as the location for X in block 1302, SAD FS and SAD SS value Occurs. L P 에 대한 경우에서와 같이, 1315" 에 대한 다른 양태는 L S 를 L S + T S 로 대체할 것이다. 현재 하부 포락선 값 테스트 시 이용되는 임계값 및 양 A 는 실험에 의해 미리 결정된다. As in the case of the L P, another aspect of the 1315 "will be substituted for the L S to L S + T S. Threshold and the amount A which is used when the current lower envelope value test is predetermined by experiment.

도 11 은 도 10 의 단계 1089 를 수행하는 예시적인 프로세스를 도시한 흐름도이다. 11 is a flow chart illustrating an exemplary process for performing the step 1089 of Fig. 도 11 은 일반적으로 결정 변수를 갱신하는 프로세스를 도시한다. Figure 11 illustrates a general process for updating the decision variable. 메트릭으로부터 유도된 새로운 정보에 따라 6 개의 결정 변수 (6 개의 가능한 결정에 대응함) 가 갱신된다. According to the new information derived from the metric it is updated six decision variables (corresponding to the six possible decision). 결정 변수는 다음과 같이 구해진다. Decision variable is obtained as follows.

Figure 112008076058963-pct00005

양 α 는 1 보다 작고, 자신의 과거 값들에 대한 결정 변수의 의존성을 제한하는데, α 의 이용은 그 데이터가 오래됨에 따라 각각의 유클리드 거리의 영향을 줄이는 것과 등가이다. Both α is less than 1, to limit the dependency of the decision variables on their past values, the use of α is equivalent to reducing the effects of each of the Euclidean distances in accordance with the data is out of date. 흐름도 (1162) 에서, 갱신될 결정 변수는 라인 (1101, 1102, 1103, 1104, 1105 및 1106) 상에서 이용 가능한 것으로서 왼쪽에 기재되어 있다. In flowchart 1162, the decision variable is updated is described in the left as available on the line (1101, 1102, 1103, 1104, 1105 and 1106). 그 다음에, 위상 전이 경로 중 하나의 위상 전이 경로 상의 각각의 결정 변수를 블록 (1100) 중 하나에서 1 보다 작은 숫자인 α 로 곱한 다음에, 오래된 결정 변수의 감쇠된 값을 감쇠된 결정 변수가 존재하였던 위상 전이 경로 상의 다음 위상에 의해 인덱싱된 분기 정보 변수의 현재 값에 더한다. Then, in the following phase transition multiplied by the respective decision variables on one phase transition paths of the paths in one of the block 1100 by a number less than 1 α, the attenuation of the attenuation values ​​determined variables of the old decision variables added to the current value of the variable indexed by the branch information, and then the phase on the phase transition exists who path. 이는 블록 (1110) 에서 일어난다. This occurs at block 1110. 변수 D 5 는 블록 (1193) 에서 양 Δ 만큼 오프셋되고, Δ 는 블록 (1112) 에서 계산된다. Variable D 5 is offset by an amount Δ in block (1193), Δ is calculated in block 1112. 아래에서 설명하는 바와 같이, 그 양은 본 시스템에 의해 결정된 위상 시퀀스의 불일치를 줄이도록 선택된다. As described below, the amount is selected to reduce the mismatch in phase sequence determined by the present system. 블록 (1120) 에서 가장 작은 결정 변수가 구해진다. The smallest decision variable is obtained at block 1120.

요약하면, 각각의 결정에 고유한 새로운 정보가 α 로 곱해진 적당한 결정 변수의 이전 값에 더해져서, 현재 결정 변수의 값을 얻는다. In summary, the new information that is unique to each decision summed to the previous value of the appropriate decision variables multiplied by α, to obtain the value of the current decision variable. 새로운 메트릭을 제어할 수 있을 때에 새로운 결정을 내릴 수 있으므로, 본 기술은 모든 프레임마다 필드 1 및 2 의 수신 시 새로운 결정을 내릴 수 있다. Can make a new decision when to control the new metric, the techniques may make a new decision on receipt of the fields 1 and 2 every frame. 이들 결정 변수는 상술한 유클리드 거리의 합이다. The decision variable is a sum of the aforementioned Euclidean distance.

적용 가능한 위상은 가장 작은 결정 변수의 아래첨자를 갖는 것이 되도록 선택된다. Applicable phase is selected to be one having a subscript of the smallest decision variable. 결정 변수에 기초한 결정은 도 10 의 블록 1090 에서 명시적으로 행해진다. Is determined based on the decision variable is explicitly made in block 1090 of Figure 10. 어떤 결정이 결정 공간에서 허용된다. Decide what is acceptable in the decision space. 블록 1091 에서 설명된 바와 같이, 이들 결정은, (ⅰ) 적용 가능한 위상이 P5 가 아니고 (비디오의 역 텔레시네), (ⅱ) 적용 가능한 위상이 P5 이다 (비디오의 디인터레이싱) 라는 것이다. As it described in block 1091, and these decisions, is that (ⅰ) is not a phase P5 is applicable (the video inverse telecine), (ⅱ) phase P5 is applicable (the de-interlacing of video).

본질상 가변인 비디오로부터 메트릭이 도출되기 때문에, 결정의 코히런트 스트링에서 때때로 에러가 존재할 수도 있다. Since the metric is derived from the variable nature of the video, and may sometimes be an error in the coherent string of the crystal. 이러한 기술은 도 7 과 일치하지 않는 위상 시퀀스를 검출한다. This technique detects the phase sequence does not match Fig. 그 동작은 도 14 에 개략적으로 도시되어 있다. The operation is schematically illustrated in Fig. 알고리즘 (1400) 은 블록 1405 에서 현재 위상 결정의 아래첨자 (=x) 를 저장하고, 블록 1406 에서 이전 위상 결정의 아래첨자 (=y) 를 저장한다. Algorithm 1400 stores the subscript (= x) under the current phase determined at block 1405, and stores the subscript (= y) below the previous phase determined at block 1406. 블록 1410 에서, x=y=5 가 테스트되면, 블록 1411 에서 다음과 같은 값, 즉, If at block 1410, x = y = 5, the test, the following values ​​in the block 1411, that is,

x=1, y=0; x = 1, y = 0; 또는 or

x=2, y=1; x = 2, y = 1; 또는 or

x=3, y=2; x = 3, y = 2; 또는 or

x=4, y=3; x = 4, y = 3; 또는 or

x=0, y=4 인지 여부가 테스트된다. if x = 0, y = 4 a determination is tested. 2 개의 테스트 중 어느 한쪽이라도 긍정적이면, 블록 1420 에서 일치하는 것으로 결정이 선언된다. If the two least either one of the two positive test, a determination is declared as a match at block 1420. 어느 한쪽도 긍정적이지 않으면, 도 11 의 블록 1193 에 도시되어 있는 오프셋이 도 15 에서 계산되어, P 5 와 연관된 결정 변수인 D 5 에 추가된다. If any one is also not positive, it is calculated from the offset which is illustrated in block 1193 of Figure 11 Figure 15, is added to the decision variable associated with D 5 P 5.

또한, 도 15 에서 D 5 에 대한 수정은 프로세스 (1500) 의 일부로서 나타나고, 이 프로세스 (1500) 는 위상 시퀀스의 불일치에 대한 교정 액션을 제공한다. In addition, Figure 15 modification to the D 5 appears as part of the process 1500, the process 1500 provides a correction action for the mismatch of phase sequences. 흐름도 (1500) 의 블록 1510 에서 일치성 테스트가 실패한 것으로 가정하자. Let's assume that the consistency test in block 1510 of flowchart 1500, failed. 블록 1510 에서 시작하는 "아니오" 분기를 따라 진행하여, 블록 1514 의 다음 테스트는 모든 i < 5 에 대해 D 5 > D i 인지 여부, 또는 다른 방법으로는 변수 D i (i < 5) 중 적어도 하나가 D 5 보다 큰지 여부에 관한 것이다. Proceeds along the "No" branch, starting at block 1510, block 1514 and then testing all i whether D i <D 5 for the 5>, or alternatively, at least one of the parameters D i (i <5) of the present invention relates to whether or not greater than D 5. 첫 번째 경우가 유효하면, 블록 1516 에서, δ 0 를 초기값으로 갖는 파라미터 δ 가 3δ 0 로 변경된다. If the first case, effective is changed in block 1516, a parameter δ with δ 0 as the initial value to 0 3δ. 두 번째 경우가 유효하면, 블록 1517 에서 δ 는 4δ 0 로 변경된다. If both are valid the second case is changed from the block 1517 is a δ 4δ 0. 블록 152B 에서, Δ 의 값은 Δ B 로 갱신되는데, 여기서, In block 152B, the value of Δ is Δ there is updated to B, where

Figure 112008076058963-pct00006

다시 블록 1510 으로 리턴하여, 결정 스트링이 일치하는 것으로 판정된 것으 로 가정하자. Again by returning to block 1510, it is assumed in the geoteu determined that the determined string matching. 블록 1515 에서, 파라미터 δ 는 다음과 같이 정의되는 δ + 로 변경된다. In block 1515, parameter δ is changed to + δ is defined as follows:

Figure 112008076058963-pct00007

블록 152A 에서, 새로운 δ 값이 Δ 에 대한 갱신 관계인 Δ A 내에 삽입된다. At block 152A, the new value of δ is inserted into the updated relationship for Δ Δ A. 이는 다음과 같이 기재된다. This is described as follows.

Figure 112008076058963-pct00008

그 다음에, 블록 1593 에서, 갱신된 Δ 값이 결정 변수 D 5 에 더해진다. Then, added to the at block 1593, a determination variable updated value Δ D 5.

도 16 은 일단 풀 다운 위상이 결정되면 역 텔레시네 프로세스가 진행되는 방법을 도시한다. Figure 16 once the pull-down phase a determination showing how the reverse telecine process. 이러한 정보를 이용하여, 필드 (1605 및 1605') 는 동일 비디오 필드를 나타내는 것으로서 식별된다. Using this information, a field (1605 and 1605 ') is identified as representing the same video field. 2 개의 필드는 서로 평균되고, 필드 (1606) 와 조합되어, 프레임 (1620) 을 재구성한다. Two fields is the average with each other, in combination with field 1606 to reconstruct the frame (1620). 재구성된 프레임은 참조 부호가 1620' 이다. The reconstructed frame is the 1620 "reference numerals. 이와 유사한 프로세스가 프레임 (1622) 을 재구성할 것이다. A similar process will reconstruct a frame (1622). 프레임 (1621 및 1623) 으로부터 유도된 필드는 복제되지 않는다. A field derived from the frame (1621 and 1623) is not replicated. 이들 프레임은 제 1 프레임과 제 2 프레임을 함께 조합하여 재구성된다. The frame is reconstructed by combining together a first frame and second frame.

상술한 양태에서, 새로운 프레임이 수신될 때마다, 4 개의 새로운 메트릭 값이 구해지고, 6 겹의 가설 세트가 새로 계산된 결정 변수를 이용하여 테스트된다. In the above aspect, each time a new frame is received, is obtained with four new metric values, a hypothetical set of six layers is tested by using the newly calculated decision variable. 다른 처리 구조는 결정 변수를 계산하도록 적응될 수 있다. Another processing structure may be adapted to calculate a decision variable. 비터비 디코더는 경로 메트릭을 형성하도록 함께 경로를 구성하는 분기의 메트릭을 더한다. Viterbi decoder adds metric of the branch constituting the paths together to form the path metrics. 여기서 정의된 결정 변수는 유사한 규칙에 의해 형성되는데, 각각은 새로운 정보 변수의 "리키 (leaky)" 합이다. The decision variables defined herein are formed by the similar rules, each of which is a sum "leaky (leaky)" new information variables. (리키 합에 있어서, 결정 변수의 이전 값은 새로운 정보 데이터가 더해지기 전에 1 보다 작은 숫자로 곱해진다.) 비터비 디코더 구조는 이러한 절차의 동작을 지원하도록 수정될 수 있다. (In sum, Ricky, the previous value of the decision variable is multiplied by a number less than 1 before the addition of new information data.) The Viterbi decoder structure may be modified to support the operation of these procedures.

본 양태는 1/30 초마다 새로운 프레임이 나타나는 통상의 비디오를 처리하는 관점에서 설명되지만, 이러한 프로세스는 시간상 역방향으로 기록 및 처리되는 프레임에 적용될 수도 있다. This aspect is described in terms of conventional video processing to a new frame that appears every 1/30 second, these processes may be applied to the frame to be recorded and processed in time reverse. 그 결정 공간은 동일 상태를 유지하지만, 입력 프레임 시퀀스의 시간 반전을 나타내는 중요치 않은 변화가 존재한다. The decision space is a non-critical change exists that indicates the time reversal of maintaining the same conditions, but the input frame sequence. 예를 들어, (여기에 도시된) 시간 반전된 모드로부터의 코히런트 텔레시네 결정의 스트링인, For example, the coherent string of coherent telecine decision from (shown here), the time the inverted mode,

P 4 P 3 P 2 P 1 P 0 P 4 P 3 P 2 P 1 P 0

또한 시간상 반전될 것이다. It will also be reversed in time.

제 1 양태에 대한 이러한 변형을 이용하면, 결정 프로세스가, 성공적인 결정 수행 시, 2 회의 시도 (한 번의 시도는 시간상 순방향이며, 다른 한 번의 시도는 시간상 역방향임) 를 할 수 있다. With this modification to the first embodiment, the two trials in performing the determination process, it is possible to successfully determine the (a trials is forward in time, other attempts are being backward in time). 2 회의 시도가 독립적이지 않은 동안에는, 각각의 시도가 상이한 순서로 메트릭을 처리하도록 상이할 것이다. While two trials did not independent, it will be different each attempt to process the metrics in a different order.

이러한 사상은 부가물 (additional) 을 요구할 수도 있는 미래의 비디오 프레임을 저장하도록 유지된 버퍼와 관련하여 적용될 수 있다. This idea can be applied in relation to the holding buffer to store a future video frames of which may require the addition of water (additional). 일 비디오 세그먼트가 순방향 처리에 있어서 허용할 수 없을 정도로 일치하지 않는 결과를 주는 것으로 판정되면, 그 절차는 버퍼로부터 미래의 프레임을 도출하고, 역방향으로 프레임을 처리함으로써 난해한 비디오 스트레치를 해결하려는 시도를 할 것이다. One is video segment if it is judged that the inconsistent results beyond acceptable in the forward processing, the procedure to attempt to derive a future frame from the buffer, and correct the difficult video stretch by processing a frame in the reverse direction will be.

또한, 본 출원에서 설명된 비디오의 처리는 PAL 포맷의 비디오에 적용될 수 있다. In addition, the processing of the video described in the present application may be applied to the video of the PAL format.

디인터레이서 Deinterlacers

본원에서 이용되는 "디인터레이서" 는 광의의 용어로서, 전체적으로 또는 상당 부분 인터레이싱된 멀티미디어 데이터를 처리하여 순차 멀티미디어 데이터를 형성하는 디인터레이싱 시스템, 디바이스, 또는 프로세스 (예를 들어, 프로세스를 수행하도록 구성된 소프트웨어, 펌웨어, 또는 하드웨어를 포함함) 를 설명하는데 이용될 수 있다. "Deinterlacer" is used herein as a term in a broad sense, the whole or a substantial portion interlacing the de-interlacing system, device, or process of forming a sequence of multimedia data by processing multimedia data (e.g., software configured to carry out the process, to explain including firmware, or hardware) it may be used.

비디오 카메라나 방송 스튜디오 등에서 통상적으로 생성되는 방송 비디오는 미국의 NTSC 표준에 따른다. Broadcast video that is conventionally generated by a video camera or broadcast studios, etc. are subject to the US NTSC standard. 비디오를 압축하는 일반적인 방법은 비디오를 인터레이싱하는 것이다. Common methods for compressing video is that the video interlacing. 인터레이싱된 데이터에 있어서, 각각의 프레임은 2 개 필드 중 하나의 필드로 이루어진다. In the interlaced data, each frame is composed of one field of the two fields. 한 필드는 프레임의 홀수 라인으로 이루어지고, 다른 필드는 프레임의 짝수 라인으로 이루어진다. One field comprises the odd lines of the frame, the other field is made up of the even lines of the frame. 프레임이 약 30 프레임/초로 생성되는 동안에, 필드는 1/60 초 떨어져 있는 텔레비전 카메라의 이미지의 레코드이다. While the frame is produced from about 30 frames / second, the field is the record of the image of a television camera in 1/60 of a second apart. 인터레이싱된 비디오 신호의 각 프레임은 하나 걸러서 이미지의 수평 라인을 나타낸다. Each frame of the inter-racing video signal every other one represents a horizontal line of the image. 프레임이 화면 상에 투영될 때, 비디오 신호는 짝수 라인과 홀수 라인 사이에서 교번한다. When a frame is projected onto a screen, a video signal will alternate between even lines and odd lines. 이러한 것이 충분히 빨리, 예를 들어, 약 초당 60 프레임으로 행해질 때, 비디오 이미지는 사람 눈에 매끄럽게 보인다. This is fast enough, for example, when carried out at about 60 frames per second, the video image appears smooth to the naked human eye.

인터레이싱은 NTSC (미국) 및 PAL (유럽) 포맷에 기초하는 아날로그 텔레비 전 방송에서 수십년 동안 이용되고 있다. Interlacing has been used for decades in an analog television broadcasting based on the NTSC (USA) and PAL (European) format. 이미지의 절반만을 각각의 프레임으로 송신하면 되므로, 인터레이싱된 비디오는 전체 영상을 송신하는 경우보다 대략 절반의 대역폭을 이용하게 된다. If so sends only half of the image in each frame, the interlaced video is to use a bandwidth of approximately half the case of transmitting the entire image. 단말기 (160) 내부에서의 결과로서 생성된 비디오의 디스플레이 포맷은 반드시 NTSC 호환성이 있는 것은 아니며, 인터레이싱된 데이터를 쉽게 표시할 수 없다. Terminal 160, the display format of the video generated as a result of the inside it is not necessarily compatible with the NTSC, it is not possible to easily display the interlaced data. 그 대신에, 최신 화소 기반 디스플레이 (예를 들어, LCD, DLP, LCOS, 플라즈마 등) 는 순차 스캔되어, 순차 스캔된 비디오 소스를 표시한다 (그런데, 다수의 구형 비디오 디바이스는 구형의 인터레이싱된 스캔 기술을 이용함). Instead, the latest pixel-based display (e.g., LCD, DLP, LCOS, plasma, etc.) are sequentially scanned to display a sequentially scanned video source (By the way, a number of older video device is an interlaced scan of spherical utilizing the technology). 몇몇 일반적으로 이용되는 디인터레이싱 알고리즘의 예는 "Scan rate up-conversion using adaptive weighted median filtering," P. Haavisto, J. Juhola, and Y. Neuvo, Signal Processing of HDTV Ⅱ , pp. Some examples of general de-interlacing algorithm that is used by the "Scan rate up-conversion using adaptive weighted median filtering," P. Haavisto, J. Juhola, and Y. Neuvo, Signal Processing of HDTV Ⅱ, pp. 703-710, 1990, and "Deinterlacing of HDTV Images for Multimedia Applications," R. Simonetti, S. Carrato, G. Ramponi, and A. Polo Filisan, in Signal Processing of HDTV Ⅳ , pp. 703-710, 1990, and "Deinterlacing of HDTV Images for Multimedia Applications," R. Simonetti, S. Carrato, G. Ramponi, and A. Polo Filisan, in Signal Processing of HDTV Ⅳ, pp. 765-772, 1993 에 설명되어 있다. 765-772, is described in 1993.

이하, 디인터레이싱의 성능을 개선하는데 단독으로 또는 조합하여 이용될 수 있으며, 디인터레이서 (405; 도 4) 에서 이용될 수 있는 시스템 및 방법에 대한 디인터레이싱 양태의 예를 설명한다. Below, it can be used alone or in combination to improve the performance of the de-interlacing and, deinterlacer; will be described an example of a de-interlacing mode for systems and methods that can be used in the (405 FIG. 4). 그러한 양태는 공간-시간 필터링을 이용하여 선택된 프레임을 디인터레이싱함으로써 제 1 임시 디인터레이싱된 프레임을 결정하는 것, 양방향 모션 추정 및 모션 보상을 이용하여 선택된 프레임으로부터 제 2 임시 디인터레이싱된 프레임을 결정하는 것, 또한 제 1 및 제 2 임시 프레임을 조합하여 최종 순차 프레임을 형성하는 것을 포함할 수 있다. Such aspect is space to determine the second temporary The de-interlacing the frame from to using a time filter determines a first temporary The de-interlacing the frame by interlacing the selected frame, the frame selected by using the bidirectional motion estimation and motion compensation, and the combination of the first and second temporary frame may include forming the end-sequential frames. 공간-시간 필터 링은 수평 또는 근방의 수평 에지의 블러링을 방지하는 수평 에지 검출기를 포함할 수 있는 Wmed (weighted median) 필터를 이용할 수 있다. Space-time filtering may utilize Wmed (weighted median) filter, which may include a horizontal edge detector for preventing the blurring of the horizontal edge in the horizontal or in the vicinity. "현재" 필드에 인접한 이전 및 후속 필드의 공간-시간 필터링은 예를 들어, 정적, 슬로우-모션, 및 패스트 모션과 같은 상이한 모션 레벨로 선택된 프레임의 일부를 분류하는 세기 모션-레벨 맵을 생성한다. Space of the previous and subsequent fields adjacent to the "current" field-time filter, for example, static and slow-to produce a level map-Century motion classifying a portion of the selected frame to the motion, and a different motion at the same level as the fast-motion .

몇몇 양태에서, 세기 맵은 5 개의 인접한 필드 (2 개의 이전 필드, 현재 필드, 및 2 개의 다음 필드) 로부터의 화소를 포함한 필터링 애퍼처를 이용하여 Wmed 필터링에 의해 생성된다. In some embodiments, the intensity map is generated by Wmed filtered using a filter aperture including pixels from the five adjacent fields (two fields before the current field, and the next two fields). Wmed 필터링은 장면 전환 및 출몰하는 대상을 효과적으로 다룰 수 있도록 순방향, 역방향, 및 양방향 정적 영역 검출을 결정할 수 있다. Wmed filter may determine the forward, backward, and bi-directional static area detection to effectively deal with the subject of the scene change and retracting. 여러 양태에서, Wmed 필터는 필드 간 (inter-field) 필터링 모드에서 동일 패리티를 갖는 하나 이상의 필드에 걸쳐 이용될 수 있고, 임계값 기준을 미조정 (tweak) 함으로서 필드 내 (intra-field) 필터링 모드로 전환될 수 있다. In various aspects, Wmed filter field inter (inter-field) may be used over one or more fields having the same parity in the filtering mode, the threshold value based on unadjusted (tweak) by intra-field (intra-field) filtering mode to be converted. 몇몇 양태에서, 모션 추정 및 보상은 루마 (화소의 세기나 밝기) 및 크로마 데이터 (화소의 컬러 정보) 를 이용하여, 선택된 프레임의 디인터레이싱 영역을 개선하는데, 밝기 레벨은 거의 균일하지만 컬러는 상이하다. In some aspects, motion estimation and compensation is to improve the de-interlacing area of ​​the selected frame, using the luma (intensity or brightness of a pixel) and chroma data (color information of the pixel), the brightness level is substantially uniform but the color is different. 디노이징 필터는 모션 추정의 정확도를 증가시키는데 이용될 수 있다. Denoising filter may be used to increase the accuracy of motion estimation. Wmed 디인터레이싱된 임시 프레임에 디노이징 필터를 적용하여, Wmed 필터링에 의해 생성된 에일리어스 아티팩트를 제거할 수 있다. Wmed by applying a denoising filter for de-interlacing a temporary frame, it is possible to remove the aliasing artifact generated by Wmed filter. 아래에서 설명되는 디인터레이싱 방법 및 시스템은 양호한 디인터레이싱 결과를 생성하며 비교적 낮은 계산 복잡도를 가지므로, 고속으로 실행되는 디인터레이싱 구현을 허용함으로써, 그러한 구현을 디스플레이를 이용하는 휴대 전화, 컴퓨터 및 다른 타입의 전자 또는 통신 디바이스에 데이터를 제공하는데 이용되는 시스템을 비롯한 다양한 디인터레이싱 애플리케이션에 적합하게 만든다. De-interlacing method described below and the system creates a favorable deinterlacing result is relatively so low computational complexity of, by allowing de-interlacing implemented executed at a high speed, mobile phones, computers and other types of electronic or communication of such an implementation using a display making it suitable for a variety of applications, including de-interlacing system that is used to provide data to the device.

본원에서, 디인터레이서 및 디인터레이싱 방법의 양태는 멀티미디어 데이터를 디인터레이싱하는데 이용되는 여러 컴포넌트, 모듈 및/또는 단계를 참조하여 설명된다. As used herein, aspects of the deinterlacer and the de-interlacing method is described with reference to several components, modules and / or step used to de-interlacing the multimedia data.

도 17 은 도 4 의 디인터레이서 (405) 로서 이용될 수 있는 디인터레이서 (1700) 의 일 양태를 도시한 블록도이다. 17 is a block diagram showing an aspect of a deinterlacer 1700 that may be used as a deinterlacer 405 of FIG. 디인터레이서 (1700) 는 인터레이싱된 데이터의 적어도 일부를 공간 및 시간 ("공간-시간") 필터링하며 공간-시간 정보를 생성하는 공간 필터 (1730) 를 포함한다. Deinterlacer 1700 inter at least a portion of the racing data area and a time ( "space-time") filtering and space and a spatial filter (1730) for generating time information. 예를 들어, Wmed 는 공간 필터 (1730) 에서 이용될 수 있다. For example, Wmed may be used in the spatial filter (1730). 또한, 몇몇 양태에서, 디인터레이서 (1700) 는 예를 들어, 위너 필터 (Weiner filter) 또는 웨이브렛 축소 필터와 같은 디노이징 필터 (도시생략) 를 포함한다. Furthermore, in some embodiments, the deinterlacer 1700, for example, comprises a Wiener filter denoising filter (not shown), such as (Weiner filter) or wavelet reduction filter. 또한, 디인터레이서 (1700) 는 인터레이싱된 데이터의 선택된 프레임의 모션 추정 및 보상을 제공하며 모션 정보를 생성하는 모션 추정기 (1732) 를 포함한다. In addition, the deinterlacer 1700 comprises providing a motion estimation and compensation of a selected frame of the interlaced data and motion estimator for generating motion information (1732). 결합기 (1734) 는 공간-시간 정보와 모션 정보를 수신 및 조합하여 순차 프레임을 형성한다. Combiner 1734 is space to receive and combine motion information and the time information to form a sequential frames.

도 18 은 디인터레이서 (1700) 의 다른 블록도이다. 18 is an another block diagram of a deinterlacer 1700. 디인터레이서 (1700) 내의 프로세서 (1836) 는 공간 필터 모듈 (1838), 모션 추정 모듈 (1840), 및 결합기 모듈 (1842) 을 포함한다. A processor (1836) in the deinterlacer 1700 includes a spatial filter module (1838), motion estimation module 1840, and a combiner module (1842). 외부 소스 (1848) 로부터의 인터레이싱된 멀티미디어 데이터는 디인터레이서 (1700) 내의 통신 모듈 (1844) 에 제공될 수 있다. Inter lacing the multimedia data from an external source (1848) may be provided to the communication module (1844) within the deinterlacer 1700. 디인터레이서, 및 그 컴포넌트나 단계는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 그 임의의 조합에 의해 구현될 수 있다. Deinterlacer, and the components or steps may be implemented by hardware, software, firmware, middleware, microcode, or any combination thereof. 예를 들어, 디인터레이서는 자립형 컴포넌트이거나, 다른 디바이스의 컴포넌트 내에 하드웨어, 펌웨어, 미들웨어로서 포함되거나, 프로세서 상에서 실행되는 마이크로코드나 소프트웨어에 구현되거나, 또는 그 조합으로 될 수도 있다. For example, the deinterlacer may be a stand-alone component, it is in the other of the device components may be in hardware, firmware, or included as middleware, or implemented in microcode or software running on a processor, or a combination thereof. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에 구현 시, 디인터레이서 작업을 수행하는 프로그램 코드 또는 코드 세그먼트는 저장 매체와 같은 머신 판독가능 매체에 저장될 수도 있다. Software, firmware, middleware or microcode, a code implemented in the program code to perform the tasks deinterlacer or code segments may be stored in a machine readable medium such as storage medium. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램 문장들의 임의의 조합을 표현할 수도 있다. A code segment may represent any combination of a procedure, a function, a subprogram, a program, a routine, a subroutine, a module, a software package, a class, or commands, data structures, or program statements. 코드 세그먼트는 정보, 데이터, 인수, 파라미터, 또는 메모리 콘텐츠를 전달하고/하거나 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수도 있다. A code segment may be coupled to another code segment or a hardware circuit by receiving information, data, arguments, passing the parameters, or memory contents and / or.

수신되는 인터레이싱된 데이터는, 예를 들어, 프로세서 (1836) 에 연결되는 칩 구성된 저장 매체 (예를 들어, ROM, RAM) 또는 디스크 타입 저장 매체 (예를 들어, 자기 또는 광학식) 를 포함할 수 있는 저장 매체 (1846) 내의 디인터레이서 (1700) 에 저장될 수 있다. Received interlacing in which the data is, for example, a chip configured storage medium coupled to the processor 1836 (e.g., ROM, RAM) or a disc-type storage medium can include (e.g., magnetic or optical) which it may be stored in a deinterlacer 1700 in the storage medium (1846). 몇몇 양태에서, 프로세서 (1836) 는 저장 매체의 일부 또는 전부를 포함할 수 있다. In some aspects, the processor 1836 may include any or all of the storage media. 프로세서 (1836) 는 인터레이싱된 멀티미디어 데이터를 처리하여 순차 프레임을 형성하도록 구성되고, 이 순차 프레임은 다른 디바이스 또는 프로세스에 제공된다. Processor 1836 is configured to form a sequential frame by processing the multimedia data, the interlacing, the sequential frames are provided to another device or process.

텔레비전과 같은 통상의 아날로그 비디오 디바이스는 인터레이싱된 방식으로 비디오를 렌더링하는데, 즉, 그러한 디바이스는 짝수 번호를 갖는 스캔 라인 (짝수 필드) 과, 홀수 번호를 갖는 스캔 라인 (홀수 필드) 을 송신한다. Conventional analog video device, such as a television is to render the video as an interlaced manner, that is, such a device transmits the scan lines (odd field) having scan lines (even field) and the odd number having an even number. 신호 샘플링 관점에서, 이는 다음과 같이 설명되는 패턴에서의 공간-시간 서브샘플링과 등가이다. In the signal sampling point of view, this space in the pattern, described as follows: - a time sub-sampling equivalent.

Figure 112008076058963-pct00009

여기서, Θ 는 원래 프레임 영상을 나타내고, F 는 인터레이싱된 필드를 나타내며, ( x, y, n ) 은 각각 화소의 수평, 수직, 및 시간 위치를 나타낸다. Where, Θ denotes an original frame image, F denotes a field interlacing, (x, y, n) represents the horizontal, vertical, and time position of each pixel.

일반성을 잃지 않으면서, n = 0 이 본 개시내용 전체에서 짝수 필드이므로, 식 (23) 은 다음과 같이 단순화될 수 있다. Without loss of generality, n = 0, because it is the even field, throughout this disclosure, the formula (23) can be simplified as follows.

Figure 112008076058963-pct00010

데시메이션 (decimation) 이 수평 방향으로 수행되므로, 서브샘플링 패턴은 다음 n ~ y 좌표에서 표시될 수 있다. Since decimation (decimation) is performed in the horizontal direction, the sub-sampling pattern may be displayed in the next n ~ y coordinates. 도 19 에서, 원 모양과 별 모양 모두는 원래 풀-프레임 영상이 샘플 화소를 갖는 위치를 나타낸다. In Figure 19, both the circular shape and a star shape of the original full-frame image shows a position having a sample pixel. 인터레이싱 프로세스는 원 모양 화소에 영향을 주지 않으면서 별 모양 화소를 데시메이션한다. Interlacing process decimation standing star shaped pixels without affecting the pixels on the circle. 수직 위치를 0 에서부터 인덱싱하므로, 짝수 필드가 상부 필드 (top field) 이고, 홀수 필드가 하위 필드 (bottom field) 인 것에 주목해야 한다. Since indexing the vertical position at zero, and an even field, be noted that the top field (top field), and the odd field bottom field (bottom field).

디인터레이서의 목적은 인터레이싱된 비디오 (필드 시퀀스) 를 인터레이싱되 지 않은 순차 프레임 (프레임 시퀀스) 으로 변환하는 것이다. The purpose of the deinterlacer is to convert an interlaced video (field sequence) the sequence frames that have not been interlacing (frame sequence). 즉, 짝수 필드와 홀수 필드를 보간 (interpolate) 하여 풀-프레임 영상을 "복원" 하거나 생성하는 것이다. That is, the even field and odd field interpolation (interpolate) the pull-to "restore", or generating a frame image. 이는 식 (25) 에 의해 표현될 수 있다. This can be expressed by the equation (25).

Figure 112008076058963-pct00011

여기서, F i 는 손실된 화소에 대한 디인터레이싱 결과를 나타낸다. Here, F i represents a de-interlacing results for the missing pixel.

도 20 은 Wmed 필터링 및 모션 추정을 이용하여 인터레이싱된 멀티미디어 데이터로부터 순차 프레임을 생성하는 디인터레이서의 일 양태의 몇몇 양상을 도시한 블록도이다. 20 is a block diagram illustrating some aspects of one embodiment of the deinterlacer to generate sequential frames from the inter-racing multimedia data using a Wmed filtering and motion estimation. 도 20 의 상부는 현재 필드, 2 개의 이전 필드 (PP 필드 및 P 필드), 및 2 개의 후속 필드 (다음 필드 (Next Field) 및 다음 다음 필드 (Next Next Field)) 로부터의 정보를 이용하여 생성될 수 있는 모션 세기 맵 (2052) 을 도시한다. The upper portion of Figure 20 is the current field, the two previous fields (PP Field and P field), and the two subsequent fields to be generated by using the information from the (next field (Next Field), and then the next field (Next Next Field)) It shows the motion intensity map 2052 can be. 아래에서 더 상세히 설명되는 바와 같이, 모션 세기 맵 (2052) 은 현재 프레임을 2 개 이상의 상이한 모션 레벨로 분류하거나 분할하고, 공간-시간 필터링에 의해 생성될 수 있다. As will be explained in further detail below, the motion intensity map 2052 is the current frame are classified or divided into two or more different motion level, space can be created by the time filter. 아래에서 식 (4) 내지 식 (8) 을 참조하여 설명되는 바와 같이, 몇몇 양태에서는, 모션 세기 맵 (2052) 을 생성하여, 정적 영역, 슬로우-모션 영역, 및 패스트-모션 영역을 식별한다. As will be described below with reference to formula (4) to (8), in some embodiments, and to generate a motion intensity map 2052, the static area, slow-identifies the motion area-motion area, and fast. 예를 들어, Wmed 필터 (2054) 와 같은 공간-시간 필터는 모션 세기 맵에 기초한 기준을 이용하여 인터레이싱된 멀티미디어 데이터를 필터링하고, 공간-시간 임시 디인터레이싱된 프레임을 생성한다. For example, the same room as the Wmed filter (2054) - time filter and filters the interlaced multimedia data using criteria based on the motion intensity map, the space-time, and generates a temporary de-interlacing the frame. 몇몇 양태에서, Wmed 필터링 프로세스는 [-1, 1] 의 수평 근방, [-3, 3] 의 수직 근방, 및 5 개의 인접한 필드의 시간 근방을 수반하고, 이는 도 20 에 도시된 5 개의 필드 (PP 필드, P 필드, 현재 필드, 다음 필드, 다음 다음 필드) 에 의해 표현되며, Z -1 은 일 필드의 지연을 나타낸다. In some embodiments, Wmed filtering process is the five fields as shown in the horizontal neighborhood, [-3, 3] This Figure 20 involves the time near the vicinity of the vertical, and the five adjacent fields, and in the [-1, 1] ( PP field, expressed by P field, a current field, the next field, and then the next field), Z -1 represents a delay of one field. 현재 필드에 대해, 다음 필드와 P 필드는 넌-패리티 필드이고, PP 필드와 다음 다음 필드는 패리티 필드이다. For the current field, a next field and P field is a non-parity field and, PP field and then the next field is a parity field. 공간-시간 필터링에 이용되는 "근방" 은 필터링 동작 동안에 실제 이용되는 필드와 화소의 공간 및 시간 로케이션을 지칭하고, 예를 들어, 도 21 및 도 22 에 도시된 것과 같은 "애퍼처" 로서 나타낼 수 있다. Space-time "near" is used in the filtering is referred to the actual use of the field and the pixel space and time location of that during the filtering operation, for example, be represented as the "aperture" as shown in Fig. 21 and 22 have.

또한, 디인터레이서는 디노이저 (잡음 제거 필터) (2056) 를 포함할 수 있다. In addition, the deinterlacer is dinoyi may comprise a low (noise removal filter) 2056. 디노이저 (2056) 는 Wmed 필터 (2056) 에 의해 생성된 공간-시간 임시 디인터레이싱된 프레임을 필터링하도록 구성된다. Dinoyi that 2056 is a space created by the Wmed filter 2056 is configured to filter the time the temporary de-interlacing the frame. 공간-시간 임시 디인터레이싱된 프레임을 잡음 제거함으로써, 소스 인터레이싱된 멀티미디어 데이터 시퀀스가 백색 잡음에 의해 오염되는 경우에 특히, 후속 모션 검색 프로세스를 보다 정확하게 만든다. Space-time noise by removing the temporary de-interlacing the frame and makes more accurate the subsequent motion search process, in particular, in the case where the source interlaced multimedia data sequence that is contaminated with white noise. 또한, Wmed 영상 내의 짝수 행과 홀수 행 사이의 에일리어스를 적어도 부분적으로 제거할 수 있다. Further, the alias between even rows and odd rows in the Wmed image may be at least partially removed. 디노이저 (2056) 는 또한 아래에서 더 설명되는 웨이브렛 축소 및 웨이브렛 위너 필터를 비롯한 다양한 필터로서 구현될 수 있다. Dinoyi that 2056 may also be implemented as a variety of filters including the further description wavelet reduction and wavelet Wiener filter to be under.

도 20 의 하부는 인터레이싱된 멀티미디어 데이터의 모션 정보 (예를 들어, 모션 벡터 후보, 모션 추정, 모션 보상) 를 결정하는 일 양태를 도시한다. Figure 20 is a bottom illustrating a manner of determining the motion information of the interlaced multimedia data (e.g., motion vector candidates, the motion estimation, motion compensation). 특히, 도 20 은, 선택된 프레임의 모션 보상된 임시 순차 프레임을 생성하는데 이용 된 다음에 Wmed 임시 프레임과 결합되어 결과로서 생성된 "최종" 순차 프레임 (디인터레이싱된 현재 프레임 (2064) 으로서 도시됨) 을 형성하는 모션 추정 및 모션 보상 방식을 도시한다. In particular, Figure 20, is combined with Wmed temporary frame to the next used to generate a motion compensated temporary sequential frame of the selected frame, the "final" sequential frames (shown as a deinterlacing the current frame (2064)) generated as a result It shows a forming motion estimation and motion compensation methods to. 몇몇 양태에서, 인터레이싱된 멀티미디어 데이터의 모션 벡터 (MV) 후보 (또는 추정치) 는 외부 모션 추정기로부터 디인터레이서에 제공되고, 양방향 모션 추정기 및 보상기 (2068; ME/MC) 에 대한 시작 포인트를 제공하는데 이용된다. In some embodiments, there is provided a deinterlacer from inter motion vector (MV) of a racing multimedia data candidate (or estimate) is external motion estimator, two-way motion estimator and compensator (2068; ME / MC) used to provide the starting point for the do. 몇몇 양태에서, MV 후보 선택기 (2072) 는 예를 들어, 디인터레이싱된 이전 프레임 (2070) 내의 블록과 같은 이전 처리된 블록의 MV 와 같이, 처리 중인 블록의 MV 후보에 대한 근방 블록에 대해 이전에 결정된 MV 를 이용한다. In some aspects, MV candidate selector (2072), for example, as in the previous processing, such as blocks in the de-interlacing a previous frame 2070 block MV, to the vicinity of the block to the MV candidate in the block being processed previously determined use the MV. 모션 보상은 이전 디인터레이싱된 프레임 (2070) 및 다음 (예를 들어, 미래) Wmed 프레임 (2058) 에 기초하여 양방향으로 행해질 수 있다. Motion compensation (e.g., future) prior to the de-interlacing the frame 2070 and the following can be done in both directions on the basis of the frame Wmed 2058. 현재 Wmed 프레임 (2060) 및 모션 보상된 (MC) 현재 프레임 (2066) 은 결합기 (2062) 에 의해 병합되거나 결합된다. The present Wmed frame 2060, and motion compensation (MC) a current frame (2066) is coupled or combined by the combiner 2062. 결과로서 생성되는 디인터레이싱된 현재 프레임 (2064), 즉, 순차 프레임은 ME/MC (2068) 에 다시 제공되어, 디인터레이싱된 이전 프레임 (2070) 으로서 이용되고, 또한 예를 들어, 압축 및 디스플레이 단말기로의 송신과 같은 후속 처리를 위해 디인터레이서 외부로 통신된다. Is the current frame (2064) de-interlacing are generated as a result, that is, the sequential frames are provided back to the ME / MC (2068), is used as the de-interlacing a previous frame 2070, and also, for example, to compression and display terminal for further processing, such as transmission is communicated to the outside deinterlacer. 도 20 에 도시된 여러 양태는 아래에서 보다 상세히 설명된다. Various aspects shown in Fig. 20 will be described in more detail below.

도 25 는 멀티미디어 데이터를 처리하여 인터레이싱된 프레임의 시퀀스로부터 순차 프레임의 시퀀스를 생성하는 프로세스 (2500) 를 도시한다. 25 shows a process 2500 for generating a sequence of sequential frames from a sequence of interlaced frames to process multimedia data. 일 양태에서, 순차 프레임은 도 4 에 도시된 디인터레이서 (405) 에 의해 생성된다. In one aspect, the progressive frame is generated by the deinterlacer 405 shown in Fig. 블록 2502 에서, 프로세스 (2500; 프로세스 A) 는 선택된 프레임에 대한 공간-시간 정보를 생성한다. In block 2502, the process (2500; process A) is the space for the selected frame and generates a time information. 공간-시간 정보는 멀티미디어 데이터의 모션 레벨을 분류하여 모션 세기 맵을 생성하는데 이용되는 정보를 포함할 수 있고, Wmed 임시 디인터레이싱된 프레임 및 그 프레임을 생성하는데 이용되는 정보 (예를 들어, 식 (26) 내지 식 (33) 에서 이용되는 정보) 를 포함한다. Space-time information may include information used to generate the motion intensity map, classifying the motion level of the multimedia data, Wmed for temporarily used to produce a de-interlacing the frame and the frame information (for example, formula (26 ) and to (including information) used at 33). 이러한 프로세스는 도 20 의 상부에 도시된 바와 같이, Wmed 필터 (2054) 에 의해 수행될 수 있고, 그 연관된 처리는 아래에서 더 상세히 설명된다. This process, as illustrated in the upper portion of Figure 20, can be performed by Wmed filter (2054), and the associated process is described in further detail below. 도 26 에 도시된 프로세스 A 에서는, 아래에서 더 설명되는 바와 같이, 블록 2602 에서, 영역들은 상이한 모션 레벨의 필드로 분류된다. In a process A shown in Figure 26, in block 2602 as will be described further below, the regions are classified under the different motion field level.

다음에, 블록 2504 (프로세스 B) 에서, 프로세스 2500 는 선택된 프레임에 대한 모션 보상 정보를 생성한다. Next, at block 2504 (the process B), the process 2500 generates a motion compensation information for the selected frame. 일 양태에서, 도 20 의 하부에 도시되어 있는 양방향 모션 추정기/모션 보상기 (2068) 는 이러한 프로세스를 수행할 수 있다. In one aspect, the bi-directional motion estimation / motion compensator (2068) is shown in the lower portion of Figure 20 can perform such a process. 그 다음에, 프로세스 (2500) 는 블록 2506 으로 진행하여, 공간-시간 정보 및 모션 보상 정보에 기초하여 선택된 프레임의 필드를 디인터레이싱함으로써 선택된 프레임과 연관된 순차 프레임을 형성한다. Then, the process 2500 proceeds to block 2506, the space-frame form a sequence associated with the selected frame, by the de-interlacing the fields of the selected frame based on the time information and motion compensation information. 이는 도 20 의 하부에 도시되어 있는 결합기 (2062) 에 의해 수행될 수 있다. This may be done by a coupler 2062 that is shown in the lower portion of FIG.

모션 세기 맵 Motion century map

각각의 프레임에 대해, 상이한 "모션" 의 영역들을 결정하도록 현재 필드에서 화소를 처리함으로써 모션 세기 맵 (2052) 을 결정할 수 있다. By processing the pixels in the current field for each frame, to determine the areas of different "motion" may determine the motion intensity map 2052. 3 개 카테고리의 모션 세기 맵을 결정하는 예시적인 양태는 도 21 내지 도 24 를 참조하여 아래에서 설명된다. 3 an exemplary embodiment of determining the motion intensity map of the category is described below with reference to Figs. 21 to 24. 모션 세기 맵은 동일 패리티 필드 및 상이한 패리티 필드에 서 화소를 비교하는 것에 기초하여 각각의 프레임의 영역을 정적 영역, 슬로우-모션 영역, 및 패스트 모션 영역으로서 지정한다. Motion intensity map is an area of ​​each frame, the static area, slow based on comparing the pixels in the same field parity and a different parity field is specified as the motion region, and a fast-motion area.

정적 영역 Static area

모션 맵의 정적 영역을 결정하는 것은, 일정 화소(들)의 휘도 차이가 일정 기준을 만족하는지 여부를 결정하기 위해 인접 필드의 근방에 있는 화소를 처리하는 것을 포함할 수 있다. Determining the static area of ​​the motion map, it may include the luminance difference between a certain pixel (s) for processing pixels in the vicinity of an adjacent field in order to determine if it meets certain criteria. 몇몇 양태에서, 모션 맵의 정적 영역을 결정하는 것은 5 개의 인접 필드 (현재 필드 (C), 현재 필드에 대해 시간상 이전에 있는 2 개의 필드, 및 현재 필드에 대해 시간상 다음에 있는 2 개의 필드) 의 근방에 있는 화소를 처리하여, 일정 화소(들)의 휘도 차이가 일정 임계값을 만족하는지 여부를 결정하는 것을 포함한다. In some aspects, determining a static region of the motion map 5 of the adjacent field (current field (C), two fields in the temporally next to the two fields, and the current field in a temporally prior to the current field) by processing the pixels in the neighborhood, there is a luminance difference between a certain pixel (s) includes determining whether or not satisfy the predetermined threshold. 이들 5 개의 필드는 도 20 에 도시되어 있고, Z -1 은 일 필드의 지연을 나타낸다. These five fields are illustrated in Figure 20, Z -1 represents a delay of one field. 즉, 통상, 5 개의 인접 필드는 Z -1 의 시간 지연을 갖는 그러한 시퀀스에서 표시될 것이다. That is, normally, five adjacent fields are to be displayed in such a sequence with a time delay Z -1.

도 21 은 몇몇 양태에 따른 공간-시간 필터링에 이용될 수 있는 5 개의 필드 각각의 일정 화소를 식별하는 애퍼처를 도시한다. It shows an aperture for identifying each predetermined pixel five fields that may be used for time filtering space 21 is according to some aspects. 애퍼처는, 왼쪽에서 오른쪽으로, 이전 이전 필드 (PP), 이전 필드 (P), 현재 필드 (C), 다음 필드 (N), 및 다음 다음 필드 (NN) 의 3×3 화소 그룹을 포함한다. Aperture is, from left to right, includes the old previous field (PP), a previous field (P), the current field (C), 3 × 3 pixel group of the next field (N), and then the next field (NN) . 몇몇 양태에서, 현재 필드의 영역은, 식 (26) 내지 식 (28) 에 설명된 기준인, 도 21 에 도시되어 있는 화소 위치 및 그 대응 필드를 만족하는 경우에, 모션 맵에서 정적으로 간주된다. In some embodiments, the region of the current field is, in equation (26) to (28), the criterion, in the case of satisfying the pixel location and a corresponding field that is shown in Figure 21, is regarded as static in the motion map described in .

Figure 112008076058963-pct00012

And

Figure 112008076058963-pct00013

또는 or

Figure 112008076058963-pct00014

여기서, T 1 은 임계값이고, Here, T 1 is a threshold value,

L P 는 P 필드에 위치한 화소 P 의 휘도이고, P L is the luminance of the pixel P in the P field,

L N 은 N 필드에 위치한 화소 N 의 휘도이고, N L is the luminance of the pixel N in the N field,

L B 는 현재 필드에 위치한 화소 B 의 휘도이고, L B is a luminance of the pixel B in the current field,

L E 는 현재 필드에 위치한 화소 E 의 휘도이고, L E is the luminance of the pixel E in the current field,

L BPP 는 PP 필드에 위치한 화소 B PP 의 휘도이고, L BPP is the luminance of the pixel B PP in the PP field,

L EPP 는 PP 필드에 위치한 화소 E PP 의 휘도이고, EPP L is the luminance of the pixel E PP in the PP field,

L BNN 은 NN 필드에 위치한 화소 B NN 의 휘도이며, BNN L is the luminance of the pixel located in the B NN NN field,

L ENN 은 NN 필드에 위치한 화소 E NN 의 휘도이다. ENN L is the luminance of the pixel located in the E NN NN field.

임계값 T 1 은 특정 값으로 미리 결정 및 설정되고, 디인터레이싱 이외의 프로세스에 의해 결정 및 (예를 들어, 디인터레이싱되는 비디오에 대한 메타데이터로 서) 제공되거나, 디인터레이싱 동안에 동적으로 결정될 수 있다. Threshold T 1 is predetermined and set to a specific value, and the decision by a process other than the de-interlacing or provided (e.g., as a meta-data about the de-interlacing video), can be dynamically determined during the de-interlacing.

식 (26), 식 (27), 및 식 (28) 에서 상술한 정적 영역 기준은 적어도 2 가지 이유때문에 통상적인 디인터레이싱 기술보다 많은 필드를 이용한다. Formula 26, formula 27, and a static area on the criteria described above and equation (28) is used in a number of fields than conventional de-interlacing techniques, because at least two reasons. 첫 번째로, 동일 패리티 필드 간의 비교는 상이한 패리티 필드 간의 비교보다 낮은 에일리어스 및 위상-불일치를 갖는다. First, a comparison of the same parity field is low aliasing and phase than the comparison between different parity fields - has a mismatch. 그러나, 처리 중인 필드와 그 가장 인접한 동일 패리티 필드 근방 간의 최소 시간 차 (이에 따른 상관) 는 2 개의 필드로서, 그 상이한 패리티 필드 근방으로부터의 최소 시간 차보다 크다. However, the minimum processing time difference between the field and the most adjacent same parity fields are nearby (this matter in accordance) 2 as one field is larger than a minimum time gap from the different parity fields adjacent thereto. 보다 신뢰성 있는 상이한 패리티 필드와 보다 낮은 에일리어스의 동일 패리티 필드의 조합은 정적 영역 검출의 정확도를 향상시킬 수 있다. The combination of different reliability than the parity field and low-aliasing of the same parity field than that can enhance the precision of the static area detection.

또한, 도 21 에 도시된 바와 같이, 5 개의 필드는 현재 프레임 C 내의 화소 X 에 대해 과거 및 현재에서 대칭으로 분포될 수 있다. In addition, the Figure, five fields, as shown in 21, can be symmetrically distributed in the past and for the current pixel X in the current frame C. 정적 영역은 3 개의 카테고리로 세분될 수 있다: 순방향 정적 (이전 프레임에 대해 정적), 역방향 정적 (다음 프레임에 대해 정적), 또는 양방향 정적 (순방향 기준과 역방향 기준이 모두 만족되는 경우). A static area may be subdivided into three categories: forward static (static for the previous frame), backward static (static for the next frame), or bidirectional static (as forward and backward reference criteria are satisfied). 이러한 정적 영역의 세분화는 특히 장면 전환 및 대상 출몰 시 성능을 향상시킬 수 있다. Refinement of these static areas can improve performance, particularly during transitions and haunting target.

슬로우-모션 영역 Slow-motion area

일정 화소의 휘도 값이 정적 영역으로 지정되는 기준을 만족하지 않지만 슬로우-모션 영역으로 지정되는 기준을 만족하는 경우에, 모션-맵에서 슬로우-모션 영역으로 간주될 수 있다. But the luminance value of a certain pixel does not meet the criteria specified by the static area throw-on if they meet the criteria specified by the motion region, the motion may be considered to be a motion area-throw from the map. 아래의 식 (29) 는 슬로우-모션 영역을 결정하는데 이용될 수 있는 기준을 정의한다. Equation (29) below the slow-to define the criteria that may be used to determine a motion area. 도 22 를 참조하면, 식 (29) 에서 식별된 화 소 Ia, Ic, Ja, Jc, Ka, Kc, La, Lc, P 및 N 의 로케이션이 화소 X 를 중심으로 하는 애퍼처에 도시되어 있다. Referring to Figure 22, there is shown in the aperture centered on the screen small Ia, Ic, Ja, Jc, Ka, Kc, La, Lc, P and N in the film in the pixel X identified in equation (29). 그 애퍼처는 현재 필드 (C) 의 3×7 화소 근방 및 다음 필드 (N) 와 이전 필드 (P) 의 3×5 근방을 포함한다. The aperture of the current field (C) 3 × 7 pixel neighborhood and the next field comprises a 3 × 5 neighborhood of the (N) from the previous field (P) of the. 화소 X 는, 상기 기재된 정적 영역에 대한 기준을 만족하지 않고 애퍼처 내의 화소가 다음 식 (29) 에 도시된 기준을 만족하는 경우에, 슬로우-모션 영역의 일부로서 간주된다. Pixel X is, in the case of not satisfying the criteria described above for a static region within the pixel aperture meet the criteria shown in the following equation (29), slow-motion is considered part of the region.

Figure 112008076058963-pct00015

여기서, T 2 는 임계값이고, Here, T 2 is a threshold,

Figure 112008076058963-pct00016
은 각각 화소 Ia, Ic, Ja, Jc, Ka, Kc, La, Lc, P 및 N 에 대한 휘도 값이다. Is the luminance value for each pixel Ia, Ic, Ja, Jc, Ka, Kc, La, Lc, P and N.

또한, 임계값 T 2 는 특정 값으로 미리 결정 및 설정되거나, 디인터레이싱 이외의 프로세스에 의해 결정 및 (예를 들어, 디인터레이싱되는 비디오에 대한 메타데이터로서) 제공되거나, 또는 디인터레이싱 동안에 동적으로 결정될 수 있다. Further, the threshold value T 2 is determined in advance and set to a specific value, or, determining, and by a process other than the de-interlacing or provided (e.g., as metadata, about the de-interlacing video), or may be determined dynamically during the de-interlacing.

그 에지 검출 능력의 각도때문에, 일 필터는 수평인 (예를 들어, 수직으로 정렬된 것으로부터 45°보다 큰) 에지를 블러링할 수 있다는 것에 주목해야 한다. Since the angle of the edge detection capability, one filter is to be noted that a horizontal can blurring (e. G., From which the vertically aligned larger than 45 °) edge. 예를 들어, 도 22 에 도시된 애퍼처 (필터) 의 에지 검출 능력은 화소 A 및 F 또는 C 및 D 에 의해 형성된 각도에 의해 영향을 받는다. For example, edge detection capability of the aperture (filter) shown in Fig. 22 is influenced by the angle formed by the pixels A and F, or C and D. 최적으로 보간되지 않을 그러한 각도보다 수평인 임의의 에지 및 이에 따른 계단형 아티팩트가 그 에지에서 나타날 수도 있다. Any edges and hence the step-like artifact according to the horizontal than the angle that is not at the best interpolation may appear at the edge. 몇몇 양태에서, 슬로우-모션 카테고리는 2 개의 하위 카테고리로 나뉠 수 있다. In some aspects, the slow-motion category may be divided into two subcategories. "수평 에지" 및 "기타" 는 이러한 에지 검출 효 과를 설명한다. "Horizontal edge" and "Others" may be described as such edge detection effect. 슬로우-모션 화소는, 아래에 도시된 식 (30) 의 기준을 만족하면 수평 에지로서 분류되고, 식 (30) 의 기준을 만족하지 못하면 소위 "기타" 카테고리로서 분류될 수 있다. Slow-motion pixels, if any of the criteria of the expression (30) shown below are classified as a horizontal edge, does not meet the criteria of equation (30) can be classified as so-called "other" category.

Figure 112008076058963-pct00017

여기서, T 3 는 임계값이고, LA, LB, LC, LD, LE,LF 는 화소 A, B, C, D, E, 및 F 의 휘도 값이다. Wherein, T 3 is a luminance value of the threshold value and, LA, LB, LC, LD , LE, and LF are pixels A, B, C, D, E, and F.

수평 에지 및 기타 카테고리 각각에 대해 상이한 보간 방법이 이용될 수 있다. There are different interpolation methods may be used for the horizontal edges, and other categories, respectively.

패스트-모션 영역 Fast-motion area

정적 영역에 대한 기준 및 슬로우-모션 영역에 대한 기준을 만족하지 않으면, 화소는 패스트-모션 영역에 있는 것으로 간주될 수 있다. Based on static and slow-region does not satisfy the criteria for the motion area, a pixel is fast may be considered to be in the motion area.

선택된 프레임에서 화소를 분류한 다음에, 프로세스 A (도 26) 는 블록 2604 로 진행하여, 모션 세기 맵에 기초하여 임시 디인터레이싱된 프레임을 생성한다. To classify the pixel in the selected frame, and a process A (FIG. 26) proceeds to block 2604 and generates a temporary de-interlacing the frame based on the motion intensity map. 본 양태에서, Wmed 필터 (2054; 도 20) 는 선택된 필드 및 필요한 인접 필드(들)를 필터링하여 다음과 같이 정의될 수 있는 후보 풀-프레임 이미지 F 0 를 제공한다. In the present embodiment, Wmed filter (2054; Fig. 20) is selected field and the candidate pool from which the necessary filters the adjacent field (s) to be defined as follows: - providing a frame image F 0.

Figure 112008076058963-pct00018

여기서, α i ( i = 0, 1, 2, 3) 는 다음과 같이 계산되는 정수 가중치이다. Where, α i (i = 0, 1, 2, 3) is a constant weight is calculated as follows:

Figure 112008076058963-pct00019

Figure 112008076058963-pct00020

도 20 의 하부에 도시된 바와 같이, Wmed 필터링되는 임시 디인터레이싱된 프레임은 모션 추정 및 모션 보상 프로세스와 관련하여 후속 처리를 위해 제공된다. As shown in the lower part of Fig. 20, the de-interlacing Wmed temporary frame to be filtered is provided for subsequent processing with regard to motion estimation and motion compensation processes.

식 (31) 에 도시되며 상술한 바와 같이, 정적 보간은 필드 간 보간을 포함하고, 슬로우-모션 및 패스트-모션 보간은 필드 내 보간을 포함한다. And motion interpolation comprises a field within the interpolation, as shown and described above in Equation 31, the static interpolation comprises an inter-field interpolation, and the slow-motion and fast. 동일 패리티 필드의 시간 (예를 들어, 필드 간) 보간이 바람직하지 않은 일정 양태에서, 시간 보간은 임계값 T 1 (식 (4) 내지 식 (6)) 을 0 ( T 1 = 0) 으로 설정함으로써 "디스에이블" 될 수 있다. In certain aspects of time (for example, an inter-field) interpolation in the same parity field undesirable, time interpolation is set as the threshold value T 1 (formula (4) to (6)) to 0 (T 1 = 0) by can be "disabled". 시간 보간이 디스에이블된 상태에서 현재 필드를 처리함으로써, 모션-레벨 맵의 어떤 영역도 정적으로서 분류하지 않게 되고, Wmed 필터 (2054; 도 20) 는 현재 필드 및 2 개의 인접한 넌-패리티 필드에 대해 작용하는 도 22 의 애퍼처에 도시된 3 개의 필드를 이용한다. By processing the current field in the two hours interpolation disable state, the motion-and that no area in the level map is also not classified as static, Wmed filter (2054; Fig. 20) is the current field and the two adjacent non-for parity field It uses the three fields as shown in the aperture 22 acting.

디노이징 Denoising

일정 양태에서, 디노이저는 모션 보상 정보를 이용하여 더 처리되기 전에 후보 Wmed 프레임으로부터 잡음을 제거하는데 이용될 수 있다. In certain embodiments, dinoyi I may be used to remove noise from the candidate Wmed frame before further processing using the motion compensation information. 디노이저는 Wmed 필터에 존재하는 잡음을 제거할 수 있고, 신호의 주파수 콘텐츠에 관계없이 존재하는 신호를 유지할 수 있다. Dinoyi I may maintain the signal present, regardless of the frequency content of the noise can be removed, and the signal present on Wmed filter. 웨이브렛 필터를 비롯한 다양한 타입의 디노이징 필터가 이용될 수 있다. There are various types of denoising filter including a wavelet filter may be used. 웨이브렛은 공간 영역과 스케일링 영역 모두에서 소정의 신호를 로컬화하는데 이용되는 함수 클래스이다. Wavelet is a function class which is used to localize a given signal in both space and scaling area region. 웨이브렛의 기초가 되는 사상은, 웨이브렛 표현의 작은 변화가 그에 따라 원래 신호의 작은 변화를 생성하도록 상이한 스케일 또는 해상도로 신호를 분석하는 것이다. Thought to be the basis of the wavelet is to small changes in the wavelet representation analyze the signal at different scales or resolutions to produce a small change in the original signal accordingly.

몇몇 양태에서, 디노이징 필터는 (4, 2) 배직교 (bi-orthogonal) 3 차 B-스플라인 웨이브렛 필터의 일 양태에 기초한다. In some aspects the denoising filter (4, 2) bi-orthogonal (bi-orthogonal) based on an aspect of the cubic B- spline wavelet filter. 그러한 일 필터는 다음 순방향 및 역방향 변환에 의해 정의될 수 있다. One such filter may be defined by the following forward and reverse transformation.

Figure 112008076058963-pct00021

And

Figure 112008076058963-pct00022

디노이징 필터를 적용함으로써, 잡음 환경에서 모션 보상의 정확도를 증가시킬 수 있다. By applying the denoising filter, it is possible to increase the accuracy of motion compensation in a noisy environment. 비디오 시퀀스의 잡음은 가산 백색 가우스인 것으로 가정한다. Noise in a video sequence is assumed to be additive white Gaussian. 추정된 잡음의 분산은 Variance of the estimated noise,

Figure 112010038077831-pct00023
로 표시된다. It is represented by. 이는 최고 주파수 부대역 계수를 0.6745 로 나눈 값의 평균 절대 편차 (median absolute deviation) 로서 추정될 수 있다. This can be estimated as the mean absolute deviation of the value obtained by dividing the highest frequency sub-band coefficients to 0.6745 (median absolute deviation). 그러한 필터의 구현은 "Ideal spatial adaptation by wavelet shrinkage," DL Donoho and IM Johnstone, Biometrika , vol. Implementation of such a filter is "Ideal spatial adaptation by wavelet shrinkage, " DL Donoho and IM Johnstone, Biometrika, vol. 8, pp. 8, pp. 425-455, 1994 에 더 설명되어 있으며, 이는 본원에서 그 전체를 참조로서 병합하고 있다. 425-455, and is further described in 1994, which is incorporated by reference in its entirety herein.

또한, 웨이브렛 축소 또는 웨이브렛 위너 필터가 디노이저로서 적용될 수 있다. The addition, reduction or wavelet wavelet Wiener filter can be applied as a low dinoyi. 웨이브렛 축소 디노이징은 웨이브렛 변환 영역에서의 축소를 수반할 수 있고, 통상 3 개의 단계를 포함한다: 선형 순방향 웨이브렛 변환, 비선형 축소 디노이징, 및 선형 역방향 웨이브렛 변환. Wavelet denoising reduction may be accompanied by a reduction in the wavelet transform domain, and a normal three steps: a linear forward wavelet transform, a non-linear reduction denoising, and a linear reverse wavelet transform. 위너 필터는 가산 잡음 및 블러링에 의해 열화된 이미지를 개선하는데 이용될 수 있는 MSE-최적 선형 필터이다. Wiener filter is MSE- optimal linear filter which can be used to improve images degraded by additive noise and blurring. 그러한 필터는 당해 기술분야에서 널리 공지되어 있으며, 예를 들어, 상기 참조된 "Ideal spatial adaptation by wavelet shrinkage," 및 SPGhael, AMSayeed, 및 RGBaraniuk 에 의한 "Improvement Wavelet denoising via empirical Wiener filtering," Proceedings of SPIE , vol 3169, pp. Such filters are well known in the art, for example, the references "Ideal spatial adaptation by wavelet shrinkage," and SPGhael, AMSayeed, and by RGBaraniuk "Improvement Wavelet denoising via empirical Wiener filtering," Proceedings of SPIE , vol 3169, pp. 389-399, San Diego, July 1997 에 설명되어 있다. 389-399, is described in San Diego, July 1997.

모션 보상 Motion compensation

도 27 을 참조하면, 블록 2702 에서, 프로세스 B 는 양방향 모션 추정을 수행하고, 그 다음에, 블록 104 에서 모션 추정치를 이용하여 모션 보상을 수행하는데, 이는 도 20 에 더 도시되어 있으며 아래의 예시적인 양태에서 설명된다. In Referring to Figure 27, block 2702, the process B is performed for bi-directional motion estimation, and then, by using the motion estimate in block 104 is further shown in this Fig. 20, for performing motion compensation and exemplified below, of It is described in the embodiments. Wmed 필터와 모션 보상 기반 디인터레이서 사이에는 일 필드의 "지연 (lag)" 이 존재한다. Wmed between the filter and motion compensation based deinterlacer, there is "a delay (lag)" of one field. 도 23 에 도시된 바와 같이, 현재 필드 "C" 의 "잃어버린" 데이터 (화소 데이터의 원래가 아닌 (non-original) 행) 에 대한 모션 보상 정보는 이전 프레임 "P" 와 다음 프레임 "N" 모두의 정보로부터 예측된다. As it is shown in Figure 23, motion compensation information for the "lost" data (other than the original pixel data (non-original) line) of the current field "C" has both the previous frame "P" and the next frame "N" is a prediction from the information. 현재 필드 (도 23) 에서, 실선은 원래 화소 데이터가 나가는 행을 표현하고, 점선은 Wmed-보간 화소 데이터가 나가는 행을 표현한다. In the current field (Fig. 23), the solid lines represent the original line pixel data is going, and the dashed line represents a line Wmed- the interpolation pixel data out. 몇몇 양태에서, 모션 보상은 4 행 × 8 열 화소 근방에서 수행된다. In some aspects, motion compensation is performed in the vicinity of 4 rows × 8 columns of pixels. 그러나, 이러한 화소 근방은 설명을 위한 일 예이며, 당업자라면, 다른 양태에서는 상이한 개수의 행과 상이한 개수의 열을 포함하는 화소 근방에 기초하여 모션 보상을 수행할 수도 있고, 그 선택은 예를 들어, 계산 속도, 이용 가능한 처리 전력, 또는 디인터레이싱되는 멀티미디어 데이터의 특징을 비롯한 다수의 인자에 기초할 수 있다는 것을 알 수 있다. However, the pixel neighborhood is one example for illustration purposes, those skilled in the art, in other embodiments, based on the pixel neighborhood comprising a column of a row different from the number of different numbers may perform motion compensation, and the selection is e.g. it can be seen that the calculation speed can be based on a number of factors, including available processing power, or characteristics of the multimedia data which the de-interlacing. 현재 필드가 그 행의 절반만을 가지므로, 실제 매칭되는 4 개의 행은 8 화소 × 8 화소 영역에 대응한다. Since the field current of only half of the rows, four rows are actually matching corresponds to the 8-pixel × 8 pixel region.

도 20 을 참조하면, 양방향 ME/MC (2068) 는 SSE (sum of squared error) 를 이용하여, 디인터레이싱된 현재 프레임 (2070) 및 Wmed 다음 프레임 (2058) 에 대한 Wmed 현재 프레임 (2060) 에 대해 예측하는 블록과 예측된 블록 간의 유사도를 측정할 수 있다. Referring to Figure 20, bi-directional ME / MC (2068), using the (sum of squared error), SSE, predicted for Wmed current frame 2060 for deinterlacing the current frame 2070 and Wmed next frame 2058 the degree of similarity between the block and the predicted block can be measured. 그 다음에, 모션 보상된 현재 프레임 (2066) 의 생성은 가장 유사한 매칭 블록으로부터의 화소 정보를 이용하여 원래 화소 라인 사이에 잃어버린 데이터를 채운다. Then, the produced motion compensation of the current frame (2066) is filled with data lost between the original pixel line by using the pixel information from the closest matching block. 몇몇 양태에서, 양방향 ME/MC (2068) 는 디인터레이싱된 이전 프레임 (2070) 정보로부터의 화소 정보에 더 많은 가중치를 주거나 바이어싱하는데, 그 이유는, 그 프레임은 모션 보상 정보 및 Wmed 정보에 의해 생성되었지만, Wmed 다음 프레임 (2058) 은 공간-시간 필터링에 의해 디인터레이싱될 뿐이기 때문이다. In some embodiments, the bi-directional ME / MC (2068) is to Singh jugeona more weight to the pixel information from the de-interlacing a previous frame 2070 information buyer, The reason for this is that the frame is produced by motion compensation information and Wmed information Although, Wmed next frame 2058 is space because only be de-interlacing by the time filter.

몇몇 양태에서는, 유사한 루마 영역을 갖지만 상이한 크로마 영역을 갖는 필드의 영역에서 매칭 성능을 개선하기 위해, (예를 들어, 하나의 4 행 × 8 열 루마 블록과 같은) 화소들 중 하나 이상의 루마 그룹 및 (예를 들어, 2 개의 2 행 × 4 열 크로마 블록 U 및 V 와 같은) 화소들 중 하나 이상의 크로마 그룹의 화소 값의 기여를 포함하는 메트릭을 이용할 수 있다. In some aspects, to improve the matching performance in the area of ​​the field having a different chroma region has the similar luma domain, at least one of the pixels (e.g., one of four rows × 8 columns luma such as block) luma group and may use a metric that includes the contribution of the pixel value (e.g., two two-row × 4 column chroma blocks U and V and the like), one or more pixels of the chroma group. 그러한 접근법은 컬러에 민감한 영역에서의 불일치를 효과적으로 줄인다. Such an approach effectively reduce the discrepancies in the sensitive area of ​​the color.

모션 벡터 (MV) 는 수직 차원으로 1/2 화소의 입도 (granularity) 및, 수평 방향으로 1/2 또는 1/4 화소의 입도를 갖는다. A motion vector (MV) has a vertical dimension size (granularity) and the horizontal direction of the half pixel a particle size of 1/2 or 1/4 pixel. 프랙셔널 화소 샘플을 얻기 위해, 보간 필터를 이용할 수 있다. To obtain a fractional-pixel samples can be used for the interpolation filter. 예를 들어, 절반 화소 샘플을 획득하는데 이용될 수 있는 몇몇 필터는 이중 선형 (bilinear) 필터 (1, 1), H.263/AVC:의 권고 사항인 보간 필터 (1, -5, 20, 20, -5, 1), 및 6-탭 (six-tap) 해밍 윈도우드 sinc 함수 필터 (3, -21, 147, 147, -21, 3) 를 포함한다. For example, some filters which can be used to obtain the half-pixel sample is bilinear (bilinear) filter (1, 1), H.263 / AVC: Recommendations of the interpolation filter (1, -5, 20, 20 of includes, -5, 1), and a six-tap (six-tap) Hamming window de sinc function filter (3, -21, 147, 147, -21, 3). 1/4-화소 샘플은 이중 선형 필터를 적용함으로써 전체 화소와 절반 화소 샘플로부터 생성될 수 있다. 1/4-pixel sample can be generated from the full pixel and a half pixel samples by applying a bilinear filter.

몇몇 양태에서, 모션 보상은 다양한 타입의 검색 프로세스를 이용하여, 다른 프레임 (예를 들어, 다음 프레임 또는 이전 프레임) 내의 상이한 위치에 있는 대응 데이터에 대해 현재 프레임의 일정 위치에 있는 데이터 (예를 들어, 대상을 나타내는 데이터) 를 일치시킬 수 있고, 각각의 프레임 내의 위치 차이는 대상의 모션을 나타낸다. In some embodiments, the motion compensation using the search process of all types, and the other frame contains current data (for example, in a predetermined position of the frame with respect to corresponding data in the different locations in the (e. G., The next frame or previous frame) , it is possible to match the data) indicating the destination, the location difference within each frame represents the target's motion. 예를 들어, 검색 프로세스는 보다 큰 검색 영역을 커버할 수도 있는 풀 모션 검색을 이용하거나, 보다 적은 화소를 이용할 수 있는 고속 모션 검색을 이용하고/하거나 검색 패턴에서 이용되는 선택된 화소는 예를 들어, 다이아몬드 형상과 같이 특정 형상을 가질 수 있다. For example, the search process than the use of the search, full-motion, which may cover a large search area, or the pixel is selected to be used in more use of the high-speed motion search that can be used for small pixel, and / or search patterns, for example, It may have a specific shape such as a diamond shape. 고속 모션 검색의 경우에, 검색 영역은 모션 추정치, 또는 모션 후보를 중심으로 할 수 있으며, 이는 인접 프레임을 검색하기 위한 시작 포인트로서 이용될 수 있다. In the case of fast motion search, the search area may be around the motion estimation or motion candidates, which can be used as a starting point for searching for the adjacent frames. 몇몇 양태에서, MV 후보는 외부의 모션 추정기로부터 생성되어 디인터레이서에 제공될 수 있다. In some aspects, MV candidate is generated from an external motion estimator may be provided to the deinterlacer. 또한, 이전 모션 보상된 인접 프레임에서 대응하는 근방으로부터의 매크로블록의 모션 벡터가 모션 추정치로부터 이용될 수 있다. Also, a motion vector of a macroblock from a corresponding neighborhood in the previous motion compensated adjacent frame may be used from the motion estimate. 몇몇 양태에서, MV 후보는 대응하는 이전 및 다음 프레임의 매크로블록 (예를 들어, 3 매크로블록 × 3 매크로블록) 의 근방을 검색함으로써 생성될 수 있다. In some aspects, MV candidates can be generated by searching in the vicinity of the macro block of the previous and next frames corresponding to (for example, 3 × 3 macroblock macroblock).

도 24 는 2 개의 MV 맵인 MV P 및 MV N 의 일 예를 도시한 것으로서, 이 2 개의 MV 맵은 도 23 에 도시된 바와 같이 이전 프레임과 다음 프레임의 근방을 검색함으로써 모션 추정/보상 동안에 생성될 수 있다. 24 is a two MV map, as illustrating an example of MV P and MV N, the two MV map may be generated during the motion estimation / compensation by searching for the previous frame and the vicinity of the next frame as shown in Fig. 23 can. MV P 와 MV N 모두에 있어서, 모션 정보를 결정하기 위해 처리될 블록은 "X" 로 표시되는 중심 블록이다. In both MV and the MV N P, the block to be processed in order to determine the motion information is a center block represented by "X". MV P 와 MV N 모두에 있어서, 처리 중인 현재 블록 X 의 모션 추정 동안에 이용될 수 있는 9 개의 MV 후보가 존재한다. In both MV and the MV N P, and nine candidate MV that can be used during the motion estimation of the current block X present in the process. 본 예에서, MV 후보 중 4 개의 MV 후보는 이전에 수행된 모션 검색으로부터 동일 필드에 존재하고, MV P 및 MV N 내의 보다 밝은 컬러의 블록으로 표시된다 (도 24). In this example, four of the candidate MV MV candidate is present in the same field from the motion search performed previously, is represented by the block diagram of a light color than in the MV MV N and P (FIG. 24). 보다 어두운 컬러의 블록으로 표시되는 5 개의 다른 MV 후보는 이전에 처리된 프레임의 모션 정보 (또는 맵) 로부터 복제되었다. Five different MV candidate represented by the block diagram of a darker color have been cloned from the motion information of the previously-processed frame (or map).

모션 추정/보상이 완료된 후에, 2 개의 보간 결과는 잃어버린 행 (도 23 에서 점선으로 표시됨) 으로부터 일어날 수도 있다: Wmed 필터에 의해 생성된 일 보간 결과 (Wmed 현재 프레임 (2060) 도 20), 및 모션 보상기의 모션 추정 처리에 의해 생성된 일 보간 결과 (MC 현재 프레임 (2066)). After estimation / compensation is completed, motion may take place from two interpolated results (shown in phantom in Fig. 23) the lost line: interpolation result one generated by Wmed filter (Wmed 20 current frame 2060), and motion the one interpolation result generated by the motion estimation processing of the compensator (MC current frame (2066)). 통상, 결합기 (2062) 는 Wmed 현재 프레임 (2060) 과 MC 현재 프레임 (2066) 의 적어도 일부를 이용함으로써 Wmed 현재 프레임 (2060) 과 MC 현재 프레임 (2066) 을 병합하여, 현재 디인터레이싱된 프레임 (2064) 을 생성한다. Typically, the coupler 2062 is Wmed current frame 2060 and the MC by using at least a portion of the current frame (2066) by Wmed merge the current frame 2060 and MC current frame (2066), the current de-interlacing the frame (2064) the produce. 그러나, 일정 조건 하에서, 결합기 (2062) 는 현재 프레임 (2060) 또는 MC 현재 프레임 (2066) 중 하나만을 이용하여 현재 디인터레이싱된 프레임을 생성할 수도 있다. However, under certain conditions, a combiner 2062, using only one of the current frame 2060 or MC current frame (2066) may generate a current de-interlacing the frame. 일 예에서, 결합기 (2062) 는 Wmed 현재 프레임 (2060) 과 MC 현재 프레임 (2066) 을 병합하여, 식 (36) 에 도시된 것과 같은 디인터레이싱된 출력 신호를 생성한다. In one example, the coupler 2062 is Wmed to merge the current frame 2060 and MC current frame (2066), it produces a de-interlacing output signal as shown in equation (36).

Figure 112008076058963-pct00024

여기서, here,

Figure 112008076058963-pct00025
t 가 전치 행렬인 위치 It is the transposed matrix of position t
Figure 112008076058963-pct00026
에 있는 필드 Field in the
Figure 112008076058963-pct00027
에서의 휘도 값을 위해 이용된다. It is used for the luminance value of the. 다음과 같이 정의된 클립 함수를 이용하면, When using the clip function defined as follows,

Figure 112008076058963-pct00028

k 1 k 1 은 다음과 같이 계산될 수 있다. It can be calculated as follows.

Figure 112008076058963-pct00029

여기서, C 1 은 강건성 파라미터 (robustness parameter) 이고, Diff 는 (기존 필드로부터 선택된) 예측된 프레임 내의 이용 가능한 화소와 예측하는 프레임 화소 간의 루마이다. Here, C 1 is the robustness parameter (robustness parameter), Diff is between luma (selected from an existing field) pixel and the prediction frame available pixels in the predicted frame. C 1 을 적절히 선택함으로써, 평균 제곱 에러의 상대 중요도를 조정하는 것이 가능하다. By appropriate selection of the C 1, it is possible to adjust the relative importance of the mean square error. k 2 는 식 (39) 에 도시된 것과 같이 계산될 수 있다. k 2 may be computed as shown in equation (39).

Figure 112008076058963-pct00030

여기서, here,

Figure 112008076058963-pct00031
는 모션 벡터이고, δ 는 0 으로 나누는 것을 방지하기 위한 작은 상수이다. Is a motion vector, δ is a small constant to prevent division by zero. 또한, 필터링을 위한 클립핑 함수를 이용하여 디인터레이싱하는 것은 "De-interlacing of video data," GDHaan and EBBellers, IEEE Transactions on Consumer Electronics, Vol.43, NO.3, pp.819- 825, 1997 에 설명되어 있으며, 그 전체를 본원에서 참조로서 병합하고 있다. Also, a de-interlacing using a clipping function for filtering are described in the "De-interlacing of video data, " GDHaan and EBBellers, IEEE Transactions on Consumer Electronics, Vol.43, NO.3, pp.819- 825, 1997 and, and merge in their entirety herein by reference.

몇몇 양태에서, 결합기 (2062) 는 높은 PSNR 및 강건한 결과를 달성하기 위해 다음 식을 시도 및 유지하도록 구성될 수 있다. In some aspects, the combiner 2062 may be configured to try and maintain the following equation to achieve higher PSNR and robust result.

Figure 112008076058963-pct00032

Wmed + MC 디인터레이싱 방식을 이용하여 필드 간 보간을 포함한 디인터레이싱 예측 방식을 필드 내 보간으로부터 분리하는 것이 가능하다. Using Wmed + MC de-interlacing method, it is possible to remove the de-interlacing prediction methods, including inter-field interpolation from the intra-field interpolation. 즉, 공간-시간 Wmed 필터링은 필드 내 보간을 위해 주로 이용될 수 있지만, 필드 내 보간은 모션 보상 동안에 수행될 수 있다. That is, space-time filter Wmed but may be mainly used for the intra-field interpolation and intra-field interpolation can be carried out during the motion compensation. 이로 인해, Wmed 결과의 피크 신호대 잡음비가 감소하지만, 모션 보상 후의 시각 품질은 더 만족스럽게 되는데, 그 이유는 정확하지 않은 필드 간 예측 모드 결정에 따라 불량 화소가 Wmed 필터링 프로세스로부터 제거될 것이기 때문이다. Thus, the peak signal-to-noise ratio of Wmed result decrease, but there is gently after motion compensation visual quality is more satisfactory, since in accordance with the inaccurate field prediction mode determination between a defective pixel will be removed from the Wmed filtering process.

크로마 처리는 연관된 루마 처리와 양립할 수 있다. Chroma processing may be incompatible with the associated luma processing. 모션 맵 생성의 관점에서, 크로마 화소의 모션 레벨은 4 개의 연관된 루마 화소의 모션 레벨을 관측함으로써 얻어진다. In view of the motion map created, the motion level of the chroma pixel is obtained by observing the motion level of the four associated luma pixels. 그 동작은 보팅 (voting) 에 기초할 수 있다 (크로마 모션 레벨은 지배적인 루마 모션 레벨을 차용함). The operation may be based on voting (voting) (chroma motion levels are also borrow a dominant luma motion level). 그러나, 다음과 같은 통상적인 접근법을 이용할 것을 제안한다. However, we suggest that you use the following typical approaches. 4 개의 루마 화소 중 어느 하나가 패스트 모션 레벨을 갖는 경우에, 크로마 모션 레벨은 패스트 모션일 것이다; If any one of four luma pixel has a fast motion level, chroma motion level will be a fast motion; 한편, 4 개의 루마 화소 중 어느 하나가 슬로우 모션 레벨을 갖는 경우에, 크로마 모션 레벨은 슬로우 모션일 것이다; On the other hand, when any one of four luma pixel has a slow motion level, chroma motion level will be a slow motion; 그 밖의 경우에는, 크로마 모션 레벨은 정적이다. The other cases, the chroma motion levels are static. 통상적인 접근법은 최고 PSNR 을 달성하지 못할 수도 있지만, 크로마 모션 레벨에 모호성이 존재하는 경우에는 언제나 INTER 예측을 이용하는 위험을 회피하게 된다. A typical approach but may not be able to achieve the best PSNR, when the ambiguity exists in the chroma motion level there will always avoid the danger of using the INTER prediction.

멀티미디어 데이터 시퀀스는 본원에서 설명된 Wmed 알고리즘만을 이용하거나, Wmed 알고리즘과 모션 보상된 알고리즘을 함께 이용하여 디인터레이싱되었다. Multimedia data sequence has been de-interlacing by using only the Wmed algorithm described herein, or with a Wmed algorithms and motion compensation algorithms. 또한, 동일 멀티미디어 데이터 시퀀스는 화소 블렌딩 (또는 평균화) 알고리즘 및 "디인터레이싱 없음 (no-deinterlacing)" 케이스를 이용하여 디인터레이싱되었고, 이때, 필드는 어떤 보간이나 블렌딩 없이 단순히 결합되었다. In addition, the same multimedia data sequence has been de-interlacing using a pixel blending (or averaging) algorithm and the "de-interlacing None (no-deinterlacing)" case, at this time, the field was coupled simply without any interpolation or blending. 그 결과로서 생성된 프레임을 분석하여, PSNR 을 결정하였고, 다음 테이블에 도시되어 있다. Analyzes the frame generated as the result, we determine the PSNR, it is shown in the following table.

PSNR PSNR
(dB) (DB)
시퀀스 sequence
디인터레이싱 Deinterlacing
없음 none
블렌딩 Blending Wmed Wmed Wmed + Wmed +
MC MC
soccer soccer 8.955194 8.955194 11.38215 11.38215 19.26221 19.26221 19.50528 19.50528
city city 11.64183 11.64183 12.93981 12.93981 15.03303 15.03303 15.09859 15.09859
crew crew 13.32435 13.32435 15.66387 15.66387 22.36501 22.36501 22.58777 22.58777

Wmed 에 더해 MC 를 이용하여 디인터레이싱함으로써 한계 개선 (marginal improvement) 만이 존재하더라도, Wmed 와 MC 보간 결과를 조합함으로써 생성되는 디인터레이싱된 이미지의 시각 품질은 시각적으로 더 만족스럽게 되는데, 그 이유는, 상술한 바와 같이, Wmed 결과와 MC 결과를 조합함으로써 짝수 필드와 홀수 필드 간의 에일리어스 및 잡음을 억제하기 때문이다. Even though only by interlacing addition to Wmed using the MC threshold improvement (marginal improvement) exists, visual quality of the de-interlacing image produced by combining the Wmed and MC interpolation result there is carefully visually more satisfactory, because, as described above Thus, since by combining the result with Wmed MC result to suppress aliasing noise and between the even field and the odd field.

몇몇 리샘플링 양태에서는, 영상 크기 리사이징을 위해 다상 (poly-phase) 리샘플러가 구현된다. In some embodiments re-sampling, a multi-phase (poly-phase) it is implemented resampler for resizing image size. 다운샘플링의 일 예에서, 원래 영상과 리사이징된 영상 간의 비율은 p/q 일 수 있고, 여기서, pq 는 서로 소인 정수이다. In one example of the down-sampling, may be a ratio between the original image and the resized image is p / q, where, p and q is an integer timestamp from each other. 총 위상 수는 p 이다. The total phase number is p. 몇몇 양태에서, 다상 필터의 차단 주파수는 약 0.5 의 리사이징 계수에 대해 0.6 이다. In some embodiments, the cut-off frequency of the polyphase filter is 0.6 for re-sizing factor of about 0.5. 리사이징된 시퀀스의 고주파수 응답을 높이기 위해, 차단 주파수가 리사이징 비율과 정확히 일치하는 것은 아니다. To increase the high-frequency response of the resizing sequence, it does not exactly correspond to the cut-off frequency that resizing ratio. 이는 필연적으로 약간의 에일리어싱을 허용한다. This inevitably allow some aliasing. 그러나, 사람의 눈이 흐리고 에일리어싱이 없는 영상보다 뚜렷하지만 약간의 에일리어싱이 있는 영상을 선호한다는 것이 널리 공지되어 있다. However, in the eyes of people who are more cloudy and clear images without aliasing, but it is well known that prefer a video with some aliasing.

도 42 는 리사이징 비율 3/4 인 경우의 위상을 도시하는 다상 리샘플링의 일 예를 도시한다. Figure 42 shows an example of the re-sampling the multi-phase shows a phase in the case where the resizing ratio 3/4. 또한, 도 42 에 도시된 차단 주파수는 3/4 이다. In addition, the cut-off frequency of 3/4 shown in FIG. 42. 원래 화소는 상기 도 42 에서 수직축으로 도시되어 있다. The original pixels are shown in the vertical axis in FIG. 42. 또한, 그 수직축을 중심으로 sinc 함수를 도시하여 필터 파형을 표현한다. Moreover, the sinc function shown about its vertical axis represents the wave filter. 리샘플링 비율과 정확히 동일하도록 차단 주파수를 선택하기 때문에, sinc 함수의 제로는 리사이징 후의 화소 위치와 겹치게 되며, 이는 도 42 에 교차점으로 도시되어 있다. Since selecting the cut-off frequency to exactly equal to the re-sampling rate, the zero of the sinc function, and overlapping with a pixel position after the resizing, which is illustrated as the junction in Fig. 42. 리사이징 후의 화소 값을 구하기 위해, 다음 식에 도시된 것과 같이 원래 화소로부터의 기여분을 합계할 수 있다. In order to find the pixel value after the resizing, it is possible to sum the contribution from the original pixels as shown in the following formula.

Figure 112008076058963-pct00033

여기서, f c 는 차단 주파수이다. Where, f c is the cut-off frequency. 상기 1-D 다상 필터는 수평 차원과 수직 차원 모두에 적용될 수 있다. The 1-D poly-phase filter may be applied to both the horizontal dimension and the vertical dimension.

리샘플링 (리사이징) 의 다른 양태는 오버스캔 (overscan) 을 설명하고 있다. Another aspect of the re-sampling (re-sizing) is described, and the over-scan (overscan). NTSC 텔레비전 신호에 있어서, 일 이미지는 486 개의 스캔 라인을 갖고, 디지털 비디오에 있어서, 각각의 스캔 라인마다 720 개의 화소를 가질 수 있다. In the NTSC television signal, one image has 486 scan lines, in the digital video, and can have the respective 720 pixels per scan line. 그러나, 크기와 화면 포맷 간의 불일치 때문에 텔레비전에서 전체 이미지의 모두를 볼 수 있는 것은 아니다. However, not because of disagreement between the screen size and format to see all of the full image on television. 볼 수 없는 이미지의 일부가 오버스캔으로 지칭된다. Some of the images can not be seen is referred to as overscan.

가능한 한 많은 텔레비전이 볼 수 있는 영역에 유용한 정보를 브로드캐스터가 제공하는 것을 돕기 위해, SMPTE (Society of Motion Picture & Television Engineers) 는 세이프 액션 (safe action) 영역과 세이프 타이틀 (safe title) 영역으로 지칭되는 액션 프레임의 특정 크기를 규정하였다. To help the broadcaster provides useful information on the many TV area with a visible as possible, (Society of Motion Picture & Television Engineers) SMPTE is safe action (safe action) area and the safe title (safe title) refers to the area which it was defined the specific size of the action frame. Specifications for Safe Action and Safe Title Areas Test Pattern for Television Systems 에 대한 SMPTE RP (recommended practice) 27.3-1989 참조. See SMPTE RP (recommended practice) 27.3-1989 for Specifications for Safe Action and Safe Title Areas Test Pattern for Television Systems. SMPTE 에 의해 세이프 액션 영역은 "모든 중요한 액션이 일어나야 하는" 영역으로서 규정된다. By SMPTE-safe action area is defined as "where all the action that's important to wake up" area. 세이프 타이틀 영역은 "모든 유용한 정보가 다수의 가정용 텔레비전 수신기에 대한 가시성을 확보하도록 한정될 수 있는" 영역으로서 규정된다. Safe title area is defined as "that all the useful information may be limited so as to secure visibility in a number of home-use TV receiver" area. 예를 들어, 도 43 에 도시된 바와 같이, 세이프 액션 영역 (4310) 은 화면 중심 90% 를 점유하여, 주변 모두에 5% 경계를 준다. For example, as shown in Figure 43, the safe action area 4310 occupies the center 90% of the screen, gives a 5% border all around. 세이프 타이틀 영역 (4305) 는 화면의 중심 80% 를 점유하여, 10% 경계를 준다. Safe title area 4305 is occupied by the center 80% of the screen, gives the 10% boundary.

도 44 를 참조하면, 세이프 타이틀 영역이 너무 작아서 그 이미지에 보다 많은 콘텐츠를 추가할 수 없기 때문에, 몇몇 브로드캐스트는 세이프 액션 영역에 텍스트를 포함시킬 것이고, 이는 백색 직사각형 윈도우 (4415) 내부에 있다. Referring to Figure 44, since it is safe title area is to add more content to too small the image, some of the broadcast will include the text in the safe action area, which is inside the white rectangular window (4415). 통상, 오버스캔에서는 검은색의 경계를 볼 수 있다. In general, overscan can see the boundary of the black. 예를 들어, 도 44 에서, 검은색의 경계는 이미지의 상부 (4420) 와 하부 (4425) 에서 나타난다. For example, in Figure 44, the boundary between the black color is shown at the top (4420) and bottom (4425) of the image. 이들 검 은색의 경계를 오버스캔에서 제거할 수 있는데, 그 이유는 H.264 비디오가 모션 추정 시 경계 확장을 이용하기 때문이다. There the boundaries of their silver swords can be removed in the overscan, because H.264 video is to use motion estimation city boundaries expand. 확장된 검은색의 경계는 레지듀얼 (residual) 을 증가시킬 수 있다. The boundaries of the extended Black can increase the residual (residual). 통상적으로, 경계를 2% 만큼 자를 수 있고, 그 다음에, 리사이징을 행한다. Typically, it is possible to cut the boundary by 2%, then, a re-sizing is performed. 이에 따라, 리사이징을 위한 필터가 생성될 수 있다. In this way, the filter can be created for re-sizing. 다상 다운샘플링 전에 오버스캔을 제거하기 위해 잘라 버림 (truncation) 이 수행된다. The rejected (truncation) is carried cut in order to remove the over-scan prior to the multi-phase down-sampling.

디블록킹/디링잉 De-blocking / de-ringing

디블록킹 처리의 일 예에서, 프레임의 경계에 있는 에지 및 디블록킹 필터 프로세스가 디스에이블되는 임의의 에지를 제외하고는, 일 프레임의 모든 4 × 4 블록 에지에 디블록킹 필터가 적용될 수 있다. In one example of the de-blocking process, with the exception of any edge is the edge and the de-blocking filter process on the boundary of a frame that is disabled, can be a de-blocking filter is applied to all the 4 × 4 block edges of the frame. 이러한 필터링 프로세스는, 프레임 내의 모든 매크로블록이 매크로블록 주소가 증가하는 순서로 처리되는 프레임 구성 프로세스의 완료 후에 매크로블록에 기초하여 수행될 것이다. This filtering process may be performed after all the macroblocks in the frame macroblock address increment completion of the configuration process, the frame to be processed in an order based on the macro-block. 각각의 매크로블록에 대해, 처음에 수직 에지가 필터링되고, 좌측에서 우측으로, 그 다음에 수평 에지가 상부에서 하부로 필터링된다. For each macroblock, the vertical edges are filtered at the first time, from left to right, then to the horizontal edges are filtered from top to bottom. 도 39 에 도시된 바와 같이, 수평 방향과 수직 방향에 대해, 루마 디블록킹 필터 프로세스는 4 개의 16-샘플 에지에 대해 수행되고, 각각의 크로마 성분에 대한 디블록킹 필터 프로세스는 2 개의 8-샘플 에지에 대해 수행된다. As shown in Figure 39, for horizontal and vertical luma deblocking filter process is performed for the four 16-sample edge, the deblocking filter process, for each of the chroma component has two 8-sample edges to be performed. 이전 매크로블록에 대한 디블록킹 프로세스 동작에 의해 이미 수정되었을 수도 있는 현재 매크로블록의 위쪽 및 왼쪽에 있는 샘플 값은 현재 매크로블록에 대한 디블록킹 필터 프로세스에 대한 입력으로서 이용될 것이며, 또한 현재 매크로블록의 필터링 동안에 수정될 수도 있다. Sample values ​​at the top and to the left of the current macroblock, which may have already been modified by the de-blocking process operation for the previous macro-block will be used as an input to the deblocking filter process for a current macroblock, and the current macroblock It may be modified during filtering. 수직 에지의 필터링 동안에 수정된 샘플 값은 동일 매크로블록에 대한 수평 에지의 필터링에 대한 입력으로서 이용될 수 있다. Modifying the sample values ​​during the filtering of the vertical edges may be used as an input to the filtering of the horizontal edges for the same macroblock. 디블록킹 프로세스는 루마와 크로마 성분에 대해 개별적으로 호출될 수 있다. Deblocking process can be called individually for luma and chroma components.

디링잉 처리의 일 예에 있어서, 2-D 필터는 에지 근방의 영역을 평활화 (smooth out) 하는데 적응적으로 적용될 수 있다. In one example of a de-ringing process, 2-D filter may be applied to the areas of the edge near to adaptively smooth (smooth out). 에지 화소는 블러링을 회피하기 위해 거의 필터링을 받지 않거나 전혀 필터링을 받지 않는다. The edge pixel is not subject to or not substantially filter filtering at all in order to avoid blurring.

GOP 분할기 GOP divide

이하, GOP 분할기에 포함될 수 있는 적응 GOP 분할, 샷 검출 및 대역폭 맵 생성을 비롯한 처리의 예시적인 실시형태가 설명된다. The exemplary embodiments described below, the adaptive GOP division, the process including shot detection and bandwidth map generation that may be included in the GOP partitioner is described.

대역폭 맵 생성 Bandwidth Maps

인간 시각 품질 V 는 인코딩 복잡도 C 와 할당된 비트 B (또한, 대역폭으로서 지칭됨) 모두의 함수일 수 있다. Human visual quality V is (also referred to as bandwidth), the encoding complexity C and allocated bits B may be a function of both. 도 29 는 이러한 관계를 도시한 그래프이다. 29 is a graph illustrating this relationship. 인코딩 복잡도 메트릭 C 는 인간의 시각 관점으로부터의 공간 및 시간 주파수를 고려한다는 것에 주목해야 한다. Encoding complexity metric C must be noted that considering the spatial and temporal frequencies from the human vision point of view. 인간의 눈에 더 민감한 왜곡의 경우에, 이에 대응하여 복잡도 값이 높아진다. In the case of more sensitive to distortion by the human eye, In response, the higher the complexity value. 통상, V 는 C 에서는 단조 감소하고 있으며, B 에서는 단조 증가하고 있는 것으로 가정할 수 있다. Typically, V may be assumed that the C and decreases monotonically, and a monotonic increase in B.

일정한 시각 품질을 달성하기 위해, 대역폭 (Bi) 이 i 번째 대상 (프레임 또는 MB) 에 할당되어, 바로 아래의 2 개의 식에서 표현되는 기준을 만족하도록 인코딩된다. In order to achieve constant visual quality, a bandwidth (Bi) is assigned to the i-th object (frame or MB), it is directly encoded so as to satisfy the criteria expressed in the equation 2 below.

Figure 112008076058963-pct00034

바로 위에 있는 2 개의 식에 있어서, Ci 는 i 번째 대상의 인코딩 복잡도이고, B 는 총 이용 가능한 대역폭이며, V 는 일 대상에 대해 달성된 시각 품질이다. In the two formulas immediately above, Ci is the encoding complexity of the i-th object, B is the total available bandwidth, V is the achieved visual quality for the destination.

인간 시각 품질을 소정의 식으로서 공식화하는 것은 어렵다. It is difficult to formulate the human visual quality as a predetermined expression. 따라서, 상기 식 세트가 정확하게 정의되는 것은 아니다. Therefore, it is not the above equation set precisely defined. 그러나, 3-D 모델이 모든 변수에 있어서 연속인 것으로 가정하면, 대역폭 비율 However, assuming that the 3-D model is continuous in all variables, bandwidth ratio

Figure 112008076058963-pct00035
은 (C, V) 쌍의 근방 내에서 변하지 않는 것으로서 취급될 수 있다. Can be treated as unchanged within the neighborhood of the pair (C, V). 대역폭 비율 βi 는 아래에 도시된 식에서 정의된다: Bandwidth ratio βi is defined the equation shown below:

Figure 112008076058963-pct00036

그 다음에, 비트 할당은 다음 식에서 표현된 것과 같이 정의될 수 있다. Then, the bit allocation may be defined as the following equation represented.

Figure 112008076058963-pct00037

여기서, δ 는 "근방" 을 나타낸다. Here, δ represents the "vicinity".

인코딩 복잡도는 공간 및 시간 모두의 인간 시각 감도에 의해 영향을 받는다. Encoding complexity is affected by human visual sensitivity, both spatial and temporal. 지로드 (Girod) 의 인간 시각 모델은 공간 복잡도를 정의하는데 이용될 수 있는 모델의 일 예이다. Human visual model of the support rod (Girod) is an example of a model that may be used to define the spatial complexity. 이러한 모델은 로컬 공간 주파수와 주위 조명을 고려한다. This model considers the local spatial frequency and ambient lighting. 그 결과로서 생성된 메트릭은 D csat 로 지칭된다. The metric generated as a result is referred to as D csat. 프로세스 내의 전처리 포인트에서, 영상이 인트라 코딩될 것인지 인터 코딩될 것인지 여부는 알려지지 않고, 양쪽에 대한 대역폭 비율이 생성된다. In the pre-processing point in the process, whether the image is going to be inter-coded is going to be intra-coded is not known, the bandwidth ratios for both are generated. 상이한 비디오 대상의 β INTRA 간의 비율에 따라 비트가 할당된다. The bits are allocated according to the ratio between β INTRA of different video object. 인트라 코딩된 영상의 경우에, 대역폭 비율은 다음 식에서 표현된다. In the case of the intra-coded image, the bandwidth ratio is expressed in the following equation.

Figure 112008076058963-pct00038

상기 식에 있어서, Y 는 매크로블록의 평균 휘도 성분이고, α INTRA 는 휘도 제곱 및 그 다음에 오는 D csat 항에 대한 가중 계수이며, In the formula, Y is the average luminance component of the macroblock, α INTRA is a weighting factor for the luminance square and then D csat wherein comes in,

Figure 112008076058963-pct00039
It is
Figure 112008076058963-pct00040
을 보장하기 위한 정규화 계수이다. It is a normalization factor to guarantee. 예를 들어, α INTRA = 4 인 값은 양호한 시각 품질을 달성한다. For example, α INTRA = 4 value achieves good visual quality. 콘텐츠 정보 (예를 들어, 콘텐츠 분류) 를 이용하여, 특정 비디오 콘텐츠에 대해 원하는 양호한 시각 품질 레벨에 대응하는 값으로 α INTRA 를 설정할 수 있다. Using the content information (e.g., a content classification) can be set to a value corresponding to the α INTRA good visual quality level desired for the particular video content. 일 예에서, 비디오 콘텐츠가 "talking head" 뉴스 브로드캐스트를 포함하면, 비디오의 정보 이미지 또는 디스플레이 가능 부분이 오디오 부분보다 낮은 중요도를 갖는 것으로 간주될 수도 있으므로, 시각 품질 레벨을 낮게 설정할 수도 있고, 그 데이터를 인코딩하는데 더 적은 비트를 할당할 수 있다. In one example, when including the news broadcast, the video content "talking head", it may be considered to be information image or the display portion of a video having a lower priority than the audio portion, and also set a lower visual quality level, and to encode the data can be allocated fewer bits. 다른 예에 있어서, 비디오 콘텐츠가 스포츠 이벤트를 포함하면, 표시된 이미지가 시 청자에게 더 중요할 수도 있으므로, 콘텐츠 정보를 이용하여, 보다 높은 시각 품질 레벨에 대응하는 값으로 α INTRA 를 설정할 수도 있고, 이에 따라, 그 데이터를 인코딩하는데 더 많은 비트를 할당할 수 있다. In another example, if the video content comprises a sporting event, since also the displayed image to be more important to when the listener, using the content information, and can set the α INTRA to a value corresponding to a higher visual quality level, whereby , it is possible to allocate more bits to encode the data.

이러한 관계를 이해하기 위해서는, 대역폭이 인코딩 복잡도에 따라 대수적으로 할당된다는 것에 주목해야 한다. To understand this relationship, it should be noted that bandwidth is allocated logarithmically with encoding complexity depending on the. 휘도를 제곱한 항 Y 2 은 더 큰 크기를 갖는 계수가 인코딩을 위해 더 많은 비트를 이용한다는 것을 나타낸다. Wherein the squares of the luminance Y 2 indicates that the coefficient having a larger size is used more bits for encoding. 로그가 음의 값으로 되는 것을 방지하기 위해, 괄호 안의 항에 1 이 더해진다. To prevent the log is a negative value, the more it becomes the first term in the brackets. 또한, 다른 밑을 갖는 로그를 이용할 수 있다. In addition, it is possible to use a log having a different bottom.

시간 복잡도는 프레임 차이 메트릭을 측정하여 결정되는 것으로서, SAD (sum of the absolute difference) 와 같은 프레임 차이 메트릭과 함께 모션 양 (예를 들어, 모션 벡터) 을 고려하여 2 개의 연속적인 프레임 간의 차이를 측정한다. Time complexity as determined by measuring the frame difference metric, the motion amount with a frame difference metric, such as a SAD (sum of the absolute difference) (e.g., motion vectors) to measure the difference between two consecutive frames taking into account do.

인터 코딩된 영상에 대한 비트 할당은 시간 복잡도뿐만 아니라 공간 복잡도도 고려할 수 있다. The bit allocation for the inter-coded image may be considered as well as the complexity of the space time complexity. 이는 다음 식과 같이 표현된다. This is represented by the following equation.

Figure 112008076058963-pct00041

상기 식에 있어서, MV P 와 MV N 은 현재 MB 에 대한 순방향 및 역방향 모션 벡터이다. In the above equation, MV MV N and P is a forward and backward motion vectors for the current MB. 인트라 코딩된 대역폭 공식 내의 Y 2 은 SSD (sum of squared difference) 로 대체됨을 알 수 있다. Y 2 in the formula is the intra-coded bandwidth can be seen that replacing a (sum of squared difference) SSD. 상기 식에서 Wherein

Figure 112008076058963-pct00042
의 역할 을 이해하기 위해서는, 인간 시각 시스템의 다음 특징에 주목하자: 평활하며 예측 가능한 모션 (작은 In order to understand the role, let's note the following characteristics of the human visual system: smooth and predictable motion (small
Figure 112008076058963-pct00043
) 을 경험한 영역이 주의를 끌고, 인간 눈에 의해 추적될 수 있으며, 통상 정지 영역보다 임의의 많은 왜곡을 허용할 수는 없다. ) This one area of ​​experience attracting attention, can be tracked by the human eye, it can not allow any large distortion than conventional stop area. 그러나, 고속이거나 예측할 수 없는 모션 (큰 However, high speed or motion can (large unpredictable
Figure 112008076058963-pct00044
) 을 경험한 영역은 추적될 수 없고, 상당한 양자화를 허용할 수 있다. ) The area can not be tracked to experience, may allow for significant quantization. 실험예는 α INTRA = 1, Experimental Example is INTRA α = 1,
Figure 112008076058963-pct00045
은 양호한 시각 품질을 달성한다는 것을 나타낸다. Shows that to achieve a good visual quality.

샷 검출 Shot detection

이하, 샷 검출의 예시적인 실시형태를 설명한다. It illustrates the exemplary embodiments described below, shot detection. 그러한 컴포넌트 및 프로세스는 GOP 분할기 (412) 에 포함될 수 있다 (도 4). Such components and processes may be included in the GOP partitioner 412 (FIG. 4).

모션 보상기 (23) 는 비디오 내의 프레임에 관한 양방향 모션 정보를 결정하도록 구성될 수 있다. Motion compensator 23 may be configured to determine the bi-directional motion information about the frame in a video. 또한, 모션 보상기 (23) 는 예를 들어, SAD (sum of absolute difference) 또는 SSD (sum of squared difference) 와 같은 하나 이상의 차이 메트릭을 결정하고, 하나 이상의 프레임에 대한 휘도 정보 (예를 들어, 매크로블록 (MB) 휘도 평균 또는 차이), 휘도 히스토그램 차이, 및 프레임 차이 메트릭을 비롯한 다른 정보를 계산하도록 구성될 수 있고, 그 예들은 식 (1) 내지 식 (3) 을 참조하여 설명되어 있다. In addition, the motion compensator 23, e.g., SAD (sum of absolute difference) or SSD (sum of squared difference), and determining at least one difference metric such as and, for the brightness information for one or more frames (e.g., macro It may be configured to calculate the other information including a block (MB) or the average luminance difference), a luminance histogram difference, and a frame difference metric, and examples thereof are described with reference to formula (1) to (3). 샷 분류기는 모션 보상기에 의해 결정된 정보를 이용하여 비디오 내의 프레임을 2 개 이상의 "샷" 카테고리로 분류하도록 구성될 수 있다. Shot classifier may be configured using the information determined by the motion compensator to classify a frame in a video in two or more "shot" category. 인코더는 샷 분류에 기초하여 복수의 프레임을 적응 인코딩하도록 구 성된다. The encoder is configured to adapt the encoding a plurality of frames on the basis of the shot classification. 이하, 식 (1) 내지 식 (10) 을 참조하여 모션 보상기, 샷 분류기, 및 인코더를 설명한다. Reference to the following, Equation (1) to (10) will be described a motion compensator, shot classifier, and an encoder.

도 28 은 몇몇 양태에 따른 샷 검출 및 기타 전처리 동작을 위해 구성된 프로세서 (2831) 를 포함하는 전처리기 (202) 의 블록도이다. 28 is a block diagram of a preprocessor 202 and a processor (2831) configured for shot detection, and other pre-processing operations according to some aspects. 디지털 비디오 소스는 도 4 에 도시된 것과 같이 전처리기 (202) 외부에 있는 소스에 의해 제공되어 전처리기 (202) 내의 통신 모듈 (2836) 로 통신될 수 있다. Digital video sources may be communicated to the communication module (2836) within the preprocessor 202 is provided by a source external to the preprocessor 202, as shown in FIG. 전처리기 (202) 는 프로세서 (2831) 와 통신하는 저장 매체 (2835) 를 포함하고, 저장 매체 (2835) 와 프로세서 (2831) 모두는 통신 모듈 (2836) 과 통신한다. Preprocessor 202 both the processor (2831) to communicate with a storage medium (2835), and that the storage medium (2835) to the processor (2831) is in communication with the communication module (2836). 프로세서 (2831) 는 모션 보상기 (2832), 샷 분류기 (2833), 및 기타 전처리 모듈 (2034) 을 포함하여, 본원에서 설명되는 것과 같이, 모션 정보를 생성하고, 비디오 데이터의 프레임 내의 샷을 분류하며 기타 전처리 테스트를 수행하도록 동작할 수 있다. A processor (2831), including a motion compensator (2832), shot classifier (2833), and other pre-processing module 2034, as described herein, and generating the motion information, and classifies the shot in a frame of video data, other tests may be operable to perform preprocessing. 모션 보상기, 샷 분류기, 및 기타 모듈은 도 4 의 대응하는 모듈과 유사한 프로세스를 포함할 수 있고, 아래에서 설명되는 정보를 결정하도록 비디오를 처리할 수 있다. Motion compensator, shot classifier, and other modules may include a module which is similar to the corresponding process of Fig. 4, may process the video to determine the information that is described below. 특히, 프로세서 (2831) 는 복수의 비디오 프레임의 인접 프레임 간의 차이를 나타내는 메트릭 (이 메트릭은 양방향 모션 정보 및 휘도 정보를 포함함) 을 획득하고, 상기 메트릭에 기초하여 복수의 비디오 프레임의 샷 전환을 결정하며, 샷 전환에 기초하여 복수의 프레임을 적응 인코딩하는 구성을 가질 수 있다. In particular, the processor (2831) is to obtain the metric (this metric comprises a bi-directional motion information and luminance information) representing a difference between adjacent frames of a plurality of video frames, a plurality of shot transition of the video frame based on the metrics, crystal, and it may have a configuration adapted to encode the plurality of frames based on the shot switch. 몇몇 양태에서, 그 메트릭은 프로세서 (2831; 이 프로세서는 또한 전처리기 (202) 외부에 있을 수 있음) 외부에 있는 디바이스나 프로세스에 의해 계산될 수 있고, 다른 디바이스나 메모리를 통해 직접 또는 간접적으로 프로세서 (2831) 로 통신될 수 있다. In some embodiments, the metric processor (2831; The processor may also be implemented as pre-processor 202 may be external to) may be calculated by a device or process that is outside, directly or indirectly, to the processor through another device or memory It may be communicated to the (2831). 또한, 그 메트릭은 예를 들어, 모션 보상기 (2832) 와 같은 프로세서 (2831) 에 의해 계산될 수 있다. Further, the metric may be, for example, it is computed by a processor (2831) such as the motion compensator (2832).

전처리기 (202) 는 추가적인 처리, 인코딩 및 송신을 위해 비디오 및 메타데이터를 예를 들어, 단말기 (160; 도 1) 에 제공한다. Preprocessor 202 may, for example, video and metadata for further processing, encoding and transmission, the terminal; and providing (160 FIG. 1). 몇몇 양태에서, 인코딩된 데이터는 베이스 계층 및 인핸스먼트 계층을 포함할 수 있는 스케일러블 다층 인코딩된 비디오일 수 있다. In some aspects, the encoded data may be scalable multi-layered encoded video, which can include a base layer and enhancement layer. 스케일러블 계층 인코딩은, 본원의 양수인이 소유하고 있고, 본원에서 그 전체를 참조로서 병합하고 있으며, 발명의 명칭이 "SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING" 인 동시 계속중인 미국 특허 번호 [Attorney docket no. Scalable layer encoding, and owned by the herein assignee, and are incorporated by reference in its entirety herein, the title of the invention "SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING" in the same time continue being U.S. Patent No. [ Attorney docket no. 050078] 에 더 설명되어 있다. 050 078] is further described.

몇몇 양태에서, 도 28 과 관련하여 설명된 여러 예시적인 논리 블록, 컴포넌트, 모듈 및 회로와, 본원에 개시된 다른 예 및 도면은, 범용 프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) 나 기타 프로그램 가능 논리 디바이스, 별도의 게이트나 트랜지스터 논리, 별도의 하드웨어 컴포넌트, 또는 본원에 설명된 기능을 수행하도록 설계된 그 임의의 조합으로 구현되거나 수행될 수도 있다. And in some aspects, also in relation to the 28-described various illustrative logical blocks, components, modules, and circuits, other examples and drawings disclosed in the present application is a general purpose processor, DSP (digital signal processor), ASIC (application specific integrated circuit) It may be FPGA (field programmable gate array) or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or be implemented as any combination thereof designed to perform the functions described herein performed. 도 28 에 도시된 것과 같은 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로는, 그 프로세서는 임의의 통상적인 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. Also a general-purpose processor such as that shown at 28 may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. 또한, 프로세서는 컴퓨팅 디바이스의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다. A processor may also be implemented as a combination, e.g., a combination of a DSP and a microprocessor, a plurality of microprocessors, DSP core and the one or more microprocessors in combination, or any other such configuration of the computing device.

통상, 비디오 인코딩은 구조화된 GOP (group of picture) 에 대해 작용한다. Typically, the video encoding is to act on the (group of picture) structured GOP. GOP 는 보통 인트라 코딩된 프레임 (I-프레임) 에서 시작하고, 일련의 P (예측) 또는 B (양방향) 프레임으로 진행한다. A GOP normally starts from the intra-coded frames (I- frames), and the process proceeds to a series of P (predictive) or B (bi-directional) frames. 통상, I-프레임은 프레임을 표시하기 위한 모든 데이터를 저장할 수 있고, B-프레임은 이전 및 다음 프레임 내의 데이터 (예를 들어, 단지 이전 프레임으로부터 변경된 데이터를 포함하거나 다음 프레임 내의 데이터와는 상이함) 에 의존하며, P-프레임은 이전 프레임으로부터 변경된 데이터를 포함한다. Typically, I- frame can store all the data for displaying the frames, B- frames including data that has changed from the previous and next data (e.g., only the previous frame in the frame or is different from data in the next frame, ) depends on, and P- frame includes data that has changed from the previous frame.

일반적인 이용 시, I-프레임은 인코딩된 비디오에서 P-프레임과 B-프레임에 산재된다. Typical use when, I- frames are interspersed in the encoded video frame to the P- and B- frames. 크기 (예를 들어, 프레임을 인코딩하는데 이용되는 비트 수) 면에서, I-프레임은 통상 P-프레임보다 훨씬 더 크고, P-프레임은 또한 B-프레임보다 크다. Size (e.g., number of bits used to encode the frame) from the surface, I- frame is much larger, than the normal P- P- frames frame is also larger than the B- frame. 효율적인 인코딩, 송신 및 디코딩 처리를 위해, GOP 길이는 큰 I-프레임으로부터의 유효 손실을 줄이기 위해 충분히 길어야 하고, 인코더와 디코더 간의 불일치나 채널 손상을 해결하기 위해 충분히 짧아야 한다. For efficient encoding, transmission and decoding processing, GOP length is sufficiently short as to be long enough to reduce the effective loss from the larger I- frame and to address the mismatch between the encoder and decoder, or channel impairment. 또한, 동일한 이유로, P 프레임 내의 매크로블록 (MB) 은 인트라코딩될 수 있다. Further, for the same reason, it is macro block (MB) in P frames can be intra-coded.

장면 전환 검출은, I-프레임을 일정한 간격으로 삽입하는 대신에, 적당한 GOP 길이를 결정하고, GOP 길이에 기초하여 I-프레임을 삽입하도록 비디오 인코더에서 이용될 수 있다. The scene change detection is, instead of inserting the I- frame at regular intervals, can be used in the video encoder determines the proper GOP length, and to insert the I- frames based on the GOP length. 실제 스트리밍 비디오 시스템에서, 통신 채널은 통상 비트 에러나 패킷 손실에 의해 손상된다. In actual streaming video system, the communication channel is corrupted by an average bit error or packet loss. I 프레임 또는 I 매크로블록을 어디에 배치하는지에 따라, 디코딩된 비디오 품질과 시청 경험을 상당한 영향을 줄 수도 있다. Depending on how I frame or macro block where I placed, it may significantly impact decoded video quality and viewing experience. 일 인코딩 방식은 연관된 이전 영상 또는 영상 부분으로부터의 상당한 변화를 갖는 영상 또는 영상 부분에 대해 인트라 코딩된 프레임을 이용하는 것이다. One encoding scheme is to use intra-coded frames for the image or image portion with a significant change from a previous image, or image portion is associated. 보통, 이들 영역은 모션 추정을 이용하여 효과적ㆍ효율적으로 예측될 수 없고, 그러한 영역이 프레임 간 코딩 기술 (예를 들어, B-프레임 및 P-프레임을 이용하는 인코딩) 에서 제외되면 더 효율적으로 인코딩을 행할 수 있다. Usually, a more efficient encoding when in these regions can not be predicted effectively and efficiently with motion estimation, except in such a region coding techniques inter-frame (for example, encoding using the B- frame and a P- frame) It can be performed. 채널 손상의 환경에서, 그들 영역은 에러 전파를 받을 가능성이 있는데, 이러한 에러 전파는 프레임 내 인코딩에 의해 감소 또는 제거될 수 있다 (또는 거의 감소 또는 제거될 수 있음). In the environment of the channel impairments, (with or can be substantially reduced or eliminated), their area there is a potential for error propagation, Such error propagation can be reduced or eliminated by the intra-frame encoding.

GOP 비디오의 일부는 2 개 이상의 카테고리로 분류될 수 있는데, 각각의 영역은 특정 구현예에 따라 다를 수도 있는 상이한 프레임 내 인코딩 기준을 가질 수 있다. Some of the GOP video may be classified into two or more categories, each region may have different intra-frame encoding criteria that may vary depending on the particular implementation. 일 예로서, 비디오는 3 개의 카테고리로 분류될 수 있다: 갑작스런 장면 전환, 크로스-페이딩 (cross-fading) 과 기타 느린 장면 전환, 및 카메라 플래시라이트. In one example, the video may be classified into three categories: a sudden scene change, cross-fading (cross-fading) and other slow scene change, and camera flashlight. 갑작스런 장면 전환은 통상 카메라 조작에 의해 일어나는 이전 프레임과는 상당히 상이한 프레임을 포함한다. The abrupt transition from the previous frame is caused by a normal camera operation it includes a significantly different frames. 이들 프레임의 콘텐츠가 이전 프레임의 콘텐츠와는 상이하기 때문에, 갑작스런 장면 전환은 I 프레임으로서 인코딩되어야 한다. Since the content of these frames to different from the content of the previous frame, the abrupt scene change is to be encoded as an I frame. 크로스-페이딩 및 기타 느린 장면 전환은 통상 카메라 샷의 컴퓨터 처리에 의해 일어나는 느린 장면 전환을 포함한다. Cross-fading and other slow scene changes includes a slow scene change caused by computer processing of a normal camera shot. 2 개의 상이한 장면의 점진 블렌딩은 인간 눈에는 더 만족스럽게 보일 수도 있지만, 비디오 코딩하기가 어렵다. 2, but also look carefully gradual blending of the different scenes are more satisfied with the human eye, it is difficult to video coding. 모션 보상은 그들 프레임의 비트레이트를 효과적으로 줄일 수 없고, 이들 프레임에 대해 더 많은 인트라 MB 가 갱신될 수 있다. Motion compensation can not reduce the bitrate of those frames effectively, more intra-MB may be updated for these frames.

카메라 플래시라이트, 또는 카메라 플래시 이벤트는, 프레임의 콘텐츠가 카메라 플래시를 포함하는 경우에, 일어난다. Camera flash light, or a camera flash event will take place in the case where the content of a frame including the flashlight. 그러한 플래시는 지속기간이 비교적 짧고 (예를 들어, 1 프레임), 매우 밝아서, 플래시를 나타내는 프레임 내의 화소는 인접 프레임 상의 대응하는 영역에 비해 매우 높은 휘도를 나타내게 된다. Such a flash duration is relatively short (e.g., one frame), and very bright, the pixel in the frame showing the flash is set to indicate a very high brightness compared to the corresponding region on the adjacent frame. 카메라 플래시라이트는 영상의 휘도를 갑작스럽고 빠르게 변화시킨다. Camera flash light is thereby suddenly and rapidly changing the brightness of the image. 통상, 카메라 플래시라이트의 지속기간은 HVS (human vision system) 의 시간 마스킹 지속기간보다 짧은데, 이는 통상 44 ms 가 되도록 정의된다. Typically, the duration of a camera flashlight is jjaleunde than the time duration of the masking (human vision system) HVS, which is defined to be the normal 44 ms. 인간 눈이 이들 짧은 밝기 버스트의 품질에 민감하지 않으므로, 대강 인코딩되어도 된다. The human eye does not sensitive to the quality of these short bursts brightness, or may be roughly encoded. 모션 보상을 이용하여 플래시라이트 프레임을 효과적으로 처리할 수 없으며 장래 프레임에 대해 열악한 예측 후보이므로, 이들 프레임의 대강 인코딩은 장래 프레임의 인코딩 효율을 줄이지 않는다. Using motion compensation can not effectively handle the flashlight frames so bad prediction candidate for future frames, approx encoding of these frames does not reduce the encoding efficiency of future frames. 플래시라이트로서 분류된 장면은 "인위적인" 고휘도로 인해 다른 프레임을 예측하는데 이용되지 않아야 하고, 동일한 이유로 이들 프레임을 예측하는데 다른 프레임을 효과적으로 이용할 수 없다. Scenes classified as flashlights are "artificial" because of the high brightness should not be used to predict other frames and other frames for the same reason you can not effectively be used to predict these frames. 일단 식별되면, 비교적 많은 양의 처리를 필요로 할 수 있기 때문에, 이들 프레임을 제거할 수 있다. Once identified, it can be removed, these frames because they can require a relatively large amount of processing. 한 가지 옵션은 카메라 플래시라이트 프레임을 제거하고 그 대신에 DC 계수를 인코딩하는 것이다; One option is to remove the camera flashlight frames and encode a DC coefficient Instead; 그러한 솔루션은 간단하고, 계산이 빠르며 많은 비트를 절약한다. Such a solution is simple, fast and saves a lot of bits is calculated.

상기 프레임들 중 임의의 프레임이 검출되면, 샷 이벤트가 선언된다. If any frame is detected among the frame it is declared a shot event. 샷 검출은 인코딩 품질을 개선하는데 있어서 유용할 뿐만 아니라, 비디오 콘텐츠 검색 및 인덱싱의 식별에 있어서도 유용할 수 있다. Shot detection is not only useful in improving the quality of the encoding, it can be also useful for identification of the video content searching and indexing. 이하, 샷 검출 프로세스의 일 양태를 설명한다. Hereinafter, an aspect of a shot detection process.

도 30 은 몇몇 양태에서 비디오 프레임 내의 샷 검출에 기초하여 비디오를 인코딩하는데 이용될 수 있는 GOP 에 대한 작용하는 프로세스 (3000) 를 도시하는 것으로서, 프로세스 (3000) 의 부분들 (또는 하위 프로세스) 는 도 30 내지 도 40 을 참조하여 설명 및 도시되어 있다. 30 is as showing a process (3000) which acts on that may be used GOP in encoding the video based on shot detection in a video frame in some aspects, the portions of the process 3000 (or sub-process) FIG. see Fig. 30 to 40 and are described and illustrated. 프로세서 (2831) 는 프로세스 (3000) 를 포함하도록 구성될 수 있다. A processor (2831) may be configured to include a process (3000). 프로세스 (3000) 가 시작한 다음에, 블록 3042 로 진행하여, 비디오 프레임에 대해 메트릭 (정보) 을 획득하는데, 이 메트릭은 인접 프레임 간의 차이를 나타내는 정보를 포함한다. A process (3000) is started, and then proceeds to block 3042, to obtain the metric (information) on the video frame, the metric includes information indicative of a difference between adjacent frames. 그 메트릭은 그 다음에 샷 분류에 이용될 수 있는 인접 프레임 간에 일어난 전환을 결정하기 위한 휘도 기반 정보와 양방향 모션 정보를 포함한다. The metric comprises a luminance-based information and bi-directional motion information for determining a switching takes place between the adjacent frames, that may be used for classification in the next shot. 그러한 메트릭은 다른 디바이스나 프로세스로부터 획득되거나, 예를 들어, 프로세서 (2831) 에 의해 계산될 수 있다. Such metric or obtained from another device or a process, for example, it is calculated by the processor (2831). 이하, 도 31 의 프로세스 A 를 참조하여 예시적인 메트릭 생성의 실시형태를 설명한다. See below, the process A of FIG. 31 will be described an embodiment of an exemplary metric generation.

그 다음에, 프로세스 (3000) 는 블록 3044 로 진행하여, 메트릭에 기초하여 비디오의 샷 전환을 결정한다. Then, the process 3000 proceeds to block 3044, based on a metric to determine the conversion of the video shot. 비디오 프레임은 어떤 타입의 샷 (예를 들어, 갑작스런 장면 전환, 느린 장면 전환, 또는 고휘도 값 (카메라 플래시) 을 포함하는 장면) 이 프레임에 포함되어 있는지에 대한 2 개 이상의 카테고리로 분류될 수 있다. Video frames can be classified as a shot of a certain type more than one category for that (for example, a sudden scene change, a slow scene change, or a high luminance value (camera scene including a flash)) included in the frame. 일정 구현예의 인코딩은 다른 카테고리를 필요로 할 수도 있다. Certain embodiments the encoding may require a different category. 샷 분류의 예시적인 예는 각각 도 32 의 프로세스 B 를 참조하여 설명되며, 도 34 내지 도 36 의 프로세스 D, E, 및 F 를 참조하여 더 상세히 설명된다. Illustrative examples of the shot classification is described with reference to the process B of FIG. 32, respectively, of FIG. 34 to FIG. 36, see the processes D, E, and F and is described in further detail.

일단 프레임이 분류되면, 프로세스 (3000) 는 블록 3046 으로 진행하여, 샷 분류 결과를 이용하여 프레임을 인코딩하거나 인코딩을 위해 지정할 수 있다. Once the frames are sorted, the process 3000 proceeds to block 3046, it can be specified for encoding a frame or encoded using a shot classification. 그러한 결과는 인트라 코딩된 프레임으로 프레임을 인코딩할지 예측 프레임 (예를 들어, P-프레임 또는 B-프레임) 으로 인코딩할지 여부에 영향을 줄 수 있다. Such a result can affect whether or not to encode a frame as an intra-coded frame prediction frame whether (e.g., P- frame or a B- frame) encoded. 도 33 의 프로세스 C 는 샷 결과를 이용하는 인코딩 방식의 일 예를 도시한다. The process C of FIG. 33 illustrates an example of an encoding method using the shot results.

도 31 은 비디오의 메트릭을 획득하는 프로세스의 일 예를 도시한다. 31 shows an example of a process for obtaining a metric of the video. 도 31 은 도 30 의 블록 3042 에서 일어나는 일정 단계를 도시한다. 31 shows a constant phase takes place in block 3042 of Figure 30. 계속 도 31 을 참조하면, 블록 3152 에서, 프로세스 A 는 비디오의 양방향 모션 추정 및 보상 정보를 획득하거나 결정한다. Still referring to Figure 31, at block 3152, the process A will obtain or determine the bi-directional motion estimation and compensation information of a video. 도 28 의 모션 보상기 (2832) 는 프레임에 대한 양방향 모션 추정을 수행하고, 다음 샷 분류에 이용될 수 있는 모션 보상 정보를 결정하도록 구성될 수 있다. Motion compensator (2832) of Figure 28 may be configured to perform the bidirectional motion estimation for the frame, determining the motion compensation information that may be used for the next shot classification. 그 다음에, 프로세스 A 는 블록 3154 로 진행하여, 현재 또는 선택된 프레임 및 하나 이상의 인접 프레임에 대한 휘도 차이 히스토그램을 포함한 휘도 정보를 생성한다. Then, the process A is the process advances to block 3154 and generates a luminance information including the luminance histogram difference of the current selected frame and one or more adjacent frames. 그 다음에, 끝으로, 프로세스 A 는 블록 3156 으로 진행하여, 프레임에 포함된 샷을 나타내는 메트릭을 계산한다. Then, finally, the process A is the process advances to block 3156, it computes a metric indicative of a shot contained in the frame. 그러한 일 메트릭은 식 (4) 및 식 (10) 의 2 개의 예에 도시되어 있는 프레임 차이 메트릭이다. One such metric is the formula (4) is a two-frame difference metric, which is shown in one example of the expression (10). 이하, 모션 정보, 휘도 정보 및 프레임 차이 메트릭을 결정하는 예시적인 예를 설명한다. It will be described an illustrative example for determining the following motion information and luminance information, and a frame difference metric.

모션 보상 Motion compensation

양방향 모션 추정/보상을 수행하기 위해, 비디오 시퀀스는 프레임들 중 2 개의 프레임, 즉 가장 인접한 이웃 프레임 (과거의 일 프레임과 장래의 일 프레임) 내의 블록과 현재 프레임의 모든 8 × 8 블록을 일치시키는 양방향 모션 보상기로 전처리될 수 있다. To carry out bi-directional motion estimation / compensation, a video sequence is to match the block and all the 8 × 8 block of the current frame in other words the two adjacent frames of the frames adjacent frames (of the past frame and the future one frame of) It can be pre-treated with bi-directional motion compensator. 모션 보상기는 모든 블록마다 모션 벡터와 차이 메트릭을 생성한다. The motion compensator produces motion vectors and difference metrics for every block. 도 37 은 이러한 개념을 나타내는 것으로서, 현재 프레임 C 의 화소를 이전 프레임 P 및 장래 프레임 (또는 다음) 프레임 N 과 일치시키는 일 예를 도시하는 개념을 나타낸 것으로서, 일치된 화소에 대한 모션 벡터 (이전 모션 벡터 MV P 및 장래 모션 벡터 MV N ) 를 나타낸다. As 37 is showing this concept, as showing a concept showing an example of matching with the previous frame P and a future frame (or next) frame N pixels of the current frame C, the motion vectors for the matched pixels (before motion It shows a vector MV P and future motion vector MV N). 이하, 양방향 모션 벡터 생성 및 관련 인코딩의 예시적인 양태의 간단한 설명이 계속된다. A brief description of the exemplary embodiments described below, bi-directional motion vector generation and related encoding is continued.

도 40 은 예를 들어, MPEG-4 에 있어서 모션 벡터 결정 프로세스와 예측 프레임 인코딩의 일 예를 도시한다. Figure 40, for example, MPEG-4 shows an example of the motion vector determination process and predictive frame encoding in. 도 40 에 도시된 프로세스는 도 31 의 블록 3152 에서 일어날 수 있는 예시적인 프로세스를 더 상세히 도시한다. The process shown in Figure 40 in more detail shows an example process that may occur in the block 3152 of Figure 31. 도 40 에서, 현재 영상 (4034) 은 5 × 5 매크로블록으로 이루어지고, 본 예에서 매크로블록의 수는 임의적이다. In Figure 40, the current image (4034) is made of 5 × 5 macro blocks, the number of macroblocks in this example is arbitrary. 매크로블록은 16 × 16 화소로 이루어진다. Macro block is composed of 16 × 16 pixels. 화소는 8 비트 휘도 값 (Y) 과 2 개의 8 비트 색차 값 (Cr 및 Cb) 으로 정의될 수 있다. The pixel may be defined by an 8-bit luminance value (Y) and two 8-bit chrominance values ​​(Cr and Cb).

MPEG 에 있어서, Y, Cr 및 Cb 성분은 4:2:0 포맷으로 저장될 수 있고, Cr 및 Cb 성분은 X 및 Y 방향으로 2 씩 다운샘플링된다. In MPEG, Y, Cr and Cb components is 4: 2: 0 format may be stored in, Cr and Cb components are down-sampled by 2 in the X and Y directions. 따라서, 각각의 매크로블록은 256 개의 Y 성분, 64 개의 Cr 성분 및 64 개의 Cb 성분으로 이루어질 것이다. Hence, each macroblock would consist of 256 Y components, 64 Cr components and 64 Cb components. 현재 영상 (4034) 의 매크로블록 (4036) 은 현재 영상 (4034) 과는 상이한 시점에서 기준 영상 (4032) 으로부터 예측된다. Macro-block (4036) of the current image (4034) is predicted from the current image 4034 and the reference image 4032 at different times. 인코딩되는 현재 매크로블록 (4036) 에 대한 Y, Cr 및 Cb 값의 관점에서 가장 가까운 최적의 매칭 매크로블록 (4038) 을 찾기 위해, 기준 영상 (4032) 을 검색한다. To find a currently encoded macro block (4036), Y, Cr and the nearest optimal match macroblock in view of the Cb value for the (4038), and retrieves the reference image (4032). 기준 영상 (4032) 내에 있는 최적의 매칭 매크로블록 (4038) 의 위치는 모션 벡터 (4040) 에서 인코딩된다. Position of the best matching macroblock (4038) in the reference image 4032 is encoded in motion vector (4040). 기준 영상 (4032) 은, 현재 영상 (4034) 의 구성 전에 디코더가 복원할 I-프레임 또는 P-프레임일 수 있다. Reference image 4032 may be, for the current frame I- or P- frame to decoder is restored before the configuration of a video (4034). 최적의 매칭 매크로블록 (4038) 을 현재 매크로블록 (4036) 에서 빼면 (Y, Cr 및 Cb 성분 각각에 대한 차이를 계산), 레지듀얼 에러 (4042) 가 얻어진다. Is subtracted at the best matching macroblock (4038) from the current macroblock (4036) (Y, and calculating the difference for each of the Cr and Cb components), the residual error (4042) is obtained. 레지듀얼 에러 (4042) 를 2D 이산 코사인 변환 (DCT) 으로 인코딩한 다음에, 양자화 (4046) 한다. A residual error (4042) encoded with 2D Discrete Cosine Transform (DCT) Next, a quantizer (4046). 양자화 (4046) 를 수행하여, 예를 들어, 저주파수 계수에 더 많은 비트를 할당하면서 고주파수 계수에 더 적은 비트를 할당함으로써 공간 압축을 제공할 수 있다. By performing the quantization (4046), for example, it is possible to provide a space and compressed by allocating more bits to the low frequency coefficient allocate fewer bits to high-frequency coefficients. 정보를 식별하는 기준 영상 (4034) 및 모션 벡터 (4040) 와 함께 레지듀얼 에러 (4042) 의 양자화된 계수는 현재 매크로블록 (4036) 을 나타내는 인코딩된 정보이다. The quantized coefficients of the reference image 4034 and a motion vector residual error (4042) along with 4040 which identifies the information is encoded information representing current macroblock (4036). 인코딩된 정보는 추후 이용을 위해 메모리에 저장되거나, 예를 들어, 에러 정정이나 이미지 개선 (image enhancement) 을 위해 처리되거나, 또는 네트워크 (140) 를 통해 송신될 수 있다. The encoded information may be stored in memory for use later, for example, or processed for error correction or image enhancement (image enhancement), or may be transmitted via the network 140.

인코딩된 모션 벡터 (4040) 와 함께 레지듀얼 에러 (4042) 의 인코딩된 양자화된 계수를 이용하여, 후속하는 모션 추정 및 보상을 위한 기준 프레임의 일부로서 이용되는 인코더에서 현재 매크로블록 (4036) 을 복원할 수 있다. Using the encoded quantized coefficients of residual error (4042) along with encoded motion vector 4040, reconstruct the current macroblock (4036) in the encoder for use as part of a reference frame for subsequent motion estimation and compensation to can do. 인코더는 이러한 P-프레임 복원을 위해 디코더의 절차를 에뮬레이션할 수 있다. The encoder can emulate the procedures of a decoder for such a P- frame restored. 디코더의 에뮬레이션으로 인해, 인코더와 디코더 모두는 동일한 기준 영상과 함께 작업하게 된다. Due to the emulation of the decoder, both the encoder and decoder is to work with the same reference image. 이때, 추후 인터-코딩을 위해 인코더에서 행해지는지 디코더에서 행 해지는지 여부에 관계없이 복원 프로세스가 제공된다. At this time, the later inter-restore process is available regardless of whether done in an encoder for encoding the line whether or not becoming in a decoder. P-프레임의 복원은 기준 프레임 (또는 참조되고 있는 영상이나 프레임의 일부) 이 복원된 후에 시작할 수 있다. Restoration of P- frames can be started after the (part of the picture or frame that is being or reference) reference frame should be restored. 인코딩된 양자화된 계수는 역양자화 (4050) 된 다음에, 2D 역 DCT, 또는 IDCT (4052) 를 수행하여, 디코딩되거나 복원된 레지듀얼 에러 (4054) 를 얻는다. The encoded quantized coefficients are dequantized in the following (4050), to obtain a 2D inverse DCT, or IDCT a residual error with a (4052), decoded or restored (4054). 인코딩된 모션 벡터 (4040) 를 디코딩하고, 이를 이용하여 이미 복원된 기준 영상 (4032) 에서 이미 복원된 최적의 매칭 매크로블록 (4056) 을 찾는다. Decoding the encoded motion vector 4040, and by using this to find the already been restored from the reconstructed reference image 4032 best matching macroblock (4056). 그 다음에, 복원된 레지듀얼 에러 (4054) 를 복원된 최적의 매칭 매크로블록 (4056) 에 더하여, 복원된 매크로블록 (4058) 을 형성한다. In addition to the Next, the reconstructed residual error (4054) the best matching macroblock (4056) is restored to thereby form a reconstructed macroblock (4058). 복원된 매크로블록 (4058) 은 메모리에 저장되거나, 다른 복원된 매크로블록과 함께 하나의 영상으로 또는 개별적으로 표시되거나, 또는 이미지 개선을 위해 더 처리될 수 있다. The reconstructed macro-block (4058) can be either stored in memory, along with the other reconstructed macroblocks, or represented by one of the video or separately, or further processed for image enhancement.

B-프레임 (또는 양방향 예측으로 코딩된 임의의 섹션) 을 이용하는 인코딩은 현재 영상 내의 영역과 이전 영상 내의 최적의 매칭 예측 영역과 후속 영상 내의 최적의 매칭 예측 영역 간의 시간 리던던시를 활용할 수 있다. Encoding using the B- Frames (or any section coded with bi-directional prediction) can take advantage of temporal redundancy between the best matching prediction region and the best matching prediction region in the subsequent image in a current area and the previous image in the image. 후속하는 최적의 매칭 예측 영역과 이전에 있는 최적의 매칭 예측 영역을 결합하여, 결합된 양방향 예측 영역을 형성한다. By combining the best matching prediction region in a subsequent best matching prediction region and the previous to form a combined bi-directional predicted region. 현재 영상 영역과 최적의 매칭 결합된 양방향 예측 영역 간의 차이가 레지듀얼 에러 (또는 예측 에러) 이다. The difference between the current picture region and the best matching combined bi-directional prediction region is a residual error (or prediction error). 후속하는 기준 영상 내의 최적의 매칭 예측 영역 및 이전에 있는 기준 영상 내의 최적의 매칭 예측 영역의 위치는 2 개의 모션 벡터로 인코딩될 수 있다. Optimum location of the matching prediction region in the reference image in the best matching prediction region in the previous and subsequent reference images that can be encoded in two motion vectors.

휘도 히스토그램 차이 Luminance histogram difference

모션 보상기는 모든 블록에 대해 차이 메트릭을 생성할 수 있다. Motion compensator can produce a difference metric for every block. 그 차이 메트릭은 SSD (sum of square difference) 또는 SAD (sum of absolute difference) 일 수 있다. The difference metric can be a SSD (sum of square difference) or SAD (sum of absolute difference). 본원에서, 일반성을 잃지 않으면서, SAD 는 일 예로서 이용된다. Without herein, the loss of generality, SAD is used as an example.

모든 프레임에 대해, SAD 비율은 다음과 같이 계산된다. For all frames, SAD ratio is calculated as follows:

Figure 112008076058963-pct00046

여기서, SAD P SAD N 은 각각 순방향 및 역방향 차이 메트릭의 절대 차이 합이다. Here, SAD P and N SAD is the absolute sum of the difference between each of the forward and backward difference metric. "0 으로 나누는" 에러를 방지하기 위해 분모는 작은 양의 수 ε 을 포함한다는 것에 주목하자. To avoid the "divide by zero" error denominator Notice that it includes a number of small positive ε. 또한, 분자는 분모에서 1 의 영향을 밸런싱하기 위해 ε 을 포함한다. In addition, the molecules include ε 1 in order to balance the influence of the denominator. 예를 들어, 이전 프레임, 현재 프레임, 및 다음 프레임이 동일하면, 모션 검색은 SAD P = SAD N = 0 을 생성하게 된다. For example, if the previous frame, the current frame is the same, and the next frame, the motion search and generates a SAD P = SAD N = 0. 이 경우에, 상기 계산은 0 또는 무한대 대신에 In this case, the calculation, instead of 0 or infinity

Figure 112008076058963-pct00047
을 생성한다. The produce.

휘도 히스토그램은 모든 프레임에 대해 계산될 수 있다. Luminance histogram can be calculated for every frame. 통상, 멀티미디어 이미지는 8 비트의 휘도 깊이 (예를 들어, "빈 (bin)" 개수) 를 갖는다. Typically, the multimedia image (e.g., "bin (bin)" number) depth of 8-bit luminance has a. 몇몇 양태에 따른 휘도 히스토그램을 계산하는데 있어서 이용되는 휘도 깊이를 16 으로 설정하여, 히스토그램을 얻을 수 있다. In calculating the luminance histogram according to some aspects by setting the luminance depth used by 16, it is possible to obtain a histogram. 다른 양태에서는, 처리되는 데이터 타입, 가용 계산 전력, 또는 기타 소정의 기준에 따라 다를 수도 있는 적절한 숫자로 휘도 깊이를 설정할 수 있다. In another aspect, the data type to be treated, the luminance depth can be set to an appropriate number which may vary, depending on the available computation power, or other predetermined criteria. 몇몇 양태에서, 휘도 깊이는 데이터 콘텐츠와 같은 계산되거나 수신된 메트릭에 기초하여 동적으로 설정될 수 있다. In some aspects, the luminance depth can be set dynamically based on a calculated or received metric, such as the data content.

식 (49) 는 휘도 히스토그램 차이 (lambda) 를 계산하는 일 예를 도시한다. Equation 49 shows an example of calculating a luminance histogram difference (lambda).

Figure 112008076058963-pct00048

여기서, N Pi 는 이전 프레임에 대한 i 번째 빈에서의 블록 수이고, N Ci 는 현재 프레임에 대한 i 번째 빈에서의 블록 수이며, N 은 일 프레임 내의 전체 블록 수이다. Here, N Pi is the number of blocks in the i-th bin for the previous frame, N Ci is the number of blocks in the i-th bin for the current frame, N is the total number of blocks in one frame. 이전 프레임과 현재 프레임의 휘도 히스토그램 차이가 완전히 다르면 (disjoint), λ = 2 이다. The previous frame and the luminance histogram difference of the current frame is the completely different (disjoint), λ = 2.

도 5 의 블록 56 을 참조하여 설명되는 프레임 차이 메트릭 D 는 식 (50) 에 도시된 것과 같이 계산될 수 있다. A frame difference metric D will be described with reference to the block 5 of 56 may be computed as shown in equation (50).

Figure 112008076058963-pct00049

여기서, A 는 애플리케이션에 의해 선택된 상수이고, Here, A is a constant chosen by application,

Figure 112008076058963-pct00050
, 및 And
Figure 112008076058963-pct00051
이다. to be.

도 32 는 비디오에 대해 획득되거나 결정된 메트릭을 이용하여 샷 (또는 장면) 전환의 3 개의 카테고리를 결정하는 프로세스 B 의 일 예를 도시한다. 32 shows an example of a shot using the obtained or determined metric for video (or scene), a process of determining the three categories of the switch B. 도 32 는 도 30 의 블록 3044 의 일 양태에서 일어나는 일정 단계를 도시한다. 32 shows a constant phase that occurs in one embodiment of block 3044 in FIG. 30. 도 32 를 다시 참조하면, 블록 3262 에서, 프로세스 B 는 우선 프레임이 갑작스런 장면 전환으로 지정되도록 하는 기준을 만족하는지 여부를 결정한다. Referring to Figure 32 again, at block 3262, Process B determines whether the first frame is to meet the criteria as specified in abrupt transitions. 도 34 의 프로세스 D 는 이러한 결정의 일 예를 도시한다. Process D of Fig. 34 shows an example of this determination. 그 다음에, 프로세스 B 는 블록 3264 로 진행하여, 프레임이 느리게 전환하는 장면의 일부인지 여부를 결정한다. Then, the process B goes to block 3264, determines whether or not part of the scene in which the frame is slow switching. 도 35 의 프로세스 C 는 느리게 전환하는 장면을 결정하는 일 예를 도시한다. The process C of FIG. 35 illustrates an example of determining the scene to slow switching. 끝으로, 블록 3366 에서, 프로세스 B 는 프레임이 카메라 플래시를 포함하는지 여부, 즉, 이전 프레임과는 상이한 큰 휘도 값을 포함하는지 여부를 결정한다. Finally, at block 3366, Process B determines whether the frame is whether or not a camera flash, that is, the previous frame includes different large luminance value. 도 36 의 프로세스 F 는 카메라 플래시를 포함하는 프레임을 결정하는 일 예를 도시한다. The process F in FIG. 36 is an illustration of an example of determining a frame including the flashlight. 이하, 이들 프로세스의 예시적인 예를 설명한다. Hereinafter, a description will be given of an illustrative example of these processes.

갑작스런 장면 전환 Sudden transitions

도 34 는 갑작스런 장면 전환을 결정하는 프로세스를 도시한 흐름도이다. 34 is a flow diagram illustrating a process for determining a sudden scene change. 도 34 는 도 32 의 블록 3262 의 몇몇 양태에서 일어날 수 있는 일정 단계를 더 상세히 설명한다. Figure 34 illustrates the constant phase in more detail that may occur in some aspects of the block 3262 of Figure 32. 블록 3482 에서, 프레임 차이 메트릭 D 가 식 (51) 에 도시된 기준을 만족하는지 여부를 확인한다. In block 3482, it is checked whether or not the frame difference metric D meets the criteria shown in equation (51).

Figure 112008076058963-pct00052

여기서, A 는 애플리케이션에 의해 선택된 상수이고, T 1 은 임계값이다. Here, A is a constant chosen by application, T 1 is a critical value. 그 기준을 만족하면, 블록 3484 에서, 프로세스 D 는 그 프레임을 갑작스런 장면 전환으로서 지정하는데, 본 예에서는, 추가적인 샷 분류를 필요로 하지 않는다. When it satisfies the criteria, at block 3484, the process D is to specify a sudden scene change to the frame, in the example, does not require an additional shot classification.

일 예에서, 시뮬레이션은, A = 1, 및 T 1 = 5 로 설정하면, 양호한 검출 성능을 달성함을 보여준다. In one example, the simulation, is set as A = 1, and T 1 = 5, show that achieve good detection performance. 현재 프레임이 갑작스런 장면 전환 프레임이면, If the current frame is a sudden scene change frame,

Figure 112008076058963-pct00053
는 커야 하고, It will be large and,
Figure 112008076058963-pct00054
는 작아야 한다. It should be less. 비율 ratio
Figure 112008076058963-pct00055
The
Figure 112008076058963-pct00056
단독 대신에 이용하여, 그 메트릭을 콘텍스트의 액티비티 레벨로 정규화할 수 있다. Using in place of sole, it is possible to normalize the metrics as the activity level of the context.

상기 기준은 휘도 히스토그램 차이 람다 (λ) 를 비선형 방식으로 이용한다는 것에 주목해야 한다. The reference is to be noted the luminance histogram difference lambda (λ) that is used in a non-linear manner. 도 39 는 λ*(2λ+1) 이 볼록 함수임을 나타낸다. Figure 39 shows that λ * (2λ + 1) is a convex function. λ 가 작으면 (예를 들어, 0 에 가까우면), 프리엠퍼시스 (preemphasis) 가 거의 없다. When λ is small (e.g., close to 0), the pre-emphasis (preemphasis), there is little. λ 가 커지면, 그 함수에 의해 더 많은 엠퍼시스가 행해진다. The larger λ, the more emphasis is performed by the function. 1.4 보다 큰 임의의 λ 에 대해 이러한 프리엠퍼시스를 이용하여, 임계값 T 1 이 5 로 설정되면, 갑작스런 장면 전환이 검출된다. Using these pre-emphasis for a given λ greater than 1.4, when the threshold value T 1 is set to 5, to a sudden scene change is detected.

크로스 페이딩 및 느린 장면 전환 Cross-fading and slow transition

또한, 도 35 는 도 32 의 블록 3264 에서 일어날 수 있는 몇몇 양태의 추가 상세를 도시한다. In addition, Figure 35 shows additional details of some aspects that may occur in the block 3264 of Figure 32. 도 35 를 참조하면, 블록 3592 에서, 프로세스 E 는 프레임이 느린 장면 전환을 나타내는 일련의 프레임의 일부인지 여부를 결정한다. Referring to Figure 35, at block 3592, the process E determines whether or not part of a series of frames representing a slow scene change frame. 식 (52) 에 도시된 바와 같이, 프레임 차이 메트릭 D 가 제 1 임계값 T 1 보다 작으며 제 2 임계값 T 2 이상인 경우에, 프로세스 E 는 현재 프레임이 크로스 페이딩 또는 느린 장면 전환인 것으로 결정한다. As shown in equation (52), and a frame difference metric D is smaller than the first threshold T 1 for not less than a second threshold value T 2, the process E is determined that the current frame is a cross-fading or slow scene change .

일정 개수의 연속 프레임에 대해, For consecutive frames of the certain number,

Figure 112008076058963-pct00057

여기서, T 1 은 상기 이용되는 동일 임계값이며, T 2 는 다른 임계값이다. Here, T 1 is the same threshold used above, T 2 is the other threshold. 통상, 구현예의 차이가 가능하기 때문에, T 1 T 2 의 정확한 값은 정규 실험에 의해 결정된다. Since the normally available differences embodiment, the exact values of T 1 and T 2 are determined by the normal experiments. 기준을 만족하면, 블록 3594 에서, 프로세스 E 는 선택된 프레임의 종료를 위해 프레임을 느리게 변하는 장면 샷 분류의 일부로서 분류한다. If any of the criteria, at block 3594, the process E are to be classified as part of the scene shot classification slow changes the frame to the end of the selected frame.

카메라 플래시라이트 이벤트 Camera flash light event

도 36 에 도시된 프로세스 F 는 현재 프레임이 카메라 플래시라이트를 포함하는지 여부를 결정할 수 있는 프로세스의 일 예이다. The process F illustrated in Figure 36 is one example of a process of determining whether the current frame comprises camera flashlights. 본 예시적인 양태의 카메라에 있어서, 휘도 히스토그램 통계치는 현재 프레임이 카메라 플래시라이트를 포함하는지 여부를 결정하는데 이용된다. In the present illustrative aspect camera, the luminance histogram statistics are the current frame is used to determine whether or not a camera flash light. 프로세스 F 는 블록 3602 에 도시된 것과 같이, 우선 현재 프레임의 휘도가 이전 프레임 및 다음 프레임의 휘도보다 큰지 여부를 결정함으로써, 선택된 프레임에서 카메라 플래시 이벤트를 결정한다. The process F is first determined by the luminance of the current frame, determining whether the brightness is greater than the previous frame and the next frame, the camera flash events from the selected frame, as shown in block 3602. 현재 프레임의 휘도가 이전 프레임 및 다음 프레임의 휘도보다 크지 경우에, 그 프레임은 카메라 플래시 이벤트가 아니지만, 현재 프레임의 휘도가 큰 경우에, 그 프레임은 카메라 플래시 이벤트일 수도 있다. If the luminance of the current frame is greater than the luminance of the previous frame and the next frame, and the frame when the camera flash event, but is a luminance of the present frame, the frame may be a camera flash event. 블록 3604 에서, 프로세스 F 는 역방향 차이 메트릭이 임계값 T 3 보다 큰지 여부를 결정하며, 순방향 차이 메트릭이 임계값 T 4 보다 큰지 여부를 결정하고, 이들 양쪽 조건이 만족되면, 블록 3606 에서, 프로세스 F 는 현재 프레임을 카메라 플래시라이트를 갖는 것으로서 분류한다. In block 3604, the process F is to determine whether the greater backward difference metric is below the threshold T 3, when the forward difference metric is determined whether or not larger than a threshold value T 4, and satisfies these both conditions, at block 3606, the process F classifies the current frame as having camera flashlights. 일 예에서, 블록 3602 에서, 식 (53) 및 식 (54) 에 도시된 것과 같이, 프로세스 F 는 현재 프레임의 평균 휘도에서 이전 프레임의 평균 휘도를 뺀 값이 임계값 T 3 이상인지 여부를 결정하고, 프로세스 F 는 현재 프레임의 평균 휘도에서 다음 프 레임의 평균 휘도를 뺀 값이 임계값 T 3 이상인지 여부를 결정한다. In one example, the decision whether or not in the block 3602, equations (53) and the equation, as shown in 54, a process F is a value obtained by subtracting the average luminance of the previous frame from the average luminance of the current frame, the threshold value T 3 or more , and a process F is determined whether or not obtained by subtracting the average luminance of the next frame on the average brightness of the current frame, the threshold value T 3 or more.

Figure 112008076058963-pct00058

기준이 만족되지 않으면, 현재 프레임은 카메라 플래시라이트를 포함하는 것으로서 분류되지 않고, 프로세스 F 는 리턴한다. If the criterion is not satisfied, the current frame is not classified as comprising camera flashlights, the process F returns. 기준이 만족되면, 프로세스 F 는 블록 3604 로 진행하여, 아래의 식 (55) 및 식 (56) 에 도시된 것과 같이, 역방향 차이 메트릭 SAD P 및 순방향 차이 메트릭 SAD N 이 일정 임계값 T 4 보다 큰지 여부를 결정한다. If the criterion is met, the process F is block the flow proceeds to 3604, as shown in equation (55) and (56) below, the backward difference metric SAD P and a forward difference metric SAD N is greater than a predetermined threshold value T 4 It determines.

Figure 112008076058963-pct00059

여기서, here,

Figure 112008076058963-pct00060
는 현재 프레임의 평균 휘도이고, It is the average luminance of the current frame,
Figure 112008076058963-pct00061
는 이전 프레임의 평균 휘도이고, It is the average luminance of the previous frame,
Figure 112008076058963-pct00062
은 다음 프레임의 평균 휘도이며, SAD P SAD N 은 현재 프레임과 연관된 순방향 및 역방향 차이 메트릭이다. Is the average luminance of the next frame, SAD and the SAD P N is the forward and backward difference metric associated with the current frame. 기준이 만족되지 않으면, 프로세스 F 는 리턴한다. If the criteria are not satisfied, the process will return F.

통상, 설명된 프로세스의 구현으로 인해 임계값을 비롯한 동작 파라미터의 차이가 발생할 때에, T 3 의 값이 정규 실험에 의해 결정된다. In general, due to the implementation of the described process, when the result in differences in the operating parameters, including the threshold value, the value of T 3 is determined by the normal experiments. SAD 값은 카메라 플래시가 통상 일 프레임만을 차지하기 때문에 그 결정에 포함되고, 휘도 차이로 인해, 이러한 프레임은 순방향과 역방향 모두로부터의 모션 보상을 이용하여 양호하게 예측될 수 없다. SAD value because the camera flash is usually occupies only one frame is included in the decision, due to the luminance difference, this frame can not be predicted well using motion compensation from both the forward and reverse directions.

몇몇 양태에서, 임계값 T 1 , T 2 , T 3 및 T 4 중 하나 이상이 미리 결정되고, 그러한 값은 인코딩 디바이스 내의 샷 분류기 내에 통합된다. In some embodiments, the threshold value T 1, T 2, T 3 and T 4 is one or more of the predetermined, such values are incorporated into the shot classifier in the encoding device. 통상, 이들 임계값은 샷 검출의 특정 구현의 시험을 통해 선택된다. Typically, these threshold values ​​are selected through testing of a particular implementation of shot detection. 몇몇 양태에서, 임계값 T 1 , T 2 , T 3 및 T 4 중 하나 이상은 샷 분류기에 공급된 정보 (예를 들어, 메타데이터) 에 기초하여 또는 샷 분류기 자체에 의해 계산된 정보에 기초하여 (예를 들어, 동적으로) 처리 동안에 설정될 수 있다. In some embodiments, the threshold value T 1, T 2, T 3 and T one or more of the 4, on the basis of the calculation by the or shot classifier itself based on the information supplied to the shot classifier (e. G., Metadata) information (e. g., dynamically) may be set during the processing.

이하, 선택된 프레임의 샷 분류에 기초하여, 비디오를 인코딩하거나, 비디오에 대한 인코딩 파라미터를 결정하는 프로세스 C 를 도시한 도 33 을 참조하자. Let's see the following, on the basis of the shot classification of the selected frame, encode the video, or to Figure 33 illustrating a process C of determining the encoding parameters for the video. 블록 3370 에서, 프로세스 C 는 선택된 프레임이 갑작스런 장면 전환으로서 분류되었는지 여부를 결정한다. In block 3370, the process C determines whether the selected frame is classified as an abrupt scene change. 선택된 프레임이 갑작스런 장면 전환으로서 분류된 경우에, 블록 3371 에서, 현재 프레임은 갑작스런 장면 전환으로서 분류되고, 그 프레임을 I-프레임으로서 인코딩할 수 있으며, GOP 경계를 결정할 수 있다. If the selected frame is classified as a sudden scene change, at block 3371, the current frame is classified as an abrupt scene change, it is possible to encode that frame as an I- frame and a GOP boundary can be determined. 현재 프레임이 갑작스런 장면 전환으로서 분류되지 않은 경우에, 프로세스 C 는 블록 3372 로 진행하고, 현재 프레임이 느리게 변하는 장면의 일부로서 분류되는 경우에, 블록 3373 에서, 현재 프레임, 및 느리게 변하는 장면의 다른 프레임을 예측 프레임 (예를 들어, P-프레임 또는 B-프레임) 으로서 인코딩할 수 있다. If that is not classified as a sudden scene change the current frame, the process C is the block in the case that goes to 3372, and classified as part of the scene-changing slowly, the current frame, a block 3373, the current frame, and slowly changing the other frames of the scene, a it may be encoded as a predictive frame (e.g., P- frames or B- frames). 그 다음에, 프로세스 C 는 블록 3374 로 진행하여, 현재 프레임이 카메라 플래시라이트 를 포함하는 플래시라이트 장면으로서 분류되었는지 여부를 확인한다. Then, the process proceeds to block C 3374, and confirms whether or not classified as a flash light scene in which the current frame comprises camera flashlights. 현재 프레임이 카메라 플래시라이트를 포함하는 플래시라이트 장면으로서 분류된 경우에, 블록 3375 에서, 특별한 처리, 예를 들어, 이전 프레임의 제거, 복제, 또는 그 프레임에 대한 특정 계수의 인코딩을 위해 프레임을 식별할 수 있다. Identifies the frame for the case classified as a flash light scene in which the current frame is a camera flash light, at block 3375, a special treatment, e.g., removal of a previous frame, replication, or encoding of a particular factor for that frame can do. 현재 프레임이 카메라 플래시라이트를 포함하는 플래시라이트 장면으로서 분류되지 않은 경우에, 현재 프레임에 대한 어떤 분류도 이루어지지 않고, 선택된 프레임을 다른 기준에 따라 인코딩할 수 있는데, I-프레임으로서 인코딩하거나 드롭할 수 있다. If that is not classified as a flash light scene in which the current frame comprises camera flashlights, not carried out is no classification of the current frame, there is selected a number of frames to be encoded according to different criteria, to be encoded as an I- frame or drop can. 프로세스 C 는 인코더에 구현될 수 있다. Process C can be implemented in an encoder.

상술한 양태에 있어서, 압축될 프레임과 그 인접한 2 개 프레임 간의 차이 양은 프레임 차이 메트릭 D 에 의해 표시된다. In the above aspect, the amount of difference between the frame and the adjacent two frame to be compressed is indicated by a frame difference metric D. 일방향 휘도 변화의 상당한 양이 검출되면, 그 프레임 내의 크로스-페이드 효과를 나타낸다. If a significant amount of luminance variation detection in one direction, in the frame cross-represents the fading effects. 크로스-페이드가 더 현저해지면, B 프레임을 이용하여 더 많은 이득이 달성될 수도 있다. A cross-fade haejimyeon is more remarkable, and may be more gain achieved by using a B-frame. 몇몇 양태에서, 수정된 프레임 차이 메트릭은 아래 식 (57) 에 도시된 것과 같이 이용된다. In some aspects, a modified frame difference metric is used as shown in the following equation (57).

Figure 112008076058963-pct00063

여기서, here,

Figure 112008076058963-pct00064
And
Figure 112008076058963-pct00065
은 각각 현재 프레임과 이전 프레임 간의 루마 차이이고, 현재 프레임과 다음 프레임 간의 루마 차이이고, Δ 는 정 규 실험에서 결정될 수 있는 상수 (구현예에 따라 다를 수 있음) 를 나타내고, α 는 0 과 1 사이의 값을 갖는 가중 변수이다. Is the luma difference between the current frame and the previous frame, respectively, and the luma difference between the current frame and the next frame, Δ denotes a (which may be different in accordance with an example implementation) constant which may be determined in the constant silicon experiment, α is between 0 and 1 of a weighting variable having a value.

루마 변화의 일관된 경향이 관찰되며 그 변화 세기가 충분히 크면, 수정된 프레임 차이 메트릭 D 1 은 원래 프레임 차이 메트릭 D 1 과는 상이할 뿐이다. Is a consistent trend of luma changes observed large enough that the change in intensity, a modified frame difference metric D 1 is can only be different from the original frame difference metric D 1. D 1 D 이하이다. D 1 is less than D. 루마의 변화가 일정하면 ( d P = d N ), 수정된 프레임 차이 메트릭 D 1 은 (1-α) 의 최저 비율을 갖는 원래 프레임 차이 메트릭 D 보다 낮다. If a change in the predetermined luma (d P = d N), the original frame difference has the lowest ratio of the modified frame difference metric D 1 is (1-α) is lower than the metric D.

아래의 테이블 1 은 갑작스런 장면 전환 검출을 부가함으로써 성능 개선을 나타낸다. Table 1 below shows the performance improvement by addition of a sudden scene change detection. NSC (non-scene-change) 및 SC (scene-change) 경우 모두에 있어서 I-프레임의 총 수는 대략 같다. In both cases NSC (non-scene-change) and SC (scene-change) the total number of the I- frames is approximately equal. NSC 경우에 있어서, I-프레임은 전체 시퀀스 사이에서 균일하게 분포되지만, SC 경우에 있어서, I-프레임은 갑작스런 장면 전환 프레임에 할당될 뿐이다. In the NSC case, I- frames, but uniformly distributed among the entire sequence, in the case of SC, I- frame is only to be assigned to a sudden scene change frame.

통상 0.2 ~ 0.3 dB 의 개선은 PSNR 단위로 달성될 수 있음을 알 수 있다. Conventional improvement of 0.2 ~ 0.3 dB can be seen that the PSNR can be achieved with the unit. 시뮬레이션 결과는 샷 검출기가 상술한 샷 이벤트를 결정하는데 있어서 매우 정확하다는 것을 나타낸다. Simulation results show that it is very accurate in determining a shot event by the shot detector described above. 정상적인 크로스-페이드 효과를 갖는 5 개의 클립의 시뮬레이션은 Δ = 5.5 및 α = 0.4 에서, 0.226031 dB 의 PSNR 이득이 동일 비트레이트로 달성됨을 나타낸다. The normal cross-simulation of five times with a fade effect indicates that achieved with Δ = 5.5 and α = 0.4 in, PSNR gain is equal to the bit rate of 0.226031 dB.

시퀀스/메트릭 Sequence / metric 비트레이트(kbps) Bit Rate (kbps) 평균 QP The average QP PSNR (dB) PSNR (dB)
애니메이션 NSC Animation NSC 226.2403 226.2403 31.1696 31.1696 35.6426 35.6426
애니메이션 SC Animation SC 232.8023 232.8023 29.8171 29.8171 36.4513 36.4513
음악 NSC Music NSC 246.6394 246.6394 32.8524 32.8524 35.9337 35.9337
음악 SC Music SC 250.0994 250.0994 32.3209 32.3209 36.1202 36.1202
헤드라인 NSC Headlines NSC 216.9493 216.9493 29.8304 29.8304 38.9804 38.9804
헤드라인 뉴스 SC Headlines SC 220.2512 220.2512 28.9011 28.9011 39.3151 39.3151
농구 NSC Basketball NSC 256.8726 256.8726 33.1429 33.1429 33.5262 33.5262
농구 SC Basketball SC 254.9242 254.9242 32.4341 32.4341 33.8635 33.8635

테이블 1 : 갑작스런 장면 전환 검출의 시뮬레이션 결과 Table 1: Simulation results of abrupt scene change detection

적응 GOP 구조 Adaptive GOP structure

이하, 적응 GOP 구조 동작의 예시적인 실시형태를 설명한다. It will be described an example in the following embodiments, the adaptive GOP structure operation. 그러한 동작은 도 4 의 GOP 분할기 (412) 에 포함될 수 있다. Such an operation may be included in the GOP partitioner 412 of FIG. 구형 비디오 압축 표준인 MPEG2 는, GOP 가 일정한 구조를 가질 것을 요구하지 않는다 (그러나, GOP 가 일정한 구조를 가질 것이 부과될 수 있음). Older video compression standard, MPEG2 is, do not require that the GOP have a regular structure (however, that the GOP may be charged to have a uniform structure). MPEG2 시퀀스는, 이전 영상을 참조함 없이 인코딩된 I 프레임으로 항상 시작한다. The MPEG2 sequence always begins with an encoded without the reference to a previous image I frame. 통상, MPEG2 GOP 포맷은 I 프레임 다음에 오는 P 또는 예측 영상의 GOP 에서 간격을 고정함으로써 인코더에서 미리 배열된다. Typically, MPEG2 GOP format is pre-arranged at the encoder by fixing the spacing in the GOP of the P or predictive picture following the I frame. P 프레임은 이전 I 또는 P 영상으로부터 부분적으로 예측된 영상을 말한다. P frame is a partially predicted image from the previous I or P image. 시작하는 I 프레임과 후속하는 P 프레임 간의 프레임은 B 프레임으로서 인코딩된다. Frames between the I frame and a subsequent P frame, which starting is encoded as a B-frame. "B" 프레임 (B 는 양방향을 나타냄) 은 이전 및 다음 I 또는 P 영상을 개별적으로 또는 동시에 참조로서 이용할 수 있다. "B" frame (B denotes a two-way) can be used as a reference to the previous and next I or P images individually or at the same time. 평균적으로 I-프레임을 인코딩하는데 이용되는 비트 수는 P-프레임을 인코딩하는데 이용되는 비트 수를 초과하고, 이와 마찬가지로, 평균적으로 P-프레임을 인코딩하는데 이용되는 비트 수는 B-프레임을 인코딩하는데 이용되는 비트 수를 초과한다. The average number of bits used to encode the I- frames is greater than the number of bits used to encode a P- frame, and similarly, the average number of bits used to encode the P- frame is used to encode the frame B- the number of bits that are in excess. 스킵된 프레임은, 이용되더라도, 그 표현을 위해 어떤 비트도 이용하지 않을 수도 있다. The skipped frame, you may not use any bits for its representation, even if used.

보다 최신의 압축 알고리즘에서 P-프레임 및 B-프레임을 이용하는 일 이점으로는, 프레임을 스킵함으로써 비디오 송신 크기를 줄일 수 있다는 것이다. In one advantage of using a more P- frames and B- frames in the recent compression algorithms are, is that by skipping the frames to reduce video transmission sizes. 시간 리던던시가 높으면, 예를 들어, 영상 간에 변화가 거의 없으면, P, B 또는 스킵된 영상을 이용하여 비디오 스트림을 효율적으로 표현하는데, 그 이유는, 먼저 디 코딩된 I 또는 P 영상을 추후에 기준으로 이용하여 다른 P 또는 B 영상을 디코딩하기 때문이다. The temporal redundancy is high, for example, if there is little change between images, for efficient expression of the video stream by using the P, B, or skipped picture, is because, first, based on the de-coded I or P picture in the future and because the decoding of other P or B picture using a.

GOP (group of picture) 분할기는 프레임을 적응 인코딩하여 시간 리던던시를 최소화한다. GOP (group of picture) divider is adapted to encode the frames to minimize temporal redundancy. 프레임 간의 차이가 정량화되고, 정량화된 차이에 대해 적합한 테스트가 수행된 후에 I, P, B 또는 스킵된 프레임에 의해 영상을 표현하려는 결정이 자동으로 행해진다. The difference between the frame and quantified, after a suitable test for determining the quantitative difference is performed to express an image by the I, P, B, or skipped frame is automatically made to. GOP 분할기에서의 처리는 전처리기 (202) 의 다른 동작에 의해 도움을 받아서, 노이즈 제거를 위한 필터링을 제공한다. Processing in GOP partitioner is with the help by another operation of the pre-processor 202, and provides a filter for removing noise.

적응 인코딩 프로세스는 "고정된" 인코딩 프로세스에서 이용 가능하지 않은 이점을 갖는다. Adaptive encoding process has advantages not available in the "fixed" encoding process. 고정된 프로세스는 콘텐츠에서 작은 변화가 일어난 가능성을 무시하지만, 적응 절차는 훨씬 더 많은 B 프레임이 각각의 I 프레임과 P 프레임 사이에 또는 2 개의 P 프레임 사이에 삽입되는 것을 허용함으로써, 프레임 시퀀스를 충분히 표현하는데 이용되는 비트 수를 줄이게 된다. A fixed process ignores the possibility that little change in content takes place, however, the adaptive process by allowing significantly more B frames to be inserted between each I frame and P frame on or two P-frames between the full frame sequence thereby reducing the number of bits used to represent. 한편, 예를 들어, 고정된 인코딩 프로세스에 있어서, 비디오 콘텐츠의 변화가 상당하면, 예측된 프레임과 기준 프레임 간의 차이가 너무 크기 때문에, P 프레임의 효율은 크게 감소한다. On the other hand, for example, in a fixed encoding process, when the change in video content equivalent, since the difference between the predicted frame and the reference frames is too large, the efficiency of P frames is greatly reduced. 이들 조건 하에서, 매칭하는 대상이 모션 검색 영역 밖으로 벗어날 수도 있고, 매칭하는 대상 간의 유사도가 카메라 앵글의 변화로 인한 왜곡때문에 감소한다. Under these conditions, matching a target may move off the motion search area, which can be reduced since the degree of similarity between the target matching due to changes in camera angle distortion. 적응 인코딩 프로세스는 P 프레임이 인코딩되어야 할 때를 최적으로 결정하는데 이용될 수도 있는 이점을 갖는다. Adaptive encoding process has the advantages that may be used to determine the best time to be encoded is a P frame.

본원에 개시된 시스템에 있어서, 상술한 조건의 타입은 자동으로 감지된다. In the system disclosed herein, the type of the above-described condition is automatically detected. 본원에 설명된 적응 인코딩 프로세스는 유연하며 이들 콘텐츠의 변화에 적응하 도록 만들어진다. The adaptive encoding process described herein is flexible and is made so that to adjust to these changes in content. 적응 인코딩 프로세스는 프레임 차이 메트릭을 평가하고, 이 프레임 차이 메트릭은 동일한 부가적인 거리 특성을 갖는 프레임 간의 거리의 측정으로서 간주될 수 있다. Adaptive encoding process evaluates a frame difference metric, and the frame difference metric can be considered as a measure of distance between frames, with the same additional distance characteristics. 개념적으로는, 프레임 F 1 , F 2 및 F 3 이 프레임 간 거리 d 12 및 d 23 을 가지면, F 1 과 F 3 간의 거리는 적어도 d 12 + d 23 인 것으로 간주된다. Conceptually, it is considered to be, the frame F 1, F 2 and F 3 if it has a frame-to-frame distance d 12 and d 23, F 1 and F 3, at least the distance d 12 + d 23 between. 프레임 할당은 거리 유사 (distance-like) 메트릭 및 다른 측정치에 기초하여 이루어진다. Frame assignments are made based on the similarity distance (distance-like) metric and other measures.

GOP 분할기 (412) 는 수신 시 프레임에 영상 타입을 할당함으로써 동작한다. GOP partitioner 412 operates by assigning picture types to frames on receipt. 영상 타입은 각각의 블록을 코딩하는데 이용될 수도 있는 예측 방법을 나타낸다. Image type indicates a prediction method that may be used to code each block.

I-영상은 다른 영상을 참조함 없이 코딩된다. I- picture is coded without reference to other images also. I-영상은 독립형이기 때문에 디코딩이 시작할 수 있는 데이터 스트림 내에 액세스 포인트를 제공한다. Since the I- picture is stand-alone and provides an access point in the data stream decoding it can start. I 인코딩 타입은, 그 이전 프레임까지의 "거리" 가 장면 전환 임계값을 초과하는 경우에 프레임에 할당된다. I encoding type is the "distance" to the previous frame is assigned to a frame if in excess of the scene change threshold.

P-영상은 모션 보상된 예측을 위해 이전 I 또는 P 영상을 이용할 수 있다. P- picture can use the previous I or P-pictures for motion compensated prediction. P-영상은 인코딩을 위한 기준으로서 예측되는 블록으로부터 옮겨질 수도 있는 이전 필드 또는 프레임 내의 블록을 이용한다. P- picture is used in the blocks in the previous fields or frames that may be transferred from the block is predicted as a reference for encoding. 고려 중인 블록에서 기준 블록을 뺀 다음에, 통상, 공간 중복의 제거를 위해 이산 코사인 변환을 이용하여 나머지 블록을 인코딩한다. Obtained by subtracting the reference block from the block under consideration to the next, using a discrete cosine transform to the conventional removal of the spatial redundancy and encodes the rest of the block. P 프레임이 되도록 할당된 마지막 프레임과 일 프레임 간의 "거리" 가 제 2 임계값 (제 2 임계값은 통상 제 1 임계값보다 작음) 을 초과하 는 경우에, 그 프레임에 P 인코딩 타입이 할당된다. The P-frame "distance" between the last frame and the frame is assigned to be the second threshold value in the case is exceeded (second threshold value being less than the normal first threshold), the P encoding types is assigned to the frame .

상술한 것과 같이, B-프레임 영상은 모션 보상을 위해 이전 및 다음 P-영상 또는 I-영상을 이용할 수 있다. As described above, B- frame image may use the previous and next P- or I- picture image for motion compensation. B 영상 내의 블록은 순방향, 역방향 또는 양방향 예측될 수 있고, 또는 다른 프레임을 참조함 없이 인트라-코딩될 수 있다. B block in the intra image is without the can be forward, backward or bidirectional prediction, or a reference to another frame may be coded. H.264 에 있어서, 기준 블록은 다수의 프레임 중에서 32 개 블록의 선형 조합일 수 있다. In the H.264, the reference block may be a linear combination of the block 32 from a plurality of frames. 프레임이 I 또는 P 타입이 되도록 할당될 수 없으면, 그 바로 이전 프레임까지의 "거리" 가 제 3 임계값 (통상, 제 2 임계값보다 작음) 보다 큰 경우에, B 타입이 되도록 할당된다. If the frame is to be assigned to the I or P type, in the case that the very "distance" to the previous frame is greater than the third threshold value (less than the normal, the second threshold value), is assigned to the B-type. 프레임이 인코딩된 B 타입이 되도록 할당될 수 없으면, "스킵 프레임" 상태에 할당된다. If you can not be allocated such that the B frame is encoded type, it is assigned to "skip frame" state. 이러한 프레임은 이전 프레임의 사실상 복제본이므로 스킵될 수 있다. This frame can be skipped because it is virtually a replica of the previous frame.

인접 프레임 간의 차이를 디스플레이 순서로 정량화하는 메트릭을 평가하는 것은 GOP 분할기 (412) 에서 일어나는 이러한 처리의 제 1 부분이다. Evaluating a metric that quantifies the difference between adjacent frames in the display order is the first part of this treatment takes place in GOP partitioner 412. 이러한 메트릭은 상기 참조되는 거리이고, 그 메트릭을 이용하여, 모든 프레임은 그 적절한 타입을 찾기 위해 평가된다. This metric is the distance by which the reference, by using a metric that, every frame is evaluated to find the appropriate type. 이와 같이, I 프레임과 인접한 P 프레임, 또는 2 개의 연속적인 P 프레임 간의 간격은 변할 수 있다. Thus, the distance between adjacent I frame and P frames, or two successive P frames, can be varied. 메트릭의 계산은 블록 기반 모션 보상기를 이용하여 비디오 프레임을 처리함으로써 시작하고, 일 블록은 비디오 압축의 기본 단위로서, 16 × 16 화소로 보통 이루어지지만, 예를 들어 8 × 8, 4 × 4 및 8 × 16 과 같은 다른 블록 크기도 가능하다. Calculation of the metric block-based start, one block by processing the video frame using the motion compensator, but usually consists of a basic unit of video compression, 16 × 16 pixels, for example, 8 × 8, 4 × 4 and 8 It can be other block sizes such as 16 ×. 출력에 존재하는 2 개의 인터레이싱된 필드로 이루어진 프레임의 경우에, 모션 보상은 필드 단위로 이루어지고, 기준 블록에 대한 검색은 프레임보다는 필드에서 일어난다. In the case of a frame consisting of two interlaced fields of the present at the output, the motion compensation is made of a field-by-field basis, the search for reference blocks takes place in a field, rather than frame. 현 재 프레임의 제 1 필드 내의 블록의 경우에, 순방향 기준 블록은 그 다음에 오는 프레임의 필드 내에서 발견되고, 또한 역방향 기준 블록은 현재 필드 바로 전에 있는 프레임의 필드 내에서 발견된다. In the case of the block in the first field of the current frame a forward reference block that is then found in the field of the frame to come to, and backward reference blocks are found in the field of the frame currently in the field immediately before. 현재 블록은 보상된 필드 내에 모아진다. Current blocks are collected within the field compensation. 그 프로세스는 프레임의 제 2 필드에서 계속된다. The process continues in the second field of the frame. 2 개의 보상된 필드가 결합되어, 순방향 및 역방향 보상된 프레임을 형성한다. 2. The combination of the compensated field, thereby forming a forward and backward compensated frame.

역 텔레시네 (406) 에서 생성된 프레임의 경우에, 단지 복원된 필름 프레임만이 생성되므로, 기준 블록에 대한 검색은 프레임 단위로만 이루어 질 수도 있다. In the case of the frames generated by the inverse telecine 406, since only reconstructed film frames only are generated, the search for reference blocks may be done only in a frame unit. 또한, 2 개의 기존 블록과 2 개의 차이 (순방향 및 역방향) 를 구하여, 순방향 및 역방향 보상된 프레임을 생성한다. In addition, two obtained the existing block and the difference between the two (forward and reverse), to generate a forward and backward compensated frame. 요컨대, 모션 보상기는 모든 블록에 대해 모션 벡터 및 차이 메트릭을 생성한다. In summary, the motion compensator produces motion vectors and difference metrics for every block. 순방향 차이가 평가되는지 역방향 차이가 평가되는지 여부에 따라, 이전 필드나 프레임 또는 그 바로 다음에 오는 필드나 프레임에서, 현재 고려 중인 필드나 프레임 내의 블록과 그와 가장 잘 매칭하는 블록 사이에서 메트릭의 차이가 평가된다는 것에 주목하자. Depending on whether the backward difference evaluation that the forward difference evaluation, in the previous field or frame, or just arrived the field or frame to the next, the difference in metrics between the block that best matches a block and that in the currently being considered field or frame Notice that is being evaluated. 단지 휘도 값만이 이 계산에 포함된다. Only the luminance value is included in the calculation.

이와 같이, 모션 보상 단계는 2 가지 세트의 차이를 생성한다. In this way, motion compensating step produces the difference between the two sets. 이들은 시간상 현재 프레임의 바로 앞 프레임과 바로 이전 프레임에 있는 프레임들로부터 선택된 기준 블록 내의 휘도 값들과 현재 휘도 값들의 블록 사이에 존재한다. It exists between the temporal direct current luminance values ​​in the selected reference block from the immediately preceding frame and the frame in the previous frame of the current frame and the block of luminance values. 각각의 순방향 및 각각의 역방향 차이의 절대 값은 블록 내의 각 화소에 대해 결정되고, 그 각각은 전체 프레임에 걸쳐 개별적으로 합산된다. Each of the absolute values ​​of the forward and each backward difference is determined for each pixel in the block, each of which is separately summed over the entire frame. 프레임을 포함하는 디인터레이싱된 NTSC 필드가 처리될 때에, 양쪽 필드는 2 개의 덧셈에 포함된다. When the de-interlacing NTSC field containing the frame process, and both fields are included in two additions. 이러한 방법으로, SAD P 및 SAD N , 즉, 순방향 및 역방향 차이의 합산된 절대 값이 구해진다. In this way, SAD P and SAD N, that is, the obtained absolute value of the summation of the forward and backward difference.

모든 프레임에 대해, SAD 비율은 다음 관계식을 이용하여 계산된다. For all frames, SAD ratio is calculated using the following relationship.

Figure 112008076058963-pct00066

여기서, SAD P 및 SAD N 은 각각 순방향 및 역방향 차이의 합산된 절대 값이다. Here, SAD and the SAD P N is the absolute value of which the summation of the forward and backward differences respectively. 작은 양의 수 ε 가 분자에 더해져서, "0 으로 나누는" 에러를 방지한다. Be a small amount of ε is summed in the molecule and prevent the "divide by zero" error. 유사한 항 ε 가 분모에 더해져서, 또한, SAD P 또는 SAD N 이 0 에 가까워지는 경우에, If similar wherein ε is summed in the denominator, and, SAD P or SAD N is closer to 0,

Figure 112008076058963-pct00067
의 감도를 줄인다. Reduce the sensitivity.

다른 양태에서, 그 차이는 SSD (sum of squared difference), SAD (sum of absolute difference), 또는 SATD 일 수 있고, 화소 값의 블록은 블록 요소 내의 차이를 취하기 전에 2 차원 이산 코사인 변환을 적용함으로써 변환된다. In another embodiment, the difference is converted by may be a (sum of squared difference) SSD, (sum of absolute difference) SAD, or the SATD, the block of pixel values ​​are applied to the two-dimensional discrete cosine transform before taking the difference in the block element do. 그 합들이 액티브 비디오의 영역에 걸쳐 평가되지만, 다른 양태에서는 보다 작은 영역이 이용될 수도 있다. But their sum are evaluated over the area of ​​active video, and in another aspect a smaller area may be used.

또한, 수신된 것과 같은 (모션 보상되지 않은) 모든 프레임의 휘도 히스토그램이 계산된다. Further, the luminance histogram of every frame (without motion compensation) as received is calculated. 휘도 히스토그램은, 이용 가능한 경우에 2 차원 이산 코사인 변환을 휘도 값 블록에 적용한 결과인 16 × 16 계수 어레이에서, DC 계수, 즉, (0,0) 계수에 대해 작용한다. Brightness histogram, in a two-dimensional discrete cosine result of 16 × 16 array of coefficients is applied to convert the luminance value block if available, to act on the DC coefficient, i.e., (0, 0) coefficients. 이에 대응하여, 16 × 16 블록 내의 256 개의 휘도 값의 평균 값이 휘도 히스토그램에서 이용될 수도 있다. Correspondingly, 16 × mean value of the 256 luminance values ​​in the block 16. This may be used in the luminance histogram. 휘도 깊이가 8 비 트인 이미지에 대해, 빈의 수는 16 으로 설정된다. The luminance depth for the 8 non-panoramic images, the number of the blank is set at 16. 다음 메트릭은 히스토그램 차이를 계산한다. The following metric is calculated by the histogram difference.

Figure 112008076058963-pct00068

상기와 같이, As described above,

Figure 112010038077831-pct00069
i 번째 빈에서 이전 프레임으로부터의 블록 수이고, And the block number of the previous frame in the i th bin,
Figure 112010038077831-pct00070
i 번째 빈에 속하는 현재 프레임으로부터의 블록 수이며, N 은 프레임 내의 전체 블록 수이다. Is the number of blocks from the current frame belonging to the i-th bin, N is the total number of blocks in the frame.

이들 중간 결과를 모아서, 다음과 같이 현재 프레임 차이를 형성한다. Collect these intermediate results, to form the current frame difference, as follows:

Figure 112008076058963-pct00071

여기서, here,

Figure 112008076058963-pct00072
는 현재 프레임에 기초한 SAD 비율이고, And the SAD ratio based on the current frame,
Figure 112008076058963-pct00073
는 이전 프레임에 기초한 SAD 비율이다. Is the SAD ratio based on the previous frame. 장면이 평활한 모션을 가지며 그 루마 히스토그램이 거의 변하지 않으면, If you have a smooth motion scenes that luma histogram is almost unchanged,
Figure 112008076058963-pct00074
이다. to be. 현재 프레임이 갑작스런 장면 전환을 표시하면, If the current frame displays an abrupt scene changes,
Figure 112008076058963-pct00075
는 커질 것이고, It will increase,
Figure 112008076058963-pct00076
는 작아야 한다. It should be less.
Figure 112008076058963-pct00077
단독 대신에, 비율 Instead alone, the ratio
Figure 112008076058963-pct00078
를 이용하므로, 문맥의 액티비티 레벨로 메트릭이 정규화된다. Since using the, the metric is normalized to the activity level of the context.

도 40 의 데이터흐름 (4100) 은 프레임 차이 메트릭을 계산하는데 이용될 수도 있는 일정 컴포넌트를 도시한다. The data flow 4100 of Figure 40 illustrates a constant component that may be used to calculate a frame difference metric. 전처리기 (4125) 는 NTSC 소스를 갖는 비디오의 경우에 인터레이싱된 필드를 전달하고, 비디오 소스가 양방향 모션 보상기 (4133) 에 대한 역 텔레시네의 결과인 경우에 필름 이미지의 프레임을 전달한다. A preprocessor (4125) transmits a frame of the film image in the case where the result of inverse telecine to pass interlaced fields in the case of video having a NTSC source, and the video source is bi-directional motion compensator (4133). 양방향 모션 보상기 (4133) 는 16 × 16 화소의 블록으로 분할하고 각각의 블록을 이전 프레임 필드의 정해진 영역 내의 모든 16 × 16 블록과 비교함으로써 필드 (또는 영화의 비디오 소스의 경우에는 프레임) 에 대해 작용한다. Bi-directional motion compensator (4133) is a function for the field (or in the case of the movie video source, frame) by comparing each block is divided into blocks of 16 × 16 pixels and all the 16 × 16 block in a predetermined area of ​​the previous frame field do. 최적의 매치를 제공하는 블록이 선택되어, 현재 블록에서 제거된다. The block that provides the best match is selected and removed from the current block. 그 차이의 절대 값이 취해지고, 그 결과는 현재 블록을 포함하는 256 개의 화소에 걸쳐 더해진다. The absolute value of the difference is taken, the result is added over the 256 pixels including the current block. 이러한 절차가 필드의 모든 현재 블록에 대해 행해진 다음에 양쪽 필드에 대해 행해지면, 양 SAD N , 즉, 역방향 차이 메트릭이 역방향 차이 모듈 (4137) 에 의해 계산된다. If such a procedure is performed for both the field is performed, and then for all current blocks of the field, both SAD N, that is, the backward difference metric is calculated by the backward difference module (4137). 유사한 절차가 순방향 차이 메트릭 (4136) 에 의해 수행될 수도 있다. A similar procedure may be performed by a forward difference metric (4136). 순방향 차이 모듈 (4136) 은 시간상 현재 프레임의 바로 앞에 있는 프레임을 기준 블록 소스로서 이용하여 SAD P , 즉, 순방향 차이 메트릭을 전개한다. Forward difference module (4136) is deployed SAD P, that is, the forward difference metric by using the frame immediately preceding in time the current frame as a reference block source. 동일한 추정 프로세스는, 복원된 필름 이미지를 이용하여 수행되더라도, 역 텔레시네에서 입력 프레임이 형성될 때에 일어난다. The same estimation process, even if carried out with the restored image of the film, takes place when the input frames are formed in the inverse telecine. 프레임 차이 메트릭의 계산을 완료하는데 이용될 수 있는 히스토그램은 히스토그램 차이 모듈 (4141) 에 형성될 수도 있다. Histogram that may be used to complete the computation of the frame difference metric can also be formed in the histogram difference module (4141). 각각의 16 × 16 블록은 그 휘도 값의 평균에 기초하여 빈에 할당된다. Each of the 16 × 16 block is allocated to a blank based on the average of the luminance values. 이러한 정보는 모든 256 개의 화소 휘도 값을 일 블록 내에 함께 더하고, 필요에 따라 256 으로 정규화하고, 평균 값이 배치된 빈의 카운트를 증분함으로써 형성된다. This information is added with all 256 pixel luminance values ​​in a block, as necessary, and normalized to 256 is formed by incrementing a count of the average value is placed empty. 그 계산은 각각의 프리모션 보상된 프레임에 대해 한 번 행해지고, 현재 프레임에 대한 히스토그램은 새로운 현재 프레임이 도착할 때에 이전 프레임에 대한 히스토그램이 된다. The calculation is done once for each of the free-motion compensated frame, the histogram for the current frame is a histogram for a previous frame when a new current frame arrives. 히스토그램 차이 모듈 (4141) 에서 블록 수로 2 개의 히스토그램을 차분 및 정규화하여 식 (59) 에 정의된 λ 를 형성한다. And normalizing the difference between the two histograms block number in the histogram difference module (4141) to form a λ defined in the formula (59). 이들 결과는 프레임 차이 결합기 (4143) 에서 결합되고, 이 프레임 차이 결합기 (4143) 는 히스토그램 차이 모듈 (4139), 순방향 및 역방향 차이 모듈 (4136 및 4136) 에서 구한 중간 결과를 이용하여 식 (60) 에 정의된 현재 프레임 차이를 평가한다. These results are combined in frame difference combiner 4143, a frame difference combiner 4143 is a histogram difference module (4139), forward and backward difference modules (4136 and 4136) using the intermediate result of formula (60) obtained in defined to evaluate the current frame difference.

흐름도 (4100) 의 시스템 및 그 컴포넌트 또는 단계들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 그 임의의 조합에 의해 구현될 수 있다. Flowchart 4100 system and its components, or steps may be implemented by hardware, software, firmware, middleware, microcode, or any combination thereof. 전처리기 (4125), 양방향 모션 보상기 (4133), 순방향 및 역방향 차이 메트릭 모듈 (4136 및 4137), 히스토그램 차이 모듈 (4141), 및 프레임 차이 메트릭 결합기 (4143) 를 비롯한, 흐름도 (4100) 의 각 기능 컴포넌트는 독립형 컴포넌트로서 구현되거나, 다른 디바이스의 컴포넌트 내에 하드웨어, 펌웨어, 미들웨어로서 통합되거나, 프로세서 상에서 실행되는 마이크로코드나 소프트웨어에 구현되거나, 또는 그 조합일 수도 있다. Each function of the pre-processor (4125), bi-directional motion compensator (4133), forward and backward difference metric modules (4136 and 4137), the histogram difference module (4141), and the frame difference metric combiner including the 4143, the flowchart 4100 components or implemented as a stand-alone component, it is in the other of the device components, hardware, firmware, or incorporated as middleware, or implemented in microcode or software running on a processor, or a combination thereof. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에 구현 시, 원하는 작업을 수행하는 프로그램 코드 또는 코드 세그먼트는 저장 매체와 같은 머신 판독가능 매체에 저장될 수도 있다. Software, firmware, middleware or microcode, the implementation on, the program code or code segments to perform the desired tasks may be stored in a machine readable medium such as storage medium. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램 문장들의 임의의 조합을 나타낼 수도 있다. A code segment may be any combination of a procedure, a function, a subprogram, a program, a routine, a subroutine, a module, a software package, a class, or commands, data structures, or program statements. 코드 세그먼트는 정보, 데이터, 인수 (argument), 파라미터 또는 메모리 콘텐츠를 전달하고/하거나 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수도 있다. A code segment may be coupled to another code segment or a hardware circuit by receiving information, data, arguments (argument), the transmission parameters, or memory contents and / or.

수신되어 처리된 데이터는 프로세서에 접속된 예를 들어, 칩 구성된 저장 매 체 (예를 들어, ROM, RAM) 또는 디스크 타입 저장 매체 (예를 들어, 자기식 또는 광학식) 를 포함할 수 있다. The received and processed data may comprise, for example, a chip configured storage media (e.g., ROM, RAM) or a disc-type storage medium (e.g., magnetic or optical) connected to the processor. 몇몇 양태에서, 결합기 (4143) 는 저장 매체의 일부 또는 전부를 포함할 수 있는 저장 매체에 저장될 수 있다. In some aspects, the combiner 4143 may be stored in a storage medium, which may include any or all of the storage media. 도 41 의 흐름도 (4200) 는 프레임에 압축 타입을 할당하는 프로세스를 도시한다. The flow chart 4200 of Figure 41 illustrates a process of assigning compression types to frames. 일 양태에서, 식 (3) 에서 정해진 현재 프레임 차이는 프레임 할당과 관련하여 이루어진 모든 결정에 대한 기초가 된다. In one aspect, the current frame difference defined in the formula (3) is the basis for all decisions made with respect to frame assignments. 결정 블록 4253 이 나타내는 바와 같이, 고려 중인 프레임이 시퀀스 내의 첫 번째 프레임이면, "예" 로 표시된 결정 경로는 블록 4255 로 진행하여, 그 프레임이 I 프레임인 것으로 선언한다. As this decision block 4253 indicates, when the first frame in the frame under consideration, the sequence, the process proceeds to determine the path labeled "yes" to block 4255, declares to be the frame is an I frame. 블록 4257 에서 누산된 프레임 차이는 0 으로 설정되고, 프로세스는 (블록 4258 에서) 시작 블록 4253 으로 리턴한다. The accumulated frame differences at block 4257 is set to 0, the process returns to the start block 4253 (at block 4258). 고려 중인 프레임이 시퀀스 내의 첫 번째 프레임이 아니면, "아니오" 로 표시된 경로는 결정이 이루어진 블록 4253 으로부터 진행하여, 테스트 블록 4259 에서 현재 프레임 차이를 장면 전환 임계값에 대해 테스트한다. Frame under consideration is not the first frame in a sequence, the path marked "no" is tested against the current frame difference, the test block 4259 proceeds from block 4253 determination is made at the scene change threshold. 현재 프레임 차이가 그 임계값보다 크면, "예" 로 표시된 결정 경로는 블록 4255 로 진행하여, 다시 I-프레임을 할당하게 된다. The current frame difference is greater than the threshold, the decision path marked with "Yes", proceeds to block 4255, is to reassign the I- frame. 현재 프레임 차이가 장면 전환 임계값보다 작으면, "아니오" 경로는 블록 4261 로 진행하여, 현재 프레임 차이를 누산된 프레임 차이에 더한다. If the current frame difference is less than the scene change threshold, the "No" path proceeds to block 4261, add to the accumulated frame difference between the current frame difference.

흐름도를 통해 계속 진행하여, 결정 블록 4263 에서, 누산된 프레임 차이를 임계값 t 와 비교하는데, 이 임계값 t 는 일반적으로 장면 전환 임계값보다 작다. Proceed through the flow diagram and, at decision block 4263, to compare the accumulated frame difference to a threshold t, the threshold t is generally less than the scene change threshold. 누산된 프레임 차이가 t 보다 크면, 제어는 블록 4265 로 이동하여, 프레임이 P 프레임이 되도록 할당되고, 그 다음에, 단계 4267 에서 누산된 프레임 차이가 리셋 된다. T is greater than the accumulated frame difference, control moves to block 4265, and the frame is assigned to be a P frame, then, the accumulated frame difference in step 4267 is reset. 누산된 프레임 차이가 t 보다 작으면, 제어는 블록 4263 에서 블록 4269 로 이동한다. It is less than the accumulated frame difference t, control moves from block 4263 to block 4269. 블록 4269 에서 현재 프레임 차이가 τ 와 비교되는데, 이 τ 는 t 보다 작다. There is a difference between the current frame block in 4269 compared to τ, is τ is less than t. 현재 프레임 차이가 τ 보다 작으면, 블록 4273 에서 그 프레임은 스킵되고, 현재 프레임 차이가 τ 보다 크면, 그 프레임은 β 가 되도록 할당된다. If the current frame difference is less than τ, the frame is skipped in block 4273, the current frame difference is greater than τ, the frame is assigned to be β.

다른 양태에서, 다른 프레임 인코딩 복잡도 표시자 In another aspect, another frame encoding complexity indicator

Figure 112008076058963-pct00079
는 다음과 같이 정의된다. It is defined as:

Figure 112008076058963-pct00080

여기서, α 는 스케일러이고, SAD P 는 순방향 모션 정보를 갖는 SAD 이고, MV P 는 순방향 모션 보상으로부터 모션 벡터의 화소에서 측정된 길이의 합이고, smSAD P s 보다 낮거나 MV P m 보다 낮은 경우에 프레임 인코딩 복잡도 표시자를 0 으로 만드는 2 개의 임계값 숫자이다. Here, α is a scalar, and, SAD P is the SAD with forward motion information, MV P is the sum of the measured lengths in the pixels of the motion vector from the forward motion compensation, s and m is lower than the SAD P s or MV P If m is lower than the two thresholds numeric characters making frame encoding complexity display to zero.

Figure 112008076058963-pct00081
는 도 41 의 흐름도 (4200) 에서 현재 프레임 차이 대신에 이용될 것이다. It will be used instead of the current frame difference in flowchart 4200 of FIG. 알 수 있는 바와 같이, 순방향 모션 보상이 낮은 레벨의 움직임을 나타내는 경우에만, Only As can be seen, the forward motion compensation representing a low level of motion,
Figure 112008076058963-pct00082
은 M 과 상이하다. It is different from M. 이 경우에, MM 보다 작다. In this case, M is smaller than the M.

본원에 설명된 샷 검출 및 인코딩 양태는 플로차트, 흐름도, 구조도, 또는 블록도로서 도시되는 프로세스로서 설명될 수도 있다. Aspect the shot detection and encoding described herein may be described as a process which is depicted as a flowchart, a flow diagram, a structure diagram, or a block diagram. 도면에 도시된 플로차트가 순차 프로세스로서 동작을 설명할 수도 있지만, 다수의 동작은 병렬로 또는 동 시에 수행될 수 있다. Although the illustrated flowcharts in the figures may describe the operations as a sequential process, many of the operations can be performed in parallel or at the same time. 또한, 동작 순서가 재배열될 수도 있다. It may also be arranged in the order of operation material. 통상, 일 프로세스는 그 동작이 완료된 때에 종료한다. Typically, the work process is terminated when its operations are completed. 일 프로세스는 메서드, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. One process may correspond to a method, a function, a procedure, a subroutine, a subprogram. 프로세스가 함수에 대응하는 경우에, 그 종료는 호출 함수 또는 메인 함수로 그 함수가 리턴하는 것에 대응한다. If the process corresponds to a function, its termination corresponds to the function returns to the calling function or the main function.

또한, 당업자라면, 본원에 개시된 디바이스의 하나 이상의 요소가 그 디바이스의 동작에 영향을 주지 않으면서 재배열될 수도 있다는 것을 알 수 있다. In addition, those skilled in the art, it can be seen that one or more elements of a device disclosed herein that may be rearranged without affecting the operation of the device. 이와 유사하게, 본원에 개시된 디바이스의 하나 이상의 요소는 그 디바이스의 동작에 영향을 주지 않으면서 결합될 수도 있다. Similarly, one or more elements of a device disclosed herein may be combined without affecting the operation of the device. 당업자라면, 여러 상이한 테크놀러지와 기술 중 임의의 것을 이용하여 정보 및 멀티미디어 데이터를 표현할 수도 있다는 것을 알 수 있다. Those skilled in the art, using any of a variety of different technologies and techniques can be seen that may represent information, and multimedia data. 또한, 당업자라면, 본원에 개시된 예와 관련하여 설명된 여러 예시적인 논리 블록, 모듈, 및 알고리즘 단계가 전자 하드웨어, 펌웨어, 컴퓨터 소프트웨어, 미들웨어, 마이크로코드, 또는 그 조합으로서 구현될 수도 있다는 것을 알 수 있다. In addition, the person of ordinary skill in the art appreciate that the various illustrative logical blocks, modules, and algorithm steps described in connection with the examples disclosed herein, electronic hardware, firmware, computer software, middleware, may be implemented as microcode, or any combination thereof have. 하드웨어와 소프트웨어의 호환성을 명확히 설명하기 위해, 여러 예시적인 컴포넌트, 블록, 모듈, 회로, 및 단계를 일반적으로 그 기능면에서 상술하였다. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps it has been described above generally in its functional aspects. 그러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약에 따라 다르다. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. 당업자라면, 각각의 특정 애플리케이션에 대해 설명된 기능을 다양한 방법으로 구현할 수도 있지만, 그러한 구현 결정은 개시된 방법의 범위로부터 일탈하는 것으로서 해석되지 않아야 한다. Those skilled in the art may implement the described functionality for each particular application in a number of ways, but such implementation decisions should not be interpreted as departing from the scope of the disclosed methods.

예를 들어, 본원에 개시된 샷 검출과 인코딩 예 및 도면과 관련하여 설명된 방법 또는 알고리즘의 단계는 하드웨어에 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에, 또는 양자의 조합으로 구현될 수도 있다. For example, the steps of a method or algorithm described in connection with shot detection and encoding, for example, and figures disclosed herein may be implemented in a software module executed by a direct, processor hardware, or combinations of both. 그 방법 및 알고리즘은 휴대 전화기, 컴퓨터, 랩톱 컴퓨터, PDA 및 모든 타입의 개인 및 비즈니스용 통신 디바이스로 비디오를 무선 송신하는 것을 비롯한 통신 기술에 특히 적용 가능하다. The method and algorithm is particularly applicable to communication techniques, including wireless transmission to the video to a mobile phone, a computer, a laptop computer, PDA and all types of personal communication devices and for business. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당해 기술분야에서 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. A software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, CD-ROM, or any other form of storage medium known in the art. 예시적인 저장 매체는 프로세서에 연결되어, 프로세서가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록 한다. An exemplary storage medium is coupled to the processor, it enables the processor to read or write information to, the storage medium information from the storage medium. 다른 방법으로는, 저장 매체는 프로세서와 일체로 형성될 수도 있다. In the alternative, the storage medium may be integral with the processor. 프로세서 및 저장 매체는 ASIC (Application Specific Integrated Circuit) 에 상주할 수도 있다. The processor and the storage medium may reside in (Application Specific Integrated Circuit) ASIC. ASIC 은 무선 모뎀에 상주할 수도 있다. The ASIC may reside in a wireless modem. 다른 방법으로는, 프로세서와 저장 매체는 무선 모뎀에 별도의 컴포넌트로서 상주할 수도 있다. In the alternative, the processor and the storage medium may reside as discrete components in the wireless modem.

또한, 본원에 개시된 예와 관련하여 설명된 여러 예시적인 논리 블록, 컴포넌트, 모듈, 및 회로는 범용 프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) 또는 다른 프로그램 가능 논리 디바이스, 별도의 게이트 또는 트랜지스터 논리, 별도의 하드웨어 컴포넌트, 또는 본원에 설명된 기능을 수행하도록 설계된 그 임의의 조합으로 구현되거나 수행될 수도 있다. In addition, the various illustrative logical blocks described in connection with the examples disclosed herein, components, modules, and circuits with a general purpose processor, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or be implemented as any combination thereof designed to perform the functions described herein, may be performed. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로는, 프로세서는 임의의 통상적인 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. A general-purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. 또한, 프로세서는 컴퓨팅 디바이스의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 기타 그러한 구성으로서 구현될 수도 있다. A processor may also be implemented as a combination, e.g., a combination of a DSP and a microprocessor, a plurality of microprocessors, DSP core and the one or more microprocessors in combination, or any other such configuration of the computing device.

당업자라면, 개시된 예의 상술한 설명을 참조하여, 개시된 방법 및 장치를 실시하거나 이용할 수 있다. The skilled artisan will appreciate that, with reference to the example described above described, can be carried out or use the disclosed methods and apparatus. 당업자라면, 이들 예에 대한 여러 변형을 쉽게 알 수 있고, 본원에 정의된 원리는 개시된 방법 및 장치의 사상이나 범위로부터 일탈함이 없이 다른 예에 적용될 수도 있으며, 부가적인 요소가 추가될 수도 있다. Those skilled in the art, it is easy to see a number of modifications to these examples, the principles defined herein may be applied to other examples without departing from the spirit or scope of the disclosed method and apparatus, and may be added to the additional element. 본 발명의 양태의 설명은 예시적인 것으로서, 청구항의 범위를 한정하려는 것은 아니다. Aspect of the description of the present invention is illustrative, and is not intended to limit the scope of the claims.

Claims (50)

  1. 멀티미디어 데이터를 처리하는 방법으로서, A method of processing multimedia data,
    인터레이싱된 비디오 프레임들을 수신하는 단계; The method comprising: receiving interlaced video frame;
    상기 인터레이싱된 비디오 프레임들을 순차 비디오로 변환하는 단계; Converting the interlaced video frames in the video sequence;
    상기 순차 비디오와 연관된 메타데이터를 생성하는 단계; Generating metadata associated with the progressive video; And
    상기 순차 비디오 및 상기 메타데이터의 적어도 일부를 상기 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하는 단계를 포함하고, The progressive video, and includes the step of providing an encoder which is used to encode the video sequence at least part of the metadata,
    상기 순차 비디오와 연관된 메타데이터를 생성하는 단계는 샷 검출을 수행하고 상기 샷 검출에 기초하여 압축 정보를 생성하는 단계를 포함하는, 멀티미디어 데이터 처리 방법. Generating metadata associated with the progressive video is how to perform the shot detection, and processing the multimedia data comprises generating the compressed information on the basis of the detected shot.
  2. 제 1 항에 있어서, According to claim 1,
    상기 메타데이터를 이용하여 상기 순차 비디오를 인코딩하는 단계를 더 포함하는, 멀티미디어 데이터 처리 방법. Using the metadata further comprises the step of encoding the progressive video, and multimedia data processing method.
  3. 제 1 항에 있어서, According to claim 1,
    상기 인터레이싱된 비디오 프레임들을 변환하는 단계는 상기 인터레이싱된 비디오 프레임들을 디인터레이싱하는 단계를 포함하는, 멀티미디어 데이터 처리 방법. Converting the interlaced video frame, the multimedia data processing method comprising the step of de-interlacing of the interlaced video frame.
  4. 제 1 항에 있어서, According to claim 1,
    상기 메타데이터는 대역폭 정보를 포함하는, 멀티미디어 데이터 처리 방법. The metadata, multimedia data processing method including the bandwidth information.
  5. 제 1 항에 있어서, According to claim 1,
    상기 메타데이터는 양방향 모션 정보를 포함하는, 멀티미디어 데이터 처리 방법. The metadata method, processing multimedia data including a bi-directional motion information.
  6. 제 3 항에 있어서, 4. The method of claim 3,
    상기 디인터레이싱하는 단계는, Wherein the de-interlacing is
    상기 인터레이싱된 비디오 프레임들에 대한 공간 정보 및 양방향 모션 정보를 생성하는 단계; Generating a spatial information and a bi-directional motion information for said interlaced video frame; And
    상기 인터레이싱된 비디오 프레임들에 기초하고 상기 공간 정보 및 양방향 모션 정보를 이용하여 상기 순차 비디오를 생성하는 단계를 포함하는, 멀티미디어 데이터 처리 방법. Based upon the interlaced video frame, and for generating the video sequence using the bi-directional motion information and spatial information, a multimedia data processing method.
  7. 제 4 항에 있어서, 5. The method of claim 4,
    상기 대역폭 정보는 휘도 정보를 포함하는, 멀티미디어 데이터 처리 방법. The bandwidth information, a multimedia data processing method comprising the brightness information.
  8. 제 1 항에 있어서, According to claim 1,
    상기 메타데이터는 공간 복잡도 값을 포함하는, 멀티미디어 데이터 처리 방법. The metadata, multimedia data processing method including the space complexity value.
  9. 제 1 항에 있어서, According to claim 1,
    상기 메타데이터는 시간 복잡도 값을 포함하는, 멀티미디어 데이터 처리 방법. The metadata method, processing multimedia data including a time complexity value.
  10. 제 1 항에 있어서, According to claim 1,
    상기 인터레이싱된 비디오 프레임들을 변환하는 단계는 3/2 풀다운 비디오 프레임들을 역 텔레시네하는 단계를 포함하는, 멀티미디어 데이터 처리 방법. Converting the interlaced video frame is a method, processing multimedia data, comprising the 3/2 pull down inverse telecine the video frames.
  11. 제 10 항에 있어서, 11. The method of claim 10,
    상기 메타데이터는 대역폭 비율 정보를 포함하는, 멀티미디어 데이터 처리 방법. The metadata, multimedia data processing method comprising a bandwidth ratio information.
  12. 제 1 항에 있어서, According to claim 1,
    상기 순차 비디오를 리사이징하는 단계를 더 포함하는, 멀티미디어 데이터 처리 방법. , A multimedia data processing method further comprises the step of resizing the progressive video.
  13. 제 12 항에 있어서, 13. The method of claim 12,
    영상 그룹 (group of picture) 정보를 결정하기 위해 상기 순차 비디오를 분할하는 단계를 더 포함하는, 멀티미디어 데이터 처리 방법. Picture group (group of picture), a multimedia data processing method further comprises the step of dividing the video sequence to determine the information.
  14. 삭제 delete
  15. 제 1 항에 있어서, According to claim 1,
    상기 순차 비디오를 잡음 제거 (denoising) 필터로 필터링하는 단계를 더 포함하는, 멀티미디어 데이터 처리 방법. , A multimedia data processing method further comprising the step of filtering to remove noise (denoising) filter the progressive video.
  16. 제 1 항에 있어서, According to claim 1,
    상기 메타데이터는 휘도 및 크로마 정보를 포함하는, 멀티미디어 데이터 처리 방법. The metadata, multimedia data processing method comprising the luminance and chroma information.
  17. 멀티미디어 데이터를 처리하는 장치로서, An apparatus for processing multimedia data,
    인터레이싱된 비디오 프레임들을 수신하도록 구성된 수신기; A receiver configured to receive an interlaced video frame;
    상기 인터레이싱된 비디오 프레임들을 순차 비디오로 변환하도록 구성된 디인터레이서; Deinterlacer configured to convert the interlaced video frames in the video sequence; And
    상기 순차 비디오와 연관된 메타데이터를 생성하고, 상기 순차 비디오 및 상기 메타데이터를 상기 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하도록 구성된 분할기를 포함하고, Generate metadata associated with the progressive video, and includes the progressive video, and a divider configured to provide the metadata to the encoder used to encode the progressive video,
    상기 분할기는 샷 검출을 수행하고 상기 샷 검출에 기초하여 압축 정보를 생성하도록 구성되는, 멀티미디어 데이터 처리 장치. The divider performs a shot detection and the multimedia data processing unit configured to generate a compressed information based on the detected shot.
  18. 제 17 항에 있어서, 18. The method of claim 17,
    상기 순차 비디오를 통신 모듈로부터 수신하고, 상기 제공된 메타데이터를 이용하여 상기 순차 비디오를 인코딩하도록 구성된 인코더를 더 포함하는, 멀티미디어 데이터 처리 장치. Receiving the video sequence from the communication module, and wherein the metadata provided, a multimedia data processing apparatus further comprises an encoder configured to encode the progressive video using a.
  19. 제 17 항에 있어서, 18. The method of claim 17,
    상기 디인터레이서는 공간-시간 디인터레이싱을 수행하도록 구성되는, 멀티미디어 데이터 처리 장치. The deinterlacer is space, the multimedia data processing apparatus configured to perform time de-interlacing.
  20. 제 17 항에 있어서, 18. The method of claim 17,
    상기 순차 비디오를 잡음 제거하는 잡음 제거 필터를 더 포함하는, 멀티미디어 데이터 처리 장치. , A multimedia data processing apparatus further comprises a noise reduction filter to remove noise, the progressive video.
  21. 제 17 항에 있어서, 18. The method of claim 17,
    상기 디인터레이서는 역 텔레시네 장치 (inverse teleciner) 를 포함하는, 멀티미디어 데이터 처리 장치. The deinterlacer, the multimedia data processing device including a reverse telecine unit (inverse teleciner).
  22. 삭제 delete
  23. 제 17 항에 있어서, 18. The method of claim 17,
    상기 메타데이터는 영상 그룹 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus including a picture group information.
  24. 제 17 항에 있어서, 18. The method of claim 17,
    순차 프레임을 리사이징하도록 구성된 리샘플러 (resampler) 를 더 포함하는, 멀티미디어 데이터 처리 장치. , A multimedia data processing device includes a resampler (resampler) arranged to resize the frame sequential more.
  25. 제 17 항에 있어서, 18. The method of claim 17,
    상기 메타데이터는 대역폭 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus comprising a bandwidth information.
  26. 제 17 항에 있어서, 18. The method of claim 17,
    상기 메타데이터는 양방향 모션 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing device comprising a bi-directional motion information.
  27. 제 17 항에 있어서, 18. The method of claim 17,
    상기 디인터레이서는, Is the deinterlacer,
    상기 인터레이싱된 비디오 프레임들에 대한 공간 정보 및 양방향 모션 정보 를 생성하고, Generating spatial information and a bi-directional motion information for said interlaced video frame,
    상기 인터레이싱된 비디오 프레임들에 기초하고 상기 공간 정보 및 양방향 모션 정보를 이용하여 순차 비디오를 생성하도록 구성되는, 멀티미디어 데이터 처리 장치. The interlacing of video frames based on said area information and the multimedia data processing device is configured by using a bi-directional motion information to produce a progressive video.
  28. 제 23 항에 있어서, 24. The method of claim 23,
    상기 메타데이터는 대역폭 비율을 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus comprising a bandwidth ratio.
  29. 제 23 항에 있어서, 24. The method of claim 23,
    상기 메타데이터는 휘도 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus including a brightness information.
  30. 제 17 항에 있어서, 18. The method of claim 17,
    상기 메타데이터는 공간 복잡도 값을 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus including a spatial complexity value.
  31. 제 17 항에 있어서, 18. The method of claim 17,
    상기 메타데이터는 시간 복잡도 값을 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing device comprising a time complexity value.
  32. 제 17 항에 있어서, 18. The method of claim 17,
    상기 메타데이터는 휘도 및 크로마 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus comprising a luminance and chroma information.
  33. 멀티미디어 데이터를 처리하는 장치로서, An apparatus for processing multimedia data,
    인터레이싱된 비디오를 수신하는 수단; It means for receiving an interlaced video;
    상기 인터레이싱된 비디오를 순차 비디오로 변환하는 수단; It means for converting the interlaced video to progressive video;
    상기 순차 비디오와 연관된 메타데이터를 생성하는 수단; It means for generating metadata associated with the progressive video; And
    상기 순차 비디오 및 상기 메타데이터의 적어도 일부를 상기 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하는 수단을 포함하고, The progressive video and means for providing the encoder used to encode the video sequence at least part of the metadata,
    상기 생성 수단은 샷 검출을 수행하고 상기 샷 검출에 기초하여 압축 정보를 생성하도록 구성되는, 멀티미디어 데이터 처리 장치. It said generating means performs a shot detection and processing multimedia data and to generate the compressed information on the basis of the shot detector.
  34. 제 33 항에 있어서, 35. The method of claim 33,
    상기 변환 수단은 역 텔레시네 장치를 포함하는, 멀티미디어 데이터 처리 장치. The conversion means, a multimedia data processing apparatus including a reverse telecine apparatus.
  35. 제 33 항에 있어서, 35. The method of claim 33,
    상기 변환 수단은 공간-시간 디인터레이서를 포함하는, 멀티미디어 데이터 처리 장치. The conversion means is space, the multimedia data processing device comprising a time deinterlacer.
  36. 삭제 delete
  37. 제 33 항에 있어서, 35. The method of claim 33,
    상기 생성 수단은 대역폭 정보를 생성하도록 구성되는, 멀티미디어 데이터 처리 장치. The generating means, a multimedia data processing apparatus configured to generate a bandwidth information.
  38. 제 33 항에 있어서, 35. The method of claim 33,
    순차 프레임을 리사이징하도록 리샘플링하는 수단을 더 포함하는, 멀티미디어 데이터 처리 장치. , A multimedia data processing apparatus comprises means for re-sampling so as to sequentially re-sizing the frame.
  39. 제 33 항에 있어서, 35. The method of claim 33,
    상기 제공된 메타데이터를 이용하여 상기 순차 비디오를 인코딩하는 수단을 더 포함하는, 멀티미디어 데이터 처리 장치. Given above using the metadata further comprising: means for encoding the progressive video, and multimedia data processing device.
  40. 제 33 항에 있어서, 35. The method of claim 33,
    상기 순차 비디오를 잡음 제거하는 수단을 더 포함하는, 멀티미디어 데이터 처리 장치. , A multimedia data processing device further comprises means for removing noise, the progressive video.
  41. 제 33 항에 있어서, 35. The method of claim 33,
    상기 메타데이터는 영상 그룹 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus including a picture group information.
  42. 제 33 항에 있어서, 35. The method of claim 33,
    상기 메타데이터는 양방향 모션 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing device comprising a bi-directional motion information.
  43. 제 33 항에 있어서, 35. The method of claim 33,
    상기 변환 수단은, Said conversion means includes:
    상기 인터레이싱된 비디오 프레임들에 대한 공간 정보 및 양방향 모션 정보를 생성하고, Generating spatial information and a bi-directional motion information for said interlaced video frame,
    상기 인터레이싱된 비디오 프레임들에 기초하고 상기 공간 정보 및 양방향 모션 정보를 이용하여 순차 비디오를 생성하도록 구성되는, 멀티미디어 데이터 처리 장치. The interlacing of video frames based on said area information and the multimedia data processing device is configured by using a bi-directional motion information to produce a progressive video.
  44. 제 33 항에 있어서, 35. The method of claim 33,
    상기 메타데이터는 대역폭 비율을 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus comprising a bandwidth ratio.
  45. 제 33 항에 있어서, 35. The method of claim 33,
    상기 메타데이터는 휘도 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus including a brightness information.
  46. 제 33 항에 있어서, 35. The method of claim 33,
    상기 메타데이터는 공간 복잡도 값을 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus including a spatial complexity value.
  47. 제 33 항에 있어서, 35. The method of claim 33,
    상기 메타데이터는 시간 복잡도 값을 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing device comprising a time complexity value.
  48. 제 33 항에 있어서, 35. The method of claim 33,
    상기 메타데이터는 휘도 및 크로마 정보를 포함하는, 멀티미디어 데이터 처리 장치. The metadata, multimedia data processing apparatus comprising a luminance and chroma information.
  49. 멀티미디어 데이터를 처리하는 명령들을 포함한 머신 판독가능 매체로서, A machine-readable medium comprising instructions for processing multimedia data,
    상기 멀티미디어 데이터를 처리하는 명령들은, 실행 시, 머신으로 하여금, Instructions for processing the multimedia data are, cause the run-time, the machine,
    인터레이싱된 비디오 프레임들을 수신하게 하고, To receive interlaced video frame,
    상기 인터레이싱된 비디오 프레임들을 순차 비디오로 변환하게 하고, To convert the interlaced video frames in the video sequence, and
    상기 순차 비디오와 연관된 메타데이터를 생성하게 하고, To generate metadata associated with the progressive video, and
    상기 순차 비디오 및 상기 메타데이터의 적어도 일부를 상기 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하게 하고, And the progressive video, and provides the encoder used to encode the video sequence at least part of the metadata,
    상기 순차 비디오와 연관된 메타데이터의 생성은 샷 검출을 수행하고 상기 샷 검출에 기초하여 압축 정보를 생성하는 것을 포함하는, 머신 판독가능 매체. Machine-readable medium, comprising the generation of the progressive video and metadata associated with the shot detection is performed and the resulting compressed information on the basis of the detected shot.
  50. 인터레이싱된 비디오를 수신하고, Receive an interlacing the video,
    상기 인터레이싱된 비디오를 순차 비디오로 변환하고, Converting the interlaced video to progressive video, and
    상기 순차 비디오와 연관된 메타데이터를 생성하고, Generate metadata associated with the progressive video, and
    상기 순차 비디오 및 상기 메타데이터의 적어도 일부를 상기 순차 비디오를 인코딩하는데 이용되는 인코더에 제공하는 구성을 포함하고, The progressive video, and includes a configuration that provides the encoder used to encode the video sequence at least part of the metadata,
    상기 순차 비디오와 연관된 메타데이터의 생성은 샷 검출을 수행하고 상기 샷 검출에 기초하여 압축 정보를 생성하는 것을 포함하는, 프로세서. Generation of the progressive video and associated metadata, performing shot detection and the processor comprising generating a compressed information on the basis of the detected shot.
KR20087026885A 2006-04-03 2007-03-13 Preprocessor method and apparatus KR101019010B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US78904806 true 2006-04-03 2006-04-03
US60/789,048 2006-04-03
US78926606 true 2006-04-04 2006-04-04
US78937706 true 2006-04-04 2006-04-04
US60/789,377 2006-04-04
US60/789,266 2006-04-04

Publications (2)

Publication Number Publication Date
KR20090006159A true KR20090006159A (en) 2009-01-14
KR101019010B1 true KR101019010B1 (en) 2011-03-04

Family

ID=38121947

Family Applications (5)

Application Number Title Priority Date Filing Date
KR20087026885A KR101019010B1 (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus
KR20127017181A KR101377370B1 (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus
KR20107022928A KR101127432B1 (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus
KR20137034600A KR20140010190A (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus
KR20117026505A KR101373896B1 (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR20127017181A KR101377370B1 (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus
KR20107022928A KR101127432B1 (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus
KR20137034600A KR20140010190A (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus
KR20117026505A KR101373896B1 (en) 2006-04-03 2007-03-13 Preprocessor method and apparatus

Country Status (5)

Country Link
EP (1) EP2002650A1 (en)
JP (3) JP2009532741A (en)
KR (5) KR101019010B1 (en)
CN (1) CN104159060B (en)
WO (1) WO2007114995A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430535B (en) 2011-01-21 2017-11-03 汤姆逊许可公司 Using content analysis of enhanced remote transcoding system and method
US20130266080A1 (en) * 2011-10-01 2013-10-10 Ning Lu Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding
KR20130061997A (en) 2011-12-02 2013-06-12 삼성전자주식회사 High density semiconductor memory device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864369A (en) 1997-06-16 1999-01-26 Ati International Srl Method and apparatus for providing interlaced video on a progressive display
KR20030029507A (en) * 2001-10-05 2003-04-14 제너시스 마이크로칩 인코포레이티드 Motion adaptive de-interlacing method and apparatus
KR20060011281A (en) * 2004-07-30 2006-02-03 한종기 Apparatus for converting resolution of image applied to transcoder and method of the same

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2700090B1 (en) 1992-12-30 1995-01-27 Thomson Csf A method of frame deinterlacing a sequence of moving pictures.
DE69506076D1 (en) * 1994-04-05 1998-12-24 Koninkl Philips Electronics Nv Reacting an interlaced scanning into a sequential scanning
JP2832927B2 (en) * 1994-10-31 1998-12-09 日本ビクター株式会社 Scanning line interpolating device and a scanning line interpolation for motion vector detecting device
JPH09284770A (en) * 1996-04-13 1997-10-31 Sony Corp Image coding device and method
JP3649370B2 (en) * 1998-02-25 2005-05-18 日本ビクター株式会社 Motion compensation encoding apparatus and a motion compensation coding method
US6297848B1 (en) 1998-11-25 2001-10-02 Sharp Laboratories Of America, Inc. Low-delay conversion of 3:2 pulldown video to progressive format with field averaging
JP3588564B2 (en) * 1999-03-31 2004-11-10 株式会社東芝 The video data recording device
JP2001204026A (en) * 2000-01-21 2001-07-27 Sony Corp Image information converter and method
EP1177691B1 (en) * 2000-03-13 2011-01-26 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
KR100708091B1 (en) 2000-06-13 2007-04-16 삼성전자주식회사 Frame rate converter using bidirectional motion vector and method thereof
KR100393066B1 (en) 2001-06-11 2003-07-31 삼성전자주식회사 Apparatus and method for adaptive motion compensated de-interlacing video data using adaptive compensated olation and method thereof
JP4016646B2 (en) * 2001-11-30 2007-12-05 日本ビクター株式会社 Progressive scanning conversion apparatus and progressive scanning conversion method
KR100446083B1 (en) * 2002-01-02 2004-08-30 삼성전자주식회사 Apparatus for motion estimation and mode decision and method thereof
KR100850706B1 (en) * 2002-05-22 2008-08-06 삼성전자주식회사 Method for adaptive encoding and decoding motion image and apparatus thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864369A (en) 1997-06-16 1999-01-26 Ati International Srl Method and apparatus for providing interlaced video on a progressive display
KR20030029507A (en) * 2001-10-05 2003-04-14 제너시스 마이크로칩 인코포레이티드 Motion adaptive de-interlacing method and apparatus
KR20060011281A (en) * 2004-07-30 2006-02-03 한종기 Apparatus for converting resolution of image applied to transcoder and method of the same

Also Published As

Publication number Publication date Type
JP5897419B2 (en) 2016-03-30 grant
KR20090006159A (en) 2009-01-14 application
KR20100126506A (en) 2010-12-01 application
KR101127432B1 (en) 2012-07-04 grant
JP2009532741A (en) 2009-09-10 application
KR20140010190A (en) 2014-01-23 application
JP2015109662A (en) 2015-06-11 application
KR101377370B1 (en) 2014-03-26 grant
JP6352173B2 (en) 2018-07-04 grant
CN104159060A (en) 2014-11-19 application
CN104159060B (en) 2017-10-24 grant
KR101373896B1 (en) 2014-03-12 grant
WO2007114995A1 (en) 2007-10-11 application
EP2002650A1 (en) 2008-12-17 application
KR20120091423A (en) 2012-08-17 application
KR20110128366A (en) 2011-11-29 application
JP2013031171A (en) 2013-02-07 application

Similar Documents

Publication Publication Date Title
US6816552B2 (en) Interpolation of video compression frames
US5731850A (en) Hybrid hierarchial/full-search MPEG encoder motion estimation
Yuen et al. A survey of hybrid MC/DPCM/DCT video coding distortions
US6175593B1 (en) Method for estimating motion vector in moving picture
US7295612B2 (en) Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence
US7310371B2 (en) Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction
US5757969A (en) Method for removing a blocking effect for use in a video signal decoding apparatus
US6754270B1 (en) Encoding high-definition video using overlapping panels
US6438165B2 (en) Method and apparatus for advanced encoder system
US7602849B2 (en) Adaptive reference picture selection based on inter-picture motion measurement
US7095787B2 (en) Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
US6728317B1 (en) Moving image compression quality enhancement using displacement filters with negative lobes
US20070019724A1 (en) Method and apparatus for minimizing number of reference pictures used for inter-coding
US6281942B1 (en) Spatial and temporal filtering mechanism for digital motion video signals
US20090086814A1 (en) Treating video information
US20080056602A1 (en) Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US7068722B2 (en) Content adaptive video processor using motion compensation
US20020118748A1 (en) Picture coding apparatus, and picture coding method
US20080101465A1 (en) Moving Picture Encoding Method, Device Using The Same, And Computer Program
US20060165176A1 (en) Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US20070206117A1 (en) Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US20030112873A1 (en) Motion estimation for video compression systems
US20060222078A1 (en) Content classification for multimedia processing
US20050265447A1 (en) Prediction encoder/decoder, prediction encoding/decoding method, and computer readable recording medium having recorded thereon program for implementing the prediction encoding/decoding method
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
A107 Divisional application of patent
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 7