JP4352105B2 - Hierarchy of the phase and resolution when it is strengthening of advanced television - Google Patents

Hierarchy of the phase and resolution when it is strengthening of advanced television Download PDF

Info

Publication number
JP4352105B2
JP4352105B2 JP2001574651A JP2001574651A JP4352105B2 JP 4352105 B2 JP4352105 B2 JP 4352105B2 JP 2001574651 A JP2001574651 A JP 2001574651A JP 2001574651 A JP2001574651 A JP 2001574651A JP 4352105 B2 JP4352105 B2 JP 4352105B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
frame
mpeg
resolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001574651A
Other languages
Japanese (ja)
Other versions
JP2003531514A (en )
Inventor
ガリー イー デモス
Original Assignee
ドルビー・ラボラトリーズ・ライセンシング・コーポレーションDolby Laboratories Licensing Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré, halo, even if the automatic gain control is involved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Description

【0001】 [0001]
関連出願の相互参照 CROSS-REFERENCE TO RELATED APPLICATIONS
本願は、1996年1月30日付けで出願された米国特許願第08/594,815号(現在は1998年12月22日付けで発行された米国特許第5,852,565号である)の継続出願であった1998年12月21日付け出願の米国特許願第09/217,151号の継続出願であった1999年11月17日付け出願の米国特許願第09/442,595号の一部継続出願でありその優先権を主張するものである。 This application is filed on January 30, 1996 U.S. Patent Application No. 08 / 594,815 (now a U.S. Patent No. 5,852,565, issued Dec. 22, 1998) was a continuation application, 1998 December 21, with application of US patent application US patent application Ser. No. 09 / 442,595 of the 09/1999 issue was the continuation application 217,151 November 17, with application which is a continuation-in-part application of which claims the priority.
【0002】 [0002]
技術分野 Technical field
本発明は、電子通信システムに関し、さらに詳しく述べると、圧縮特性、フィルタリング特性及び表示特性を強化された圧縮画像フレームの時相と解像度を階層化(temporal and resolution layering)したアドバンスド電子テレビジョンシステムに関する。 The present invention relates to electronic communication systems, More particularly, the compression characteristics, the filtering characteristics and time phase of layered resolution compressed image frames enhance display characteristics regarding (temporal and resolution layering) the advanced electronic television system .
【0003】 [0003]
背景 background
米国は、現在、テレビジョンを伝送するのに、NTSC標準を利用している。 The United States, currently, in order to transmit the television, are using the NTSC standard. しかし、このNTSC標準をアドバンスドテレビジョン標準と取替えるという提案がなされている。 However, it proposed that replace the NTSC standard and advanced television standard have been made. 例えば、米国がディジタル標準精細度フォーマットとアドバンスドテレビジョンフォーマットを、24Hz、30Hz、60Hz及びインタレース化された60Hzの速度(rate)で採用することが提案されている。 For example, the United States a digital standard definition format and advanced television formats, 24 Hz, 30 Hz, employing a rate of 60Hz and interlaced been 60Hz (rate) has been proposed. これらの速度は、既存のNTSCテレビジョンの表示速度60Hz(又は59.94Hz)を引続き利用すること(したがってこの表示速度と両立すること)を意図していることは明らかである。 These rates will be apparent that it is intended to continue utilizing the existing NTSC television display rate 60 Hz (or 59.94 Hz) (and thus be compatible with the display speed). また、「3−2プルダウン(3-2 pulldown)」が、24フレーム/秒(fps)の時相速度を有する映画を提供するときに、60Hzの表示速度で表示することを目的としていることも明らかである。 Also, "3-2 pulldown (3-2 pulldown)" is, when providing a movie having a phase velocity when the 24 frames / second (fps), also are intended to be displayed in display speed of 60Hz it is obvious. しかし、上記提案は、選択すべき可能なフォーマットのメニューを提供するが、各フォーマットは、単一の解像度とフレーム速度しか符号化し復号しない。 However, the proposal is to provide a menu of possible formats to be selected, each format, single resolution and frame rate only a coded decoding. これらフォーマットの表示速度又は動き速度(motion rate)は、互いに不可分には関連していないので、一方から他方への変換は困難である。 Display speed or motion rates of these formats (motion rate), since not relevant to the indivisible one another, conversion from one to the other is difficult.
【0004】 [0004]
さらに、この提案は、コンピュータ表示器と両立できる決定的な性能を提供していない。 Moreover, this proposal does not provide a definitive performance compatible with the computer display. これらの提案された画像の動き速度は、今世紀初期にさかのぼる歴史的な速度に基づいている。 Movement speed of these proposed image is based on historical rates dating back to this century early. いきがかりを捨てるならば、これらの速度は選択されることはないであろう。 If discard Yukigakari, these rates will not be selected. コンピュータ産業界では、表示器は、過去10年間にわたってあらゆる速度を利用できたが、70〜80Hzの範囲の速度が最適であると証明され、72Hzと75Hzが最も普通の速度であった。 In the computer industry, the indicator has been available any rate over the past 10 years, rates in the range of 70~80Hz was demonstrated to be optimal, 72 Hz and 75Hz was the most common speed. あいにく、提案された速度の30Hzと60Hzは、72Hz又は75Hzとの有用な相互運用性を欠いており、その結果、時相性能が低下する。 Unfortunately, 30 Hz and 60Hz of the proposed rate, lacks useful interoperability with 72Hz or 75 Hz, as a result, time phase performance decreases.
【0005】 [0005]
その上に、高いフレーム速度で約1000ラインの解像度を有する必要があると要求されているため、インタレースが必要であるが、このような画像が従来の6MHz放送テレビジョンチャネルの利用可能な18〜19メガビット/秒内で圧縮できないという認識に基づいていることが一部の人によって示唆されている。 Thereon, because it is required that it is necessary to have a resolution of about 1000 lines at a higher frame rate, it is necessary to interlace, such an image is available for conventional 6MHz broadcast television channels 18 that is based on the recognition that can not be compressed in to 19 Mbit / s has been suggested by some people.
【0006】 [0006]
単一の信号フォーマットを採用しなければならないならば、そのフォーマットの中に所望の標準の高精細度の解像度をすべて含んでいることが一層要望されるであろう。 If you have to adopt the single signal format, it will be more desire to contain all the resolutions of high definition of the desired standard in its format. しかし、従来の6MHz放送テレビジョンチャネルの帯域幅の制約内で上記のことを行うには、フレーム速度(時相)と解像度(空間)の両者の圧縮と「スケーラビリティ(scalability)」が必要である。 However, to do that described above within the constraints of the bandwidth of the conventional 6MHz broadcast television channels, it is necessary to "Scalability (scalability)" and compression of both frame rate (temporal) and resolution (spatial) . このようなスケーラビリティを提供することを特に意図する一つの方法はMPEG−2標準である。 One method in particular intended to provide such scalability is MPEG-2 standard. MPEG−2標準(及びより新しい標準、例えばMPEG−4)中に詳記されている時相及び空間のスケーラビリティの機能は、米国のアドバンスドテレビジョンの要求を満たすのに充分有効でない。 MPEG-2 standard (and the newer standard, for example, MPEG-4) feature scalability phases and space when it is detailed in in is not sufficient effective to meet the US demands of advanced television. したがって米国のアドバンスドテレビジョンに対する前記提案は、時相(フレーム速度)と空間(解像度)の階層化が無効果であるという前提に基づいているので、個々のフォーマットが必要である。 Therefore the proposal for U.S. advanced television, since layering time phase (frame rate) and spatial (resolution) is based on the assumption that it is ineffective, it is necessary to individual formats.
【0007】 [0007]
さらに、解像度、画像の明瞭度、符号化効率及び画像生成効率を高めることが望ましい。 Furthermore, resolution, clarity of image, it is desirable to increase the coding efficiency and the image formation efficiency. 本発明はこのような性能強化を行う。 The present invention is carried out such a performance enhancement.
【0008】 [0008]
要約 wrap up
本発明は、高フレーム速度にて高画質で、1000ライン解像度より優れた画像圧縮を明白に達成する、画像圧縮を行う方法と装置を提供するものである。 The present invention is a high quality at a high frame rate, unambiguously achieve superior image compression than 1000 line resolution, it is to provide a method and apparatus for performing image compression. また本発明は、従来のテレビジョン放送チャネルの利用可能な帯域幅内で、上記解像度にて高フレーム速度で、時相と解像度のスケーラビリティの両者も達成するものである。 The present invention, in the available bandwidth of a conventional television broadcast channel, at a high frame rate at the resolution, but also to achieve both scalability temporal and resolution. 本発明の方法は、アドバンスドテレビジョンに対して提案されている圧縮比の2倍を超える圧縮比を有効に達成する。 The method of the present invention, to effectively achieve a compression ratio of greater than 2 times the compression ratio being proposed for advanced television. さらに階層化圧縮によって、各種の画像強化方法を意のままに利用できるようにする一形態の画像のモジュール化分解が可能になる。 By further layered compression allows modular decomposition of an embodiment of an image to be able to use various image enhancement method at will it is.
【0009】 [0009]
画像マテリアル(image material)は好ましくは、72fpsという初期又は一次のフレーム指示速度で捕獲される。 Image material (image Material) is preferably captured at an initial or primary framing rate of 72Fps. 次に、MPEG式(例えばMPEG−2、MPEG−4など)のデータストリームが生成し、そのデータ流は次の層を含んでいる。 Next, the data stream generated by the MPEG type (for example, MPEG-2, MPEG-4), the data stream includes the following layers.
(1)好ましくはMPEG型Pフレームだけを使用して、符号化されるベース層であって、低解像度(例えば1024×512画素)で低フレーム速度(24又は36Hz)のビットストリームを含む層; (1) preferably using only MPEG type P frame, a base layer to be coded, a layer containing a bit stream of the low frame rate at a lower resolution (e.g., 1024 × 512 pixels) (24 or 36 Hz);
(2)MPEG型Bフレームだけを使用して符号化される任意のベース解像度の時相強化層であって、低解像度(例えば1024×512画素)で高フレーム速度(72Hz)のビットストリームを含む層; (2) a phase reinforcing layer at any time base resolution is encoded using only MPEG type B frames, comprising a bit stream of a high frame rate at a lower resolution (e.g., 1024 × 512 pixels) (72 Hz) layer;
(3)好ましくはMPEG型Pフレームだけを使用して符号化される任意のベース時相の高解像度強化層であって、高解像度(例えば2k×1k画素)で低フレーム速度(24又は36Hz)のビットストリームを含む層; (3) preferably is a high resolution enhancement layer of any of the base time phase that is encoded using only MPEG type P frame, low frame rate with high resolution (e.g., 2k × 1k pixels) (24 or 36 Hz) a layer containing a bit stream;
(4)MPEG型Bフレームだけを使用して符号化される任意の高解像度の時相強化層であって、高解像度(例えば2k×1k画素)で高フレーム速度(72Hz)のビットストリームを含む層。 (4) be any high-resolution phase reinforcing layer when the encoded using only MPEG type B frames, comprising a bit stream of a high frame rate (72 Hz) at high resolution (e.g., 2k × 1k pixels) layer.
【0010】 [0010]
本発明は、現在の提案を超える大きな改良が可能になる多数の重要な技術特性、例えば、多種の解像度とフレーム速度の、単一の階層化された解像度とフレーム速度による置換;6MHzのテレビジョンチャネル内で、高フレーム速度(72Hz)で2メガ画素の画像について1000ラインより優れた解像度を達成するのにインタレースが不要であること;一次フレーム指示速度72fpsを使用することによるコンピュータ表示器との互換性;及びアドバンスドテレビジョンに対する現行の階層化されていないフォーマットの提案よりはるかに高い堅牢性を提供する。 The present invention has a number of important technical characteristics allowing large improvement over current proposals, for example, the various resolutions and frame rates, substitution with a single layered resolution and frame rate; 6 MHz television in the channel, interlace that is not necessary to achieve good resolution than 1000 lines for an image of 2 mega pixels at a high frame rate (72 Hz); a computer display by using the primary framing rate 72fps It provides much higher robustness than proposed format is not the current hierarchical respect and advanced television; compatibility. なぜならば、「ストレスの多い(stressful)」画像マテリアルに出会うと、利用可能なビットがすべて、低解像度のベース層に割り当てることができるからである。 This is because encounters "stressful (stressful)" image material, can be available bits are all assigned to the base layer of lower resolution.
【0011】 [0011]
さらに、本発明は、ビデオ品質と圧縮の各種問題点を処理する多くの強化法を提供する。 Furthermore, the present invention provides a number of reinforcement method for processing various problems of compressed video quality. このような強化法を多数、以下に説明するが、これら強化法は大部分、好ましくは、画像の強化及びその画像の圧縮を行うタスクに適用できる一組のツールとして実施される。 A large number of such strengthening method will be described below, these strengthening method most preferably carried out as a set of tools that can be applied to tasks to strengthen the image and compression of the image. これらのツールは、所望どおりに、各種の方式でコンテント・デベロッパ(content developer)によって結合して、圧縮されたデータストリーム特に階層化された圧縮データストリームの視覚質と圧縮効率を最適化することができる。 These tools, as desired, linked by Content Developer (content developer) in various systems, to optimize the visual quality and compression efficiency of the compressed data stream in particular hierarchical compressed data stream it can.
【0012】 [0012]
このようなツールとしては、改良された画像フィルタリング法、動きベクトルの表現と決定、デ−インタレーシングと雑音低下の強化法、動き解析、画像形成装置の特性決定と修正、強化された3−2プルダウンシステム、生産のためのフレーム速度法、モジュラビット速度法、多層DCT構造、各種長さの符号化の最適化、MPEG−2とMPEG−4用の拡張システム、及び空間強化層用のガイドベクトルがある。 Such tools, image filtering method has been improved, the expression determination of the motion vector, de - strengthening method of interlacing and noise reduction, motion analysis, characterization and modification of the image forming apparatus was enhanced 3-2 pull-down system, the frame rate method for production, the modular bit rate method, multilayer DCT structure, guide vector of various optimization length encoding, MPEG-2 and MPEG-4 for the extended system, and spatial reinforcing layer there is.
【0013】 [0013]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴1) 画像符号化システムのベース層の強化層の製造方法であって、該ベース層をアップフィルタし拡張して拡張ベース領域にし、その拡張ベース領域を囲む追加面積領域を、該拡張ベース領域を均一な中間グレイ画素値でパッドすることでつくり、次に追加の写真情報を提供する強化層をつくる、ことを含んでなり、その強化層が、該拡張ベース領域と一致する面積に対する小範囲の可能な画素値及び該追加の面積領域と一致する面積に対する大範囲の画素値を有する差分写真を含んでいる方法。 (Feature 1) A process for producing a reinforcing layer in the base layer of the image coding system, the base layer up filters to expand the expansion base region, an additional area region surrounding the extension base region, wherein said expansion base made by the pad area in a uniform intermediate gray pixel values, then make reinforcing layer to provide additional picture information, it comprises the, the reinforcing layer is small relative to the area which coincides with the expansion base region methods include differential photograph having a pixel value of a large range for the area which coincides with the range of possible pixel values and the additional area region.
【0014】 [0014]
特徴1は、以下の一つ、或いは2以上の特徴を含んでも良い。 Features 1 may include the following one, or two or more features.
(特徴2) 強化層を、ベース層を含む写真ストリームの一部として符号化することをさらに含む特徴1に記載の方法。 (Feature 2) a reinforcing layer, the method according to feature 1, further comprising encoded as part of the photographic stream containing a base layer.
(特徴3) 強化層を復号することをさらに含む特徴2に記載の方法。 (Feature 3) The method according to feature 2, further comprising: decoding the enhancement layer.
(特徴4) 差分写真が動きベクトルを含み、そしてさらに、その動きベクトルに、追加の面積領域を指さないように強制することを含む特徴1に記載の方法。 (Feature 4) a difference pictures motion vector, and further, to the motion vector, the method according to feature 1 comprising forced to not point to additional area region.
(特徴5) マクロブロックに基づいて動きベクトルを決定することを含み、そのマクロブロックが、該拡張ベース領域とその拡張ベース領域を囲む追加面積領域との間の境界を走査しないようにアラインされている特徴4に記載の方法。 And determining a motion vector based on the (feature 5) macroblocks, the macroblock, are aligned so as not to scan the boundary between the extended base region and additional area region surrounding the extension base region a method according to feature 4 are.
(特徴6) ベース層と強化層が、3/2、4/3及び完全ファクター2のうち一つから選択される解像度比を有する特徴1に記載の方法。 (Feature 6) base layer and the reinforcing layer, the method according to feature 1 having a resolution ratio is selected from one of the 3 / 2,4 / 3 and complete factor 2.
(特徴7) 差分写真が強化層の中心に配置されている特徴1に記載の方法。 (Wherein 7) The method according to feature 1, the difference pictures are located in the center of the reinforcing layer.
(特徴8) 差分写真を、強化層に対して画像から画像へ連続的に再配置することをさらに含む特徴1に記載の方法。 (Wherein 8) the difference photographic method according to feature 1, further comprising continuously relocated from image to image to enhancement layer.
【0015】 [0015]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴9) 画像符号化システム内でより高い解像度の画像からより低い解像度の画像をつくる方法であって、ダウンサイジングフィルタを、該ダウンサイジングフィルタより高い解像度の原画像に適用することを含み、そのダウンサイジングフィルタが、正の中央ローブ、その正の中央ローブの両側に各々隣接する二つの負のローブ、及び各負のローブに対応して隣接している小さい正のローブを含み、その小さい正のローブが各々、対応する負のローブによって該正の中央ローブから隔てられている方法。 A method of making a lower resolution image from a higher resolution image in the (feature 9) the image encoding system, comprising applying a downsizing filter, the original image of higher than the downsizing filter resolution, As downsizing filter, positive middle lobe, including its positive center lobe two negative lobes respectively adjacent to both sides of, and a small positive lobes are adjacent in correspondence with the negative lobe, the smaller positive lobes each method by a corresponding negative lobes are separated from the central lobe of the positive.
【0016】 [0016]
特徴9は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 9 may include the following one, or two or more features.
(特徴10) ダウンサイジングフィルタの大きさが該小さい正のローブに制限されている特徴9に記載の方法。 (Wherein 10) The method according to feature 9, the magnitude of the downsizing filter is limited to the small positive lobe.
(特徴11) 該正の中央ローブ、負のローブ及び小さい正のローブの相対振幅が、接頭sinc関数によって近似される特徴9に記載の方法。 (Wherein 11) said positive central lobe of the relative amplitudes of the negative lobe and small positive lobe A method according to feature 9 is approximated by a prefix sinc function.
(特徴12) 正の中央ローブの相対振幅が接頭sinc関数によって近似され、そして小さい正のローブと負のローブの相対振幅が、接頭sinc関数の1/2〜2/3と近似される特徴9に記載の方法。 Is approximated by (wherein 12) positive relative amplitudes prefix sinc function of the central lobe, and smaller relative amplitudes of the positive lobe and negative lobes, characterized is approximated as 1 / 2-2 / 3 of the prefix sinc function 9 the method according to.
【0017】 [0017]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴13) 画像符号化システム内で、復元されたベース画像層又は強化画像層から拡大画像をつくる方法であって、一対のアップサイジングフィルタを、復元されたベース画像層又は強化画像層に適用することを含み、各アップサイジングフィルタが正の中央ローブ及びその中央ローブの両側に各々隣接する二つの負のローブを含み、各アップサイジングフィルタの正の中央ローブのピークが互いに非対称に隔てられている方法。 In (feature 13) image encoding system applicable to a method of making the enlarged image from the restored base image layer or reinforcing the image layer, a pair of upsizing filter, the reconstructed base image layer or reinforcing the image layer the method comprising, each upsizing filter comprises two negative lobes respectively adjacent to both sides of the positive central lobe and a central lobe, the peak of the positive central lobe of each upsizing filter is spaced asymmetrically from one another way it is.
【0018】 [0018]
特徴13は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 13 may include the following one, or two or more features.
(特徴14) アップサイジングフィルタの大きさが負のローブに制限される特徴13に記載の方法。 (Wherein 14) The method according to feature 13 size of upsizing filter is limited to a negative lobe.
(特徴15) 正の中央ローブの相対振幅が接頭sinc関数によって近似され、そして負のローブの相対振幅が、接頭sinc関数によって近似される値より小さい特徴13に記載の方法。 (Wherein 15) relative amplitudes of the positive central lobe is approximated by a prefix sinc function, and the relative amplitudes of the negative lobe A method according to smaller feature 13 than the value approximated by the prefix sinc function.
(特徴16) 正の中央ローブの相対振幅が接頭sinc関数によって近似され、そして負のローブの相対振幅が接頭sinc関数の1/2〜2/3と近似される特徴13に記載の方法。 (Wherein 16) relative amplitudes of the positive central lobe is approximated by a prefix sinc function, and method according to feature 13, relative amplitudes of the negative lobe is approximated as 1 / 2-2 / 3 of the prefix sinc function.
【0019】 [0019]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴17) 画像符号化システム内で元の高解像度画像からつくった元の圧縮されていないベース層入力画像から強化ディテール画像をつくる方法であって、ガウスのアップサイジングフィルタを、元の圧縮されていないベース層画像に適用して拡張画像をつくり;該拡張画像を該元の高解像度画像から差し引くことによって差分画像をつくり、次いでその差分画像に重みファクターを掛ける、ことを含む方法。 A method of making reinforced detail image from (feature 17) image encoding the original uncompressed made from original high resolution image in the system base layer input image, a Gaussian upsizing filter is original compressed creating an expanded image by applying the non base layer image; create a difference image by subtracting the extended image from a high resolution image of said original, then the method comprising applying a weighting factor, it on the difference image.
【0020】 [0020]
特徴17は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 17 may include the following one, or two or more features.
(特徴18) 重みファクターが約4%〜約35%の範囲内にある特徴17に記載の方法。 (Feature 18) The method of weight factor according to feature 17 which is within the range of from about 4% to about 35%.
(特徴19) 符号化システムがMPEG−4の標準に適合し、そして重みファクターが約4%〜約8%の範囲内にある特徴17に記載の方法。 (Wherein 19) adapted coding system to a standard of MPEG-4, and A method according to feature 17 weight factor is in the range of from about 4% to about 8%.
(特徴20) 符号化システムが、MPEG−2の標準に適合し、そして重みファクターが約10%〜約35%の範囲内にある特徴17に記載の方法。 (Wherein 20) coding system, compatible with the standard MPEG-2, and A method according to feature 17 weight factor is in the range of from about 10% to about 35%.
【0021】 [0021]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴21) 画像符号化システム内で画質を高める方法であって、デ−グレイニングフィルタ又はノイズ減少フィルタの少なくとも一方を元のディジタル画像に適用して第一処理済画像をつくり、次いで該第一処理済画像を、該画像符号化システム内で符号化して圧縮画像にする、ことを含む方法。 A method of enhancing the image quality in (Features 21) picture coding system, de - creating a first processed image by applying at least one of graining filter or noise reduction filters to the original digital image, then said methods including one processed image, to encode to compress the image in the image coding system, the.
【0022】 [0022]
特徴21は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 21 may include the following one, or two or more features.
(特徴22) 元の画像が非相関ノイズ特性を有する別のカラーチャネル画像を含み、そしてさらに、別個のノイズ減少フィルタを、このような別個のカラーチャネル画像の少なくとも一つに適用することを含む特徴21に記載の方法。 (Wherein 22) comprises a different color channel images the original image has uncorrelated noise characteristics, and further comprising applying a separate noise reduction filter, at least one such separate color channel images a method according to feature 21.
(特徴23) 圧縮された画像を復号して復元された画像にし、次いでその復元された画像に、リ−グレイニングフィルタ又はリ−ノイジングフィルタの少なくとも一方を適用する、ことをさらに含む特徴21に記載の方法。 (Wherein 23) to restored by decoding the compressed picture, then its reconstructed image, re - graining filter or re - Bruno applying at least one customizing filter, characterized further comprising 21 the method according to.
【0023】 [0023]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴24) 画像符号化システム内で画質を高める方法であって、フィールドデ−インタレーサを、一連の画像フィールドの各々に適用して、対応する一連のフィールドフレームをつくり、フィールドフレームデ−インタレーサを、一連の少なくとも三つの逐次フィールドフレームに適用して、対応する一連のデ−インタレース化画像フレームをつくり、次いでその一連のデ−インタレース化画像フレームを画像符号化システム内で符号化して一連の圧縮された画像にする、ことを含む方法。 A method of enhancing the image quality (characteristics 24) the image encoding system, field de - the interlacer, by applying to each of a series of image fields, create a corresponding set of fields frame, the field or frame de - the interlacer applies to a series of at least three sequential fields frame, corresponding series of de - creating a interlaced image frames, and then the series of de - encodes the interlaced image frame in the image encoding system series how to make the compressed image comprises.
【0024】 [0024]
特徴24は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 24 may include the following one, or two or more features.
(特徴25) 各画像フィールドがラインを含み、そして該フィールドデ−インタレーサを適用することが、画像フィールドの各ラインを複製し、次いで該画像フィールドの各隣接するペアのラインに対し、かようなペアのラインを平均することによって、かようなペアのラインの間に一つのラインを合成する、ことを含む特徴24に記載の方法。 (Wherein 25) comprises a respective image field line, and the field de - interlacer be applied, to replicate the lines of the image field, then the adjacent pairs each of the image field lines, Do Tuesday by averaging the line pair, to synthesize one line during of such pair line, the method according to feature 24, including the.
(特徴26) 該フィールドフレームデ−インタレーサを適用することが、前のフィールドフレーム、現行のフィールドフレーム及び次のフィールドフレームの各々に対し、これらフィールドフレームの重み付け平均として、デ−インタレース化画像フレームを合成することを含む、特徴24に記載の方法。 (Wherein 26) said field frame de - interlacer be applied, previous field frame, for each of the current field or frame and the next field frame, as a weighted average of these fields frame, de - interlaced image frame comprising the synthesis of, methods described features 24.
(特徴27) 該前のフィールドフレーム、現行のフィールドフレーム及び次のフィールドフレームに対する重みがそれぞれ約25%、50%及び25%である特徴26に記載の方法。 (Wherein 27) about 25% front of the field frame, the weight for the current field or frame and the next field frame respectively, A method according to feature 26 is 50% and 25%.
(特徴28) 各デ−インタレース化画像フレームと各フィールドフレームが画素値を含み、そしてさらに、各デ−インタレース化画像フレーム及び各対応する現行フィールドフレームの各対応する画素値の間の差をしきい値と比較して差の値をつくりだし、次いで該デ−インタレース化画像フレームに対する各最終画素値として、該差の値が第一しきい値比較範囲内にある場合は現行フィールドフレームから対応する画素値を選び、そして該差の値が第二しきい値比較範囲内にある場合はデ−インタレース化画像フレームから対応する画素値を選ぶ、ことをさらに含む特徴24に記載の方法。 (Wherein 28) each de - each field frame and the interlaced image frame includes a pixel value, and further, the de - the difference between the interlaced image frames and each corresponding pixel value of each corresponding current field frame creates the value of the difference compared with the threshold value, then該De - as the final pixel values for the interlaced image frames, current field frame if the value of the difference is in the first threshold comparator within select the corresponding pixel values from, and when the value of the difference is in the second threshold comparator within the de - select a pixel value corresponding the interlaced image frames, according to feature 24, further comprising: Method.
(特徴29) 該しきい値が、約0.1〜0.3の範囲内から選択される特徴24に記載の方法。 (Wherein 29) said threshold A method according to feature 24, which is selected from the range of about 0.1 to 0.3.
(特徴30) 比較する前に、各デ−インタレース化画像フレームと現行フィールドフレームを平滑フィルタリングすることをさらに含む特徴28に記載の方法。 (Features 30) before comparing, each de - A method according to feature 28, further comprising smoothing filter interlaced image frame and the current field or frame.
(特徴31) 平滑フィルタリングが、ダウンフィルタリングとこれに続くアップフィルタリングを含む特徴30に記載の方法。 (Wherein 31) smoothing filtering A method according to feature 30 comprising down filtering and up filtering follow.
(特徴32) 各デ−インタレース化画像フレームと各フィールドフレームが画素値を含み、そしてさらに、各現行フィールドフレームの重み付け量を、各デ−インタレース化画像フレームの重み付け量に加えることを含む特徴24に記載の方法。 (Feature 32) each de - comprises interlaced image frames and each field frame pixel value, and further, the weighting amount of each current field frame, each de - comprises adding the weighting amount of interlaced image frames a method according to feature 24.
(特徴33) 各現行フィールドフレームの重み付け量が1/3であり、そして各デ−インタレース化画像フレームの重み付け量が2/3である特徴32に記載の方法。 (Wherein 33) is a weighting amount of each current field frame 1/3, and each de - A method according to feature 32 weighting amount of interlaced image frames of 2/3.
【0025】 [0025]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴34) 画像符号化システム内で、非線形信号を表すディジタル画素値を含むビデオ画像の画質を強化する方法であって、該非線形信号を表す各ビデオ画像のディジタル画素値を、線形表現に変換して、線形化画像をつくり、変換関数を、少なくとも一つの線形化画像に適用して、変換された画像をつくり、次いで各変換された画像を、非線形信号を表すディジタル画素値を含むビデオ画像に変換してもどす、ことを含む方法。 (Wherein 34) in the image coding system conversion, a method for enhancing image quality of a video image containing a digital pixel values representative of the non-linear signal, the digital pixel values of each video image representing the non-linear signal, the linear representation to, make linearized image, a transformation function, is applied to at least one of the linearized image, creating a transformed image, then each transformed image, the video image including digital pixel values representative of the non-linear signal the method of conversion back to involve the.
【0026】 [0026]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴35) ビデオ画像を符号化する方法であって、原画像の水平と垂直の寸法を、それぞれ第一と第二の選択された単分数ファクターによってダウンサイズして、第一中間画像をつくり、その第一ワーキング画像を圧縮ベース層として符号化し、そのベース層を復元し次にその結果を、該選択された単分数ファクターの逆数によってアップサイズして第二中間画像をつくり、該第一中間画像を、該選択された単分数ファクターの逆数によってアップサイズし、次にその結果を原画像から差引き次にその結果に重み付けをして第一中間結果をつくり、該第二中間画像を原画像から差引いて第二中間結果をつくり、該第一中間結果と該第二中間結果を加算して第三中間画像をつくり、次いで該第三中間画像を符号化して強化層をつくることを含 A method of encoding (features 35) video images, the horizontal and vertical dimensions of the original image, the downsized first respectively the second selected single fraction factor, creating a first intermediate image , the first working image is encoded as compressed base layer, the restoration and then the result the base layer, creating a second intermediate image by upsize by the inverse of a single fractional factor is the selected, said first an intermediate image, upsized by the inverse of a single fractional factor is the selected, then the result subtracted from the original image and then the result making the first intermediate result by weighting, said second intermediate image creating a second intermediate result by subtracting from the original image, making a third intermediate image by adding said first intermediate result and said second intermediate result, and then to make a reinforcing layer wherein the third intermediate image by encoding including む方法。 No way.
【0027】 [0027]
特徴35は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 35 may include the following one, or two or more features.
(特徴36) 第三中間画像を、符号化する前にクロッピングとエッジフェザリングを行うことをさらに含む特徴35に記載の方法。 (Wherein 36) a third intermediate image, the method described in further comprising wherein 35 to perform the cropping and edge feathering before encoding.
(特徴37) 該第一と第二の単分数ファクターが各々、1/3、1/2、2/3及び3/4のうちの一つから選択される特徴35に記載の方法。 (Wherein 37) said first and second single fractional factor each A method according to feature 35 is selected from one of the 1 / 3,1 / 2,2 / 3 and 3/4.
【0028】 [0028]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴38) 画像符号化システム内で画質を強化する方法であって、中央値フィルタを、ディジタルビデオ画像の水平画素値に適用し、中央値フィルタを、ディジタルビデオ画像の垂直画素値に適用し、次いで該水平画素値と垂直画素値のフィルタリングの結果を平均して、ノイズを減らしたディジタルビデオ画像をつくる、ことを含む方法。 A method of enhancing the image quality in (Features 38) picture coding system, a median filter, is applied to the horizontal pixel values of a digital video image, a median filter, is applied to a vertical pixel value of the digital video image , then the method comprising the results are averaged filtering of the horizontal pixel values and vertical pixel values, creating a digital video image with a reduced noise, that.
【0029】 [0029]
特徴38は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 38 may include the following one, or two or more features.
(特徴39) 中央値フィルタを、該ディジタルビデオ画像の対角画素値に適用し、次いで該ノイズを減らしたディジタルビデオ画像の対角画素値をフィルタした結果を平均する、ことをさらに含む特徴38に記載の方法。 (Wherein 39) a median filter, is applied to a diagonal pixel values of the digital video image, then averaging the results of filtering the diagonal pixel values of the digital video image with a reduced the noise, it further includes a feature 38 the method according to.
【0030】 [0030]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴40) 画像符号化システム内で画質を強化する方法であって、時相中央値フィルタを、前のディジタルビデオ画像、現行のディジタルビデオ画像及び次のディジタルビデオ画像の対応する画素値に適用して、ノイズを減らしたディジタルビデオ画像をつくる、ことを含む方法。 A method of enhancing the image quality (characteristics 40) the image encoding system, applying a time phase median filter, before the digital video image, the corresponding pixel values of the current digital video image and following digital video image to create a digital video image with a reduced noise, the method comprising.
【0031】 [0031]
特徴40は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 40 may include the following one, or two or more features.
(特徴41) 各ノイズ減少ディジタルビデオ画像及び各対応する現行ディジタルビデオ画像の各対応する画素値の間の差を、しきい値と比較して、差の値をつくりだし、次いでノイズ減少ディジタルビデオ画像の各最終画素値として、該差の値が第一しきい値比較範囲内にある場合は現行ディジタルビデオ画像から対応する画素値を選び、そして該差の値が第二しきい値比較範囲内にある場合はノイズ減少ディジタルビデオ画像から対応する画素値を選ぶ、ことをさらに含む特徴40に記載の方法。 The difference between the (characteristic 41) each corresponding pixel value of the current digital video image to the noise reduction digital video image and each corresponding, in comparison with the threshold value, creating a difference value, then noise reduction digital video image as each final pixel value, if the value of the difference is in the first threshold comparator within select the pixel value corresponding the current digital video image, and the value of the difference is within the second threshold comparison range a method according to feature 40 when there choosing pixel value corresponding the noise reduction digital video image, further comprising the.
(特徴42) 該しきい値が約0.1〜約0.3の範囲から選択される特徴41に記載の方法。 (Wherein 42) The method according to feature 41 wherein the threshold value is selected from about 0.1 to about 0.3 range.
【0032】 [0032]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴43) 画像符号化システム内で画質を強化する方法であって、水平中央値フィルタを、現行ディジタルビデオ画像の水平画素値に適用し、垂直中央値フィルタを、現行ディジタルビデオ画像の垂直画素値に適用し、時相中央フィルタを、前のディジタルビデオ画像、現行ディジタルビデオ画像及び次のディジタルビデオ画像の対応する画素値に適用し、次いで中央値フィルタを、該水平フィルタ、垂直フィルタ及び時相フィルタ各々が生成した対応する画素値に適用して、ノイズ減少ディジタルビデオ画像をつくる、ことを含む方法。 A method of enhancing the image quality in (Features 43) picture coding system, the horizontal median filter, is applied to the horizontal pixel values of the current digital video image, a vertical median filter, vertical pixel of the current digital video image It was applied to the value, and applying a time phase central filter, before the digital video image, the corresponding pixel values of the current digital video image and following digital video image, then the median filter, horizontal filter, a vertical filter and a time It is applied to the corresponding pixel value phase filter each has generated, making noise reduction digital video image, the method comprising.
【0033】 [0033]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴44) 画像符号化システム内で画質を強化する方法であって、下記5項目:(1)現行ディジタルビデオ画像、(2)現行ディジタルビデオ画像の水平中央値と垂直中央値の平均値、(3)しきい値処理済時相中央値、(4)該しきい値処理済時相中央値の水平中央値と垂直中央値の平均値、並びに(5)該しきい値処理済時相中央値及び現行ディジタルビデオ画像の水平中央値と垂直中央値の中央値、の線形重み付け合計を含むノイズ減少ディジタルビデオ画像をつくることを含む方法。 A method of enhancing the image quality in (Features 44) picture coding system, the following five items: (1) the current digital video image, (2) the average value of the horizontal median and vertical median of the current digital video images, (3) threshold treated during phase median, (4) horizontal median of the threshold processed during phase median and mean value of the vertical median, and (5) the threshold treated during phase the method comprising making a noise reduction digital video image including median and median of the horizontal median and vertical median of the current digital video image, a linear weighted sum of.
【0034】 [0034]
特徴44は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 44 may include the following one, or two or more features.
(特徴45) 該5項目の重みがそれぞれ約50%、15%、10%、10%及び15%である特徴44に記載の方法。 (Wherein 45) about 50% weight of the five items, respectively, 15%, 10%, A method according to feature 44 is 10% and 15%.
(特徴46) 該5項目の重みがそれぞれ約35%、20%、22.5%、10%及び12.5%である特徴44に記載の方法。 (Wherein 46) about 35% weight of the five items, respectively, 20%, 22.5%, method described in the characteristic 44 is 10% and 12.5%.
(特徴47) 少なくとも一つの前のディジタルビデオ画像と少なくとも一つの次のディジタルビデオ画像について現行ディジタルビデオ画像の各nxn画素領域に対する動きベクトルを確認し、現行ディジタルビデオ画像の各nxn画素領域、並びに少なくとも一つの前のディジタルビデオ画像及び少なくとも一つの次のディジタルビデオ画像の対応する動きベクトルオフセットnxn画素領域に、中央重み付け時相フィルタを適用して動き補償画像をつくり、次にその動き補償画像を、該ノイズ減少ディジタルビデオ画像に加える、 (Wherein 47) at least one of the previous digital video images for at least one of the following digital video images to verify motion vectors for each nxn pixel region of the current digital video images, each of nxn pixel region of the current digital video images, as well as at least the corresponding motion vector offset nxn pixel region of one of the previous digital video image and at least one of the following digital video image, creating a motion compensated image by applying a phase filter time central weighting, then the motion compensation image, Add to the noise reduction digital video images,
ことをさらに含む特徴44に記載の方法。 A method according to feature 44, further comprising.
【0035】 [0035]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴48) 画像符号化システム内で画質を強化する方法であって、少なくとも一つの前のディジタルビデオ画像と少なくとも一つの次のディジタルビデオ画像について現行ディジタルビデオ画像の各nxn画素領域に対する動きベクトルを確認し、次いで現行ディジタルビデオ画像の各nxn画素領域、並びに少なくとも一つの前のディジタルビデオ画像及び少なくとも一つの次のディジタルビデオ画像の対応する動きベクトルオフセットnxn画素領域に、中央重み付け時相フィルタを適用して動き補償画像をつくる、ことを含む方法。 A method of enhancing the image quality (characteristics 48) the image encoding system, the motion vectors for each nxn pixel region of the current digital video images for at least one of the following digital video image and at least one of the preceding digital video image verify, then apply each nxn pixel region of the current digital video images, as well as corresponding motion vector offset nxn pixel region of at least one of the previous digital video image and at least one of the following digital video images, the phase filter time center weighted how to make the motion compensation image, comprising.
【0036】 [0036]
特徴48は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 48 may include the following one, or two or more features.
(特徴49) 各ディジタルビデオ画像がデ−インタレース化フィールドフレームである特徴48に記載の方法。 (Wherein 49) each digital video image de - method according to feature 48 is interlaced-field frame.
(特徴50) 各ディジタルビデオ画像が3フィールドフレームのデ−インタレース化画像である特徴48に記載の方法。 (Wherein 50) each digital video picture in 3 fields frame de - A method according to feature 48 is interlaced images.
(特徴51) 各ディジタルビデオ画像が、しきい値処理済の3フィールドフレームデ−インタレース化画像である特徴48に記載の方法。 (Wherein 51) each digital video images, 3 field frame de thresholds treated - The method according to feature 48 is interlaced images.
(特徴52) 該中央重み付け時相フィルタが、該画像の各々に対してそれぞれ約25%、50%及び25%の重みを有する3画像時相フィルタである特徴48に記載の方法。 (Wherein 52) said central weighting Temporal filter, about 25%, respectively for each of the image A method according to feature 48 is a third image when the phase filter having a weight of 50% and 25%.
(特徴53) 該中央重み付け時相フィルタが、該画像の各々に対してそれぞれ約10%、20%、40%、20%及び10%の重みを有する5画像時相フィルタである特徴48に記載の方法。 (Wherein 53) said central weighting Temporal filter, about 10%, respectively for each of said image, 20%, 40%, according to feature 48 is a fifth image when a phase filter having a weight of 20% and 10% the method of.
【0037】 [0037]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴54) 画像符号化システム内で画質を強化する方法であって、ノーマルダウンフィルタを画像に適用して、第一中間画像をつくり、ガウスアップフィルタを、該第一中間画像に適用して、第二中間画像をつくり、次に、該第二中間画像の重み付けフラクションを、選択された画像に加えて、高周波数のノイズが減少した画像をつくる、ことを含む方法。 A method of enhancing the image quality in (Features 54) picture coding system, by applying a normal down filter to the image, creating a first intermediate image, a Gaussian-up filter, and applied to said first intermediate image , creating a second intermediate image, then the method comprising the weighted fraction of the second intermediate image, in addition to the selected image to produce an image that high frequency noise is reduced, that.
【0038】 [0038]
特徴54は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 54 may include the following one, or two or more features.
(特徴55) 該重み付けフラクションが、該第二中間画像の約5%と10%の間である特徴54に記載の方法。 (Wherein 55) said weighted fraction A method according to feature 54 is between approximately 5% and 10% of the second intermediate image.
【0039】 [0039]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴56) 画像符号化システム内で画質を強化する方法であって、ダウンフィルタを、ノイズをフィルタされた原解像度画像に適用して、ベース層解像度の第一中間画像をつくり、ノーマルダウンフィルタを、該第一中間画像に適用して、第二中間画像をつくり、ガウスアップフィルタを、該第二中間画像に適用して、第三中間画像をつくり、下記3項目:(1)該第一中間画像、(2)該第一中間画像の水平中央値と垂直中央値の平均値、及び A method of enhancing the image quality in (Features 56) picture coding system, the down filter, by applying a noise filtered original resolution image, creating a first intermediate image of the base layer resolution, normal down filter and is applied to said first intermediate image, creating a second intermediate image, a Gaussian-up filter, and applied to said second intermediate image, making a third intermediate image, the following three items: (1) said first intermediate image, (2) horizontal median of the first intermediate image and the average value of the vertical median, and
(3)該第三中間画像、の線形重み付け合計を含むノイズ減少ディジタルビデオ画像をつくる、ことを含む方法。 (3) said third intermediate image, making noise reduction digital video image including a sum of linear weighting, the method comprising.
【0040】 [0040]
特徴56は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 56 may include the following one, or two or more features.
(特徴57) 該3項目の重みがそれぞれ、約70%、22.5%及び7.5%である特徴56に記載の方法。 (Wherein 57) weights of the three items are, respectively, about 70%, A method according to feature 56 is 22.5% and 7.5%.
【0041】 [0041]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴58) 1/4画素動き補償を利用して、画像符号化システム内で画質を強化する方法であって、負のローブを有するフィルタを、隣接する第一画素と第二画素の間の中ほどのサブ画素ポイントに適用して、1/2フィルタされた画素値をつくりだし、負のローブを有するフィルタを、該第一画素と第二画素の間の1/4ほどのサブ画素ポイントに適用し、次に、負のローブを有するフィルタを、該第一画素と第二画素の間の3/4ほどのサブ画素ポイントに適用すること、を含む方法。 Using the (characteristic 58) quarter-pixel motion compensation, a method for enhancing the image quality in an image encoding system, a filter having a negative lobe, between the first pixel and a second pixel adjacent applied to the sub-pixel points as in the 1/2 filtered pixel value creating, a filter having a negative lobe, the sub-pixel points as 1/4 between said first pixel and the second pixel applied, then the method comprising a filter having negative lobes, be applied to the sub-pixel points as 3/4 between said first pixel and the second pixel.
【0042】 [0042]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴59) 負のローブを有するフィルタを、隣接する第一画素と第二画素の間の中ほどのサブ画素ポイントに適用して1/2フィルタされた画素値をつくりだすことを含む、画像符号化システム内で1/2画素動き補償を使用して画質を強化する方法。 A filter having a (characteristic 59) negative lobes includes creating a pixel value 1/2 filter by applying enough subpixel points in between the first pixel and a second pixel adjacent image code method of enhancing image quality using the half-pixel motion compensation in the system.
【0043】 [0043]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴60) 各クロミナンスチャネルを、1/4画素解像度を利用してフィルタすることを含む、画像符号化システム内で、ルミナンスチャネルに対し1/2画素動き補償を利用して画質を高める方法。 The method (features 60) each chrominance channel comprises filtering using a 1/4-pixel resolution in the image coding system, to enhance the image quality by using a half-pixel motion compensation with respect to luminance channel.
【0044】 [0044]
特徴60は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 60 may include the following one, or two or more features.
(特徴61) 負のローブを有するフィルタを、隣接する第一と第二のクロミナンス画素の間の各1/4サブ画素ポイントに適用することをさらに含む特徴60に記載の方法。 (Wherein 61) a filter having a negative lobe A method according to feature 60, further comprising applying to each 1/4 sub-pixel points between the first and second chrominance pixel adjacent.
【0045】 [0045]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴62) 各クロミナンスチャネルを、1/8画素解像度を利用しフィルタすることを含む、画像符号化システム内で、ルミナンスチャネルに対し1/4画素動き補償を利用して画質を強化する方法。 (Features 62) each chrominance channel, comprising filtering using a 1/8-pixel resolution in the image coding system, a method for enhancing the image quality by using a quarter-pixel motion compensation with respect to luminance channel.
【0046】 [0046]
特徴62は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 62 may include the following one, or two or more features.
(特徴63) 負のローブを有するフィルタを、隣接する第一と第二のクロミナンス画素の間の各1/8サブ画素ポイントに適用することをさらに含む特徴62に記載の方法。 The method according to the filter having a (characteristic 63) negative lobes, the feature 62, further comprising applying to each 1/8 sub-pixel points between the first and second chrominance pixel adjacent.
(特徴64) 負のローブを有するフィルタが接頭sincフィルタである特徴58、59、61及び63のいずれか一項に記載の方法。 (Wherein 64) The method according to any one of the features 58,59,61 and 63 filters are prefix sinc filter with a negative lobe.
【0047】 [0047]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴65) ビデオ圧縮システムに対する入力画像を生成する電子画像形成システムの出力の特性を決定しその出力を修正する方法であって、該画像形成システムのカラー画素センサタイプの対をつくるため水平と垂直のカラーミスアラインメントを測定し、該画像形成システムのカラー画素センサタイプによって生成したノイズを測定し、該画像形成システムが生成した画像を、ビデオ圧縮システム内で圧縮する前に、該画像内のカラー画素を、該測定された水平と垂直のカラーミスアラインメントによって確認された量によって変換し、次いで測定されたどんなノイズの量に対しても補償する重みを有する重み付けノイズ減少フィルタを該画像に適用する、ことによって修正する、ことを含む方法。 (Wherein 65) for generating an input image for the video compression system determines the characteristics of the output of the electronic imaging system A method for modifying its output, and the horizontal to make pairs of color pixel sensor type of the image forming system measuring the color misalignment in the vertical, the noise generated by the color pixel sensor type of the image forming system is measured, an image in which the image forming system generated, before compressing in a video compression system, in the image apply color pixel, and converts by the amount that has been confirmed by the measured horizontal and vertical color misalignment, then the weighted noise reduction filter having a weight compensating also for the amount of the measured any noise on the image to be modified by, the method comprising.
【0048】 [0048]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴66) ビデオ圧縮システムに対し入力される画像をつくるフィルムベース画像形成システムの出力の特性を決定しその出力を修正する方法であって、画像のシーケンスを記録するために使用されるフィルムタイプを決定し、このようなフィルムタイプの試験条片を、各種の照明条件下に露出し、該露出された試験条片を、既知のノイズ特性を有する電子画像形成システムによって走査し、このような走査中に電子画像形成システムが生成したノイズを測定し、次いで同じフィルムタイプ上にフィルムベース画像形成システムが生成し次に該試験条片の場合と同じ電子画像システムが走査した画像を、ビデオ圧縮システム内で圧縮する前に、測定されたどのノイズの量に対しても調節された重みを有するノイズ減少フィルタを該画像に適 (Wherein 66) the characteristics of the output of the video compression system make images input to film-based imaging system to determine a method to correct the output, the film type used to record a sequence of images determines, such film-type test strips, exposed to various lighting conditions, the test strips issued said exposure, scanned by an electronic imaging system having a known noise characteristic, like this measured noise is electronic imaging system generated during the scanning, then the same image electronic imaging system is scanned as in the following the test strip to produce a film-based imaging systems on the same film type, video compression before compressing in the system, applies the noise reduction filter having a weight which is also adjusted to the amount of the measured how noise to the image 用することによって、修正する、ことを含む方法。 By use, method comprising modifications to it.
【0049】 [0049]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴67) 24fpsのフィルム画像のビデオへの変換を3−2プルダウンを利用して最適化する方法であって、24fpsのフィルム画像をディジタル画像に、このようなディジタル画像の24fpsの記憶、処理または通信を直接行える処理装置だけを使って変換し、このようなディジタル画像すべてを、24fpsフォーマットに、ディジタル画像ソースとして記憶し、3−2プルダウンによるビデオ変換を、決定性フレームカダンスを使用して該ディジタル画像ソースから直接フライ上に実施して、3−2ビデオ画像シーケンスをつくり、その決定性フレームカダンスを、3−2ビデオ画像シーケンスのすべての使用に対して維持し、次に 3−2ビデオ画像シーケンスを使用した後、該決定性フレームカダンスを取り消し、次に A method for optimizing using the 3-2 pulldown conversion to (feature 67) 24fps film image video, a film image of 24fps to digital images, stored in 24fps of such digital image processing or converted using only processing apparatus can communicate directly, all such digital image, to 24fps format, stored as a digital image source, the video conversion by 3-2 pulldown, using deterministic frame mosquito dance It was performed directly on the fly from the digital image source, 3-2 creating a video image sequence, the deterministic frame mosquito dance, 3-2 and maintained for all use of the video image sequence, then 3-2 after using the video image sequence, cancel the deterministic frame mosquito dance, then の3−2ビデオ画像シーケンスを24fpsディジタル画像に変換してもどし記憶することを含む方法。 3-2 which method comprises storing tempering also convert the video image sequence to 24fps digital image.
【0050】 [0050]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴68) 24fpsの移動画像を72fpsの画像ソースから合成する方法であって、該24fpsの移動画像の各画像フレームを、72fps画像ソース由来の三つの連続するフレームから、それらフレームの重み付け平均として合成することを含み、該三つのフレームに対する重みがそれぞれ、[0.1、0.8、0.1]〜[0.25、0.50、0.25]の範囲内にある方法。 A method of synthesizing a moving image (feature 68) 24 fps from an image source of 72Fps, each image frame of the moving image of the 24 fps, the three consecutive frames from 72Fps image source, as a weighted average of these frames the method comprising combining, weights respectively to said three frames, in the range of [0.1,0.8,0.1] - [0.25,0.50,0.25] methods.
【0051】 [0051]
特徴68は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 68 may include the following one, or two or more features.
(特徴69) 該重みが約[0.1667、0.6666、0.1667]である特徴68に記載の方法。 (Wherein 69) The method according to feature 68 heavy body is about [0.1667,0.6666,0.1667.
【0052】 [0052]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴70) 24fpsの移動画像を120fpsの画像ソースから合成する方法であって、該24fpsの移動画像の各画像フレームを、120fps画像ソース由来の五つの連続するフレームから、それらフレームの重み付け平均として合成することを含み、該五つのフレームに対する重みが約[0.1、0.2、0.4、0.2、0.1]である方法。 A method of synthesizing a moving image (feature 70) 24 fps from an image source of 120fps, each image frame of the moving image of the 24 fps, the five consecutive frames from 120fps image source, as a weighted average of these frames wherein the synthesis method weights for the five frames is approximately [0.1,0.2,0.4,0.2,0.1.
【0053】 [0053]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴71) 60fpsの移動画像を120fpsの画像ソースから合成する方法であって、該60fpsの移動画像の各画像フレームを、120fps画像ソース由来の三つの連続するフレームから、それらフレームの重み付け平均として合成し、該三つのフレームの重みがそれぞれ[0.1、0.8、0.1]〜[0.25、0.50、0.25]の範囲内にあり、そしてこのような画像フレーム各々を合成するために使用される該三つの連続するフレームに、次の画像フレームを合成するために使用される次の三つの連続するフレームを、一フレームだけオーバーラップさせることを含む方法。 A method of synthesizing a moving image (feature 71) 60 fps from an image source of 120fps, each image frame of the moving image of the 60 fps, the three consecutive frames from 120fps image source, as a weighted average of these frames synthesized, in the range of the weights of the three frames, each [0.1,0.8,0.1] - [0.25,0.50,0.25], and such image frame to the three consecutive frames are used to synthesize each method the following three consecutive frames are used to synthesize the next image frame, causing overlapping by one frame.
【0054】 [0054]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴72) ディジタルビデオ圧縮システム内で符号化ビットを割り当てる方法であって、第一一定数の符号化ビットを正常に割り当てられたビデオ画像の選択されたフレームベースのユニット内で生じる高圧縮ストレスを検出し、その検出されたユニットは高ストレスのユニットであり、該第一一定数の符号化ビットより大きい第二一定数の符号化ビットを割り当てて、該高ストレスユニットの圧縮を改善し、次いで該高ストレスユニットの少なくとも残っている部分を、第二一定数の符号化ビットを使用して圧縮する、ことを含む方法。 A method for allocating coding bits (wherein 72) in a digital video compression system, the high compression that occurs in the unit of the selected frame-based normally allocated video image coded bits of the first predetermined number detecting a stress, the detected unit is a unit of high stress, by assigning coded bits of the coded bit larger than the second predetermined number of said first predetermined number, the compression of the high stress units improved, then how the least remaining portions of the high stress units, compressed using coded bits of the second predetermined number, includes a.
【0055】 [0055]
特徴72は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 72 may include the following one, or two or more features.
(特徴73) ビデオ画像の該フレームベースのユニットが、Pフレーム又は写真のグループの範囲のフレームのうち一つを含んでいる特徴72に記載の方法。 (Wherein 73) said frame-based unit of the video image, the method according to feature 72 comprising one of the frames of the range of P-frame or group of photos.
(特徴74) 該第二一定数の符号化ビットが、第一一定数の符号化ビットの単純倍数である特徴72に記載の方法。 (Wherein 74) coded bits of the second predetermined number, The method according to feature 72 is a simple multiple of the coded bits of the first predetermined number.
(特徴75) 高圧縮ストレスの検出が、ビデオ画像の選択されたフレームベースのユニットに対する速度制御量子化スケールファクターパラメータに基づいている特徴72に記載の方法。 (Wherein 75) the detection of high compressive stress, the method according to feature 72, which is based on the speed control the quantization scale factor parameters for the selected frame-based unit of the video image.
(特徴76) 高ストレスユニットをすべて、第二一定数の符号化ビットを使用して圧縮することを含む特徴72に記載の方法。 (Wherein 76) all high-stress units, the method according to feature 72 comprising compressing using coded bits of the second predetermined number.
【0056】 [0056]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴77) 圧縮されたディジタルビデオ情報の、復号ビット速度及びバッファシステムを有する復号器による、復号を改良する方法であって、その圧縮されたディジタルビデオ情報が、該復号ビット速度より高いソースビット速度で、ソースから提供され、介在する圧縮されたディジタルビデオ情報を、該ソースから、該バッファシステムの第一部分中に、ソースビット速度でプレロードし、プログラムコンテントで圧縮されたディジタルビデオ情報を、該ソースから、該バッファシステムの第二部分中に、ソースビット速度で同時にプレロードし、該プログラムコンテントで圧縮されたディジタルビデオ情報から、介在する圧縮されたディジタルビデオ情報に、選択的に変更し、次いで該介在する圧縮されたディジタルビデオ情報を復号 Of (characteristic 77) digital video information compressed, by the decoding bit rate and a decoder having buffer system, a method for improving decoding, digital video information that compressed, high source bits than the decoding bit rate at the rate, provided by the source, the digital video information compressed intervening, from the source, during the first portion of the buffer system, preloaded with the source bit rate, the digital video information compressed by the program content, the from a source, during a second portion of the buffer system, preloaded simultaneously source bit rate from the digital video information compressed by the program content, the compressed digital video information intervening changes selectively, then decoding the digital compressed video information to the intervening して、該プログラムコンテントのほぼ瞬間的な変化を支持する、ことを含む方法。 To, the method comprising, for supporting the substantially instantaneous changes in the program content.
【0057】 [0057]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴78) 圧縮されたディジタルビデオ情報の、バッファシステム、平均復号ビット速度及びその平均復号ビット速度より高い少なくとも一つの復号ビット速度を有する復号器による復号を改良する方法であって、その圧縮されたディジタルビデオ情報が、該平均復号ビット速度より高いソースビット速度で、ソースから提供され、増大されたビット速度をモジュールを含む圧縮されたディジタルビデオ情報を、該ソースビット速度で、該バッファシステムの第一部分中にプレロードし、増大されていないビッド速度モジュールを含む圧縮されたディジタルビデオ情報を、該ソースビット速度で、該バッファシステムの第二部分中に同時にプレロードし、次いで該バッファシステムの第二部分のコンテントを、ビデオ画像中に、平均復号ビ Of (characteristic 78) digital video information compressed, a method for improving the decoding by the decoder having buffer system, higher than the average decoded bit rate and the average decoded bit rate at least one decoded bit rate, is the compressed digital video information, a high source bit rate than the average decoding bit rates are provided from the source, the digital video information compressed including an increased bit rate module, with the source bit rate, of the buffer system preloaded into the first portion, the digital video information compressed including increased non bid rate module, with the source bit rate, simultaneously preloaded into the second portion of the buffer system, then the second the buffer system the content of the portion, in the video image, the average decoding bi ット速度で復号し、次に該バッファシステムの第一部分のコンテントを、該平均復号ビット速度より高い復号ビット速度で、ビデオ画像中に復号する、ことを含む方法。 Tsu decoded by preparative rate, then content of the first portion of the buffer system, at a high decoding bit rate than the average decoded bit rate, decoding in the video image, the method comprising.
【0058】 [0058]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴79) 圧縮されたディジタルビデオ情報の、バッファシステム、平均復号ビット速度及びその平均復号ビット速度より高い少なくとも一つの復号ビット速度を有する復号器による復号を改良する方法であって、その圧縮されたディジタルビデオ情報が、該平均復号ビット速度より高いソースビット速度で、ソースから提供され、圧縮された強化層を含む圧縮されたディジタルビデオ情報を、該ソースビット速度で、該バッファシステムの第一部分中にプレロードし、ベース層を含む圧縮されたディジタルビデオ情報を、該ソースビット速度で、該バッファシステムの第二部分中に同時にプレロードし、次いで、該バッファシステムの第二部分のコンテントを、ビデオ画像中に、平均復号ビット速度で復号し、次に、該バッファシステム Of (characteristic 79) digital video information compressed, a method for improving the decoding by the decoder having buffer system, higher than the average decoded bit rate and the average decoded bit rate at least one decoded bit rate, is the compressed digital video information, a high source bit rate than the average decoding bit rates are provided from the source, the digital video information compressed including the compressed enhancement layer, in the source bit rate, the first portion of the buffer system the preloaded, digital video information compressed comprises a base layer while, at the source bit rate, simultaneously preloaded into the second portion of the buffer system, then the content of the second portion of the buffer system, video in the image, decoded by an average decoding bit rate, then the buffer system の第一部分のコンテントを、該平均復号ビット速度より高い復号ビット速度で、ビデオ画像中に復号する、ことを含む方法。 How the content of the first portion, a high decoding bit rate than the average decoded bit rate, decoding in the video image, comprising the.
【0059】 [0059]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴80) ビデオ画像のベース層及び少なくとも一つの解像度強化層を符号化するため離散的コサイン変換(DCT)を利用して、ビデオ符号化システムの符号化効率を改良する方法であって、各々第一ブロックサイズを有するDCTブロックを使用してベース層を符号化し、次いで、第一ブロックの大きさと大きさが比例するブロックサイズを各々有するDCTブロックを使用して、各解像度強化層を、このような強化層の解像度が該ベース層の解像度に比例するように、符号化する、ことを含む方法。 (Wherein 80) a base layer and at least one resolution enhancement layer of the video image using a discrete cosine transform to encode (DCT), a method for improving the coding efficiency of the video encoding system, each use DCT block having a first block size base layer encoded, then using the DCT blocks each having a block size that the size and the size of the first block is proportional to the respective resolution enhancement layer, the how the resolution of enhanced layer, such as to be proportional to the resolution of the base layer, coding involves.
【0060】 [0060]
特徴80は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 80 may include the following one, or two or more features.
(特徴81) DCTブロックのサブセットを強化層に対して利用することをさらに含み、このようなサブセットが低レベルの強化層又はベース層に対するDCTブロックに対応して、該低レベルの強化層又はベース層に対するかようなDCTブロックの信号/ノイズ比の精度を高める特徴80に記載の方法。 (Wherein 81) includes a subset of the DCT block further be utilized with respect to reinforcing layer, such subset corresponds to a DCT block for enhancement layer or base layer of low-level, low-level enhancement layer or the base of the a method according to feature 80 increase the accuracy of the signal / noise ratio of such a DCT block to the layer.
【0061】 [0061]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴82) ビデオ画像符号化システム内で、ベース層及び少なくとも一つの解像度強化層に対する動き補償ベクトルを決定する方法であって、ベース層及び各解像度強化層を、このような層内の対応する画素の領域をカバーする大きさのマクロブロックを使用して符号化し、各ベース層及び解像度強化層の各マクロブロックに対し、符号化予測性能及び関連するセットの動きベクトルを指定するのに必要なビットの数の間のバランスを最適化するこのようなマクロブロックに対する動きベクトルサブブロックの数を独立して決定し、次いで関連する独立の動きベクトルのセットを、前記決定された数の動きベクトルサブブロックの各々に対して一つ決定する、ことを含む方法。 (Features 82) in a video image coding system, a method of determining a motion compensation vector for the base layer and at least one resolution enhancement layer, the base layer and the resolution enhancement layer, corresponding such intralayer and encoded using a macroblock size that covers an area of pixels, for each macroblock of each base layer and resolution enhancement layer, required to specify the motion vector of the encoding prediction performance and associated set independently the number of motion vectors subblock determined for such macroblock to optimize the balance between the number of bits, then the set of related independent motion vectors, the determined number of motion vectors sub how determines one includes for each block.
【0062】 [0062]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴83) ビデオ画像符号化ユニットを圧縮する方法であって、複数の可変長符号化テーブルを、各符号化ユニットに適用し、このような符号化ユニットに対して最適の圧縮を行う可変長符号化テーブルを選択し、その選択された可変長符号化テーブルを適用してかような符号化ユニットを圧縮し、次いでこのような符号化ユニットの各々に対して選択された可変長符号化テーブルを、このような符号化ユニットを復元するため、復号器に対し識別する、ことを含む方法。 (Wherein 83) A method of compressing video image coding unit, a variable length of a plurality of variable length coding tables, was applied to each coding unit, perform optimum compression for such encoding unit select the encoding table, and apply the selected variable-length coding table to compress such a coding unit, then the variable-length coding table selected for each of such coding units method comprising, to restore such a coding unit identifies to the decoder, the.
【0063】 [0063]
特徴83は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 83 may include the following one, or two or more features.
(特徴84) 該復号化ユニットが、サブフレーム、フレーム又はフレームのグループのうちの一つである特徴83に記載の方法。 (Wherein 84)該復Goka unit A method according to feature 83 is one of a group of sub-frames, frames or frame.
【0064】 [0064]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴85) ビデオ画像を符号化し復号する方法であって、ビデオ画像を、基本ビデオ圧縮プロセスと強化ビデオ圧縮プロセスに適合する第一データストリーム中に、及び強化ビデオ圧縮プロセスにのみ適合する構造を有する第二データストリーム中に符号化し、基本ビデオ圧縮プロセスにだけ適合する復号システム上に、第一データストリームだけを復号し、次いで第一データストリームと第二データストリームを、強化ビデオ圧縮プロセスに適合する復号システム上で組み合わせて復号する、ことを含む方法。 A method of decoding coded (features 85) video images, video images, in the first data stream conforming to the basic video compression process and enhance video compression process, and a structure compatible only enhance the video compression process encoded into a second data stream having, only compatible decoding on the system to the basic video compression process, decodes only the first data stream, then the first data stream and a second data stream, adapted to enhance the video compression process method of decoding in combination on the decoding system comprises.
【0065】 [0065]
特徴85は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 85 may include the following one, or two or more features.
(特徴86) 該基本ビデオ圧縮プロセスと強化ビデオ圧縮プロセスが共通の動き補償離散的コサイン変換構造体を共用している特徴85に記載の方法。 (Wherein 86) The method according to feature 85 the basic video compression process and enhance video compression processes share a common motion compensation discrete cosine transform structures.
(特徴87) 該基本ビデオ圧縮プロセスがMPEG−2である特徴85に記載の方法。 (Wherein 87) The method of the basic video compression process according to feature 85 is a MPEG-2.
(特徴88) 該強化ビデオ圧縮プロセスがMPEG−4である特徴87に記載の方法。 (Wherein 88) The method of reinforcing a video compression process is described in the characteristic 87 is MPEG-4.
【0066】 [0066]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴89) 階層化ビデオ圧縮システム内でビデオ画像の動き補償符号化を行う方法であって、符号化ビデオ画像のベース層に対する少なくとも一つのベース層動きベクトルを決定し、各ベース層動きベクトルを、ビデオ情報の少なくとも一つの関連する解像度強化層の解像度までスケールアップし、次いで関連する解像度強化層各々に対し、ベース層動きベクトルのうちの一つに対応する各解像度強化層の動きベクトルの少なくとも一つを決定し、このような一つの対応するベース層動きベクトルを案内ベクトルとして使用して、かような関連する解像度強化層の制限サーチ範囲の中心点を示し、かような解像度強化層動きベクトルを決定する、ことを含む方法。 A method for motion compensated coding of video images (characteristic 89) in layered video compression system, determining at least one base layer motion vector for the base layer of the coded video image, each base layer motion vector , at least one associated scaled up to a resolution of the resolution enhancement layer of the video information, and then to the associated resolution enhancement layer respectively, at least the motion vector of each resolution enhancement layer corresponding to one of the base layer motion vector and determining one, one such use of the corresponding base layer motion vector as a guide vector, represents the center point limit the search range of such relevant resolution enhancement layer, such a resolution enhancement layer motion determining the vector, the method comprising.
【0067】 [0067]
特徴89は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 89 may include the following one, or two or more features.
(特徴90) 各強化層に対し、対応する解像度強化層動きベクトルのみを符号化することをさらに含む特徴89に記載の方法。 To (characteristic 90) each reinforcing layer, the method described only the corresponding resolution enhancement layer motion vector to a feature 89, further comprising encoding.
(特徴91) 各解像度強化層動きベクトルと対応するベース層動きベクトルのベクトル和を利用して、かような解像度強化層動きベクトルと関連する強化層に対して動き補償を行うことをさらに含む特徴89に記載の方法。 (Wherein 91) by utilizing the vector sum of the base layer motion vector corresponding to each resolution enhancement layer motion vector, further comprising means performs motion compensation for the enhancement layer associated with such a resolution enhancement layer motion vector the method according to 89.
【0068】 [0068]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴92) ビデオ画像を圧縮する方法であって、初期高解像度画像をダウンフィルタして第一処理済画像をつくり、その初期高解像度画像から第一動きベクトルをつくり出し、該第一処理済画像を圧縮して出力ベース層をつくり、その出力ベース層を復元して第二処理済画像をつくり、その第二処理済画像を拡大して第三処理済画像をつくり、該第一処理済画像を拡大して第四処理済画像をつくり、該第三処理済画像を、該初期高解像度画像から差し引いて第五処理済画像をつくり、該第四処理済画像を、該初期高解像度画像から差し引いて第六処理済画像をつくり、該第六処理済画像の振幅を小さくして第七処理済画像をつくり、該第七処理済画像と該第五処理済画像を加算して第八処理済画像をつくり、該第八処理済画像を、第一動き A method for compressing (characteristic 92) video images, the initial high resolution image down filter making the first processed image, creating a first motion vector from the initial high resolution image, wherein the first processed image the compressing make the output base layer, creating a second processed image to restore the output base layer, creating a third processed image by enlarging the second processed image, wherein the first processed image creating a fourth processed image to expand, the said third processed image, creating a fifth processed image by subtracting from the initial high resolution image, the said fourth processed image, from the initial high resolution image minus to make a sixth processed image, create a seventh processed image by reducing the amplitude of said six processed image, the eighth processing by adding the said seven processed image and said fifth processed image make-image-and said eight processed image, the first motion ベクトルを利用して符号化して出力解像度強化層をつくり、該出力強化層を復号して第九処理済画像をつくり、該第九処理済画像と該第三処理済画像を加算して第十処理済画像をつくり、該初期高解像度画像を、該第十処理済画像から差し引いて第十一処理済画像をつくり、該十一処理済画像の振幅を大きくして第十二処理済画像をつくり、別のカラーチャネルを、該十二処理済画像から抽出して一組の第十三処理済画像をつくり、該一組の第十三処理済画像を第一動きベクトルを利用して符号化し、対応する一組の出力カラー解像度強化層をつくり、該一組の出力カラー強化層を復号して一組の第十四処理済画像をつくり、該一組の第十四処理済画像を結合して、第十五処理済画像をつくり、該第十五処理済画像の振幅を小さくして第十六 Make and encoded output resolution enhancement layer using a vector, creating a ninth processed image by decoding the output reinforcing layer, tenth by adding the said nine processed image and said third processed image creating a processed image, the initial high-resolution image, making the eleventh processed image by subtracting from said tens processed image, the twelfth processed image by increasing the amplitude of the ten primary treated image create a different color channels, the twelve treated extracted from-image-creating a pair of thirteenth processed image, a pair of thirteenth processed image said using a first motion vector coding However, the corresponding create a set of output color resolution enhancement layer to decode a set of output color enhancement layer said making a pair of fourteenth processed image, a pair of fourteenth processed image the combine to create a fifteenth processed image, sixteenth by reducing the amplitude of said fifteen processed image 理済画像をつくり、該第十六処理済画像と該第十処理済画像を加算して第十七処理済画像をつくり、該第十七処理済画像を、該初期高解像度画像から差し引いて第十八処理済画像をつくり、次いで該第十八処理済画像を圧縮して出力最終差分残余画像にすることを含む方法。 Create a Risumi image, create a seventeenth processed image by adding the said sixteen processed image and said tens of processed image, the said seventeen processed image, by subtracting from the initial high-resolution image the method comprising tenth create viii processed image, then compresses the said eighteen processed image to the final output differential residual image.
【0069】 [0069]
一般に、この技術は、以下に特徴がある。 In general, this technique is characterized as follows.
(特徴93) ビデオ画像を圧縮する方法であって、ベース層を初期高解像度画像からつくり出し、第一組の動きベクトルを、該初期高解像度画像に基づいて選択された画像からつくり出し、第一差分画像を、該初期高解像度画像と該ベース層からつくり出し、第二差分画像を、初期高解像度画像及び該初期高解像度画像の処理済コピーからつくり出し、次いで解像度強化層を、該第一と第二の差分画像及び該第一組の動きベクトルからつくり出す、ことを含む方法。 A method for compressing (characteristic 93) video image, creating a base layer from an initial high-resolution image, the first set of motion vectors, creating from the selected image based on the initial high resolution image, the first difference images, creating the initial high resolution image and the base layer, a second difference image, creating a processed copy of the initial high-resolution image and the initial high resolution image, then the resolution enhancement layer, said first and second how to create the difference image and said first set of motion vectors includes.
【0070】 [0070]
特徴93は、以下の一つ、或いは2以上の特徴を含んでも良い。 Feature 93 may include the following one, or two or more features.
(特徴94) 少なくとも一つのカラー解像度強化層を、少なくととも一つの選択されたカラーに対してつくり出すことをさらに含む特徴93に記載の方法。 (Wherein 94) at least one color resolution enhancement layer, the method according to feature 93, further comprising creating for one selected color with the least.
(特徴95) 最終差分残余画像をつくり出すことをさらに含む特徴93に記載の方法。 (Wherein 95) The method according to feature 93, further comprising creating a final difference residual image.
(特徴96) 該最終差分残余画像を符号化することをさらに含む特徴95に記載の方法。 A method according to feature 95, further comprising encoding (features 96) The final difference residual image.
【0071】 [0071]
本発明の1又は2以上の実施態様の詳細は、添付図面と以下の説明に記載されている。 Details of one or more embodiments of the present invention are described in the following description and accompanying drawings. 本発明の他の特徴、目的及び利点は、これらの説明と図面及び特許請求の範囲から明らかになるであろう。 Other features, objects, and advantages of the present invention will be apparent from these descriptions and drawings, and from the claims. なお各種図面の同じ参照記号は同じ要素を示す。 Note the same reference symbols in the various drawings indicate like elements.
【0072】 [0072]
詳細な説明 Detailed description
この説明全体を通じて示されている好ましい実施態様と実施例は、本発明を限定するものではなく、例示しているとみなすべきである。 Example preferred embodiment shown throughout this description is not intended to limit the present invention should be considered to be illustrative.
【0073】 [0073]
時相解像度の階層化 Hierarchy of temporal resolution
時相速度ファミリーの目標 従来技術の問題点を考案した後、本発明を追求中に、将来のディジタルテレビジョンシステムの時相特性を指定するため下記目標を定義した。 After devised the problems of the target prior art temporal rate family in pursuit of the present invention, as defined below target for specifying the phase characteristics when the future digital television system.
・24フレーム/秒フィルムの高解像度レガシイ(high resolution - 24 frames / sec high-resolution Regashii (high resolution of film
legacy)の最適プレゼンテーション。 legacy) of the optimal presentation.
・迅速に移動する画像タイプ例えばスポーツ画像の彩骨な動きの捕獲。 - quickly Aya bone movement of the capture of the moving image type, for example, sports images.
・72Hz又は75Hzで作動するコンピュータコンパチブル表示器のみならず既存のアナログNTSC表示器へのスポーツ画像及び類似の画像の円滑な動きプレゼンテーション。 · 72 Hz or smooth movement presentation sports images and similar images on existing analog NTSC display not computer compatible display only operating at 75 Hz.
・余り速くない移動画像、例えばニュースやライブ劇の画像の合理的であるがより効率的な動きの捕獲。 - too fast is not moving image, for example, capture of the news and is a rational of the live drama of the image more efficient movement.
・すべての新しいディジタルタイプの画像の、コンバーターボックスを通じて既存のNTSC表示器への合理的なプレゼンテーション。 • All of the new digital type of image, reasonable presentation of through the converter box to an existing NTSC display.
・すべての新しいディジタルタイプの画像の、コンピュータコンパチブル表示器への高品質のプレゼンテーション。 • All of the new digital type of image, high quality of the presentation to a computer compatible display device.
・60Hzディジタル標準表示器又は高解像度表示器が市販されたときの、これら表示器に対する同様の合理的な又は高品質のプレゼンテーション。 · 60 Hz digital standard display or high resolution indicator when it is commercially available, a similar reasonable or high quality presentation on these indicators.
【0074】 [0074]
60Hzの表示器と72/75Hzの表示器は、24Hzの映画速度以外のどの速度でも基本的に適合しないので、最良の状態は、72/75Hz又は60Hzが表示速度として除かれた状態であろう。 60Hz indicator and 72/75 Hz display equipment can not basically compatible with any speed other than the movie rate of 24 Hz, the best condition would be state 72/75 Hz or 60Hz is removed as a display speed . 72Hz又は75Hzは、N. 72Hz or 75Hz is, N. I. I. I. I. (national Information Infrastructure)とコンピュータのアプリケーションのために必要な速度であるから、60Hzの速度が、基本的に時代遅れであるので、除外するということはずっと将来のことであろう。 Since the speed required for (national Information Infrastructure) and computer applications, the speed of 60Hz is because basically the outdated, that excluded will always be in the future. しかし、放送・テレビジョン設備の産業界には多くの競合する利害関係があり、新しいディジタルテレビジョンインフラストラクチャが60Hz(および30Hz)に基づいていることに対する強い要求がある。 However, broadcasting and television John equipment industry there is interest to a lot of conflict, there is a strong demand for the new digital television infrastructure is based on the 60Hz (and 30Hz). このため、テレビジョン、放送及びコンピュータの産業界間で、非常に白熱した論争が起こっている。 For this reason, television, among the industry of broadcasting and computer, is going controversy was very incandescent.
【0075】 [0075]
その上に、インタレースされた60Hzフォーマットに対する、放送及びテレビジョンの産業界のいくつかの利害が強調されて、コンピュータ表示器の要件とのギャップがさらに広がっている。 On it, for the interlaced 60Hz format, broadcast and highlighted several of the interests of the television industry, has further widened the gap between computer display requirements. 非インタレース化表示は、ディジタルテレビジョンシステムのコンピュータ式アプリケーションに必要であるから、インタレース化信号が表示される場合、デ−インタレーサが必要である。 Non interlaced display, because it is necessary to computerized application of a digital television system, if the interlaced signal is displayed, de - interlacer is required. デ−インタレーサはあらゆるこのような受信装置に必要であるから、デ−インタレーサのコストと品質についてのかなりの論争がある。 De - interlacer is because it is necessary for any such receiving device, de - there is considerable controversy about costs interlacer and quality. デ−インタレース化に加えてフレーム速度の変換は、さらにコストと品質に強く影響する。 De - Conversion of addition frame rate interlaced further strongly influence the cost and quality. 例えば、そのNTSC−PAL間のコンバータは引続き非常に費用がかかり、しかも変換性能は、多くの一般タイプのシーンに対しては信頼できない。 For example, the converter between NTSC-PAL continues very expensive, yet conversion performance is not reliable for many common types of scenes. インタレースの争点は複雑で問題の多い課題なので、時相速度の問題点と争点に取りくむため、本発明を、インタレースなしのディジタルテレビジョンの標準に関連して説明する。 Since issue of interlace is a large complex problem issues, problems of time phase velocity and Torikumutame the issue, the present invention will be described in connection with a digital television standard without interlace.
【0076】 [0076]
最適時相速度の選択 ビートの問題。 Optimum time phase speed of the selected beat of the problem. 72Hz又は75Hzの表示器に対する最適のプレゼンテーションは、動き速度が表示速度に等しい(それぞれ72Hz又は75Hz)及びその逆のカメラ画像又はシミュレートされた画像が生成するときに起こる。 Optimal presentation for 72Hz or 75Hz indicator occurs when the image motion rate is camera image or simulated equal (respectively 72Hz or 75Hz) and vice versa in the display speed is generated. 同様に、60Hz表示器に対する最適の動き忠実度は、60Hzのカメラ画像又はシミュレート画像から得られる。 Similarly, optimal motion fidelity for 60Hz indicator is obtained from the camera image or the simulated image of 60Hz. 72Hz又は75Hzの生成速度(generation rate)それぞれを60Hz表示器で使用すると、12Hz又は15Hzのビート周波数が生じる。 When used with 72Hz or 75Hz generation rate (generation rate) 60Hz display, respectively, resulting beat frequency of 12Hz or 15 Hz. このビートは動き解析を通じて除くことができるが、動き解析は費用がかかりかつ不正確であり、目視可能なアーチファクトと時相エイリアシングを生じることが多い。 This beat can be removed through motion analysis, motion analysis is costly and inaccurate, often results in visible artifacts and time phase aliasing. 動き解析を行わないと、該ビート周波数が、知覚される表示速度を支配して、12Hz又は15Hzのビートが、24Hzより正確さの低い動きを提供するようになる。 Without motion analysis, the beat frequency, dominates the display speed being perceived, beet 12Hz or 15Hz is, so to provide a low accuracy motion than 24 Hz. したがって、24Hzは、60Hzと72Hzの間の自然の時相共通標準(natural temporal common denominator)を形成する。 Thus, 24 Hz forms a natural temporal common standard between 60Hz and 72Hz (natural temporal common denominator). 75Hzは60Hzと比べてわずかに15Hz高いビートを有しているが、その動きは依然として24Hzほど滑らかではなく、24Hzの速度が25Hzまで増大しないならば、75Hzと24Hzの間にインテグラル・リレーションシップがない(ヨーロッパの50Hzの国々では、映画が25Hzの場合より4%速く上映されることが多い。これを行って、フィルムを75Hz表示器に提示できるようにすることができる)。 75Hz but has a slightly 15Hz higher beats as compared with 60 Hz, its motion is not still smooth as 24Hz, if the rate of 24Hz is not increased up to 25 Hz, integral relationship between 75Hz and 24Hz there is no (in the countries of Europe of 50Hz, movies are often screened 4% faster than the case of 25Hz. done this, it is possible to be able to present the film to 75Hz display).
【0077】 [0077]
各受信装置に動き解析がないと、72Hz又は75Hzの表示器での60Hzの動き及び60Hz表示器での75Hz又は72Hzの動きは、24Hzの画像より平滑さが低い。 Without motion analysis at each receiving device, 75Hz or 72Hz movement of the motion and 60Hz indicator 60Hz in indicator 72Hz or 75Hz is less smooth than the image of 24 Hz. したがって、72/75Hzの動きも60Hzの動きも、72Hz又は75Hzの表示器及び60Hzの表示器の両方を含む異種表示器集団に到達させるのに適していない。 Accordingly, 72 / 75Hz movement also of 60Hz motion also, not suitable for reaching a heterogeneous display population containing both 72Hz or 75Hz indicator and 60Hz indicator.
【0078】 [0078]
3−2プルダウン。 3-2 pull-down. テレシネ変換(フィルムからビデオへの変換)プロセス中、「3−2プルダウン」をビデオ効果と組み合わせて使用するため、最適フレーム速度を選択する場合、さらに複雑になる。 During telecine conversion (conversion from film to video) process, for use in combination with the video effect "3-2 pulldown", when selecting an optimal frame rate becomes even more complicated. このような変換中、3−2プルダウンのパターンは、第一フレーム(又はフィールド)を3回繰返し、次いで次のフレームを2回、次いで次のフレームを3回、次いで次のフレームを2回など繰り返す。 During such conversion, 3-2 pulldown pattern repeats a first frame (or field) 3 times, then twice next frame, then 3 times the next frame, then such twice next frame repeat. これは、60Hzで(実際には、NTSCカラーの場合59.94Hz)テレビジョンに24fpsフィルムがどのように提供されるかを示している。 This is a 60 Hz (actually, when the NTSC color 59.94 Hz) indicates how 24fps film television how it is provided. すなわち、1秒のフィルム中の12対の2フレームが各々、5回表示され、1秒当り60個の画像を提供する。 That is, two frames of 12 pairs in the second film are each displayed 5 times, to provide 60 images per second. その3−2プルダウンのパターンを図1に示す。 The 3-2 pulldown pattern shown in FIG.
【0079】 [0079]
いくつかの推定によって、ビデオ上のすべてのフィルムの1/2以上は、かなりの部分が、59.94Hzのビデオフィールド速度において24fpsフィルムに対して調節がなされた。 By some estimates, all 1/2 or more films on video, a substantial portion, adjustment was made to 24fps film in the video field rate of 59.94 Hz. これらの調節には「パン−アンド−スキャン(pan-and-scan)」、カラー修正及びタイトルスクローリングが含まれている。 These are in the regulation "bread - and - scan (pan-and-scan)", contains the color correction and title scrolling. さらに多くのフィルムは、フレームをドロップさせるか又はシーンの開始と終了をクリップすることによって時間調節されて、計画された所定の放送内にはめこまれる。 More films, is timed by clipping the start and end of or scene to drop frames, it is fitted to the planned predetermined in the broadcast. これらの操作は、59.94Hzと24Hzの動きの両方があるので、3−2プルダウンプロセスを逆転させることができない。 These operations, since there is both movement of 59.94Hz and 24 Hz, it is impossible to reverse the 3-2 pulldown process. このことによって、そのフィルムは、MPEG−2の標準を使用して圧縮することが非常に困難になる。 Thereby, the film may be compressed using a standard MPEG-2 becomes very difficult. 幸いなことに、3−2プルダウンを使用する高解像度ディジタルフィルムの有意なライブラリーがないので、上記問題は、既存のNTSC解像度のマテリアルに限定される。 Fortunately, since there is no significant library of high-resolution digital film using 3-2 pulldown, the problem is limited to the material of the existing NTSC resolution.
【0080】 [0080]
動きブラー。 Motion blur. 24Hzより高い共通の時相速度を見つける問題点をさらに探究するため、移動画像を捕獲する際の動きブラーについて述べることは有用である。 To higher common temporal find speed problems further explored 24 Hz, it is useful to describe the motion blur at the time of capturing a moving image. カメラセンサ及び映画フィルムは、各フレームの時間の一部分で移動画像を感知するため開かれている。 Camera sensors and motion picture film are open to sensing a moving image in a portion of the time of each frame. 映画カメラと多くのビデオカメラのこの露出時間は調節可能である。 The exposure time of the movie camera and a lot of the video camera is adjustable. フィルムカメラは、フィルムを前進させる時間が必要であり、通常、360°のうち約210°だけ開くように又は58%デューティサイクルに制限される。 Film camera, time is required to advance the film, typically limited to or 58% duty cycle to open only about 210 ° of the 360 ​​°. CCDセンサを有するビデオカメラは、そのフレーム時間の一部がそのセンサから画像を「読み取る」ために必要なことが多い。 A video camera having a CCD sensor, a portion of the frame time is often required to "read" the image from the sensor. これは、フレーム時間を10%から50%まで変えることができる。 This frame time can vary from 10% to 50%. いくつかのセンサでは、この読み出し時間中、光を遮断するため電子シャッターを使用しなければならない。 In some sensors, in this read time it must be used an electronic shutter for blocking the light. したがって、CCDセンサの「デューティサイクル」は通常50%から90%まで変化し、いくつかのカメラでは調節することができる。 Thus, "duty cycle" of the CCD sensor changes from the normal 50% to 90%, can be adjusted in some cameras. 前記光シャッターは、所望により、該デューティサイクルをさらに減らすため、時々、調節することができる。 The optical shutter is desired, to further reduce the duty cycle, at times, it can be adjusted. しかし、フィルムとビデオの両方の場合、最も普通のセンサのデューティサイクルの期間は50%である。 However, for both film and video, the period of the duty cycle of the most common sensor is 50%.
【0081】 [0081]
好ましい速度。 The preferred speed. この問題を念頭に置いて、72Hz又は75Hzで捕獲された画像シーケンスからいくつかのフレームだけを使用することを考えることができる。 Place this problem in mind, it is possible to consider the use of only some of the frames from an image sequence captured by the 72Hz or 75 Hz. 二つ、三つ、四つなどのフレームのうち一つのフレームを利用して表1に示す副速度(subrate)を誘導することができる。 Two, three, by utilizing the one frame among the frames, such as four can induce secondary speed (subrate) shown in Table 1.
【0082】 [0082]
【表1】 [Table 1]
【0083】 [0083]
15Hzという速度は60Hzと75Hzの間を単一化する(unify)速度である。 Rate of 15Hz is unifies between 60Hz and 75 Hz (unify) speed. 12Hzの速度は60Hzと72Hzの間を単一化する速度である。 Rate of 12Hz is the speed that unifies between 60Hz and 72 Hz. しかし、24Hzを超える速度が要求されるとこれらの速度がなくなる。 However, these rates is eliminated if the speed of more than 24Hz is required. 24Hzは一般的でないが、60Hz表示器に提示するため3−2プルダウンを使用することは産業界に受け入れられるようになってきた。 24Hz is not common, it has come to be accepted in the industry to use the 3-2 pull-down to be presented to 60Hz display. したがって最良の候補速度は30Hz、36Hz及び37.5Hzである。 Therefore the best candidate rate 30 Hz, is 36Hz and 37.5 Hz. 30Hzは、75Hzの7.5Hzビート及び72Hzの6Hzビートを有しているので、候補として有用ではない。 30Hz, since a 6Hz beats 7.5Hz beat and 72Hz of 75 Hz, not useful as a candidate.
【0084】 [0084]
36Hzと37.5Hzの動き速度は、60Hz及び72/75Hzの表示器に提供されるとき、24Hzマテリアルより平滑な動きの最上の候補になる。 Movement speed of 36Hz and 37.5Hz, when provided to the display device of 60Hz and 72/75 Hz, will best candidate smooth motion than 24Hz material. これら速度の両者は、24Hzより約50%速くかつ平滑である。 Both of these rates are about 50% faster and smoother than 24 Hz. 37.5Hzの速度は、60Hz又は72Hzとともに使用するのに適切でないので、除いて、所望の時相速度特性を有しているとして36Hzだけを残さねばならない(37.5Hzという動き速度は、テレビジョンに対する60Hz表示速度が62.5Hzまで4%移動できれば使用できる。60Hz未満に利益があると、62.5Hzは好ましくなくなる。新しいテレビジョンシステムに非常に時代遅れの59.94Hzの速度を提案する人さえある。しかし、このような変更をなすべきであれば、本発明の他の側面は37.5Hzの速度に適用できる)。 Rate of 37.5Hz, so not appropriate for use with 60Hz or 72 Hz, except for, must leave only 36Hz as having the desired temporal rate characteristics (movement to 37.5Hz speed, TV When 60Hz display speed for John be beneficial below .60Hz usable if moving 4% to 62.5 Hz, 62.5 Hz is preferably eliminated. very on the new television system proposed rate of outdated 59.94Hz human even certain. if, however, should do these changes, another aspect of the present invention is applicable to a rate of 37.5 Hz).
【0085】 [0085]
24、36、60及び72Hzの速度は、時相速度のファミリーの候補として残される。 Rates of 24,36,60 and 72Hz is left as candidates for a family of time phase velocity. 72Hz及び60Hzの速度は分布速度としては使用できない。 Rate of 72Hz and 60Hz can not be used as a distribution rate. というのは、これら二つの速度間の変換を行うとき、24Hzを上記のように分布速度として使用する場合より、動きはなめらかさが低いからである。 Because, when converting between these two rates, than when using a 24Hz as the distribution rate, as described above, the motion is because low smoothness. 仮説によって、発明者らは24Hzより速い速度を探している。 By hypothesis, we are looking for a faster rate than 24Hz. したがって36Hzが、マスターとして最良の候補であり、動き捕獲と画像分布速度を単一化して60Hzと72/75Hz表示器に使用される。 Therefore 36Hz is the best candidate as the master, are used to unify the motion capture and image distribution rate 60Hz and 72/75 Hz display.
【0086】 [0086]
上記のように、24Hzマテリアル用の3−2プルダウンのパターンは、第一フレーム(又はフィールド)を3回、次いで次のフレームを2回、次いで次のフレームを3回、次いで次のフレームを2回など繰り返す。 As described above, the 3-2 pulldown pattern for 24Hz Materials, 3 times a first frame (or field), and then twice the next frame, then 3 times the next frame, then the next frame 2 repeat such times. 36Hzを利用するとき、各パターンは、2−1−2パターンで最適に繰り返されなければならない。 When using 36 Hz, each pattern must be optimally repeated in 2-1-2 pattern. これは表2に示し、図2に図式的に示してある。 This is shown in Table 2, it is shown schematically in FIG.
【0087】 [0087]
【表2】 [Table 2]
【0088】 [0088]
36Hzと60Hzの間のこの関係は、真の36Hzマテリアルにのみ成立する。 This relationship between 36Hz and 60Hz is established only to the true 36Hz material. 60Hzマテリアルは、インタレース化されると30Hz中に「蓄積する(store)」ことができるが、36Hzは、動き解析と再構成なしで60Hzから合理的につくることができない。 60Hz Material is able "accumulate (store)" in 30Hz When interlaced, 36 Hz can not be made from without motion analysis and reconstruction 60Hz reasonably. しかし、動きを捕獲するため新しい速度を探している場合、36Hzは、60Hzの上に、24Hzよりわずかに平滑な動きを提供して、実質的により優れた画像動きの平滑さを、72Hz表示器上に提供する。 However, if you are looking for a new rate for capturing motion, 36 Hz is above the 60 Hz, to provide a slightly smoother motion than 24 Hz, the smoothness of the substantially better image motion, 72 Hz display provided above. したがって36Hzは、マスターとして最適の速度であり、動きの捕獲と画像分布速度を単一化して60Hzと72Hzの表示器に使用され、かような表示器に提供される24Hzマテリアルより平滑な動きを生じる。 Thus 36Hz is optimum speed as the master, and unifies the captured image distribution rate of motion is used to display the 60Hz and 72 Hz, smooth motion from 24Hz material provided in such a display device occur.
【0089】 [0089]
36Hzは、上記目的を満たすが適切な唯一の捕獲速度ではない。 36Hz satisfies the above purposes are not suitable only capture rate. 36Hzは60Hzから簡単には抽出できないので、60Hzは捕獲のために適切な速度を提供しない。 Since 36Hz is not be extracted easy from 60 Hz, 60 Hz does not provide a suitable rate for capture. しかし、72Hzは、36Hzの分布のための基準として用いられるあらゆる他のフレームとともに捕獲のために使用できる。 However, 72 Hz can be used with any other frame used as a reference for the distribution of 36Hz for capture. 72Hzマテリアル以外のあらゆる他のフレームの使用に由来する動きブラーは、36Hz捕獲の場合の動きブラーの1/2である。 Motion blur from the use of any other frames other than 72Hz material is a half of the motion blur in the case of 36Hz capture. 72Hz由来のあらゆる第三フレームの動きブラー出現の試験は、24Hzにおけるスタッカートストロービング(staccato strobing)が好ましくないことを示している。 Test movement blur appearance of every third frame from 72Hz show that staccato strobing (Staccato strobing) is undesirable in the 24 Hz. しかし、36Hz表示器に対して72Hz由来のあらゆる他のフレームを利用することは36Hzのネイティブキャプチャー(native capture)に比べて、眼に不快ではない。 However, utilizing every other frame from 72Hz against 36 Hz indicator as compared to the native Capture (native capture) of 36 Hz, not unpleasant to the eye.
【0090】 [0090]
したがって、36Hzは、72Hzにおけるキャプチャリングによって、72Hz表示器に、非常に円滑な動きを提供する機会を与えるが、72Hzのネイティブキャプチャーマテリアルの代わりのフレームを用いて36Hz分布速度を達成し次に2−1−2プルダウンを利用して60Hz画像をもたらすことによって、24Hzマテリアルより優れた動きを60Hz表示器に提供する。 Therefore, 36 Hz is the capturing of 72Hz, the 72Hz display, giving the opportunity to provide very smooth motion, but to achieve 36 Hz distribution rate used in place of the frame of the native capture material of 72Hz to the next 2 by providing 60Hz image using -1-2 pulldown, provide superior motion than 24Hz materials to 60Hz display.
【0091】 [0091]
要するに、表3は、本発明による捕獲と分布のために好ましい最適の時相速度を示す。 In summary, Table 3 shows the phase velocity when the preferred ideal for capture and distribution in accordance with the present invention.
【0092】 [0092]
【表3】 [Table 3]
【0093】 [0093]
72Hzカメラからの代替フレームを利用して36Hz分布速度を達成するこの技法が、増大した動きブルーデューティサイクルから利益を得ることができることは注目に値する。 This technique utilizes the alternate frame from 72Hz camera to achieve 36Hz distribution rate, be able to benefit from the increased movement Blue duty cycle noteworthy. 36Hzにおいて25%デューティサイクルを生成する、72Hzにおける正常な50%デューティサイクルは、許容可能であることが立証されて、60Hzと72Hzの表示器に対して24Hzを超える有意な改良を示している。 Generating a 25% duty cycle at 36 Hz, the normal 50% duty cycle at 72 Hz, has been demonstrated to be acceptable, it shows a significant improvement over 24Hz against indicator 60Hz and 72 Hz. しかし、そのデューティサイクルが、75〜90%の範囲内に増大したならば、36Hzの試料は、より一般的な50%デューティサイクルに近づき始める。 However, the duty cycle, if increased in the range 75 to 90% sample of 36Hz is begins to approach the more common 50% duty cycle. デューティ速度の増大は、例えば、短いブランキング時間を有し高いデューティサイクルを生成する「補助記憶装置」のCCD構造を利用することによって達成することができる。 Increase of the duty rate, for example, can be achieved by utilizing a CCD structure "auxiliary memory" that generates a high duty cycle has a short blanking time. 二重CCD多重化構造を含む他の方法を利用できる。 You can use other methods, including dual CCD multiplexed structure.
【0094】 [0094]
変形MPEG−2圧縮 有効な記憶と分布を行うため、36Hzという好ましい時相速度を有するディジタルソースマテリアル(digital source material)を圧縮しなければならない。 To perform the deformation MPEG-2 compression effective storage and distribution must be compressed digital source material (digital source material) having a phase velocity when preferred that 36 Hz. 本発明の好ましい形態の圧縮は、MPEG−2標準の新規の変形を利用して達成されるが、類似の特性を有する他の圧縮システム(例えばMPEG−4)で利用できる。 Compression of the preferred embodiment of the present invention is achieved by using a novel variant of MPEG-2 standard, available in other compression systems having similar characteristics (e.g., MPEG-4).
【0095】 [0095]
MPEG−2の基本原理。 The basic principle of MPEG-2. MPEG−2は、よりコンパクトな符号化データの形態で画像シーケンスを表すのに有効な方法を提供するビデオシンタックスを定義する国際ビデオ圧縮標準である。 MPEG-2 is an international video compression standards defining a video syntax that provides an effective method to represent the image sequence in a more compact coded data form. 符号化ビットの言語は「シンタックス」である。 Language of the coded bits is the "syntax". 例えば、いくつかのトークンが、64個の試料の全ブロックを表すことができる。 For example, some tokens can represent an entire block of 64 samples. また、MPEGは復号(再構成)プロセスを説明し、そのプロセスにおいて、符号化ビットが、画像シーケンスの元の「生」フォーマット中にコンパクトに表すことによってマッピングされる。 Further, MPEG in the described decoding (reconstruction) process, the process, coded bits are mapped by expressing compactly in "raw" format original image sequence. 例えば、前記符号化ビット流中のフラグが、以下のビットを離散的コサイン変換(DCT)アルゴリズム又は予報アルゴリズムで復号すべきかどうかの信号を送る。 For example, the flag of the encoded bit stream is sent how the signal should be decoded in the following bit discrete cosine transform (DCT) algorithm or forecast algorithms. 復号化のプロセスを含むこれらのアルゴリズムは、MPEGで定義される意味規則によって調整される。 These algorithms, including the decoding process is adjusted by means rules defined in MPEG. このシンタックスは、空間冗長性、時相冗長性、均一な動き、空間マスキングなどの共通のビデオ特性を活用するのに適用することができる。 This syntax can be applied to utilize spatial redundancy, temporal redundancy, uniform motion, the common video characteristics such as spatial masking. 実際に、MPEG−2はデータフォーマットのみならずプログラム用言語を定義する。 In fact, MPEG-2 defines the language for the program not only the data format. MPEG−2復号器は、受信データ流を解析し復号するが、そのデータ流がMPEG−2のシンタックスに従う限り、広範囲の可能なデータ構造や圧縮技法を使用できる。 MPEG-2 decoder, although analyzes the received data stream decoding, the long as the data stream complies with the syntax of the MPEG-2, can be used a wide range of possible data structures and compression techniques. 本発明は、MPEG−2標準を利用して時相と解像度のスケーリングを行う新規の手段と方法を工夫することによって上記適応性を利用する。 The present invention utilizes the adaptive by devising a novel means and method for scaling the time phase and resolution by using the MPEG-2 standard.
【0096】 [0096]
MPEG−2は、イントラフレーム(intraframe)及び圧縮のイントラフレーム法を利用する。 MPEG-2 utilizes intraframe method intraframe (Intraframe) and compression. 大部分のビデオシーンでは、背景が比較的安定して残るが、アクションが前景に起こる。 In the majority of the video scene, but the background remains relatively stable, the action takes place in the foreground. その背景は移動できるがそのシーンの大部分は冗長である。 The background is a large part of the scene, but can move is redundant. MPEG−2は、I(イントラ用)フレームと呼称される参照フレームをつくることによって、その圧縮を開始する。 MPEG-2 is that by creating a reference frame called a I (for Intra) frame, begins its compression. Iフレームは、他のフレームにかかわりなく圧縮されるので、ビデオ情報の全フレームを含んでいる。 I frames, since it is compressed irrespective of other frames contains the entire frame of video information. Iフレームは、ランダムアクセスのためのデータビットストリームへの入り口点を提供するが、適度に圧縮されるだけである。 I frames, provides a entry point to the data bit stream for the random access, are only moderately compressed. 一般に、Iフレームを表すデータは、ビットストリーム中に10〜15フレーム毎に配置される。 In general, the data representing I frames is placed in each 10-15 frame in the bit stream. その後は、参照Iフレームの間に入るフレームのごく小さい部分だけがブラケッティング(bracketing)Iフレームと異なるので、その差だけが捕獲され、圧縮され次いで記憶される。 Thereafter, since only a very small part of the frame that fall between the reference I frames are different from the bracketing (bracketing) I-frame, only the differences are captured, compressed and then stored. このような差を得るため、2種のフレームすなわちP(予測のための)フレーム及びB(二方向にインタポレートされる)が利用される。 To obtain such a difference, the two frames or P (is Intaporeto in two directions) frames and B (for prediction) is utilized.
【0097】 [0097]
Pフレームは一般に、過去のフレーム(Iフレーム又は先行Pフレーム)を参照して符号化され、そして、一般に、将来のPフレームの基準として使用される。 P frames generally are encoded with reference to a past frame (I-frame or preceding P-frame), and, in general, is used as a reference for future P frames. Pフレームはかなり大きい圧縮を受ける。 P frame is subjected to a much larger compression. Bフレームの画像は最大の圧縮を提供するが、符号化するために、過去と将来の両方の基準が一般に必要である。 B-frame images provides maximum compression, but to encode the reference of both the past and future are generally required. 2方向フレームは、基準フレームとしては決して使用されない。 2 Direction frame, never used as a reference frame.
【0098】 [0098]
またPフレーム内のマクロブロックは、フレーム内符号化法を利用して、個々に符号化することができる。 The macroblock in P frames, using the intra-frame coding method, can be encoded individually. また、Bフレーム内のマクロブロックは、フレーム内符号化法、順方向予報符号化法(forward predicted coding)、逆方向予報符号化法もしくはその順方向と逆方向の両方法、又は二方向に補間された予報符号化法を使用して個々に符号化することができる。 Further, macroblocks in B-frame, intra-frame coding method, a forward prediction encoding method (forward predicted coding), both methods of the reverse prediction coding method or the forward and backward direction thereof, or two directions in the interpolation It has been forecast coding method can be encoded individually using. マクロブロックは、Pフレームの場合は一つの動きベクトルとともにそしてBフレームの場合は1又は2以上の動きベクトルとともに、四つの8×8DCTブロックからなる16×16画素のグルーピングである。 Macroblock, in the case of P frames at the one and B frames with a motion vector with one or more motion vectors are grouped in 16 × 16 pixels consisting of four 8 × 8 DCT blocks.
【0099】 [0099]
符号化を行った後、MPEGのデータビットストリームは、I、P及びBのフレームのシーケンスを含んでいる。 After encoding, the data bit stream of the MPEG is, I, contains a sequence of frames P and B. 一つのシーケンスは、I、P及びBのフレームのほとんどどんなパターンで構成されていてもよい(その配置については、少数の小さい意味の制限がある)。 One sequence, I, almost any which may be configured in a pattern of frames P and B (for the arrangement, there is a limitation of the few small mean). しかし、固定したパターン(例えばIBBPBBPBBPBBPBB)を有することは産業界のプラクチスでは普通のことである。 However, it is common in Purakuchisu industry with a fixed pattern (e.g. IBBPBBPBBPBBPBB).
【0100】 [0100]
本発明の重要部分として、ベース層、少なくとも一つの任意の時相強化層、及び任意の解像度強化層を含むMPEG−2データ流がつくられる。 An important part of the present invention, the base layer, at least one optional temporal enhancement layer, and MPEG-2 data stream, including any resolution enhancement layer is created. これら層各々については詳細に説明する。 These layers will each be described in detail.
【0101】 [0101]
時相スケーラビリティ ベース層。 Temporal scalability base layer. このベース層は36Hzソースマテリアルを運ぶために使用される。 The base layer is used to carry a 36Hz source material. 好ましい実施態様では、二つのMPEG−2フレームシーケンスすなわちIBPBPBP又はIPPPPPPのうち一方を、ベース層に使用できる。 In a preferred embodiment, one of the two MPEG-2 frame sequences i.e. IBPBPBP or IPPPPPP, it can be used in the base layer. 後者のパターンは、復号器がPフレームを復号するためにのみ必要なので、最も好ましく、24Hzの映画がBフレームなしで復号されたならば、必要なメモリの帯域幅が小さくなる。 The latter would, because the decoder is required only to decode the P frame, and most preferably, if movie 24Hz is decoded without B frames, the bandwidth of memory needed is reduced.
【0102】 [0102]
72Hzの時相強化層。 Phase strengthening layer at the time of 72Hz. MPEG−2圧縮を利用するとき、Pフレーム距離が一定であれば、36Hzベース層に対するMPEG−2シーケンス中に、Bフレームとして36Hz時相強化層を埋め込むことが可能である。 When using MPEG-2 compression, if P frame distance is constant, while MPEG-2 sequence for 36Hz base layer, it is possible to embed 36Hz phases reinforcing layer as B frames. これによって、単一データ流が36Hz表示と72Hz表示を支持することができる。 Thus, a single data stream can support 36Hz display and 72Hz display. 例えば、これら両方の層は、復号されて、コンピュータモニタに対して72Hz信号を生成することができるが、該ベース層だけが復号され、変換されてテレビジョンに対し60Hzの信号を生成することができる。 For example, both of these layers, is decoded, it can generate a 72Hz signal to a computer monitor, only the base layer is decoded, it converted to generate a signal of 60Hz to television it can.
【0103】 [0103]
好ましい実施態様では、IPBBBPBBBPBBBP又はIPBPBPBPBというMPEG−2符号化パターンはともに、時相強化Bフレームだけを含む別の流れの中に代替フレームを配置して、36Hzを72Hzにすることができる。 In a preferred embodiment, MPEG-2 coding pattern that IPBBBPBBBPBBBP or IPBPBPBPB together by placing alternate frames in a separate stream containing only temporal enhanced B frame can be a 36Hz to 72 Hz. これらの符号化パターンはそれぞれ図2と3に示してある。 These coding patterns are shown in FIGS 2 and 3. 図3に示す2フレームP間隔(2-Frame P spacing)の符号化パターンには、24Hzの映画がBフレームなしで復号されたならば、36Hzの復号器はPフレームしか復号する必要がないので、必要なメモリの帯域幅が小さくなるという追加の利点がある。 The coding pattern for two frames P interval shown in FIG. 3 (2-Frame P spacing), if movie 24Hz is decoded without B frames, since the decoder 36Hz there is no need to decode only P-frame , there is an additional advantage that the bandwidth of memory needed is reduced.
【0104】 [0104]
高解像度画像の実験が、図3に示す2フレームP間隔がほとんどのタイプの画像にとって最適であることを示唆した。 Experimental high resolution images, suggesting that the two frames P interval shown in FIG. 3 is optimal for most types of images. すなわち、図3に示す構造は、60Hzと72Hzの両者を支持する最適の時相構造を提供するようであり、一方、最新の72Hzコンピュータコンパチブル表示器に優れた結果を提供する。 That is, the structure shown in Figure 3 is to provide a phase structure when best to support both the 60Hz and 72Hz, while providing excellent results to date 72Hz computer compatible display. この構造は、二つのディジタル流すなわちベース層の36Hzのディジタル流と、強化層Bフレームの36Hzのディジタル流に72Hzを達成させる。 This structure includes a 36Hz digital streams of the two digital streams or base layer, thereby achieving the 72Hz to digital stream 36Hz reinforcing layer B frames. このことは図4に示し、図4は、36Hzベース層MPEG−2復号器50が単純にPフレームを復号して36Hzの出力を生成し、次いでその出力は、60Hz又は72Hzの表示に直ちに変換できることを示すブロック図である。 This is shown in Figure 4, produces an output of 36 Hz 36 Hz base layer MPEG-2 decoder 50 decodes the simple P-frame, then the output is immediately converted to a display of 60Hz or 72Hz is a block diagram showing that possible. 任意の第二復号器52が単純にBフレームを復号して第二36Hz出力を生成し、次いでその出力は前記ベース層復号器50の前記36Hz出力と結合されると、72Hz出力が生成する(結合方法については以下で考察する)。 Optional second decoder 52 generates a second 36Hz output by decoding the simple B frame, then when the output of which is coupled to the 36Hz output of the base layer decoder 50, 72 Hz output is generated ( discussed below for coupling method). 別の実施態様では、一つの高速MPEG−2復号器50が、ベース層のPフレームと強化層のBフレームの両者を復号することができる。 In another embodiment, one fast MPEG-2 decoder 50, the P-frame of the base layer can be decoded both the B frames of the reinforcing layer.
【0105】 [0105]
最適のマスターフォーマット。 The best of the master format. 多くの会社が、約11メガ画素/秒で作動するMPEG−2復号チップを製造している。 Many companies, manufactures MPEG-2 decoding chips which operate at about 11 mega-pixels / second. MPEG−2標準は、解像度とフレーム速度についていくつかの「プロファイル」を定義している。 MPEG-2 standard defines several "profile" for resolution and frame rate. これらのプロファイルは、60Hzのようなコンピュータインコンパチブルフォーマットパラメータ、非正方形画素及びインタレースに向かって強くバイアスされているが、多くのチップ製造業者が、「メインプロファイル、メインレベル」で作動する復号器チップを開発中のようである。 These profiles, computer-in compatible format parameters such as 60 Hz, but is strongly biased towards the non-square pixels and interlaced, many chip manufacturers, decoder operating in 'Main Profile, Main Level " it is like developing a chip. このプロファイルは、水平解像度が720画素まで、垂直解像度が25Hzまでで576ラインまで及びフレーム速度が30Hzまでで480ラインまでと定義されている。 This profile, until the horizontal resolution of 720 pixels, the vertical resolution and frame rate to 576 lines up to 25Hz is defined as up to 480 lines at up to 30 Hz. 約1.5メガビット/秒〜約10メガビット/秒の広範囲のデータ速度も指定されている。 Extensive data rate of about 1.5 Mbits / second to about 10 Mbits / sec is also specified. しかし、チップの観点から、重要な問題は画素が復号される速度である。 However, in view of the chip, an important issue is the rate at which pixels are decoded. メインレベル・メインプロファイルの画素速度は約10.5メガ画素/秒である。 Pixel speed of the main level Main Profile is about 10.5 mega pixels / sec.
【0106】 [0106]
チップ製造業者によって異なるが、大部分のMPEG−2復号器のチップは、実際に、高速支援メモリ(fast support memory)を与えられると、13メガ画素/秒までで作動する。 It varies depending chip manufacturers, chip most MPEG-2 decoder, in fact, given the high speed assistance memory (fast support memory), 13 operating at up to mega pixels / sec. いくつかの復号器チップは20メガ画素/秒以上の高速で作動する。 Some of the decoder chip operates at a high speed of more than 20 mega pixels / sec. CPUチップが毎年、所定のコストで50%以上の改良がなされるとすると、MPEG−2復号器チップの画素速度に、近い将来、なんらかのフレキシビリティを期待することができる。 CPU chip every year, when the improvement of 50% or more predetermined cost is made, the pixel rate of MPEG-2 decoder chips in the near future can be expected some flexibility.
【0107】 [0107]
表4は、いくつかの望ましい解像度とフレーム速度、及びそれらの対応する画素速度を示す。 Table 4 shows some desirable resolutions and frame rates, and the corresponding pixel rate thereof.
【0108】 [0108]
【表4】 [Table 4]
【0109】 [0109]
これらのフォーマットはすべて、少なくとも12.6メガ画素/秒を生成できるMPEG−2復号器チップで利用できる。 All of these formats are available in MPEG-2 decoder chips that can generate at least 12.6 mega pixels / sec. 36Hzフォーマットにおいて非常に望ましい640×480はほぼすべての現行チップによって達成できる。 640 × highly desirable in 36Hz format 480 can be achieved by nearly all current chips. というのはこれらチップの速度が11.1メガ画素/秒であるからである。 Because since the speed of these chips is 11.1 mega pixels / sec. ワイドスクリーン1024×512画像は、1.5:1のスクイーズを使用して680×512にスクイーズすることができるので、12.5メガ画素/秒を操作できると、36Hzで支持できる。 Widescreen 1024 × 512 image, 1.5: it is possible to squeeze the 680 × 512 using one of the squeeze and manipulate 12.5 mega pixels / sec, can be supported at 36 Hz. 1024×512の非常に望ましい正方形画素のワイドスクリーンテンプレートは、MPEG−2復号器チップが1秒当り約18.9メガ画素を処理できると、36Hzを達成できる。 Widescreen template of highly desirable square pixel of 1024 × 512, when MPEG-2 decoder chips can process about 18.9 mega pixels per second can be achieved 36 Hz. このことは、24Hzと36HzのマテリアルがPフレームでのみ符号化される場合、一層実現可能になり、その結果、Bフレームは、72Hz時相強化層復号器にのみ必要になる。 This means that when the material of 24Hz and 36Hz are only encoded in P-frame, enabling more realization, as a result, B-frame, it is necessary only to 72Hz phases reinforcing layer decoder. Pフレームのみを利用する復号器は小さいメモリと小さいメモリ帯域幅しか必要としないので、19メガ画素/秒という目標に一層到達可能になる。 Since P-frames only decoder that utilizes the not only a small memory and a small memory bandwidth required becomes more reachable goal 19 mega pixels / sec.
【0110】 [0110]
1024×512解像度のテンプレートは、24fpsにおいて、2.35:1及び1.85:1のアスペクト比のフィルムで使用されることが最も多い。 1024 × 512 resolution template, the 24 fps, 2.35: 1 and 1.85: It is most often used in the film of the first aspect ratio. このマテリアルは11.8メガ画素/秒のみ必要であり、大部分の既存のメインレベル−メインプロファイル復号器の限度内で適合しなければならない。 This material is required only 11.8 mega pixels / sec, most of the existing main level - must fit within the limits of the main profile decoder.
【0111】 [0111]
24Hz又は36Hzにおけるベース層用の「マスターテンプレート」中のこれらフォーマットのすべてを図6に示す。 All of these formats in the "master template" for a base layer in the 24Hz or 36Hz is shown in Figure 6. したがって、本発明は、従来技術と比較して広範囲のアスペクト比と時相解像度を適合させる独特の方法を提供するものである(マスターテンプレートに関するさらなる考察は以下に述べる)。 Accordingly, the present invention is, in comparison with the prior art is to provide a unique method for adapting a wide range of aspect ratios and temporal resolution (further discussion regarding the master template are described below).
【0112】 [0112]
72Hzを生成するBフレームの時相強化層は、上記画素速度の2倍の画素速度でチップを使用するか、又は復号器メモリに対し追加のアクセスをする並列の第二チップを使用することによって復号することができる。 Temporal enhancement layer of B frames to generate a 72Hz, by using a parallel second chip to use chips at twice the pixel rate of the pixel rate, or the additional access to the decoder memory it can be decoded. 本発明によれば、強化層とベース層のデータ流を併合して、代替のBフレームを挿入する方法は少なくとも二つある。 According to the present invention, it merges data stream of the reinforcing layer and the base layer, a method of inserting an alternate B-frame is at least two. 第一の方法では、併合は、MPEG−2トランスポート層を使用して、符号器チップに対して不可視的に行うことができる。 In the first method, merging, using the MPEG-2 transport layer can be performed invisibly relative encoder chip. 二つのPID(プログラムID)に対するMPEG−2トランスポートパケットは、ベース層と強化層を含んでいると認識することができるので、それらのストリームコンテントは両者ともに、2倍の速度で作動できる復号器チップ又は適切に配置構成された一対の通常速度の復号器に簡単に送ることができる。 MPEG-2 transport packets for the two PID (Program ID), it is possible to recognize that includes a base layer and the reinforcing layer, both of the those streams content, a decoder that can operate at twice the speed it can easily send the chip or properly disposed configured of a pair of normal speed decoder. 第二の方法では、MPEG−2システム由来のトランスポート層の代わりに、MPEG−2データ流の「データ区分(data partitioning)」機能を使用することが可能である。 In the second method, instead of the transport layer from MPEG-2 system, it is possible to use "data partitioning (data partitioning The)" function of the MPEG-2 data stream. そのデータ区分機能は、Bフレームに、MPEG−2圧縮データ流内の異なるクラスに属しているとマークをつけることができるので、フラグを立てて、時相ベース層速度だけを支持する36Hz復号器に無視させることができる。 The data classification function, the B-frame, it is possible to mark as belonging to the different classes of MPEG-2 compressed data stream, a flag, 36 Hz decoder that supports only temporal base layer rate it can be ignored.
【0113】 [0113]
MPEG−2ビデオ圧縮によって定義される時相スケーラビリティは、本発明の単純なBフレーム区分ほど最適ではない。 Phase scalability when defined by MPEG-2 video compression is not optimal as simple B frame partitioning of the present invention. MPEG−2時相スケーラビリティは、前のPフレーム又はBフレームから順方向にのみ参照されるので、順方向と逆方向の両方に参照される、本願で提案されているBフレーム符号化で得られる効力を欠いている。 MPEG-2 time phases scalability, since the previous P-frame or B-frame is referred to only in the forward direction is referred to both the forward and reverse directions, resulting in B-frame coding proposed in the present application it lacks potency. したがって、時相強化層としてBフレームを単純に使用すると、MPEG−2内で定義されている時相スケーラビリティより、一層単純でかつ有効な時相スケーラビリティが提供される。 Therefore, when simply using B frames as a temporal enhancement layer above the phase scalability when defined in the MPEG-2, the phase scalability when more simple and effective are provided. それにもかかわらず、Bフレームを、時相スケーラビリティの機構として上記のように使用することは、MPEG−2に充分適合している。 Nevertheless, the B-frame, the use as described above as a mechanism for temporal scalability is fully compatible with MPEG-2. また、これらBフレームを強化層として、Bフレームに対するデータ区分又は別のPIDによって識別する二つの方法も充分適合している。 Further, as the reinforcing layer of these B frames, two methods for identifying the data classification or another PID for the B-frame is also fully compatible.
【0114】 [0114]
50/60Hz時相強化層。 50 / 60Hz time phase strengthening layer. 上記72Hz時相強化層(36Hzの信号を符号化する)に加えて又はこの層の代わりに、60Hz時相強化層(24Hzの信号を符号化する)を、類似の方式で、36Hzベース層に加えることができる。 Additionally or alternatively the layer above 72Hz time phase enhancement layer (coding a signal of 36 Hz), 60 Hz time phase reinforcing layer (encoding the signal 24 Hz), in a similar manner, the 36 Hz base layer it can be added. 60Hz時相強化層は、既存の60Hzでインタレース化されたビデオマテリアルを符号化するのに特に有用である。 60Hz phases reinforcing layer is particularly useful for encoding interlaced video material in existing 60Hz.
【0115】 [0115]
大部分の既存60Hzインタレース化マテリアルは、アナログのNTSC、D1又はD2のフォーマット用のビデオテープである。 Most of the existing 60Hz interlaced material is video tape for the format of analog NTSC, D1 or D2. また、少数の日本のHDTV(SMPTE240/260M)もある。 In addition, a small number of Japanese HDTV (SMPTE240 / 260M) is also there. このフォーマットで作動するカメラもある。 There is also a camera operating in this format. このような60Hzインタレース化フォーマットは既知の方法で処理され、その結果、その信号がデ−インタレース化され、フレーム速度を変換することができる。 Such 60Hz interlaced format is processed in a known manner, as a result, the signal is de - it is interlaced, it is possible to convert the frame rate. この処理は、ロボットビジョンと類似の非常に複雑な画像理解法を必要とする。 This process requires a very complex image understanding techniques similar to robot vision. 非常に精巧な技法の場合でさえ、時相エイリアシングが一般に、アルゴリズムによる「誤解」をもたらし、時おりアーチファクトを生じる。 Very even in the case of sophisticated techniques, in a time phase aliasing general, it resulted in a "misunderstanding" by the algorithm, resulting in the occasional artifact. 画像捕獲の一般的な50%デューティサイクルとは、カメラが1/2の時間「見ていない」ことを意味することに留意すべきである。 A typical 50% duty cycle of image capture, the camera is "not seen" half the time it should be noted that means. 映画における「逆方向ワゴンホイール」は、時相誤解のこの通常のプラクチスが原因の時相エイリアシングの一例である。 "Backward wagon wheel" in the movie, this normal Purakuchisu time phase misunderstanding is an example of the temporal aliasing of the cause. このようなアーチファクトは、一般にヒトが支援する再構成なしでは除くことができない。 Such artifacts are typically human can not except without reconfiguration assist. したがって、自動的に修正できない場合が常にある。 Therefore, if there is always that can not be automatically corrected. しかし、現在の技法で利用できる動き変換の結果は、ほとんどのマテリアルに対して妥当なものでなければならない。 However, as a result of the movement conversion which can be used in the current technique, it must be reasonable for most of the material.
【0116】 [0116]
単一の高精細度のカメラ又はテープ機械の価格はかようなコンバータのコストと類似しているであろう。 Camera or the price of the tape machines single high definition will be similar to the cost of such converters. したがって、いくつものカメラやテープ機械を備えたスタジオにおけるこのような変換のコストは適度なものになる。 Therefore, the cost of such a conversion in the studio with a number of cameras and tape machines be something appropriate. しかし、このような処理を適切に行うことは、現在、ホームとオフィスのプロダクト(home and office products)の予算額(budget)を超えている。 However, it is carrying out such a process properly, now, it is over budget of home and office products (home and office products) the (budget). したがって、インタレースを除いてそのフレーム速度を、既存マテリアルに対して変換する複雑な処理は、オリジネーションスタジオで達成することが好ましい。 Thus, the frame rate except for interlaced, the complex process of converting to the existing material is preferably accomplished by origination studio. これは図5に示してあり、図5は、カメラ60又は他のソース(例えばノンフィルムビデオテープ)62から、36Hz信号(36Hzベース層のみ)及び72Hz信号(36Hzベース層プラス時相強化層からの36Hz)を出力できるデ−インタレーサ機能とフレーム速度変換機能を含むコンバータ64への60Hzインタレース化入力を示すブロック図である。 This is shown in Figure 5, Figure 5, the camera 60 or other sources (e.g., non film video tape) 62, from 36 Hz signal (36 Hz base layer only) and 72Hz signal (36 Hz base layer plus phases reinforcing layer of 36 Hz) can output de - is a block diagram showing a 60Hz interlaced input to the converter 64 containing interlacer function and a frame rate conversion function.
【0117】 [0117]
72Hz信号(36Hzベース層プラス時相強化層からの36Hz)を出力する別法として、この変換法は、36Hzベース層上に、デ−インタレースされているが元の60Hz信号を再生する第二のMPEG−2の24Hz時相強化層を生成するように適合させることができる。 As an alternative to outputting a 72Hz signal (36 Hz from 36 Hz base layer plus time phase reinforcing layer), this conversion method, the 36 Hz base layer, de - second has been interlaced to reproduce the original 60Hz signal it can be adapted to produce the 24Hz phases reinforcing layer of MPEG-2 for. 類似の量子化法を、60Hz時相強化層のBフレームに利用すると、Bフレームの数は少ないので、データ速度は、72Hz時相強化層よりわずかに低いはずである。 Similar quantization method, when used for B frames at 60Hz phase reinforcing layer, the number of B frames is small, the data rate should slightly lower than 72Hz phases reinforcing layer.
【0118】 [0118]
>60I→36+36=72 > 60I → 36 + 36 = 72
>60I→36+24=60 > 60I → 36 + 24 = 60
>72→36,72,60 > 72 → 36,72,60
>50I→36,50,72 > 50I → 36,50,72
>60→24,36,72 > 60 → 24,36,72
【0119】 [0119]
米国で関心をもたれている大多数のマテリアルは低解像度のNTSCである。 The majority of the material that has been interest in the United States is low resolution NTSC. 現在、大部分のホームテレビジョンの大部分のNTSC信号には、かなりの損傷が見られる。 Currently, the majority of home television of the majority of the NTSC signal, considerable damage can be seen. さらに視聴者は、テレビジョンにフィルムを提供するために3−2プルダウンを使用する際に固有の時相損傷を受容するようになっている。 Furthermore viewer is adapted to receive a phase damage when inherent when using 3-2 pulldown to provide a film on television. ほぼすべてのプライムタイムのテレビジョンは、24フレーム/秒のフィルムでつくられる。 Almost all of prime time television is made in the film of 24 frames / sec. したがって、スポーツ、ニュース及びその外のビデオオリジナルのショーだけはこの方式で処理する必要がある。 Therefore, sports, only the news and out of the video the original show that there is a need to be processed by this method. これらのショーの36/72Hzフォーマットへの変換に関連するアーチファクトと損失は、信号の高品質デ−インタレース化に関連する改良によっておぎないやすい。 Loss and related artifacts for conversion into 36/72 Hz format of these show, high-quality data of the signal - easily compensated by improvements related to interlaced.
【0120】 [0120]
60Hz(又は59.94Hz)のフィールドに固有の動きブラーは、72Hzフレームの動きブラーに極めて類似しているはずであることに留意すべきである。 60 Hz (or 59.94 Hz) fields unique motion blur is to be noted that should be very similar to the motion blur of the 72Hz frame. したがってベース層と強化層を提供するこの方法は、動きブラーについて、72Hzオリジネーションに類似しているはずである。 This method of providing a base layer and enhancement layer therefore, the motion blur, should be similar to 72Hz origination. それで、ほとんどの視聴者は、インタレース化された60HzNTSCマテリアルが、36Hzベース層に時相強化層からの24Hzをプラスして加工されて60Hzで表示されるとき、わずかな改良として気づくことが可能な場合を除いて、前記差に気付かない。 So, most of the audience, when 60HzNTSC material which is interlaced is, that appears 24Hz from temporal enhancement layer at plus is processed by 60Hz to 36Hz base layer, can notice a slight improvement except where such unaware said difference. しかし新しい72Hzディジタル非インタレース化テレビジョンを買う人は、NTSCを見るときに小さな改良に気付きそして72Hzで捕獲されるか又は生じる新しいマテリアルを見るときに大きな改良に気付く。 But people who buy the new 72Hz digital non-interlaced television, notice a big improvement when you see a small improvement in awareness and new material to or arising are captured in 72Hz when viewing NTSC. 72Hz表示器に提供される復号化36Hzベース層でさえ、高品質のディジタルNTSCと同じほど良好に見え、インタレースのアーチファクトを、より低いフレーム速度で置換する。 Even decoding 36Hz base layer provided 72Hz display looks good as much as high-quality digital NTSC, and artifacts interlaced, substituted with a lower frame rate.
【0121】 [0121]
上記同じ方法は、既存のPAL50Hzマテリアルを、第二のMPEG−2強化層に変換するのに適用することもできる。 The same way, the existing PAL50Hz material may also be applied to convert the second MPEG-2 enhancement layer. PALビデオテープは、このような変化を行う前に、最も適切に低速にされる。 PAL video tapes, before making such changes, are most appropriate for low speed. ライブのPALは、比較的関連のない速度の50Hz、36Hz及び72Hzを利用して変換を行う必要がある。 PAL live, it is necessary to perform transformations by employing the relatively unrelated rates of 50 Hz, 36 Hz and 72 Hz. このようなコンバータユニットは、現在、放送信号のソースにおいて入手できるだけであるから、家庭や事務所における各受信装置では現在実用的でない。 Such converter units presently since only available in the source of the broadcast signals, each receiving device in the home or office is not currently practical.
【0122】 [0122]
解像度のスケーラビリティ より高い解像度を達成するためベース層上に設けられたMPEG−2を利用する階層化解像度スケーラビリティを利用して、ベース解像度テンプレートを強化することができる。 Using the hierarchical resolution scalability utilizing MPEG-2 provided on the base layer to achieve a resolution higher than the scalability resolution, it is possible to enhance the base resolution template. 強化を行うと、ベース層で1.5xと2xの解像度を達成できる。 Doing strengthening, the 1.5x and 2x resolution in the base layer can be achieved. 2倍の解像度が、3/2と次に4/3を利用し、2ステップで達成することができ、又はそのステップは単一の2倍のステップ(factor-of-two step)でもよい。 2 times the resolution is, using the 3/2 and then 4/3, can be accomplished in two steps, or the steps may be single double step (factor-of-two step). これを図7に示す。 This is shown in Figure 7.
【0123】 [0123]
この解像度増強の方法は、独立のMPEG−2ストリームとして解像度強化層をつくり、次いでMPEG−2の圧縮を該強化層に適用することによって達成できる。 This method of resolution enhancement, create a resolution enhancement layer as an independent MPEG-2 stream, then be achieved by applying a compression MPEG-2 in the reinforcing layer. この方法は、MPEG−2によって定義されて高度に有効ではないことが確かめられている「空間スケーラビリティ」とは異なる。 This method differs from the "spatial scalability" as it has been confirmed not highly effective as defined by MPEG-2. しかし、MPEG−2は、有効な階層化解像度を構築して空間スケーラビリティを提供するすべてのツールをもっている。 However, MPEG-2, have all the tools that provide spatial scalability to build an effective layered resolution. 本発明の好ましい階層化解像度の符号化法を図8に示す。 Coding method of the preferred layered resolution of the present invention shown in FIG. 本発明の好ましい復号法を図9に示す。 The preferred decoding process of the present invention shown in FIG.
【0124】 [0124]
解像度層の符号化。 Coding resolution layer. 図8では、2k×1kの原画像80が、好ましくは負のローブを有する最適化フィルタ(下記図12の考察参照)を使用して、各次元の解像度が1/2にダウンフィルタされて、1024×512のベース層81が生成する。 In Figure 8, the original image 80 of 2k × 1k is, preferably using optimized filter (see discussion below 12) having a negative lobe and the resolution of each dimension is down filter to 1/2, base layer 81 of 1024 × 512 is generated. このベース層81は次に通常のMPEG−2アルゴリズムによって圧縮され、伝送に適したMPEG−2ベース層82が生成する。 The base layer 81 is then compressed by a conventional MPEG-2 algorithms, MPEG-2 base layer 82 is produced which is suitable for transmission. 重要なことであるが、MPEG−2の完全な動き補償はこの圧縮ステップ中に利用することができる。 Importantly, full motion compensation the MPEG-2 can be utilized during the compression step. 次にその同じ信号は、通常のMPEG−2アルゴリズムを使って、1024×512の画像83に復元される。 Then the same signal that uses a conventional MPEG-2 algorithms, is restored to the image 83 of the 1024 × 512. その1024×512画像83は第一の2k×1kの拡大像84に拡張される(例えば、画素の複製によって、又は好ましくはスプライン・インターポレーションなどの優れたアップフィルタ類又は負のローブを有するフィルタによって、以下の図13Aと13Bの考察参照)。 Its 1024 × 512 image 83 is expanded to the enlarged image 84 of the first 2k × 1k (e.g., by replication of the pixel, or preferably has excellent up filter group or the negative lobe of the spline-interpolation a filter see discussion below of Figure 13A and 13B).
【0125】 [0125]
一方、任意のステップとして、前記フィルタされた1024×512のベース層81は第二の2k×1kの拡大層85に拡張される。 On the other hand, as an optional step, the base layer 81 of the filtered 1024 × 512 is expanded in expansion layer 85 of the second 2k × 1k. この第二の2k×1k拡大層85は、元の2k×1kの画像80から減算されて、元の高解像度画像80と元のベース層画像81の間の解像度のトップオクターブ(top octave)を示す画像を生成する。 The second 2k × 1k spreading layer 85 is subtracted from the image 80 of the original 2k × 1k, the resolution top octave between the original high resolution image 80 and the original base layer image 81 (top octave) generating an image indicative. その得られた画像は、鮮鋭度ファクター又は重みが任意に乗算され、次に、元の2k×1k画像80と第二の2k×1k拡大画像85の差に加えられて、中央重み付け2k×1k強化層ソース画像86が生成する。 Its resulting image is the sharpness factor or weight is arbitrarily multiplied, then the original 2k × 1k image 80 is added to the difference between the second 2k × 1k enlarged image 85, the central weighting 2k × 1k enhancement layer source image 86 is generated. 次に、この強化層ソース画像86を、通常のMPEG−2アルゴリズムにしたがって圧縮して、伝送に適した別のMPEG−2解像度強化層87が生成する。 Next, this reinforcing layer source image 86, and compressed according to conventional MPEG-2 algorithms, separate MPEG-2 resolution enhancement layer 87 suitable for transmission is generated. 重要なことであるが、完全なMPEG−2の動き圧縮をこの圧縮ステップ中に使用できる。 Importantly, it uses motion compression complete MPEG-2 during this compression step.
【0126】 [0126]
解像度の復号。 Resolution of the decoding. 図9において、ベース層82が、通常のMPEG−2のアルゴリズムを使用して、1024×512の画像90に復元される。 9, the base layer 82, using conventional algorithms MPEG-2, is restored to the image 90 of the 1024 × 512. その1024×512の画像90は第一の2k×1k画像91に拡張される。 Image 90 of 1024 × 512 is extended to the first 2k × 1k image 91. 一方、解像度強化層87は、通常のMPEG−2アルゴリズムを使用して、第二の2k×1k画像92に復元される。 On the other hand, resolution enhancement layer 87, using conventional MPEG-2 algorithms, is restored to the second 2k × 1k image 92. 次にこの第一2k×1k画像91と第二2k×1k画像92を加算して高解像度の2k×1k画像93が生成する。 Then high-resolution 2k × 1k image 93 is generated by adding this first 2k × 1k image 91 a second 2k × 1k image 92.
【0127】 [0127]
MPEG−2を超える改良。 Improvement over MPEG-2. 本質において、強化層は、復号されたベース層を拡張し、元の画像と復号されたベース層の差をテイクし、次に圧縮することによってつくられる。 In essence, the reinforcing layer extends the decoded base layer, to take the difference between the base layer is decoded to the original image are then made by compressing. しかし、圧縮された解像度強化層を、復号後、ベース層に任意に加えて、復号器内に高解像度画像をつくることができる。 However, the compressed resolution enhancement layer, after decoding, in addition to any base layer, high-resolution images in the decoder can be made. 本発明の階層化解像度符号化法は、下記の種々の点で、MPEG−2空間スケーラビリティと異なっている。 Layered resolution encoding process of the present invention, in various points of the following is different from the MPEG-2 spatial scalability.
・強化層の差分写真(enhancement layer difference And strengthening layer difference photo of (enhancement layer difference
picture)は、それ自身のMPEG−2データ流として、I、B及びPのフレームによって圧縮される。 picture) as its own MPEG-2 data stream, it is compressed by I, B and P frames. この差は、本願に提案されている解像度スケーラビリティが、MPEG−2空間スケーラビリティが効果がない場合に有効である主な理由を示す。 This difference, the resolution scalability proposed in the present application, shows the main reason is effective when MPEG-2 spatial scalability is ineffective. MPEG−2内で定義される空間スケーラビリティは、アッパー層を、アッパー層写真と拡張ベース層の間の差として、もしくは実際の写真の動きを補償されたMPEG−2データ流として又はその両者の組合せとして符号化することができる。 Spatial scalability defined within MPEG-2 is the upper layer, the difference as, or or a combination of both as an actual photograph MPEG-2 data stream that has been compensated for motion between the upper layer picture may be expanded base layer it can be encoded as. しかし、これらの符号化はいずれも有効でない。 However, none of these coding is not effective. ベース層との差は、ひとつのIフレームの差とみなすことができ、この差は、本発明の場合のような動きを補償された差分写真と比べて効果がない。 The difference between the base layer can be regarded as the difference between one I frame, this difference is not effective in comparison with compensated differential photo movements as in the case of the present invention. また、MPEG−2内に定義されているアッパー層符号化は、アッパー層の完全な符号化と同一であるから効果がない。 Further, the upper layer encoding defined within MPEG-2 is ineffective because it is identical to the complete encoding of the upper layer. したがって、本発明の場合のような差分写真の動きを補償された符号化は実質的に一層有効である。 Therefore, the difference photo compensated encoding motion as in the case of the present invention are substantially more effective.
・強化層は独立したMPEG−2データ流であるから、MPEG−2システムのトランスポート層(又は他の類似の機構)を使用して、ベース層と強化層を多重化しなければならない。 Since-reinforcing layer is an independent MPEG-2 data stream, using the transport layer of the MPEG-2 system (or other similar mechanism) must be multiplexed base layer and the reinforcing layer.
・拡張及び解像度低下(ダウン)のフィルタリングは、ガウス関数もしくはスプライン関数、又は負のローブを有するフィルタでもよく(図12参照)、これらはMPEG−2の空間スケーラビリティに規定されている双線形インタポレーションより最適である。 Filtering expansion and resolution reduction (down) are (see FIG. 12) may be a filter with a Gaussian function or a spline function or negative lobes, bilinear Intapo these are defined in the space scalability MPEG-2 it is the best than configuration.
・画像のアスペクト比は、好ましい実施態様の低い層と高い層の間で適合しなければならない。 Aspect ratio of the image must be compatible between the lower layer and the higher layers of the preferred embodiment. MPEG−2空間スケーラビリティでは、幅及び/又は高さの延長を行うことができる。 In MPEG-2 spatial scalability, it is possible to extend the width and / or height. このような延長は、効率の要件のため、好ましい実施態様では行えない。 Such extension, for efficiency requirements, can not be performed in the preferred embodiment.
・効率の要件及び強化層に使用される極端な大きさの圧縮が原因で、強化層の全領域は符号化されない。 And efficiency requirements and extreme magnitude of compression used in the reinforcing layer is caused, the entire area of ​​the reinforcing layer is not encoded. 強化されない領域は通常境界領域である。 Unreinforced area is usually boundary region. したがって、好ましい実施態様の2k×1kの強化層ソース画像86は中央が重み付けされる。 Accordingly, enhancement layer source image 86 of 2k × 1k preferred embodiment the center is weighted. 好ましい実施態様では、フェージング関数(fading function)(例えば線形重み付け関数)を使用して、強化層を、画像の中央の方に向けて境界の端縁から「フェザー(feather)」させて、画像の突然のトランジションを避ける。 In a preferred embodiment, by using the fading function (fading function) (e.g., a linear weighting function), the reinforcing layer and towards the center of the image from the edge of the boundary by "feather (feather)", image avoid a sudden transition. さらに、眼がたどるディテールを有する領域を手動で又は自動的に決定する方法を利用して、ディテールを必要とする領域を選択し、そして余分のディテールを必要としない領域を排除することができる。 Furthermore, by utilizing a method of manually or automatically determining regions having detail which follow ocular, select the area in need of detail, and it is possible to eliminate the areas which do not require extra detail. 画像全体がベース層のレベルまでディテールを有しているので直像全体が存在している。 Since the entire image has detail to the level of the base layer entire Chokuzo exists. 特に重要な領域だけが強化層から利得を得る。 Only particularly important areas experience gain from reinforcing layer. 他の基準がなければ、フレームの端縁又は境界は、上記中央重み付けの実施態様のように強化から除外することができる。 Without other criteria, the edges or boundaries of the frame can be excluded from the enhanced in the embodiment of the central weight. MPEG−2のパラメータすなわち符号付きの負の整数として使用され、「水平及び垂直のサブサンプリング−ファクター−m&n」値と結合された「下方層−プレディクション−水平及び垂直−オフセット」パラメータを使用して、強化層の長方形の全体の大きさ及び拡張されたベース層内の配置を指定することができる。 It is used as a negative integer parameters i.e. signed in MPEG-2, "horizontal and vertical subsampling - Factor -m & n" value and combined "lower layer - prediction - horizontal and vertical - offset" using the parameters Te, it is possible to specify the arrangement of the overall size and expanded base layer rectangular reinforcing layer.
・鮮鋭度ファクターを強化層に加えて、量子化中に起こる鮮鋭度の損失をオフセットする。 · Adding sharpness factor in strengthening layer, to offset the loss of sharpness which occurs during quantization. このパラメータは、元の写真の明瞭性と鮮鋭性を復元するためにのみ利用し、画像を強化するために利用しないように注意しなければならない。 This parameter is used only in order to restore the clarity and sharpness of the original picture must be careful not to use to enhance the image. 図8に関連して先に述べたように、鮮鋭度ファクターは、元の高解像度画像80と元のベース層画像81(拡張後)の間の解像度の「高いオクターブ」である。 As described previously in conjunction with FIG. 8, the sharpness factor is the "high octave" resolution between the original high resolution image 80 and the original base layer image 81 (after expansion). この高オクターブの画像は、高オクターブの解像度の鮮鋭度とディテールを含んでいることに加えて、全くノイズが多い。 This high octave image, in addition to containing the sharpness and detail of the high octave of resolution, quite noisy. この画像を加えすぎると、強化層の動きを補償された符号化が不安定になることがある。 If the image is too added, sometimes coding is compensated movement of the reinforcing layer becomes unstable. 加えなければならない量は、元の画像のノイズのレベルによって決まる。 The amount that must be added is determined by the level of noise in the original image. 一般的な重み付け値は0.25である。 Typical weighting value is 0.25. ノイズの多い画像には、鮮鋭度を決して加えてはならない。 The noisy image, not in addition never sharpness. そして、ディテールを保持する従来のノイズ抑制法を使用して、圧縮前の強化層に対し元のノイズを抑制することが得策である。 Then, using a conventional noise suppression method for holding a detail, it is expedient to strengthen layer before compression to suppress the original noise.
・時相と解像度のスケーラビリティは、ベース層と解像度強化層の両者において36Hzから72Hzへ時相強化を行うためBフレームを利用することによって混合される。 Scalability-time phase and resolution are mixed by utilizing a B frame for performing temporal enhanced from 36Hz in both the base layer and the resolution enhancement layer to 72 Hz. このように、復号性能の四つの可能なレベルは、時相スケーラビリティの二つのレベルで利用可能なオプションがあるので、二つの層の解像度スケーラビリティで可能である。 Thus, four possible levels of decoding performance, since at two levels of temporal scalability has options available are possible resolution scalability two layers.
【0128】 [0128]
これらの差は、MPEG−2の空間スケーラビリティと時相スケーラビリティを超える実質的な改良を示す。 These differences show a substantial improvement over the spatial scalability and time phase scalability of MPEG-2. しかし、これらの差は、MPEG−2復号器チップと一致しているが、図9に示す解像度強化復号法で拡張と付加を行うには、その復号器に追加の論理が必要である。 However, these differences is consistent with MPEG-2 decoder chips to do additional and extended in resolution enhancement decoding process shown in FIG. 9, it is necessary to add logic to the decoder. このような追加の論理は、余り有効でないMPEG−2の空間スケーラビリティによって要求される論理とほぼ同一である。 Such additional logic is nearly identical to the logic required by the spatial scalability in MPEG-2 is not so effective.
【0129】 [0129]
解像度強化層の任意の非MPEG−2符号化。 Any non-MPEG-2 encoding of resolution enhancement layer. 解像度強化層に対して、MPEG−2とは異なる圧縮法を利用することが可能である。 Relative resolution enhancement layer, it is possible to utilize a different compression method than the MPEG-2. さらに、解像度強化層に対して、ベース層に対する圧縮法と同じ圧縮法を使用する必要はない。 Further, with respect to resolution enhancement layer, there is no need to use the same compression method and compression method to the base layer. 例えば、差分層(difference layer)が符号化されるとき、動きを補償されたブロックウェーブレット(motion-compensated block wavelet)を利用して、高い効率で、ディテールに合わせて追跡することができる。 For example, when the difference layer (difference layer) is encoded using a wavelet blocks compensate for the motion (motion-compensated block wavelet), with high efficiency, it can be tracked in accordance with the details. ウェーブレットを配置するのに最も有効な位置が、差の大きさが変化するため、スクリーンのまわりでジャンプしても、低振幅の強化層内では気付かれないであろう。 The most effective location for placing the wavelets, for changing the magnitude of the difference, even to jump around the screen, in the enhancement layer of low amplitude would not be noticed. さらに、全画像をカバーすることは不要である。 Furthermore, it is not necessary to cover the entire image. すなわち、該ウェーブレットを、ディテールの上に配置することだけが必要である。 That is, the wavelet, it is only necessary to place on top of the detail. これらウェーブレットは、画像内のディテール領域による案内で配置することができる。 These wavelets, can be arranged in guidance by detail regions in the image. また、その配置は、端縁からバイアスさせることもできる。 Further, the arrangement may also be biased from the edge.
【0130】 [0130]
多重解像度強化層。 Multiple resolution enhancement layer. ここで述べるビット速度では、72フレーム/秒の2メガ画素(2048×1024)が18.5メガビット/秒で符号化される場合、ベース層(72fpsにおける1024×512)と単一の解像度強化層だけが成功裡に立証された。 The bit rate described here, 72 if 2 mega pixels of the frame / sec (2048 × 1024) are coded at 18.5 Mbit / sec, the base layer and a single resolution enhancement layer (1024 × 512 in 72Fps) only it has been demonstrated successfully. しかし、解像度強化層符号化法をさらに改善することから効率がさらに改良されると予想され、多重解像度強化層が可能になるであろう。 However, the expected efficiency is further improved since further improve resolution enhancement layer coding method would allow multiple resolution enhancement layers. 例えば、512×256のベース層が、四つの層によって、解像度を、1024×512、1536×768及び2048×1024に強化できると考えられる。 For example, the base layer of 512 × 256 is, by four layers, the resolution is considered to be enhanced to 1024 × 512,1536 × 768 and 2048 × 1024. このことは、24フレーム/秒という映画のフレーム速度での、既存のMPEG−2符号化法で可能である。 This is the frame rate of the movie that 24 frames / sec are possible with the existing MPEG-2 coding method. 72フレーム/秒などの高いフレーム速度では、MPEG−2は、解像度強化層を符号化する際、この多数の層を現在、許容するのに充分な効率を提供しない。 At high frame rates such as 72 frames / second, MPEG-2 is, when encoding a resolution enhancement layer, the number of layers present, does not provide sufficient efficiency to permit.
【0131】 [0131]
マスタリングフォーマット 2048×1024の画素又はこれに近い画素のテンプレートを使用して、各種のリリースフォーマットに対する単一のディジタル移動画素マスターフォーマットのソースをつくることができる。 Use mastering format 2048 pixels × 1024 or its close pixels of the template, it is possible to make the source of a single digital mobile pixel master format for the various release formats. 図6に示すように、2k×1kのテンプレートは、通常のワイドスクリーンのアスペクト比:1.85:1と2.35:1を有効に支持することができる。 As shown in FIG. 6, the template of 2k × 1k, the aspect ratio of the normal widescreen: 1.85: 1 and 2.35: 1 can be effectively supported. また、2k×1kのテンプレートは、1.33:1及びその外のアスペクト比も受け入れることができる。 Further, the template of 2k × 1k is 1.33: 1 and an aspect ratio of the outer can also accept.
【0132】 [0132]
整数(特に2のファクター)及び単分数(3/2及び4/3)が解像度階層化の際の最も有効なステップサイズであるが、任意の比率を利用して、必要な解像度階層化を達成することも可能である。 Although integers (especially a factor of two) and single fraction (3/2 and 4/3) are most effective step size when the resolution layering, using any ratio, achieve the required resolution layering it is also possible to. しかし、2048×1024のテンプレート又はそれに近いものを使用すると、高品質のディジタルマスターフォーマットが提供されるだけでなく、NTSCすなわち米国のテレビジョン標準を含む、二つのベース層(1k×512)のファクターから多くの他の便利な解像度を提供することができる。 However, the use of close to the template or the 2048 × 1024, as well as high quality digital master format is provided, NTSC i.e. including the US television standard, two base layers (1k × 512) Factor it is possible to provide a number of other convenient resolution from.
【0133】 [0133]
4k×2k、4k×3k又は4k×4kなどのより高い解像度でフィルムを走査することもできる。 4k × 2k, it is also possible to scan the film at higher resolutions such as 4k × 3k or 4k × 4k. 任意の解像度強化を利用して、これらのより高い解像度を、2k×1kに近い中央マスターフォーマット解像度からつくることができる。 By using tempered any resolution, these higher resolutions can be made from a central master format resolution near 2k × 1k. フィルムのためのこのような強化層は、画像のディテール、粒子及び他のノイズ源(例えばスキャナノイズ)で構成されている。 Such reinforcing layer for the film, the image detail, is composed of particles and other noise sources (for example, a scanner noise). このようにノイズがあるので、このような非常に高い解像度を得るため強化層に圧縮法を使用するには、MPEG−2タイプの圧縮に代わる圧縮法が必要である。 Since the presence of noise, to use the compression method to enhance layer to obtain such a very high resolution, it is necessary compression alternative to compression of the MPEG-2 type. 幸いにも、このようなノイズの多い信号を圧縮するのに利用できるが、依然として所望のディテールを画像に維持する他の圧縮法がある。 Fortunately, can be utilized to compress the large signal of such noise, there is still another compression method for maintaining an image of the desired detail. このような圧縮法の一例は、動き補償ウェーブレット又は動き補償フラクタルである。 An example of such a compression method is a motion compensation wavelet or motion compensated fractals.
【0134】 [0134]
ディジタルマスタリングフォーマットは、既存の映画からつくられる場合そのフィルムのフレーム速度(すなわち24フレーム/秒)でつくらねばならない。 Digital mastering format, must be made at a frame rate of the film case that is made from an existing movie (ie, 24 frames / sec.). 3−2プルダウンとインタレースの両者を共用することは、ディジタルフィルムマスターに対しては不適当である。 3-2 to share both the pulldown and interlace is unsuitable for digital film masters. 新しいディジタル電子マテリアルとして、60Hzインタレースを使うことは近い将来なくなり、ここで提案される72Hzなどの、コンピュータとよりコンパチブルなフレーム速度によって代替されると考えられる。 As a new digital electronic material, no future it is almost to use 60Hz interlaced, such as 72Hz proposed here is considered to be replaced by a more compatible frame rates and computers. ディジタル画像マスターは、72Hz、60Hz、36Hz、37.5Hz、75Hz、50Hz又は他のフレーム速度にかかわらず、画像が捕獲されるどんなフレーム速度においてもつくらねばならない。 The digital image masters, 72 Hz, 60 Hz, regardless 36 Hz, 37.5 Hz, 75 Hz, the 50Hz or another frame rate, images must made In any frame rate is captured.
【0135】 [0135]
すべての電子リリースフォーマット用の単一ディジタルソース写真フォーマットとしてのマスタリングフォーマットの概念は、PAL、NTSC、レターボックス、パン−アンド−スキャン、HDTVなどのマスターがすべて、フィルムオリジナルから、一般に独立してつくられる既存のプラクチスと異なっている。 Mastering format concept of a single digital source photo format for all electronic release format, PAL, NTSC, letter box, pan - and - scan, all of the master, such as HDTV, from the film original, get generally independent It is different from the existing Purakuchisu to be. マスタリングフォーマットを使用すると、フィルムショーとディジタル/電子ショーの両者を、各種の解像度とフォーマットでリリースするために、一度にマスターリングすることが可能になる。 With mastering format, both of the film show and digital / electronic shows, in order to release a variety of resolutions and formats, it is possible to master ring at a time.
【0136】 [0136]
結合された解像度強化層と時相強化層 上記のように、時相強化と解像度強化の階層化は結合することができる。 As combined resolution enhancement layer and the temporal enhancement layer described above, the time phase reinforced with stratification resolution enhancement it can bind. 時相強化は、Bフレームを復号することによって行われる。 Temporal enhancement is performed by decoding the B frames. また解像度強化層は二つの時相層を有しているのでBフレームを含んでいる。 The resolution enhancement layer includes a B-frame because it has a phase layer when the two.
【0137】 [0137]
24fpsのフィルムの場合、最も有効でかつ低コストの復号器はPフレームだけを使用できるので、Bフレームの復号操作を省くことによって復号器を単純化するのみならずメモリおよびメモリの帯域幅の両者を最小限にすることができる。 For 24fps film, the most effective and low-cost decoders since only the available P frame, both the memory bandwidth and memory not only simplifies the decoder by omitting decoding operation B frame it is possible to minimize. したがって、本発明によれば、24fpsの映画の復号及び36fpsのアドバンスドテレビジョンの復号を行うのに、Bフレームの性能なしの復号器を利用できる。 Therefore, according to the present invention, to perform movie decoding and advanced television decoding 36fps in 24 fps, available decoders without performance of B frame. 次に、図3に示すように、BフレームがPフレーム間に利用されて、72Hzのより高い時相層を得ることができ、そのBフレームは第二復号器によって復号できる。 Next, as shown in FIG. 3, B-frame is utilized between P frames, it is possible to obtain a phase layers when the higher 72 Hz, the B frame can be decoded by the second decoder. この第二復号器はBフレームだけを復号すればよいので単純化することができる。 The second decoder may be simplified since it is sufficient decoding only B frames.
【0138】 [0138]
この階層化は、24と36のfps速度に対して同様にPフレームとIフレームだけを利用できる。 The layering can be utilized only P frames and I-frame in the same manner with respect fps rate of 24 and 36. 解像度が強化された層にも当てはまる。 Also applies to the layer resolution is enhanced. その解像度強化層は、その層内でのBフレームの復号を加えることによって、72Hzの完全時相速度を高い解像度で加えることができる。 Its resolution enhancement layer by adding a decoded B frames in that layer, may be added to complete time phase velocity of 72Hz at a higher resolution.
【0139】 [0139]
復号器に対する組み合わされた解像度と時相の拡大縮小可能なオプションを図10に示す。 The scalable options combined resolution and temporal respect decoder shown in FIG. 10. またこの実施例は、本発明の空間時相階層化アドバンスドテレビジョンを達成するための、約18メガビット/秒のデータ流の比率の配分を示す。 This example also, to achieve space time phase layered Advanced Television present invention, the distribution ratio of the data stream of approximately 18 Mbits / sec shown.
【0140】 [0140]
図10において、ベース層MPEG−2の1024×512画素データ流(好ましい実施態様ではPフレームだけを含んでいる)が基準解像度復号器100に加えられる。 10, (in the preferred embodiment includes only P-frame) based layer 1024 × 512 pixel data stream MPEG-2 is added to the standard resolution decoder 100. Pフレームに対しては、約5メガビット/秒の帯域幅が必要である。 For P frames, it is necessary bandwidth of approximately 5 megabits / second. 基準解像度復号器100は24fps又は36fpsで復号することができる。 Standard resolution decoder 100 can decode at 24fps or 36 fps. 基準解像度復号器100の出力は、低解像度、低フレーム速度の画像(24Hz又は36Hzの1024×512画素)を含んでいる。 The output of the standard resolution decoder 100 includes a low resolution, low frame rate images (24 Hz or 1024 × 512 pixels 36 Hz).
【0141】 [0141]
同じデータ流からのBフレームが解析され、基準解像度時相強化層復号器102に加えられる。 Is B-frame analysis of the same data stream, is added to the standard resolution time phase reinforcing layer decoder 102. このようなBフレームに対しては約3メガビット/秒の帯域幅が必要である。 For such B frames are required bandwidth of approximately 3 Mbits / sec. また、基準解像度復号器100の出力は時相強化層復号器102にも連結される。 The output of the standard resolution decoder 100 is also coupled to the temporal enhancement layer decoder 102. その時相強化層復号器102は36fpsで復号することができる。 Its temporal enhancement layer decoder 102 can decode at 36 fps. 時相強化層復号器102の結合された出力は、低解像度でかつ高フレーム速度の画像(72Hzの1024×512の画素)を含んでいる。 Combined output of the temporal enhancement layer decoder 102 includes and low resolution high frame rate of the image (pixels 1024 × 512 of 72 Hz).
【0142】 [0142]
また図10では、解像度強化層MPEG−2の2k×1k画素データ流(好ましい実施態様ではPフレームだけを含有している)が、基準時相高解像度強化層復号器104に適用される。 In addition, FIG. 10, 2k × 1k pixel data stream resolution enhancement layer MPEG-2 (containing only P frames in the preferred embodiment) is applied to the reference time phase high resolution enhancement layer decoder 104. そのPフレームに対しては約6メガビット/秒の帯域幅が必要である。 For that P-frame is required bandwidth of approximately 6 megabits / sec. また基準解像度復号器100の出力は高解像度強化層復号器104にも連結される。 The output of the reference resolution decoder 100 is also coupled to the high resolution enhancement layer decoder 104. その高解像度強化層復号器104は24fps又は36fpsで復号することができる。 Its high resolution enhancement layer decoder 104 can decode at 24fps or 36 fps. 高解像度強化層復号器104の出力は、高解像度でかつ低フレーム速度の画像(24Hz又は36Hzの2k×1k画素)を含んでいる。 The output of the high resolution enhancement layer decoder 104 includes a high resolution and low frame rate of the image (2k × 1k pixels 24Hz or 36 Hz).
【0143】 [0143]
同じデータ流からのBフレームが解析され、高解像度時相強化層復号器106に適用される。 B frames from the same data stream is analyzed, it is applied to the high-resolution time phase reinforcing layer decoder 106. このようなBフレームに対しては、約4メガビット/秒の帯域幅が必要である。 For such B frames, it is necessary bandwidth of approximately 4 megabits / sec. 前記光学的解像度強化層復号器104の出力が高解像度時相強化層復号器106に連結される。 The output of the optical resolution enhancement layer decoder 104 is coupled to the high-resolution time phase reinforcing layer decoder 106. 時相強化層復号器102の出力も高解像度時相強化層復号器106に連結される。 The output of the temporal enhancement layer decoder 102 is also connected to the high-resolution time phase reinforcing layer decoder 106. 高解像度時相強化層復号器106は36fpsで復号できる。 High resolution time phase reinforcing layer decoder 106 can decode at 36 fps. 高解像度時相強化層復号器106の結合された出力は、高解像度でかつ高フレーム速度の画像(72Hzの2k×1k画素)を含んでいる。 Combined output of the high-resolution phases reinforcing layer decoder 106 includes a high resolution and high frame rate of the image (2k × 1k pixels 72 Hz).
【0144】 [0144]
この拡大縮小可能な符号化機構によって達成される圧縮比は、非常に高くて優れた圧縮効率を示すことに注目すべきである。 Compression ratio achieved by the scalable coding mechanism, it should be noted that exhibit excellent compression efficiency is very high. 図10に示す実施例由来の時相オプションとスケーラビリティオプション各々に対する圧縮比を表5に示す。 The compression ratio Phase options and scalability options each time from the embodiment shown in FIG. 10 are shown in Table 5. これらの比率は、24ビット/画素における原始RGB画素に基づいている(通常の4:2:2符号化の16ビット/画素又は通常の4:2:0符号化の12ビット/画素を要因として入れると、圧縮比はそれぞれ、表5に示した値の3/4及び1/2になる)。 These ratios, 24-bit / are based on primitive RGB pixels in the pixel (normal 4: 2: 2 encoding 16 bits / pixel or conventional 4: 2: 0 as a factor of 12-bit / pixel coding Add the respective compression ratio becomes 3/4 and 1/2 of the values ​​shown in Table 5).
【0145】 [0145]
【表5】 [Table 5]
【0146】 [0146]
これらの高い圧力比は、二つの要因によって可能になる。 These high pressure ratio is made possible by two factors.
(1)高フレーム速度72Hzの画像の高い時相コヒーレンス; (1) phase coherence time of high image high frame rate 72 Hz;
(2)高解像度2k×1kの画像の高い空間コヒーレンス; (2) high spatial coherence of high resolution 2k × 1k image;
(3)画像の重要な部分(例えば中央部分)に解像度ディテールの強化を適用し、余り重要でない部分(例えばフレームの境界には適用しない)。 (3) applying a reinforcement resolution detail on important parts of the image (for example, a central portion), (does not apply to the boundary of the example frame) portion is not so important.
【0147】 [0147]
これらの要因は、MPEG−2符号化シンタックスの強さ(strength)を利用することによって、本発明の階層化圧縮法で活用される。 These factors, by utilizing MPEG-2 encoding syntax strength the (strength), are utilized in hierarchical compression method of the present invention. これらの強さは、時相スケーラビリティに対して2方向に内挿されたBフレームを含む。 These strengths include B frames inserted in the two directions with respect to time phase scalability. また、このMPEG−2シンタックスは、ベース層と強化層の両者に動きベクトルを使用することによって有効な動きを表現する。 Also, the MPEG-2 syntax to express valid motion by using a motion vector for both the base layer and the enhancement layer. 高いノイズと迅速な画像の変化のいくらかのしきい値まで、MPEG−2は、DCT量子化とともに動き補償によって、強化層内のノイズの代わりに、符号化のディテールにおいて有効である。 Until some threshold changes in high noise and rapid image, MPEG-2, depending on the motion compensation with DCT quantization, in place of the noise in the enhancement layer is effective in detail encoding. このしきい値を超えると、データ帯域幅は、ベース層に最もよく配分される。 Above this threshold, the data bandwidth is best allocated to the base layer. これらのMPEG−2の機構は、本発明にしたがって使用されると、協力して働き、時相と空間の両方を拡大縮小可能である高度に効率的でかつ有効な符号化を行う。 These mechanisms of MPEG-2, when used in accordance with the present invention, working in cooperation, both temporal and spatial a scaleable highly efficient and effective coding performed.
【0148】 [0148]
CCIR601ディジタルビデオの5メガビット/秒符号化と比較して、表5に示す圧縮比ははるかに高い。 CCIR601 digital video 5 Mbit / sec are encoded with a comparison of the compression ratio shown in Table 5 is much higher. その原因の一つは、インタレースが原因でいくらかのコヒーレンスが損失することである。 One of the reasons is that the interlaces loss is some coherence due. インタレースは、次のフレームとフィールドを予測する性能及び垂直方向に隣接している画素の相関関係に負の影響をする。 Interlaces, the negative impact on the correlation between pixels adjacent to the performance and vertically to predict the next frame and the field. したがって、ここで述べる圧縮効率の利得の主な部分は、インタレースがないことが原因である。 Therefore, the main part of the gain in compression efficiency described here is due to the absence of interlace.
【0149】 [0149]
本発明で達成される大きな圧縮比は、各MPEG−2マクロブロックを符号化するのに利用可能なビットの数の釣合いから考えることができる。 Large compression ratios achieved by the present invention, can be considered the MPEG-2 macro blocks from balancing the number of bits available to encode. 上記のように、マクロブロックは、Pフレームに対する一つの動きベクトル及びBフレームに対する1又は2以上の動きベクトルを有する、四つの8×8DCTブロックからなる16×16画素のグルーピングである。 As described above, the macroblock includes one or more motion vectors for one motion vector and B frames for P-frame, a grouping of 16 × 16 pixels consisting of four 8 × 8 DCT blocks. 各層の一マクロブロック当り、利用可能なビットを表6に示す。 One macroblock per each layer, the available bits is shown in Table 6.
【0150】 [0150]
【表6】 [Table 6]
【0151】 [0151]
各マクロブロックを符号化するためのビットの利用可能な数は、ベース層より強化層の方が少ない。 Available number of bits to encode each macroblock, there are fewer of the reinforcing layer than the base layer. ベース層はできるだけ性質が優れていることが望ましいので、上記のことが適切である。 Since the base layer it is desirable that the excellent possible nature, above it is appropriate. 動きベクトルは8ビット程度が必要であり、マクロブロックタイプの符号、及び四つの8×8DCTブロックのすべてに対するDC係数とAC係数に対して10〜25ビットを残す。 The motion vector is required about 8 bits, leaving 10 to 25 bits for DC and AC coefficients of the macroblock type codes, and for all four 8 × 8 DCT blocks. これはごく少数の「戦略的」AC係数にしか空間を残さない。 This leaves no space only to a small number of "strategic" AC coefficient. したがって、各マクロブロックに利用可能な情報の大部分は、統計的に、強化層の前のフレームから出なければならない。 Thus, most of the information available to each macroblock, statistically, must leave from the previous frame of the enhancement layer.
【0152】 [0152]
強化差分画像(enhancement difference image)で表されるディテールの高オクターブを示すため充分なDC係数とAC係数を符号化するために利用可能なデータ空間が充分にないので、MPEG-2空間スケーラビリティがこれらの圧縮比では役に立たない理由は容易に分かる。 Since reinforced difference image (enhancement difference image) data space available for encoding a sufficient DC and AC coefficients to indicate a high octave of detail represented by is not sufficiently, MPEG-2 spatial scalability of these It is easy to see why useless in the compression ratio. この高いオクターブは、第五〜第八の水平AC係数と垂直AC係数で表される。 This high octave is represented by a fifth-eighth horizontal AC coefficients and vertical AC coefficients. 1DCTブロック当り利用可能なビットがごく少数しかない場合、これらの係数には到達できない。 If 1DCT per block available bits is only a small number, it can not be reached in these coefficients.
【0153】 [0153]
ここに述べるシステムは、前の強化差分フレームからの動きを補償された予測を利用することによって、その効力を得る。 System described herein, by utilizing the prediction that was compensating for the movement from the previous enhanced differential frames, obtaining its effect. このことは、時相と解像度(空間)の階層化された符号化に優れた結果をもたらすのに明白に有効である。 This is clearly effective to provide excellent results in layered coded time phase and resolution (spatial).
【0154】 [0154]
優雅な縮退。 Graceful degenerate. ここで述べる時相スケーリング法と解像度スケーリング法は、2k×1kの原起源を用いて、72フレーム/秒で正常に作動するマテリアルに対して良好に作動する。 Here phase scaling method and the resolution scaling method when described using the original origin of 2k × 1k, well operate on materials that normally operate at 72 frames / sec. また、これらの方法は、24fpsで作動するフィルムベースマテリアルに対しても良好に作動する。 Further, these methods also work well to the film base material operating at 24 fps. しかし、高フレーム速度において、非常にノイズの多い画像が符号化されるとき、又は画像流内に多数のショートカットがある場合、その強化層は、有効な符号化を行うために必要なフレーム間のコヒーレンスを失うことがある。 However, in the high frame rates, very when noisy image is encoded, or if there are a large number of shortcuts image stream, the enhancement layer, between frames necessary in order to perform effective coding You can lose coherence. 典型的なMPEG-2符号器/復号器のバッファフルネス(buffer fullness)/速度制御の機構は量子化器(quantizer)を非常に粗い設定に設定しようとするので、上記損失は容易に検出される。 Since mechanisms of typical MPEG-2 encoder / decoder buffer fullness (buffer fullness) / speed control tries to set quantizer (quantizer) to very coarse settings, the losses are easily detected that. この状態に遭遇すると、該解像度強化層を符号化するのに通常使用されるすべてのビットは、ベース層がストレスの多いマテリアルを符号化するためできるたけ多数のビットを必要とするから、ベース層に割り当てることができる。 Upon encountering this condition, all of the bits normally used to encode the resolution enhancement layer, since the base layer requires a large number of bits bamboo capable to encode more material stress, the base layer it can be assigned to. 例えば、72フレーム/秒にてベース層の一フレーム当り約0.5メガ画素と0.33メガ画素の間において、得られる画素速度は24〜36メガ画素/秒である。 For example, during one frame per about 0.5 Mega pixel and 0.33 mega pixels of the base layer at 72 frames / sec, the resulting pixel rate is 24 to 36 mega pixels / sec. 利用可能なビットをすべてベース層に適用すると、18.5メガビット/秒で一フレーム当り約0.5〜0.67×100万の追加のビットを提供し、このビットは、ストレスの多いマテリアルに対してさえ、非常に良好に符号化するのに充分であろう。 Applying the available bits to all base layer, to provide additional bits for one frame per about from 0.5 to .67 × 100 million in 18.5 Mbit / s, this bit is a stressful Materials even for, it would be very good enough to encode.
【0155】 [0155]
より極端な場合、あらゆるフレームがノイズが多い及び/又はカットを起こすあらゆる少数フレームがある場合、ベース層の解像度がそれ以上損失することなく適切に縮退することができる。 More extreme cases, if every frame is any small frames to cause noisy and / or cut, can be properly stuck without resolution of the base layer is lost more. これは、時相強化層を符号化するBフレームを除くことによって行うことができ、その結果、ベース層のIフレームとPフレームに対して利用可能な帯域幅(ビット)すべてを36fpsで使用することができる。 This temporal enhancement layer can be done by removing the B frames to be encoded, as a result, be used in 36fps all available bandwidth (bits) for I and P frames of the base layer be able to. これは、各ベース層フレームに利用可能なデータの量を約1.0と約1.5メガビット/フレームの間に増やす(ベース層の解像度に応じて)。 This is increased to between the amount of about 1.0 to about 1.5 Mbits / frame of data available for each base layer frame (according to the resolution of the base layer). これは、やはり、極端にストレスの多い符号化条件下であっても、ベース層のかなり高い品質の解像度において、36fpsのかなり良好な動き表示(motion rendition)速度を生じる。 This is also extremely be large coding conditions stressful, in fairly high quality resolution of the base layer, resulting in significantly better motion display (motion optional rendition) rate of 36 fps. しかしベース層の量子化器が、約18.5メガビット/秒下、36fpsで粗いレベルでまだ作動している場合、ベース層のフレーム速度は、動的に、24フレーム/秒、18フレーム/秒又は12フレーム/秒にまでも低下させることができ(あらゆるフレームに対し1.5と4メガビットの間が利用可能になる)、最も病的な移動画像のタイプでさえ処理できるであろう。 But the base layer quantizer is under about 18.5 Mbits / sec, if it still operating at a coarse level at 36 fps, the frame rate of the base layer, dynamically, 24 frames / sec, 18 frames / sec or 12 frames / sec up to be able to reduce (between to every frame 1.5 and 4 megabit become available), it could be treated even the type of the most pathological moving image. このような環境下でフレーム速度を変える方法は当該技術分野で知られている。 How to change the frame rate in such an environment are known in the art.
【0156】 [0156]
米国のアドバンスドテレビジョンに対する現在の提案は、これらの適切な縮退法を許容できないので、本発明のシステムと同じようには、ストレスの多いマテリアル対して良好に機能できない。 The current proposal for U.S. advanced television, can not tolerate these proper degeneration method, just like the system of the present invention may not perform well for stressful material.
【0157】 [0157]
大部分のMPEG−2符号器では、適応できる量子化レベルは、出力されるバッファフルネスによって制限される。 In most MPEG-2 encoders, the adaptive possible quantization levels is limited by the buffer fullness to be output. 本発明の解像度強化層に関連する高い圧縮比においては、この機構は最適には機能できない。 At high compression ratio associated with the resolution enhancement layer of the present invention, this mechanism can not function optimally. 各種の方法を利用して、最も適切な画像領域にデータを最適に割り当てることができる。 Using various methods, it is possible to optimally allocate the data to the most appropriate image regions. 概念的に最も簡単な方法は、解像度強化層の符号化のプレパス(pre-pass)を実施して、統計データを集め、かつ保存しなければならないディテールをさがし出すことである。 The easiest way conceptually may implement the coding of resolution enhancement layer Purepasu (pre-pass), it collects statistical data, and is to begin looking for the details that must be preserved. 前記プレパスから得た結果を利用して、適応性のある量子化を設定し、解像度強化層のディテールの保存を最適化することができる。 Using the results obtained from the Purepasu, it sets the quantization an adaptive, it is possible to optimize the preservation of detail in the resolution enhancement layer. これらの設定は、画像に対して不均一に、人工的にバイアスすることも可能であり、その結果、画像のディテールは、バイアスされて、主要スクリーン領域に、そしてフレームの端縁のマクロブロックからはなして割り当てられる。 These settings unevenly on the image, is also possible artificially biasing, so that image detail is biased, the main screen area, and the macroblock edge of the frame assigned talking.
【0158】 [0158]
既存の復号器はこのような改良を保たずに良好に機能するので、強化層境界を高いフレーム速度で残すことを除いて、これらの調節はどれも不要である。 Since existing decoders function well without keep such an improved, except to leave reinforcing layer boundary at a higher frame rate, all of these adjustments is not necessary. しかし、このようなさらなる改良は、強化層符号器にわずかな追加の努力を行うことによって達成できる。 However, such further improvement can be achieved by performing a small additional effort enhancement layer encoder.
【0159】 [0159]
結論 新しい共通の基本時相速度として36Hzを選ぶことが最適のようである。 Conclusion It is like the best to choose a new common base during the 36Hz as the phase speed. このフレーム速度を使用した実例は、このフレーム速度が、60Hzと72Hzの両方の表示器に対して、24Hzを超える有意な改良を行うことを示している。 Examples using this frame rate, the frame rate, the display device for both 60Hz and 72 Hz, are shown to make a significant improvement over 24 Hz. 36Hzの画像は、72Hz画像捕獲からのすべての他のフレームを利用することによってつくることができる。 Images 36Hz can be made by utilizing all the other frames from 72Hz image capture. これによって、36Hzのベース層(好ましくはPフレームを使用)と、36Hzの時相強化層(Bフレームを使用)とを結合して72Hzの表示器を達成できる。 This can be achieved based layer of 36Hz and (preferably using P frames), temporal enhancement layer of 36Hz (the use of B frames) and binding to 72Hz indicator.
【0160】 [0160]
72Hzの「フューチャールッキング(future-looking)」速度は本発明の方法によって損われることはなく、60HzアナログNTSC表示器に対し移行できる。 "Future Looking (future-looking)" rate of 72Hz is never impaired by the process of the present invention, it proceeds to 60Hz analog NTSC display. また、本発明は、考慮中の他の受動エンターテイメントだけ(コンピュータインコンパチブル)の60Hzフォーマットを許容できるならば、他の60Hz表示器へ移行できる。 Further, the present invention is, if they can tolerate 60Hz format only other passive entertainment under consideration (computer-in compatible), it proceeds to another 60Hz display.
【0161】 [0161]
解像度のスケーラビリティは、解像度強化層に対し別のMPEG−2画像データ流を使用することによって達成することができる。 Scalability resolution can be achieved by using a different MPEG-2 image data stream to resolution enhancement layer. 解像度スケーラビリティはBフレーム法を利用して、ベース解像度層と強化解像度層の両者に時相スケーラビリティを提供することができる。 Resolution scalability can utilize B-frame method, provides a time phase scalability to both the base resolution layer and the reinforcing resolution layer.
【0162】 [0162]
ここに述べる発明は、多数の非常に望ましい特徴を達成する。 Invention described herein achieves a number of highly desirable features. 解像度スケーラビリティ又は時相スケーラビリティは、地上放送で利用できる約18.5メガビット/秒にて、高精細度の解像度で達成できないと、米国アドバンスドテレビジョンプロセスの関係者が主張している。 Resolution scalability or temporal scalability, at about 18.5 Mbit / s available in the terrestrial broadcast, and can not be achieved in high-definition resolution, officials of the United States advanced television process is claimed. しかし本発明は、この利用可能なデータ速度内で、時相スケーラビリティと空間解像度スケーラビリティの両者を達成する。 However, the present invention is within this available data rate to achieve both temporal scalability and spatial resolution scalability.
【0163】 [0163]
また、高フレーム速度の2メガ画素は、利用可能な18.5メガビット/秒のデータ速度ではインタレースを使用することなしで達成することができないと主張されている。 Further, 2 mega pixels high frame rate, the data rate available 18.5 Mbit / s are claimed can not be achieved by without the use of interlace. しかし、本発明は、空間解像度と時相のスケーラビリティを達成するのみならず、72フレーム/秒で2メガ画素を提供することができる。 However, the present invention not only achieve scalability spatial resolution and temporal, it is possible to provide a 2 mega pixels at 72 frames / sec.
【0164】 [0164]
これらの性能を提供するのに加えて、本発明は、特に、アドバンスドテレビジョンプロセスに対する現在の提案に比べて非常に堅牢でもある。 In addition to providing these properties, the present invention is, in particular, also very robust as compared to the current proposal for advanced television process. これは、非常にストレスの多い画像マテリアルに遭遇したとき、大部分のビット又はすべてのビットをベース層に割り当てることによって可能になる。 This is very when encountering stressful image material, made possible by assigning most bit or the base layer all the bits. このようなストレスの多いマテリアルは、本来、ノイズが多くしかも非常に速く変化する。 Such stressful material is inherently noisy yet to change very quickly. このような環境で、眼は、解像度の強化層に関連するディテールを見ることができない。 In such an environment, the eye, can not see the details related to the strengthening layer of the resolution. 前記ビットはベース層に適用されるので、その複製されるフレームは、単一で一定の高解像度を利用する、現在提案されているアドバンスドテレビジョンシステムより実質的に正確である。 Since the bit is applied to the base layer, the frame to be the replication utilizes constant high resolution with a single, substantially more accurate than the advanced television system as currently proposed.
【0165】 [0165]
このように、本発明のシステムのこの側面は、知覚と符号化の効率を最適化し、最高の視感インパクトを与える。 Thus, this aspect of the system of the present invention is to optimize the efficiency of perception and coding gives the best visual impact. このシステムは、多くの人が不可能であると考えてきた解像度とフレーム速度の性能の非常に清浄な画像を提供する。 This system provides a very clean image of the performance of many people is not possible with the idea came resolution and frame rate. 本発明のシステムのこの側面は、現時点までに提案されているアドバンスドテレビジョンフォーマットより性能が優れていると考えられる。 This aspect of the system of the present invention is believed to outperform the advanced television formats being proposed so far. この予想される一層優れた性能に加えて、本発明は、時相と解像度の階層化という価値の高い特徴も提供する。 In addition to the even better performance this expected, the present invention is characterized valuable that layering of temporal and resolution also provided.
【0166】 [0166]
上記考察では、その実施例に、MPEG−2を利用したが、本発明のこれらの及び他の側面は、他の圧縮システムを利用して実施することができる。 In the above discussion, in its embodiments, using MPEG-2, these and other aspects of the present invention can be implemented using other compression systems. 例えば本発明は、MPEG−1、MPEG−2、MPEG−4、H. For example, the present invention, MPEG-1, MPEG-2, MPEG-4, H. 263などの圧縮システム(ウェイブレットなどの非DCTシステムを含む)のようなI、B、及びPのフレーム又はその均等物を提供する類似の標準によって作動する。 I like compression systems, such as 263 (including non-DCT system such as wavelet), B, and by a frame or similar standards that provide their equivalents P operates.
【0167】 [0167]
階層化圧縮の強化 Strengthening of hierarchical compression
概要 上記実施態様のいくつかの強化を行って、ビデオ画質と圧縮の各種問題点を処理することができる。 Doing some strengthening Summary above embodiment, it is possible to process the various problems of compressed video quality. 以下に、このような強化のいくつかを説明するが、これらの強化は大部分、好ましくは、画像を強化し次いでその画像を圧縮するタスクに適用できる一組のツールとして実施される。 The following is a description of some of such reinforcement, these reinforcing most preferably carried out as to strengthen the image and then a set of tools that can be applied to the task of compressing the image. これらのツールは、コンテント・デベロッパ(content developer)によって各種の方式で所望どおりに結合されて、圧縮されたデータ流、特に階層化された圧縮データ流の視感画質と圧縮効率を最適化することができる。 These tools are coupled as desired in various ways by the Content Developer (content developer), the compressed data stream, in particular to optimize the visual quality and compression efficiency of the layered compressed data stream can.
【0168】 [0168]
強化層の動きベクトルとグレイバイアス(gray bias) Reinforcing layer of motion vectors and gray bias (gray bias)
解像度強化層を、MPEGタイプ(例えばMPEG−2、MPEG−4又はこれに匹敵するシステム)の圧縮を利用して符号化する通常の方法は、差分写真(difference picture)をグレイバイアスでバイアスする方法である。 How the resolution enhancement layer, the usual method for encoding by utilizing the compression of the MPEG type (e.g. MPEG-2, MPEG-4 or system comparable to) the biasing differential photo (difference picture) in gray bias it is. 0=ブラックから255=ホワイトまでの通常の8ビット画素値の範囲内で、中間点の128が、グレイバイアス値として通常使用される。 0 = within normal 8-bit pixel values ​​from black to 255 = white, 128 of the intermediate points are usually used as a gray bias value. 128より低い値は画像間の負の差を表し、そして128を超える値は画像間の正の差を表す(10ビットシステムの場合、グレイは512であり、他のビット範囲では0=ブラックおよび1023=ホワイトなどである)。 Lower than 128 values ​​represent the negative of the difference between the images, and more than 128 values ​​in the case of (10-bit system which represents a positive difference between the images, the gray is 512, in other bit range 0 = black and 1023 = white, etc.).
【0169】 [0169]
該差分写真は、拡張され次いで復元されたベース層を、元の高解像度の画像から減算することによって見出される。 It said difference pictures, an extended then restored base layer, is found by subtracting from the original high resolution image. これら差分写真のシーケンスが、次に正常のMPEGタイプ写真流として作動するフレームのMPEGタイプ差分写真流として符号化される。 Sequence of these difference pictures are then encoded as MPEG type differential photo stream frame that operates as a normal MPEG type photo stream. 該グレイバイアス値は、各差分写真が、解像度が改良されるように別の画像(例えば、拡張された復号ベース層)に加えられるときに除かれる。 The gray bias value, each difference pictures, another image as the resolution is improved (e.g., enhanced decoded base layer) is removed when it is added to.
【0170】 [0170]
ノイズを減らすのに有益なもう一つのソースは、前と次のフレームからの情報(すなわち時間的中央値 、時相中央値)である。 Another source beneficial in reducing noise, information from the previous and the next frame (i.e., the temporal median time phase median) is. 以下に述べるように、動き解析は、動く領域に対しては最良の整合を提供する。 As described below, motion analysis provides a best match for the moving region. しかし、動き解析は計算集中的(compute intensive)である。 However, the motion analysis is computationally intensive (compute intensive). 画像の一領域が動いていないか又はゆっくり動いている場合、現行画素からのレッド値(及びグリーン値とブルー値)は、前のフレームと次のフレーム中の同じ画素位置のレッド値でフィルタされた中央値でよい。 If a region of an image is moving has not or slowly moving, red values ​​from the current pixel (and green values ​​and blue values) is filtered by the red value of the same pixel position in the previous frame and the next frame and it may be a central value. しかし、有意な動きがあってしかもかような時相フィルタが使用されると、異常なアーチファクトが起こることがある。 However, yet such a temporal filter was a significant motion is used, it may abnormal artifacts occur. したがって、しきい値を第一に選んで、このような中央値が、現行画素の値から、選択された大きさを超えて異なっているかどうかを確認することが好ましい。 Thus, by selecting the threshold value to the first, such median from the value of the current pixel, it is preferable to confirm whether the different beyond a selected magnitude. そのしきい値は上記デ−インタレース化のしきい値の場合とほぼ同様にして、下記のようにして計算することができる。 The threshold above de - in much the same way as the case of the threshold for interlaced, can be calculated as follows.
Rdiff=R_現行_画素 マイナス R_時相_中央値Gdiff=G_現行_画素 マイナス G_時相_中央値Bdiff=B_現行_画素 マイナス B_時相_中央値しきい値処理値=abs(Rdiff+Gdiff+Bdiff)+abs(Rdiff)+abs(Gdiff)+abs(Bdiff) Rdiff = R_ current _ pixels minus R_ phases _ median Gdiff = G_ current _ pixels minus G_ phases _ median bdiff = B_ current _ pixels minus B_ phases _ median thresholding value = abs (Rdiff + Gdiff + Bdiff) + abs (Rdiff) + abs (Gdiff) + abs (Bdiff)
【0171】 [0171]
上記しきい値処理値を次にしきい値設定値と比較する。 Then compared with the threshold setting the thresholding value. 典型的なしきい値設定値は0.1〜0.3の範囲内であり、0.2が一般的である。 Typical threshold setting is in the range of 0.1 to 0.3, 0.2 is common. そのしきい値より高ければ、現行値が保持される。 Is higher than the threshold, the current value is retained. そのしきい値より低ければ時間的中央値が使用される。 If lower than the threshold time median is used.
【0172】 [0172]
追加の中央値のタイプは、X、Y及び時間的中央値から選択される中央値である。 Type of additional median is a central value selected X, Y and the temporal median. もう一つの中央値のタイプは、 時間的中央値を選び、次にそれからのXとYの中央値の等平均値を選択する。 Type Another median select temporal median, then selects an equal average of the median of the X and Y therefrom.
【0173】 [0173]
各タイプの中央値は問題を起こすことがある。 The median of each type is sometimes cause problems. XとYの中央値は画像を不鮮明にし(smear)かつブラー(blur)させるので、画像は「グリーシー(greasy)」に見える。 Since the center value of the X and Y is to blur the image (smear to yield) and Blur (blur), image looks "Gurishi (greasy)". 時間的中央値は、時間が経過するにつれて動きを不鮮明にする。 Temporal median and blur the motion over time. 各中央値は、問題をもたらししかも各中央値の特性が異なっているので(ある意味では「直交している(orthogonal)」)、各種の中央値を組み合わせることによって最良の結果が得られることが実験によって確認された。 Each median, since the different characteristics of the addition resulted in a problem the median (in a sense "are orthogonal (an orthogonal)"), that the best results by combining the various median is obtained It has been confirmed by experiment.
【0174】 [0174]
特に、中央値の好ましい組合せは、現行画像の各画素に対する値を決定する下記5項目の線形重み付け合計(線形ビデオプロセッシングに関する上記考察参照)である。 Particularly preferred combinations of the median is the following five items linear weighted sum of determining a value for each pixel of the current image (above discussion references to linear video processing).
現画像の50%(したがって最大のノイズ低下は3db又は1/2である); 50% of the current image (hence maximum noise reduction is 3db or 1/2);
XとYの中央値の平均値の15%; 15% of the average value of the median of the X and Y;
しきい値処理された時間的中央値の10%; 10% of the thresholded time median;
しきい値処理された時間的中央値のXとYの中央値の平均値の10%; 10% of the average value of the median of the X and Y thresholded temporal median;
及び3ウェイのX、Y及び時間的中央値の15%。 And 3-way X, Y and 15% of the temporal median.
【0175】 [0175]
このように、ベース層は、高解像度で強化された画像より狭いか又は短い(又は両方)画像の大きさを表すことができる。 Thus, the base layer may represent the magnitude of the high narrow or shorter than enhanced image resolution (or both) images. その結果、該強化層は、実際の写真を含んでいるのみならず、拡張された復元ベース層(すなわち拡張されたベース領域1102)の大きさに対応するグレイでバイアスされた画像の差分写真を含んでいる。 As a result, the reinforcing layer is not only contains the actual photograph, expanded restored base layer (i.e. extended base region 1102) difference photo biased image gray corresponding to the magnitude of the which comprise. 圧縮された強化層は標準のMPEGタイプの写真流として符号化されるので、端縁領域の実際の写真でありそして内部領域が差分写真であることは識別されず、両者符号化されて、フレームの同じ写真流でともにはこばれる。 Since the compressed enhancement layer is encoded as photo stream standard MPEG type, that the actual photograph is and the interior region of the edge region is a differential photo is not identified, are both encoded frame both carried in the same photo stream.
【0176】 [0176]
好ましい実施態様では、拡張された復元ベース層の大きさの外側の端縁領域は、通常の高解像度MPEGタイプ符号化流である。 In a preferred embodiment, the outer edge region of the size of the extended restored base layer is generally of a high-resolution MPEG type coding stream. 上記端縁領域は、高解像度写真の通常のMPEGタイプ符号化に対応する効率を有している。 The edge region has a efficiency corresponding to a normal MPEG type coding of high-resolution photographs. しかし、それは端縁領域であるから、差分写真領域内の動きベクトルは、境界領域(実際の写真情報を含む)を指向しないように拘束しなければならない。 However, it is because it is the edge area, the motion vector difference photographic area must be restrained from oriented boundary region (including the actual photograph information). また、境界の実写真領域の動きベクトルは、内部差分写真領域を指向しないように拘束しなければならない。 The motion vector of the actual photograph area boundaries must be restrained from oriented internal differential photograph area. このように、境界の実写真領域の符号化と差分写真領域の符号化は当然分離される。 Thus, the encoding of the actual photograph area boundaries and coding the differential photograph area is naturally separated.
【0177】 [0177]
上記のことは、原画像のすべての動きベクトルを見つけることによって達成できるが、動きベクトルを、内側の差分画像領域と外側境界の実写真領域の間の境界を横切らないように強制する。 Above it, can be accomplished by finding all the motion vectors of the original image, the motion vector is forced to not cross the boundary between the real photograph area inside the differential image region and an outer boundary. マクロブロックの境界が、該内側差分写真領域と外側境界の実写真領域との間の境界に入る場合、上記のことは最高に実施される。 Boundary macroblock, when entering the boundary between the inner differential photograph area and the actual photograph area of ​​the outer boundary, the above it is carried out best. その外に、実写真の境界を有する差分写真端縁がマクロブロックの中央領域内にある場合、差分写真領域と実写真境界の間の遷移を達成するため符号化する際に追加のビットを使用する必要がある。 On its outer, use additional bits when the difference photographic edge having a boundary of the actual photograph when within the central region of the macro block, for encoding to achieve a transition between the differential photograph area and the actual photo border There is a need to. したがって、マクロブロックの境界が、内側差分写真領域と外側境界の実写真領域の間の端縁と同じ端縁に存在している場合、最大の効率が得られる。 Therefore, the boundary macroblock, if present in the same edge as the edge between the inner differential photograph area and the actual photograph area of ​​the outer boundary, the maximum efficiency is obtained.
【0178】 [0178]
これらのハイブリッド差−プラス−実写真画像−拡張強化層写真を、符号化中の量子化器や速度バッファ制御装置は、境界実写真領域の信号の大きさが、内側差分写真領域のそれより大きいことを識別するため特別に調節する必要があることに留意すべきである。 These hybrid difference - plus - real image - an extended reinforcing layer photos, quantizer and speed buffer controller in the encoding, the magnitude of the signal of the boundary actual photograph area greater than that of the inner differential photograph area it should be noted that it is necessary to adjust specifically to identify.
【0179】 [0179]
境界実写真領域の大きさについてこの方法を使用する際、トレードオフがある。 When the size of the boundary real photograph area using this method, there is a trade-off. 境界の伸長が小さい場合、全流れに比例するビットの数は小さいが、動きベクトルの数が整合しないのでその小面積の相対効率は低下する。 If the boundary of the extension is small, the number of bits proportional to the total flow is small, the number of motion vectors do not match the relative efficiency of the small area is reduced. というのは、この整合が該境界領域の端縁から外れているからである。 As this alignment is because off the edge of the boundary region. これを調べるもう一つの方法は、辺/面積比(proportion of edge to area)が非常に小さい通常の画像長方形と異なり、境界領域が高い辺/面積比を有していることである。 Another way to test this is the side / area ratio (proportion of edge to area) is different from the very low normal image rectangle, is that the boundary region has a high side / area ratio. MPEG−2又はMPEG−4などの圧縮によって通常、符号化される、通常のディジタルビデオの典型的な内部長方形写真領域は、フレーム内の領域の大部分が、フレーム端縁の領域を除いて、通常、前のフレーム中に存在しているので、動きベクトルを見つけるとき、高い整合度を有している。 MPEG-2 or normal by compression, such as MPEG-4, are encoded, typical internal rectangular photo region of the conventional digital video, the majority of regions within the frame, except for the region of the frame edges, normally, present in the previous frame, when finding the motion vector has a high degree of matching. 例えば、パン上で、写真が現れるスクリーンの方向は、画像が各フレームに対してオフスクリーンから現れるので、一つの端縁に無から写真をつくらせねばならない。 For example, on the pan, the direction of the screen photograph appears, because the image appears from the off-screen for each frame, it must be made the photos from no to one edge. しかし、大部分の通常の写真長方形は前のフレームにおいてオンスクリーンであるので、動きベクトルを整合させることが最も多い。 However, since most of the conventional photographic rectangle is on the screen in front of the frame, most often to match the motion vector.
【0180】 [0180]
しかし、この本発明の境界伸長法を利用すると、該境界領域は、動きを補償する場合、前のフレーム中のオフスクリーンミスマッチ(off-screen mismatch)の比率が非常に高い。 However, the use of boundary extension method of the present invention, the boundary area, to compensate for motion, a very high proportion of the off-screen mismatch in the previous frame (off-screen mismatch). というのは、そのスクリーンの外側端縁と差分写真の内側端縁がともに、動きベクトルについて「制御対象外(out-of-bounds)」だからである。 Because the outer edges and the inner edge of the difference photograph of the screen are both, it is so "control excluded (out-of-bounds)," the motion vector. このように、効率がいくらか損失することは、ビット/画像面積(又は均等なビット/面積の尺度であるビット/画素もしくはビット/マクロブロック)として考察すると、この方法に固有のものである。 Thus, the efficiency is lost somewhat, when viewed as a bit / image area (or equivalent bit / area is a measure of bits / pixel or bit / macroblocks), it is specific to this method. したがって、境界領域が比較的小さいとき、この相対的非効率は、許容可能な全ビット速度の充分小さい部分である。 Therefore, when the boundary region is relatively small, the relative inefficiency is a sufficiently small fraction of the total allowable bit rate. 境界が比較的大きい場合、同様に、効率が高くなり、その部分はやはり許容可能である。 If the boundary is relatively large, similarly, the efficiency is increased, the part is still acceptable. 中位の大きさの境界はパン中にいくらか非効率になるが、この非効率は許容可能である。 The size of the boundary medium is made somewhat inefficient in pan, this inefficiency is acceptable.
【0181】 [0181]
効率をこの技法を使用して回復させることができる一方法は、ベース層解像度/強化層解像度のより単純な比率、例えば3/2、4/3及び特に2という完全ファクター(exact factor)をより狭いベース層に使える方法である。 One method that can be recovered using this technique the efficiency is more simple ratio of the base layer resolution / reinforcing layer resolution, for example a 3 / 2,4 / 3 and in particular completely factor that 2 (exact factor) more it is a method that can be used to narrow the base layer. 2というファクターを使用すると、特に、ベース層と解像度強化層を使用して全体を符号化する際に有意な効率を得るのに役立つ。 Using factor of 2, in particular, serve the whole by using the base layer and the resolution enhancement layer to obtain significant efficiency in coding.
【0182】 [0182]
また、低解像度の画像はより狭いスクリーンに最も自然に使用できるが、高解像度の画像は、より大きく、幅が広く及び/又は高さが高いスクリーンでより自然に見ることができる。 Although low-resolution image can be most naturally used narrower screen, high-resolution images, larger, it can be seen more naturally the screen is high wider and / or height.
【0183】 [0183]
ベース層解像度画像に対して「パン(pan)と走査」を実施するのに対応して、内側差分写真領域を連続的に動かすか又は再配置することも可能である。 In response to performing the "scan and pan (pan)" to the base layer resolution image, it is also possible to an inner differential photo region or repositioned continuously moving. そのとき、上部境界は動的なリポジション(dynamic re-position)と大きさと形態を有しているであろう。 Then, the upper border will have a size and shape as the dynamic repositioning (dynamic re-position). マクロブロックのアラインメントは、連続的パニングで通常失われるが、注意深くより大きな領域内にカット(cut)をアラインさせれば維持できる。 Alignment of the macro blocks is usually lost in a continuous panning, it can be maintained if caused to align the cut (cut) carefully within a larger area. しかし、最も単純で最も有効な構造は、完全なマクロブロックの境界上のベース層に対し内側差分写真の固定位置で心合せしたアラインメントである。 However, the most effective structure of the most simple and alignment relative to the base layer on the boundary of the complete macro-block and alignment in a fixed position inside the differential picture.
【0184】 [0184]
画像のフィルタリング Filtering of the image
ダウンサイジングフィルタとアップサイジングフィルタ ベース層を高解像度の原写真からつくる際に使用されるダウンサイジングフィルタが、適度な負のローブ、及びこの負のローブに続く非常に小さい第一の正のローブの後で停止する大きさを有していると、最適であることを実験が示している。 Downsizing filter used in making the downsizing filter and upsizing filter base layer from the original photograph of high resolution, a moderate negative lobes, and a very small first following the negative lobe of the positive lobe If has a size to stop later, it shows that experiments be optimal. 図12は、好ましいダウンサイジングフィルタの相対的形態、振幅及びロープの極性の線図である。 Figure 12 is a relative form of preferred downsizing filter, a diagram of the polarity of the amplitude and ropes. このダウンフィルタは、中央の正のローブ1200、隣りの(挟んでいる)小さい負のローブ1202の対称及び隣りの(挟んでいる)非常に小さい外側の正のローブ1204の対称対の台形にされた中央重み付け関数である。 The down filter, central positive lobe 1200 is a trapezoidal the next (sandwiched therebetween are) small (sandwich) negative lobes 1202 symmetric and next to very small symmetrical outward positive lobe 1204 pairs It was a central weighting function. これらローブ1200、1202、1204の絶対振幅は、図12に示す相対極性と相対振幅の不等相関関係が維持される限り、所望どおりに調節することができる。 The absolute amplitudes of these lobes 1200,1202,1204, unless unequal correlation between relative polarity and relative amplitudes shown in Figure 12 is maintained, can be adjusted as desired. しかし、その相対振幅の優れた第一近似は、接頭sinc関数[sinc(x)=sin(x)/x]で定義される。 However, good first approximation of the relative amplitude is defined by the prefix sinc function [sinc (x) = sin (x) / x]. このようなフィルタは別々に使用することができ、このことは、水平のデータ次元が独立してフィルタされ次にサイズ変更され次いで垂直のデータ次元が同様に処理され、また逆に処理されて、結果は同じであることを意味する。 Such filters can be used separately, this is processed independently horizontal data dimensions filtered then resized then the vertical data dimensions are processed similarly, and conversely, the results are meant to be the same.
【0185】 [0185]
ベース層オリジナルを(ベース層圧縮に対する入力として)、低ノイズ高解像度オリジナル入力からつくるとき、好ましいダウンサイジングフィルタは、正規のsinc関数の振幅を有する第一負ローブを有している。 The base layer original (as input to the base layer compression), when made from a low-noise high-resolution original input, preferably downsizing filter has a first negative lobe having an amplitude of the sinc function of the normal. 清浄でかつ高解像度の入力画像の場合、この正規接頭sinc関数(normal truncated sinc function)は良好に働く。 For cleaning and high resolution of the input image, the normal prefix sinc function (normal truncated sinc function) is work well. 低解像度(例えば1280×720、1024×768又は1536×768)の場合、及びノイズの多い入力写真の場合、該フィルタの第一負ローブの振幅は小さくした方がより最適である。 For low resolution (e.g., 1280 × 720,1024 × 768 or 1536 × 768), and for large input photographic noise, the amplitude of the first negative lobe of the filter is more optimal is better to small. このような場合の適切な振幅は、接頭sinc関数の負ローブの振幅の約1/2である。 Suitable amplitude in such a case is about 1/2 of the amplitude of the negative lobe of the prefix sinc function. 第一負ローブの外側の小さい第一正ローブも、一般に正規sinc関数の振幅の1/2〜2/3である。 Outer small first positive lobe of the first negative lobe is also generally the amplitude of 1/2 to 2/3 of the normal sinc function. 第一負ローブを減らすことの影響は重要な問題点である。 Effect of reducing the first negative lobe is an important problem. なぜならば、外側の小さい正のローブは写真のノイズに寄与しないからである。 This is because, outside of the small positive lobes is because does not contribute to the photograph of the noise. 第一正ローブの外側のさらなる試料は好ましくは切り縮められて、リンギングなどの潜在的アーチファクトを最小限にする。 A further sample of the outside of the first positive lobe preferably truncated to minimize the potential artifacts, such as ringing.
【0186】 [0186]
ダウンフィルタのよりマイルドな負のローブ(milder negative lobe)又は完全なsinc関数振幅の負のローブを用いるかどうかの選択は、原画像の解像度とノイズのレベルによって決まる。 Milder negative lobes (milder negative lobe) or selection of whether to use the negative lobe of the full sinc function amplitude of the down filter is determined by the level of resolution and noise of the original image. いくつものタイプのシーンが他のシーンより符号化を行いやすい(主として動きの大きさと特定のショットの変化に関連している)ので、前記選択はいくぶん画像コンテントの関数である。 Since several types of scenes easily performs coding than other scenes (primarily associated with changes in the size and particular shot movement), the selection is a function of the somewhat image content. 負のローブを減らした「よりマイルドな」ダウンフィルタを使用することによって、ベース層のノイズが減少しかつベース層のより清浄でかつより静かな圧縮が達成され、その結果アーチファクトが少なくなる。 By using the "more mild" down filter with a reduced negative lobes, noise of the base layer is achieved quieter compression and in cleaner of reduced and the base layer, resulting artifacts is reduced.
【0187】 [0187]
また、実験は、最適のアップサイジングフィルタが、中央の正ローブと隣りの小さい負のローブを有しているがそれ以上に正のローブを有していないことも示した。 Also, experiments optimal upsizing filter, but has a smaller negative robe next to the center of the positive lobe also showed that does not have a positive lobes more. 図13Aと13Bは、ファクター2でアップサイズする好ましいアップサイジングフィルタ一対の相対形態、振幅及びローブ極性の線図である。 Figure 13A and 13B are preferably upsizing filter pair of mutually form to upsize a factor 2, a diagram of amplitude and lobes polarity. 中央の正のローブ1300、1300'は、一対の小さな負のローブ1302、1302'に挟まれている。 Central positive lobe 1300,1300 ', a pair of small negative lobes 1302,1302' sandwiched. 非対称に配置された正のローブ1304、1304'も必要である。 Positive arranged asymmetrically lobe 1304,1304 'is also required. また、これらペアのアップフィルタも、新しくつくられた試料にセンタリングされた接頭sincフィルタと考えられる。 Also, up filter these pairs are also considered to have been centered in the newly created Sample prefix sinc filter. 例えば、ファクターが2のフィルタとして二つの新しい試料が各原試料に対してつくられる。 For example, factor is two new sample as a second filter made for each original sample. 隣りの小さい負のローブ1302、1302'は、対応するダウンサイジングフィルタ(図12)に使用される場合又は正常画像に対して最適の(サインベースの)アップサイジングフィルタに使う場合より小さい負の振幅をもっている。 Small negative lobes 1302,1302 'of neighbor, corresponding downsizing filters optimal for the case or normal image is used (FIG. 12) (the sign-based) negative amplitude less than using the upsizing filter it has. これはアップサイズされている画像が復元されるからであり、そして圧縮プロセスはスペクトル分布を変える。 This is because an image is restored has been upsized, and the compression process alters the spectral distribution. したがって、より適度の負のローブが、中央の正のローブ1300、1300'以外に追加の正のローブなしで、復元されたベース層をアップサイズするのにより良好に働く。 Therefore, a more modest negative lobes, without additional positive lobes in addition to the center of the positive lobe 1300,1300 ', works well with to upsize the restored base layer.
【0188】 [0188]
実験は、わずかな負のローブ1302、1302'が、正だけのガウスアップフィルタ又はスプラインアップフィルタよりも良好な階層化の結果を提供することを示した(スプラインアップフィルタは負のローブをもつことがあるが、正だけの形態で使用されることが最も多いことに注目すべきである)。 It experiments slight negative lobes 1302,1302 ', than a Gaussian-up filter or spline-up filter positive only been shown to provide results of good layering (spline-up filter with negative lobes there are, it should be noted that most often used in the positive-only form). したがって、このアップライジングフィルタは、符号器及び復号器の両者のベース層に使用される。 Accordingly, the up-rising filter is used in the base layer of both encoder and decoder.
【0189】 [0189]
写真ディテールの高オクターブの重み付け 好ましい実施態様では、原非圧縮ベース層入力画像を拡張する信号経路が、上記アップフィルタではなくてガウスアップフィルタを使用する。 The high octave weighting preferred embodiment of the photographic detail, the signal path that extends the original uncompressed base layer input image, using the Gaussian-up filter rather than the up filter. 特に、ガウスアップフィルタは、写真ディテールの「高オクターブ」に使用され、その「高オクターブ」は、拡張された原ベース解像度入力画像(圧縮を利用せず)を、原写真から減算することによって求められる。 In particular, the Gaussian-up filter is used in the "high octave" Photo detail, the "high octave" is determined by the extended original base resolution input image (without using compression), it is subtracted from the original photo It is. したがって、この特別のアップフィルタされた拡張に対して負のローブは全く使用されない。 Therefore, it not used at all negative lobes for this particular up filtered extension.
【0190】 [0190]
上記のように、MPEG−2の場合、この高オクターブ差の信号経路は一般に0.25(すなわち25%)重み付けされ、拡張された復元ベース層に(上記の他のアップフィルタを使用して)、強化層圧縮プロセスに入力として加えられる。 As described above, in the case of MPEG-2, the signal path of the high octave difference is generally 0.25 (i.e. 25%) are weighted, the expanded restored base layer (using other up filter above) , it applied as an input to the reinforcing layer compression process. しかし、実験は、10%、15%、20%、30%及び35%の重みが、MPEG−2を使う場合、特定の画像に有用であることを示した。 However, experiments, 10%, 15%, 20%, the weight of 30% and 35%, when using the MPEG-2, was shown to be useful for the particular image. 他の重みも有用であることが立証できる。 Other weights may also prove useful. MPEG−4の場合、4〜8%のフィルタ重みは、下記の他の改良とともに利用されると最適であることが見出されている。 In the case of MPEG-4, filter weights of 4% to 8% has been found to be optimal when used in conjunction with other improvements described below. したがって、この重み付けは、符号化システム、符号化/圧縮されるシーン、使用される特定のカメラ(又はフィルム)及び画像の解像度に応じて、調節可能なパラメータとみなすべきである。 Thus, this weighting, coding system, the coding / compressed by the scene, according to the resolution of a particular camera (or film) and an image to be used, should be regarded as adjustable parameters.
【0191】 [0191]
デ−インタレーシング(de-interlacing)及びノイズ低下の強化 De - strengthening of interlacing (de-interlacing) and noise reduction in
概要 実験は、多くのデ−インタレーシングのアルゴリズムと装置は、ヒトの眼に対応して、フィールドを結合し受容可能な結果をつくることを示した。 SUMMARY experiment, many de - the interlacing algorithms and apparatus, indicated that make in response to the human eye, it combines the fields acceptable results. しかし、圧縮のアルゴリズムはヒトの眼ではないので、デ−インタレースされたフィールドの結合は、このようなアルゴリズムの特性を考慮しなければならない。 However, since the compression algorithm is not a human eye, de - coupling of interlaced fields must consider the characteristics of such algorithms. このような注意深いデ−インタレースされた結合がないと、圧縮プロセスは、高レベルのノイズアーチファクトを生じ、画像の外観をアーチファクトでノイジーにかつビジィ(noisy and busy)にするのみならずビットを浪費する(圧縮を妨害する)。 Such careful de - Without bonds interlaced, the compression process results in a noise artifact of high level, wastes bit not only the busy to and noisy appearance of the image in the artifact (noisy and busy) to (interfere with compression). 視聴する場合[例えばライン−ダブラー(line-doubler)及びライン−クワドラプラー(quadrupler)で]のデ−インタレーシングと、圧縮に対する入力としてのデ−インタレーシングの差異が下記の技法をもたらした。 If view [for example, a line - doubler (line-doubler) and line - Kuwadorapura (quadrupler) at - and interlacing, de as an input to compression - data of the interlacing differences resulted in techniques described below. 特に、下記のデ−インタレーシング法は、上記階層化MPEG式、圧縮のみならず単一層非インタレース化MPEG式圧縮に対する入力として有用である。 In particular, data of the following - interlacing method is useful as an input to a single layer non-interlaced MPEG type compressor not the hierarchical MPEG type compression only.
【0192】 [0192]
さらにノイズの減少は、ノイズ出現を減らすこと以外に、圧縮アルゴリズムへの入力であるという要求に、同様に整合しなければならない。 Further reduction of noise, in addition to reducing the noise occurrence is the requirement that an input to the compression algorithm must match as well. その目標は、一般に、復元時に、原カメラ又はフィルム粒子のノイズを越えるノイズを一般に再現しないことである。 Its goal is generally at restore time, it is generally not to reproduce the noise exceeding the noise of the original camera or film grain. 等しいノイズは一般に、圧縮/復元の後、受け入れ可能と考えられる。 Equal noise typically after compression / decompression, is considered acceptable. ノイズが減られて、オリジナルと等しい鮮鋭さと清浄度を有することはボーナス(bonus)である。 Noise is reduced, to have the original equal sharpness and cleanliness are bonus (bonus). 下記のノイズ減少はこれらの目標を達成する。 Noise reduction of the following to achieve these goals.
【0193】 [0193]
さらに、通常、光が少ない、例えば高感度フィルムから又は高いカメラ感度の設定で非常にノイズが多いショットの場合、ノイズ減少は、優れた外観の圧縮/復元された画像と見るに耐えないほどノイズの多い画像との差である。 Further, usually, less light, for example, when a high speed film shot very noisy in setting or high camera sensitivity, noise reduction, so as not withstand regarded as being compression / decompression of excellent appearance image noise which is the difference between a lot of image. 圧縮プロセスは、圧縮器に対する許容性(acceptability)のなんらかのしきい値を超えるノイズを大きく増大する。 Compression process, a noise that exceeds some threshold of tolerance for compressor (acceptability) greatly increases. したがって、ノイズをこのしきい値より低く保つために、ノイズ減少のプリプロセッシングを利用することが、許容可能な良質の結果を得るために必要である。 Therefore, in order to keep the noise below this threshold, utilizing the pre-processing of noise reduction, it is necessary to obtain the results of acceptable quality.
【0194】 [0194]
デ−グレイニングフィルタ(de-graining De - graining filter (de-graining
filter)とノイズ減少フィルタ 階層化された符号化又は階層化されていない符号化を行う前にデ−グレイニングフィルタリング及び/又はノイズ減少フィルタリングを適用すると、圧縮システムが実行する性能が改良されるということが実験によって見出された。 filter) and noise reduction filter hierarchical coded or layered non de before performing the coding - Applying graining filtering and / or noise reduction filtering, that the performance of the compression system performs is improved it has been found by experiment. グレイン又はノイズの多い画像に対し、圧縮を行う前にデ−グレイニング又はノイズ減少を行うと最も効果的であるが、両方の方法は、比較的ノイズが低いが又はグレインが少ない写真に対してさえ適度に利用すると有用である。 To grain or noisy image, before performing the compression de - is most effective when performing graining or noise reduction, both methods are relatively low noise but or grain is small photo it is useful even moderate use. 幾種類もの既知のデ−グレイニングアルゴリズム又はノイズ減少アルゴリズムを適用できる。 Several types known data of even - can be applied graining algorithm or noise reduction algorithms. その例は「コアリング(coring)」、単純隣接中央値フィルタ類及びソフトニングフィルタ類である。 Examples are "coring (coring)" is simply adjacent median filter group and Softening filter group.
【0195】 [0195]
ノイズ減少が必要であるかどうかは、原画像がどれほどノイズが多いかによって決定される。 Whether it is necessary noise reduction is determined by whether the original image is how noisy. インタレース化された原画像の場合、インタレース自体はノイズの一形態であり、そしてその原画像は、下記の複雑なデ−インタレーシングプロセスに加えて追加のノイズ減少フィルタリングが通常必要である。 For interlaced original image, interlaced itself is a form of noise, and the original image, complex data of the following - interlacing added to process additional noise reduction filtering is usually necessary. プログレッシングスキャン(インタレースなし)のカメラ又はフィルム画像の場合、ノイズプロセッシングは、ノイズが特定のレベルを超えて存在しているとき、階層化圧縮及び非階層化圧縮を行うのに有効である。 If the camera or film images of programming Lessing scan (without interlacing), noise processing, when the noise is present beyond a certain level, it is effective to perform the hierarchical compression and non-layered compression.
【0196】 [0196]
異なるタイプのノイズがある。 There are different types of noise. 例えば、フィルムからのビデオトランスファーはフィルムグレインノイズを含んでいる。 For example, a video transfer from the film includes a film grain noise. フィルムグレインノイズは、イエロー、シアン及びマゼンタのフィルム色素に結合している銀粒子によって生じる。 Film grain noise is caused by the silver particles bound yellow, the film dyes cyan and magenta. イエローはレッドとグリーンの両者に影響し、シアンはブルーとグリーンの両者に影響し、そしてマゼンタはレッドとブルーの両者に影響する。 Yellow affects both the red and green, cyan affect both the blue and green, and magenta affects both the red and blue. レッドはイエロー色素とマゼンタ色素の結晶がオーバーラップした場所に生成する。 Red is generated in the place where the crystal was overlap of yellow dye and magenta dye. 同様に、グリーンはイエローとシアンのオーバーラップしたものでありそしてブルーはマゼンタとシアンのオーバーラップしたものである。 Similarly, green is intended overlapping of yellow and cyan and blue is obtained by overlapping of magenta and cyan. したがって、カラー間のノイズは、カラーのペア間の色素と粒子によって、部分的に相関関係がある。 Thus, noise between colors, by dye and particles between color pairs, partially correlated. さらに、多数の粒子が三色全体でオーバーラップすると、これら粒子は、画像のプリントのダーク領域で又は画像のライト領域のネガ上で(ネガ上のダーク)オーバーラップするので、追加の色混合が生じる。 Furthermore, a large number of particles overlap across the three colors, these particles are therefore overlap (dark on the negative) in dark areas of an image of the print or image light area negatives on the of, additional color mixing occur. カラー間のこの相関関係は、フィルムのグレインノイズを減らすのに利用できるが複雑なプロセスである。 The correlation between colors, can be utilized to reduce the grain noise of the film is a complex process. さらに、多数の異なるフィルムのタイプが使用され、そして各タイプは、粒子の大きさ、形態及び統計的分布状態が異なっている。 Furthermore, in use the type of a number of different films, and each type is the size of the particles, morphology and statistical distribution is different.
【0197】 [0197]
CCDセンサ及び他の(例えば管)センサカメラがつくるビデオ画像の場合、レッド、グリーン及びブルーのノイズは相関関係がない。 If the CCD sensor and the other (e.g., tubes) sensor camera make the video image, red, green and blue noise has no correlation. この場合、レッド、グリーン及びブルーの記録を別々に処理することが最良である。 In this case, it is best to process red, green and recording blue separately. したがって、レッドのノイズは、グリーンノイズとブルーノイズを、別々に、セルフレッド処理(self-red processing)することによって減らされ、同じ方法がグリーンノイズとブルーノイズに当てはまる。 Thus, red noise, green noise and blue noise, separately, reduced by self-red processing (self-red processing), the same method applies to the green noise and blue noise.
【0198】 [0198]
したがって、ノイズの処理は、ノイズ源自体の特性に最良に整合される。 Therefore, the processing of the noise is aligned with the best the characteristics of the noise source itself. コンポジット画像(複数のソースからの)の場合、そのノイズが、画像の異なる部分では特性が異なることがある。 For composite images (from multiple sources), that noise, the different parts of the image may have different characteristics. この場合、ノイズ処理が必要なとき、汎用ノイズ処理(generic noise processing)が唯一の選択肢である。 In this case, when the noise processing is required, a general-purpose noise processing (generic noise processing) is the only choice.
【0199】 [0199]
場合によっては、圧縮された階層化データ流を復号した後、有意義な作用として、「リ−グレイニング(re-graining)」又は「リ−ノイジング(re-noising)」を実行することが有用であることも見出された。 Sometimes, after decoding the compressed hierarchical data stream, as meaningful action, "Li - graining (re-graining)" or "re - Noijingu (re-noising)" is useful to run also it found that there is. というのは、一部のデーグレイン化又はデーノイズ化された画像が、外観が「清浄すぎる」か又は「迫力がなさすぎる(too sterile)」ことがあるからである。 Because the part of the data-grained or Denoizu of image is, is because the appearance is sometimes "clean too" or "force is too name of (too sterile)". リ−グレイニング及び/又はリ−ノイジングは、幾種類もの既知のアルゴリズムのどれでも使用して、復号器で加える比較的容易な作用である。 Li - grained and / or re - Noijingu is to use any of the known algorithms several kinds, it is relatively easy action added in the decoder. 例えば、これは、適切な振幅の低域フィルタされたランダムノイズを加えることによって達成することができる。 For example, this may be accomplished by adding a random noise is low pass filter suitable amplitude.
【0200】 [0200]
圧縮する前のデ−インタレーシング 上記のように、非インタレース化表示を最終的に意図している、インタレース化されたソースを圧縮する好ましい方法は、インタレース化されたソースを、圧縮ステップの前にデ−インタレース化するステップを含んでいる。 Before compressing de - as interlacing above, it is intended to display non-interlaced final, preferred method for compressing a source that is interlaced can, a source that is interlaced, the compression step it includes the step of interlaced - de before. 信号を、受信器内で復号した後、デ−インタレースすることは(受信器内で該信号はインタレース化モードで圧縮されている)、圧縮前にデ−インタレース化され次いでインタレース化されていない圧縮信号を送るよりコストがかかりかつ効率が悪い。 The signal, after decoding in the receiver, de - be interlaced (the signal in the receiver is compressed in the interlaced mode), de before compression - are interlaced and then interlaced consuming and inefficient cost than sending a compressed signal which is not. そのインタレース化されていない圧縮信号は、階層化されているか又は階層化されていなくても(すなわち通常の単一層圧縮でも)よい。 Its interlaced which are not compressed signal, even if it is not or layered are layered (i.e., in a normal single-layer compression) good.
【0201】 [0201]
インタレース化されたソースの単一フィールドをフィルタし次にそのフィールドを、あたかもインタレース化されていない完全フレームであるように使用すると、劣ったノイズの多い圧縮結果がもたらされることを、実験が示した。 Then that field to filter the single field of interlaced by a source and if it were used as is fully frames that are not interlaced, to be brought more compression result of poor noise, experimental Indicated. したがって、圧縮する前に、単一フィールドのデ−インタレーサを使うのは良い方法ではない。 Therefore, before compressing, data of a single field - to use the interlacer is not a good method. 代わりに、実験は、前の、現行の及び次のフィールドフレームそれぞれに対し、[0.25、0.5、0.25]の重みをつけて、フィールド合成フレーム(「フィールド−フレーム」)を使用する3フィールドフレームデ−インタレーサ法が、圧縮に対して優れた入力を提供することを示した。 Instead, the experiment, before, for each current and the next field frame, with a weight of [0.25,0.5,0.25], field synthesis frame - the ( "field frame") 3 field frame de use - interlacer methods were shown to provide excellent input to compression. 3フィールドフレームの結合を、他の重みを利用して実施して(これらの重みは最適の重みであるが)、圧縮プロセスに対するデ−インタレース化された入力をつくることができる。 The binding of 3-field frame, and performed using other weights (these weights are a weight optimal), de to compression process - can make input which is interlaced.
【0202】 [0202]
好ましいデ−インタレースシステムでは、フィールドデ−インタレーサを、全プロセスの第一ステップとして使用してフィールドフレームをつくる。 The interlaced system, field de - - preferred de the interlacer, make field frame using a first step of the overall process. 特に各フィールドは、デ−インタレース化されて合成フレームをつくり、その合成フレームには、フレーム中のラインの総数がフィールド中の半数のラインから誘導される。 Particularly Each field de - make interlacing has been synthesized frames, Its synthesis frame, the total number of lines in a frame is derived from the half of the line in the field. したがって、例えば、インタレース化された1080ラインの画像は偶数と奇数のフィールド当り540ラインを有し、各フィールドは1/60秒を表す。 Thus, for example, interlaced been 1080-line image having an even and odd fields per 540 lines, each field representing the 1/60 second. 通常、540ラインからなる偶数と奇数のフィールドがインタレース化されて、各フレームに対して1080ラインずつつくる。 Usually, even and odd fields consisting of 540 lines is interlaced, making every 1080 lines for each frame. そのフレームは1/30秒を表す。 The frame represents 1/30 of a second. しかし、好ましい実施態様では、該インタレーサが、各走査線を、指定のフィールド(例えば奇数のフィールド)からの改変なしで、デ−インタレース化された結果のいくらかを保持するバッファに複写する。 However, in a preferred embodiment, the interlacer is, the scanning lines, without modification of the specification of the field (e.g., odd field), De - copied to a buffer for holding some of the interlaced result. 該フレームのための残りの中間走査線(この実施例では偶数の走査線)は、新しく記憶された各ラインの上方のフィールドラインの1/2及び新しく記憶された各ラインの下方のフィールドラインの1/2を加えることによって合成される。 The remaining intermediate scan line for the frame (the even scan lines in this example), the newly stored for each line the upper field lines of 1/2 and the newly stored field lines below each line It is synthesized by adding 1/2. 例えば、一フレームに対するライン2の画素値は各々、ライン1及びライン3各々からの対応する画素値を合計した画素値の1/2を含んでいる。 For example, the pixel values ​​of the line 2 for one frame each include a half of the pixel values ​​obtained by summing the corresponding pixel values ​​from line 1 and line 3 respectively. 中間合成走査線の作成は、フライ(fly)に対してなされるか、又は一フィールドからのすべての走査線がバッファに記憶された後に計算されてもよい。 Creating intermediate combined scan line is either made to fly (fly), or all of the scanning lines from a field may be calculated after stored in the buffer. 同じプロセスが次のフィールドにも繰り返されるが、そのフィールドのタイプ(すなわち、偶数、奇数)は逆である。 The same process is repeated in the next field, type of field (i.e., even, odd) is reversed.
【0203】 [0203]
図14Aは奇数フィールドデ−インタレーサのブロック図であり、奇数フィールド1400からの奇数ラインが、デ−インタレース化された奇数フィールド1402に単純に複写され、一方、偶数ラインが、原奇数フィールドからの隣接奇数ラインを平均することによってつくられて、デ−インタレース化奇数フィールド1402の偶数ラインが形成されることを示している。 Figure 14A is an odd field de - a block diagram of a interlacer, odd lines from the odd field 1400, de - are simply copied to the odd field 1402 interlaced, while even lines, from the original odd field made by averaging the neighboring odd lines, de - shows that the even lines of interlaced odd field 1402 are formed. 同様に図14Bは偶数フィールドデ−インタレーサのブロック図であり、偶数フィールド1404からの偶数ラインが、デ−インタレース化された偶数フィールド1406に単純に複写され、一方、奇数ラインが、原偶数フィールドからの隣接する偶数ラインを平均することによってつくられて、デ−インタレース化偶数1406の奇数ラインが形成されることを示している。 Similarly, FIG. 14B is an even field de - a block diagram of a interlacer, even lines from even field 1404, de - are simply copied to the even field 1406 interlaced, while the odd lines, the original even field the adjacent even lines from being made by averaging, de - shows that the odd lines of the interlaced even number 1406 is formed. この場合は「トップフィールドファースト」に相当し、また「ボトムフィールドファースト」は「偶数」フィールドと考えられることに留意すべきである。 In this case corresponds to the "top field first", also "bottom field first" should be noted that considered "even" field.
【0204】 [0204]
次のステップとして、一連のこれらデ−インタレース化フィールドを、3フィールドフレームデ−インタレーサへの入力として使用して最終のデ−インタレース化フレームがつくられる。 As a next step, a series of de - the interlaced field, 3-field frame de - final de be used as an input to the interlacer - is interlaced frame is created. 図15は、各出力フレームの画素が、どのようにして、前のデ−インタレース化フィールド(フィールドフレーム)1502からの対応する画素の25%、現行のフィールドフレーム1504からの対応する画素の50%及び次のフィールドフレーム1506からの対応する画素の25%で構成されているかを示すブロック図である。 Figure 15 is a pixel of the output frame, and how, before the de - 50 of the corresponding pixels of 25% of the corresponding pixel from the interlaced field (field frame) 1502, the current field frame 1504 % and a block diagram showing how is composed of 25% of the corresponding pixel from the next field frame 1506.
【0205】 [0205]
そのとき、前記新しいデ−インタレース化フレームは、フレーム間のインタレース差のアーチファクトが、該フレームが構成されている3フィールドフレームよりはるかに少ない。 Then, the new de - interlacing frames, artifacts interlace difference between frames, much less than 3-field frame in which the frame is constructed. しかし、前のフィールドフレームと次のフィールドフレームを、現行のフィールドフレームに加えることによる時相スミアリング(temporal smearing)がある。 However, the previous field frame and the next field frame, there is a time phase smearing (temporal smearing) by adding the current field frame. この時相スミアリングは、特にもたらされるデ−インタレース化の改良の見地から、通常、差し支えない。 The temporal smearing is particularly effected by de - from the standpoint of improvement of interlaced, usually no problem.
【0206】 [0206]
このデ−インタレース化法は、単一層(階層化されていない)又は階層化された単一層であろうとも、圧縮への入力として非常に有益である。 The de - interlacing method, even would be a single layer (not hierarchized) or layered single layer, it is very useful as an input to the compression. またこのデ−インタレース化法は、提示、視聴又は静止フレームの製作のためのインタレース化ビデオの処理として、圧縮の利用とは独立して有益である。 Also this de - interlacing method, presented as the processing of interlaced video for the fabrication of view or stationary frame, and use of compression is beneficial independently. 該デ−インタレース化法由来の写真は、インタレースを直接示すか又はデ−インタレース化フィールドを示すより「清浄」に見える。該De - Photos from the interlaced method, or de-show interlaced directly - look to "clean" than showing the interlaced field.
【0207】 [0207]
デ−インタレースのしきい値処理 先に考察したデ−インタレース3フィールド合計重み付け[0.25、0.5、0.25]は安定した画像を提供するが、一シーンの動く部分が時々軟調になるか又はエイリアシングアーチファクトを示すことがある。 De - de discussed in thresholding destination interlaced - interlaced 3 field total weight [0.25,0.5,0.25] is to provide a stable image, sometimes the portion of movement of one scene it may indicate whether or aliasing artifacts become weak. これに対抗するため、[0.25、0.5、0.25]時相フィルタの結果を、中央フィールドフレームだけの対応する画素値に対して比較するしきい値試験を適用できる。 To counter this, [0.25,0.5,0.25] The results of the temporal filter can be applied to the threshold test comparing only for the corresponding pixel value central field frame. 中央フィールドフレームの画素値が、3フィールドフレーム時相フィルタ由来の対応する画素の値と、指定のしきい値の大きさを超える差がある場合、中央フィールドフレームの画素値だけが使用される。 Pixel value of the central field frame, if there is a difference greater than the value of the corresponding pixel from the phase filter time 3 field frames, the size of the specified threshold, only the pixel value of the central field frames are used. このように、3フィールドフレーム時相フィルタ由来の画素は、画素値が、単一のデ−インタレース化中央フィールドフレームの対応する画素との差がしきい値の大きさより小さい場合に選択され、そしてその差がしきい値より大きい場合は、中央フィールドフレームの画素値が使用される。 Thus, the pixels from the phase filter time 3 field frame, pixel values, a single de - the difference between the corresponding pixel of the interlaced central field frame is selected if less than the size of the threshold, and the difference is larger than a threshold value, the pixel value of the central field frames are used. これによって、速い動きを、フィールド速度で追跡し、次いで画像のより平滑な部分をフィルタし、3フィールドフレーム時相フィルタで平滑化することができる。 Thus, a rapid movement, track field rate, then the smoother parts of the image filter can be smoothed by a phase filter time 3 field frames. この組合せは、最適ではないにしても、圧縮に対する有効な入力であることが証明された。 This combination, if not optimal, it has proven an effective input for the compression. また、画像マテリアルをデ−インタレースすることは[表示と共同のラインダブリング(line doubling in conjunction In addition, out of the image material - it is interlaced The View co-of line doubling (line doubling in conjunction
with display)と呼称されることもある]、直接視聴のための処理に対し非常に有効でもある。 Also with display) and be called, is also very effective for processing for direct viewing.
【0208】 [0208]
このようにしきい値を決定する好ましい実施態様では、中央(単一)デ−インタレース化フィールドフレーム画像と3フィールドフレームのデ−インタレース化画素から対応するRGBカラー値を求めるために下記式が使用される。 In such preferred embodiment for determining the threshold value, the central (single) de - interlaced-field frame image and the third field frame de - following formula to determine the RGB color value corresponding the interlaced pixels used.
Rdiff=R_単一_フィールド_デ−インタレース化 マイナス R_3_フィールド_デ−インタレース化Gdiff=G_単一_フィールド_デ−インタレース化 マイナス G_3_フィールド_デ−インタレース化Bdiff=B_単一_フィールド_デ−インタレース化 マイナス B_3_フィールド_デ−インタレース化しきい値処理値=abs(Rdiff+Gdiff+Bdiff)+abs(Rdiff)+abs(Gdiff)+abs(Bdiff) Rdiff = R_ single _ field _ de - interlaced minus R_3_ field _ de - interlaced Gdiff = G_ single _ field _ de - interlaced minus G_3_ field _ de - interlaced Bdiff = B_ single _ field _ de - interlaced minus B_3_ field _ de - interlacing threshold processing value = abs (Rdiff + Gdiff + Bdiff) + abs (Rdiff) + abs (Gdiff) + abs (Bdiff)
【0209】 [0209]
次に上記しきい値処理値をしきい値設定値と比較する。 Then compared with a threshold setting of the threshold value processing value. 典型的なしきい値設定値は0.1〜0.3の範囲内にあり、0.2が最も一般的である。 Typical threshold setting is in the range of 0.1 to 0.3, 0.2 being the most common.
【0210】 [0210]
このしきい値からノイズを除くため、3フィールドフレームと単一フィールドフレームのデ−インタレース化写真のスムースフィルタリングを使用した後、それら写真を比較してしきい値処理することができる。 To remove noise from the threshold, 3-field frame and data of a single field frame - after using Smooth filtering interlaced photograph, it is possible to compare them photographic thresholding. このスムースフィルタリングは、ダウンフィルタリング(例えば、好ましくは上記ダウンフィルタを使用して2回ダウンフィルタする)し次にアップフィルタリングする(例えば、ガウスアップフィルタを2回使用する)ことによって達成することができる。 The smooth filtering, down filtering (e.g., preferably the using down filter twice down filter) may be accomplished by then up filtering (e.g., using a Gaussian-up filter 2 times) . この「ダウン−アップ」スムース化フィルタは、単一フィールドフレームデ−インタレース化写真と3フィールドフレームデ−インタレース化写真の両者に適用できる。 This "down - up" smooth filter, a single field frame de - interlaced pictures and 3 field frame de - can be applied to both the interlaced photos. 次に、上記のスムース化された、単一フィールドフレーム写真と3フィールドフレーム写真を比較してしきい値処理値を計算し、次いでしきい値処理を行ってどちらの写真が各最終出力画素のソースであるかを確認することができる。 Next was smoothed above, by comparing the single field frame pictures and 3-field frame photo calculates the thresholding value, then either performs thresholding photograph of each final output pixel it is possible to confirm whether the source.
【0211】 [0211]
特に、上記しきい値試験は、単一フィールドフレームデ−インタレース化写真か、単一フィールドフレームデ−インタレース化写真の3フィールドフレーム時相フィルタによる結合体を選択するスイッチとして使用される。 In particular, the threshold test, a single field frame de - or interlaced pictures, a single field frame de - is used as a switch for selecting the conjugate according to the phase filter time 3-field frame of interlaced pictures. その結果、この選択によって下記画像がもたらされる。 As a result, the following images are provided by this selection. すなわち画素が、その画像が単一フィールドフレーム画像との差が小さい(すなわちしきい値より小さい)領域における3フィールドフレームデ−インタレーサ由来の画素である画像、及び画素が、3フィールドフレームが単一フィールドフレームデ−インタレース化画素(スムース化後)との差が大きかった(すなわちしきい値より大きい)領域における単一フィールドフレーム画像由来の画素である画像がもたらされる。 That pixel, the image is 3-field frame de in a single field difference between the frame image is small (i.e., less than the threshold) region - a pixel from interlacer image, and pixels, 3-field frame single field frame de - image is a pixel from a single field frame image in (i.e. greater than a threshold) area difference is larger between the interlaced pixel (after smoothed) is provided.
【0212】 [0212]
この方法は、単一フィールドファーストモーションディテールを維持し(単一フィールドフレームデ−インタレース化画素にスイッチすることによって)しかもその画像の大きな部分をスムース化する(3フィールドフレームデ−インタレース化時相フィルタ結合にスイッチすることによって)のに有効であることを証明した。 This method maintains a single field first motion detail (single field frame de - interlaced by switching the race of pixels) Moreover Smooth the large part of the image (3-field frame de - when interlaced It proved to be effective in) for by switching the phase filter binding.
【0213】 [0213]
単一フィールドフレームデ−インタレース化画像か3フィールドフレームデ−インタレース化画像の選択を行うことに加えて、単一フィールドフレーム画像を少し、3フィールドフレームデ−インタレース化写真に加えて、単一フィールド写真の全画像にわたる即時性をいくらか維持することも有益なことが多い。 Single field frame de - In addition to the selection of interlaced image, a bit of a single field frame image, 3-field frame de - - interlaced image or three-field frames de In addition to interlacing pictures, some also often beneficial to maintain immediacy over the entire image of a single field photographs. この即時性は、3フィールドフレームフィルタの時相スムースネスと釣り合いがとられている。 The immediacy, it has been taken phase smooth ness and balance when three field frame filters. 一般的なブレンディングは、33.33%(1/3)の単一中央フィールドフレームを66.67%(2/3)の対応する3フィールドフレームスムース化画像に加えることによって新しいフレームをつくるブレンディングである。 Typical blending in blending to create a new frame by adding the corresponding 3-field frame smoothed images 66.67% of a single central field frame 33.33% (1/3) (2/3) is there. これは、どちらであっても結果は同じなので、しきい値切換えの前後に行うことができ、スムース化された3フィールドフレーム写真に影響するだけである。 This is because the results be either the same, can be performed before and after the threshold switching, only affects the smoothed been 3 field frames photo. これは、原3フィールドフレームの重み「0.25、0.5、0.25」以外の異なる比率の3フィールドフレームを使用することに事実上等しいことに注目すべきである。 This should be noted that virtually equivalent to the use of 3-field frame of different ratios other than the weight "0.25,0.5,0.25" original 3-field frames. 「0.25、0.5、0.25」の2/3プラス(0、1、0)の1/3を計算すると、[0.1667、0.6666、0.1667]が3フィールドフレームの時相フィルタとして得られる。 Calculating 1/3 2/3 plus (0,1,0) of the "0.25,0.5,0.25" [0.1667,0.6666,0.1667] 3 field frames obtained as a phase filter when. より重く重み付けられた中央(現行)フィールドフレームは、しきい値の値より低くなったスムース化領域でさえ、追加の即時性を結果にもたらす。 More heavily weighted center (current) field frame, even smoothed region becomes lower than the threshold value, resulting in additional immediacy of the result. この組合せは、シーンの動く部分に対するデ−インタレース化プロセスにおいて時相スムースネスを即時性と釣り合わせるのに有効であることを証明した。 This combination de against moving parts of the scene - proved to be effective in balancing the immediate phase smooth ness when the interlace process.
【0214】 [0214]
線形フィルタの使用 ビデオ写真を含む和(sum)、フィルタ又はマトリックスは、ビデオ内の画素値が非線形信号であることを考慮しなければならない。 Sum involving the use video photo linear filters (sum), the filter or matrix, the pixel value in the video must consider that it is a non-linear signal. 例えば、HDTVのビデオカーブは係数及びファクターがいくらか変化していてもよいが、一般的な式は国際CCIRXA−11(現在はRec.709と呼ばれている)である。 For example, a video curve HDTV is the coefficient and factors may be somewhat changed, the general formula is an international CCIRXA-11 (currently is called Rec. 709).
V=1.0993*L 0.45 −0.0993 L>0.018051の場合V=4.5*L L≦0.018051の場合上記式中、Vはビデオ値であり、そしてLは線形ライトルミナンスである。 V = 1.0993 * L 0.45 -0.0993 L > For 0.018051 For V = 4.5 * L L ≦ 0.018051 In the above formula, V is a video value, and L is a linear light Lumina is Nsu.
【0215】 [0215]
これらの変化は、しきい値(0.018051)を少し調節し、ファクター(4.5)を少し調節し(例えば4.0)そしてべき指数(0.45)を少し調節する(例えば0.4)。 These changes, to adjust the threshold (.018051) little factor (4.5) was slightly adjusted (e.g. 4.0) and slightly adjusting the exponent (0.45) should (for example, 0. 4). しかし、基本式は同じままである。 However, the basic formula remains the same.
【0216】 [0216]
RGBとYUVの間の変換などのマトリックスオペレーションは線形値を示唆している。 Matrix operations, such conversion between RGB and YUV suggests linear value. MPEGが一般に、ビデオの非線形値を、それらの値があたかも線形であるように使用することから、ルミナンス(luminance)(Y)とカラー値(UとV)の間の漏洩が起こる。 MPEG to general, non-linear values ​​of the video, since those values ​​are used as if is linear, leakage between the luminance (luminance) (Y) and color values ​​(U and V) occurs. この漏洩は圧縮の効率を阻害する。 This leakage is to inhibit the efficiency of compression. 対数表現を、例えばフィルム密度の単位で使用するように使うと、この問題が大きく修正される。 A logarithmic representation, using for use in units of, for example, the film density, this problem is greatly modified. 各種タイプのMPEG符号化は、信号の非線形アスペクトに対してニュートラルであるが、その効率は、RGBとYUV間のマトリックス変換を利用することによって達成される。 Various types of MPEG encoding is a neutral relative to the non-linear aspects of the signal, its efficiency is achieved by utilizing a matrix conversion between RGB and YUV. YUV(U=R−Y、V=B−Y)は、0.59Gプラス0.29Rプラス0.12Bの線形化合計(又はこれら係数のわずかの変化)として計算されたYを含んでいなければならない。 YUV (U = R-Y, V = B-Y) are not contain the calculated Y as linearized sum of 0.59G plus 0.29R plus 0.12B (or slight changes of these coefficients) shall. しかし、U(=R−Y)は、ルミナンスに直交している対数空間のR/Yに等しくなる。 However, U (= R-Y) is equal to R / Y logarithmic space are orthogonal to the luminance. したがってシェードされたオレンジボール(orange ball)は、対数表現のU(=R−Y)パラメータを変えない。 Thus shaded the orange ball (orange ball) is, U logarithmic representation (= R-Y) does not change the parameters. ブライトネスの変化は、完全なディテールが提供される場合、ルミナンスパラメータに完全に表される。 Change in brightness, if full details are provided, completely represented in luminance parameter.
【0217】 [0217]
線形対対数対ビデオの問題点はフィルタリングに強い影響を与える。 Problems of the linear-to-logarithmic-to video impact the filtering. 注目すべきキーポイントは、小さい信号の変動(例えば10%以下)は、非線形ビデオ信号が、あたかも線形信号であるように処理されるとき、ほぼ修正されることである。 Key points to note is, variations in the small signal (e.g., 10% or less), non-linear video signal, though when processed to be a linear signal is to be substantially modified. これは、スムースビデオ−ツー−フロム−線形変換カーブ(smooth video-to-from-linear conversion curve)に対する区分的線形近似が妥当であるからである。 This smooth video - Two - From - piecewise linear approximation to the linear transformation curve (smooth video-to-from-linear conversion curve) is because it is reasonable. しかし、変動が大きい場合、線形フィルタの方がはるかに有効であり、はるかに良好な画質が得られる。 However, when the variation is large, a much more advantageous linear filters, much better quality is obtained. したがって、大きな変動が最適に符号化され、変換され又は他の方法で処理されることになっている場合、線形フィルタを利用できるように、第一に非線形信号を線形信号に変換することが望ましい。 Therefore, large variations are optimally encoded, if that is to be processed in transformed or otherwise, to take advantage of the linear filter, it is desirable to convert the non-linear signal into a linear signal to a first .
【0218】 [0218]
それ故、デ−インタレース化は、各フィルタと加算ステップが、フィルタリング又は加算を行う前に、線形値への変換を利用するとき非常に優れている。 Therefore, de - interlaced, each filter and the summing step, before performing the filtering or addition, are very good when using the conversion to a linear value. これは、大きな信号変動が画像の小さなディテールにおけるインタレース化信号に固有なものだからである。 This large signal change is because specific to interlaced signal in the small image detail. その画像信号は、フィルタリングの後、非線形ビデオディジタル表現に変換して戻される。 The image signal, after filtering, are converted back to the nonlinear video digital representation. したがって、3フィールドフレーム重み付け(例えば[0.25、0.5、0.25]又は[0.1667、0.6666、0.1667])を、線形化ビデオ信号に実施しなければならない。 Thus, the 3-field frame weighting (e.g. [0.25,0.5,0.25] or [0.1667,0.6666,0.1667]) must be carried out linearized video signal. ノイズとデ−インタレースフィルタリングにおけるパーシャルターム(partial term)の他のフィルタリングと重み付けの和も、計算を行うため線形に変換しなければならない。 Noise and de - sum of other filtering and weighting of partial terms (partials term) in interlace filtering must also be converted calculated linear for performing. どのオペレーションが線形処理を保証するかは、信号の変動とフィルタリングのタイプによって決定される。 Which operations to ensure linear processing is determined by the type of change and filtering of the signal. 画像のシャープニングは、セルフ−プロポーショナル(self-proportional)であるから、ビデオ又は対数非線形の表現で適切に計算することができる。 Sharpening an image is self - because it is proportional (self-proportional), can be appropriately calculated in terms of video or logarithmic nonlinear. しかし、マトリックスプロセッシング、空間フィルタリング、重み付け合計及びデ−インタレースプロセッシングは、線形化されたディジタル値を使用して計算しなければならない。 However, matrix processing, spatial filtering, weighted sum and de - interlacing processing shall be calculated using the linearized digital values.
【0219】 [0219]
単純な一実施例として、上記の単一フィールドフレームデ−インタレーサは、実際のライン各々の上と下のラインを平均することによって、ミッシング代替ライン(missing alternate line)を計算する。 As one simple example, the above single field frame de - interlacer, by averaging the actual line each above and below the line, to calculate the missing alternate line (missing alternate line). この平均操作は、線形で行われると、数字的にかつ視覚的に極めて正しい。 The average operation, when performed in a linear, numerically and visually quite correct. したがって、上のラインの0.5倍と下のラインの0.5倍を合計する代わりに、そのディジタル値が第一に線形化され、次に平均され次いで非線形ビデオ表現に再度変換されて戻される。 Therefore, instead of a total of 0.5 times the 0.5 times and under the line above the line, the digital values ​​are linearized first, then averaged and then back is again converted to a non-linear video presentation It is.
【0220】 [0220]
2/3ベース層に基づいた階層化モード 1280×720強化層は864×480ベース層を利用できる(すなわち、強化層とベース層の間の2/3の関係)。 2/3 base layer layered mode 1280 × 720 reinforcing layer based on the available 864 × 480 base layer (i.e., 2/3 the relationship between the reinforcing layer and the base layer). 図16はこのようなモードのブロック図である。 Figure 16 is a block diagram of such a mode. 1280×720の原画像1600は、1296×720パッド(pad)され(16の整数倍であるように)次に2/3倍ダウンサイズして864×480画像1602とする(やはり16の整数倍)。 Original image 1600 of 1280 × 720 is, 1296 × 720 (to be an integer multiple of 16) pads (Pad) is then a 864 × 480 image 1602 by 2/3 down size (also 16 an integral multiple of ). そのダウンサイジングは、好ましくは、正規フィルタ(normal filter)又はマイルドな負のローブを有するフィルタを使用する。 Its downsizing preferably using a filter having a normal filter (normal filter) or mild negative lobes. 上記のように、このダウンサイズされた画像1602は、第一符号器1604(例えば、MPEG−2符号器又はMPEG−4符号器)に入力されて、ベース層として直接符号化することができる。 As described above, the image 1602 this is downsized, it is possible first coder 1604 (eg, MPEG-2 encoder or MPEG-4 encoder) is input to be encoded directly as the base layer.
【0221】 [0221]
強化層を符号化するため、ベース層を3/2倍アップサイズして(拡張し次いでアップフィルタして)1296×720中間フレーム1606にする。 For encoding the enhancement layer, the base layer is 3/2 upsize (expanded then up filter) to 1296 × 720 intermediate frame 1606. 上記アップフィルタは好ましくはマイルドな負のローブを有している。 The uplink filter preferably has a mild negative lobes. この中間フレーム1606は現画像1600から減算される。 The intermediate frame 1606 is subtracted from the current image 1600. 同時に、864×480画像1602が3/2倍アップフィルタされて(好ましくはガウスフィルタを使用して)1280×720になり次に原画像1600から減算される。 At the same time, 864 × 480 image 1602 is 3/2 times up filter (preferably using a Gaussian filter) is subtracted from the next original image 1600 becomes 1280 × 720. その結果に重み付けして(例えば、MPEG−2の場合25%重み付け)、次に、原画像1600から中間フレーム1606を減算した結果に加算される。 By weighting the result (e.g., if 25% weighting MPEG-2), then, is added to the result of the intermediate frame 1606 is subtracted from the original image 1600. このようにして得られた合計をクロップ(crop)して大きさを小さくし(例えば1152×688)次に端縁をフェザーして(feather)、プレ圧縮強化層フレーム1608が得られる。 Thus to reduce the total crop (crop) to size obtained (e.g. 1152 × 688) and then feather the edges (feather), the pre-compression reinforcement layer frame 1608 is obtained. このプレ圧縮強化層フレーム1608を、第二符号器1610(例えばMPEG−2又はMPEG−4の符号器)に入力して、強化層として符号化する。 The pre-compression reinforcement layer frame 1608, and input to the second coder 1610 (eg encoder MPEG-2 or MPEG-4), encoded as reinforcing layer.
【0222】 [0222]
18.5メガビット/秒におけるその効率と品質は、この配置構成を利用する「単一」階層化(すなわち非階層化)システムと階層化システムではほぼ同じである。 Its efficiency and quality of 18.5 Mbit / sec, a "single" layered (i.e. non-hierarchical) system and layered system utilizing this arrangement is substantially the same. 強化層とベース層の間の2/3倍の関係の効率は2倍の場合ほど優れていない。 Efficiency of 2/3 of the relationship between the reinforcing layer and the base layer is not as good as for the 2-fold. というのは、ベース層と強化層の間のDCT係数は直交性が低い。 That is given, DCT coefficients between the base layer and the reinforcing layer has a low orthogonality. しかし、この構造は実用的であり、高品質のベース層(より安価に復号する)を提供する利点がある。 However, this structure is practical, there is an advantage to provide a high-quality base layer of the (lower cost decode). これは、低解像度が特定の表示器によって提供できるすべてである場合、高解像度写真全体を復号しなければならない(より高いコストで)単一階層化配置構成を超える改良である。 This is because when a low-resolution is all that can be provided by a specific indicator, an improvement of more than high-resolution photographs must decode the whole (at a higher cost) single layered arrangement.
【0223】 [0223]
また、上記階層化配置構成は、強化サブ領域が調節可能であるという利点もある。 Furthermore, the hierarchical arrangement also has the advantage of strengthening subregion is adjustable. したがって、効率は、強化層の大きさ、及びベース層と強化層に割り当てられた全ビット速度のベース層ビット速度/強化層ビット速度の比率を調節することによって制御することができる。 Therefore, the efficiency can be controlled by adjusting the size, and the base layer and the base layer bit rate / ratio of the reinforcing layer bit rates of all the bit rates allocated to the reinforcing layer of the reinforcing layer. 上記強化層の大きさとビット速度比率を調節して、特に高いストレス(速い動き又は多数のシーンの変化)下での圧縮性能を最適化することができる。 By adjusting the size and the bit rate ratio of the reinforcing layer, it can be optimized particularly high stress (fast motion or change in a number of scenes) compression performance under. 例えば、上記のように、極端のストレス下では、すべてのビットをベース層に割り当てることができる。 For example, as described above, under extreme stress, it may be assigned all of the bits in the base layer.
【0224】 [0224]
強化層とベース層の間の好都合な解像度の関係は、1/2、2/3というファクター及び他の単分数(例えば1/3、3/4)の関係である。 Relationship convenient resolution between the reinforcing layer and the base layer is the relationship 1 / 2,2 / 3 that factor and other single fraction (e.g. 1 / 3,3 / 4). 強化層とベース層の間の関係に対して、スキーズ(squeeze)を適用することも有用である。 Relative relationship between the reinforcing layer and the base layer, it is useful to apply the squeeze (squeeze). 例えば、2048×1024のソース写真は1536×512のベース層を有していてもよく、そのベース層は、ソース画像に対して3/4の水平関係と1/2の垂直関係を有している。 For example, the source photo 2048 × 1024 may have a base layer of 1536 × 512, the base layer may have a vertical relationship in the horizontal relationship with one half of the 3/4 relative to the source image there. これは最適でないが(2のファクターが水平と垂直の関係の両者に対して最適である)、原理を示している。 This is not optimal (a factor of 2 is optimal for both horizontal and vertical relationship), shows the principle. 水平関係と垂直関係の両方に2/3を使用すると、垂直方向に2のファクター及び水平方向に2/3のファクターを利用することによって、いくつかの解像度を改善することができる。 With 2/3 both horizontally related and vertical relationship, by using the 2/3 factor to the second factor and the horizontal direction in the vertical direction, it is possible to improve some resolution. あるいは、いくつかの解像度は、垂直方向に2/3のファクターを用い水平方向に1/2のファクターを利用することがより最適である。 Alternatively, some of the resolution, it is more optimal to use half of factors in the horizontal direction with a factor in the vertical direction to 2/3. したがって、1/2、2/3、3/4、1/3などの単分数は、水平と垂直の解像度の関係に独立して適用することができ、関係の多数の可能な組合せを行うことができる。 Thus, a single fraction such as 1 / 2,2 / 3,3 / 4,1 / 3, can be applied independently to the relationship between the horizontal and vertical resolution, carrying out the large number of possible combinations of relationships can. したがって、強化層とベース層及びその入力解像度との関係のみならず、完全入力解像度とベース層の解像度の関係によって、このような分数の関係を使用する場合に完全な融通性が可能になる。 Therefore, not only the relationship between the reinforcing layer and the base layer and the input resolution, the resolution of the relationship between full input resolution and the base layer, allowing full flexibility when using the relation of such fraction. このような解像度の関係の特に有用な組合せは、どの標準の一部として採用されても、圧縮「強化モード」番号を割り当てることができる。 Particularly useful combinations of such resolution relationship, be employed as part of any standard, it is possible to assign the compression "enhanced mode" number.
【0225】 [0225]
中央値フィルタ ノイズを処理するのに最も有用なフィルタは中央値フィルタである。 The most useful filter to process median filter noise the median filter. 3要素中央値フィルタが、三つのエントリーの順位付けを、単純なソート(simple sort)によって行い、次に中央のエントリーをピック(pick)する。 3 element median filter, a ranking of the three entries, performed by simple sorting (simple sort), then the center of the entry is picked (pick). 例えば、X(水平)中央値フィルタが、三つの隣接する水平画素のレッド値(又はグリーン値又はブルー値)を調べて、真ん中の値を有する画素をピックする。 For example, X (horizontal) median filter, examine red value of three adjacent horizontal pixels (or green value or a blue value) and pick a pixel having a value in the middle. 二つが同じであればその値を選ぶ。 Two pick its value if it is the same. 同様に、Yフィルタが現行画素の上と下の走査ラインで調べてやはり中央値をピックする。 Similarly, Y filter is also picks median examined by scanning lines above and below the current pixel.
【0226】 [0226]
XとYの中央値フィルタの両者を適用することから得た結果を平均して、新しいノイズ減少成分写真をつくることが有用であることが実験で確認された[すなわち、新しい画素は各々、原画像からの対応する画素のXとYの中央値の50%等平均値(50% equal average)である]。 And averages the results from applying both the median filters X and Y, it is useful to create a new noise reduction component picture was confirmed in experiments [i.e., each new pixel, the original 50%, etc. the average value of the corresponding median X and Y of the pixels of the image is (50% equal average)].
【0227】 [0227]
XとY(水平と垂直)の中央値に加えて、斜め中央値などの他の中央値を採用することも可能である。 In addition to the median value of X and Y (horizontal and vertical), it is also possible to employ other median, such as oblique median. しかし、垂直及び水平の画素値は、物理的に、どの特定の画素に対しても最も近い値なので、斜め中央値より、誤差又はひずみを起こす可能性が低い。 However, the vertical and horizontal pixel values, physically, since a value closest to any particular pixel, obliquely median is less likely to cause errors or distortions. しかし、このような他の中央値は、垂直と水平の中央値だけを使用することによってノイズを減らすことが困難な場合にはやはり利用することができる。 However, such other central values ​​can also be utilized if it is difficult to reduce the noise by using only the central values ​​of the vertical and horizontal.
【0228】 [0228]
ノイズを減らすのに有益なもう一つのソースは、前と次のフレームからの情報(すなわち時相中央値)である。 Another source useful in reducing noise is information from the previous and the next frame (i.e., time phase median). 以下に述べるように、動き解析は、動く領域に対しては最良の整合を提供する。 As described below, motion analysis provides a best match for the moving region. しかし、動き解析は計算集中的(compute intensive)である。 However, the motion analysis is computationally intensive (compute intensive). 画像の一領域が動いていないか又はゆっくり動いている場合、現行画素からのレッド値(及びグリーン値とブルー値)は、前のフレームと次のフレーム中の同じ画素位置のレッド値でフィルタされた中央値でよい。 If a region of an image is moving has not or slowly moving, red values ​​from the current pixel (and green values ​​and blue values) is filtered by the red value of the same pixel position in the previous frame and the next frame and it may be a central value. しかし、有意な動きがあってしかもかような時相フィルタが使用されると、異常なアーチファクトが起こることがある。 However, yet such a temporal filter was a significant motion is used, it may abnormal artifacts occur. したがって、しきい値を第一に選んで、このような中央値が、現行画素の値から、選択された大きさを超えて異なっているかどうかを確認することが好ましい。 Thus, by selecting the threshold value to the first, such median from the value of the current pixel, it is preferable to confirm whether the different beyond a selected magnitude. そのしきい値は上記デ−インタレース化のしきい値の場合とほぼ同様にして、下記のようにして計算することができる。 The threshold above de - in much the same way as the case of the threshold for interlaced, can be calculated as follows.
Rdiff=R_現行_画素 マイナス R_時相_中央値Gdiff=G_現行_画素 マイナス G_時相_中央値Bdiff=B_現行_画素 マイナス B_時相_中央値しきい値処理値=abs(Rdiff+Gdiff+Bdiff)+abs(Rdiff)+abs(Gdiff)+abs(Bdiff) Rdiff = R_ current _ pixels minus R_ phases _ median Gdiff = G_ current _ pixels minus G_ phases _ median bdiff = B_ current _ pixels minus B_ phases _ median thresholding value = abs (Rdiff + Gdiff + Bdiff) + abs (Rdiff) + abs (Gdiff) + abs (Bdiff)
【0229】 [0229]
上記しきい値処理値を次にしきい値設定値と比較する。 Then compared with the threshold setting the thresholding value. 典型的なしきい値設定値は0.1〜0.3の範囲内であり、0.2が一般的である。 Typical threshold setting is in the range of 0.1 to 0.3, 0.2 is common. そのしきい値より高ければ、現行値が保持される。 Is higher than the threshold, the current value is retained. そのしきい値より低ければ時相中央値が使用される。 Temporal median is used if lower than the threshold.
【0230】 [0230]
追加の中央値のタイプは、X、Y及び時相の中央値から選択される中央値である。 Type of additional median, X, which is a central value that is selected from the median of the Y and time phase. もう一つの中央値のタイプは、時相中央値を選び、次にそれからのXとYの中央値の等平均値を選択する。 Type Another median select time phase median and then selects an equal average of the median of the X and Y therefrom.
【0231】 [0231]
各タイプの中央値は問題を起こすことがある。 The median of each type is sometimes cause problems. XとYの中央値は画像を不鮮明にし(smear)かつブラー(blur)させるので、画像は「グリーシー(greasy)」に見える。 Since the center value of the X and Y is to blur the image (smear to yield) and Blur (blur), image looks "Gurishi (greasy)". 時相中央値は、時間が経過するにつれて動きを不鮮明にする。 Time phase median and blur the motion over time. 各中央値は、問題をもたらししかも各中央値の特性が異なっているので(ある意味では「直交している(orthogonal)」)、各種の中央値を組み合わせることによって最良の結果が得られることが実験によって確認された。 Each median, since the different characteristics of the addition resulted in a problem the median (in a sense "are orthogonal (an orthogonal)"), that the best results by combining the various median is obtained It has been confirmed by experiment.
【0232】 [0232]
特に、中央値の好ましい組合せは、現行画像の各画素に対する値を決定する下記5項目の線形重み付け合計(線形ビデオプロセッシングに関する上記考察参照)である。 Particularly preferred combinations of the median is the following five items linear weighted sum of determining a value for each pixel of the current image (above discussion references to linear video processing).
現画像の50%(したがって最大のノイズ低下は3db又は1/2である); 50% of the current image (hence maximum noise reduction is 3db or 1/2);
XとYの中央値の平均値の15%; 15% of the average value of the median of the X and Y;
しきい値処理された時相中央値の10%; 10% of the thresholded time phase median;
しきい値処理された時相中央値のXとYの中央値の平均値の10%; 10% of the average value of the median of the X and Y thresholded time phase median;
及び3ウェイのX、Y及び時相中央値の15%。 And 3-way X, 15% of Y and time phase the median.
【0233】 [0233]
時間中央値のこの組合せは、画像と「グリーシー」に又はブラーしているように見せたり、動く物体の時相不鮮明又はディテールの損失を起こすことなく、画像のノイズを減らす合理的な働きをする。 This combination of time median or look as or blur the image and "Gurishi", without causing a phase smearing or loss of detail when the moving objects, a rational function of reducing the noise in the image . これら5項目のもう一つの有用な重み付けはそれぞれ35%、20%、22.5%、10%及び12.5%である。 35% Another useful weighting of these five items, respectively, 20%, 22.5%, 10% and 12.5%.
【0234】 [0234]
その上に、下記のように、中央重み付け時相フィルタを、動き補償nxn領域に適用することによって、動き補償を適用することが有用である。 Thereon, as described below, the phase filter time center weighted, by applying the motion compensation nxn areas, it is useful to apply the motion compensation. これら、中央値をフィルタされた画像の結果(前記5項目の)に加えられさらに画像を平滑化することができ、動く画像領域に、より優れた平滑化とディテールが提供される。 These results of images filter median can be smoothed still image added to (the five items), the image region moving, detail is provided with a more excellent smoothing.
【0235】 [0235]
動き解析 「その場での(in Motion analysis "in situ (in
place)」時相フィルタリング(ゆっくり動くディテールを平滑化するのに優れた働きをする)に加えて、デ−インタレース化とノイズ減少も動き解析を利用して改善することができる。 In addition to the place) "temporal filtering (the excellent work to smooth the detail moving slowly), de - interlacing and noise reduction can also be improved by using the motion analysis. 3フィールド又は3フレームの同じ位置に画素を加えることは、静止物体の場合、有効である。 3 The addition of pixels at the same positions on the field, or three frames, when the stationary object, it is effective. しかし、動いている物体の場合、時相の平均/平滑化が望ましい場合、小グループの画素にわたる主だった動きの解析を試みることがより最適であることが多い。 However, in the case of the moving object, if the average time phase / smoothing is desired, it is often more optimal to try to analyze the movement was mainly over the pixels of small groups. 例えば、画素のnxnブロック(例えば2×2、3×3、4×4、6×6又は8×8)を使用して、前と次のフィールド又はフレームをサーチし、整合を見つけることができる(同じ方式で、MPEG−2の動きベクトルが、16×16マクロブロックを整合することによって見つけ出される)。 For example, it is possible to use the nxn block of pixels (e.g., 2 × 2,3 × 3,4 × 4,6 × 6 or 8 × 8), and before the search for the next field or frame, find matching (in the same manner, the motion vector of the MPEG-2 is found out by matching the 16 × 16 macroblock). 最良の整合が1又は2以上の前の及び次のフレーム中に一度見つけられると、「軌道(trajectory)」と「動くミニ写真」を確認できる。 Once the best match is found once in one or more of the previous and next frame, you can check the "mini photo Moving" and "orbit (trajectory)". インタレース化フィールドの場合、しきい値処理された上記デ−インタレース化プロセスの結果を利用して推測された動くミニ写真を計算することのみならず比較結果を解析することが最良である。 For interlaced field, it thresholded the de - it is best to analyze the comparison result not only computing the mini photo moving which is inferred using the result of interlacing process. このプロセスは、速く動くディテールをゆっくり動くディテールからすでに分離しかつそのゆっくり動くディテールをすでに平滑化しているので、写真の比較と再構成は、個々のデ−インタレース化フィールド以上に適用可能である。 Since this process already off and already smoothed detail moving its slow from the detail slow moving detail fast moving, compares the reconstruction of pictures, each de - is applicable to more than the interlaced field .
【0236】 [0236]
動き解析は、好ましくは、現行のしきい値処理されたデ−インタレース化画像のnxnブロックを、前と次の1又は2以上のフレーム中の隣接するすべてのブロックと比較することによって実施される。 Motion analysis is preferably current thresholded de - is carried out by comparing the the nxn block of interlaced picture, before the next one or two or more adjacent all the blocks in the frame that. その比較は、nxnブロックのルミナンス又はRGBの差の絶対値でもよい。 The comparison may be absolute values ​​of the luminance or RGB difference nxn blocks. 一つのフレームは、その動きベクトルがほぼ等しくて逆方向であれば、充分に順方向と逆方向を向いている。 One frame may, if substantially equal to reverse its motion vector is sufficiently oriented in the forward and backward direction. しかし、動きベクトルがほぼ等しくて逆方向でない場合は、追加の順方向と逆方向の1又は2以上のフレームが実際の軌道を決定するのに役立てることができる。 However, if the motion vector is not substantially equal to the reverse direction, it can be useful in determining one or more frames of the actual trajectory of additional forward and backward. さらに、異なるインタレース化処理が、順方向と逆方向の「最良推測(best guess)」の動きベクトルの決定に役立てるのに有用である。 Moreover, different interlacing process is useful for help in determining the motion vector of the "best guess (best guess)" forward and reverse directions. 一つのデ−インタレース化処理は個々のデ−インタレース化フィールドだけを使用する処理であるが、これは小さな動くディテールにエイリアシングとアーチファクトをひどく起こしやすい。 One de - interlacing treatment is individual de - is a process that uses only the interlaced field, which severely prone to aliasing and artifacts in a small moving details. もう一つのデ−インタレース化法は、フィールドフレームスムースデ−インタレース化だけを、しきい値処理を行わずに、上記の重み付け[0.25、0.5、0.25]をして使用する方法である。 Another de - interlacing method, the field frame Smooth de - only interlaced, without thresholding, and the weighted [0.25,0.5,0.25] it is a method to use. ディテールは平滑化されて時には失われるが、軌道はより正確になることが多い。 Detail is lost occasionally been smoothed, the track is often more accurate.
【0237】 [0237]
一旦軌道が見つけられると、「平滑化されたnxnブロック」を、1(又は2以上)の前のフレームと次のフレーム由来の動きベクトルオフセット画素を使用して時間的にフィルタすることによってつくることができる。 Once the track is found, "smoothed nxn block" a, 1 (or 2 or more) of the previous frame and making by temporally filtering using the motion vector offset pixels from the next frame can. 典型的なフィルタは、3フレームに対してはやはり[0.25、0.5、0.25]又は[0.1667、0.6666、0.1667]であり、そして二つの逆方向と順方向のフレームに対しては恐らく[0.1、0.2、0.4、0.2、0.1]である。 Typical filters are still for 3 frames [0.25,0.5,0.25] or [0.1667,0.6666,0.1667], and two backward and forward probably [0.1,0.2,0.4,0.2,0.1] is the direction of the frame. 中央の重みが小さい他のフィルタも有用であり、特にブロックの大きさが一層小さい(例えば2×2、3×3及び4×4)ものが有用である。 Other filter weights of the center is less useful, useful especially the size of the block is smaller (e.g. 2 × 2,3 × 3 and 4 × 4) ones. フレーム間の整合の信頼性は絶対値の差で示される。 Reliability of the matching between frames represented by the difference in the absolute value. 大きな最小絶対差を使用して、該フィルタのより大きい中央重みを選択することができる。 Using a large minimum absolute difference, it is possible to select a larger central weight of the filter. 絶対差の値が小さいことは、良好な整合を示唆しているので、これを利用してより小さい中央重みを選択して、重さ補償ブロックのいくつものフレームの一スパンにわたって平均値をより均一に分布させることができる。 The value of the absolute difference is small, since suggest a good match, select the smaller central weight Using this, more uniform average values ​​over one span of several frames weighing compensation block it can be distributed.
【0238】 [0238]
これらフィルタの重みは、上記の個々のデ−インタレース化動き補償フィールドフレーム;しきい値処理された3フィールドフレームデ−インタレース化写真;及びしきい値処理されていない3フィールドフレームデ−インタレース化画像に、上記のような[0.25、0.5、0.25]の重み付けで適用することができる。 Weights of these filters, the above individual de - interlaced motion compensation field frame; thresholded 3-field frame de - interlacing photos; and threshold untreated 3-field frame de - inter the race of the image may be applied by weighting the above [0.25,0.5,0.25. しかし、最良のフィルタ重みは通常、動き補償ブロック線形フィルタリングを、上記しきい値処理された3フィールドフレームの結果に適用することに由来している。 However, the best filter weights typically a motion compensation block linear filtering, are derived from applying the results of the three fields frames the thresholded. これは、しきい値処理された3フィールドフレーム画素が、最も動き反応性が高い[しきい値を超える単一デ−インタレース化フィールドフレームにはジフォールト(default)することによって]のみならず最高に平滑である(平滑領域のエイリアシングを除くことによって)からである。 This 3-field frame pixels which are thresholded is most highly motion reactivity - not Single de exceed the threshold by di- fault (default) in the interlaced field Frame Only it is from the highest to be smooth (by removing aliasing smooth regions). したがって、動き解析から得た動きベクトルは、マルチフレームフィルタ又はマルチデ−インタレース化フィールドフレームフィルタ又は単一デ−インタレース化フィールドフレームフィルタ又はその組合せに対する入力として使用できる。 Therefore, the motion vector obtained from the motion analysis, multi-frame filter or Maruchide - interlaced-field frame filter or a single de - can be used as input for the interlaced-field frame filter or a combination thereof. しかし、そのしきい値処理されたマルチフィールドフレームデ−インタレース化画像は、ほとんどの場合、最良のフィルタ入力を形成する。 However, the thresholded multi-field frame de - interlacing image, in most cases, to form the best filter input.
【0239】 [0239]
動き解析を利用する場合、速い動きが見出されると(例えば±32画素)、サーチ領域が大きいため、計算費用が高価になる。 When the case of using the motion analysis is found fast motion (eg ± 32 pixels), since the search area is large, calculation cost becomes expensive. したがって、専用ハードウェア又はディジタル信号プロセッサ利用コンピュータを用いることによって速度を増大することが最良である。 Therefore, it is best to increase the rate by using dedicated hardware or a digital signal processor utilized computer.
【0240】 [0240]
一旦、動きベクトルがそれらの絶対差の測定精度とともに見つけられると、その動きベクトルは、フレーム速度の変換を試みる複雑な方法に利用できる。 Once the motion vector is found together with the measurement accuracy of the absolute difference thereof, the motion vector can be utilized for complex methods attempt to transform the frame rate. しかし、遮蔽(occlusion)の問題(他のものをおおいかくすか又は暴露する物体)は、整合を混乱させて、正確にかつ自動的には推測できない。 However, shielding (objects hide or exposed covering the others) in question (occlusion) is confusing matched, not guess accurately and automatically. また遮蔽は、通常の画像時相アンダーサンプリング及び画像の固有周波数を有するそのビート(例えば映画の「逆転ワゴンホイール」効果)のような時相エイリアシングも伴う。 The shield also involves phase aliasing such time as the beat with the natural frequency of the normal image when the phase undersampled and image (e.g., "reverse wagon wheel" effect of the movie). これらの問題は、既知の演算法によって解明できないことが多いので、今までヒトの手助けを必要としている。 These problems, because often can not be resolved by a known calculation method, are in need of help of humans until now. したがって、ヒトによる精査や調節は、リアルタイムの自動処理が必要でない場合、オフラインと非リアルタイムのフレーム速度変換及び他の類似の時相のプロセスに利用できる。 Thus, scrutiny and regulation by humans, if not required automatic processing of real-time, can be used in the process of off-line and non-real-time frame rate conversion and other similar time phase.
【0241】 [0241]
デ−インタレース化は同じ課題の単純な一形態である。 De - interlacing is a simple one form of the same challenges. フレーム速度変換の場合と同様に、デ−インタレース化のタスクは、完全に実施することは理論的に不可能である。 As with the frame rate conversion, de - interlacing the task, it is theoretically impossible to completely implement. これは、特に、時相アンダーサンプリング(閉じたシャッター)と不適当な時相サンプルフィルタ(すなわちボックスフィルタ)が原因である。 This is particularly the phase-sample filter when the time phase undersampled (closed shutter) improper (i.e. box filter) is the cause. しかし、正しい試料の場合でさえ、遮蔽やインタレースなどのエイリアシングの問題が、正しい結果を得ることが論理的に不可能であることをさらに保証する。 However, even in the case of correct sample aliasing problems such as shielding and interlacing, further ensures that to obtain a correct result it is logically impossible. このことが見える症例は、該問題に適用される、ここに記載のツールデプス(depth)によって軽減される。 Cases this is visible, is applied to the problem, here is alleviated by the tool depth (depth) described. 病理症例は、リアル画像シーケンス中に常に存在している。 Pathological cases, are always present in the real image sequence. その目標は、このようなシーケンスに遭遇したときに病気の悪化の頻度とレベルと減らすことだけである。 Its goal is only to reduce the deterioration of the frequency and level of the disease when it encounters such a sequence. しかし多くの場合、デ−インタレース化プロセスは、受け入れ可能に完全に自動化することができ、そしてリアルタイムで反復されることなく作動できる。 However, in many cases, the de - interlacing process is acceptably complete can be automated, and can operate without being repeated in real time. それにしても、手動調節によって利益をうけることが多い多くのパラメータがある。 Even so, there are many parameters often benefit from the manual adjustment.
【0242】 [0242]
高周波数のフィルタによる平滑化 中央値フィルタリングに加えて、高周波数のディテールを減らしても高周波数ノイズが減少する。 In addition to the smoothed median filtering by a high-frequency filter, the high frequency noise is also reduced by reducing the detail of the high frequency. しかしこの平滑化は、鮮鋭度とディテールが損失するという犠牲を払って得られる。 However, this smoothing is obtained at the expense of sharpness and detail is lost. したがってこのような平滑化はごくわずかの方が一般に有用である。 Accordingly, such smoothing is generally useful towards negligible. 平滑化を起こすフィルタは、デ−インタレース化の場合のしきい値と同様に、通常フィルタ(例えば台形サインフィルタ)でダウンフィルタし次にガウスフィルタでアップフィルタすることによって容易につくることができる。 Filter to cause smoothing, de - can be interlaced if the race of the same as a threshold, making it easier by up filter in the usual then Gaussian filter down the filter in the filter (e.g., a trapezoidal sine filter) . 結果は、高周波数写真のディテールを欠いているので平滑化される。 Result is smoothed because they lack the detail of high frequency photos. このような項目(term)が加えられる場合、その項目は、わずかな量のノイズを減らすためには、ごく少量例えば5〜10%でなければならない。 When such item (term) is added, the item, in order to reduce the small amount of noise must be a very small amount for example, 5-10%. 大量になると、ブラー効果が一般にかなり目視可能になる。 And become a large amount, blur effect is generally quite visible.
【0243】 [0243]
ベース層のノイズフィルタリング 原画像に対する上記中央値フィルタリングのフィルタパラメータは、画像を捕獲するフィルム粒子又は画像センサのノイズ特性に整合されねばならない。 Filter parameters of said median filtering for noise filtering the original image of the base layer must be matched to the noise characteristics of the film grain or the image sensor to capture an image. この中央値をフィルタされた画像は、ダウンフィルタされて、ベース層圧縮プロセスへの入力を生成した後、その画像はまだ少量のノイズを含んでいる。 The median filtered image is down-filter, after generating an input to the base layer compression process, the image is still contains a small amount of noise. このノイズは、別のX−Y中央値フィルタ(XとYの中央値を等しく平均する)プラスごく少量の高周波数平滑化フィルタを組み合わすことによって、さらに減らすことができる。 This noise (averages equal the median of X and Y) separate X-Y median filter by combining the positive small amount of high-frequency smoothing filter can be further reduced. ベース層の各画素に加えられる、これら3項目の好ましいフィルタ重み付けは次の通りである。 Is added to each pixel of the base layer, preferably the filter weighting of these three items are as follows.
原ベース層の70%(中央値をフィルタされた上記原画像からダウンフィルタされた); 70% of the original base layer (down-filter median from the filtered the original image);
XとYの中央値の平均値の22.5%;及びダウンアップ平滑化フィルタの7.5%。 22.5% of the average value of the median of the X and Y; and 7.5% down up smoothing filter.
【0244】 [0244]
ベース層のこの少量の追加のフィルタリングは、ノイズを少量減らしかつ安定性を改善して、より優れたMPEG符号化をもたらしかつこのような符号化によって加えられるノイズの量を制限する。 This small amount of additional filtering of the base layer reduces a small amount of noise and to improve the stability, and result in better MPEG encoding to limit the amount of noise added by such encoding.
【0245】 [0245]
MPEG−2とMPEG−4で動き補償を行うため負のローブを有するフィルタ MPEG−4には、最良の動きベクトルの整合を見つけたとき、マクロブロックをシフトし次にその整合された領域を使って動き補償するための基準フィルタが設けられている。 The filter MPEG-4 having a negative lobe for performing motion compensation in MPEG-2 and MPEG-4, when you find the matching of the best motion vector, and shifts the macroblock then use the matching area reference filter for motion compensation Te is provided. MPEG−4ビデオ符号化は、MPEG−2と同様に、マクロブロックに対し、動きベクトルの1/2画素の解像度を保持する。 MPEG-4 video coding, like MPEG-2, with respect to macroblock to hold the resolution of 1/2 pixel motion vectors. またMPEG−4は、MPEG−2と異なり、1/4画素の精度を保持する。 The MPEG-4, unlike MPEG-2, to hold the accuracy of 1/4-pixel. しかし、MPEG−4の基準装備において使用されるフィルタは最善の水準に次ぐフィルタである。 However, the filter used in the reference equipment MPEG-4 is a filter next to the best level. MPEG−2において、画素間の途中点(half-way point)はこれら二つの隣り同士の画素の平均値であり、最善の水準に次ぐボックスフィルタである。 In MPEG-2, the middle point between pixels (half-way point) is the average value of the pixel between adjacent these two, a box filter, second only to the best levels. MPEG−4において、このフィルタは、1/2画素解像度に用いられる。 In MPEG-4, this filter is used in 1/2-pixel resolution. 1/4画素解像度がMPEG−4バージョン2に呼び出されると、負のローブを有するフィルタが途中点に対して使用されるが、この結果を有する次善のボックスフィルタと隣り同士の画素が1/4と3/4の点に使用される。 If quarter-pixel resolution is called MPEG-4 Version 2, but filters having negative lobes is used for the middle point, the pixels between adjacent suboptimal box filter having this result 1 / 4 to be used to the point of 3/4.
【0246】 [0246]
さらに、基準色チャネル(chrominance Furthermore, the reference color channel (chrominance
channel)(U=R−Y及びV=B−Y)は、MPEG−4下の動き補償ステップでサブ画素解像度を利用しない。 channel) (U = R-Y and V = B-Y) does not utilize the sub-pixel resolution in the MPEG-4 under the motion compensation step. ルミナンスチャネル(Y)は1/2又は1/4の画素の解像度を有しているから、1/2解像度の基準色のUとVのチャネルは、ルミナンスの1/2画素に対応して、1/4画素解像度のフィルタを使ってサンプリングしなければならない。 Since luminance channel (Y) has a resolution of 1/2 or 1/4 pixels, 1/2-resolution channel of the reference color of the U and V of, corresponding to 1/2 pixel luminance, It must be sampled with a 1/4 pixel resolution filter. 1/4画素の解像度がルミナンスに対して選択されるとき、1/8画素の解像度をUとVの基準色に使用しなければならない。 When quarter-pixel resolution is selected for luminance, a 1/8-pixel resolution must be used to reference color U and V.
【0247】 [0247]
ルミナンスに1/4画素の解像度を実行するとき、1/4、1/2及び3/4の画素点をフィルタするのに負のローブの接頭sinc関数を使用することによって(上記のように)、及び1/2画素ポジションをつくるフィルタに対して1/2画素の解像度を実行するとき類似の負のローブを使用することによって、フィルタリングの効果が有意に改善されることを、実験が示した。 When executing a resolution of 1/4 pixel in the luminance, by using the prefix sinc function negative lobes pixel points 1 / 4,1 / 2 and 3/4 to filter (as described above) , and by the use of negative lobes similar when performing a half-pixel resolution for the filter to make 1/2 pixel position, that the effect of filtering is significantly improved, showing experimental .
【0248】 [0248]
1/4画素のルミナンス解像度を使用するとき、UとVのクロミナンスに対し1/8画素点をフィルタするため負のローブの接頭sinc関数を使用することによって、及び1/2画素のルミナンス解像度を使用するとき、類似の負ローブフィルタを有する1/4画素解像度フィルタを使用することによって、同様に、フィルタリングの効果が有意に改善される。 When using the quarter-pixel luminance resolution, by using a prefix sinc function of the negative lobe to filter 1/8 pixel points to chrominance U and V, and the half-pixel luminance resolution when used, by using a quarter-pixel resolution filter having negative lobe filters similar, likewise, the filtering effect is significantly improved.
【0249】 [0249]
1/4画素の動きベクトルを接頭sinc動き補償変位フィルタリング(truncated sine motion A motion vector with the quarter-pixel prefix sinc motion compensation displacement filtering (truncated The sine motion
compensated displacement filtering)と組み合わせると、写真の画質が大きく改善されることが発見された。 When the compensated displacement filtering) and combined, the image quality of the photos is greatly improved has been discovered. 特に清浄性が改善され、ノイズとアーチファクトが減少し、そして彩度のディテール(chroma detail)が増大する。 Especially cleanliness is improved, and noise and artifact reduction, and saturation of detail (chroma detail) is increased.
【0250】 [0250]
これらのフィルタは、MPEG−1、MPEG−2、MPEG−4、又は他の適切な動き補償ブロックベースの画像符号化システムによって、ビデオ画像に適用できる。 These filters, by MPEG-1, MPEG-2, MPEG-4, or other appropriate motion compensation block based image coding system, can be applied to the video image.
【0251】 [0251]
画像形成装置の特性決定と修正 Characterization and modification of the image forming apparatus
特定のプログレッシブスキャン(非インタレース化)カメラを扱う際に、特定のカメラに特異的なプレプロセッシングを、圧縮(階層化又は非階層化)の前に適用することが非常に望ましいことが実験で確認された。 When dealing with specific progressive scan (non-interlaced) camera, a pre-processing specific to a particular camera, compressed (layered or non-layered) highly desirable that experiments be applied before the confirmed. 例えば、一つのカメラのタイプに、レッドとグリーンに対するセンサ間の一画素の1/3及びグリーンとブルーのセンサ間の別の1/3画素(レッドとブルーの間の2/3画素)の機械的水平方向の調整不良(mechanical horizontal misalignment)がある。 For example, the type of a camera, red and another 1/3 pixel between a pixel 1/3 and green and blue sensors between the sensors for the green (2/3 pixel between red and blue) Machine specific horizontal misalignment (mechanical horizontal misalignment) is. これによって、小さい垂直ディテールのまわりにカラーフリンジが起こる。 As a result, color fringe occurs around the small vertical detail. これらのカラーフリンジは、原画像では眼に見えないが、圧縮/復元プロセスで、非常によく眼に見えるようになり望ましくないカラーノイズを生成する。 These color fringes in the original image is not visible to the eye, in the compression / decompression process, to produce a very noisy color not good undesirable become visible. この一つのカメラタイプに特異的なプレプロセス(pre-process)がこのカラー変位を修正して、カラーアーチファクトがない圧縮に対する入力をもたらす。 Specific pre-processes the camera type of the one (pre-process) will correct this color displacement, resulting in an input to compression without color artifacts. したがって、眼に見えないが、カメラやそのセンサの特性のこのような小さいニュアンスは、最終の圧縮され/復元された結果の許容性と品質に対して重要になる。 Thus, although invisible, such small nuances of cameras and characteristics of the sensor are final compression / it becomes important for tolerance and quality of the restored result.
【0252】 [0252]
したがって、「眼が見るもの」と、「コンプレッサが見るもの」を識別することが有用である。 Therefore, the "eyes what you see", it is useful to identify an "object compressor sees". この識別を有利に利用して、圧縮され/復元された画像の画質を大きく改善するプレプロセッシングステップが発見された。 The identified using advantageously, the pre-processing step of the picture quality greatly improved compressed / decompressed image is found.
【0253】 [0253]
したがって、圧縮/復元システムに対する入力をつくる際に使用される各個々の電子カメラ、各カメラタイプ、各フィルムタイプ及び各個々のフィルムスキャナ及びスキャナタイプは、カラーアラインメント(color alignment)及びノイズ(ビデオカメラとスキャナに対する電子ノイズとフィルムに対する粒子)によって、個々に特性を決定しなければならない。 Thus, each individual electronic cameras used in making an input to the compression / decompression system, each camera type, each film type and each individual film scanner and scanner type, color alignment (color alignment) and noise (video camera the particles) against electronic noise and film to the scanner and must be determined individually characteristic. 画像がつくられる情報、特定の性質の表及び装置の各部品の特定の設定は原画像によって運ばれ、次いで、圧縮される前にプロプロセッシングで使用されねばならない。 Information image is created, the specific settings for each part of the table and device specific properties are carried by the original image, then have to be used in the pro-processing before being compressed.
【0254】 [0254]
例えば、特定のカメラはカラーリアラインメント(color realignment)を必要とすることがある。 For example, a particular camera may require a color realignment (color realignment). また特定のカメラは中位のノイズ設定で設定されることもある(必要なノイズプロセッシングの大きさに実質的に影響する)。 The particular camera is sometimes set by noise setting medium (substantially affect the magnitude of the required noise processing). これらカメラの設定と固有のカメラ特性は、そのカメラからの各ショットにそって補助情報としてはこばれねばならない。 These camera settings and a unique camera characteristics, must be carried as auxiliary information along to each shot from the camera. 次に、この情報を利用して、プレプロセッシングのタイプ及びプレプロセスのためのパラメータの設定を制御することができる。 Then, using this information, it is possible to control the setting of the parameters for the type and pre-process of the pre-processing.
【0255】 [0255]
多数のカメラから編集されるかまたは多数のカメラ及び/又はフィルム源から復号される画像の場合、そのプレプロセッシングは、恐らく、このような編集や組合せを行う前に実施すべきである。 For an image to be decoded from a number of or large number of cameras and / or film source is edited from the camera, the preprocessing is probably should be performed before performing such editing and combination. このようなプレプロセッシングは、画像の質を低下させてはならず、眼に見えないが圧縮の質には大きな影響を与える。 Such pre-processing may reduce the quality of the image must not, although invisible a significant impact on the quality of the compression.
【0256】 [0256]
特定の圧縮システムに入力すべき画像をつくるために使用される非フィルム画像形成システム(例えば電子カメラとフィルムスキャナ)に対しかような特性決定を実施し使用する一般的な方法は次のとおりである。 A common way to use to implement such a characteristic determined for non-film imaging system used to make the image to be input to the particular compression system (e.g., an electronic camera and film scanners) is as follows is there.
(1)解像試験チャートの画像をつくり、次いでカラーペア(例えばRG、RB、GB)によって、好ましくは画素単位で表現して、画素センサの水平と垂直のカラーアラインメント(フィルムの場合は粒子)を測定する。 (1) making an image of the resolution test chart, and then color-pair (e.g. RG, RB, GB) by, preferably expressed in pixel units, the horizontal and vertical color alignment of pixel sensors (particles in the case of the film) to measure.
(2)1又は2以上のモノクロム試験チャートの画像をつくり、次いでセンサが個々に、好ましくはレッド、グリーン及びブルーの画素値として表現されたセットとして(例えばホワイトカード、黒カード、50%と18%のグレイカード並びにレッド、グリーン及びブルーの各基準カードの画像をつくることによる)発生したノイズを測定する。 (2) make images of one or more monochrome test chart, then the sensor is individually preferably red, green and blue (e.g., white card as a set expressed as a pixel value, a black card, 50% and 18 % gray card and red, by making an image of green and blue each standard card) measuring the generated noise. そのノイズが、他のカラーチャネルからの出力の変化及び隣接する画素を比較することによって、相互に関連しているかどうかを決定する。 As noise, by comparing the change and the adjacent pixels output from the other color channels to determine whether the inter-related.
(3)正確に調整された装置によってつくられた正確な情報を画像とともに選ぶ(例えば電子伝送、機械可続媒体への記憶又は画像に付随するヒト可続データによって)。 (3) accurately select the correct information made by the adjusted apparatus together with the image (for example, an electronic transmission, by the human-friendly connection data associated with the storage or image to the machine-friendly connection medium).
(4)画像形成システムからの画像を圧縮プロセスで使用する前に、画素を、カラーによって、等しいオフセット量によって翻訳して、測定されたミスアラインメントを修正する。 (4) prior to use in the compression process an image from the image forming system, a pixel, the color, and translated by an offset equal amount, to correct the measured misalignment. 例えば、レッドセンサがブルーセンサより0.25画素低くミスアラインされていれば、画像中のすべてのレッド画素は、0.25画素だけ上方へシフトさせねばならない。 For example, if the red sensor is misaligned from 0.25 pixel low blue sensors, all red pixels in the image must be shifted upward by 0.25 pixel. 同様に、ノイズの測定量に基づいて、ノイズ減少フィルタの重みを、測定ノイズの量を補償する量だけ調節する(これは、経験で確認し、そして手作業によるか又は計算された参照表に定義する必要がある)。 Similarly, based on the measured amount of noise, the weight of the noise reduction filter is adjusted by an amount to compensate for the amount of measurement noise (this is confirmed by experience, and on whether or calculated reference table by hand there is a need to define).
【0257】 [0257]
特定の圧縮システム中の入力すべき画像をつくるのに使用されるフィルム画像形成システムに対し、このような特性決定を実施し使用する一般的方法は次の通りである。 To film image forming system used to make the input image to be in a particular compression system, the general method of using implementing such a characterization is as follows.
(1)フィルムのタイプを決定する(粒子はフィルムのタイプによって変化する)。 (1) determining the type of film (particle vary with the type of the film).
(2)そのフィルムを、各種の照明条件下で、1又は2以上のモノクロム試験チャートに露出する(ノイズは一部分、露出の関数である)。 (2) The film, in various lighting conditions, exposed to one or more monochrome test chart (noise portion, a function of the exposure).
(3)フィルムを通常の速度でフィルムスキャナによって走査し(このフィルムスキャナの特性は上記のようにして測定する)次に発生したノイズをセンサによって、個々にセットとして測定する。 (3) film was scanned by a film scanner at the normal speed by (the properties of the film scanner is measured as described above) then the sensor noise generated, measured as set individually. そのノイズが相互に関連しているかどうかを決定する。 The noise to determine whether related to each other.
(4)同タイプのフィルムが露出されて正確に調整されたスキャナで走査されるといつでも、その確認され測定された情報(すなわち、フィルムのタイプ、露出条件、走査特性)を、走査されるフィルム画像とともに運ぶ。 (4) a film the same type of film at any time when it is scanned by a scanner which is adjusted correctly exposed, the information that is confirmed as measured (i.e., type of film, exposure conditions, scanning characteristics) to be scanned carry along with the image.
(5)このような画像を圧縮プロセスで使用する前に、ノイズ減少フィルタの重みを、測定されたノイズの量を補償する量だけ調節する(これは、経験で確認し次に手動の又はコンピュータ化された参照表で定義する必要がある;その調節は、少なくとも三つの要因すなわちフィルムのタイプ、露出条件及び走査特性の関数であるから、コンピュータが好ましい)。 (5) Before using such an image by compression process, the weights of the noise reduction filter is adjusted by an amount to compensate for the amount of measured noise (this is confirmed by experience then manually or computer in should be defined reduction has been referenced table; its adjustment, at least three factors namely type of film, is a function of the exposure condition and the scan characteristics, the computer is preferred).
【0258】 [0258]
強化された3−2プルダウンシステム Enhanced 3-2 pull-down system
上記の3−2プルダウン法を利用して、フィルムを60Hzビデオへ転送することは、一般に非常に嫌われているプラクチスである。 Using the 3-2 pulldown method described above, to transfer the film to 60Hz video is Purakuchisu generally are very unpopular. 3−2プルダウン法は、既存のNTSC(及びいくつかの提案されているHDTV)システムに対して、24フレーム/秒が59.94フィールド又は60フィールド/秒に均等に分割しないので使用されている。 3-2 pulldown method for the existing NTSC (and some of the proposed HDTV) systems have been used since the 24 frames / sec is not evenly divided into 59.94 field or 60 field / sec . 奇数のフレーム(又は偶数のフレーム)が、二つのインタレース化フィールド上に配置され、そして偶数のフレーム(又は奇数のフレーム)が三つのインタレース化フィールド上に配置される。 Odd frames (or even frames) are arranged on the two interlaced fields, and the even frame (or odd frames) are arranged on three interlaced field. したがって、五つのフィールド毎に一つのフィールドが重複している。 Therefore, one of the field is duplicated in every field of five. フィルムの一フレームがビデオの五フィールドにマップしている。 One frame of the film has been mapped to the five fields of the video. 上記のように、このプロセスは非常に多くの不快な問題を起こす。 As mentioned above, this process is causing so many of the unpleasant problem.
【0259】 [0259]
大部分のビデオプロセッシング装置は、そのプロセスを中間信号に適用するだけである。 Most video processing device will only apply the process to the intermediate signal. この場合、時変効果(time-changing effect)が、たとえいくつかの入力フィールドが重複していても、一つのフィールドに対して、次のフィールドとは異なる作用をする。 In this case, time-varying effects (time-changing effect) is, even if they overlap several input fields for one field, the different effects the next field. このようなプロセスの後、これらのフィールドはもはや重複せず、またフィールドペアも再結合して原フィルムフレームを回復することができない。 After such process, these fields will no longer overlap and the field pair is also unable to recover the recombined to the original film frames. そのフィールド速度で起こるこのようなプロセスの例としては、パン−アンド−スキャン(狭い4:3ビデオスクリーンを、ワイドスクリーン画像を水平に横切って移動させて、重要なアクションを示す)、フェードアップ又はフェードダウン、逐次カラー調節、ビデオタイトルオーバーレイスクロールなどがある。 Examples of such processes occurring in the field rate, pan - and - scan (narrow 4: 3 video screen, is moved across the widescreen picture horizontally, indicating the important actions), fade up or fade-down, sequential color adjustment, there is such as video title overlay scroll. さらに、このような信号がフィルムに捕獲され、次にビデオに編集・処理されると、そのフィルムのフレーム処理とそのビデオのフィールド処理が、こみいった方式で強く混ぜ合わされる。 Further, such signals are captured in the film and then be edited and processed video, the frame processing of the film the video field treatment is mixed strongly intricate manner. このようなビデオ信号(広く存在している)が次に、画像圧縮システムに送られると、そのシステムは一般に、次善的に作動する。 When such video signals (widely present) then sent to the image compression system, the system generally suboptimal manner operates.
【0260】 [0260]
今までのところ、フィルム源からの最良の画像圧縮は、そのフィルムの24fps画像が、そのビデオ信号から完全に再抽出できるときだけ(又はより良好なのは、24fps領域を決して残さないときだけ)に起こることを、実験が示した。 So far, the best image compression from the film source, 24fps image of the film, its only when the video signal can be completely re-extracted (or from the good, only when leaving no way to 24fps area) occurs that showed that the experiment. 次に、その圧縮システムは、原フィルムの元の24fpsの速度で、映画(又はフィルムベースのTVショー又はTVコマーシャル)を符号化することができる。 Next, the compression system at a rate of original 24fps original film, movie (or film-based TV shows or TV commercials) can be encoded. これは最も有効な圧縮法である。 This is the most effective compression method. いくつかの映画オンデマンドシステム(movie-on-demand system)とDVDマスタリングシステムは注意深く3−2プルダウンを利用し次いで非常に制限された方法で編集して、24fpsの原フレームを最終的に抽出し24fpsで圧縮できることを保証する。 Edit in several movies-on-demand system (movie-on-demand system) and DVD mastering system has been using a carefully 3-2 pull-down then very limited way, finally extracted the original frame of 24fps to ensure that can be compressed at 24fps.
【0261】 [0261]
しかし、このような注意は「開ループ」なので、通常のヒトの誤りによって破られることが多い。 However, such attention is because the "open loop", is often broken by the error of a normal person. 編集及びポストプロダクション効果のプロダクションへの適用の複雑なことが、フィールド速度プロセッシングが行われるときに「過誤」をもたらすことが多い。 Editing and complexity of the application to the production of post-production effects, often result in a "cage" when the field speed processing is performed. したがって、このようなことが起こる可能性を避けて、かような誤りを避けるためあらゆることを追跡する試みの複雑さを除く好ましい方法は次のとおりである。 Therefore, such things avoiding the possibility that occurs, the preferred method except for the complexity of an attempt to track any possible order to avoid Such errors are as follows.
(1)可能なときはいつでも、直接の24fpsの記憶、処理又は通信を支持するフィルム処理装置を利用する。 (1) Whenever possible, storage of direct 24 fps, utilizes a film processing apparatus for supporting a process or communication.
(2)局所記憶のために電子媒体又は高速光学的媒体(例えばハード・ドライブ及び/又はRAM)を使用して、すべてのフィルム画像をそれら固有の24fpsの速度で記憶する。 (2) using an electronic medium, or high-speed optical media for local storage (e.g., hard drive and / or RAM), to store all of the film image at a rate of their unique 24 fps.
(3)装置が3−2プルダウンビデオを入力として受け取るときはいつでも、3−2プルダウンを、局所記憶(24fpsで保たれている)から(リアルタイムで)変換されたフライ上につくる。 (3) device whenever it receives as input the 3-2 pulldown video, the 3-2 pulldown, a local memory (preserved with 24 fps) (in real time) made on the converted fried.
(4)3−2プルダウン画像を生成し伝える装置の出力を記憶させるとき、フライ上の3−2プルダウンを取り消して再び24fpsで記憶させる。 (4) 3-2 When storing the output of the generator to convey device pulldown image is stored again 24fps cancel the 3-2 pulldown on the fly.
(5)フィールドでのみ作動しなければならず、そのためフレームが通常のプロセッシング(一つのフレームとして、2及び3のフィールドに対する)で保存できないすべての装置を該システムから除く。 (5) it must only operate in the field, therefore (as one frame, for the field of 2 and 3) frames general processing excluding all devices that can not be saved from the system.
(6)記憶された画像シーケンスに作用するかまたは該シーケンスを編集するすべてのソフトウェアを、その記憶媒体に使用される24fpsモードに整合するように設定する;24fpsの固有モードで作動できないソフトウェアは使用しない。 (6) all software to edit or the sequence acting on the stored image sequence, the storage medium set to match the 24fps mode used to; not operate in eigenmodes 24fps software used do not do.
(7)テレシネが直接の24fps出力を提供しない場合、すべての原画像を決定性カダンス(deterministic cadence)(すなわち常に3と次に2、又は2と次に3)でテレビ放映する(すなわち、フィルムからビデオに変換する)。 (7) If the telecine does not provide direct 24fps output, all the original image deterministic Kadansu (deterministic cadence) (i.e. always 3 and then 2, or 2 and then 3) to televised (i.e., from the film to convert to video). インタレース化3−2プルダウンがテレシネからのインターフェースの直後に該カダンスを取り消す。 Interlaced 3-2 pulldown cancels the Kadansu immediately after the interface from telecine.
(8)未知の3−2プルダウンカダンスを有するテープを受け取ったならば、そのカダンスはなんらかの方法で見付け出して、記憶される前に除かねばならない。 (8) if received a tape having an unknown 3-2 pulldown mosquito dance, the Kadansu is out find in some way, it must be removed before it is stored. これは、ハードウェア検出システム、ソフトウェア検出システム又は手動/視覚で実施できる。 This hardware detection system, can be implemented in software detection systems or manual / visual. あいにく、ハードウェア検出システムは完全ではないので、手動・視覚による検査が常に必要である(現在のシステムは、フィールドのミスアラインメントを検出しようとしている。黒又は白のフレーム上、又は画像の明るさが一定値のフィールド上のこのようなミスアラインメントは、現在検出することができない。検出可能なミスアラインメントでさえ、いくつかの検出器は、ノイズ又はアルゴリズムの弱さのために失敗する)。 Unfortunately, because the hardware detection system is not perfect, manual and visual by which inspection is always necessary (the current system is, trying to detect the misalignment of the field. Black or on the white of the frame, or the brightness of the image There such misalignment on the field of constant value, it is impossible to detect the current. even detectable misalignment, some detectors, fail due to the weakness of the noise or algorithm).
(9)3−2プルダウンを必要とする施設から出力されるテープ記憶はどれも、純粋に、維持されている既知のカダンスに記憶されそしてそのプログラムの全作動時間中妨害されない。 (9) 3-2 Any tape storage output from the facility that requires a pull-down, purely, stored in a known Kadansu being maintained and not disturbed during the entire operating time of the program.
【0262】 [0262]
3−2プルダウンを入力及び出力として必要とする特定のプロセッシング装置は、上記の方法によって、24fpsのソースからリアルタイムでフライに対しなされたその単一又は複数の入力を得る。 Particular processing device that requires as input and outputs a 3-2 pull down, by the methods described above to obtain the single or multiple input has been made to fly in real time from the source of 24 fps. そのカダンスは、各入力に対して、標準の方式で常に始まる。 The Kadansu is, for each input, always begins with the standard method. その装置の出力のカダンスはそのとき知られているので、その装置の入力としてフライに生成するカダンスと同一でなければならない。 Since Kadansu output of the device is known at that time shall be the same as Kadansu generating fly as an input of the device. そのカダンスは次に、この事前知識(a priori knowledge)によって取り消され次いでそのフレームは記憶媒体の24fpsフォーマット内に保管される。 Its Kadansu then then the frame is canceled by this prior knowledge (a priori knowledge) are stored in a 24fps format of the storage medium.
【0263】 [0263]
この方法は、リアルタイムの3−2プルダウンの取り消しと3−2プルダウンの合成が必要である。 This method requires a real-time 3-2 pulldown undo and 3-2 pulldown synthesis. そのカダンスが未知のフォーマットのテープ由来のものでないならば、それらのフレームの24fps性は、かようなフィルムベースのテレシネポストプロダクションシステムによって自動的に保存される。 If that Kadansu is not one of the tape from an unknown format, 24 fps of these frames are stored automatically by such a film-based telecine post-production system. そのシステムは次に、圧縮システム(上記の階層化圧縮プロセスを含む)への最適入力を形成する。 The system then forms the optimum input to the compression system (including the above-described hierarchical compression process).
【0264】 [0264]
このプロセスは、ビデオとHDTVテレシネの施設に広く有用になるであろう。 This process would widely be useful to the facility of video and HDTV telecine. 他日、すべての装置が24fps(及び他の速度プログレッシブスキャン)の固有信号の入力、出力、プロセッシング及び記憶モードを受け入れるとき、このような方法はもはや必要ないであろう。 Other date, input specific signals of all devices 24 fps (and other speed progressive scan), output, when accepting processing and storage modes, such methods would be no longer necessary. しかし、その間に、多くの装置は、フィルム入力で作動する目標機能(targeted function)をたとえもっていても、内外のインターフェース(interface However, in the meantime, many of the devices, also have a target function which operates at a film type the (targeted function) if, out of the interface (interface
in and out)のために3−2プルダウンが必要である。 It is necessary to 3-2 pull-down for in and out). この期間中、上記方法は3−2プルダウンの問題点を除くので、フィルムのポストプロダクションとテレシネの効力の必須要素になることができる。 During this period, since the method excluding the problem of 3-2 pull down can be a required element of the post-production and Telecine potency of the film.
【0265】 [0265]
フレーム速度の作成方法 How to create a frame rate
24fpsは、映画フィルムの世界中に及ぶ標準を形成しているが、24fpsを使用すると、多くの場合、飛び越しモーションが起こる(次に移動する前に、フレームの反復フラッシュが多数起こるため「スタッター(stutter)」とも呼称される)。 24fps, which forms a standard that spans the world of motion picture film, and the use of 24fps, in many cases, for before the jump motion occurs (the next move, occur repeated flash of the frame number "stutter ( stutter) "also it is called). ゆっくりした動きをさせるのみならず、より平滑な動きすなわち動く物体のより明瞭な写真を提供するためには(画像を高いフレーム速度で捕獲するが、その画像をより低い速度で遊動させることによって)、より高いフレーム速度が望ましい。 Not only to the slow motion, in order to provide a clearer picture of smoother motion i.e. moving objects (although capturing images at a higher frame rate, by floating the image at a lower rate) , higher frame rate is desirable. 上記のように、60fpsという米国におけるビデオ速度(及び放送ビデオの59.94fps)は、24fpsと比較的非互換性である。 As described above, video rates in the United States (and broadcast video 59.94 fps) is that 60 fps, is relatively incompatible with the 24 fps. これは、一つの映画を世界中に放出しようとすると問題を起こす。 This is, cause problems when you try to release one movie in the world. というのは、50HzPALシステムとSECOMビデオシステムは、60fpsのNTSCビデオ及び60Hz中心USHDTVと比較的非互換性であるからである。 Since, 50HzPAL system and SECOM video system is because it is NTSC video and 60Hz center USHDTV relatively incompatibilities 60 fps.
【0266】 [0266]
米国特許願第09/435,277号(発明の名称が「System And Method For Motion Compensation and Frame Rate Conversion」で1999年11月5日付けで出願され、本願発明の譲受人に譲渡されている)が、例えば60Hzと50Hz間及び60Hzと72Hz間などの困難なフレーム速度の変換を実施できる技法を教示している。 U.S. Patent Application No. 09 / 435,277 (entitled filed November 5 dated 1999. "System And Method For Motion Compensation and Frame Rate Conversion", which is assigned to the assignee of the present invention) but it teaches techniques that can implement the conversion of difficult frame rate, such as for example between 60Hz and 50Hz and between 60Hz and 72 Hz. これらの技法も、フレーム速度変換に加えてデ−インタレース化を行う。 Also these techniques, de addition to frame rate conversion - performing interlaced.
【0267】 [0267]
60Hzと50Hz間又は60Hzと72Hz間などの近い高フレーム速度間の変換を行う、上記出願に教示されているフレーム速度変換法を使用したところ非常に成功したが(その結果は全く良好に見える)、演算の費用が高い。 Convert between high frame speed close such between 60Hz and 50Hz or between 60Hz and 72 Hz, it has been very successful at using frame rate conversion methods taught in the application (the result looks exactly good) , the cost of operation is high. しかし、動き解析を使用して行う24Hzと60Hz間の変換は全く困難であることが確認された。 However, it was confirmed conversion between 24Hz and 60Hz performed using motion analysis is quite difficult. 24fpsでは、フレームが、特に各フレームの動きのブラーの大きさが異なっている点で(映画「トップガン」からのコックピットのシーンの場合のように)かなり異なっている。 At 24fps, frames, in particular (as in the case of the cockpit of a scene from the movie "Top Gun") in that the size of the blur of movement of each frame is different quite different. これによって、次のフレーム速度の変換のみならず動き分析が、25fpsソースからは困難になる。 Thus, the motion analysis not only the conversion of the next frame rate, difficult from 25fps sources. さらに、動きのブラーを除くことが不可能であり、その結果、たとえ動き解析が高い動きの24fpsのシーンに対して可能であっても、その画像はブレたままであろう(それら画像は、より平滑に移動しスタッターが少ない)。 Furthermore, it is impossible to remove the motion blur, as a result, even if it possible for scenes 24fps motion analysis is high motion, the image will remain was blurred (which image is more less stutter move smoothly). 動き分析は画像の整合部分を必要とするので、動きのブラーの大きさが隣接するフレームとは大きく異なるフレームは整合することがほぼ不可能になる。 Since motion analysis requires matching portion of the image, it is very different frame than the frame size of the motion blur adjacent impossible almost be matched. したがって、フィルム(又は電子カメラ)からの24fpsソースマテリアルは、50Hz又は60Hzのビデオへのフレーム速度変換に対して劣った出発点である。 Thus, 24 fps source material from the film (or electronic camera) is the starting point inferior to the frame rate conversion to 50Hz or 60Hz video.
【0268】 [0268]
これによって、高フレーム速度の電子カメラは、24fpsの電子カメラよりはるかに優れた画像ソースであるという結論になる。 Thus, the electronic camera of the high frame rate will conclude that it is the image source that far superior electronic camera 24 fps. しかし、60fpsのビデオから24fpsのフィルムへ変換して戻すことが困難であることを考えれば、72fpsは、終局の24fpsの互換性についてははるかに優れたカメラフレーム速度である。 However, given that it is difficult to return to convert from 60fps video to film 24 fps, 72Fps is much better camera frame rate for compatibility eventual 24 fps.
【0269】 [0269]
実験は、優れた画質の24fpsで動く画像は、非常に単純な重み付けフレームフィルタを使用することによって、72fpsのフレームから誘導することができる。 Experiments moving images with 24fps excellent image quality by using a very simple weighting frame filter can be derived from the frame of 72Fps. 24fpsの一つのフレームを生じる、72fpsのソースからの三つの連続フレーム(前、現行及び次のフレーム)に対する最良の重み付けは、[0.1667、0.6666、0.1667]の重み付けが中心になっている。 Resulting in a frame of 24 fps, the three consecutive frames (previous, current and next frame) from a source of 72fps best weighting for, mainly the weighting of [0.1667,0.6666,0.1667] going on. しかし、[0.1、0.8、0.1]〜[0.25、0.5、0.25]の範囲内の3フレーム重み付けのセットは良好に働いているようである。 However, it seems to work well is a set of 3 frames weighting in the range of [0.1,0.8,0.1] - [0.25,0.5,0.25. 中央フレームに重点があり、その中央フレームは、動きのブラーが短いことから、24fpsの動きのスタッターを平滑化する(24fpsの動きのブラーをシミュレートすることによって)のに役立てるため隣接するフレームから必要なブラーをプラスした単一のフレームの明瞭性間のバランスをとるのに役立つ。 There is emphasis on the central frame, the center frame, since the movement of the blur is short, the adjacent frames to help to smooth the stutter of movement of 24 fps (by simulating blur movement of 24 fps) It helps to balance between clarity of the single frame plus blur necessary.
【0270】 [0270]
この重み付けの技法は、すべての場合の約95%でうまく働いて、この単純な重み付け関数に大部分の24fps変換を行わせることができる。 Techniques of this weighting is worked well with about 95% of all cases, it is possible to perform the 24fps conversion of most of this simple weighting function. これらの場合の残り5%ほどに対しては、米国特許願第09/435,277号に教示されているように動き補償を利用できる。 For more remaining 5% of these cases, available to motion compensation as taught in U.S. Patent Application No. 09 / 435,277. この単純な重み付け法によって、該変換プロセスに対する作業負荷を1/20に減らしたことによって、残留動き補償変換は、必要時に一層実用的になる。 This simple weighting method, by a reduced workload for the conversion process to 1/20, the residual motion compensation conversion becomes more practical when needed.
【0271】 [0271]
また、120fpsソースを、五つの重み付けで使用して、24fpsで類似の結果を達成できることにも注目すべきである。 Further, the 120fps source, used in weighting of five, it should also be noted that similar results can be achieved with 24 fps. 例えば[0.1、0.2、0.4、0.2、0.1]の重み付けを利用できる。 For example, you can use the weighting of [0.1,0.2,0.4,0.2,0.1]. また、60fpsはフレームを一つおきにテイクすることによって120fpsから誘導することができるが、より短いオープンシャッター期間が速い動きに顕著である。 Further, 60 fps is can be derived from 120fps by taking every other frame is remarkable shorter open shutter period is fast motion. この間題を軽減するため、オーバーラッピングフィルタも使用することができ(例えば好ましくは[0.1667、0.6666、0.1667]について使用できるが[0.1、0.8、0.1]〜[0.25、0.5、0.25]の範囲内でもよい)、低振幅重み付けフレームを繰り返す。 To mitigate this period problem, overlapping filters can also be used (for example, preferably be used for [0.1667,0.6666,0.1667] [0.1,0.8,0.1] or in the range of - [0.25,0.5,0.25]), repeated low amplitude weighting frame. 勿論、より高いフレーム速度は、時相試料をより注意深くシェープ(shape)して24fpsなどのフレーム速度を誘導することができる。 Of course, higher frame rates can induce frame rate such as 24fps to more carefully shape (shape) temporal samples. フレーム速度が非常に高くなると、本発明の譲受け人に譲渡されている米国特許第5,465,119号と同第5,737,027号の技法の適用が始まる。 When the frame rate is very high, the application of techniques assignee US Patent No. 5,465,119 which is assigned to a person with the same No. 5,737,027 of the present invention begins. なぜならば、データ転送速度を管理できるように保つため、各フレーム内のデータ速度を下げる方法が必要になるからである。 This is because keeping to manage the data transfer rate, because the method of reducing the data rate in each frame is required. しかし、センサ(例えばアクティブ画素又はCCD)内でのオンチップ並列処理は、必要なオフチップI/O速度を下げる別の手段を提供できる。 However, on-chip parallelism in the sensor (e.g., active pixel or CCD), can provide another means for reducing the required off-chip I / O rate.
【0272】 [0272]
24fpsが、新しい72fps(などの)フレーム速度フォーマットの経済的実用性のために要望されていると仮定すると、ここで述べられている時相フィルタ重み付け関数(例えば、0.1667、0.6666、0.1667)を使用して、24fpsの画像を監視できることも大切である。 24fps is new 72Fps (such as) Assuming that is desired for economic utility of the frame rate format, the phase filter weighting functions when set forth herein (e.g., 0.1667,0.6666, 0.1667) using, it is important to monitor the image of 24 fps. これを行うことによって、シーン中のショットの「ブロッキング」(セッティングアップ)をチェックして、24fpsの結果が(72fpsなどのより高い速度のフルレートバージョンに加えて)良好に見えることを保証できる。 By doing this, check the "blocking" of the shot in the scene (setting up), the results of 24fps is (in addition to the higher speed full-rate version of such 72fps) can guarantee that look good. このように、高フレーム速度捕獲の利点が、24fpsで国際的なフィルムとビデオのリリースを行う性能と完全に統合されている。 Thus, the advantages of a high frame rate capture, are fully integrated and performance performing release of international film and video 24 fps.
【0273】 [0273]
したがって、特定の選択された高フレーム速度は、既存の24fpsのフィルム及びワールドワイドビデオをリリースする基本施設と上位互換性があるのみならず、将来の高フレーム速度電子画像ソースを創製する最も適切な基礎を形成している。 Therefore, the high frame speed selected particular is not only the basic facilities and forward compatibility to release the film and the World Wide Video existing 24 fps, most appropriate to create a future high frame rate electronic image sources It forms the basis.
【0274】 [0274]
モジュラビット速度 Modular bit rate
ビット速度を「モジュール化する」ことは、多くのビデオの圧縮アプリケーションに有用である。 The bit rate that "modularizing" are useful for many video compression applications. 各種のビット速度システムが、連続的に変化するビット速度を利用して、より多くのビットをより速く変化するショットに適用するこころみをしている。 Various bit rate system may utilize a bit rate that varies continuously, and the attempt to apply the shot changes faster more bits. これは、各有用なユニットに異なるビット速度を与えることによって粗い方式で行うことができる。 This can be done in rough manner by giving different bit rates to each useful units. 適切なユニットの例としては、ある範囲のフレーム(「写真のグループ」すなわちGOP)又は各Pフレームがある。 Examples of suitable unit may a range of frames ( "group of photos" or GOP) or each P-frame. したがって、例えば、ビット速度はGOP内で一定であってもよい。 Thus, for example, the bit rate may be constant in the GOP. しかし、(例えば、動き又はシーンの変化が大きいため)高い圧縮ストレスが検出されるGOPの場合、より高い一定のビット速度を利用できる。 However, (for example, due to a large change in motion or scene) when the GOP to high compressive stresses are detected, can be used a higher constant bit rate. これは、強化層中のビットすべてを、高ストレスの期間中、ベース層に適用する(一般に次のIフレームでリセットする)上記階層化法と類似している。 This all bits of the reinforcing layer, in periods of high stress is applied to the base layer (reset generally at the next I-frame) are similar to the layering method. したがって、より多くのビットをベース層に適用するという概念に加えて、高ストレスの期間中、高品質を得るため、より多くのビットを、単一層圧縮、又はベース層と強化層に(階層化圧縮の場合)適用できる。 Therefore, more bits in addition to the concept applied to the base layer, the high duration of the stress, to obtain a high-quality, more bits, single layer compressed or the base layer and the reinforcing layer (layering in the case of compression) it can be applied.
【0275】 [0275]
一般に、低ビット速度は、映画又はライブイベントの時間の90%を扱うことができる。 In general, low bit rate, can handle 90 percent of the time in the movie or live event. 時間の残りの10%に対して、50%又は100%多いビットを使用すると、完全に近い符号化がなされるが、全ビットカウントは5%〜10%しか増加しない。 For the remaining 10% of the time, when using 50% or 100% more bits, although nearly complete coding is performed, the total bit count is only increased 5% to 10%. これは、一般に一定のビット速度に符号化しながら(したがって一定のビット速度のモジュール性とプロセッシングの利点を大部分保持して)、特に眼で見える完全な符号化を行うのに非常に有効な方法であることを証明している。 This generally will encode the constant bit rate (and thus the modularity and advantages of the processing constant bit rate largely retained), in particular a very effective way to do a complete coding visible to the eye It has proven to be at.
【0276】 [0276]
このようなより高いビット速度の期間の使用は手動で又は自動的に制御することができる。 The use of such higher bit rate period can be manually or automatically controlled. 自動制御は、速度制御量子化スケールファクターを使用して行うことができ、このパラメータは、高ストレスの期間では、(ビット速度が大きく増大しないようにするため)大きくなる。 Automatic control can be performed using the speed control quantization scale factor, this parameter, in periods of high stress, increases (so that bit rate does not increase significantly). したがって、このような高ストレスが検出され、そして残りのGOPはより高いビット速度で符号化されるべきであるか、あるいはまたGOPは、出発Iフレームで始めてより高いビット速度を利用し再符号化すべきであるという信号を送ることができる。 Therefore, such a high stress is detected, and the remaining one GOP should be encoded at a higher bit rate, or alternatively GOP is to re-encoding using a higher bit rate than the first time at the starting I-frame It may send a signal that should. 視覚検査を利用して、手動選択を利用し、GOPがより高いビット速度を必要としているというフラグを立てることもできる。 Using a visual inspection, using a manual selection may be flagged that GOP is in need of higher bit rates.
【0277】 [0277]
GOPが一般に特定の大きさを有していることを利用するためリアルタイム復号を行うことが有益である。 GOP is possible would be beneficial to perform a real-time decoding for utilizing that generally have a specific size. またGOPの単純倍数(Simple multiple)(例えば、高いストレスを有するGOPに対するビット数の50%又は100%の増加)を使用することも、前記利点を多く保持する。 The simple multiples of GOP (Simple multiple) (e.g., 50% or 100% increase in the number of bits for the GOP having a high stress) be used also to hold a lot of the advantages. 図17は、より高いビット速度を、圧縮されたデータ流のモジュラ部分に適用する一例の線図である。 Figure 17 is an example diagram of the application of higher bit rate, the modular portion of the compressed data stream. 正常シーン1800、1802を含む写真のグループが、一定速度のビットを割り当てられている。 Groups of pictures containing normal scenes 1800, 1802 is allocated to bits of the constant speed. 高レベルのストレス(すなわち圧縮プロセスが「正常」シーンと同等に圧縮することが難しい変化)を示すシーンを含むGOP1804が起こると、一層多数のビット(例えば50〜100%の追加)がそのGOPに割り当てられて、そのシーンのより正確な符号化を行うことができる。 When high levels of stress (i.e., the compression process is changed, it is difficult to compress equivalent to "normal" scene) GOP1804 including a scene showing a occurs, greater number of bits (e.g., add 50 to 100%) is in its GOP assigned, it is possible to perform more accurate coding of the scene.
【0278】 [0278]
多くのMPEG−2の装置が一定のビット速度を使用することは注目すべきである。 That many devices MPEG-2 uses a constant bit rate is noteworthy. 一定のビット速度は、一定ビット速度のトランスポートと記憶の媒体と良好に整合する。 Constant bit rate is well matched with the medium of the storage and transport of constant bit rate. 放送チャネル、衛星チャネル、ケーブル及びファイバなどのトランスポートシステムはすべて、固定された一定のトータルキャパシティ(total capacity)を有している。 Broadcast channel, satellite channel, has all transport systems such as cable and fiber, fixed constant total capacity (total capacity). また、ディジタル圧縮ビデオテープ記憶システムは一定のテーププレイバック速度を有しているので、一定の記録又はプレイバックのビット速度を生成する。 Moreover, since the compressed digital video tape storage system has a constant tape playback speed, to generate a bit rate of a constant recording or playback.
【0279】 [0279]
DirecTV/DSS及びDVDなどの他のMPEG−2装置は、ある形態の可変ビット速度割り付け(variable bit rate allocation)を利用する。 DirecTV / other MPEG-2 system, such as DSS and DVD utilize a variable bit rate allocation some form (variable bit rate allocation). DirecTV/DSSの場合、その変動性は、現行プログラムのシーンストレス(scene stress)対共通マルチプレックスを共用する隣接TVプログラムのシーンストレスの組み合わせである。 For DirecTV / DSS, the variability is a combination of scene stress adjacent TV programs that share a common multiplex scene stress (scene stress) versus the current program. そのマルチプレックスは同調された衛星チャネルとトランスポンダに相当し、それは固定トータルビット速度を有している。 Its multiplex corresponds to a satellite channel and the transponder tuned, it has a fixed total bit rate. 消費者ビデオDVDの場合、そのディジタル光ディスクの容量は2.5ギガバイトであり、MPEG−2のビット速度が2hrの映画に対して平均4.5メガビット/秒であることが必要である。 For consumer video DVD, the capacity of the digital optical disk is 2.5 gigabytes it is necessary that the bit rate of the MPEG-2 is the average 4.5 megabits / sec for movie 2 hr. しかし、その光ディスクは、9メガビット/秒で100%高いピーク読み出し速度の性能を有している。 However, the optical disk has a 100% higher peak reading speed performance at 9 megabits / sec. より短い映画の場合、平均速度は充分な9メガビット/秒まで高くしてもよい。 In the case of a shorter movie, the average rate may be increased to a sufficient 9 megabits / sec. 2hrの映画の場合、そのビット速度が平均4.5メガビット/秒を達成する方法は、これを超える速度を高いシーンストレスを有するシーン(シーンの動きが高いため変化が大きい)に対して使用するが、一方この平均値より低い速度をシーンストレスが低い(動きが小さいため変化が小さい)間に使用する方法である。 For movie 2 hr, how the bit rate to achieve an average 4.5 Mbit / s is used for the scene (large change for scene motion is high) with high scene stress rate exceeding this There is a contrast method of using a lower rate than the average value between the scene stress is low (small change for motion is small).
【0280】 [0280]
MPEG−2とMPEG−4のビット速度は、事実上の復号器バッファの容量のモデリングを組み合わせそして量子化パラメータを変えて、符号器が発するビット速度を減速することによって一定に保持される。 Bit rate of the MPEG-2 and MPEG-4 are different combinations of modeling and quantization parameter of the capacity of the decoder buffer de facto, is held constant by slowing down the bit rate of the encoder is emitted. あるいは、一定の量子化パラメータは、シーンの「エントロピー」としても知られているシーンの変化とディテールに比例して、数が変化するビットを生成する。 Alternatively, certain of the quantization parameter is proportional to the scene change and detail, also known as "entropy" of a scene, it generates a bit number is changed. 一定の量子化パラメータは比較的一定の品質であるが可変のビット速度を生じる。 Constant quantization parameter but is relatively constant quality results in variable bit rate. 変化する量子化パラメータは、サイズ限定復号器バッファ(size bounded decoder buffer)とともに使用して、どんな変動性も平滑化して一定のビット速度を提供することができる。 Quantization parameter changes can be used with size limitation decoder buffer (size bounded decoder buffer), to provide a constant bit rate any variability be smoothed.
【0281】 [0281]
マルチプレックスの多くのチャネルを共用することは、DirecTVの場合、又はACATS/ATSC19.3メガビット/秒6メガヘルツマルチプレックスの標準精細度の信号の場合と同様に、可変ビット速度を支持できる一方法である。 To share many channels of the multiplex, the case of DirecTV, or ACATS / ATSC19.3 Mbit / s 6 as in the case of standard definition signals megahertz multiplex, one method that can support variable bit rate is there. 低エントロピーのショウ(トークショウのような)とペアになって高エントロピーのショウ(ホッケーのような速いスポーツ)の統計データは、より大きなエントロピーを有するショウにビットを適用する際に瞬間トレードオフ(instantaneous tradeoff)することができる。 Statistical data of the low entropy show turned (such as talk show) and the pair high entropy of Shaw (fast sports like hockey), the instantaneous tradeoff when applying bit show with greater entropy ( it can be instantaneous tradeoff) to. 一つのショウにおけるゆっくりした期間は、より少数のビットを使用し、同じマルチプレックス内の速く動く同時の別のショウに対しより多くのビットを提供する。 Slow period in one Shaw, uses fewer bits, to provide more bits to different Shaw fast moving simultaneously within the same multiplex.
【0282】 [0282]
これらの可変ビット速度システムは、通常、平均値をほぼ100%超えるところにピークのビット速度を有している。 These variable bit rate systems typically have a bit rate of the peak at more than average almost 100%. したがって、これらのシステムは、最も高いビット速度で一定ビット速度システムになり、高いシーンストレスが続いている期間利用可能なピークビット速度を限定する。 Therefore, these systems become constant bit rate system at the highest bit rate, limiting the period available peak bit rate is followed by a high scene stress. また、いくつものMPEG−2復号器システムの入力ビット速度にも限度があり、このような可変ビット速度システムのピークビット速度にも限度がある。 Moreover, a number there is a limit to the input bit rate of the MPEG-2 decoder system, there is a limit to the peak bit rate of such a variable bit rate system. しかしピーク入力ビット速度に対する限度は、復号器が改善されるとこれらの他の限度を充分超えて、徐々に上昇する。 But the limit for the peak input bit rate, beyond these other limit sufficiently the decoder is improved, gradually increases.
【0283】 [0283]
これら従来の各ビット速度制御システムの一般概念は、その復号器内に小さなメモリバッファがあり、そのバッファは、移動する画像の一フレーム及び数フレームのほぼ一フラクションを保持しているということである。 The general concept of each conventional bit rate control system, there is a small memory buffer in the decoder, the buffer is that holds almost a fraction of one frame and several frames of a moving image . この復号器のビット速度バッファが考えられた1990年頃には、復号器のこのバッファメモリのコストが、復号器の価格に有意に影響するであろうという懸念があった。 The 1990 bit rate buffer has been considered for this decoder, the cost of the buffer memory of the decoder, there is concern that would significantly affect the price of the decoder. しかし、現在は、このバッファのコストは微々たるものであることが確認されている。 However, currently, the cost of the buffer has been confirmed to be insignificant. 事実、多数秒分のバッファは現在では微々たるコストである。 In fact, the buffer of a large number of seconds worth is an insignificant cost in the current. 近い将来、ビット受取メモリバッファは、多数分のビデオ情報をわずかなコストで保持できると推測できる。 In the near future, the bit receive memory buffer can be inferred that the video information of multiple component can be held at a fraction of the cost. さらに、ディスクなどの記憶媒体のコストも急速に低下しているが、容量は急速に増大している。 Furthermore, although degraded rapidly the cost of the storage medium such as a disk, capacity is growing rapidly. したがって、圧縮されたビットストリームを、ディスクなどの記憶メモリシステムにスプールして、多数時間分又は多数日分の記憶容量を得ることも合理的である。 Therefore, the compressed bit stream, and spooled in the storage memory system, such as a disk, it is reasonable to obtain a storage capacity of many time period or a number of days. これは、現在、市販のハードドライブベースのホームビデオレコーダによって行われている。 This is currently being carried out by a commercially available hard drive-based home video recorder.
【0284】 [0284]
しかし、ビットが圧縮されたビットバッファで待っている間、時間遅延があるという一つの基本的な問題点が残っている。 However, while the bit is waiting bit buffer compressed, there remains one fundamental problem that there is a time delay. 放送テレビジョンや映画配給の場合、数秒間又は数十秒間の遅延は、進行中のプログラム「tune-in」又は「movie selection」を案内する補助選択ストリーム(auxiliary selection stream)を利用できる限り、又は(例えば映画の)初期スタートが小さい初期バッファによって短くした遅延を利用する場合、視聴するのにほとんど影響がない。 In the case of broadcast television and film distribution, delay of a few seconds or a few tens of seconds, as long as you can use an auxiliary selection stream to guide the progress of the program "tune-in" or "movie selection" (auxiliary selection stream), or (eg movie) If you want to use the delay was shortened by the initial start small initial buffer, there is no little effect for viewing. しかし、遠隔会議又はライブの対話イベントの場合、遅延を最小限にするため小さい高速度の実行バッファ(running buffer)が必要である。 However, in the case of teleconferencing or live interactive event requires a small high speed running buffer to minimize delays (running buffer). ライブの対話と遠隔会議の用途を除いては、安価な大きいバッファを利用して品質を改善することができる。 With the exception of the use of live interaction and a remote conference, it is possible to improve the quality by using an inexpensive large buffer.
【0285】 [0285]
これらの傾向に照らして、可変及び一定のビット速度の圧縮法の構造は有意に改良することができる。 In light of these trends, the structure of the compression method of the variable and constant bit rate can be significantly improved. これらの改良点としては以下のものがある。 These improvements include the following.
・復号器バッファモデルにおけるバッファサイズを大きく増大して、可変ビット速度と一定ビット速度の多くの利点を同時に提供すること。 And decoder greatly increases the buffer size in the buffer model, to provide a variable bit rate many advantages of a constant bit rate at the same time.
・復号器バッファが満ち始める間、標題への瞬間的な変化を支持するための「インタスティシャル(interstitial)」ショウのタイトルの事前ローディング。 And decoder while the buffer begins full, "interstitial (interstitial)" show preloading title for supporting instantaneous change to the title.
・新しく出発したプログラム又は映画の開始時に部分充填FIFO(先入れ先出し)復号器ビット速度バッファを利用し、次いで該プログラムが開始した後、進行するにつれてバッファフルネス(buffer fullness)(したがって遅延)を徐々に増やすこと。 · Newly starting the program or partially filled FIFO at the beginning of the movie (first-in, first-out) using the decoder bit rate buffer, then after the program starts, the buffer fullness (buffer fullness) as it progresses (and thus delay) slowly increase it.
・平均ビット速度を、高いシーンストレスの期間に増大するため、(上記モジュラビット速度の概念を使用して)増大させたビット速度「モジュール」を、(例えば第二FIFO、メインメモリ又はディスクへのスプーリングを利用して)復号器ビットメモリに事前ロードすること。 - the average bit rate, in order to increase the periods of high scene stress (using the concept of the modular bit rate) the bitrate "module" increased, to (e.g. the second FIFO, the main memory or disk using spooling) to preload the decoder bit memory. このような事前ローディングは、一定ビット速度のチャネルで平均ビット速度を超えるのみならず、可変ビット速度のシステム内で最大ビットを超えるビット速度の期間を可能にする。 Such preloading allows the average not bit rate exceeds only the period of the bit rate that exceeds the maximum bit in a variable bit rate system channel constant bit rate.
・本発明の階層化構造において、平均の(又は一定の)ビット速度ストリーム中のビットはすべて、高いシーンストレスを有するシーンの間、ベース層にシャントさせる(shunt)ことができる。 · In hierarchical structure of the present invention, it is possible all the average (or constant) bits in the bit rate stream, during a scene with a high scene stress, to shunt the base layer (shunt). しかし、一シーンに対する強化層ビットは、そのシーンに事前ロードすることができ、そして、同期化のためのタイミングメーカーを利用してプレイアウト(play out)させることができる。 However, reinforcing layer bits for one scene, it can be pre-loaded into the scene, and can be played out using the timing manufacturers for synchronization (play out). トランスポート及び/又はプレイバックにおける最大(又は一定の)ビット速度の限度は、この方法を利用する期間(利用可能なバッファスペースの大きさによってのみ限定される)、超えることができるということにやはり留意すべきである。 Limitation of the maximum (or fixed) bit rate in the transport and / or play back, the period of use of this method (limited only by the size of the available buffer space), it also to the fact that it is more than it should be noted.
【0286】 [0286]
多層DCT構造 Multilayer DCT structure
可変DCTブロックサイズ 変形波長(transform Variable DCT block size variations wavelength (transform
wavelength)の高調波アラインメントは、階層化DCT構造にとって基本的なものである。 Harmonic alignment Wavelength) is fundamental to hierarchical DCT structures. 例えば、図18は、二つの解像度層間のDCT高調波の関係を図式で示す。 For example, Figure 18 shows diagrammatically a DCT harmonic relationship between two resolution layers. 本発明の現在の最適の2層配置構成において、ベース層は、8×8画素のDCTブロックサイズ1900の1、2、3、4、5、6及び7倍の周波数を有する算術高周波シリーズ(arithmetic harmonic series)を使用するDCT係数を利用する。 In the current two-layer arrangement of the optimum of the invention, the base layer has an arithmetic frequency series with 1,2,3,4,5,6 and 7 times the frequency of the DCT block size 1900 of 8 × 8 pixels (arithmetic to use the DCT coefficients to use the harmonic series). ファクターが2の解像度強化層において、これらベース層の高調波は対応する強化層DCTブロック1902の1/2、1、3/2、2、5/2、3及び7/2の周波数にマップする。 In factor 2 resolution enhancement layer, harmonics of these base layers are mapped to a frequency of 1 / 2,1,3 / 2,2,5 / 2,3 and 7/2 of the reinforcing layer DCT block 1902 corresponding . その周波数は全体がベース層に保持されているから、1/2項に対するペナルティはないが、残りの項が強化層と部分的にのみハーモナイズする。 Since the frequency is entirely held in the base layer is not penalty for 1/2 term, the remaining terms to harmonize only reinforcing layer partially. 例えば、ベース層由来のマクロブロックサイズの2、4及び6倍の周波数を強化層由来のマクロブロックサイズの1、2及び3倍の周波数とアラインさせる。 For example, to 1, 2 and 3 times the frequency aligned with the macroblock size of the reinforcing layer from the 2, 4 and 6 times the frequency of the macro block size from the base layer. これらの項は、追加の精度があたかもベース層のこれら係数に適用されたように、自然の信号/ノイズ比(SNR)の階層化を形成する。 These terms, as additional accuracy is as if applied to these coefficients of the base layer to form the layered nature of the signal / to-noise ratio (SNR). ベース層由来の3、5及び7項は、強化層と非調波的(non-harmonic)なので、ベース層だけに対して直交性(orthogonality)を示し、強化層との相乗作用を全く提供しない。 3, 5 and 7 of from the base layer, since the reinforcing layer and the non-harmonically (non-harmonic), orthogonal with respect to only the base layer shows a (orthogonality), do not provide a synergistic effect of the reinforcing layer at all . 強化層の残りの項4、5、6及び7は、強化層が、ベース層とオーバーラップすることなく、画像に提供できる追加のディテールを表す。 Remaining terms 4, 5, 6 and 7 of the reinforcing layer, the reinforcing layer, base layer and overlap without, represent additional detail that can be provided to the image. 図19は、三つの解像度層間のDCT高調波の類似の関係を図式で表し、最高の強化層1904を示す。 Figure 19 represents a similar relationship between DCT harmonic three resolution layers graphically shows the highest enhancement layer 1904.
【0287】 [0287]
この構造には部分的な直交性と部分的なアラインメントしかないことが分かるであろう。 It will be appreciated only partial orthogonality and partial alignment to this structure. このアラインメントと直交性は一般に有益であるが、該DCT符号化シリーズの位相アラインメントは、二つの(又は三つ以上の)空間解像度層に対して決して最適化されなかった。 This alignment and the orthogonality is generally beneficial, phase alignment of the DCT coding series, was never optimized for the two (or three or more) spatial resolution layer. むしろDCTは、位相搬送画像項(phase-carrying imaginary term)をフーリエ変換級数から除いた、位相特性を利用する一組の直交基底関数(orthogonal basis function)として設計された。 Rather DCT is phase conveying image section a (phase-carrying imaginary term) were removed from the Fourier transform series was designed as a set of orthogonal basis functions to utilize the phase characteristic (orthogonal basis function). そのDCTは、2層空間符号化構造(two-layer spatial coding structure)において符号化を行うのに、明らかに適切であるが、層の直交性と位相の関係のこれらの論点は、三つ又は四つの空間解像度層への階層化された構造の拡張が中心になっている。 Its DCT is to performs encoding in two layers spatial coding structure (two-layer spatial coding structure), but is clearly appropriate, these issues of the relationship between orthogonality and phase layer, three-prong is four One extension of hierarchical structure to the spatial resolution layer is in the center.
【0288】 [0288]
交差層の直交性を提供するための解決策は、各解像度層に対し異なるDCTブロックサイズを利用する方法である。 Solution to provide orthogonality of the cross layer is a method of utilizing the DCT block size different with respect to each resolution layer. 例えば与えた層の解像度が2倍になれば、そのDCTブロックの大きさは2倍になる。 If twice example resolution given layer is, the magnitude of the DCT blocks is doubled. これによって、解像度階層化構造が調波的にアラインされ、層間係数の直交性(inter-layer coefficient orthogonality)が最適であるため、最適の符号化効率が提供される。 Thus, the resolution hierarchical structure is the harmonically aligned, since the orthogonality of the interlayer coefficient (inter-layer coefficient orthogonality) is optimal, optimal coding efficiency is provided.
【0289】 [0289]
図20は、異なる解像度層に対する各種のDCTブロックサイズを示す線図である。 Figure 20 is a diagram showing various DCT block sizes for different resolutions layers. 例えば、4×4画素DCTブロック2000はベース層に使用することができ、8×8画素DCTブロック2002は、上の次の層に使用することができ、16×16画素DCTブロック2004は第三層に使用することができ、そして32×32画素DCTブロック2006は第四層に利用することができる。 For example, 4 × 4 pixels DCT blocks 2000 can be used for the base layer, 8 × 8 pixel DCT block 2002 may be used in the next layer above, 16 × 16 pixels DCT blocks 2004 Third it can be used in the layer, and 32 × 32 pixels DCT blocks 2006 may be utilized in the fourth layer. このように、各層は、完全直交性の追加の調波項を、下の単一又は複数の層に加える。 Thus, each layer, the additional harmonic terms of the complete orthogonality is added to a single or multiple layer below. 任意に追加の精度(SNRのセンスの)を、先にカバーされた係数項(previously covered coefficient term)に加えることができる。 Any additional accuracy (the SNR sense) can be added to the term coefficients covered previously (previously covered coefficient term). 例えば、上記32×32画素ブロック2006中の16×16画素サブセット2008を使用して、16×16画素DCTブロック2004の精度と(SNA改良センスで)高めることができる。 For example, the 32 using × 32 pixel blocks 16 × 16 pixels subset 2008 in 2006, can be enhanced and 16 × 16 pixels DCT blocks 2004 precision (in SNA improved sense).
【0290】 [0290]
動きベクトル MPEG−2において、動きベクトルに対応するマクロブロックは、16×16画素からなり、四つの8×8DCTブロックとして編成されている。 In the motion vector MPEG-2, the macro block corresponding to the motion vector consists 16 × 16 pixels, and is organized as four 8 × 8 DCT blocks. MPEG−4において、各マクロブロックは、任意に、それ自身の動きベクトルを各々がもっているDCTブロックに対応する8×8領域中にさらに細分化することができる。 In MPEG-4, each macroblock may optionally be further subdivided into 8 × 8 in a region corresponding to the DCT blocks each have its own motion vector.
【0291】 [0291]
たとえDCTブロックが、各層のサイズが異なっている方が好ましくても、その動き補償マクロブロックはこの構造によって拘束される必要がない。 Even DCT blocks, even preferably Write size of each layer is different, the motion compensation macroblock need not be bound by this structure. 最も単純な構造は、動きがベース層の動きベクトルによって、すべての層に対して指定されるので、各ベース層の動き補償マクロブロックの単一の動きベクトルが、すべてのより高い層にも当てはまり、すべての強化層から動きベクトルをすっかり除く構造である。 The simplest structure, the motion vector of the motion base layer, since it is specified for all the layers, a single motion vector for motion compensation macroblock of each base layer, applies to all higher layer , a structure that completely excluding the motion vectors from all of the reinforcing layer. しかしより効率的な構造は、各層に、独立して、(1)動きベクトルなし(すなわちベース層の動きベクトルを使用する)、(2)ベース層の動きベクトルに対する追加のサブ画素の精度、又は(3)各動き補償マクロブロックを、独立した動きベクトルを各々が有する2個、4個などの数のブロックに分割することを選択させる構造である。 But a more efficient structure, each layer is independently (1) (using the motion vector of or base layer) no motion vector, (2) the accuracy of the additional sub-pixel for the motion vector of the base layer, or (3) each motion compensation macroblock, two each having a separate motion vector is a structure for selecting the dividing number of blocks, such as four. MPEG−4内のオーバーラップされたブロックの動きを補償する(OBMC)方法を利用して、動かされている独立したブロックの動き補償間の遷移を平滑化することができる。 To compensate for the movement of overlapped blocks in the MPEG-4 using a (OBMC) process, it is possible to smooth the transition between the motion compensation of independent blocks being moved. この説明の他の部分で詳記されているように、サブ画素を配置するため負のローブのフィルタを使うことも、このDCT層構造の動きを補償するのに有益である。 As Shoki elsewhere in this description, also use the negative lobe of the filter to place the sub-pixels, it is beneficial to compensate for movement of the DCT layer structure.
【0292】 [0292]
したがって、各層における各DCTブロックは、その層にとって最適であるように、動きを補償するために多数の動きベクトルブロックに分割できる。 Thus, each DCT block in each layer, as is best for the layer can be divided into a number of motion vectors blocks to compensate for the motion. 図21は、独立した動きベクトルを確認するため動き補償マクロブロックを分割する例を示す線図である。 Figure 21 is a diagram showing an example of dividing a motion compensation macroblock to confirm the independent motion vector. 例えば、ベース層は、4×4画素DCTブロック2100を使用して構築されると、1個(図示してある)から16個もの多数の動きベクトル(各画素に対して一つずつ)を使用できるか又はサブ画素の動きベクトルを利用することさえできる。 For example, the base layer is used when it is built using the 4 × 4 pixel DCT block 2100, one of the many motion vectors of even 16 from (is shown) (one for each pixel) motion vectors may or sub-pixel may even be used. これに応じて、より高いレベルが各々、そのより大きい対応するDCTブロック2102、2104、2106を適切な場合に分割して、符号化予測品質(したがってセービング(saving)DCT係数ビット)対動きベクトルを指定するのに必要なビット間の最適のバランスが得られる。 In response to this, a higher level respectively, the DCT blocks 2102,2104,2106 that the larger corresponding divided if appropriate, coding prediction quality (thus saving (saving Saving) DCT coefficients bit) versus the motion vector optimum balance between bits required to specify is obtained. 動きを補償するためのブロックの分割は、動きベクトルを符号化に使用されるビットと、写真予測の改良との間のトレードオフである。 Division of the block to compensate for motion, the bits used for motion vector coding is a trade-off between improvement of photographic prediction.
【0293】 [0293]
本願の他の部分に記載されているように、低い方の層の動きベクトル由来の案内ベクトルを、高い方の層の各動きベクトルを予測するのに使用すると、やはり、符号化の効率と効力が改善される。 As described elsewhere herein, the guide vector from the motion vector of the lower layer, when used to predict the motion vector of the higher layer, again, efficiency and efficacy of the coding There is improved.
【0294】 [0294]
可変長さ符号化の最適化 Optimization of variable length coding
MPEG−1、MPEG−2、MPEG−4、H. MPEG-1, MPEG-2, MPEG-4, H. 263などの圧縮システム(ウェーブレットなどのDCTシステムと非DCTシステムを含む)が利用する可変長さの符号(例えばハフマン符号又は算術符号)は、小グループの試験シーケンスについて立証された効率に基づいて選択される。 Compression system, such as 263 variable length codes (e.g., Huffman coding or arithmetic coding) (including DCT systems and non-DCT system such as wavelets) are used, selected on the basis of the efficiency was demonstrated for the test sequence of small groups It is. これらの試験シーケンスは、画像のタイプに限定されて、比較的狭い範囲のビット速度、解像度及びフレーム速度だけを表す。 These test sequence is limited to the types of images, representing the only bit rate, resolution and frame rate of the relatively narrow range. さらに、該可変長の符号は、各試験シーケンス及びグループとしての試験シーケンスに関する平均の性能に基づいて選択される。 Further, the variable length codes are selected based on the average performance of a test sequence as the test sequence and groups.
【0295】 [0295]
実質的に一層最適の可変長さ符号化システムは、(1)特定の可変長さ符号化テーブルを各フレームに適用し、次に(2)その特定のフレームに対して最も最適の符号を選ぶことによって得ることができることを実験が示した。 Substantially more optimum variable length encoding system, (1) a specific variable length coding table to apply to each frame, then (2) choose the most optimal code for that particular frame It showed experiments that can be obtained by. 最適の可変長さ符号のこのような選択は、フレーム(フレームの一部又は領域)より小さいユニット又はいくつものフレームのグループに適用できる。 Such selection of the variable length code of the best can be applied to (a part or area of ​​the frame) smaller units or groups of several frames frame. 動きベクトル、DCT係数、マクロブロックのタイプなどに使われる可変長さ符号は、各々、与えられたユニット(すなわち、フレーム、サブフレーム又はフレームのグループ)に対し、そのユニットの現行の解像度とビット速度にて、独立して最適化することができる。 Motion vector, DCT coefficients, variable length codes are used, such as the type of macroblock, respectively, for a given unit (i.e., frame, sub-frame or frame group), the current resolution and bit rate of the unit in, it can be optimized independently. また、この方法は、本願の別の部分で述べられている空間解像度強化層にも適用できる。 Further, the method can also be applied to the spatial resolution enhancement layer have been described in another part of this application.
【0296】 [0296]
可変長さ符号のどのグループを使うべきかという選択は、少数のビットを使って、各フレーム(又はサブパート又はグループ)で運ぶことができる。 Selection of whether to use which group of variable length codes, it is possible to use a small number of bits, carried in each frame (or sub-part or group). さらに、カスタム符号化表は、信頼性が高いデータの伝送とプレイバックを利用できるところへ(例えばデータ光ディスク又は光ファイバーネットワークで)ダウンロードすることができる。 Furthermore, custom coding tables can be downloaded to the place available transmission and playback of reliable data (eg the data optical disc or an optical fiber network).
【0297】 [0297]
MPEG−1、MPEG−2、MPEG−4、H. MPEG-1, MPEG-2, MPEG-4, H. 263、DVC−Pro/DVなどの圧縮システムが使用する既存の符号化表は、定義済でかつ静的(pre-defined and static)であることに注目すべきである。 263 existing coding table compression system uses such as, DVC-Pro / DV should be noted that it is defined in and static (pre-defined and static). したがって本発明のこの側面の適用は上位互換性ではないが、将来の符号化システムと下位互換性であろう。 Therefore this application side is not a forward compatibility of the present invention, it will be a future coding system backwards compatible.
【0298】 [0298]
MPEG−2とMPEG−4用の増強システム MPEG-2 and enhancement system for MPEG-4
現在、MPEG−2を実現できる復号器(MPEG-2 capable decoder)の大きな設置ベースがある。 Currently, there is a large installed base of decoder (MPEG-2 capable decoder) capable of realizing a MPEG-2. 例えば、DVDプレーヤー及びDirecTV衛星受信機はともに、現在、数百万の家庭にある。 For example, DVD players and DirecTV satellite receiver are both currently in the home of millions. MPEG−4はMPEG−2と互換性がないので、MPEG−4ビデオ圧縮復号化がMPEG−2を超えて提供できる改良点はまだ利用できない。 Since MPEG-4 has no MPEG-2 compatible, improvements MPEG-4 video compression decoding can be provided beyond the MPEG-2 is not yet available. しかし、MPEG−4とMPEG−2はともに、動きを補償されたDCT圧縮システムであり、共通の基本構造を共用している。 However, MPEG-4 and MPEG-2 are both a DCT compression system has been compensated for motion, share a common basic structure. MPEG−4のビデオ符号化システムの合成システム(composition system)はMPEG−2とは基本的に異なり、いくつかの他の拡張された特徴がある。 MPEG-4 video coding system synthesis system (Composition system) is fundamentally different from the MPEG-2, there are several other extended features. この考察では、MPEG−4のフルフレームビデオ符号化の側面だけを考察している。 In this discussion, it is discussed only side full frame video coding MPEG-4.
【0299】 [0299]
MPEG−4とMPEG−2の間には多数の差があるが、主な差は次のとおりである。 MPEG-4 and between the MPEG-2 there are a number of differences, but the main difference is as follows.
(1)MPEG−4は、16×16マクロブロックを四つの8×8ブロックに、各DCTに対して一つずつ任意に分割することができ、その8×8ブロックは各々独立の動きベクトルを有している。 (1) MPEG-4 is a 16 × 16 macroblock into four 8 × 8 blocks, can be divided into one by one arbitrarily with respect to each DCT, the motion vector of the 8 × 8 blocks are each independently It has.
(2)MPEG−4−Bフレームは、予測の一タイプである「直接」モードをもっている。 (2) MPEG-4-B-frame has the "direct" mode, which is a type of prediction.
(3)MPEG−4−Bフレームは、Bフレームの「I」マクロブロックを支持するMPEG−2と異なり「I」マクロブロックを支持しない。 (3) MPEG-4-B-frame does not support different from the MPEG-2 that supports the "I" macroblock "I" macroblocks B frames.
(4)MPEG−4のDCT係数は、MPEG−2の場合より一層精緻なパターンで符号化することができるが、周知のジグザグパターンがMPEG−2とMPEG−4の両者に共通している。 (4) DCT coefficients of MPEG-4, which can be further encoded in precise pattern than the MPEG-2, well-known zigzag pattern is common to both the MPEG-2 and MPEG-4.
(5)MPEG−4は10ビットと12ビットの画素深度(pixel depth)を支持するが、MPEG−2は8ビットに限定されている。 (5) MPEG-4 is for supporting 10-bit and 12-bit pixel depth of (pixel depth), MPEG-2 is limited to 8 bits.
(6)MPEG−4は1/4画素の動きベクトルの精度を保持しているが、MPEG−2は1/2画素の精度に限定されている。 (6) MPEG-4 retains the accuracy of the motion vector with the quarter-pixel but, MPEG-2 is limited to half pixel precision.
【0300】 [0300]
いくつかのこれらの差、例えばB−フレーム「直接」モードと「I」マクロブロックの差は基本的に互換性がないことを意味している。 Difference in some of these differences, for example, B- frames "direct" mode and "I" macroblocks which means that there is no fundamentally compatible. しかし、これら符号化モード両者は自由に選択され、そして符号器はこれらをどちらも使用しないことを(小さな効率損失で)選択しその結果、この非互換性を除くことができる。 However, these coding modes both be chosen freely, and the encoder not to neither of these uses (with small efficiency loss) selected as a result, it is possible to eliminate this incompatibility. 同様に、符号器は、DCT係数のためのMPEG−4の符号化パターンを限定して、より優れたMPEG−2の共通の性質を提供できる(やはり小さい効率損失で)。 Similarly, the encoder is to limit the MPEG-4 coding pattern for the DCT coefficients, can provide better common property of MPEG-2 (in still smaller loss of efficiency).
【0301】 [0301]
残りの三つの主要項、すなわち8×8四方向(four-way)ブロックスプリット、1/4画素動きベクトル精度及び10ビットと12ビットの画素深度は、MPEG−2がすでに提供している基本構造に対する「増加物(augmentation)」とみなすことができる。 The remaining three main sections, i.e. 8 × 8 four directions (four-way) block split, 1/4-pixel motion vector accuracy and 10-bit and 12-bit pixel depth, basic structure MPEG-2 already provides it can be regarded as "increase product (augmentation)" for.
【0302】 [0302]
本発明のこの側面は、これらの「増加物」を別の構造物として提供できることを利用する。 This aspect of the present invention utilizes to be able to offer these "Increasing product" as a separate structure. したがって、この増加物は、別々に符号化され、別の増加物ストリームとして、標準のMPEG−2又はMPEG−4のストリームとともに運ぶことができる。 Therefore, this increase was, is encoded separately, as a separate increased product stream can carry with streams of the standard MPEG-2 or MPEG-4. また、この技法は、MPEG−1、H. In addition, this technique is, MPEG-1, H. 263などの、共通の動き補償DCT構造体を共用するビデオ符号化システムでも使用することができる。 Such as 263, it may be used in video coding systems sharing a common of the motion compensation DCT structures. 図22は、MPEG−2タイプシステムに対する増加システムを示すブロック図である。 Figure 22 is a block diagram illustrating an augmentation system for MPEG-2 type systems. 主圧縮データストリーム2200(図22には動きベクトル、DCT係数、マクロブロックモードビット並びにI、B及びPのフレームを含めて示してある)が、従来のMPEG−2タイプ復号器2202及び並列の強化復号器2204に運ばれる。 The main compressed data stream 2200 (the motion vectors in Figure 22, DCT coefficients, macro-block mode bits as well as I, is shown to include a frame of B and P) are reinforced in the conventional MPEG-2 type decoder 2202 and a parallel It is conveyed to the decoder 2204. 強化データストリーム2206(1/4画素動きベクトル精度、8×8四方向ブロックスプリット動きベクトル並びに10ビット及び12ビットの画素深度を含めて図示してある)が、同時に、強化復号器2204に運ばれる。 Enhanced data stream 2206 (quarter-pixel motion vector accuracy, is shown including 8 × 8 four-way block split motion vector and 10-bit and 12-bit pixel depth) are simultaneously carried to enhance the decoder 2204 . 強化復号器2204は、二つのデータストリーム2200と2206を組み合わせて、それらを、復号して、強化ビデオ出力を提供する。 Enhanced decoder 2204 combines the two data streams 2200 and 2206, they, and decodes providing enhanced video output. この構造を使用して、符号化の強化を、どの動き補償DCT圧縮システムにも加えることができる。 Using this structure, the strengthening of the coding can be added to any motion compensated DCT compression system.
【0303】 [0303]
この構造の使用は、より最適のMPEG−2復号又はより最適の強化信号を行うための復号器によってバイアスすることができる。 Use of this structure may be biased by a decoder for performing a more optimal MPEG-2 decoding or than the optimum reinforcement signal of. MPEG−4ビデオ符号化の改良点を加えることによって強化されたこのような復号が、MPEG−2が復号した写真の画質に少し妥協して、最適に強化された写真画質を達成するのに好都合であろうと期待される。 MPEG-4 such decoded reinforced by adding improvements video encoding, a little compromise the quality of pictures MPEG-2 has been decoded, conveniently to achieve optimally enhanced photographic quality it is expected that it would.
【0304】 [0304]
例えばMPEG−2ビデオ符号化をMPEG−4で強化する場合、MPEG−2の動きベクトルは、前記四方向スプリット動きベクトルに対する「予測子(predictor)」として使用でき(MPEG−4が四方向スプリットを選択する場合に)、又は非スプリット16×16マクロブロックに対して直接使用できる。 For example, to enhance the MPEG-2 video encoding in MPEG-4, motion vector of the MPEG-2, the available as "predictor (predictor)" to the four directions split motion vector (MPEG-4 is a four-way split when you select), or directly be used for non-split-16 × 16 macroblock. 1/4画素動きベクトル解像度は、強化データストリーム2206内の精度の追加の1ビットとして符号化する(垂直方向と水平方向)ことができる。 Quarter-pixel motion vector resolution, can be encoded as an additional 1-bit accuracy in the enhancement data stream 2206 (vertical and horizontal). 余剰画素深度(extra pixel depth)は、逆DCT関数を適用する前に、余剰精度として、DCT係数に符号化することができる。 Extra pixel depth (extra pixel depth), before applying the inverse DCT function, as excess precision can be encoded to the DCT coefficients.
【0305】 [0305]
本発明の重要な課題である空間解像度の階層化は、ベース層ができるだけ完全に符号化されると、最も最適に機能する。 Hierarchical spatial resolution is an important object of the present invention, the base layer is as completely as possible coding function most optimally. MPEG−2は不完全な符号化を行い、解像度強化層に劣った性能を生じる。 MPEG-2 performs an incomplete coding, resulting in inferior performance to resolution enhancement layer. 上記増加システムを使用することによって、ベース層は、例えば、上記のMPEG−4の改良点(及び本願に記載の他の改良点)を用いて、ベースを符号化するMPEG−2データストリームを増大することによって改良することができる。 By using the augmentation system, the base layer, for example, increasing the MPEG-2 data stream is encoded, the base used improvements of the above MPEG-4 (and other improvements described herein) it can be improved by. 得られるベース層は、付随する強化データストリームとともに、より優れた符号化(例えばMPEG−4及び本発明の他の改良方法による)からもたらされた改良ベース層を利用して得られる品質と効率の大部分を有している。 The resulting base layer, along with enhanced data stream associated, the quality obtained by using better coding improved base layer resulting from (e.g. MPEG-4 and according to another improved method of the present invention) Efficiency It has a large part of. 得られた改良ベース層には、本発明の他の側面を使用して、又は2以上の解像度強化層を適用できる。 Resulting in the improved base layer, using other aspects of the present invention, or may be applied two or more resolution enhancement layer.
【0306】 [0306]
本発明の他の改良品、例えば動きを補償するため負のローブを有するより優れたフィルタは、増大された強化復号器によって呼び出すこともでき、MPEG−4などの動き補償圧縮システムが提供する改良点を超える改良点がさらに生じる。 Another improved products of the present invention, for example, better filter than a negative lobe to compensate for the motion, can also be invoked by increased enhanced decoder, improvements provided by the motion compensation compression systems such as MPEG-4 further it occurs improvements beyond the point.
【0307】 [0307]
空間強化層に対する案内ベクトル Guide vector for space reinforcing layer
動きベクトルは、本発明によってつくられた各解像度強化層内に割り当てられたビットの大きな部分を含んでいる。 Motion vector includes a large portion of the bits assigned to each resolution enhancement layer made by the present invention. ベース層の同じ位置に、対応する動きベクトルを、「案内ベクトル」として使用することによって、強化層の動きベクトルに必要なビットの数を実質的に減らすことが可能であることが確認された。 In the same position of the base layer, the corresponding motion vector, by using as a "guidance vectors", it was confirmed to be possible to reduce the number of bits required for motion vector of the reinforcing layer substantially. したがってその強化層の動きベクトルは、ベース層からの対応する案内ベクトル中心について小さいサーチ範囲のサーチだけで符号化される。 Thus motion vector of the enhancement layer is only encoded search a small search range for the corresponding guiding vectors center of the base layer. このことは、MPEG−4強化層にとっては特に重要である。 This is particularly important for MPEG-4 reinforcing layer. なぜならば、各マクロブロックは任意に四つの動きベクトルをもつことができ、かつ動きベクトルの1/4画素解像度を利用できるからである。 Since each macroblock is because arbitrarily can have four motion vectors, and can use quarter-pixel resolution motion vector.
【0308】 [0308]
図23は、ベース層2300からの動きベクトルを案内ベクトルとして解像度強化層2302に使用することを示す線図である。 Figure 23 is a diagram illustrating the use of the motion vector from the base layer 2300 to resolution enhancement layer 2302 as a guide vector. ベース層2300からの動きベクトル2304は、解像度強化層2302のスケールまで拡張した後、強化層2302の動きベクトルを改善するための案内ベクトル2304'として役立つ。 Motion vector 2304 from the base layer 2300, after extending to the scale of resolution enhancement layer 2302, serve as a guide vector 2304 'to improve the motion vector of the enhancement layer 2302. したがって、対応する強化層2302の動きベクトル2306を見つけるのに、小さい範囲しかサーチする必要はない。 Thus, to find the motion vector 2306 of the corresponding enhancement layer 2302, a small range only need to search. そのプロセスは、ベース層由来のすべての動きベクトルに対して同じである。 The process is the same for all of the motion vectors from the base layer. 例えば、MPEG−4では、16×16画素ベース層マクロブロックは、四つの8×8画素動きベクトルブロックに任意に分割できる。 For example, in the MPEG-4, 16 × 16 pixels base layer macroblock can be arbitrarily divided into four 8 × 8 pixel motion vectors block. 次に、対応するファクター2(factor-of-two)の強化層が、案内ベクトルとして、ベース層からの同時に配置されている動きベクトルを利用する。 Next, reinforcing layer of the corresponding factor 2 (factor-of-two) is, as a guide vector utilizes the motion vectors are placed at the same time from the base layer. この実施例では、ベース層中の8×8動きベクトルブロックのうちの一つからの動きベクトルが、強化層中の対応する16×16画素マクロブロック内の動きベクトルのサーチを案内する。 In this embodiment, motion vectors from one of the 8 × 8 motion vectors block in the base layer is to guide the search for the motion vector of the corresponding 16 × 16 pixels in a macroblock of the enhanced layer. この16×16ブロックは、すべて同じ対応するベース層動きベクトルを案内ベクトルとして利用して、任意に、四つの8×8動きベクトルブロックにさらに分割することができる。 The 16 × 16 block utilizes all of the same corresponding base layer motion vector as a guide vector, optionally, it may be further divided into four 8 × 8 motion vectors block.
【0309】 [0309]
強化層中のこれら小さいサーチ範囲の動きベクトルは、次に、はるかに高い効率で符号化される(すなわち、より小さい強化層動きベクトル2306をコードするのに必要なビットは少ない)。 Motion vectors of these small search range of the reinforcing layer is then coded at a much higher efficiency (i.e., bits less required to encode the smaller enhancement layer motion vector 2306). この案内ベクトル法は、MPEG−2、MPEG−4又は他の適切な単一又は複数の動き補償空間解像度強化層に適用できる。 The guide vector method is applicable to MPEG-2, MPEG-4, or other suitable single or multiple motion compensated spatial resolution enhancement layer.
【0310】 [0310]
強化モード Enhanced mode
図24A−24Eは、代表的な専門レベルの強化モードに現れるデータ流の線図である。 Figure 24A-24E is a diagram of a data stream that appears to strengthen mode typical professional level. これらの図は、左欄に写真データ(中間段階を含む)を示し、中央欄にプロセッシングステップを示し、そして右欄に出力を示す。 These figures show the picture data in the left column (including the intermediate stages) shows the processing steps in the middle column, and shows the output in the right column. これはここで述べるいくつものプロセッシングステップを結合する方法のほんの一例であることに注目すべきである。 It should be noted that only one example of a method of coupling the processing steps of the several described herein. より簡単な及びより複雑な異なる結合を配置構成して、異なるレベルの圧縮、アスペクト比及び画像の画質を達成することができる。 By arrangement simpler and more complex different binding can be achieved the quality of different levels of compression, aspect ratio and image.
【0311】 [0311]
図24Aは2k×1k画素の初期写真2400を示す。 Figure 24A shows the initial photograph 2400 of 2k × 1k pixels. この画像をダウンフィルタして(2402)1k×512画素2404にする。 The image down filter to (2402) 1k × 512 pixels 2404. 動きベクトル2406を初期写真からつくりファイル2407として出力する。 And outputs it as a file 2407 to make a motion vector 2406 from the initial photos. 前記1k×512画素画像2404を圧縮/復元して(2408)1k×512復元画像2410にし、次いでその圧縮されたバージョンをベース層2412として、関連する動きベクトルファイル2416とともに出力する。 The 1k × 512 pixels image 2404 and compression / decompression (2408) to 1k × 512 restored image 2410, then the compressed version as the base layer 2412, and outputs with associated motion vector file 2416. 1k×512の復元された画像2410を拡張して(2418)2k×1k画像2420とする。 By expanding the restored image 2410 of 1k × 512 and (2418) 2k × 1k image 2420. 1k×512画像2404を拡張して(2422)、2k×1k画像2424にする。 Extend the 1k × 512 image 2404 (2422), to 2k × 1k image 2424. 2k×1kの画像2420を、オリジナル画像2400から差し引いて(2428)、2k×1k差分写真2428をつくる。 The image 2420 of 2k × 1k, is subtracted from the original image 2400 (2428), creating a 2k × 1k difference photo 2428.
【0312】 [0312]
2k×1kの画像2424をオリジナル画像2400から差し引いて(2430)2k×1kの差分写真2432をつくる。 The image 2424 of 2k × 1k is subtracted from the original image 2400 (2430) make a difference Photos 2432 of 2k × 1k. 2k×1k差分写真2432の振幅を選択した大きさ(例えば0.25倍)に小さくして(2434)、2k×1kの大きさの差分写真2436をつくる。 By reducing the 2k × size were selected amplitude of 1k differential photo 2432 (e.g., 0.25) (2434), made the difference photograph 2436 of the size of 2k × 1k. 2k×1kの大きさの差分写真2436を2k×1kの差分写真2428に加えて(2438)、2k×1kの組み合わせ差分写真2440をつくる。 The difference photo 2436 size of 2k × 1k in addition to the difference photograph 2428 of 2k × 1k (2438), making a combined difference photograph 2440 of 2k × 1k. その組み合わせ差分写真2440を、オリジナルの動きベクトルを使用して符号化/復号し(2442)、次いで符号化された強化層2444を出力し(この実施例ではMPEG−2)、次に2k×1kの復号された強化層2246を出力する。 The combined differential photo 2440, the encoding / decoded using the original motion vector (2442), then outputs a reinforcing layer 2444 which is coded (MPEG-2 in this example), then 2k × 1k and it outputs the reinforcing layer 2246 which decoded. 2k×1kの復号された強化層2246を、2k×1kの画像2420に加えて(2448)、2k×1kの再構築したフルベースプラス強化画像2450をつくる。 The 2k × reinforcing layer 2246 which decoded the 1k, in addition to the image 2420 of 2k × 1k (2448), make full base plus enhanced image 2450 obtained by reconstruction of 2k × 1k. オリジナル画像2400を、2k×1kの再構築されたフルベースプラス強化画像2450から差し引いて(2452)、2k×1k第二層差分写真2454をつくる。 The original image 2400, is subtracted from the full base plus enhanced image 2450 that has been re-construction of the 2k × 1k (2452), creating a 2k × 1k second layer difference photo 2454. 2k×1kの第二層差分写真2454の振幅を大きくして(2456)、2k×1kの差分写真2458をつくる。 By increasing the amplitude of the second layer difference photo 2454 of 2k × 1k (2456), make the difference between a photo 2458 of 2k × 1k. 次にレッドチャネル情報2458、グリーンチャネル情報2460及びブルーチャネル情報2462を抽出してそれぞれ、レッド差分画像2464、グリーン差分画像2466及びブルー差分画像2468をつくる。 Then Red channel information 2458, respectively, to extract the green channel information 2460, and blue channel information 2462, Red difference image 2464, make a green difference image 2466 and the blue difference image 2468. 動きベクトルファイル2407を使用して、該レッド差分写真2464からの第二レッド層を符号化/復号して(2470)、レッド第二強化層2472及び復号されたレッド差分画像2474にし;グリーン差分写真2466からの第二グリーン層を符号化/復号して(2476)、グリーン第二強化層2478及び復号されたグリーン差分画像2480にし;次いでブルー差分写真2468からの第二ブルー層を符号化/復号して(2482)、ブルー第二強化層2484及び復号されたブルー差分画像2486にする。 Using motion vector file 2407, a second red layer from the red differential photo 2464 to coding / decoding (2470), the red second reinforcing layer 2472 and red difference image 2474 that has been decoded; Green differential photo a second green layer from 2466 to coding / decoding (2476), and Green second reinforcing layer 2478 and decoded green difference image 2480; then encoding / decoding a second blue layer from the blue differential photo 2468 and (2482), and blue second reinforcing layer 2484 and the blue difference image 2486 which has been decoded. 前記復号されたレッド差分画像2474、前記復号されたグリーン差分画像2480、及び前記復号されたブルー差分画像2486を、復号されたRGB差分画像2490に連結する(2488)。 Red difference image 2474 which is the decoded, the decoded green difference image 2480, and the blue difference image 2486 which is the decoded, coupled to RGB difference image 2490 which has been decoded (2488). 復号化されたRGB差分画像2490の振幅を小さくして(2492)、第二の復号されたRGB差分画像2494をつくる。 By reducing the amplitude of the RGB difference image 2490 which has been decoded (2492), create a second RGB differential image 2494 that decoded the. その第二の復号されたRGB差分画像2494を、前記2k×1kの再構築されたフルベースプラス強化画像2450に付加して(2496)、2k×1kの再構築された第二強化層画像2498をつくる。 The second RGB differential image 2494 which decoded, and in addition to the full base plus enhanced image 2450 that has been reconstructed in the 2k × 1k (2496), the second reinforcing layer image 2498 that has been reconstructed in the 2k × 1k the making. その2k×1kの再構築された第二強化層画像2498をオリジナル画像2400から差し引いて(2500)、2k×1kの最終残留画像2502をつくる。 The second enhancement layer pictures 2498 reconstructed the 2k × 1k subtracted from the original image 2400 (2500), making a final residual image 2502 of 2k × 1k. この2k×1kの最終残留画像2502を次に、無損失で圧縮して(2504)、別々のレッド、グリーン及びブルーの最終の残留差分画像2506をつくる。 The final residual image 2502 of 2k × 1k then, are compressed on a lossless (2504), separate red, making residual difference image 2506 green and blue final.
【0313】 [0313]
コンピュータの使用 Use of computer
本発明はハードウェア又はソフトウェア又は両者の組み合わせで実施することができる。 The present invention can be implemented in a combination of hardware or software, or both. しかし、好ましくは、本発明は、1又は2以上のプログラマブルコンピュータで実行するコンピュータプログラムで実施され、そのプログラマブルコンピュータは各々、少なくとも一つのプロセッサ、データ記憶システム(揮発性及び不揮発性のメモリ及び/又は記憶素子を含む)、入力装置及び出力装置を含んでいる。 However, preferably, the present invention may be implemented in a computer program executed by one or more programmable computers, each its programmable computer, at least one processor, a data storage system (memory volatile and non-volatile and / or a storage device) includes an input device and an output device. プログラムコードが入力データに適用されて、ここに記載されている機能を実行して出力情報を生成する。 The program code is applied to input data to generate output information to perform the functions described herein. その出力情報は、既知の方式で、1又は2以上の出力装置に加えられる。 Its output information, in a known manner, applied to one or more output devices.
【0314】 [0314]
このようなプログラムは各々、所望のコンピュータ言語(機械言語、アセンブリ言語又は高レベルの手続き型言語、論理言語又はオブジェクト指向プログラミング言語がある)で実行して、コンピュータシステムと通信することができる。 Each such program is run on a desired computer language (machine language, assembly language or high-level procedural language, there is a logical or object-oriented programming languages) can communicate with a computer system. いずれにしろ、その言語は翻訳された言語又は解釈された言語でもよい。 In any case, the language may be a language or interpreted language is translated.
【0315】 [0315]
このようなコンピュータプログラムは、好ましくは、汎用又は専用のプログラマブルコンピュータシステムが読出し可能な記憶媒体又は記憶装置(例えばROM、CDROM又は磁気もしくは光の媒体)に記憶され、その記憶媒体又は記憶装置が該コンピュータによって読み取られると、該コンピュータを設定し(configure)作動させて、ここに記載の手続を実行する。 Such a computer program, preferably, a programmable computer system readable storage medium or a storage device of a general-purpose or dedicated stored in (eg, ROM, media CDROM, or magnetic or optical), the storage medium or storage device the when read by a computer, configure the computer (the configure) is operated, to perform the procedures described herein. また本発明のシステムは、コンピュータプログラムで構成された、コンピュータが読み取り可能な記憶媒体として提供されると考えることもでき、このように配置構成された記憶媒体は、コンピュータシステムを、特定の予め定義された方式で作動させて、ここに記載の機能を実行する。 The system of the present invention, configured with a computer program, can be thought of as a computer is provided as a storage medium readable, this arrangement configured storage medium defines a computer system, specific pre is operated at is manner, to perform the functions described herein.
【0316】 [0316]
結論 Conclusion
新規であるとみなされる本発明の異なる側面としては、限定されないが下記の思想を含んでいる。 The different aspects of the present invention which are considered to be novel, but are not limited to include the idea below.
・世界中で広く使われている既存の24fpsのフィルムやビデオのインフラストラクチャとの互換性を提供するため、高フレーム速度の利益を新しい電子ビデオシステムに与えながら、72fpsをソースフレーム速度として電子カメラに使用すること。 · To provide compatibility with at widely used existing are of 24fps film or video infrastructure world, while providing the benefit of high frame rate to a new e-video system, an electronic camera 72fps as a source frame rate It is used.
・米国特許願第09/435,277号(発明の名称「System And Method For Motion Compensation and Frame Rate Conversion」、1999年11月5日付け出願)由来の動き補償とフレーム速度変換を行う方法を利用して72fps及び/又は120fpsから60fpsに変換すること。 - U.S. Patent Application No. 09 / 435,277 (entitled "System And Method For Motion Compensation and Frame Rate Conversion" of the invention, November 5, 1999 with application) using the method of performing the origin of the motion compensation and frame rate conversion converting from 72fps and / or 120fps to 60fps by.
・[0.1、0.8、0.1]〜[0.25、0.5、0.25]の範囲の重み付けをしたフィルタを使用して行う72fpsから24fpsへの変換及びほぼ[0.1、0.2、0.4、0.2、0.1]の重み付けを利用して行う120fpsから24fpsへの変換。 · [0.1,0.8,0.1] Conversion - from 72fps performed using a filter weighted in the range [0.25,0.5,0.25] to 24fps and approximately [0 conversion from 120fps carried out by using a weighting of .1,0.2,0.4,0.2,0.1] to 24fps.
・[0.1、0.8、0.1]〜[0.25、0.5、0.25]の範囲の重み付けを利用する3フレームのオーバーラッピングセット(1/60のフレーム各々に対するアドバンスド2/120)を使用して行う120fpsから60fpsへの変換。 · [0.1,0.8,0.1] - [0.25,0.5,0.25] Advanced for 3 overlapping set (1/60 frame each frame utilizing the weighting of the range of conversion to 60fps from 120fps be done using 2/120).
・米国特許願第09/435,277号(発明の名称「System And Method For Motion Compensation and Frame Rate Conversion」、1999年11月5日付け出願)由来の動き補償とフレーム速度変換を行う方法を利用して、一般に好ましい単純な重み付けが所望の品質より少ない小比率のシーンについて、動きブラーを増大しフレーム速度を72fps(又は他のより高い速度)ソースから24fpsに変換すること。 - U.S. Patent Application No. 09 / 435,277 (entitled "System And Method For Motion Compensation and Frame Rate Conversion" of the invention, November 5, 1999 with application) using the method of performing the origin of the motion compensation and frame rate conversion to generally preferred for simple weighting of less minor proportion than desired quality scenes, converting the frame rate to increase the motion blur 72Fps (or other higher speed) from a source to 24 fps.
・より高いフレーム速度(72fps、120fpsなど)を利用してシューティング(shooting)を行いながら、上記重み付け関数によって24fpsの監視を利用すること。 - higher frame rate (72fps, 120fps, etc.) while shooting (shooting) by utilizing, utilizing monitoring 24fps by the weighting function.
・誘導された24fpsの結果をオリジナルの高フレーム速度とともに同時にリリースすること・階層化符号化を行う前にデ−グレイニング(de-graining)及び/又はノイズ減少のフィルタリングを行うこと。 - induced de results 24fps before performing original that-layered coding simultaneously released with high frame rate - graining (de-graining) and / or to perform filtering of noise reduction.
・復号を行った後、創造効果としてリ−グレイニング(re-graining)又はリ−ノイジング(re-noising)を行うこと。 - After decoding was performed, Li as a creative effect - graining (re-graining) or re - Noijingu (re-noising) be performed.
・階層化圧縮を行う前にデ−インタレーシングを行うこと。 De before performing the hierarchical compression - to perform the interlacing.
・単一層及び多重層の圧縮を行う前に3フィールドフレームデ−インタレーサを適用すること・単一層及び多重層の圧縮を行う前に写真をアップフィルターして写真の解像度を改善すること。 - single and 3-field frame de before performing the compression of the multi-layer - it & monolayers applying the interlacer and to improve the resolution of pictures up filter picture before performing the compression of the multiple layers.
・強化層内のサブ領域の大きさ及びベース層と強化層に割り当てられたビットの相対的比率を調節すること。 - the size and the base layer of the sub-regions of the reinforcing layer and adjusting the relative proportions of bits allocated to the reinforcing layer.
・フラクショナル・リレーションシップ(fractional・relationship)が独立して異なるように、垂直と水平の関係を独立して処理すること。 Fractional relationship (fractional-relationship) such that different independently be processed independently vertical and horizontal relationship.
・高圧縮ストレスの期間中、圧縮ユニットに(例えばGOP)に対し高ビット速度を(自動的に、速度制御量子化パラメータの高い値を検出することによって又は手動で制御することによって)与えること。 · During the high compression stress, the compression unit a high bit rate with respect to (e.g. GOP) (automatically, by controlling or by manually by detecting high values ​​of speed control quantization parameter) give it.
・圧縮システム及び階層化圧縮システムの自然ユニット(natural unit)がモジュラユニットの増大されたビット速度を利用できる「モジュラ化」ビット速度を使用すること。 And natural unit of compression system and layered compression system (natural Unit) can be used to increase bit rate of the modular unit "Modularization" The use of bit rates.
・単一又は複数の復元バッファに、増大されたビット速度のモジュラユニットをプレロードして、圧縮システム又は階層化圧縮システムで使用すること。 - a single or a plurality of restoration buffer, and preload the modular units of the increased bit rate, be used in a compression system, or layered compression system.
・一定のビット速度のシステムを、本発明の階層化圧縮システムの1又は2以上の層で使用すること。 - constant bit rate system, to be used in one or more layers of a layered compression system of the present invention.
・可変ビット速度のシステムを、本発明の階層化圧縮システムの1又は2以上の層で使用すること。 · A variable bit rate system, be used in one or more layers of a layered compression system of the present invention.
・使用される固定ビット速度のシステムと可変ビットのシステムを組み合わせて、本発明の階層化圧縮システムの各種の層で使用すること。 - a combination of constant bit rate of the system and the variable-bit system used is, be used in various layers of the layered compression system of the present invention.
・解像度を階層化(「空間スケーラビリティ」とも呼称される)の際に使用するため、対応してより大きいDCTブロックサイズと追加のDCT係数を使用すること。 Resolution layered for use in the (as "spatial scalability" is referred), the use of additional DCT coefficients greater than DCT block size supported. 例えば与えられた層の解像度が2倍になると、DCTブロックサイズは2倍の大きさになる。 For example, when the resolution of the given layer is doubled, DCT block size becomes twice as large. これによって、解像度階層化構造が高調波的にアラインされ、層間係数の直交性が最適であるため最適の符号化効率が提供される。 Thus, the resolution hierarchical structure is harmonically aligned, optimum coding efficiency since orthogonality is optimal interlayer coefficients is provided.
・単位DCTブロック当り多数の動きベクトルを使用して、大きいDCTブロックと小さいDCTブロックが動きベクトルビットと改善された動き補償予測との間のトレードオフを最適化できるようにすること。 And unit use the DCT blocks per number of motion vectors, to be able to optimize the tradeoff between large DCT block and a small DCT block is improved vector bit motion motion compensation prediction.
・負のローブを有するアップサイジングフィルタとダウンサイジングフィルタ特に接頭sincフィルタを使用すること。 · The use of upsizing filter and downsizing filter particular prefix sinc filter with a negative lobe.
・負のローブを有する動き補償変位フィルタを使用すること。 · The use of motion compensation displacement filters having negative lobes.
・比較的に瞬間的なペイシス、例えば各フレーム、フレームの各領域(例えばいくつもの走査ライン又はマクロブロックライン又は各象限)又はあらゆるいくつものフレームで、最適の可変長さコードを選択すること。 · Relatively instantaneous Peishisu, for example, each frame, each region of the frame (e.g., a number of scan lines or macroblock line or each quadrant) or any a number of frames, selecting a variable length code optimal.
・増大ストリームを利用して改良された符号化機能を既存の圧縮システムに加え、新しい強化復号器を使用して画質を改善するのみならず上位互換性を提供すること。 · The coding function has been improved by using in addition to the existing compression systems increase stream, to provide upward compatibility not only to improve the image quality by using a new enhanced decoder.
・強化された復号写真を利用して、より高い品質のベース層を提供し解像度階層化を行うこと。 · Utilizing the enhanced decoded pictures, it provides a higher quality base layer by performing the resolution layering.
・類似の移動画像符号化システム間で符号化エレメントを共用して改良への道筋のみならず上位互換性を提供すること。 · Providing upward compatibility not route only to improved sharing the encoding element between similar mobile image encoding system.
・2タイプの復号器に部分的に共通で該復号器の一方又は他方を選ぶ規定を含んでいる圧縮ビットストリームの生成を、符号化プロセスに考慮すること。 · 2 types of generation of compressed bit stream that includes provisions to choose one or the other of the decoding device in partially common to the decoder, be considered in the encoding process.
・ベース層動きベクトルを案内ベクトルとして使用して、使用される動きベクトルの範囲を強化層の中心に置くこと。 Base layer motion vectors using as a guide vector, placing the range of motion vectors used in the center of the reinforcing layer.
・上記方法の組み合わせを、強化層に適用すること、又はMPEG−1、MPEG−2、MPEG−4、H. - combinations of the above methods, be applied to the reinforcing layer, or MPEG-1, MPEG-2, MPEG-4, H. 263、DVC−pro/DV、及びウェーブレットベースのシステムを含む他の圧縮システムを改善するために適用すること。 263, DVC-pro / DV, and apply it to improve other compression system including a wavelet-based system.
【0317】 [0317]
本発明のいくつもの実施態様を説明してきた。 Having described several embodiments of the present invention. しかしながら、各種の変形は、本発明の精神と範囲から逸脱することなく行うことができるものである。 However, various modifications are those that can be made without departing from the spirit and scope of the invention. 例えば、好ましい実施態様はMPEG−2又はMPEG−4の符号化法と復号法を利用しているが、本発明は、I、P及び/又はBのフレームと層の均等物を提供するどんな類似の標準とでも作動する。 For example, a preferred embodiment is utilizing a decoding method and coding method of MPEG-2 or MPEG-4, the present invention is any analogous to provide equivalent frame and a layer of I, P and / or B It operates with the standard even. したがって、本発明は、具体的に例示された実施態様で限定されず本願の特許請求の範囲の範囲によってのみ限定されるものである。 Accordingly, the present invention is to be limited only by the scope of the specifically exemplified claims hereof is not limited in implementation.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】60Hzで表示される24fpsと36fpsのマテリアルに対するプルダウン速度を示すタイミング線図である。 1 is a timing diagram showing the pulldown rates for Material 24fps and 36fps displayed in 60 Hz.
【図2】第一の好ましいMPEG−2符号化パターンである。 2 is a first preferred MPEG-2 coding pattern.
【図3】第二の好ましいMPEG−2符号化パターンである。 3 is a second preferred MPEG-2 coding pattern.
【図4】本発明の好ましい実施態様による時相層の復号を示すブロック図である。 It is a block diagram illustrating a decoding time phase layer according to a preferred embodiment of the present invention; FIG.
【図5】36Hzと72Hzのフレームの両者を出力することができるコンバータに対する60Hzインタレース化入力を示すブロック図である。 5 is a block diagram showing a 60Hz interlaced input to the converter which can output both a frame of 36Hz and 72 Hz.
【図6】24Hz又は36HzのベースMPEG−2層に対する「マスターテンプレート」を示す線図である。 6 is a diagram illustrating a "master template" for a base MPEG-2 layer of 24Hz or 36 Hz.
【図7】MPEG−2を利用する階層解像度スケーラビリティを使用して行うベース解像度テンプレートの強化を示す線図である。 7 is a graph showing the enhancement of the base resolution template performed using hierarchical resolution scalability utilizing MPEG-2.
【図8】好ましい階層化解像度符号化プロセスを示す線図である。 8 is a diagram showing the preferred layered resolution encoding process.
【図9】好ましい階層化解像度復号プロセスを示す線図である。 9 is a diagram showing the preferred layered resolution decoding process.
【図10】本発明による、復号器に対する解像度と時相のスケーラブルオプションの組み合わせを示すブロック図である。 By [10] the present invention, it is a block diagram showing a combination of a scalable options resolution and temporal respect decoder.
【図11】グレイ領域と強化を利用して写真のディテールを提供することによって拡張されたベース層の線図である。 11 is a diagrammatic view of the expanded base layer by using a strengthening and gray areas to provide details of the photograph.
【図12】好ましいダウンサイジングフィルタの相対的形態、振幅及びローブ極性の線図である。 [12] The preferred relative form of downsizing filter, a diagram of amplitude and lobes polarity.
【図13A】2のファクターでアップサイジングする好ましいアップサイジングフィルタの一対の相対的形態、振幅及びローブ極性の線図である。 13A-pair relative a preferred upsizing filter upsizing in a factor of 2, a diagram of amplitude and lobes polarity.
【図13B】2のファクターでアップサイジングする好ましいアップサイジングフィルタの一対の相対的形態、振幅及びローブ極性の線図である。 [Figure 13B] pair of relative a preferred upsizing filter upsizing in a factor of 2, a diagram of amplitude and lobes polarity.
【図14A】奇数フィールドのデ−インタレーサのブロック図である。 FIG. 14A data of the odd field - is a block diagram of the interlacer.
【図14B】偶数フィールドのデ−インタレーサのブロック図である。 FIG. 14B data of even field - is a block diagram of the interlacer.
【図15】三つのデ−インタレース化フィールドを使用するフレームデ−インタレーサのブロック図である。 [15] three de - is a block diagram of a interlacer - frame De to use interlaced field.
【図16】2/3ベース層に基づいた追加の階層化モードのブロック図である。 16 is a block diagram of an additional hierarchical mode based on 2/3 base layer.
【図17】より高いビット速度を、圧縮データストリームのモジュラ部分に適用した一実施例の図である。 The higher bit rate than FIG. 17 is a diagram of one embodiment applied to a modular part of the compressed data stream.
【図18】二つの解像度層間のDCT高調波の関係を示す図形である。 18 is a figure showing the DCT harmonic relationship between two resolution layers.
【図19】三つの解像度層間のDCT高調波の類似した関係を示す図形である。 19 is a figure showing a similar relationship DCT harmonic three resolution layers.
【図20】多重解像度層にマッチしたDCTブロックサイズの一組を示す線図である。 FIG. 20 is a diagram showing a set of DCT block size that matches the multi-resolution layer.
【図21】独立した動きベクトルを確認するため動き補償マクロブロックを分割する一実施例を示す線図である。 21 is a diagram showing an embodiment of dividing the motion compensation macroblock to confirm the independent motion vector.
【図22】MPEG−2タイプシステムの増大方式を示すブロック図である。 FIG. 22 is a block diagram illustrating the increase scheme MPEG-2 type systems.
【図23】ベース層由来の動きベクトルを、解像度強化層のための案内ベクトルとしての使用を示す線図である。 [23] The motion vector from the base layer is a diagram illustrating the use of a guide vector for the resolution enhancement layer.
【図24A】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ図である。 Figure 24A is a data flow diagram of an implementation of professional-level enhanced mode.
【図24B】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ図である。 Figure 24B is a data flow diagram of an implementation of professional-level enhanced mode.
【図24C】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ図である。 Figure 24C is a data flow diagram of an implementation of professional-level enhanced mode.
【図24D】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ図である。 Figure 24D is a data flow diagram of an implementation of professional-level enhanced mode.
【図24E】プロフェッショナルレベル強化モードの一実施例を示すデータ流れ図である。 Figure 24E is a data flow diagram of an implementation of professional-level enhanced mode.

Claims (2)

  1. 画像符号化システム内で画質を強化する方法であって、 A method of enhancing the image quality in an image coding system,
    中央値フィルタを、ディジタルビデオ画像の水平画素値に適用し、 The median filter is applied to the horizontal pixel values ​​of a digital video image,
    中央値フィルタを、ディジタルビデオ画像の垂直画素値に適用し、 The median filter is applied to a vertical pixel value of the digital video image,
    前記水平画素値と垂直画素値のフィルタリングの結果を平均し It averaged results of filtering of the horizontal pixel value and the vertical pixel value,
    下記5項目: The following five items:
    (1)現在のディジタルビデオ画像、 (1) current digital video images,
    (2)前記現在のディジタルビデオ画像の水平中央値と垂直中央値との平均値、 (2) the average value of the horizontal median and vertical median current digital video images,
    (3)前記現在のディジタルビデオ画像の画素値とその画素値の時間的中央値との差の値をしきい値と比較して前記差の値が前記しきい値よりも大きい場合に前記現在の画素値となり前記差の値が前記しきい値よりも小さい場合に前記時間的中央値となる、しきい値処理済時間的中央値、 (3) wherein, when the value of the said difference is compared with the threshold value the value of the difference between the pixel values of the current digital video image and the temporal median of the pixel value is greater than the threshold current wherein the temporal median if the value of the difference becomes a pixel value is smaller than the threshold value, the threshold processed temporal median,
    (4)前記しきい値処理済時間的中央値の水平中央値と垂直中央値との平均値、並びに (4) the average value of the horizontal median and vertical median of the threshold processed temporal median, and
    (5)前記しきい値処理済時間的中央値と前記現在のディジタルビデオ画像の水平中央値と垂直中央値との中央値、 (5) median of the horizontal median and vertical median of the threshold processed temporal median and the current digital video images,
    についての重み付けした一次の和をつくり、ノイズを減らしたディジタルビデオ画像をつくる、 Make weighted primary sum for, making digital video image with a reduced noise,
    ことを含む方法。 The method comprising.
  2. 中央値フィルタを、前記ディジタルビデオ画像の対角画素値に適用し、次いで 前記ノイズを減らしたディジタルビデオ画像の対角画素値のフィルタリングの結果を平均する、 The median filter is applied to the diagonal pixel values ​​of the digital video image, then averaging the results of the filtering of the diagonal pixel values ​​of the digital video image with a reduced the noise,
    ことをさらに含む請求項1に記載の方法。 The method of claim 1, further comprising.
JP2001574651A 1996-01-30 2001-04-06 Hierarchy of the phase and resolution when it is strengthening of advanced television Expired - Fee Related JP4352105B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US09/545,233 2000-04-07
US09545233 US6728317B1 (en) 1996-01-30 2000-04-07 Moving image compression quality enhancement using displacement filters with negative lobes
PCT/US2001/011204 WO2001077871A1 (en) 2000-04-07 2001-04-06 Enhanced temporal and resolution layering in advanced television

Publications (2)

Publication Number Publication Date
JP2003531514A true JP2003531514A (en) 2003-10-21
JP4352105B2 true JP4352105B2 (en) 2009-10-28

Family

ID=24175400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001574651A Expired - Fee Related JP4352105B2 (en) 1996-01-30 2001-04-06 Hierarchy of the phase and resolution when it is strengthening of advanced television

Country Status (4)

Country Link
EP (1) EP1279111A4 (en)
JP (1) JP4352105B2 (en)
CA (1) CA2406459C (en)
WO (1) WO2001077871A1 (en)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP3596519B2 (en) * 2001-12-13 2004-12-02 ソニー株式会社 Image signal processing apparatus and method
JP4031389B2 (en) * 2002-04-17 2008-01-09 松下電器産業株式会社 Image converter and an image conversion method
JP4031390B2 (en) 2002-04-17 2008-01-09 松下電器産業株式会社 Image converter and an image conversion method
US7009655B2 (en) 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
CN100417219C (en) * 2002-12-03 2008-09-03 汤姆森特许公司 Method and medium for coding signal data
US7899113B2 (en) 2003-04-10 2011-03-01 Thomson Licensing Technique for simulating film grain on encoded video
US8150206B2 (en) 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
CN101350891A (en) * 2003-05-15 2009-01-21 汤姆森许可贸易公司 Method and apparatus for representing image granularity by one or more parameters
KR101016493B1 (en) * 2003-05-16 2011-02-24 소니 주식회사 Motion correction device and method
KR100612849B1 (en) * 2003-07-18 2006-08-14 삼성전자주식회사 Apparatus and method for encoding and decoding image
CA2537000C (en) 2003-08-29 2011-11-15 Thomson Licensing Method and apparatus for modeling film grain patterns in the frequency domain
EP1511320A1 (en) * 2003-09-01 2005-03-02 Matsushita Electric Industrial Co., Ltd. Film grain encoding
KR100993990B1 (en) 2003-09-23 2010-11-11 톰슨 라이센싱 Method for simulating film grain by mosaicing pre-computed samples
RU2342703C2 (en) 2003-09-23 2008-12-27 Томсон Лайсенсинг Method of simulating graininess of film through frequency filtering
US7680356B2 (en) 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
WO2005039188A1 (en) 2003-10-14 2005-04-28 Thomson Licensing Technique for bit-accurate comfort noise addition
KR20060135736A (en) * 2004-02-03 2006-12-29 코닌클리케 필립스 일렉트로닉스 엔.브이. Changing the aspect ratio of images to be displayed on a screen
FR2872664A1 (en) * 2004-07-01 2006-01-06 Nextream France Sa Traitemebnt device and pre-process prior to coding a sequence of video images
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
US20060028562A1 (en) * 2004-08-09 2006-02-09 Martin Schmitz Fast area-selected filtering for pixel-noise and analog artifacts reduction
WO2006043755A1 (en) * 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
US8014558B2 (en) 2004-10-18 2011-09-06 Thomson Licensing Methods, apparatus and system for film grain simulation
FR2876861A1 (en) * 2004-10-20 2006-04-21 Thomson Licensing Sa Video image e.g. digital television video image, encoding method for providing encoded data stream, involves encoding standard definition format image for parts common to zoomed image to provide encoded data to upper encoded stream layer
FR2876860A1 (en) 2004-10-20 2006-04-21 Thomson Licensing Sa Method for hierarchical coding of video pictures
CN101095356B (en) 2004-10-21 2013-06-19 汤姆森许可贸易公司 Technique for adaptive de-blocking of block-based film grain patterns
EP1813119A2 (en) 2004-11-16 2007-08-01 Thomson Licensing Film grain sei message insertion for bit-accurate simulation in a video system
DE602005020967D1 (en) 2004-11-16 2010-06-10 Thomson Licensing Bitpräzise seed-initialization for generators in a video system used by pseudo-random numbers
EP1812904B1 (en) 2004-11-16 2012-04-11 Thomson Licensing Film grain simulation method based on pre-computed transform coefficients
KR101169826B1 (en) 2004-11-17 2012-08-03 톰슨 라이센싱 Bit-accurate film grain simulation method based on pre-computed transformed coefficients
EP1817914B1 (en) * 2004-12-03 2018-02-07 Thomson Licensing Method for scalable video coding
FR2879066B1 (en) * 2004-12-03 2007-04-06 Thomson Licensing Sa Method and hierarchical coding device inter layers
CN101077013A (en) * 2004-12-13 2007-11-21 皇家飞利浦电子股份有限公司 Scalable picture encoding
EP1854293A2 (en) 2005-02-07 2007-11-14 Thomson Licensing METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL
JP5213456B2 (en) 2005-02-18 2013-06-19 トムソン ライセンシングThomson Licensing How to derive the encoded information of the high-resolution picture from a low-resolution picture, and encoding and decoding apparatus for realizing the method
EP1737240A3 (en) * 2005-06-21 2007-03-14 Thomson Licensing Method for scalable image coding or decoding
CN101317443A (en) * 2005-11-29 2008-12-03 松下电器产业株式会社 Reproduction device
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
KR20080092425A (en) * 2006-01-10 2008-10-15 노키아 코포레이션 Switched filter up-sampling mechanism for scalable video coding
US20090304081A1 (en) * 2006-03-23 2009-12-10 Koninklijke Philips Electronics N.V. Coding device and method for scalable encoding of movie containing fields
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US8102436B2 (en) 2006-12-18 2012-01-24 Sony Corporation Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
US20140254679A1 (en) * 2013-03-05 2014-09-11 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5828788A (en) * 1995-06-29 1998-10-27 Thomson Multimedia, S.A. System for processing data in variable segments and with variable data resolution
JP3788823B2 (en) * 1995-10-27 2006-06-21 株式会社東芝 Moving picture coding apparatus and a moving picture decoding apparatus
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television

Also Published As

Publication number Publication date Type
EP1279111A4 (en) 2005-03-23 application
CA2406459A1 (en) 2001-10-18 application
CA2406459C (en) 2006-06-06 grant
JP2003531514A (en) 2003-10-21 application
WO2001077871A1 (en) 2001-10-18 application
EP1279111A1 (en) 2003-01-29 application

Similar Documents

Publication Publication Date Title
Richardson H. 264 and MPEG-4 video compression: video coding for next-generation multimedia
Richardson Video codec design: developing image and video compression systems
US6037986A (en) Video preprocessing method and apparatus with selective filtering based on motion detection
US6587509B1 (en) Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal
US5949908A (en) Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data
US5453799A (en) Unified motion estimation architecture
US6281942B1 (en) Spatial and temporal filtering mechanism for digital motion video signals
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6108041A (en) High-definition television signal processing for transmitting and receiving a television signal in a manner compatible with the present system
US5754248A (en) Universal video disc record and playback employing motion signals for high quality playback of non-film sources
US20050249291A1 (en) Method and system for generating a transform size syntax element for video decoding
US6628714B1 (en) Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
US6023295A (en) ADPCM recompression and decompression of a data stream of a video image and differential variance estimator
US7400681B2 (en) Low-complexity motion vector prediction for video codec with two lists of reference pictures
US7110455B2 (en) Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US5731850A (en) Hybrid hierarchial/full-search MPEG encoder motion estimation
US5347308A (en) Adaptive coding method for interlaced scan digital video sequences
US7057664B2 (en) Method and system for converting interlaced formatted video to progressive scan video using a color edge detection scheme
US20060083311A1 (en) System and method for segmentation of macroblocks
US20050025236A1 (en) Adaptive filter to improve H-264 video quality
US6192079B1 (en) Method and apparatus for increasing video frame rate
US20090060034A1 (en) Method and apparatus for scalably encoding and decoding video signal
US20070041448A1 (en) Artifact and noise reduction in MPEG video
US20050152457A1 (en) Signaling and repeat padding for skip frames
US7177358B2 (en) Picture coding apparatus, and picture coding method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Effective date: 20060329

Free format text: JAPANESE INTERMEDIATE CODE: A131

A601 Written request for extension of time

Effective date: 20060627

Free format text: JAPANESE INTERMEDIATE CODE: A601

A602 Written permission of extension of time

Effective date: 20060719

Free format text: JAPANESE INTERMEDIATE CODE: A602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060925

A131 Notification of reasons for refusal

Effective date: 20070227

Free format text: JAPANESE INTERMEDIATE CODE: A131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070530

A521 Written amendment

Effective date: 20070601

Free format text: JAPANESE INTERMEDIATE CODE: A523

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080116

A711 Notification of change in applicant

Effective date: 20080205

Free format text: JAPANESE INTERMEDIATE CODE: A711

A61 First payment of annual fees (during grant procedure)

Effective date: 20080205

Free format text: JAPANESE INTERMEDIATE CODE: A61

A521 Written amendment

Effective date: 20080208

Free format text: JAPANESE INTERMEDIATE CODE: A523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090703

A521 Written amendment

Effective date: 20090706

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090706

Free format text: JAPANESE INTERMEDIATE CODE: A821

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20120807

LAPS Cancellation because of no payment of annual fees