JP4308924B2 - 符号化データストリームのデータ変更方法及び装置 - Google Patents
符号化データストリームのデータ変更方法及び装置 Download PDFInfo
- Publication number
- JP4308924B2 JP4308924B2 JP54907399A JP54907399A JP4308924B2 JP 4308924 B2 JP4308924 B2 JP 4308924B2 JP 54907399 A JP54907399 A JP 54907399A JP 54907399 A JP54907399 A JP 54907399A JP 4308924 B2 JP4308924 B2 JP 4308924B2
- Authority
- JP
- Japan
- Prior art keywords
- logo
- data stream
- additional data
- decoded
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Description
発明の分野
本発明は、サブ画像に分割した連続する画像に対応する符号化データストリームのデータを変更する方法であって、
− 前記符号化データストリームを復号化するステップと、
− 復号化されたデータストリームを再符号化するステップとを具える方法に関するものである。
また、本発明は、そのような方法を実施するビデオ処理装置に関するものである。本発明は、例えば、放送局がそれ自体のロゴのような追加のデータを画像のシーケンスに導入することを所望する場合に有用であり、ＭＰＥＧ−２圧縮（ＭＰＥＧ−２はテレビジョン放送において一般的な規格である。）の分野だけでなく、より一般的なデジタルビデオデータ圧縮装置に適用される。
発明の背景
そのような状況において、すなわち、存在する符号化ビットストリームの送信前に追加のデジタルデータを加算する必要があるとき、最も簡単な解決は、そのような加算を行う前にそのビットストリームを復号化することである。この場合、変更されたビットストリームは、再符号化され及び送信される。しかしながら、一般的には、完全な復号化は、デコーダ及びエンコーダを必要とするので高価なものと考えられる。さらに、再評価モード及びベクトルを伴う再符号化によって、ロゴの付加によって触れられていない領域にアーチファクトが生じるおそれがある。
発明の要約
したがって、本発明の目的の一つは、予め存在する符号化ビットストリームにデータを追加する際の低コストの解決を提案することである。
このために、本発明は、明細書の冒頭で説明したような方法に関するものであり、
− 変更するデータストリームの入力に基づいて、予測されるデータストリームを規定するステップと、
− 前記復号化されたデータストリームを再符号化する前に、前記変更するデータストリームと前記予測されるデータストリームとの間の差を前記復号化されたデータストリームに加算するステップを更に具えることを特徴とするものである。
この方法は、混合ステップによって、追加の信号を、トランスコーダの差信号に加算することができる特定の補正信号に変換する。
本発明の他の目的は、データの追加に対して向上した品質のデータの挿入を行う向上した方法を提案する。
このために、本発明は、前記変更するデータストリームを再処理して、前記復号化されたデータストリーム中に、前記変更するデータと前記復号化されたデータとの差を得るステップを更に具えることを特徴とする。
本発明の他の目的は、上記方法を実施する装置を提案することである。
このために、本発明は、第１の実現において、データをビデオ符号化データストリームに加算するビデオ処理装置であって、
（１）前記データストリームを復号化し及び再符号化するトランスコーダと、
（２）加算部とを具え、
その加算部が、
（ｉ）これら追加のデータ及び前記トランスコーダによって規定された動きベクトルに基づいて、予測される信号を規定し、かつ、
（ii）前記トランスコーダの復号化部と再符号化部との間のデータストリームへの挿入を考慮して、前記追加のデータと前記予測される信号との間の差を規定するようにしたことを特徴とするビデオ処理装置に関するものである。
また、本発明は、第２の実現において、データをビデオ符号化データストリームに挿入するビデオ処理装置であって、
（１）前記データストリームを復号化し及び再符号化するトランスコーダと、
（２）挿入部とを具え、
その挿入部が、
（ｉ）これら追加のデータに基づいて、予測される信号を規定し、
（ii）前処理された信号及び前記トランスコーダで規定した動きベクトルに基づいて、予測される信号を規定し、かつ
（iii）前記トランスコーダの復号化部と再符号化部との間のデータストリームへの挿入を考慮して、前記前処理された追加のデータと前記予測される信号との間の差を規定するようにしたことを特徴とするビデオ処理装置に関するものである。
米国特許番号第５６９１９８６号において、符号化データストリームにデータを挿入する方法及び装置が記載されている。しかしながら、説明されるような解決では、そのストリームは、実際には、多重化された基本データストリームであり、それをデマルチプレクサ処理してこれら基本ストリームのうちの一つを抽出し、この抽出されたストリーム上でデータ減少動作を実行し、かつ、そのデータを、減少したデータストリームに挿入する必要がある。本発明は異なる目的を有し、それは、画像へのデータの追加又は好適例における他の画像データによる画像の一部の局所的な置換となる。
【図面の簡単な説明】
本発明のこれら及び他の態様を、以後説明する実施の形態を参照して明らかにする。
図面中、
− 図１及び２は、従来のビデオデコーダ及びエンコーダを示す。
− 図３は、入力するビットストリームにロゴを付加する送信回路のあり得る形態を示す。
− 図４は、ロゴ加算器を有しない既知のトランスコーダの線形図を示す。
− 図５は、ロゴ加算器を設けた本発明によるトランスコーダを示す。
− 図６は、ロゴ挿入装置を設けた本発明によるトランスコーダを示す。
− 図７は、ロゴ挿入装置で行われる演算を示す。
− 図８及び１０は、輝度成分及びクロミナンス成分上で実行される処理を示し、図１１及び１２は、そのような処理の後に実行されるロゴクリッピングを示す。
発明の説明
図１に示すような従来のビデオデコーダは、（各々にＶＬＤ，ＩＱ，ＩＤＣＴを付した）可変長復号化回路１、逆量子化回路２及び逆周波数変換回路３を縦続に具える復号化チャネル１２と、（各々にＭＥＭ，ＣＯＭＰ，Ａを付した）デコーダの出力信号を受信する画像メモリ４、（このメモリ４の出力信号及びデコーダによって受信される動きベクトルＶ（ｎ）を補償の際に考慮する）動き補償回路５並びに回路３及び５の出力信号の加算器６を具える動き補償チャネル１４とを有する。（画像メモリ４にも送信される）デコーダの出力画像は、復号化チャネル１２の回路３の出力部で利用できる復号化された差信号に予測（回路５の出力）を加えることによって再構成される。
図２に示すような従来のビデオエンコーダは符号化及び復号化チャネル１３を有し、それは、（各々にＤＣＴ，Ｑ，ＶＬＣを付した）離散余弦変換回路２５、量子化回路２６及び可変長符号化回路２７と、（各々にＩＱ及びＩＤＣＴを付した）回路２６の出力部に縦続する逆量子化回路２８及び逆離散余弦変換回路２９を具え、そのビデオエンコーダは、動き補償された予測を入力信号から減算する予測チャネル１１も有し、その予測チャネルは、（各々にＡ，ＭＥＭ，ＣＯＭＰ，Ｓを付した）予測前に画像を再構成する加算器２１、画像メモリ２２、動き補償回路２３及び減算器２４を具える。そのような補償は、以前に評価した動きベクトルＶ（ｎ）を考慮する。
ロゴのようなデータを伝送回路の入力ビットストリームに付加するあり得る方法及び装置を図３に示す。その回路は、（「エンコーダ１」と称する）第１エンコーダ３１と、エンコーダ３１の出力部で利用できる符号化ビットストリームにロゴを付加するサブシステム３０５と、その後段のデコーダ３５（「デコーダ２」）とを具える。エンコーダとデコーダとの間に設けたサブシステムそれ自体は、図示したように、デコーダ３２（「デコーダ１」）、ロゴ加算器３３及びエンコーダ３４（「エンコーダ２」）とを具える。したがって、デコーダ３２及びエンコーダ３４から開始され、その相補性を活用し、かつ、幾分の簡略化が為され、最終的には本発明によるトランスコーダの線形図に到達する。
図２によれば、第１エンコーダ３１に対して、
Ｒ（ｎ，１）＝Ｉ（ｎ）−Ｐ（Ｉ’（ｎ−１），１；Ｖ（ｎ）） （１）
となる。この場合、Ｒ（．）及びＰ（．）の指標（１，）は「第１」エンコーダ３１（＝エンコーダ１）を表し、Ｉ（ｎ）を、エンコーダの元のビデオ入力とし、Ｐ（Ｉ’（ｎ−１），１；Ｖ（ｎ））を、以前に「復号化された」画像Ｉ’（ｎ−１）に動きベクトルＶ（ｎ）を付加することによって算出した予測信号とし、それを元の入力ビットストリームＩ（ｎ）から減算して、符号化すべき差信号Ｒ（ｎ）を得る必要があり、Ｒ（ｎ）は、この差信号を表す。エンコーダの予測チャネルの入力部で利用できる信号Ｒ’（ｎ）は、符号化誤差と称する値ｅ（ｎ）だけＲ（ｎ）と相違し、Ｒ’（ｎ）はＲ（ｎ）＋ｅ（ｎ）に等しくなり、したがって、この予測チャネルの加算器の出力部の信号はＩ’（ｎ）＝Ｉ（ｎ）＋ｅ（ｎ）となる。
エンコーダ３１に続く第１デコーダ３２に対しては、図１に従う場合と同様に、
Ｉ’（ｎ，１）＝Ｒ’（ｎ，１）＋Ｐ（Ｉ’（ｎ−１），１;Ｖ（ｎ）） （２）
となる。この場合、Ｉ’（．），Ｒ’（．）及びＰ（．）の指標（，１）は「第１」デコーダ３２を表し、Ｒ’（ｎ）を、復号化した差信号とし、Ｐ（Ｉ’（ｎ−１），１；Ｖ（ｎ））を、Ｒ’（ｎ）に付加すべき予測とし、Ｉ’（ｎ）はデコーダの出力を表す。既に説明したように、Ｉ’（ｎ，１）を、式
Ｉ’（ｎ，１）＝Ｉ（ｎ）＋ｅ（ｎ，１）
で示すこともでき、すなわち、デコーダの出力は、Ｉ（ｎ）の符号化動作中の元の入力信号Ｉ（ｎ）及び符号化誤差ｅ（ｎ）の和となる。ロゴ加算器３３の出力部では、結果的に、
Ｊ’（ｎ，１）＝Ｉ’（ｎ，１）＋Ｌｏｇｏ（ｎ） （３）
となり、この場合、Ｉ’（ｎ）をデコーダ３２の出力とし、Ｌｏｇｏ（ｎ）を、主ビットストリームに付加すべきデータ（例えばロゴ）とする。結果的に得られる出力Ｊ’（ｎ）はエンコーダ３４に送信される。
この第２エンコーダに対しては、（第１エンコーダ３１の場合と同様に）
Ｒ（ｎ，２）＝Ｊ’（ｎ，１）−Ｐ（Ｊ’（ｎ−１），２;Ｖ（ｎ）） （４）
となり、この場合、Ｒ（．）及びＰ（．）の指標（，２）はこの「第２」エンコーダ３４を表し、Ｐ（Ｊ’（ｎ−１），２；Ｖ（ｎ））を、ロゴ加算器３３の出力Ｊ’（ｎ，１）から減算して符号化すべき差信号を得る必要がある予測とし、Ｒ（ｎ）は、その差信号を表す。
最後に、第２デコーダ３５に対しては、（第１デコーダ３２の場合と同様に）
Ｊ’（ｎ，２）＝Ｒ’（ｎ，２）＋Ｐ（Ｊ’（ｎ−１），２;Ｖ（ｎ）） （５）
となり、この場合、Ｊ’（．），Ｒ’（．）及びＰ（．）の指標（，２）はこの「第２」デコーダ３５を表し、Ｒ’（ｎ）を、復号化された差信号とし、Ｐ（Ｊ’（ｎ−１），２；Ｖ（ｎ））を、Ｒ’（ｎ）に付加すべき予測とし、Ｊ’（ｎ）はデコーダの出力を表す。デコーダ３２に対して、Ｊ’（ｎ，２）を式
J’(n,2)=J'(n,1)+e(n,2)
J’(n,2)=I'(n,1)+Logo(n)+e(n,2)
J’(n,2)=I(n)+e(n,1)+Logo(n)+e(n,2) （６）
で表現することができ、これは、送信回路の出力信号Ｊ’（ｎ，２）が元の入力信号Ｉ（ｎ）、第１符号化誤差（第１エンコーダ及びデコーダでの符号化／復号化）、第２符号化誤差（第２エンコーダ及びデコーダでの符号化／復号化）及び付加データの和に等しいことを意味する。
動き補償オペレータの線形性を用いると、
P(J'(n-1）,2;V(n））=P［((J'(n-1）,1）+(e(n-1）,2））;V(n）］ （７）
と表現することができ、それは、式
R(n,2)=J'(n,1)-P［((J'(n-1),1)+(e(n-1),2));V(n)］ （８）
で関係（４）を表現することができる。補償オペレータの線形性を再び用いると、
P(J'(n-1),1;V(n))=P［(I'(n-1)+Logo(n.1));V(n)
又は
P(J'(n-1),1;V(n))=P(I'(n-1),1;V(n))+P(Logo(n-1),1;V(n)) （９）
となる。関係（８）は、
R(n,2)=I'(n,1)+Logo(n)-P(e(n-1),2;V(n))
-P(I'(n,1),1;V(n))-P(Logo(n-1),1;V(n)) （10）
又は関係（２）から、
R(n,2)=R'(n-1)-P(e(n-1),2;V(n))
+Logo(n)-P(e(n-1),2;V(n))
-P(I'(n-1),1;V(n))-P(Logo(n-1),1;V(n)) （11）
となり、それは最終的には以下の関係（１２）となる。
R(n,2)=R'(n-1)-P(e(n-1),2;V(n))
+Logo(n)-P(Logo(n-1);V(n)) （12）
それは、本発明によって提案したようなロゴ加算器を有するトランスコーダの最終システム式となる。
ロゴ加算器を有しないトランスコーダの一般的な線形図を、（図５と比較するために）図４で再び示す。それは、差復号化部４１（可変長復号化ＶＬＤ＋逆量子化ＩＱ＋逆離散余弦変換ＩＤＣＴ）と、符号化及び復号化部４２（逆離散変換ＤＣＴ＋量子化Ｑ＋可変長符号化ＶＬＣ；逆量子化ＩＱ＋逆離散余弦変換ＩＤＣＴ）と、擬似予測部４３と称する中間部（第１減算器Ｓ＋メモリＭＥＭ＋動きベクトルＶ（ｎ）に基づく動き補償ＣＯＭＰ＋第２減算器Ｓ）とを具える。この中間部43がそのように称される理由は、正確にはそれが基本エンコーダの場合のような従来の予測ではないからであり、この場合には第１加算器は減算器に置換されている。既に説明したような信号Ｒ’（ｎ，１），Ｒ（ｎ，２），Ｒ’（ｎ，２），ｅ（ｎ，２），Ｖ（ｎ），Ｐ（ｅ（ｎ−１），２；Ｖ（ｎ））を図４に示す。
本発明によるすなわちロゴ加算器を有するトランスコーダの対応する形態を図５に示し、この場合、同一パーツに図４と同一符号を付すものとする。追加のパーツをロゴ付加部５０とし、それは、付加すべきロゴ（信号Ｌｏｇｏ（ｎ））を受信するメモリＭＥＭ５１と、メモリ５１の出力及びベクトルＶ（ｎ）を受信するとともに予測したデータストリームを発生させる動き補償回路ＣＯＭＰ５２と元の信号Ｌｏｇｏ（ｎ）と回路５２の出力（予測したデータストリーム）で利用できる動き補償された信号Ｐ（Ｌｏｇｏ（ｎ−１）；Ｖ（ｎ））との間の差を発生させる減算器Ｓ５３と、その減算器５３の出力信号を（連続する画像の全シーケンスに相当する）主ビットストリームに導入する加算器５４とを有する。したがって、ロゴ付加は、入力ビットストリームに差を加算することによって行われ、この差は、動き補償したロゴ予測をロゴから減算することによって形成され、そのような動き補償したロゴ予測は、以前に記憶されたロゴを有する基準画像に基づくものであり、入力する主ビットストリームと同一のモード及びベクトルを使用する。
これまで説明した方法及び装置を更に向上させることができる。実際には、それを、画像の他の部分を変更することなく、（ロゴのような）追加のデータを主ビデオビットストリームに付加するのではなく挿入することによって行われる。
そのようなデータの挿入、すなわち、画像（又は画像のシーケンス）の一領域のそのようなデータによる置換は、元の画素（＝画像成分）に対する完全なアクセスを必要とする非線形処理である。したがって、高品質のロゴ挿入のためには、入力するビットストリームの完全な復号化を行う必要がある。本発明によれば、そのような完全な復号化は、低コストの粗い復号化に置換される（ここではＭＰＥＧ−２規格の場合について説明する。）。
本発明によるすなわちロゴインサータを有するトランスコーダの対応する形態を図６に示し、この場合、同一パーツに図４と同一符号を付すものとする。（図４に対する）追加のパーツは、ここで詳細に説明するロゴ挿入装置４００である。
このロゴ挿入装置において、４ステップが実行される。第１ステップは、評価段４１０で実行されるいわゆるＤＣ評価ステップである。ＭＰＥＧシーケンスの各画像は、マクロブロックと称する動き補償ユニットに細分される。さらに、ＭＰＥＧ規格において、３タイプの画像：他の画像を参照することなく符号化されたＩ（すなわちイントラ）画像、以前の画像（Ｉ又はＰ）を参照して符号化されたＰ（すなわち予測）画像並びに以前及び以後の画像（Ｉ又はＰ）を参照して符号化されたＢ（すなわち双方向予測）画像が考察される。これらＩ画像及びＰ画像は参照フレームと称される。段４１０において、各マクロブロックの平均値が、（関連のバッファメモリ４０１及び４０２に以前に格納された）基準フレームの平均値及び入力する差（図４のＲ’（ｎ，１）を付した信号）の現在の平均値に従って評価される。ＤＣＰ（ｂ，Ｙ）が、成分Ｙのマクロブロックｂに対する予測ＰＲ（ｂ，Ｙ）の平均値を表し（そのような演算の説明を、補間したマクロブロックの場合について図７に付与する。二つの基準画素の各々のマクロブロック、予測ＰＲ（ｂ，ｙ）及びその平均値ＤＣＰ（ｂ，Ｙ）を示す。）、ＡＣＲ（ｂ，Ｙ）が同一成分Ｙの同一マクロブロックに対して差（すなわち、トランスコーダの差復号化部４１の出力部のＲ’（ｎ，１）と称する信号）の平均値を表し、かつ、ＭＤＣ（ｂ，Ｙ）が同一成分Ｙの同一マクロブロックｂの評価された平均値を表す場合、
ＭＤＣ（ｂ，Ｙ）＝ＤＣＰ（ｂ，Ｙ）＋ＡＣＲ（ｂ，Ｙ） （１３）
となる。この表現は、成分Ｙの場合に与えられるが、輝度Ｙの代わりにクロミナンス成分Ｕ，Ｖのいずれかを有する場合も同一である。
トランスコーダの入力部の入力ビットストリームが、イントラ画像上でしばしば十分にリフレッシュすべき予測画像を許容する標準的な放送ＧＯＰ持続時間（例えば、Ｎ＝１２）を与える場合、そのような評価に顕著なドラフトが生じないことが観察される（ＧＯＰすなわち画像群は、Ｉ画像及びそれ自体は含まない次のＩ画像までの全ての連続する画像からなり、したがって、ＮはＧＯＰのサイズとして規定され、ＭＰＥＧ規格の最も一般的なものはＮ＝１２となる。）。
第２ステップは、処理段４２０で実行されるロゴ処理ステップである。実際には、ロゴ画素値の処理は、画素成分がどのようなものであってもロゴの可視性及び一致を保持するために実行される。
ＭＶ（ＣＰ）＋ＭＶ（Ｌｏｇｏ（ＣＰ））＝ＲＱＭ（ＣＰ） （１４）
この場合、ＣＰは、輝度成分Ｙ又はクロミナンス成分（Ｕ，Ｖ）のうちの任意のものを表し、ＭＶ（ＣＰ）を、ロゴを成分ＣＰに挿入する必要がある場合の元の領域の平均値とし（これら値は、既に表した関係（１３）に従って評価される。）、ＭＶ（Ｌｏｇｏ（ＣＰ））を、処理されたロゴの平均値とし、ＲＱＭ（ＣＰ）は、ロゴ領域におけるロゴ挿入後の画像の要求される平均値に相当する。したがって、マクロブロックｂに挿入すべきロゴの画素値Ｌｏｇｏ（ｂ，ＣＰ）が、ロゴ処理後に関係（１５）によって規定される。
Ｌｏｇｏ（ｂ，ＣＰ）＝Ｌｏｇｏ_ｏｒｉ（ｂ，ＣＰ）＋ＲＱＭ（ＣＰ）
−ＭＶ（ＣＰ）−ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ） （１５）
この場合、Ｌｏｇｏ_ｏｒｉ（ｂ，ＣＰ）は、マクロブロックｂに挿入すべきロゴの元の画素値を表し、ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ）は、成分ＣＰの元のロゴの平均値を表す。
このロゴ処理を図８−１０に示す。図８は、挿入前の元のロゴ信号Ｌｏｇｏ_ｏｒｉ（ｂ，ＣＰ）、その平均値ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ），ＲＱＭ（ＣＰ）及びＭＶ（ＣＰ）を表し、図９は、ＭＶ（ＣＰ）＋Ｌｏｇｏ（ｂ，ＣＰ）＝ＲＱＭ（ＣＰ）となるのに必要なものを示し、図１０は、要求される結果（図示したように、ＭＶ（ＣＰ）−ＲＱＭ（ＣＰ）＋ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ）に等しい値のロゴ信号のシフト）を得るために実行される適合の原理を示す。
クロミナンス成分に対して、元のロゴに対するロゴの一致が必要とされ、すなわち、処理されたロゴを画像に挿入することによって、元のロゴの色となる。したがって、クロミナンス成分Ｕ及びＶに対して、ＲＱＭ（ＣＰ）はＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ）となる。輝度に対して、オリジナルに対する好適な一致（すなわち、ＲＱＭ（Ｙ）＝ＭＶ_Ｌｏｇｏ_ｏｒｉ（Ｙ））と（明るい領域にロゴが暗く出現し又は暗い領域にロゴが明るく出現するような）可視性との間で選択を行うことができる。この最後の場合、ＲＱＭ（Ｙ）＝１２８となる。
第３ステップは、クリッピング段４３０で実行されるロゴクリッピングステップである。ＭＰＥＧ−２規格によれば、デコーダ側で、メモリの格納した再構成された画像は、０と２５５との間でクリップされる。エンコーダ側では同様なことを行うことができない。その理由は、入力するビットストリームの完全な復号化が行われないからである。この際、クリッピングステップはマクロブロックに基づいて行われる。正確な画素値は未知であるが、この状況はクリッピングにマージンＭＧをとることによって補償される。この場合、（常にＣＰと称される）各成分Ｙ，Ｕ又はＶに対して、Ｌｏｇｏ（ｂ，ＣＰ）は、
Ｏ＋ＭＧ＜ＭＶ（ｂ，ＣＰ）＋Ｌｏｇｏ（ｂ，ＣＰ）＜２５５−ＭＧ （１６）
となるようにクリップされ、それは、
ＭＧ−ＭＶ（ｂ，ＣＰ）＜Ｌｏｇｏ（ｂ，ＣＰ） （１７）
Ｌｏｇｏ（ｂ，ＣＰ）＜２５５−ＭＧ−ＭＶ（ｂ，ＣＰ） （１８）
を与える。
このようなロゴクリッピングを図１１及び１２に示し、この場合、図１１は、ＭＶ（ｂ，ＣＰ），ＭＶ（ｂ，ＣＰ）＋Ｌｏｇｏ（ｂ，ＣＰ）並びにクリッピング範囲ＭＧ及び２５５−ＭＧを表し、したがって関係（１６）を表し、それに対して、図１２は、同様な関係（１７）及び（１８）を表す。
第４ステップは、図５に示すロゴ追加部５０と同一のロゴ追加段４４０で実行されるロゴ追加ステップである。この段４４０は、クリッピング段４３０の出力部で利用できるクリップされたロゴを受信するメモリと、そのメモリの出力及びトランスコーダで規定されたベクトルＶ（ｎ）を受信する動き補償回路と、（ロゴ挿入装置４００の処理部の出力部で利用できるクリップされたロゴと動き補償回路の出力部で利用できる動き補償されたものとの間の差を発生させる）減算器と、（減算器の出力信号を主ビットストリームに挿入する）加算器とを具える。これら４個の構成要素（メモリ、動き補償回路、減算器、加算器）は、図５の４個の構成要素と同様のものである。したがって、ロゴ挿入は、入力するビットストリームへの差の加算によって実行され、この差は、（既に説明したようにして前処理された）ロゴと前処理されたロゴから取り出される動き補償された予測との間の差を規定することによって形成され、それは、入力する主ビットストリームと同一の動きベクトルを用いる。
本発明は、サブ画像に分割した連続する画像に対応する符号化データストリームのデータを変更する方法であって、
− 前記符号化データストリームを復号化するステップと、
− 復号化されたデータストリームを再符号化するステップとを具える方法に関するものである。
また、本発明は、そのような方法を実施するビデオ処理装置に関するものである。本発明は、例えば、放送局がそれ自体のロゴのような追加のデータを画像のシーケンスに導入することを所望する場合に有用であり、ＭＰＥＧ−２圧縮（ＭＰＥＧ−２はテレビジョン放送において一般的な規格である。）の分野だけでなく、より一般的なデジタルビデオデータ圧縮装置に適用される。
発明の背景
そのような状況において、すなわち、存在する符号化ビットストリームの送信前に追加のデジタルデータを加算する必要があるとき、最も簡単な解決は、そのような加算を行う前にそのビットストリームを復号化することである。この場合、変更されたビットストリームは、再符号化され及び送信される。しかしながら、一般的には、完全な復号化は、デコーダ及びエンコーダを必要とするので高価なものと考えられる。さらに、再評価モード及びベクトルを伴う再符号化によって、ロゴの付加によって触れられていない領域にアーチファクトが生じるおそれがある。
発明の要約
したがって、本発明の目的の一つは、予め存在する符号化ビットストリームにデータを追加する際の低コストの解決を提案することである。
このために、本発明は、明細書の冒頭で説明したような方法に関するものであり、
− 変更するデータストリームの入力に基づいて、予測されるデータストリームを規定するステップと、
− 前記復号化されたデータストリームを再符号化する前に、前記変更するデータストリームと前記予測されるデータストリームとの間の差を前記復号化されたデータストリームに加算するステップを更に具えることを特徴とするものである。
この方法は、混合ステップによって、追加の信号を、トランスコーダの差信号に加算することができる特定の補正信号に変換する。
本発明の他の目的は、データの追加に対して向上した品質のデータの挿入を行う向上した方法を提案する。
このために、本発明は、前記変更するデータストリームを再処理して、前記復号化されたデータストリーム中に、前記変更するデータと前記復号化されたデータとの差を得るステップを更に具えることを特徴とする。
本発明の他の目的は、上記方法を実施する装置を提案することである。
このために、本発明は、第１の実現において、データをビデオ符号化データストリームに加算するビデオ処理装置であって、
（１）前記データストリームを復号化し及び再符号化するトランスコーダと、
（２）加算部とを具え、
その加算部が、
（ｉ）これら追加のデータ及び前記トランスコーダによって規定された動きベクトルに基づいて、予測される信号を規定し、かつ、
（ii）前記トランスコーダの復号化部と再符号化部との間のデータストリームへの挿入を考慮して、前記追加のデータと前記予測される信号との間の差を規定するようにしたことを特徴とするビデオ処理装置に関するものである。
また、本発明は、第２の実現において、データをビデオ符号化データストリームに挿入するビデオ処理装置であって、
（１）前記データストリームを復号化し及び再符号化するトランスコーダと、
（２）挿入部とを具え、
その挿入部が、
（ｉ）これら追加のデータに基づいて、予測される信号を規定し、
（ii）前処理された信号及び前記トランスコーダで規定した動きベクトルに基づいて、予測される信号を規定し、かつ
（iii）前記トランスコーダの復号化部と再符号化部との間のデータストリームへの挿入を考慮して、前記前処理された追加のデータと前記予測される信号との間の差を規定するようにしたことを特徴とするビデオ処理装置に関するものである。
米国特許番号第５６９１９８６号において、符号化データストリームにデータを挿入する方法及び装置が記載されている。しかしながら、説明されるような解決では、そのストリームは、実際には、多重化された基本データストリームであり、それをデマルチプレクサ処理してこれら基本ストリームのうちの一つを抽出し、この抽出されたストリーム上でデータ減少動作を実行し、かつ、そのデータを、減少したデータストリームに挿入する必要がある。本発明は異なる目的を有し、それは、画像へのデータの追加又は好適例における他の画像データによる画像の一部の局所的な置換となる。
【図面の簡単な説明】
本発明のこれら及び他の態様を、以後説明する実施の形態を参照して明らかにする。
図面中、
− 図１及び２は、従来のビデオデコーダ及びエンコーダを示す。
− 図３は、入力するビットストリームにロゴを付加する送信回路のあり得る形態を示す。
− 図４は、ロゴ加算器を有しない既知のトランスコーダの線形図を示す。
− 図５は、ロゴ加算器を設けた本発明によるトランスコーダを示す。
− 図６は、ロゴ挿入装置を設けた本発明によるトランスコーダを示す。
− 図７は、ロゴ挿入装置で行われる演算を示す。
− 図８及び１０は、輝度成分及びクロミナンス成分上で実行される処理を示し、図１１及び１２は、そのような処理の後に実行されるロゴクリッピングを示す。
発明の説明
図１に示すような従来のビデオデコーダは、（各々にＶＬＤ，ＩＱ，ＩＤＣＴを付した）可変長復号化回路１、逆量子化回路２及び逆周波数変換回路３を縦続に具える復号化チャネル１２と、（各々にＭＥＭ，ＣＯＭＰ，Ａを付した）デコーダの出力信号を受信する画像メモリ４、（このメモリ４の出力信号及びデコーダによって受信される動きベクトルＶ（ｎ）を補償の際に考慮する）動き補償回路５並びに回路３及び５の出力信号の加算器６を具える動き補償チャネル１４とを有する。（画像メモリ４にも送信される）デコーダの出力画像は、復号化チャネル１２の回路３の出力部で利用できる復号化された差信号に予測（回路５の出力）を加えることによって再構成される。
図２に示すような従来のビデオエンコーダは符号化及び復号化チャネル１３を有し、それは、（各々にＤＣＴ，Ｑ，ＶＬＣを付した）離散余弦変換回路２５、量子化回路２６及び可変長符号化回路２７と、（各々にＩＱ及びＩＤＣＴを付した）回路２６の出力部に縦続する逆量子化回路２８及び逆離散余弦変換回路２９を具え、そのビデオエンコーダは、動き補償された予測を入力信号から減算する予測チャネル１１も有し、その予測チャネルは、（各々にＡ，ＭＥＭ，ＣＯＭＰ，Ｓを付した）予測前に画像を再構成する加算器２１、画像メモリ２２、動き補償回路２３及び減算器２４を具える。そのような補償は、以前に評価した動きベクトルＶ（ｎ）を考慮する。
ロゴのようなデータを伝送回路の入力ビットストリームに付加するあり得る方法及び装置を図３に示す。その回路は、（「エンコーダ１」と称する）第１エンコーダ３１と、エンコーダ３１の出力部で利用できる符号化ビットストリームにロゴを付加するサブシステム３０５と、その後段のデコーダ３５（「デコーダ２」）とを具える。エンコーダとデコーダとの間に設けたサブシステムそれ自体は、図示したように、デコーダ３２（「デコーダ１」）、ロゴ加算器３３及びエンコーダ３４（「エンコーダ２」）とを具える。したがって、デコーダ３２及びエンコーダ３４から開始され、その相補性を活用し、かつ、幾分の簡略化が為され、最終的には本発明によるトランスコーダの線形図に到達する。
図２によれば、第１エンコーダ３１に対して、
Ｒ（ｎ，１）＝Ｉ（ｎ）−Ｐ（Ｉ’（ｎ−１），１；Ｖ（ｎ）） （１）
となる。この場合、Ｒ（．）及びＰ（．）の指標（１，）は「第１」エンコーダ３１（＝エンコーダ１）を表し、Ｉ（ｎ）を、エンコーダの元のビデオ入力とし、Ｐ（Ｉ’（ｎ−１），１；Ｖ（ｎ））を、以前に「復号化された」画像Ｉ’（ｎ−１）に動きベクトルＶ（ｎ）を付加することによって算出した予測信号とし、それを元の入力ビットストリームＩ（ｎ）から減算して、符号化すべき差信号Ｒ（ｎ）を得る必要があり、Ｒ（ｎ）は、この差信号を表す。エンコーダの予測チャネルの入力部で利用できる信号Ｒ’（ｎ）は、符号化誤差と称する値ｅ（ｎ）だけＲ（ｎ）と相違し、Ｒ’（ｎ）はＲ（ｎ）＋ｅ（ｎ）に等しくなり、したがって、この予測チャネルの加算器の出力部の信号はＩ’（ｎ）＝Ｉ（ｎ）＋ｅ（ｎ）となる。
エンコーダ３１に続く第１デコーダ３２に対しては、図１に従う場合と同様に、
Ｉ’（ｎ，１）＝Ｒ’（ｎ，１）＋Ｐ（Ｉ’（ｎ−１），１;Ｖ（ｎ）） （２）
となる。この場合、Ｉ’（．），Ｒ’（．）及びＰ（．）の指標（，１）は「第１」デコーダ３２を表し、Ｒ’（ｎ）を、復号化した差信号とし、Ｐ（Ｉ’（ｎ−１），１；Ｖ（ｎ））を、Ｒ’（ｎ）に付加すべき予測とし、Ｉ’（ｎ）はデコーダの出力を表す。既に説明したように、Ｉ’（ｎ，１）を、式
Ｉ’（ｎ，１）＝Ｉ（ｎ）＋ｅ（ｎ，１）
で示すこともでき、すなわち、デコーダの出力は、Ｉ（ｎ）の符号化動作中の元の入力信号Ｉ（ｎ）及び符号化誤差ｅ（ｎ）の和となる。ロゴ加算器３３の出力部では、結果的に、
Ｊ’（ｎ，１）＝Ｉ’（ｎ，１）＋Ｌｏｇｏ（ｎ） （３）
となり、この場合、Ｉ’（ｎ）をデコーダ３２の出力とし、Ｌｏｇｏ（ｎ）を、主ビットストリームに付加すべきデータ（例えばロゴ）とする。結果的に得られる出力Ｊ’（ｎ）はエンコーダ３４に送信される。
この第２エンコーダに対しては、（第１エンコーダ３１の場合と同様に）
Ｒ（ｎ，２）＝Ｊ’（ｎ，１）−Ｐ（Ｊ’（ｎ−１），２;Ｖ（ｎ）） （４）
となり、この場合、Ｒ（．）及びＰ（．）の指標（，２）はこの「第２」エンコーダ３４を表し、Ｐ（Ｊ’（ｎ−１），２；Ｖ（ｎ））を、ロゴ加算器３３の出力Ｊ’（ｎ，１）から減算して符号化すべき差信号を得る必要がある予測とし、Ｒ（ｎ）は、その差信号を表す。
最後に、第２デコーダ３５に対しては、（第１デコーダ３２の場合と同様に）
Ｊ’（ｎ，２）＝Ｒ’（ｎ，２）＋Ｐ（Ｊ’（ｎ−１），２;Ｖ（ｎ）） （５）
となり、この場合、Ｊ’（．），Ｒ’（．）及びＰ（．）の指標（，２）はこの「第２」デコーダ３５を表し、Ｒ’（ｎ）を、復号化された差信号とし、Ｐ（Ｊ’（ｎ−１），２；Ｖ（ｎ））を、Ｒ’（ｎ）に付加すべき予測とし、Ｊ’（ｎ）はデコーダの出力を表す。デコーダ３２に対して、Ｊ’（ｎ，２）を式
J’(n,2)=J'(n,1)+e(n,2)
J’(n,2)=I'(n,1)+Logo(n)+e(n,2)
J’(n,2)=I(n)+e(n,1)+Logo(n)+e(n,2) （６）
で表現することができ、これは、送信回路の出力信号Ｊ’（ｎ，２）が元の入力信号Ｉ（ｎ）、第１符号化誤差（第１エンコーダ及びデコーダでの符号化／復号化）、第２符号化誤差（第２エンコーダ及びデコーダでの符号化／復号化）及び付加データの和に等しいことを意味する。
動き補償オペレータの線形性を用いると、
P(J'(n-1）,2;V(n））=P［((J'(n-1）,1）+(e(n-1）,2））;V(n）］ （７）
と表現することができ、それは、式
R(n,2)=J'(n,1)-P［((J'(n-1),1)+(e(n-1),2));V(n)］ （８）
で関係（４）を表現することができる。補償オペレータの線形性を再び用いると、
P(J'(n-1),1;V(n))=P［(I'(n-1)+Logo(n.1));V(n)
又は
P(J'(n-1),1;V(n))=P(I'(n-1),1;V(n))+P(Logo(n-1),1;V(n)) （９）
となる。関係（８）は、
R(n,2)=I'(n,1)+Logo(n)-P(e(n-1),2;V(n))
-P(I'(n,1),1;V(n))-P(Logo(n-1),1;V(n)) （10）
又は関係（２）から、
R(n,2)=R'(n-1)-P(e(n-1),2;V(n))
+Logo(n)-P(e(n-1),2;V(n))
-P(I'(n-1),1;V(n))-P(Logo(n-1),1;V(n)) （11）
となり、それは最終的には以下の関係（１２）となる。
R(n,2)=R'(n-1)-P(e(n-1),2;V(n))
+Logo(n)-P(Logo(n-1);V(n)) （12）
それは、本発明によって提案したようなロゴ加算器を有するトランスコーダの最終システム式となる。
ロゴ加算器を有しないトランスコーダの一般的な線形図を、（図５と比較するために）図４で再び示す。それは、差復号化部４１（可変長復号化ＶＬＤ＋逆量子化ＩＱ＋逆離散余弦変換ＩＤＣＴ）と、符号化及び復号化部４２（逆離散変換ＤＣＴ＋量子化Ｑ＋可変長符号化ＶＬＣ；逆量子化ＩＱ＋逆離散余弦変換ＩＤＣＴ）と、擬似予測部４３と称する中間部（第１減算器Ｓ＋メモリＭＥＭ＋動きベクトルＶ（ｎ）に基づく動き補償ＣＯＭＰ＋第２減算器Ｓ）とを具える。この中間部43がそのように称される理由は、正確にはそれが基本エンコーダの場合のような従来の予測ではないからであり、この場合には第１加算器は減算器に置換されている。既に説明したような信号Ｒ’（ｎ，１），Ｒ（ｎ，２），Ｒ’（ｎ，２），ｅ（ｎ，２），Ｖ（ｎ），Ｐ（ｅ（ｎ−１），２；Ｖ（ｎ））を図４に示す。
本発明によるすなわちロゴ加算器を有するトランスコーダの対応する形態を図５に示し、この場合、同一パーツに図４と同一符号を付すものとする。追加のパーツをロゴ付加部５０とし、それは、付加すべきロゴ（信号Ｌｏｇｏ（ｎ））を受信するメモリＭＥＭ５１と、メモリ５１の出力及びベクトルＶ（ｎ）を受信するとともに予測したデータストリームを発生させる動き補償回路ＣＯＭＰ５２と元の信号Ｌｏｇｏ（ｎ）と回路５２の出力（予測したデータストリーム）で利用できる動き補償された信号Ｐ（Ｌｏｇｏ（ｎ−１）；Ｖ（ｎ））との間の差を発生させる減算器Ｓ５３と、その減算器５３の出力信号を（連続する画像の全シーケンスに相当する）主ビットストリームに導入する加算器５４とを有する。したがって、ロゴ付加は、入力ビットストリームに差を加算することによって行われ、この差は、動き補償したロゴ予測をロゴから減算することによって形成され、そのような動き補償したロゴ予測は、以前に記憶されたロゴを有する基準画像に基づくものであり、入力する主ビットストリームと同一のモード及びベクトルを使用する。
これまで説明した方法及び装置を更に向上させることができる。実際には、それを、画像の他の部分を変更することなく、（ロゴのような）追加のデータを主ビデオビットストリームに付加するのではなく挿入することによって行われる。
そのようなデータの挿入、すなわち、画像（又は画像のシーケンス）の一領域のそのようなデータによる置換は、元の画素（＝画像成分）に対する完全なアクセスを必要とする非線形処理である。したがって、高品質のロゴ挿入のためには、入力するビットストリームの完全な復号化を行う必要がある。本発明によれば、そのような完全な復号化は、低コストの粗い復号化に置換される（ここではＭＰＥＧ−２規格の場合について説明する。）。
本発明によるすなわちロゴインサータを有するトランスコーダの対応する形態を図６に示し、この場合、同一パーツに図４と同一符号を付すものとする。（図４に対する）追加のパーツは、ここで詳細に説明するロゴ挿入装置４００である。
このロゴ挿入装置において、４ステップが実行される。第１ステップは、評価段４１０で実行されるいわゆるＤＣ評価ステップである。ＭＰＥＧシーケンスの各画像は、マクロブロックと称する動き補償ユニットに細分される。さらに、ＭＰＥＧ規格において、３タイプの画像：他の画像を参照することなく符号化されたＩ（すなわちイントラ）画像、以前の画像（Ｉ又はＰ）を参照して符号化されたＰ（すなわち予測）画像並びに以前及び以後の画像（Ｉ又はＰ）を参照して符号化されたＢ（すなわち双方向予測）画像が考察される。これらＩ画像及びＰ画像は参照フレームと称される。段４１０において、各マクロブロックの平均値が、（関連のバッファメモリ４０１及び４０２に以前に格納された）基準フレームの平均値及び入力する差（図４のＲ’（ｎ，１）を付した信号）の現在の平均値に従って評価される。ＤＣＰ（ｂ，Ｙ）が、成分Ｙのマクロブロックｂに対する予測ＰＲ（ｂ，Ｙ）の平均値を表し（そのような演算の説明を、補間したマクロブロックの場合について図７に付与する。二つの基準画素の各々のマクロブロック、予測ＰＲ（ｂ，ｙ）及びその平均値ＤＣＰ（ｂ，Ｙ）を示す。）、ＡＣＲ（ｂ，Ｙ）が同一成分Ｙの同一マクロブロックに対して差（すなわち、トランスコーダの差復号化部４１の出力部のＲ’（ｎ，１）と称する信号）の平均値を表し、かつ、ＭＤＣ（ｂ，Ｙ）が同一成分Ｙの同一マクロブロックｂの評価された平均値を表す場合、
ＭＤＣ（ｂ，Ｙ）＝ＤＣＰ（ｂ，Ｙ）＋ＡＣＲ（ｂ，Ｙ） （１３）
となる。この表現は、成分Ｙの場合に与えられるが、輝度Ｙの代わりにクロミナンス成分Ｕ，Ｖのいずれかを有する場合も同一である。
トランスコーダの入力部の入力ビットストリームが、イントラ画像上でしばしば十分にリフレッシュすべき予測画像を許容する標準的な放送ＧＯＰ持続時間（例えば、Ｎ＝１２）を与える場合、そのような評価に顕著なドラフトが生じないことが観察される（ＧＯＰすなわち画像群は、Ｉ画像及びそれ自体は含まない次のＩ画像までの全ての連続する画像からなり、したがって、ＮはＧＯＰのサイズとして規定され、ＭＰＥＧ規格の最も一般的なものはＮ＝１２となる。）。
第２ステップは、処理段４２０で実行されるロゴ処理ステップである。実際には、ロゴ画素値の処理は、画素成分がどのようなものであってもロゴの可視性及び一致を保持するために実行される。
ＭＶ（ＣＰ）＋ＭＶ（Ｌｏｇｏ（ＣＰ））＝ＲＱＭ（ＣＰ） （１４）
この場合、ＣＰは、輝度成分Ｙ又はクロミナンス成分（Ｕ，Ｖ）のうちの任意のものを表し、ＭＶ（ＣＰ）を、ロゴを成分ＣＰに挿入する必要がある場合の元の領域の平均値とし（これら値は、既に表した関係（１３）に従って評価される。）、ＭＶ（Ｌｏｇｏ（ＣＰ））を、処理されたロゴの平均値とし、ＲＱＭ（ＣＰ）は、ロゴ領域におけるロゴ挿入後の画像の要求される平均値に相当する。したがって、マクロブロックｂに挿入すべきロゴの画素値Ｌｏｇｏ（ｂ，ＣＰ）が、ロゴ処理後に関係（１５）によって規定される。
Ｌｏｇｏ（ｂ，ＣＰ）＝Ｌｏｇｏ_ｏｒｉ（ｂ，ＣＰ）＋ＲＱＭ（ＣＰ）
−ＭＶ（ＣＰ）−ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ） （１５）
この場合、Ｌｏｇｏ_ｏｒｉ（ｂ，ＣＰ）は、マクロブロックｂに挿入すべきロゴの元の画素値を表し、ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ）は、成分ＣＰの元のロゴの平均値を表す。
このロゴ処理を図８−１０に示す。図８は、挿入前の元のロゴ信号Ｌｏｇｏ_ｏｒｉ（ｂ，ＣＰ）、その平均値ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ），ＲＱＭ（ＣＰ）及びＭＶ（ＣＰ）を表し、図９は、ＭＶ（ＣＰ）＋Ｌｏｇｏ（ｂ，ＣＰ）＝ＲＱＭ（ＣＰ）となるのに必要なものを示し、図１０は、要求される結果（図示したように、ＭＶ（ＣＰ）−ＲＱＭ（ＣＰ）＋ＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ）に等しい値のロゴ信号のシフト）を得るために実行される適合の原理を示す。
クロミナンス成分に対して、元のロゴに対するロゴの一致が必要とされ、すなわち、処理されたロゴを画像に挿入することによって、元のロゴの色となる。したがって、クロミナンス成分Ｕ及びＶに対して、ＲＱＭ（ＣＰ）はＭＶ_Ｌｏｇｏ_ｏｒｉ（ＣＰ）となる。輝度に対して、オリジナルに対する好適な一致（すなわち、ＲＱＭ（Ｙ）＝ＭＶ_Ｌｏｇｏ_ｏｒｉ（Ｙ））と（明るい領域にロゴが暗く出現し又は暗い領域にロゴが明るく出現するような）可視性との間で選択を行うことができる。この最後の場合、ＲＱＭ（Ｙ）＝１２８となる。
第３ステップは、クリッピング段４３０で実行されるロゴクリッピングステップである。ＭＰＥＧ−２規格によれば、デコーダ側で、メモリの格納した再構成された画像は、０と２５５との間でクリップされる。エンコーダ側では同様なことを行うことができない。その理由は、入力するビットストリームの完全な復号化が行われないからである。この際、クリッピングステップはマクロブロックに基づいて行われる。正確な画素値は未知であるが、この状況はクリッピングにマージンＭＧをとることによって補償される。この場合、（常にＣＰと称される）各成分Ｙ，Ｕ又はＶに対して、Ｌｏｇｏ（ｂ，ＣＰ）は、
Ｏ＋ＭＧ＜ＭＶ（ｂ，ＣＰ）＋Ｌｏｇｏ（ｂ，ＣＰ）＜２５５−ＭＧ （１６）
となるようにクリップされ、それは、
ＭＧ−ＭＶ（ｂ，ＣＰ）＜Ｌｏｇｏ（ｂ，ＣＰ） （１７）
Ｌｏｇｏ（ｂ，ＣＰ）＜２５５−ＭＧ−ＭＶ（ｂ，ＣＰ） （１８）
を与える。
このようなロゴクリッピングを図１１及び１２に示し、この場合、図１１は、ＭＶ（ｂ，ＣＰ），ＭＶ（ｂ，ＣＰ）＋Ｌｏｇｏ（ｂ，ＣＰ）並びにクリッピング範囲ＭＧ及び２５５−ＭＧを表し、したがって関係（１６）を表し、それに対して、図１２は、同様な関係（１７）及び（１８）を表す。
第４ステップは、図５に示すロゴ追加部５０と同一のロゴ追加段４４０で実行されるロゴ追加ステップである。この段４４０は、クリッピング段４３０の出力部で利用できるクリップされたロゴを受信するメモリと、そのメモリの出力及びトランスコーダで規定されたベクトルＶ（ｎ）を受信する動き補償回路と、（ロゴ挿入装置４００の処理部の出力部で利用できるクリップされたロゴと動き補償回路の出力部で利用できる動き補償されたものとの間の差を発生させる）減算器と、（減算器の出力信号を主ビットストリームに挿入する）加算器とを具える。これら４個の構成要素（メモリ、動き補償回路、減算器、加算器）は、図５の４個の構成要素と同様のものである。したがって、ロゴ挿入は、入力するビットストリームへの差の加算によって実行され、この差は、（既に説明したようにして前処理された）ロゴと前処理されたロゴから取り出される動き補償された予測との間の差を規定することによって形成され、それは、入力する主ビットストリームと同一の動きベクトルを用いる。
Claims (5)
- サブ画像に分割した連続する画像に対応する符号化データストリームに追加データストリームを挿入する方法であって、
− 前記符号化データストリームを復号化して、復号化された差信号を供給するステップと、
− 復号化されたデータストリームを再符号化するステップと、
− 各サブ画像に対して動きベクトルを決定するステップと、
を有し、更に、
− 前記追加データ及び前記動きベクトルに基づいて、動き補償された追加データを計算するステップと、
− 前記追加データと前記動き補償された追加データとの間の差を、前記復号化された差信号に加算するステップと、
を有することを特徴とする方法。 - − 前記再符号化するステップに由来する符号化誤差から予測信号を供給し、前記加算するステップの出力と前記予測信号との間の差を、前記再符号化するステップに供給するように適応された疑似予測ステップ、
を有する請求項１記載の方法。 - 前記復号化されたデータストリーム内で前記追加データによる前記復号化されたデータの置換を得るため、前記追加データストリームを前処理するステップ、を更に有する請求項１記載の方法。
- 前記前処理するステップは、
− 前記復号化されたデータストリームに対応する現在の画像の全てのサブ画像の平均値を見積もるオペレーションと、
− どのような画像内容であっても前記追加データの可視性及び一致を保持するよう、前記追加データを前処理するオペレーションと、
− 前処理された追加データをマクロブロックに基づいてクリップするオペレーションと、
を含む、請求項３記載の方法。 - サブ画像に分割した連続する画像に対応する符号化データストリームをトランスコーディングする装置であって、
− 前記符号化データストリームを復号化して、復号化された差信号を供給する差復号化ユニットと、
− 復号化されたデータストリームを再符号化する符号化・復号化ユニットと、
− 各サブ画像に対して動きベクトルを決定する計算ユニットと、
を有し、更に、前記符号化データストリームに追加データストリームを挿入する手段を有し、前記挿入する手段は、
− 前記追加データ及び前記動きベクトルに基づいて、動き補償された追加データを計算する手段と、
− 前記追加データと前記動き補償された追加データとの間の差を、前記復号化された差信号に加算する加算手段と、
を有する、ことを特徴とする装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP98400759.1 | 1998-03-31 | ||
| EP98400759 | 1998-03-31 | ||
| EP98400802.9 | 1998-04-03 | ||
| EP98400802 | 1998-04-03 | ||
| PCT/IB1999/000235 WO1999051033A2 (en) | 1998-03-31 | 1999-02-11 | Method and device for modifying data in an encoded data stream |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002500851A JP2002500851A (ja) | 2002-01-08 |
| JP4308924B2 true JP4308924B2 (ja) | 2009-08-05 |
Family
ID=26151603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP54907399A Expired - Fee Related JP4308924B2 (ja) | 1998-03-31 | 1999-02-11 | 符号化データストリームのデータ変更方法及び装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US6181743B1 (ja) |
| EP (1) | EP0995316A2 (ja) |
| JP (1) | JP4308924B2 (ja) |
| KR (1) | KR100588797B1 (ja) |
| CN (1) | CN1179574C (ja) |
| BR (1) | BR9904912A (ja) |
| WO (1) | WO1999051033A2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6594311B1 (en) * | 1997-10-20 | 2003-07-15 | Hitachi America, Ltd. | Methods for reduced cost insertion of video subwindows into compressed video |
| EP0998827B1 (en) * | 1998-03-31 | 2007-04-25 | Koninklijke Philips Electronics N.V. | Modifying data which has been coded |
| KR100588797B1 (ko) * | 1998-03-31 | 2006-06-13 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 인코딩된 데이터 스트림의 데이터를 수정하기 위한 방법 및 장치 |
| EP1125439A1 (en) * | 1999-07-20 | 2001-08-22 | Koninklijke Philips Electronics N.V. | Drift-free transcoder and related method |
| US6556624B1 (en) * | 1999-07-27 | 2003-04-29 | At&T Corp. | Method and apparatus for accomplishing multiple description coding for video |
| US7194032B1 (en) | 1999-09-03 | 2007-03-20 | Equator Technologies, Inc. | Circuit and method for modifying a region of an encoded image |
| GB9920929D0 (en) | 1999-09-03 | 1999-11-10 | Sony Uk Ltd | Video signal processor |
| US6498816B1 (en) | 1999-09-03 | 2002-12-24 | Equator Technologies, Inc. | Circuit and method for formatting each of a series of encoded video images into respective regions |
| US6510178B1 (en) * | 1999-12-15 | 2003-01-21 | Zenith Electronics Corporation | Compensating for drift in the down conversion of high definition sequences to lower resolution sequences |
| US6573945B1 (en) * | 2000-01-12 | 2003-06-03 | General Instrument Corporation | Logo insertion on an HDTV encoder |
| CN1183766C (zh) * | 2000-01-14 | 2005-01-05 | 皇家菲利浦电子有限公司 | 在编码信号中的简化标识插入 |
| JP2003520511A (ja) | 2000-01-14 | 2003-07-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | トランスコード方法及び装置 |
| US6621866B1 (en) * | 2000-01-28 | 2003-09-16 | Thomson Licensing S.A. | Method for inserting a visual element into an MPEG bit stream |
| US6970510B1 (en) * | 2000-04-25 | 2005-11-29 | Wee Susie J | Method for downstream editing of compressed video |
| US6973130B1 (en) | 2000-04-25 | 2005-12-06 | Wee Susie J | Compressed video signal including information for independently coded regions |
| US6658057B1 (en) * | 2000-08-31 | 2003-12-02 | General Instrument Corporation | Digital transcoder with logo insertion |
| US6763067B2 (en) * | 2000-10-10 | 2004-07-13 | Sarnoff Corporation | Rate control for bitstream re-encoding |
| US6765963B2 (en) * | 2001-01-03 | 2004-07-20 | Nokia Corporation | Video decoder architecture and method for using same |
| US20020122491A1 (en) * | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
| GB0116119D0 (en) * | 2001-06-30 | 2001-08-22 | Koninkl Philips Electronics Nv | Transcoding of video data streams |
| US7693220B2 (en) * | 2002-01-03 | 2010-04-06 | Nokia Corporation | Transmission of video information |
| US7657111B2 (en) * | 2003-02-14 | 2010-02-02 | Fujifilm Corporation | Apparatus and program for image processing for obtaining processed compressed moving image data |
| US8600217B2 (en) | 2004-07-14 | 2013-12-03 | Arturo A. Rodriguez | System and method for improving quality of displayed picture during trick modes |
| US8452604B2 (en) * | 2005-08-15 | 2013-05-28 | At&T Intellectual Property I, L.P. | Systems, methods and computer program products providing signed visual and/or audio records for digital distribution using patterned recognizable artifacts |
| US9467659B2 (en) * | 2005-09-27 | 2016-10-11 | Qualcomm Incorporated | Method and apparatus for progressive channel switching |
| US9148289B2 (en) * | 2008-01-30 | 2015-09-29 | Hewlett-Packard Development Company, L.P. | Method for streaming video data |
| EP2891149A1 (en) | 2012-08-31 | 2015-07-08 | Dolby Laboratories Licensing Corporation | Processing audio objects in principal and supplementary encoded audio signals |
| US9998750B2 (en) | 2013-03-15 | 2018-06-12 | Cisco Technology, Inc. | Systems and methods for guided conversion of video from a first to a second compression format |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
| CA2126467A1 (en) * | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
| NL9301358A (nl) * | 1993-08-04 | 1995-03-01 | Nederland Ptt | Transcodeerinrichting. |
| US5537440A (en) * | 1994-01-07 | 1996-07-16 | Motorola, Inc. | Efficient transcoding device and method |
| US5504816A (en) * | 1994-02-02 | 1996-04-02 | Gi Corporation | Method and apparatus for controlling access to digital signals |
| US5541852A (en) * | 1994-04-14 | 1996-07-30 | Motorola, Inc. | Device, method and system for variable bit-rate packet video communications |
| DE69522861T2 (de) * | 1994-06-30 | 2002-04-11 | Koninklijke Philips Electronics N.V., Eindhoven | Verfahren und Einrichtung zur Codeumwandlung von codiertem Datenstrom |
| JP3918033B2 (ja) * | 1994-12-14 | 2007-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | サブタイトル送信システム |
| US5691986A (en) * | 1995-06-07 | 1997-11-25 | Hitachi America, Ltd. | Methods and apparatus for the editing and insertion of data into an encoded bitstream |
| US5699124A (en) * | 1995-06-28 | 1997-12-16 | General Instrument Corporation Of Delaware | Bandwidth efficient communication of user data in digital television data stream |
| DE19717453C2 (de) * | 1997-04-25 | 2001-08-30 | Rohde & Schwarz | Verfahren zum Einblenden eines neuen Bildabschnittes an einer vorbestimmten Stelle eines datenreduzierten Video-Datenstromes |
| EP0936814A1 (en) * | 1998-02-16 | 1999-08-18 | CANAL+ Société Anonyme | Processing of graphical digital picture data in a decoder |
| KR100588797B1 (ko) * | 1998-03-31 | 2006-06-13 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 인코딩된 데이터 스트림의 데이터를 수정하기 위한 방법 및 장치 |
-
1999
- 1999-02-11 KR KR1019997011189A patent/KR100588797B1/ko not_active IP Right Cessation
- 1999-02-11 CN CNB998008699A patent/CN1179574C/zh not_active Expired - Fee Related
- 1999-02-11 JP JP54907399A patent/JP4308924B2/ja not_active Expired - Fee Related
- 1999-02-11 WO PCT/IB1999/000235 patent/WO1999051033A2/en active IP Right Grant
- 1999-02-11 EP EP99901830A patent/EP0995316A2/en not_active Ceased
- 1999-02-11 BR BR9904912-0A patent/BR9904912A/pt not_active IP Right Cessation
- 1999-03-24 US US09/275,362 patent/US6181743B1/en not_active Expired - Fee Related
-
2000
- 2000-10-11 US US09/686,791 patent/US6493389B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1179574C (zh) | 2004-12-08 |
| US6493389B1 (en) | 2002-12-10 |
| WO1999051033A2 (en) | 1999-10-07 |
| BR9904912A (pt) | 2000-06-20 |
| JP2002500851A (ja) | 2002-01-08 |
| EP0995316A2 (en) | 2000-04-26 |
| US6181743B1 (en) | 2001-01-30 |
| KR20010013202A (ko) | 2001-02-26 |
| WO1999051033A3 (en) | 1999-11-18 |
| KR100588797B1 (ko) | 2006-06-13 |
| CN1272287A (zh) | 2000-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4308924B2 (ja) | 符号化データストリームのデータ変更方法及び装置 | |
| KR100934290B1 (ko) | 엠피이지-2 4:2:2-프로파일 비트스트림을 메인-프로파일비트스트림으로 컨버팅 하기 위한 방법 및 아키텍처 | |
| US5729293A (en) | Method and device for transcoding a sequence of coded digital signals | |
| US7194032B1 (en) | Circuit and method for modifying a region of an encoded image | |
| US20020163967A1 (en) | Transcoding apparatus and method | |
| JP4163006B2 (ja) | ドリフト補正を備えたビデオトランスコーダ | |
| JP5015375B2 (ja) | 小画像を挿入するｍｐｅｇ標準に準拠した画像の符号化方法及び装置 | |
| US7095448B2 (en) | Image processing circuit and method for modifying a pixel value | |
| US6498816B1 (en) | Circuit and method for formatting each of a series of encoded video images into respective regions | |
| GB2316827A (en) | Compensating quantization errors of a decoded video signal by using an adaptive filter | |
| US6650706B2 (en) | Frequential-based data modifying method and device | |
| JP2003504986A (ja) | ドリフトの影響を受けない変換符号化器及び関連する方法 | |
| US20030156642A1 (en) | Video coding method and corresponding encoding device | |
| KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
| US7251368B2 (en) | Pixel-based data modifying method and device | |
| US7085321B2 (en) | Compression | |
| JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 | |
| KR20030006641A (ko) | 트랜스코더 및 그의 트랜스 코딩 방법 | |
| KR980012955A (ko) | 반복적 움직임 예측/보상을 이용한 영상 부호화기 및/또는 복호화기 | |
| JP2000175200A (ja) | 高能率符号化装置及び高能率復号化装置 | |
| JP2000350214A (ja) | 動き補償予測符号化方法及びその装置 | |
| KR20020001062A (ko) | 응용분야에 적응적인 엠펙 영상압축 부호화기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060208 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090507 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |