JP4196726B2 - 画像処理装置および画像処理方法、記録媒体、並びに、プログラム - Google Patents
画像処理装置および画像処理方法、記録媒体、並びに、プログラム Download PDFInfo
- Publication number
- JP4196726B2 JP4196726B2 JP2003135350A JP2003135350A JP4196726B2 JP 4196726 B2 JP4196726 B2 JP 4196726B2 JP 2003135350 A JP2003135350 A JP 2003135350A JP 2003135350 A JP2003135350 A JP 2003135350A JP 4196726 B2 JP4196726 B2 JP 4196726B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- information
- image data
- data
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Mbps）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるGOP(Group of Picture)を構成するフレーム数が多いLong GOPと、高ビットレート（１８乃至５０Mbps）で転送される、GOPを構成するフレーム数が少ないShort GOPとを、相互に変換する必要があった。
【０００５】
例えば、伝送路を介して送受信されるLong GOPのストリームデータを、Short GOPであるAll Intraのストリームデータに符号化しなおして、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
伝送路１には、伝送に適したLong GOPのストリームデータが伝送される。
【０００７】
トランスコーダ２は、伝送路１を介して供給された、MPEGのLong GOPのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（All Intra）となるように符号化し、符号化されたAll Intraのストリームデータ（SDTI CP（Serial Data Transport Interface-Contents Package）ストリーム）を、SDTI CPインタフェースのフレーム編集装置３に出力する。
【０００８】
フレーム編集装置３にてフレーム編集されたストリームデータは、トランスコーダ４に供給される。トランスコーダ４は、供給されたAll Intraのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、MPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを、伝送路１を介して、所定のデータ伝送先に出力する。
【０００９】
また、入力画像を高ビットレートでMPEGのLong GOPに符号化し、それを復号して低ビットレートのMPEGのLong GOPに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１０】
トランスコーダ５１は、供給された、圧縮されていない入力画像を、復号部６１で一旦復号した後、符号化部６２において、高ビットレートのMPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを出力する。トランスコーダ５２は、供給された高ビットレートのMPEGのLong GOPを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを、伝送路１を介して、所定のデータ伝送先に出力する。
【００１１】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開２０００−０５９７８８号公報
【００１３】
例えば、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１４】
すなわち、トランスコーダ１０１は、伝送路１を介して、MPEGのLong GOPの供給を受ける。
【００１５】
MPEGのLong GOPはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがってこのビデオデータをMPEGのLong GOPで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１６】
このような再符号化による画質劣化を引き起こさないため、トランスコーダ１０１は、例えば、伝送路１を介して、他のトランスコーダによって過去に符号化されたストリームデータの供給を受けた場合、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、復号部１１１に供給された符号化ストリームの符号化のピクチャタイプや量子化値などのパラメータを、All Intraの符号化ストリーム上に、SMPTE（Society of Motion Picture and Television Engineers）328Mのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。
【００１７】
フレーム編集装置３にてフレーム編集されたストリームデータは、再び、トランスコーダ１０２に供給される。トランスコーダ１０２は、供給された、ヒストリー情報つきのAll Intraのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Long GOPに再符号化して出力する。
【００１８】
また、図２を用いて説明したように、非圧縮のデータを高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのMPEGのLongGOPに再符号化することが可能なシステムにおいて、再符号のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１９】
すなわち、トランスコーダ５１により符号化されたMPEGのLong GOPのストリームの供給を受けたトランスコーダ１３１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを出力する。
【００２０】
【発明が解決しようとする課題】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層、マクロブロック層のパラメータ）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、例えば、編集などによって、ビットレート、画像枠、クロマフォーマットなどが、前の符号化処理時とは異なるストリームが、置き換えられたり、挿入される場合がある。このような場合、パラメータをピクチャ層からマクロブロック層までの全ての符号化の情報を再利用して再符号化することはできない。
【００２１】
本発明はこのような状況に鑑みてなされたものであり、符号化する画像データの状態に応じて、再利用することができる情報を選択することができるようにするものである。
【００２２】
【課題を解決するための手段】
本発明の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、取得手段により取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化する処理を制御する制御手段とを備えることを特徴とする。
【００２４】
制御手段には、符号化に関する情報に含まれる過去の符号化における画像枠と、画像データに対して実行する符号化の画像枠との位置および大きさが一致している場合、符号化に関する情報に含まれる動きベクトルの情報を更に用いて、符号化する処理を制御させるようにすることができる。
【００２５】
制御手段には、符号化に関する情報に含まれる過去の符号化におけるビットレートが、画像データに対して実行する符号化のビットレートよりも小さく、かつ、符号化に関する情報に含まれる過去の符号化におけるクロマフォーマットが、画像データに対して実行する符号化のクロマフォーマットと比較して、等しい、または、大きい場合、符号化に関する情報に含まれる量子化値の情報を更に用いて、符号化する処理を制御させるようにすることができる。
【００２６】
画像データを復号した他の画像処理装置に供給された第１の符号化データ、および制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、第１の符号化データまたは第２の符号化データを出力する出力手段を更に備えさせるようにすることができ、制御手段には、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、画像処理装置が画像データに対して実行する符号化の条件と一致し、符号化に関する情報に含まれる過去の符号化におけるビットレートが、画像データに対して実行する符号化のビットレートよりも小さい場合、出力手段を更に制御して、第１の符号化データを出力させるようにすることができる。
制御手段には、MPEG規格に従って、画像データまたは中途画像データが、中途段階までまたは完全に符号化されるように制御させるようにすることができる。
画像データは、フレーム内符号化した符号化画像データを復号したデータであるものとすることができ、制御手段には、画像データまたは中途画像データが、中途段階までまたは完全にフレーム間符号化されるように制御させるようにすることができる。
【００２７】
本発明の画像処理方法は、画像データに対して過去に行われた符号化に関する情報を取得し、取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択し、選択されたピクチャタイプの情報を基に、符号化処理を制御することを特徴とする。
【００２８】
本発明の記録媒体に記録されているプログラムは、供給された符号化に関する情報と、画像データに対して実行する符号化に関する条件とを比較する比較ステップと、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップと、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００２９】
本発明のプログラムは、供給された符号化に関する情報と、画像データに対して実行する符号化に関する条件とを比較する比較ステップと、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップと、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００３０】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、過去の符号化に関する情報の供給を受け、過去の符号化に関する情報と、画像データに対して実行される符号化に関する条件とが比較され、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化処理が制御される。
【００３１】
本発明の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、取得手段により取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、符号化ストリームに対して実行する変換処理の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化ストリームを再符号化ストリームに変換する変換手段とを備えることを特徴とする。
本発明の画像処理方法、記録媒体に記録されているプログラム、またはプログラムは、画像データに対して過去に行われた符号化に関する情報を取得し、取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、符号化ストリームに対して実行する変換処理の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化ストリームを再符号化ストリームに変換するステップを含むことを特徴とする。
【００３２】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得され、取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、符号化ストリームに対して実行する変換処理の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報が用いられて、符号化ストリームが再符号化ストリームに変換される。
【００３３】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段および各ステップと以下の実施の形態との対応関係を明らかにするために、各手段および各ステップの後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但しもちろんこの記載は、各手段および各ステップを記載したものに限定することを意味するものではない。
【００３４】
請求項１に記載の、ベースバンドの画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していない復号処理が施された、中途段階まで符号化された画像データに対して、量子化および可変長符号化処理を行うが、DCT変換処理は行わない処理などを含む）を実行する画像処理装置（例えば、図６の符号化部１６１、図１０の符号化部２１１、または、図１２の符号化装置２５２）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、取得手段により取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化する処理を制御する制御手段（例えば、図６または図１０の制御部１８５）とを備えることを特徴とする。
【００３５】
請求項４に記載の画像処理装置は、画像データを復号した他の画像処理装置（例えば、図５の復号部１２１、図９の復号部１４１、または、図１２の復号装置２５１）に供給された第１の符号化データ、および制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、第１の符号化データまたは第２の符号化データを出力する出力手段（例えば、図６または図１０のストリームスイッチ１８６）を更に備え、制御手段は、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、画像処理装置が画像データに対して実行する符号化の条件と一致し、符号化に関する情報に含まれる過去の符号化におけるビットレートが、画像処理装置が画像データに対して実行する符号化のビットレートよりも小さい場合、出力手段を更に制御して、第１の符号化データを出力させることを特徴とする。
【００３６】
請求項７に記載の画像処理方法は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）を取得し、取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択し、選択されたピクチャタイプの情報を基に、符号化処理（例えば、図６または図１０の、画像並べ替え部１７２乃至バッファ１８４が実行する符号化処理）を制御することを特徴とする。
【００３７】
請求項８に記載の記録媒体に記録されているプログラムは、供給された符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）と、画像データに対して実行する符号化に関する条件とを比較する比較ステップ（例えば、図１１のステップＳ１，ステップＳ３，ステップＳ５，または、ステップＳ７の処理）と、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップ（例えば、図１１のステップＳ４の処理）と、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００３８】
請求項９に記載のプログラムは、供給された符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）と、画像データに対して実行する符号化に関する条件とを比較する比較ステップ（例えば、図１１のステップＳ１，ステップＳ３，ステップＳ５，または、ステップＳ７の処理）と、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップ（例えば、図１１のステップＳ４の処理）と、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００４０】
以下、図を参照して、本発明の実施の形態について説明する。
【００４１】
本発明を適用した、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図５を用いて説明する。
【００４２】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、トランスコーダ１０２に代わって、トランスコーダ１５１が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、トランスコーダ１５１は、符号化部１２２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（ヒストリー情報）を選択することが可能な符号化部１６１が設けられ、符号化部１６１には、復号部１２１から出力される復号された信号のほかに、復号部１２１に入力されているストリームデータも入力されているほかは、トランスコーダ１０２と基本的に同様に構成されている。
【００４３】
トランスコーダ１０１は、伝送路１から、MPEGのLong GOPの供給を受ける。
【００４４】
MPEGのLongGOPは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。トランスコーダ１０１は、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがLongGOPで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、伝送路１を介して、トランスコーダ１０１に、MPEGのLong GOPストリームを送信した装置による符号化のパラメータ（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータ）を、All Intraのストリーム上に、SMPTE328Mのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。
【００４５】
フレーム編集装置３にてフレーム編集された、ヒストリー情報付のストリームデータは、トランスコーダ１５１に供給される。トランスコーダ１５１は、供給された、ヒストリー情報付のAll Intraのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータを、必要に応じて使用して、復号部１２１で復号された情報を、LongGOPに再符号化して出力する。
【００４６】
図６は、符号化部１６１の構成を示すブロック図である。
【００４７】
ヒストリー抽出部１７１は、復号部１２１により復号された、ヒストリー情報付のAll Intraストリームから、ヒストリー情報を抽出して、制御部１８５に供給するとともに、映像ストリームを映像並び替え部１７２に供給する。ヒストリー情報には、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。
【００４８】
制御部１８５は、ヒストリー抽出部１７１により抽出された、ヒストリー情報に含まれている、過去の符号化のパラメータを基に、画像並び替え部１７２、動きベクトル検出部１７４、または、量子化値決定部１７７を、必要に応じて制御する。
【００４９】
ヒストリー抽出部１７１により抽出されるヒストリー情報は、SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）の形式で記載されている。次に、図７を用いて、SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックスについて説明する。
【００５０】
SMPTE 329Mのcompressed_stream_format_of_MPEG_2_recoding_set（）は、next_start_code（）関数、sequence_header（）関数、sequence_extension（）関数、extension_and_user_data（0)関数、group_of_picture_header（）関数、extension_and_user_data（1)関数、picture_header（）関数、picture_coding_extension（）関数、extension_and_user_data（2)関数、およびpicture_data（）関数によって定義されたデータエレメントによって構成される。
【００５１】
next_start_code（）関数は、ビットストリーム中に存在するスタートコードを探すための関数である。sequence_header（）関数によって定義されるデータエレメントには、例えば、画像の水平方向の画素数の下位１２ビットから成るデータであるhorizontal_size_value、画像の縦のライン数の下位１２ビットからなるデータであるvertical_size_value、発生符号量制御用の仮想バッファ（VBV；ビデオバッファベリファイヤ）の大きさを決める値の下位１０ビットデータであるVBV_buffer_size_valueなどがある。sequence_extension（）関数によって定義されるデータエレメントには、例えば、ビデオデータが順次走査であることを示すデータであるprogressive_sequence、ビデオデータの色差フォーマットを指定するためのデータであるchroma_format、Ｂピクチャを含まないことを示すデータであるlow_delayなどがある。
【００５２】
extension_and_user_data（i)関数は、「i」が２以外のときは、extension_data（）関数によって定義されるデータエレメントは記述されずに、user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。よって、 extension_and_user_data（0)関数は、 user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。そして、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが記述されている場合にのみ、 group_of_picture_header（）関数によって定義されたデータエレメント、およびextension_and_user_data（1)関数によって定義されるデータエレメントが記述されている。
【００５３】
picture_headr（）関数によって定義されるデータエレメントには、例えば、ピクチャ層の開始同期コードを表すデータであるpicture_start_code、ピクチャの表示順を示す番号で、GOPの先頭でリセットされるデータであるtemporal_referenceなどがある。picture_coding_extension（）関数によって定義されるデータエレメントには、例えば、フレームストラクチャかフィールドストラクチャかを示すデータであり、フィールドストラクチャの場合は上位フィールドか下位フィールドかもあわせて示すデータであるpicture_structure、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータであるtop_field_first、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータであるq_scale_type、２：３プルダウンの際に使われるデータであるrepeat_firt_fieldなどがある。
【００５４】
re_coding_stream_info（）関数によって定義されるデータエレメントは、SMPTE327Mにおいて定義されている。extensions_and_user_data（2）については、図８を用いて後述する。picture_data（）関数によって定義されるデータエレメントは、slice（）関数によって定義されるデータエレメントである。slice（）関数によって、macroblock（）が定義され、macroblock（）には、motion_vectors情報が記載されている。
【００５５】
図７で説明した、compressed_stream_format_of_MPEG_2_recoding_set（）のextension_and_user_data（2)内のuser_data(2)に記載される情報について、図８を用いて説明する。
【００５６】
Stream_Information_Headerは、３２bitのデータであり、picture_layerのuser_dataでの識別用のHeader番号が記載されており、user_dataとしてこの情報を識別できる値が記載されている１６bitのStream_Information_Header、Strema_Information（）のbyte長を示す、８bitのLength、および、marker_bitsで構成されている。
【００５７】
Encoder_Serial_Numberは、エンコーダ（符号化部または符号化装置）に固有につけられる番号（シリアルナンバ）であり、１６bitの情報である。Encoder_IDは、エンコーダの機種を示すIDであり、１５bitの情報である。
【００５８】
続くEncoding_State_Time_Codeは、このストリームの生成が開始された時刻を示す情報であり、各byteデータのmsbを、marker_bit＝１とする、８byteの情報である。ここでは、８byte中の６byteが用いられて、ストリームの生成が開始された年（Time_Year)、月（Time_Month)、日（Time_Day)、時（Time_Hour)、分（Time_Minute)、および、秒（Time_Second）が記載されている。これらの値は、１ストリーム中で一定値となる。
【００５９】
Generation_Counter （GenC）は、符号化の世代数を示すカウンタ値であり、４ bitの情報である。符号化の世代数は、SDI（Serial Digital Interface）データからASI（Asynchronous Serial Interface）データにエンコードするときにカウントが開始され（第１世代とされ）、ASIデータからASIデータへの再エンコード時、またはSDTI CP（Serial Data Transport Interface-Contents Package）データからASIデータの再エンコード時に、カウンタ値がインクリメントされる。
【００６０】
SDTI CPとは、Pro-MPEGフォーラムの推進でSMPTE326Mとして標準化された、MPEGデータをリアルタイムに伝送（同期転送）する世界標準規格であり、全てイントラフレーム（All Intra）である場合の伝送方式である。SDIとは、Point to Pointの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ANSI/SMPTE259Mに規定されている。ASIとは、符号化されたMPEGのLong GOPのストリームデータの伝送方式である。
【００６１】
Continuity_Counterとは、フレームごとにインクリメントされるカウンタであり、最大値をすぎたら、再度、０からカウントが開始される。また、必要に応じて、フレーム数ではなく、フィールド数やピクチャ数をカウントするようにしても良い。
【００６２】
そして、これ以下に説明する情報は、デコーダ（復号部または復号装置）にて復号された時に生成されるパラメータから抽出されて挿入される情報であるので、挿入前の状態においては、領域が確保されているだけである。
【００６３】
picture_coding_typeは、MPEG2規格に準拠した、ピクチャのコーディングタイプを示す3 bitの情報で、例えば、このピクチャは、Ｉピクチャであるか、Ｂピクチャであるか、Ｐピクチャである過などが示される。temporal_referenceは、MPEG2 規格に準拠した、GOPの中の画像順を表す（ピクチャごとにカウントアップされる）１０bitの情報である。
【００６４】
reuse_levelとは、パラメータの再利用を規定するための７bitの情報である。error_flagは、各種エラーを通知するためのフラグである。
【００６５】
header_present_flag（Ａ）は、sequence header present flagと、GOP header present flagとの２bitのフラグ情報である。
【００６６】
extension_start_code_flagsは、SMPTEに規定されていない情報であり、各種の拡張IDが含まれているか否かを示す１６ｂｉｔのフラグ情報であり、０は拡張IDが含まれていないことを、１は拡張IDが含まれていることを示す。拡張IDには、例えば、sequence extension ID、 sequence display extension ID、quant matrix extension ID、copyright extension ID、sequence scalable extension ID、picture display extension ID、picture coding extension ID、picture spatial scalable extension ID、picture temporal scalable extension IDなどがある。
【００６７】
other_start_codes（図中other）は、ユーザデータのスタートコードがどのレイヤに含まれているか、または、シーケンスエラーコードおよびシーケンスエンドコードが含まれているか否かを示す５bitのフラグ情報である。
【００６８】
図中、Ｂと記載されているのは、reduced_bandwidth_flag（Ｂ）の１bitの情報であり、Cと記載されているのは、reduced_bandwidth_indicator（C）の２bitの情報である。num_of_picture_bytesは、ピクチャの発生量を示す２２bitの情報であり、レートコントロールなどに用いられる。
【００６９】
bit_rate_extensionは、１２bitの、ビットレートに関する拡張情報領域であり、bit_rate_valueは、１８bitの情報である。SMPTEに規定されているフォーマットにおいて、ビットレートの情報は、統計多重されることにより、しばしば、特定の値（例えば、“ｆｆ“）で記載されているため、この情報を、再符号化に用いることはできない。これに対して、bit_rate_extensionは、再符号化に用いるために、前の符号化における実際のビットレートの値が記載される領域である。
【００７０】
制御部１８５は、ヒストリー抽出部１７１から、図７および図８を用いて説明したヒストリー情報の供給を受け、ヒストリー情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。
【００７１】
具体的には、制御部１８５は、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayに記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldに、それぞれ記載されている情報である。
【００７２】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部１８５は、次に符号化する画像枠は、ヒストリー情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプ（図８を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_type）の情報のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_valueおよびvertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseを比較することにより判断される。
【００７３】
画像並び替え部１７２は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部１８５から供給された制御信号を基に、ヒストリー情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【００７４】
画像枠が一致していると判断された場合、制御部１８５は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueに記載されている。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatに記載されている。
【００７５】
動きベクトル検出部１７４は、制御部１８５から供給された制御信号を基に、過去の符号化における動きベクトル情報を、動きベクトルとして再利用する。
【００７６】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部１８５は、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。
【００７７】
量子化値決定部１７７は、制御部１８５からから供給された制御信号を基に、必要に応じて、再利用された量子化値を量子化部１７６に供給して、量子化を実行させる。
【００７８】
図６の説明に戻る。
【００７９】
映像並び替え部１７２は、制御部１８５の制御に基づいて、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。
【００８０】
動きベクトル検出部１７４は、マクロブロックデータの入力を受け、制御部１８５の制御に基づいて、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出したり、制御部１８５から供給された過去の符号化の動きベクトルを再利用して、動き補償部１８２に送出する。
【００８１】
演算部１７３は、映像並び替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【００８２】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【００８３】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）部１７５に送出する。ＤＣＴ部１７５は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１７６に送出する。
【００８４】
量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部１７８および逆量子化部１７９に送出する。ここで、量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【００８５】
逆量子化部１７９に送出された量子化ＤＣＴ係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８０に送出される。逆ＤＣＴ部１８０は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。
【００８６】
そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【００８７】
動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【００８８】
すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８９】
演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００９０】
また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００９１】
演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００９２】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、ストリームスイッチ１８６に出力する。
【００９３】
ストリームスイッチ１８６は、制御部１８５の制御に基づいて、バッファ１８４から供給された可変長符号化データを出力する。
【００９４】
量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、制御部１８５の制御に基づいて、蓄積状態を表す占有量情報、または、制御部１８５から供給される、過去の符号化のパラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定するようになされている。
【００９５】
量子化値決定部１７７は、上述したように、制御部１８５から過去の符号化パラメータに含まれる量子化値Ｑが供給され、過去の符号化の量子化値を再利用することができる場合、過去の符号化パラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定することができる。
【００９６】
また、量子化値決定部１７７は、ヒストリー情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９７】
すなわち、量子化値決定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部１７６に供給する。
【００９８】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（３）として表される。
【００９９】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt}・・・（１）
【０１００】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０１】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｉ）−（Ｔ×ｊ）／MBcnt・・・（２）
【０１０２】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt・・・（３）
【０１０３】
量子化値決定部１７７は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴpiおよびＴppをそれぞれ個別に設定する。
【０１０４】
したがって、発生符号量制御部９２は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋1）の量子化インデックスデータＱ（ｊ＋1）を算出し、これを量子化部７５に供給する。
【０１０５】
ｒ＝（２×ｂｒ）／ｐｒ ・・・（４）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（５）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１０６】
量子化部１７６は、量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１０７】
これにより、量子化部１７６は、１つ前のピクチャにおける実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１０８】
かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１０９】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１１０】
また、図４を用いて説明した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して、低ビットレートのLongGOPに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図９は、本発明を適用した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのLongGOPに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１１】
すなわち、図９のシステムは、トランスコーダ１３１に代わって、トランスコーダ２０１が備えられ、トランスコーダ２０１は、符号化部１４２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（パラメータ情報）を選択することが可能な符号化部２１１が設けられており、符号化部２１１には、復号部１４１から出力される復号された信号のほかに、復号部１４１に入力されているストリームデータも入力されているほかは、基本的に、トランスコーダ１３１と同様の構成を有する。
【０１１２】
トランスコーダ５１により符号化されたMPEGのLong GOPのストリーム（ASIストリーム）データの供給を受けたトランスコーダ２０１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２１１に供給する。符号化部２１１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリーム（ASIストリーム）データを出力する。
【０１１３】
図１０は、符号化部２１１の構成を示すブロック図である。なお、図１０においては、図６の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１４】
すなわち、符号化部２１１は、ヒストリー抽出部１７１が省略され、復号部１４１から供給されるパラメータを取得して制御部１８５に供給する、パラメータ入力部２２１が設けられているほかは、図６の符号化部１６１と、基本的に同様の構成を有するものである。
【０１１５】
制御部１８５は、パラメータ入力部２２１から、図７および図８を用いて説明したヒストリー情報と同様の情報を含むパラメータ情報の供給を受け、パラメータ情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。
【０１１６】
具体的には、制御部１８５は、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayと同様にして、パラメータ情報に記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldと同様にして、パラメータ情報に、それぞれ記載されている情報である。
【０１１７】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部１８５は、次に符号化する画像枠は、パラメータ情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプの情報（図８を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_typeと同様にして、パラメータ情報に記載されている情報）のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseと同様にして、パラメータ情報に記載されている情報を比較することにより判断される。
【０１１８】
画像並び替え部１７２は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部１８５から供給された制御信号を基に、パラメータ情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【０１１９】
画像枠が一致していると判断された場合、制御部１８５は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報と同様にして、パラメータ情報に記載されている情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueと同様にして、パラメータ情報に記載されている情報である。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatと同様にして、パラメータ情報に記載されている。
【０１２０】
動きベクトル検出部１７４は、制御部１８５から過去の符号化の動きベクトル情報の供給を受け、動きベクトルとして再利用する。
【０１２１】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部１８５は、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断し、一致していないと判断された場合、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。
【０１２２】
量子化値決定部１７７は、制御部１８５からから供給された制御信号を基に、過去の符号化に用いられた量子化値を量子化部１７６に供給して、量子化を実行させる。
【０１２３】
クロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、制御部１８５は、ストリームスイッチ１８６を制御して、復号部１４１に入力されたストリームデータを出力する。
【０１２４】
なお、図１０の符号化部２１１においては、パラメータ情報に含まれる前の符号化に関する情報を再利用するか否かにかかわる制御部１８５の処理以外の通常の符号化処理については、図６を用いて説明した符号化部１６１と同様の処理が実行されるので、その詳細な説明は省略する。
【０１２５】
すなわち、図６を用いて説明した符号化部１６１および図１０を用いて説明した符号化部２１１において、ヒストリー情報またはパラメータ情報を再利用しない場合、通常のエンコードが行われ、ピクチャタイプを再利用する場合、ヒストリー情報に含まれるSMPTE329Mのpicture_coding_type、または、パラメータ情報に含まれる同様の情報が再利用され、更に動きベクトルを再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0からq_scale_codeを除いた情報、または、パラメータ情報に含まれる同様の情報が再利用され、更に量子化値を再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0、または、パラメータ情報に含まれる同様の情報が再利用され、エンコーダへの入力ストリームが出力される場合、ストリームスイッチ１８６が制御されて、前段の復号部へ入力されたストリームデータが出力される。
【０１２６】
次に、図１１のフローチャートを参照して、図６の符号化部１６１および図１０の符号化部２１１が実行する処理について説明する。
【０１２７】
ステップＳ１において、制御部１８５は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。
【０１２８】
ステップＳ１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ２において、制御部１８５は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２１１の各部を制御して、符号化を実行させ、処理が終了される。
【０１２９】
ステップＳ１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ３において、制御部１８５は、供給されたヒストリー情報に含まれる、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phase、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否かを判断する。
【０１３０】
ステップＳ３において、以前の符号化が実行された画像枠と再符号化時の画像枠とで、位置または大きさのうちの少なくともひとつが一致していないと判断された場合、ステップＳ４において、制御部１８５は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３１】
ステップＳ３において、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致したと判断された場合、ステップＳ５において、制御部１８５は、ヒストリー情報に含まれているSMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_value、および、sequence_header（）関数のchroma_format、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照し、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断する。
【０１３２】
ステップＳ５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも大きいか、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより小さいと判断された場合、ステップＳ６において、制御部１８５は、ピクチャタイプ、および、動きベクトルの情報（motion_vectors情報）を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部１７４に過去の符号化における動きベクトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３３】
ステップＳ５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、ステップＳ７において、制御部１８５は、復号部からパラメータが供給され（すなわち、ヒストリー情報が用いられて再利用符号化が行われるのではなく、パラメータ情報が用いられて再利用符号化が行われており）、かつ、供給されたパラメータ情報に含まれているSMPTE 329Mのsequence_header（)関数のchroma_formatと同様の情報を参照して、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断する。すなわち、符号化部２１１を含むトランスコーダ２０１が、例えば、４:２:０フォーマットから、４:２:２フォーマットへのフォーマット変換を行う場合などにおいては、クロマフォーマットが一致しないと判断される。
【０１３４】
ステップＳ７において、復号部１４１からパラメータが供給されるのではなく、復号部１６１からヒストリー情報が供給されているか、または、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していないと判断された場合、ステップＳ８において、制御部１８５は、ピクチャタイプ、動きベクトル、および、量子化値の情報（q_scale）を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部１７４に過去の符号化における動きベクトル情報を供給して再利用させ、量子化値決定部１７７に、ヒストリー情報またはパラメータ情報に含まれていた量子化値を量子化部１７６に供給させて、量子化を実行させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３５】
ステップＳ７において、復号部１４１からパラメータが供給され、かつ、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、ステップＳ９において、制御部１８５は、ストリームスイッチ１８６を制御して、復号部１４１に入力されたストリームデータを出力し、処理が終了される。
【０１３６】
このような処理により、以前の符号化と今回の符号化とを比較して、満たされている条件に基づいて、再利用可能な符号化情報を選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。
【０１３７】
なお、図１１のフローチャートによる説明においては、ステップＳ１、ステップＳ３、ステップＳ５、または、ステップＳ７の処理において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かを、それぞれ、判断するものとして説明したが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。
【０１３８】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能である。
【０１３９】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０１４０】
更に、上述の実施の形態においては、本発明をMPEG方式によって圧縮符号化する符号化部１６１、または、符号化部２１１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１４１】
なお、上述の実施の形態においては、ストリームデータを変換するトランスコーダが、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０１４２】
すなわち、上述の実施の形態においては、それぞれのトランスコーダが、ストリームデータを変換するものとして説明したが、例えば、図１２に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１４３】
例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０１４４】
更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１４５】
更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。
【０１４６】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、トランスコーダ１５１や、トランスコーダ２０１は、図１３に示されるようなパーソナルコンピュータ３０１により構成される。
【０１４７】
図１３において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４８】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１４９】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５０】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１５１】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５２】
この記録媒体は、図１３に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１５３】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０１５４】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５５】
【発明の効果】
このように、本発明によれば、画像データを符号化することができる。特に、符号化に関する情報を取得して、符号化に関する条件と比較することにより、符号化に関する情報のうち、再利用可能な情報を選択することができる。
【図面の簡単な説明】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】 MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】 MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図６】図５の符号化部の構成を示すブロック図である。
【図７】 SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックスについて説明するための図である。
【図８】 extension_and_user_data（2)内のuser_data(2)に記載されている情報について説明するための図である。
【図９】本発明を適用した、MPEGのLong GOPのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１０】図９の符号化部の構成を示すブロック図である。
【図１１】本発明を適用した符号化部が実行する処理について説明するフローチャートである。
【図１２】本発明を適用可能な異なる装置の構成について説明するための図である。
【図１３】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１ 伝送路， ３ フレーム編集装置， １０１ トランスコーダ， １１１復号部， １１２ 符号化部， １２１ 復号部， １５１ トランスコーダ， １６１ 符号化部， １７１ ヒストリー抽出部， １７２ 画像並べ替え部， １７３ 演算部， １７４ 動きベクトル検出部， １７５ ＤＣＴ部，１７６ 量子化部， １７７ レート設定部， １７８ ＶＬＣ部， １７９逆量子化部， １８０ 逆ＤＣＴ部， １８１ 演算部， １８２ 動き補償部， １８３ フレームメモリ， １８４ バッファ， １８５ 制御部， １８６ ストリームスイッチ， ２０１ トランスコーダ， ２１１ 符号化部，２２１ パラメータ入力部
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Mbps）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるGOP(Group of Picture)を構成するフレーム数が多いLong GOPと、高ビットレート（１８乃至５０Mbps）で転送される、GOPを構成するフレーム数が少ないShort GOPとを、相互に変換する必要があった。
【０００５】
例えば、伝送路を介して送受信されるLong GOPのストリームデータを、Short GOPであるAll Intraのストリームデータに符号化しなおして、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
伝送路１には、伝送に適したLong GOPのストリームデータが伝送される。
【０００７】
トランスコーダ２は、伝送路１を介して供給された、MPEGのLong GOPのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（All Intra）となるように符号化し、符号化されたAll Intraのストリームデータ（SDTI CP（Serial Data Transport Interface-Contents Package）ストリーム）を、SDTI CPインタフェースのフレーム編集装置３に出力する。
【０００８】
フレーム編集装置３にてフレーム編集されたストリームデータは、トランスコーダ４に供給される。トランスコーダ４は、供給されたAll Intraのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、MPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを、伝送路１を介して、所定のデータ伝送先に出力する。
【０００９】
また、入力画像を高ビットレートでMPEGのLong GOPに符号化し、それを復号して低ビットレートのMPEGのLong GOPに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１０】
トランスコーダ５１は、供給された、圧縮されていない入力画像を、復号部６１で一旦復号した後、符号化部６２において、高ビットレートのMPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを出力する。トランスコーダ５２は、供給された高ビットレートのMPEGのLong GOPを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを、伝送路１を介して、所定のデータ伝送先に出力する。
【００１１】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開２０００−０５９７８８号公報
【００１３】
例えば、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１４】
すなわち、トランスコーダ１０１は、伝送路１を介して、MPEGのLong GOPの供給を受ける。
【００１５】
MPEGのLong GOPはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがってこのビデオデータをMPEGのLong GOPで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１６】
このような再符号化による画質劣化を引き起こさないため、トランスコーダ１０１は、例えば、伝送路１を介して、他のトランスコーダによって過去に符号化されたストリームデータの供給を受けた場合、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、復号部１１１に供給された符号化ストリームの符号化のピクチャタイプや量子化値などのパラメータを、All Intraの符号化ストリーム上に、SMPTE（Society of Motion Picture and Television Engineers）328Mのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。
【００１７】
フレーム編集装置３にてフレーム編集されたストリームデータは、再び、トランスコーダ１０２に供給される。トランスコーダ１０２は、供給された、ヒストリー情報つきのAll Intraのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Long GOPに再符号化して出力する。
【００１８】
また、図２を用いて説明したように、非圧縮のデータを高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのMPEGのLongGOPに再符号化することが可能なシステムにおいて、再符号のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１９】
すなわち、トランスコーダ５１により符号化されたMPEGのLong GOPのストリームの供給を受けたトランスコーダ１３１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを出力する。
【００２０】
【発明が解決しようとする課題】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層、マクロブロック層のパラメータ）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、例えば、編集などによって、ビットレート、画像枠、クロマフォーマットなどが、前の符号化処理時とは異なるストリームが、置き換えられたり、挿入される場合がある。このような場合、パラメータをピクチャ層からマクロブロック層までの全ての符号化の情報を再利用して再符号化することはできない。
【００２１】
本発明はこのような状況に鑑みてなされたものであり、符号化する画像データの状態に応じて、再利用することができる情報を選択することができるようにするものである。
【００２２】
【課題を解決するための手段】
本発明の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、取得手段により取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化する処理を制御する制御手段とを備えることを特徴とする。
【００２４】
制御手段には、符号化に関する情報に含まれる過去の符号化における画像枠と、画像データに対して実行する符号化の画像枠との位置および大きさが一致している場合、符号化に関する情報に含まれる動きベクトルの情報を更に用いて、符号化する処理を制御させるようにすることができる。
【００２５】
制御手段には、符号化に関する情報に含まれる過去の符号化におけるビットレートが、画像データに対して実行する符号化のビットレートよりも小さく、かつ、符号化に関する情報に含まれる過去の符号化におけるクロマフォーマットが、画像データに対して実行する符号化のクロマフォーマットと比較して、等しい、または、大きい場合、符号化に関する情報に含まれる量子化値の情報を更に用いて、符号化する処理を制御させるようにすることができる。
【００２６】
画像データを復号した他の画像処理装置に供給された第１の符号化データ、および制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、第１の符号化データまたは第２の符号化データを出力する出力手段を更に備えさせるようにすることができ、制御手段には、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、画像処理装置が画像データに対して実行する符号化の条件と一致し、符号化に関する情報に含まれる過去の符号化におけるビットレートが、画像データに対して実行する符号化のビットレートよりも小さい場合、出力手段を更に制御して、第１の符号化データを出力させるようにすることができる。
制御手段には、MPEG規格に従って、画像データまたは中途画像データが、中途段階までまたは完全に符号化されるように制御させるようにすることができる。
画像データは、フレーム内符号化した符号化画像データを復号したデータであるものとすることができ、制御手段には、画像データまたは中途画像データが、中途段階までまたは完全にフレーム間符号化されるように制御させるようにすることができる。
【００２７】
本発明の画像処理方法は、画像データに対して過去に行われた符号化に関する情報を取得し、取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択し、選択されたピクチャタイプの情報を基に、符号化処理を制御することを特徴とする。
【００２８】
本発明の記録媒体に記録されているプログラムは、供給された符号化に関する情報と、画像データに対して実行する符号化に関する条件とを比較する比較ステップと、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップと、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００２９】
本発明のプログラムは、供給された符号化に関する情報と、画像データに対して実行する符号化に関する条件とを比較する比較ステップと、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップと、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００３０】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、過去の符号化に関する情報の供給を受け、過去の符号化に関する情報と、画像データに対して実行される符号化に関する条件とが比較され、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化処理が制御される。
【００３１】
本発明の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、取得手段により取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、符号化ストリームに対して実行する変換処理の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化ストリームを再符号化ストリームに変換する変換手段とを備えることを特徴とする。
本発明の画像処理方法、記録媒体に記録されているプログラム、またはプログラムは、画像データに対して過去に行われた符号化に関する情報を取得し、取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、符号化ストリームに対して実行する変換処理の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化ストリームを再符号化ストリームに変換するステップを含むことを特徴とする。
【００３２】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得され、取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、符号化ストリームに対して実行する変換処理の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報が用いられて、符号化ストリームが再符号化ストリームに変換される。
【００３３】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段および各ステップと以下の実施の形態との対応関係を明らかにするために、各手段および各ステップの後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但しもちろんこの記載は、各手段および各ステップを記載したものに限定することを意味するものではない。
【００３４】
請求項１に記載の、ベースバンドの画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していない復号処理が施された、中途段階まで符号化された画像データに対して、量子化および可変長符号化処理を行うが、DCT変換処理は行わない処理などを含む）を実行する画像処理装置（例えば、図６の符号化部１６１、図１０の符号化部２１１、または、図１２の符号化装置２５２）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）を取得する取得手段（例えば、図６のヒストリー抽出部１７１、または、図１０のパラメータ入力部２２１）と、取得手段により取得された符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化する処理を制御する制御手段（例えば、図６または図１０の制御部１８５）とを備えることを特徴とする。
【００３５】
請求項４に記載の画像処理装置は、画像データを復号した他の画像処理装置（例えば、図５の復号部１２１、図９の復号部１４１、または、図１２の復号装置２５１）に供給された第１の符号化データ、および制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、第１の符号化データまたは第２の符号化データを出力する出力手段（例えば、図６または図１０のストリームスイッチ１８６）を更に備え、制御手段は、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、画像処理装置が画像データに対して実行する符号化の条件と一致し、符号化に関する情報に含まれる過去の符号化におけるビットレートが、画像処理装置が画像データに対して実行する符号化のビットレートよりも小さい場合、出力手段を更に制御して、第１の符号化データを出力させることを特徴とする。
【００３６】
請求項７に記載の画像処理方法は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）を取得し、取得された符号化に関する情報と画像処理装置が画像データに対して実行する符号化に関する条件とを基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択し、選択されたピクチャタイプの情報を基に、符号化処理（例えば、図６または図１０の、画像並べ替え部１７２乃至バッファ１８４が実行する符号化処理）を制御することを特徴とする。
【００３７】
請求項８に記載の記録媒体に記録されているプログラムは、供給された符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）と、画像データに対して実行する符号化に関する条件とを比較する比較ステップ（例えば、図１１のステップＳ１，ステップＳ３，ステップＳ５，または、ステップＳ７の処理）と、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップ（例えば、図１１のステップＳ４の処理）と、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００３８】
請求項９に記載のプログラムは、供給された符号化に関する情報（例えば、ヒストリー情報またはパラメータ情報）と、画像データに対して実行する符号化に関する条件とを比較する比較ステップ（例えば、図１１のステップＳ１，ステップＳ３，ステップＳ５，または、ステップＳ７の処理）と、比較ステップの処理による比較結果を基に、符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、画像データに対して実行する符号化の条件と一致する場合、符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップ（例えば、図１１のステップＳ４の処理）と、選択されたピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップとを含むことを特徴とする。
【００４０】
以下、図を参照して、本発明の実施の形態について説明する。
【００４１】
本発明を適用した、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図５を用いて説明する。
【００４２】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、トランスコーダ１０２に代わって、トランスコーダ１５１が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、トランスコーダ１５１は、符号化部１２２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（ヒストリー情報）を選択することが可能な符号化部１６１が設けられ、符号化部１６１には、復号部１２１から出力される復号された信号のほかに、復号部１２１に入力されているストリームデータも入力されているほかは、トランスコーダ１０２と基本的に同様に構成されている。
【００４３】
トランスコーダ１０１は、伝送路１から、MPEGのLong GOPの供給を受ける。
【００４４】
MPEGのLongGOPは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。トランスコーダ１０１は、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがLongGOPで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、伝送路１を介して、トランスコーダ１０１に、MPEGのLong GOPストリームを送信した装置による符号化のパラメータ（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータ）を、All Intraのストリーム上に、SMPTE328Mのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。
【００４５】
フレーム編集装置３にてフレーム編集された、ヒストリー情報付のストリームデータは、トランスコーダ１５１に供給される。トランスコーダ１５１は、供給された、ヒストリー情報付のAll Intraのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータを、必要に応じて使用して、復号部１２１で復号された情報を、LongGOPに再符号化して出力する。
【００４６】
図６は、符号化部１６１の構成を示すブロック図である。
【００４７】
ヒストリー抽出部１７１は、復号部１２１により復号された、ヒストリー情報付のAll Intraストリームから、ヒストリー情報を抽出して、制御部１８５に供給するとともに、映像ストリームを映像並び替え部１７２に供給する。ヒストリー情報には、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。
【００４８】
制御部１８５は、ヒストリー抽出部１７１により抽出された、ヒストリー情報に含まれている、過去の符号化のパラメータを基に、画像並び替え部１７２、動きベクトル検出部１７４、または、量子化値決定部１７７を、必要に応じて制御する。
【００４９】
ヒストリー抽出部１７１により抽出されるヒストリー情報は、SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）の形式で記載されている。次に、図７を用いて、SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックスについて説明する。
【００５０】
SMPTE 329Mのcompressed_stream_format_of_MPEG_2_recoding_set（）は、next_start_code（）関数、sequence_header（）関数、sequence_extension（）関数、extension_and_user_data（0)関数、group_of_picture_header（）関数、extension_and_user_data（1)関数、picture_header（）関数、picture_coding_extension（）関数、extension_and_user_data（2)関数、およびpicture_data（）関数によって定義されたデータエレメントによって構成される。
【００５１】
next_start_code（）関数は、ビットストリーム中に存在するスタートコードを探すための関数である。sequence_header（）関数によって定義されるデータエレメントには、例えば、画像の水平方向の画素数の下位１２ビットから成るデータであるhorizontal_size_value、画像の縦のライン数の下位１２ビットからなるデータであるvertical_size_value、発生符号量制御用の仮想バッファ（VBV；ビデオバッファベリファイヤ）の大きさを決める値の下位１０ビットデータであるVBV_buffer_size_valueなどがある。sequence_extension（）関数によって定義されるデータエレメントには、例えば、ビデオデータが順次走査であることを示すデータであるprogressive_sequence、ビデオデータの色差フォーマットを指定するためのデータであるchroma_format、Ｂピクチャを含まないことを示すデータであるlow_delayなどがある。
【００５２】
extension_and_user_data（i)関数は、「i」が２以外のときは、extension_data（）関数によって定義されるデータエレメントは記述されずに、user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。よって、 extension_and_user_data（0)関数は、 user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。そして、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが記述されている場合にのみ、 group_of_picture_header（）関数によって定義されたデータエレメント、およびextension_and_user_data（1)関数によって定義されるデータエレメントが記述されている。
【００５３】
picture_headr（）関数によって定義されるデータエレメントには、例えば、ピクチャ層の開始同期コードを表すデータであるpicture_start_code、ピクチャの表示順を示す番号で、GOPの先頭でリセットされるデータであるtemporal_referenceなどがある。picture_coding_extension（）関数によって定義されるデータエレメントには、例えば、フレームストラクチャかフィールドストラクチャかを示すデータであり、フィールドストラクチャの場合は上位フィールドか下位フィールドかもあわせて示すデータであるpicture_structure、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータであるtop_field_first、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータであるq_scale_type、２：３プルダウンの際に使われるデータであるrepeat_firt_fieldなどがある。
【００５４】
re_coding_stream_info（）関数によって定義されるデータエレメントは、SMPTE327Mにおいて定義されている。extensions_and_user_data（2）については、図８を用いて後述する。picture_data（）関数によって定義されるデータエレメントは、slice（）関数によって定義されるデータエレメントである。slice（）関数によって、macroblock（）が定義され、macroblock（）には、motion_vectors情報が記載されている。
【００５５】
図７で説明した、compressed_stream_format_of_MPEG_2_recoding_set（）のextension_and_user_data（2)内のuser_data(2)に記載される情報について、図８を用いて説明する。
【００５６】
Stream_Information_Headerは、３２bitのデータであり、picture_layerのuser_dataでの識別用のHeader番号が記載されており、user_dataとしてこの情報を識別できる値が記載されている１６bitのStream_Information_Header、Strema_Information（）のbyte長を示す、８bitのLength、および、marker_bitsで構成されている。
【００５７】
Encoder_Serial_Numberは、エンコーダ（符号化部または符号化装置）に固有につけられる番号（シリアルナンバ）であり、１６bitの情報である。Encoder_IDは、エンコーダの機種を示すIDであり、１５bitの情報である。
【００５８】
続くEncoding_State_Time_Codeは、このストリームの生成が開始された時刻を示す情報であり、各byteデータのmsbを、marker_bit＝１とする、８byteの情報である。ここでは、８byte中の６byteが用いられて、ストリームの生成が開始された年（Time_Year)、月（Time_Month)、日（Time_Day)、時（Time_Hour)、分（Time_Minute)、および、秒（Time_Second）が記載されている。これらの値は、１ストリーム中で一定値となる。
【００５９】
Generation_Counter （GenC）は、符号化の世代数を示すカウンタ値であり、４ bitの情報である。符号化の世代数は、SDI（Serial Digital Interface）データからASI（Asynchronous Serial Interface）データにエンコードするときにカウントが開始され（第１世代とされ）、ASIデータからASIデータへの再エンコード時、またはSDTI CP（Serial Data Transport Interface-Contents Package）データからASIデータの再エンコード時に、カウンタ値がインクリメントされる。
【００６０】
SDTI CPとは、Pro-MPEGフォーラムの推進でSMPTE326Mとして標準化された、MPEGデータをリアルタイムに伝送（同期転送）する世界標準規格であり、全てイントラフレーム（All Intra）である場合の伝送方式である。SDIとは、Point to Pointの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ANSI/SMPTE259Mに規定されている。ASIとは、符号化されたMPEGのLong GOPのストリームデータの伝送方式である。
【００６１】
Continuity_Counterとは、フレームごとにインクリメントされるカウンタであり、最大値をすぎたら、再度、０からカウントが開始される。また、必要に応じて、フレーム数ではなく、フィールド数やピクチャ数をカウントするようにしても良い。
【００６２】
そして、これ以下に説明する情報は、デコーダ（復号部または復号装置）にて復号された時に生成されるパラメータから抽出されて挿入される情報であるので、挿入前の状態においては、領域が確保されているだけである。
【００６３】
picture_coding_typeは、MPEG2規格に準拠した、ピクチャのコーディングタイプを示す3 bitの情報で、例えば、このピクチャは、Ｉピクチャであるか、Ｂピクチャであるか、Ｐピクチャである過などが示される。temporal_referenceは、MPEG2 規格に準拠した、GOPの中の画像順を表す（ピクチャごとにカウントアップされる）１０bitの情報である。
【００６４】
reuse_levelとは、パラメータの再利用を規定するための７bitの情報である。error_flagは、各種エラーを通知するためのフラグである。
【００６５】
header_present_flag（Ａ）は、sequence header present flagと、GOP header present flagとの２bitのフラグ情報である。
【００６６】
extension_start_code_flagsは、SMPTEに規定されていない情報であり、各種の拡張IDが含まれているか否かを示す１６ｂｉｔのフラグ情報であり、０は拡張IDが含まれていないことを、１は拡張IDが含まれていることを示す。拡張IDには、例えば、sequence extension ID、 sequence display extension ID、quant matrix extension ID、copyright extension ID、sequence scalable extension ID、picture display extension ID、picture coding extension ID、picture spatial scalable extension ID、picture temporal scalable extension IDなどがある。
【００６７】
other_start_codes（図中other）は、ユーザデータのスタートコードがどのレイヤに含まれているか、または、シーケンスエラーコードおよびシーケンスエンドコードが含まれているか否かを示す５bitのフラグ情報である。
【００６８】
図中、Ｂと記載されているのは、reduced_bandwidth_flag（Ｂ）の１bitの情報であり、Cと記載されているのは、reduced_bandwidth_indicator（C）の２bitの情報である。num_of_picture_bytesは、ピクチャの発生量を示す２２bitの情報であり、レートコントロールなどに用いられる。
【００６９】
bit_rate_extensionは、１２bitの、ビットレートに関する拡張情報領域であり、bit_rate_valueは、１８bitの情報である。SMPTEに規定されているフォーマットにおいて、ビットレートの情報は、統計多重されることにより、しばしば、特定の値（例えば、“ｆｆ“）で記載されているため、この情報を、再符号化に用いることはできない。これに対して、bit_rate_extensionは、再符号化に用いるために、前の符号化における実際のビットレートの値が記載される領域である。
【００７０】
制御部１８５は、ヒストリー抽出部１７１から、図７および図８を用いて説明したヒストリー情報の供給を受け、ヒストリー情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。
【００７１】
具体的には、制御部１８５は、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayに記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldに、それぞれ記載されている情報である。
【００７２】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部１８５は、次に符号化する画像枠は、ヒストリー情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプ（図８を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_type）の情報のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_valueおよびvertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseを比較することにより判断される。
【００７３】
画像並び替え部１７２は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部１８５から供給された制御信号を基に、ヒストリー情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【００７４】
画像枠が一致していると判断された場合、制御部１８５は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueに記載されている。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatに記載されている。
【００７５】
動きベクトル検出部１７４は、制御部１８５から供給された制御信号を基に、過去の符号化における動きベクトル情報を、動きベクトルとして再利用する。
【００７６】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部１８５は、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。
【００７７】
量子化値決定部１７７は、制御部１８５からから供給された制御信号を基に、必要に応じて、再利用された量子化値を量子化部１７６に供給して、量子化を実行させる。
【００７８】
図６の説明に戻る。
【００７９】
映像並び替え部１７２は、制御部１８５の制御に基づいて、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。
【００８０】
動きベクトル検出部１７４は、マクロブロックデータの入力を受け、制御部１８５の制御に基づいて、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出したり、制御部１８５から供給された過去の符号化の動きベクトルを再利用して、動き補償部１８２に送出する。
【００８１】
演算部１７３は、映像並び替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【００８２】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【００８３】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）部１７５に送出する。ＤＣＴ部１７５は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１７６に送出する。
【００８４】
量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部１７８および逆量子化部１７９に送出する。ここで、量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【００８５】
逆量子化部１７９に送出された量子化ＤＣＴ係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８０に送出される。逆ＤＣＴ部１８０は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。
【００８６】
そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【００８７】
動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【００８８】
すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８９】
演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００９０】
また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００９１】
演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００９２】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、ストリームスイッチ１８６に出力する。
【００９３】
ストリームスイッチ１８６は、制御部１８５の制御に基づいて、バッファ１８４から供給された可変長符号化データを出力する。
【００９４】
量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、制御部１８５の制御に基づいて、蓄積状態を表す占有量情報、または、制御部１８５から供給される、過去の符号化のパラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定するようになされている。
【００９５】
量子化値決定部１７７は、上述したように、制御部１８５から過去の符号化パラメータに含まれる量子化値Ｑが供給され、過去の符号化の量子化値を再利用することができる場合、過去の符号化パラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定することができる。
【００９６】
また、量子化値決定部１７７は、ヒストリー情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９７】
すなわち、量子化値決定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部１７６に供給する。
【００９８】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（３）として表される。
【００９９】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt}・・・（１）
【０１００】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０１】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｉ）−（Ｔ×ｊ）／MBcnt・・・（２）
【０１０２】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt・・・（３）
【０１０３】
量子化値決定部１７７は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴpiおよびＴppをそれぞれ個別に設定する。
【０１０４】
したがって、発生符号量制御部９２は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋1）の量子化インデックスデータＱ（ｊ＋1）を算出し、これを量子化部７５に供給する。
【０１０５】
ｒ＝（２×ｂｒ）／ｐｒ ・・・（４）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（５）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１０６】
量子化部１７６は、量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１０７】
これにより、量子化部１７６は、１つ前のピクチャにおける実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１０８】
かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１０９】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１１０】
また、図４を用いて説明した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して、低ビットレートのLongGOPに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図９は、本発明を適用した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのLongGOPに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１１】
すなわち、図９のシステムは、トランスコーダ１３１に代わって、トランスコーダ２０１が備えられ、トランスコーダ２０１は、符号化部１４２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（パラメータ情報）を選択することが可能な符号化部２１１が設けられており、符号化部２１１には、復号部１４１から出力される復号された信号のほかに、復号部１４１に入力されているストリームデータも入力されているほかは、基本的に、トランスコーダ１３１と同様の構成を有する。
【０１１２】
トランスコーダ５１により符号化されたMPEGのLong GOPのストリーム（ASIストリーム）データの供給を受けたトランスコーダ２０１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２１１に供給する。符号化部２１１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリーム（ASIストリーム）データを出力する。
【０１１３】
図１０は、符号化部２１１の構成を示すブロック図である。なお、図１０においては、図６の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１４】
すなわち、符号化部２１１は、ヒストリー抽出部１７１が省略され、復号部１４１から供給されるパラメータを取得して制御部１８５に供給する、パラメータ入力部２２１が設けられているほかは、図６の符号化部１６１と、基本的に同様の構成を有するものである。
【０１１５】
制御部１８５は、パラメータ入力部２２１から、図７および図８を用いて説明したヒストリー情報と同様の情報を含むパラメータ情報の供給を受け、パラメータ情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。
【０１１６】
具体的には、制御部１８５は、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayと同様にして、パラメータ情報に記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldと同様にして、パラメータ情報に、それぞれ記載されている情報である。
【０１１７】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部１８５は、次に符号化する画像枠は、パラメータ情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプの情報（図８を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_typeと同様にして、パラメータ情報に記載されている情報）のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseと同様にして、パラメータ情報に記載されている情報を比較することにより判断される。
【０１１８】
画像並び替え部１７２は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部１８５から供給された制御信号を基に、パラメータ情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【０１１９】
画像枠が一致していると判断された場合、制御部１８５は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報と同様にして、パラメータ情報に記載されている情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueと同様にして、パラメータ情報に記載されている情報である。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatと同様にして、パラメータ情報に記載されている。
【０１２０】
動きベクトル検出部１７４は、制御部１８５から過去の符号化の動きベクトル情報の供給を受け、動きベクトルとして再利用する。
【０１２１】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部１８５は、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断し、一致していないと判断された場合、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。
【０１２２】
量子化値決定部１７７は、制御部１８５からから供給された制御信号を基に、過去の符号化に用いられた量子化値を量子化部１７６に供給して、量子化を実行させる。
【０１２３】
クロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、制御部１８５は、ストリームスイッチ１８６を制御して、復号部１４１に入力されたストリームデータを出力する。
【０１２４】
なお、図１０の符号化部２１１においては、パラメータ情報に含まれる前の符号化に関する情報を再利用するか否かにかかわる制御部１８５の処理以外の通常の符号化処理については、図６を用いて説明した符号化部１６１と同様の処理が実行されるので、その詳細な説明は省略する。
【０１２５】
すなわち、図６を用いて説明した符号化部１６１および図１０を用いて説明した符号化部２１１において、ヒストリー情報またはパラメータ情報を再利用しない場合、通常のエンコードが行われ、ピクチャタイプを再利用する場合、ヒストリー情報に含まれるSMPTE329Mのpicture_coding_type、または、パラメータ情報に含まれる同様の情報が再利用され、更に動きベクトルを再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0からq_scale_codeを除いた情報、または、パラメータ情報に含まれる同様の情報が再利用され、更に量子化値を再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0、または、パラメータ情報に含まれる同様の情報が再利用され、エンコーダへの入力ストリームが出力される場合、ストリームスイッチ１８６が制御されて、前段の復号部へ入力されたストリームデータが出力される。
【０１２６】
次に、図１１のフローチャートを参照して、図６の符号化部１６１および図１０の符号化部２１１が実行する処理について説明する。
【０１２７】
ステップＳ１において、制御部１８５は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。
【０１２８】
ステップＳ１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ２において、制御部１８５は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２１１の各部を制御して、符号化を実行させ、処理が終了される。
【０１２９】
ステップＳ１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ３において、制御部１８５は、供給されたヒストリー情報に含まれる、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phase、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否かを判断する。
【０１３０】
ステップＳ３において、以前の符号化が実行された画像枠と再符号化時の画像枠とで、位置または大きさのうちの少なくともひとつが一致していないと判断された場合、ステップＳ４において、制御部１８５は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３１】
ステップＳ３において、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致したと判断された場合、ステップＳ５において、制御部１８５は、ヒストリー情報に含まれているSMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_value、および、sequence_header（）関数のchroma_format、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照し、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断する。
【０１３２】
ステップＳ５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも大きいか、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより小さいと判断された場合、ステップＳ６において、制御部１８５は、ピクチャタイプ、および、動きベクトルの情報（motion_vectors情報）を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部１７４に過去の符号化における動きベクトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３３】
ステップＳ５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、ステップＳ７において、制御部１８５は、復号部からパラメータが供給され（すなわち、ヒストリー情報が用いられて再利用符号化が行われるのではなく、パラメータ情報が用いられて再利用符号化が行われており）、かつ、供給されたパラメータ情報に含まれているSMPTE 329Mのsequence_header（)関数のchroma_formatと同様の情報を参照して、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断する。すなわち、符号化部２１１を含むトランスコーダ２０１が、例えば、４:２:０フォーマットから、４:２:２フォーマットへのフォーマット変換を行う場合などにおいては、クロマフォーマットが一致しないと判断される。
【０１３４】
ステップＳ７において、復号部１４１からパラメータが供給されるのではなく、復号部１６１からヒストリー情報が供給されているか、または、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していないと判断された場合、ステップＳ８において、制御部１８５は、ピクチャタイプ、動きベクトル、および、量子化値の情報（q_scale）を再利用して符号化を行うものとし、画像並び替え部１７２を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部１７４に過去の符号化における動きベクトル情報を供給して再利用させ、量子化値決定部１７７に、ヒストリー情報またはパラメータ情報に含まれていた量子化値を量子化部１７６に供給させて、量子化を実行させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０１３５】
ステップＳ７において、復号部１４１からパラメータが供給され、かつ、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、ステップＳ９において、制御部１８５は、ストリームスイッチ１８６を制御して、復号部１４１に入力されたストリームデータを出力し、処理が終了される。
【０１３６】
このような処理により、以前の符号化と今回の符号化とを比較して、満たされている条件に基づいて、再利用可能な符号化情報を選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。
【０１３７】
なお、図１１のフローチャートによる説明においては、ステップＳ１、ステップＳ３、ステップＳ５、または、ステップＳ７の処理において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かを、それぞれ、判断するものとして説明したが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。
【０１３８】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能である。
【０１３９】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０１４０】
更に、上述の実施の形態においては、本発明をMPEG方式によって圧縮符号化する符号化部１６１、または、符号化部２１１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１４１】
なお、上述の実施の形態においては、ストリームデータを変換するトランスコーダが、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０１４２】
すなわち、上述の実施の形態においては、それぞれのトランスコーダが、ストリームデータを変換するものとして説明したが、例えば、図１２に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１４３】
例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０１４４】
更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１４５】
更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。
【０１４６】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、トランスコーダ１５１や、トランスコーダ２０１は、図１３に示されるようなパーソナルコンピュータ３０１により構成される。
【０１４７】
図１３において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４８】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１４９】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５０】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１５１】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５２】
この記録媒体は、図１３に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１５３】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０１５４】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５５】
【発明の効果】
このように、本発明によれば、画像データを符号化することができる。特に、符号化に関する情報を取得して、符号化に関する条件と比較することにより、符号化に関する情報のうち、再利用可能な情報を選択することができる。
【図面の簡単な説明】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】 MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】 MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図６】図５の符号化部の構成を示すブロック図である。
【図７】 SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックスについて説明するための図である。
【図８】 extension_and_user_data（2)内のuser_data(2)に記載されている情報について説明するための図である。
【図９】本発明を適用した、MPEGのLong GOPのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１０】図９の符号化部の構成を示すブロック図である。
【図１１】本発明を適用した符号化部が実行する処理について説明するフローチャートである。
【図１２】本発明を適用可能な異なる装置の構成について説明するための図である。
【図１３】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１ 伝送路， ３ フレーム編集装置， １０１ トランスコーダ， １１１復号部， １１２ 符号化部， １２１ 復号部， １５１ トランスコーダ， １６１ 符号化部， １７１ ヒストリー抽出部， １７２ 画像並べ替え部， １７３ 演算部， １７４ 動きベクトル検出部， １７５ ＤＣＴ部，１７６ 量子化部， １７７ レート設定部， １７８ ＶＬＣ部， １７９逆量子化部， １８０ 逆ＤＣＴ部， １８１ 演算部， １８２ 動き補償部， １８３ フレームメモリ， １８４ バッファ， １８５ 制御部， １８６ ストリームスイッチ， ２０１ トランスコーダ， ２１１ 符号化部，２２１ パラメータ入力部
Claims (13)
- 画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理を制御する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記取得手段により取得された前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記画像データに対して実行する符号化の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を用いて、符号化する処理を制御する制御手段と
を備えることを特徴とする画像処理装置。 - 前記制御手段は、前記符号化に関する情報に含まれる過去の符号化における画像枠と、前記画像データに対して実行する符号化の画像枠との位置および大きさが一致している場合、前記符号化に関する情報に含まれる動きベクトルの情報を更に用いて、符号化する処理を制御する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記制御手段は、前記符号化に関する情報に含まれる過去の符号化におけるビットレートが、前記画像データに対して実行する符号化のビットレートよりも小さく、かつ、前記符号化に関する情報に含まれる過去の符号化におけるクロマフォーマットが、前記画像データに対して実行する符号化のクロマフォーマットと比較して、等しい、または、大きい場合、前記符号化に関する情報に含まれる量子化値の情報を更に用いて、符号化する処理を制御する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記画像データを復号した他の画像処理装置に供給された第１の符号化データ、および前記制御手段により制御された符号化処理により生成された第２の符号化データの供給を受け、前記第１の符号化データまたは前記第２の符号化データを出力する出力手段を更に備え、
前記制御手段は、前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、並びに、クロマフォーマットが、前記画像データに対して実行する符号化の条件と一致し、前記符号化に関する情報に含まれる過去の符号化におけるビットレートが、前記画像処理装置が前記画像データに対して実行する符号化のビットレートよりも小さい場合、前記出力手段を更に制御して、前記第１の符号化データを出力させる
ことを特徴とする請求項１に記載の画像処理装置。 - 前記制御手段は、MPEG規格に従って、前記画像データまたは前記中途画像データを、中途段階までまたは完全に符号化する処理を制御する
請求項１に記載の画像処理装置。 - 前記画像データは、フレーム内符号化した符号化画像データを復号したデータであり、
前記制御手段は、前記画像データまたは前記中途画像データを、中途段階までまたは完全にフレーム間符号化する処理を制御する
請求項１に記載の画像処理装置。 - 画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理を実行する画像処理装置の画像処理方法において、
前記画像データに対して過去に行われた符号化に関する情報を取得し、
取得された前記符号化に関する情報と前記画像処理装置が前記画像データに対して実行する符号化に関する条件とを基に、前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記画像データに対して実行する符号化の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を選択し、
選択された前記ピクチャタイプの情報を基に、符号化処理を制御する
ことを特徴とする画像処理方法。 - 画像データに対して過去に行われた符号化に関する情報の供給を受けて、画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理をコンピュータに実行させるためのプログラムであって、
供給された前記符号化に関する情報と、前記画像データに対して実行する符号化に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記画像データに対して実行する符号化の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップと、
選択された前記ピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - 画像データに対して過去に行われた符号化に関する情報の供給を受けて、画像データまたは中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する処理をコンピュータに実行させるためのプログラムであって、
供給された前記符号化に関する情報と、前記画像データに対して実行する符号化に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記画像データに対して実行する符号化の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を選択する選択ステップと、
選択された前記ピクチャタイプの情報を基に、符号化処理を制御する符号化処理制御ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。 - 画像データを符号化した符号化ストリームを再符号化ストリームに変換する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
前記取得手段により取得された前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記符号化ストリームに対して実行する変換処理の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を用いて、前記符号化ストリームを再符号化ストリームに変換する変換手段と
を備えることを特徴とする画像処理装置。 - 画像データを符号化した符号化ストリームを再符号化ストリームに変換する処理を実行する画像処理装置の画像処理方法において、
前記画像データに対して過去に行われた符号化に関する情報を取得し、
取得された前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記符号化ストリームに対して実行する変換処理の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を用いて、前記符号化ストリームを再符号化ストリームに変換する
ことを特徴とする画像処理方法。 - 画像データを符号化した符号化ストリームを再符号化ストリームに変換する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得ステップと、
取得された前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記符号化ストリームに対して実行する変換処理の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を用いて、前記符号化ストリームを再符号化ストリームに変換する変換ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - 画像データを符号化した符号化ストリームを再符号化ストリームに変換する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得ステップと、
取得された前記符号化に関する情報に含まれる過去の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、前記符号化ストリームに対して実行する変換処理の条件と一致する場合、前記符号化に関する情報に含まれるピクチャタイプの情報を用いて、前記符号化ストリームを再符号化ストリームに変換する変換ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003135350A JP4196726B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| EP20040733125 EP1624703B1 (en) | 2003-05-14 | 2004-05-14 | Image processing device, image processing method, information processing device, information processing method, information recording device, information recording method, information reproduction device, information reproduction method and program |
| PCT/JP2004/006857 WO2004102972A1 (ja) | 2003-05-14 | 2004-05-14 | 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム |
| CNB2004800128584A CN100521791C (zh) | 2003-05-14 | 2004-05-14 | 图像处理设备和图像处理方法 |
| US10/556,416 US7606124B2 (en) | 2003-05-14 | 2004-05-14 | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
| KR20057021532A KR100968988B1 (ko) | 2003-05-14 | 2004-05-14 | 화상 처리 장치 및 화상 처리 방법, 및 기록 매체 |
| US12/423,859 US7859956B2 (en) | 2003-05-14 | 2009-04-15 | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
| US12/952,529 US20110064321A1 (en) | 2003-05-14 | 2010-11-23 | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003135350A JP4196726B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004343280A JP2004343280A (ja) | 2004-12-02 |
| JP4196726B2 true JP4196726B2 (ja) | 2008-12-17 |
Family
ID=33447179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003135350A Expired - Fee Related JP4196726B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US7606124B2 (ja) |
| EP (1) | EP1624703B1 (ja) |
| JP (1) | JP4196726B2 (ja) |
| KR (1) | KR100968988B1 (ja) |
| CN (1) | CN100521791C (ja) |
| WO (1) | WO2004102972A1 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1069779B1 (en) * | 1999-02-09 | 2016-04-13 | Sony Corporation | Coding system and its method |
| JP2006311508A (ja) * | 2005-03-29 | 2006-11-09 | Toshiba Corp | データ伝送システムとその送信側装置及び受信側装置 |
| JP4795223B2 (ja) * | 2006-01-31 | 2011-10-19 | キヤノン株式会社 | 画像処理装置 |
| JP4624321B2 (ja) * | 2006-08-04 | 2011-02-02 | 株式会社メガチップス | トランスコーダおよび符号化画像変換方法 |
| US8457958B2 (en) | 2007-11-09 | 2013-06-04 | Microsoft Corporation | Audio transcoder using encoder-generated side information to transcode to target bit-rate |
| US8213502B2 (en) * | 2007-12-31 | 2012-07-03 | Ceva D.S.P. Ltd. | Method and system for real-time adaptive quantization control |
| JP2009200713A (ja) * | 2008-02-20 | 2009-09-03 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
| US8396114B2 (en) * | 2009-01-29 | 2013-03-12 | Microsoft Corporation | Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming |
| US8311115B2 (en) * | 2009-01-29 | 2012-11-13 | Microsoft Corporation | Video encoding using previously calculated motion information |
| US8311092B2 (en) * | 2009-02-06 | 2012-11-13 | Broadcom Corporation | Network packet aware data encoding |
| US8270473B2 (en) * | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
| US8705616B2 (en) | 2010-06-11 | 2014-04-22 | Microsoft Corporation | Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures |
| JP2012199877A (ja) * | 2011-03-23 | 2012-10-18 | Sony Corp | 画像処理装置、画像処理方法、並びにプログラム |
| KR101928910B1 (ko) | 2011-08-30 | 2018-12-14 | 쏘닉 아이피, 아이엔씨. | 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들 |
| US9591318B2 (en) | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
| US11089343B2 (en) | 2012-01-11 | 2021-08-10 | Microsoft Technology Licensing, Llc | Capability advertisement, configuration and control for video coding and decoding |
| US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
| WO2014097816A1 (ja) * | 2012-12-18 | 2014-06-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| US9350990B2 (en) | 2013-02-28 | 2016-05-24 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
| WO2014190308A1 (en) * | 2013-05-24 | 2014-11-27 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
| EP3041233A1 (en) * | 2014-12-31 | 2016-07-06 | Thomson Licensing | High frame rate-low frame rate transmission technique |
| US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
| CN107770527B (zh) * | 2016-08-21 | 2021-12-14 | 上海天荷电子信息有限公司 | 使用邻近编码参数和最近编码参数的数据压缩方法和装置 |
Family Cites Families (76)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3649776A (en) * | 1969-07-22 | 1972-03-14 | William D Burton | Omnidirectional horn loudspeaker |
| FR2443769A2 (fr) | 1978-12-08 | 1980-07-04 | Telediffusion Fse | Compression et expansion (quantification) de signaux numeriques de television a codage differentiel |
| DE3613343A1 (de) | 1986-04-19 | 1987-10-22 | Philips Patentverwaltung | Hybrid-codierer |
| US4825448A (en) | 1986-08-07 | 1989-04-25 | International Mobile Machines Corporation | Subscriber unit for wireless digital telephone system |
| US5187755A (en) | 1988-06-30 | 1993-02-16 | Dainippon Screen Mfg. Co., Ltd. | Method of and apparatus for compressing image data |
| EP0441980B1 (en) | 1989-09-04 | 1997-04-09 | Fujitsu Limited | Time-division multiplex data relay exchange system |
| EP0492528B1 (en) | 1990-12-27 | 1996-10-09 | Kabushiki Kaisha Toshiba | Recording/reproducing apparatus |
| US5260783A (en) | 1991-02-21 | 1993-11-09 | Gte Laboratories Incorporated | Layered DCT video coder for packet switched ATM networks |
| US5148272A (en) | 1991-02-27 | 1992-09-15 | Rca Thomson Licensing Corporation | Apparatus for recombining prioritized video data |
| US5212549A (en) | 1991-04-29 | 1993-05-18 | Rca Thomson Licensing Corporation | Error concealment apparatus for a compressed video signal processing system |
| US5327520A (en) | 1992-06-04 | 1994-07-05 | At&T Bell Laboratories | Method of use of voice message coder/decoder |
| JP3196906B2 (ja) | 1992-08-21 | 2001-08-06 | 富士ゼロックス株式会社 | 画像信号の符号化装置 |
| JP3358835B2 (ja) | 1992-12-14 | 2002-12-24 | ソニー株式会社 | 画像符号化方法及び装置 |
| JP3163830B2 (ja) | 1993-03-29 | 2001-05-08 | ソニー株式会社 | 画像信号伝送方法及び装置 |
| TW301098B (ja) | 1993-03-31 | 1997-03-21 | Sony Co Ltd | |
| JPH0795584A (ja) | 1993-07-30 | 1995-04-07 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
| NL9301358A (nl) | 1993-08-04 | 1995-03-01 | Nederland Ptt | Transcodeerinrichting. |
| JP3081425B2 (ja) | 1993-09-29 | 2000-08-28 | シャープ株式会社 | 映像符号化装置 |
| US5452006A (en) | 1993-10-25 | 1995-09-19 | Lsi Logic Corporation | Two-part synchronization scheme for digital video decoders |
| KR970003789B1 (ko) | 1993-11-09 | 1997-03-21 | 한국전기통신공사 | 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법 |
| US5537440A (en) | 1994-01-07 | 1996-07-16 | Motorola, Inc. | Efficient transcoding device and method |
| US5563593A (en) | 1994-03-18 | 1996-10-08 | Lucent Technologies Inc. | Video coding with optimized low complexity variable length codes |
| US5500678A (en) | 1994-03-18 | 1996-03-19 | At&T Corp. | Optimized scanning of transform coefficients in video coding |
| US5754235A (en) | 1994-03-25 | 1998-05-19 | Sanyo Electric Co., Ltd. | Bit-rate conversion circuit for a compressed motion video bitstream |
| US5715009A (en) | 1994-03-29 | 1998-02-03 | Sony Corporation | Picture signal transmitting method and apparatus |
| US5541852A (en) | 1994-04-14 | 1996-07-30 | Motorola, Inc. | Device, method and system for variable bit-rate packet video communications |
| US5534937A (en) | 1994-04-14 | 1996-07-09 | Motorola, Inc. | Minimum-delay jitter smoothing device and method for packet video communications |
| JPH07288804A (ja) | 1994-04-18 | 1995-10-31 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像信号の再符号化装置 |
| US5940130A (en) | 1994-04-21 | 1999-08-17 | British Telecommunications Public Limited Company | Video transcoder with by-pass transfer of extracted motion compensation data |
| US5561737A (en) * | 1994-05-09 | 1996-10-01 | Lucent Technologies Inc. | Voice actuated switching system |
| DE4416967A1 (de) | 1994-05-13 | 1995-11-16 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten |
| JPH10503895A (ja) | 1994-06-17 | 1998-04-07 | スネル アンド ウィルコックス リミテッド | 映像圧縮 |
| GB9413001D0 (en) | 1994-06-28 | 1994-08-17 | Ntl | Methods for the synchronisation of successive digital video compression/decompression systems |
| EP0690392B1 (en) | 1994-06-30 | 2001-09-26 | Koninklijke Philips Electronics N.V. | Method and device for transcoding a sequence of coded digital signals |
| JP3629728B2 (ja) | 1994-08-31 | 2005-03-16 | ソニー株式会社 | 動画像信号符号化方法、動画像信号符号化装置及び動画像信号記録媒体 |
| JP3623989B2 (ja) * | 1994-09-22 | 2005-02-23 | キヤノン株式会社 | 画像変換方法及び装置 |
| JP3293369B2 (ja) | 1994-10-12 | 2002-06-17 | ケイディーディーアイ株式会社 | 画像情報の再符号化方法及び装置 |
| JP3058028B2 (ja) | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
| US5889561A (en) | 1994-11-04 | 1999-03-30 | Rca Thomson Licensing Corporation | Method and apparatus for scaling a compressed video bitstream |
| GB9501736D0 (en) | 1995-01-30 | 1995-03-22 | Snell & Wilcox Ltd | Video signal processing |
| AU703049B2 (en) | 1995-02-15 | 1999-03-11 | Koninklijke Philips Electronics N.V. | Method and device for transcoding video signals |
| US5774206A (en) | 1995-05-10 | 1998-06-30 | Cagent Technologies, Inc. | Process for controlling an MPEG decoder |
| GB2301970B (en) | 1995-06-06 | 2000-03-01 | Sony Uk Ltd | Motion compensated video processing |
| CA2260961C (en) | 1996-07-15 | 2009-04-28 | Snell & Wilcox Limited | Video signal compression process augmented with information signal |
| US6856650B1 (en) | 1996-07-16 | 2005-02-15 | Kokusai Denshin Denwa Co., Ltd. | Method and apparatus for second or later generation coding of video signal |
| JP3956323B2 (ja) | 1996-07-16 | 2007-08-08 | Ｋｄｄｉ株式会社 | 画像情報の再符号化方法及び装置 |
| JPH1032830A (ja) | 1996-07-16 | 1998-02-03 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像情報の再符号化方法及び装置 |
| JPH1051766A (ja) | 1996-08-05 | 1998-02-20 | Mitsubishi Electric Corp | 画像符号化データ変換装置 |
| JP3623056B2 (ja) | 1996-09-10 | 2005-02-23 | ソニー株式会社 | 動画像圧縮装置 |
| GB2318472B (en) | 1996-10-09 | 2000-11-15 | Sony Uk Ltd | Processing encoded signals |
| GB2318246B (en) | 1996-10-09 | 2000-11-15 | Sony Uk Ltd | Processing digitally encoded signals |
| KR100599017B1 (ko) | 1996-12-12 | 2006-12-13 | 소니 가부시끼 가이샤 | 영상 데이터 압축 장치 및 그 방법 |
| US5870146A (en) | 1997-01-21 | 1999-02-09 | Multilink, Incorporated | Device and method for digital video transcoding |
| AU7566898A (en) | 1997-05-09 | 1998-11-27 | Neomedia Technologies, Inc. | Method for embedding links to a networked resource in a transmission medium |
| US5907374A (en) | 1997-06-30 | 1999-05-25 | Hewlett-Packard Company | Method and apparatus for processing a compressed input bitstream representing an information signal |
| US6100940A (en) | 1998-01-21 | 2000-08-08 | Sarnoff Corporation | Apparatus and method for using side information to improve a coding system |
| GB2333656B (en) | 1998-01-22 | 2002-08-14 | British Broadcasting Corp | Compressed signals |
| US6574274B2 (en) | 1998-02-27 | 2003-06-03 | Sony Corporation | Picture signal processing system, decoder, picture signal processing method, and decoding method |
| CA2265089C (en) | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| JP3724204B2 (ja) | 1998-03-10 | 2005-12-07 | ソニー株式会社 | 符号化装置および方法、並びに記録媒体 |
| CN1175671C (zh) | 1998-04-30 | 2004-11-10 | 皇家菲利浦电子有限公司 | 对数据流进行代码转换的代码转换器和方法 |
| US6167084A (en) | 1998-08-27 | 2000-12-26 | Motorola, Inc. | Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals |
| JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
| EP1069779B1 (en) | 1999-02-09 | 2016-04-13 | Sony Corporation | Coding system and its method |
| JP4295861B2 (ja) * | 1999-05-31 | 2009-07-15 | 株式会社東芝 | トランスコーダ装置 |
| KR100357093B1 (ko) | 1999-06-02 | 2002-10-18 | 엘지전자 주식회사 | 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법 |
| GB9920929D0 (en) | 1999-09-03 | 1999-11-10 | Sony Uk Ltd | Video signal processor |
| JP3694888B2 (ja) | 1999-12-03 | 2005-09-14 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 |
| US6369722B1 (en) | 2000-03-17 | 2002-04-09 | Matra Nortel Communications | Coding, decoding and transcoding methods |
| FR2809573B1 (fr) | 2000-05-26 | 2002-08-16 | Thomson Broadcast Systems | Procede de codage d'un flux d'images video |
| US20020016755A1 (en) * | 2000-07-17 | 2002-02-07 | Pearce Kenneth F. | Method of establishing a commercial relationship between a service provider and a potential customer of the service, including a reasoning criterion, and method of face-to-face advertising in a public place |
| JP3632591B2 (ja) | 2000-11-13 | 2005-03-23 | 日本電気株式会社 | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 |
| US8782254B2 (en) * | 2001-06-28 | 2014-07-15 | Oracle America, Inc. | Differentiated quality of service context assignment and propagation |
| CN1320809C (zh) * | 2001-08-29 | 2007-06-06 | 佳能株式会社 | 图像处理装置与方法 |
| US20030059061A1 (en) * | 2001-09-14 | 2003-03-27 | Sony Corporation | Audio input unit, audio input method and audio input and output unit |
| JP2005304065A (ja) | 2005-05-16 | 2005-10-27 | Sony Corp | 復号装置および復号方法、符号化装置および符号化方法、情報処理装置および情報処理方法、並びに、記録媒体 |
-
2003
- 2003-05-14 JP JP2003135350A patent/JP4196726B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-14 EP EP20040733125 patent/EP1624703B1/en not_active Expired - Fee Related
- 2004-05-14 KR KR20057021532A patent/KR100968988B1/ko not_active IP Right Cessation
- 2004-05-14 US US10/556,416 patent/US7606124B2/en not_active Expired - Fee Related
- 2004-05-14 WO PCT/JP2004/006857 patent/WO2004102972A1/ja active Application Filing
- 2004-05-14 CN CNB2004800128584A patent/CN100521791C/zh not_active Expired - Fee Related
-
2009
- 2009-04-15 US US12/423,859 patent/US7859956B2/en not_active Expired - Fee Related
-
2010
- 2010-11-23 US US12/952,529 patent/US20110064321A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US7859956B2 (en) | 2010-12-28 |
| WO2004102972A1 (ja) | 2004-11-25 |
| EP1624703A4 (en) | 2009-06-24 |
| CN1788496A (zh) | 2006-06-14 |
| EP1624703A1 (en) | 2006-02-08 |
| US20110064321A1 (en) | 2011-03-17 |
| US7606124B2 (en) | 2009-10-20 |
| KR20060004693A (ko) | 2006-01-12 |
| KR100968988B1 (ko) | 2010-07-09 |
| EP1624703B1 (en) | 2011-11-30 |
| US20090202162A1 (en) | 2009-08-13 |
| US20070053444A1 (en) | 2007-03-08 |
| JP2004343280A (ja) | 2004-12-02 |
| CN100521791C (zh) | 2009-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4196726B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP5223769B2 (ja) | 復号装置および方法、プログラム、並びに記録媒体 | |
| JP3672185B2 (ja) | コーディングシステム及びこれを用いた装置並びに記録媒体 | |
| WO1998026602A1 (en) | Equipment and method for compressing picture data | |
| EP2077670A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| JP4232588B2 (ja) | 画像処理装置および画像処理方法、並びに、プログラム | |
| JP4224778B2 (ja) | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム | |
| JP4114210B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP4120934B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP4826533B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 | |
| JP2000312362A (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| JP4032446B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4875285B2 (ja) | 編集装置および方法 | |
| US20050084008A1 (en) | Image processing apparatus and method, information processing apparatus and method, program, recording medium, and information processing system | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP3915121B2 (ja) | 画像処理装置および画像処理方法、情報処理装置および情報処理方法、プログラム、並びに、記録媒体 | |
| JP4496499B2 (ja) | ストリーム変換装置およびストリーム変換方法、プログラム、並びに記録媒体 | |
| JPH11234675A (ja) | 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体 | |
| JP2005094550A (ja) | 画像処理装置および画像処理方法、情報処理装置および情報処理方法、プログラム、並びに、情報処理システム | |
| JP2003250159A (ja) | 動画像処理方法及び動画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080909 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080922 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |