JP4826533B2 - 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関する。

例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。

画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。

また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Mbps）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるGOP(Group of Picture)を構成するフレーム数が多いLong GOPと、高ビットレート（１８乃至５０Mbps）で転送される、GOPを構成するフレーム数が少ないShort GOPとを、相互に変換する必要があった。

例えば、伝送路を介して送受信されるLong GOPのストリームデータを、Short GOPであるAll Intraのストリームデータに符号化しなおして、フレーム編集することが可能なシステムについて、図１を用いて説明する。

伝送路１には、伝送に適したLong GOPのストリームデータが伝送される。

トランスコーダ２は、伝送路１を介して供給された、MPEGのLong GOPのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（All Intra）となるように符号化し、符号化されたAll Intraのストリームデータ（SDTI CP（Serial Data Transport Interface Contents Package）ストリーム）を、SDTI CPインタフェースのフレーム編集装置３に出力する。

フレーム編集装置３にてフレーム編集されたストリームデータは、トランスコーダ４に供給される。トランスコーダ４は、供給されたAll Intraのストリームデータを、復号部２３で一旦復号した後、符号化部２４において、MPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを、伝送路１を介して、所定のデータ伝送先に出力する。

このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。

特開２０００−０５９７８８号公報

例えば、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図２および図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

まず、図２を用いて、ヒストリー情報を用いる場合について説明する。

すなわち、トランスコーダ３１は、伝送路１を介して、MPEGのLong GOPの供給を受ける。

MPEGのLong GOPはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがってこのビデオデータをMPEGのLong GOPで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。

このような再符号化による画質劣化を引き起こさないため、トランスコーダ３１は、例えば、伝送路１を介して、他のトランスコーダによって過去に符号化されたストリームデータの供給を受けた場合、供給されたMPEGのLong GOPのストリームデータを、復号部４１で一旦復号した後、符号化部４２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、復号部４１に供給された符号化ストリームの符号化のピクチャタイプや量子化値などのパラメータを、All Intraの符号化ストリーム上に、SMPTE（Society of Motion Picture and Television Engineers）328Mのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。

フレーム編集装置３にてフレーム編集されたストリームデータは、再び、トランスコーダ３２に供給される。トランスコーダ３２は、供給された、ヒストリー情報つきのAll Intraのストリームデータを、復号部４３で復号する。符号化部４４は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Long GOPに再符号化して、伝送路１に出力する。

次に、図３を用いて、パラメータ情報を用いる場合について説明する。

トランスコーダ５１は、伝送路１を介して、MPEGのLong GOPの供給を受ける。

MPEGのLong GOPのストリームデータの供給を受けた復号部６１は、復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部６２に供給する。符号化部６２は、供給された符号化パラメータを用いて、ビデオデータを、All Intraの符号化ストリームに変換して、フレーム編集装置３に供給する。

フレーム編集装置３にてフレーム編集されたストリームデータは、再び、トランスコーダ５２に供給される。トランスコーダ５２は、供給されたストリームデータを、復号部６３で復号する。復号部６３は、復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部６４に供給する。符号化部６４は、供給された符号化パラメータを用いて、ビデオデータを、Long GOPの符号化ストリームに変換して、伝送路１に出力する。

上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層、マクロブロック層のパラメータ）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、例えば、編集などによって、ビットレート、画像枠、クロマフォーマットなどが、前の符号化処理時とは異なるストリームが、置き換えられたり、挿入される場合がある。このような場合、全ての画像データに対して、ヒストリーまたはパラメータ情報を用いて以前の符号化に関する情報を再利用して符号化を行うことはできない。

本発明はこのような状況に鑑みてなされたものであり、符号化する画像データの状態に応じて、過去の符号化に関する情報を再利用することができるか否かを判断することができるようにするものである。

本発明の一側面の画像処理装置は、完全にまたは中途段階まで符号化された符号化画像データを復号する画像処理装置であって、前記符号化画像データが生成される際の符号化、または、前記符号化画像データに対して過去に行われた符号化に関する情報を、前記符号化画像データとともに取得する取得手段と、前記取得手段により取得された前記符号化画像データを中途段階までまたは完全に復号して、画像データまたは中途画像データを生成する復号手段と、前記取得手段により取得された前記符号化に関する情報に示された復号時の発生符号量が所定の値以下である場合に、前記取得手段により取得された前記符号化に関する情報を利用して、前記復号手段により生成された前記画像データまたは前記中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送する伝送手段とを備える。

前記伝送手段には、前記取得手段により取得された前記符号化に関する情報に含まれる過去の符号化におけるマクロブロックの位相が、前記画像データまたは前記中途画像データに対して実行する符号化のマクロブロックの位相と一致する場合に、前記取得手段により取得された前記符号化に関する情報を利用して、前記復号手段により生成された画像データまたは中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送させるようにすることができる。

前記伝送手段には、前記取得手段により取得された前記符号化に関する情報に含まれる過去の符号化におけるピクチャタイプを示す情報がIピクチャである場合に、前記取得手段により取得された前記符号化に関する情報を利用して、前記復号手段により生成された画像データまたは中途画像データを中途段階までまたは完全に符号化処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送させるようにすることができる。

前記所定の値は、１≦α＜２であるときの目標符号量×αであるものとすることができる。

前記伝送手段には、前記取得手段により取得された前記符号化に関する情報に示された過去の符号化における画像枠と、前記画像データまたは前記中途画像データに対する符号化における画像枠との位置および大きさが一致している場合に、前記取得手段により取得された前記符号化画像データを前記画像データまたは前記中途画像データに対する符号化の結果として出力する処理を実行する他の画像処理装置に対して、前記符号化画像データおよび前記符号化に関する情報を伝送させるようにすることができる。

前記符号化画像データは、MPEG規格に従って符号化されたデータであるものとすることができる。

前記符号化画像データは、フレーム間符号化されたデータであるものとすることができる。

前記符号化画像データは、フレーム内符号化されたデータであるものとすることができる。

本発明の一側面の画像処理方法は、完全にまたは中途段階まで符号化された符号化画像データを復号する画像処理装置の画像処理方法であって、前記符号化画像データが生成される際の符号化、または、前記符号化画像データに対して過去に行われた符号化に関する情報を、前記符号化画像データとともに取得し、取得された前記符号化画像データを中途段階までまたは完全に復号して、画像データまたは中途画像データを生成し、取得された前記符号化に関する情報に示された復号時の発生符号量が所定の値以下である場合に、取得された前記符号化に関する情報を利用して、復号して生成された前記画像データまたは前記中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送するステップを含む。

本発明の一側面のプログラムは、完全にまたは中途段階まで符号化された符号化画像データを復号する処理をコンピュータに実行させるためのプログラムであって、前記符号化画像データが生成される際の符号化、または、前記符号化画像データに対して過去に行われた符号化に関する情報の取得、および、前記符号化画像データの取得を制御し、取得が制御された前記符号化画像データを中途段階までまたは完全に復号して、画像データまたは中途画像データを生成し、取得が制御された前記符号化に関する情報に示された復号時の発生符号量が所定の値以下である場合に、取得された前記符号化に関する情報を利用して、復号して生成された前記画像データまたは前記中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報の伝送を制御するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、符号化画像データが生成される際の符号化、または、符号化画像データに対して過去に行われた符号化に関する情報が取得され、符号化画像データが取得され、取得された符号化画像データが中途段階までまたは完全に復号されて、画像データまたは中途画像データが生成され、取得が制御された前記符号化に関する情報に示された復号時の発生符号量が所定の値以下である場合に、取得された符号化に関する情報を利用して、復号して生成された画像データまたは中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、符号化に関する情報が伝送される。

以上のように、本発明の一側面によれば、復号処理を実行することができ、特に、復号されて生成された画像データまたは中途画像データを符号化するとき、過去に行われた符号化に関する情報を利用することができるように、過去に行われた符号化に関する情報を伝送することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図４に、本発明を適用した放送データの授受システムを示す。

例えば、中継基地１０１において、テレビカメラ１２１により撮影された画像データは、MPEG All Intraの圧縮方式で符号化されたSDTI CP（Serial Data Transport Interface Contents Package）信号として、または、非圧縮のSDI（Serial Digital Interface）方式の信号として、トランスコーダ１２２に出力される。SDTI CPとは、Pro−MPEGフォーラムの推進でSMPTE326Mとして標準化された、MPEGデータをリアルタイムに伝送（同期転送）する伝送方式の世界標準規格である。また、SDIとは、Point to Pointの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ANSI（American National Standards Institute）／SMPTE（Society of Motion Picture and Television Engineers）259Mに規定されている。

トランスコーダ１２２は、All IntraのSDTI CP（Serial Data Transport Interface Contents Package）信号、または、非圧縮のSDI信号の供給を受け、伝送路１の帯域を節約するために、圧縮効率の良いLong GOPのフレーム間圧縮を施して、伝送路１を介して、放送局１０２−１、放送局１０２-２、または、アーカイブシステム１０３に伝送する。

放送局１０２−１のトランスコーダ１３１−１は、MPEG Long GOPのストリームデータの供給を受け、フレーム単位で編集を行うことが可能なMPEG All Intra方式のストリームデータに変換し、フレーム編集装置３−１に出力する。フレーム編集装置３−１は、例えば、MXF（Material eXchange Format）やSDTI CPなど、圧縮したストリームを直接入出力することが可能なインタフェースを有しており、供給されたMPEG All Intra方式のストリームデータに対して、例えば、コマーシャルの挿入や画像の加工などの編集を行い、編集後のデータを放送したり、アーカイブシステム１０３に保存させるために、トランスコーダ１３１−１に出力する。トランスコーダ１３１−１は、供給されたMPEG All Intra方式のストリームデータを、伝送路１の伝送に適したMPEG Long GOPのストリームデータに変換し、伝送路１を介して、アーカイブシステム１０３に伝送する。

MXFは、Pro−MPEGフォーラムが中心となり標準化が進められているファイル形式である。MXFは、ビデオデータとオーディオデータが、フレームごと等の細かい単位で多重化されており、ファイル交換に加えて、ストリーミングを考慮したフォーマットである。

放送局１０２−２のトランスコーダ１３１−２は、MPEG Long GOPのストリームデータの供給を受け、フレーム単位で編集を行うことが可能なMPEG All Intra方式のストリームデータに変換し、フレーム編集装置３−２に出力する。フレーム編集装置３−２は、例えば、MXFやSDTI CPなど、圧縮したストリームを直接入出力することが可能なインタフェースを有しており、供給されたMPEG All Intra方式のストリームデータに対して、例えば、コマーシャルの挿入や画像の加工などの編集を行い、編集後のデータを放送したり、アーカイブシステム１０３に保存させるために、トランスコーダ１３１−２に出力する。トランスコーダ１３１−２は、供給されたMPEG All Intra方式のストリームデータを、伝送路１の伝送に適したMPEG Long GOPのストリームデータに変換し、伝送路１を介して、アーカイブシステム１０３に伝送する。

アーカイブシステム１０３は、供給された番組の素材となるストリームデータを保存する。アーカイブシステム１０３においては、効率良くデータを保存する必要があるため、高圧縮率のMPEG Long GOP方式のストリームデータを保存する。

以下、放送局１０２−１および放送局１０２−２を個々に区別する必要がない場合、単に放送局１０２と総称し、トランスコーダ１３１−１およびトランスコーダ１３１−２を個々に区別する必要がない場合、単にトランスコーダ１３１と総称し、フレーム編集装置３−１およびフレーム編集装置３−２を個々に区別する必要がない場合、単にフレーム編集装置３と総称する。

図５は、中継基地１０１の更に詳細な構成を示すブロック図である。

なお、従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、トランスコーダ１２２は、符号化部６４に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報を選択することが可能な符号化部１５１が設けられ、符号化部１５１には、復号部６３から出力される復号された信号のほかに、復号部６３に入力されているストリームデータも入力されているほかは、図３のトランスコーダ５２と基本的に同様に構成されている。

中継基地１０１において、テレビカメラ１２１により撮影された画像データは、MPEG All Intraの圧縮方式で符号化されたSDTI CP信号として、トランスコーダ１２２に出力される。

トランスコーダ１２２の復号部６３は、All IntraのSDTI CP信号の供給を受けて復号し、復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１５１に供給する。符号化部１５１は、必要に応じて、供給された符号化パラメータを利用して、ビデオデータを、MPEGのLong GOPとなるように符号化し、伝送路１に送出する。

図６は、放送局１０２の更に詳細な構成を示すブロック図である。

なお、従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

トランスコーダ１３１は、Long GOPのストリームデータを、All Intraのストリームデータに変換するトランスコーダ１６１と、All Intraのストリームデータを、Long GOPのストリームデータに変換するトランスコーダ１６２とで構成されている。トランスコーダ１６１は、符号化部６２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報を選択することが可能な符号化部１５２が設けられ、符号化部１５２には、復号部６１から出力される復号された信号のほかに、復号部６１に入力されているストリームデータも入力されているほかは、図３のトランスコーダ５１と基本的に同様に構成されている。

また、トランスコーダ１６２は、符号化部６４に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報を選択することが可能な符号化部１５１が設けられ、符号化部１５１には、復号部６３から出力される復号された信号のほかに、復号部６３に入力されているストリームデータも入力されているほかは、図３のトランスコーダ５２と基本的に同様に構成されている。

トランスコーダ１６１の復号部６１は、MPEGのLong GOPのストリームデータの供給を受けて復号し、復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１５２に供給する。符号化部１５２は、必要に応じて、供給された符号化パラメータを利用して、ビデオデータを、All IntraのSDTI CP信号となるように符号化し、フレーム編集装置３に供給する。

フレーム編集装置３にてフレーム編集されたストリームデータは、トランスコーダ１６２の復号部６３に供給される。

トランスコーダ１６２の復号部６３は、All IntraのSDTI CP（Serial Data Transport Interface Contents Package）信号の供給を受けて復号し、復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１５１に供給する。符号化部１５１は、必要に応じて、供給された符号化パラメータを利用して、ビデオデータを、MPEGのLong GOPとなるように符号化し、伝送路１に送出する。

図７は、符号化部１５１および符号化部１５２の構成を示すブロック図である。

パラメータ入力部１８７は、復号部６１または復号部６３から供給されるパラメータ情報を取得して制御部１８５に供給する。

制御部１８５は、パラメータ入力部１８７から、パラメータ情報の供給を受け、パラメータ情報を参照して、実行される符号化の条件が所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、および、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。

具体的には、制御部１８５は、実行される符号化のピクチャタイプがＩピクチャであるか否か、前の符号化と次の符号化におけるマクロブロックの位相が合致しているか否か、復号時のピクチャ単位の発生符号量が、所定の範囲以内であるか否か、および、画像枠が同一であるか否かを基に、映像並び替え部１７２乃至バッファ１８４の処理により符号化された符号化データを出力するか、復号部６１または復号部６３に入力されたストリームデータを出力するかを判断し、映像並び替え部１７２乃至バッファ１８４の処理により符号化された符号化データを出力する場合は、更に、パラメータの再利用を行うか否かを決定し、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部１７７、ストリームスイッチ１８６の一部、もしくは全ての処理を制御する。

映像並び替え部１７２は、制御部１８５の制御に基づいて、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。

動きベクトル検出部１７４は、マクロブロックデータの入力を受け、制御部１８５の制御に基づいて、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出するか、もしくは、制御部１８５より供給された、以前の符号化の動きベクトルを、動き補償部１８２に送出する。

演算部１７３は、映像並び替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。

ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。

まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてDCT（Discrete Cosine Transform ：離散コサイン変換）部１７５に送出する。DCT部１７５は、入力された演算データに対しDCT変換処理を行うことによりDCT係数化し、これをDCT係数データとして、量子化部１７６に送出する。

量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、入力されたDCT係数データに対して量子化処理を行い、量子化DCT係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部１７８および逆量子化部１７９に送出する。ここで、量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。

逆量子化部１７９に送出された量子化DCT係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、DCT係数データとして、逆DCT部１８０に送出される。逆DCT部１８０は、供給されたDCT係数データに逆DCT処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。

そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。

動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。

すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをDCT部１７５に送出する。

演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆DCT部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。

また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをDCT部１７５に送出する。

演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆DCT部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。

かくして、符号化部１５１または符号化部１５２に入力された画像データは、動き補償予測処理、DCT処理および量子化処理を受け、量子化DCT係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化DCT係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、ストリームスイッチ１８６に出力する。

量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、制御部１８５の制御に基づいて、蓄積状態を表す占有量情報、または、制御部１８５から供給される、過去の符号化パラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定するようになされている。

量子化値決定部１７７は、上述したように、制御部１８５から過去の符号化パラメータに含まれる量子化値Ｑが供給され、過去の符号化の量子化値を再利用することができる場合、過去の符号化パラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定することができる。

また、量子化値決定部１７７は、パラメータ情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。

すなわち、量子化値決定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部１７６に供給する。

ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（３）として表される。

ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt} ・・・（１）

ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。

ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｉ）−（Ｔ×ｊ）／MBcnt ・・・（２）

ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt ・・・（３）

したがって、発生符号量制御部９２は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋1）の量子化インデックスデータＱ（ｊ＋1）を算出し、これを量子化部７５に供給する。

ｒ＝（２×ｂｒ）／ｐｒ ・・・（４） Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（５） ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。

量子化部１７６は、量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってDCT係数データを量子化する。

これにより、量子化部１７６は、１つ前のピクチャにおける実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、DCT係数データを量子化することができる。

かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化DCT係数データを生成することができる。

例えば、符号化部１５２を含むトランスコーダ１６１が、Long GOPの符号化ストリームをAll Intraの符号化ストリームに変換する場合、復号部６１において、逆量子化処理と逆DCT変換が実行され、符号化部１５２において、DCT変換および量子化処理が実行される。ここで、逆DCT変換とDCT変換は、直交逆変換と直交変換であるので、Long GOPの符号化ストリーム中のＩピクチャに対しては、変換後も同一のピクチャタイプであることから、MPEG 固有の８×８のDCTブロックの位相が合っていて、dct_type（fieldまたはframe）が一致している場合、演算精度が十分であれば、直交逆変換と直交変換との積は０となり、逆DCT変換とDCT変換とが実行されることによるＩピクチャの画像データの劣化は発生しない。

また、逆量子化処理は、８×８のDCTブロックの係数ごとの乗算処理であり、量子化処理は、８×８のDCTブロックの係数ごとの除算処理であるから、DCT係数ごとの量子化係数であるq_matrixが一致し、マクロブロックごとの量子化値であるquantaizer_scaleが一致している場合、逆量子化処理における乗算に用いた値を量子化処理の除算に再利用することにより、丸めなどの演算誤差が十分小さい場合、逆量子化処理と量子化処理とが実行されることによるＩピクチャの画像データの劣化は発生しない。

すなわち、MPEG固有の８×８のDCTブロックの位相が合っていて、dct_type（fieldまたはframe）が一致し、DCT係数ごとの量子化係数であるq_matrixが一致し、マクロブロックごとの量子化値であるquantaizer_scaleが一致している場合、ピクチャタイプ、動きベクトル、および量子化値の情報を再利用することにより、復号部６１に入力されたＩピクチャと、符号化部１５２から出力されるＩピクチャとにおいて、画像の劣化は発生しない。更に、画像枠が同一である場合、復号部６１に入力されたＩピクチャを符号化部１５２からの出力とすることが可能となる。

同様にして、符号化部１５１を含むトランスコーダ１２２またはトランスコーダ１６２が、All Intraの符号化ストリームをLong GOPの符号化ストリームに変換する場合、復号部６３において、逆量子化処理と逆DCT変換が実行され、符号化部１５１において、DCT変換および量子化処理が実行される。ここで、逆DCT変換とDCT変換は、直交逆変換と直交変換であるので、Long GOPにおいてＩピクチャとして符号化されるピクチャに対しては、変換後のピクチャタイプが同一であることから、MPEG 固有の８×８のDCTブロックの位相が合っていて、dct_type（fieldまたはframe）が一致している場合、演算精度が十分であれば、直交逆変換と直交変換との積は０となり、逆DCT変換とDCT変換とが実行されることによるＩピクチャの画像データの劣化は発生しない。

また、逆量子化処理は、８×８のDCTブロックの係数ごとの乗算処理であり、量子化処理は、８×８のDCTブロックの係数ごとの除算処理であるから、DCT係数ごとの量子化係数であるq_matrixが一致し、マクロブロックごとの量子化値であるquantaizer_scaleが一致している場合、逆量子化処理における乗算に用いた値を量子化処理の除算に再利用することにより、丸めなどの演算誤差が十分小さい場合、逆量子化処理と量子化処理とが実行されることによるＩピクチャの画像データの劣化は発生しない。

すなわち、MPEG固有の８×８のDCTブロックの位相が合っていて、dct_type（fieldまたはframe）が一致し、DCT係数ごとの量子化係数であるq_matrixが一致し、マクロブロックごとの量子化値であるquantaizer_scaleが一致している場合、ピクチャタイプ、動きベクトル、および量子化値の情報を再利用することにより、復号部６３に入力されたＩピクチャと、符号化部１５１から出力されるＩピクチャとにおいて、画像の劣化は発生しない。更に、画像枠が同一である場合、復号部６３に入力されたＩピクチャを符号化部１５１からの出力とすることが可能となる。

これに対して、符号化の条件が満たされない場合、符号化部１５１および符号化部１５２においては、量子化値決定部１７７により通常の量子化値が決定され、過去の符号化のパラメータを用いずに、符号化処理が実行される。量子化値決定部１７７は、パラメータ情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。したがって、量子化値決定部１７７は、ＢピクチャおよびＰピクチャに対して、最適な量子化ステップサイズを決定するようになされている。

次に、図８のフローチャートを参照して、符号化部１５１および符号化部１５２が実行する符号化制御処理１について説明する。

ステップＳ１において、制御部１８５は、符号化のピクチャタイプはＩピクチャであるか否かを判断する。ステップＳ１において、符号化のピクチャタイプはＩピクチャではないと判断された場合、処理は、後述するステップＳ７に進む。

ステップＳ１において、符号化のピクチャタイプはＩピクチャであると判断された場合、ステップＳ２において、制御部１８５は、パラメータ入力部１８７からパラメータ情報の供給を受け、パラメータ情報に含まれるマクロブロックの位相を示す情報（例えば、SMPTE 329Mにおけるv_phaseおよびh_phaseと同様の情報）を参照し、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっているか否かを判断する。ステップＳ２において、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっていないと判断された場合、処理は、後述するステップＳ７に進む。

ステップＳ２において、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっていると判断された場合、ステップＳ３において、制御部１８５は、パラメータ入力部１８７から供給されたパラメータ情報に含まれるビットレートのデータを基に、定数αを、例えば、１≦α＜２の値として、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされるか否かを判断する。ステップＳ３において、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされていないと判断された場合、処理は、後述するステップＳ７に進む。

ここで、Long GOP の符号化で、動きベクトルの発生量の多い画像などにおいては、ＰピクチャおよびＢピクチャに対して、より多く符号量を割り当てるほうが、画質が良くなる場合がある。また、Long GOP符号化レートが小さい場合に、All Intra符号化におけるq_scaleを再利用すると、符号量制御ができなくなる場合がある。したがって、定数αは、符号量制御が破綻しないように調整される値となり、例えば、１≦α＜２程度の重み係数となる。

ステップＳ３において、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされていると判断された場合、ステップＳ４において、制御部１８５は、パラメータ入力部１８７から供給されたパラメータ情報に含まれる画像枠を示す情報（例えば、SMPTE 329Mにおけるhorizontal_size_value、および、vertical_size_valueと同様の情報）を参照し、以前の符号化における画像枠と、今回の符号化の画像枠が同一であるか否かを判断する。

ステップＳ４において、以前の符号化における画像枠と、今回の符号化の画像枠が同一ではないと判断された場合、ステップＳ５において、制御部１８５は、パラメータ入力部１８７から供給されたパラメータ情報に含まれるピクチャタイプ、動きベクトル、および、量子化値の情報を再利用する。すなわち、制御部１８５は、パラメータ入力部１８７から供給されたパラメータ情報（例えば、SMPTE 329MやSMPTE 328Mにおけるintra_quantizer_matrix[64]、chroma_intra_quantizer_matrix[64]、q_scale_type、intra_dc_precision、および、q_scale_typeに対応する情報）を再利用して、符号化が実行されるように、符号化部１５１または符号化部１５２の各部を制御し、処理が終了される。

ステップＳ４において、以前の符号化における画像枠と、今回の符号化の画像枠が同一であると判断された場合、ステップＳ６において、制御部１８５は、ストリームスイッチ１８６を制御して、復号部６３へ入力されたストリームデータを出力し、処理が終了される。

ステップＳ１において、符号化のピクチャタイプはＩピクチャではないと判断された場合、ステップＳ２において、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっていないと判断された場合、または、ステップＳ３において、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされていないと判断された場合、ステップＳ７において、制御部１８５は、パラメータの再利用を行わないで符号化が実行されるように、符号化部１５１または符号化部１５２の各部を制御し、処理が終了される。

このような処理により、所定の条件に合致したＩピクチャを符号化するときのみ、復号部へ入力されたストリームデータが、そのまま出力されたり、または、パラメータ情報を用いた符号化が実行されるので、これ以上発生符合量の割当てを増やしても画質を向上することができないＩピクチャに対して、余分な発生符号量を割り当てることを防ぐようにすることができる。

図４を用いて説明したシステムにおいて、いずれかのパラメータが予め定められているような場合、そのパラメータに関する条件の判断を省略するようにしても良い。例えば、図４を用いて説明したシステムにおいて、全ての符号化におけるq_scale_typeが同一の値で運用されている場合、q_scale_typeに関する条件の判断は省略可能である。また、ステップＳ１乃至ステップＳ３の処理における条件判断の順番は変更してもかまわないことは言うまでもない。

Ｉピクチャに対して、ピクチャタイプ、動きベクトル、および量子化値の情報を再利用することにより、図９に示されるように、これ以上発生符合量の割当てを増やしても画質を向上することができないＩピクチャに対して、発生符号量の割当てをLong GOPとAll Intraにおいて同一にし、余分な発生符号量を割り当てることを防ぐようにすることができる。したがって、最適な符号量割当てを行うことが可能となるため、その分、ＢピクチャおよびＰピクチャに対して、十分な符号量を割り当てるようにすることが可能となる。

なお、以上の説明においては、図４の中継基地１０１のトランスコーダ１２２の符号化部１５１、および、放送局１０２のトランスコーダ１３１を構成するトランスコーダ１６２の符号化部１５１およびトランスコーダ１６１の符号化部１５２において、本発明を適用するものとして説明したが、放送局１０２のトランスコーダ１３１を構成するトランスコーダ１６２およびトランスコーダ１６１に代わって、図２を用いて説明した、従来のヒストリー情報を利用して符号化を行うためのトランスコーダ３１およびトランスコーダ３２を用いるようにしてもよい。すなわち、図４の中継基地１０１のトランスコーダ１２２においてのみ、本発明を適用して、Ｉピクチャの符号化時において、上述した所定の条件を満たす場合のみ、パラメータ情報（例えば、SMPTE 329MやSMPTE 328Mにおけるintra_quantizer_matrix[64]、chroma_intra_quantizer_matrix[64]、q_scale_type、intra_dc_precision、および、q_scale_typeに対応する情報）を再利用して、符号化を行うようにし、それ以降の符号化においては、トランスコーダ１２２において実行された符号化に関する情報を、ヒストリー情報としてストリームデータとともに伝送するようにすることにより、復号および符号化の繰り返しによる画像データの劣化を防いで、符号化時に、最適な符号割当てを行うようにすることができる。

また、所定の条件に合致したＩピクチャを符号化する場合、ピクチャタイプおよび動きベクトルを再利用し、量子化値の決定については、例えば、特開平１０−１７４０９８号公報などに開示されている、バックサーチと称される技術を用いるようにすることも可能である。バックサーチとは、以前の圧縮符号化で使用された量子化ステップ、あるいは、その倍数関係にある量子化ステップを用いると、DCT係数の剰余総和が極小になるという性質を利用し、最小の極小値を示す量子化ステップを、最適な量子化ステップとして求める技術である。

本発明に、バックサーチ技術を適用させるためには、図５および図６の符号化部１５１または符号化部１５２に代わって、図１０に示される符号化部２０１が用いられる。なお、図１０の符号化部２０１において、図７を用いて説明した場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、制御部１８５に代わって、制御部２１５が設けられ、量子化値決定部１７７に代わって、量子化値決定部２１６が設けられ、新たに、動き補償部２１１、演算部２１２、DCT部２１３、および、バックサーチ処理部２１４が設けられている以外は、図１０の符号化部２０１は、図７を用いて説明した符号化部１５１または符号化部１５２と同様の構成を有するものである。

制御部２１５は、制御部１８５と同様にして、パラメータ入力部１８７から供給されるパラメータ情報を基に、実行される符号化の条件が所定の条件に合致しているか否かを基に、画像並べ替え部１７２、動きベクトル検出部１７４、量子化値決定部２１６、および、ストリームスイッチ１８６の一部、もしくは全ての処理を制御するとともに、バックサーチ処理部２１４の処理を制御する。

量子化値決定部２１６は、制御部２１５の制御に基づいて、パラメータの再利用を行わない場合は、量子化値決定部１７７と同様にして、量子化値の決定を行うが、所定の条件に合致したＩピクチャを符号化するときは、量子化値の決定を行わない

動き補償部２１１は、動き補償部１８２と同様に、画像並べ替え部１７２から出力されるマクロブロックデータに対して、動きベクトル検出部１７４から入力される動きベクトルを用いて動き補償処理を行い、演算部２１２に対して出力する。演算部２１２は、画像並べ替え部１７２から出力されるマクロブロックデータから、必要に応じて、動き補償部２１１から入力される動き補償された予測画像データを減算し、Ｉピクチャの映像データ、および、ＰピクチャまたはＢピクチャの予測誤差データを生成し、DCT部２１３に出力する。

DCT部２１３は、演算部２１２から入力されたＩピクチャの映像データ、または、ＰピクチャもしくはＢピクチャの予測誤差データをDCT変換し、DCT処理の結果として得られたDCT係数を生成して、バックサーチ処理部２１４に供給する。

バックサーチ処理部２１４は、制御部２１５の制御に基づいて、所定の条件に合致したＩピクチャを符号化するとき、DCT部２１３から供給されたDCT係数を量子化して量子化データを生成して、使用者等によって外部から設定される目標データ量、および、生成した量子化データのデータ量（発生符号量）に基づいて、入力映像データの絵柄の難しさ（難度）を、単位期間ごとに見積もる。

そして、バックサーチ処理部２１４は、見積もった入力映像データの絵柄の難しさに応じて、入力映像データの絵柄が難しい部分に多くのデータ量（データレート）を割り当て、入力映像データの絵柄が簡単な部分に少ないデータ量（データレート）を割り当てて、出力映像データの品質を全体として高く保ち、しかも、出力映像データの総量が許容値を超えないようにするために実際に用いるべき量子化ステップを示す量子化インデックスを、単位期間ごとに算出する。

そして、バックサーチ処理部２１４は、バックサーチにより、入力映像データが１度以上の圧縮符号化を経ているか否かを判断し、前回の圧縮符号化において用いられた量子化ステップを示す量子化インデックスを生成し、量子化部１７６に設定する。つまり、バックサーチ処理部２１４は、算出した量子化インデックスが示す量子化ステップおよびその近傍の値で、DCT部２１３から供給されたDCT係数を除算し、除算結果の剰余の総和が著しく小さい値を示す量子化ステップが存在する場合には、この著しく小さい値を示す量子化ステップを、前回の圧縮符号化において用いられた量子化ステップと判定し、この量子化ステップを示す量子化インデックスを、量子化部１７６に対して出力する。

量子化部１７６は、所定の条件に合致したＩピクチャを符号化するとき、バックサーチ処理部２１４から供給された量子化インデックスを用いて、DCT部１７５から供給されたDCT係数データを量子化する。

次に、図１１のフローチャートを参照して、符号化部２０１が実行する符号化制御処理２について説明する。

ステップＳ２１において、制御部２１５は、符号化のピクチャタイプはＩピクチャであるか否かを判断する。ステップＳ２１において、符号化のピクチャタイプはＩピクチャではないと判断された場合、処理は、後述するステップＳ２８に進む。

ステップＳ２１において、符号化のピクチャタイプはＩピクチャであると判断された場合、ステップＳ２２において、制御部２１５は、パラメータ入力部１８７からパラメータ情報の供給を受け、パラメータ情報に含まれるマクロブロックの位相を示す情報（例えば、SMPTE 329Mにおけるv_phaseおよびh_phaseと同様の情報）を参照し、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっているか否かを判断する。ステップＳ２２において、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっていないと判断された場合、処理は、後述するステップＳ２８に進む。

ステップＳ２２において、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっていると判断された場合、ステップＳ２３において、制御部２１５は、パラメータ入力部１８７から供給されたパラメータ情報に含まれるビットレートのデータを基に、定数αを、例えば、１≦α＜２の値として、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされるか否かを判断する。ステップＳ２３において、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされていないと判断された場合、処理は、後述するステップＳ２８に進む。

ここで、Long GOP の符号化で、動きベクトルの発生量の多い画像などにおいては、ＰピクチャおよびＢピクチャに対して、より多く符号量を割り当てるほうが、画質が良くなる場合がある。また、Long GOP符号化レートが小さい場合に、All Intra符号化におけるq_scaleを再利用すると、符号量制御ができなくなる場合がある。したがって、定数αは、符号量制御が破綻しないように調整される値となり、例えば、１≦α＜２程度の重み係数となる。

ステップＳ２３において、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされていると判断された場合、ステップＳ２４において、制御部２１５は、パラメータ入力部１８７から供給されたパラメータ情報に含まれる画像枠を示す情報（例えば、SMPTE 329Mにおけるhorizontal_size_value、および、vertical_size_valueと同様の情報）を参照し、以前の符号化における画像枠と、今回の符号化の画像枠が同一であるか否かを判断する。

ステップＳ２４において、以前の符号化における画像枠と、今回の符号化の画像枠が同一ではないと判断された場合、ステップＳ２５において、制御部２１５は、パラメータ入力部１８７から供給されたパラメータ情報に含まれるピクチャタイプ、および、動きベクトルを再利用して、符号化が実行されるように、符号化部２０１の各部を制御する。

ステップＳ２６において、制御部２１５は、バックサーチ処理部２１４を制御し、バックサーチにより符号化に用いる量子化インデックスを求めさせて、量子化部１７６に供給させる。量子化部１７６は、供給された量子化インデックスを基に、量子化を実行し、符号化が実行されて、処理が終了される。

ステップＳ２４において、以前の符号化における画像枠と、今回の符号化の画像枠が同一であると判断された場合、ステップＳ２７において、制御部２１５は、ストリームスイッチ１８６を制御して、復号部６３へ入力されたストリームデータを出力し、処理が終了される。

ステップＳ２１において、符号化のピクチャタイプはＩピクチャではないと判断された場合、ステップＳ２２において、以前の符号化におけるマクロブロックの位相と、今回の符号化のマクロブロックの位相があっていないと判断された場合、または、ステップＳ２３において、復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされていないと判断された場合、ステップＳ２８において、制御部２１５は、パラメータの再利用を行わないで符号化が実行されるように、符号化部２０１の各部を制御し、処理が終了される。

このような処理により、所定の条件に合致したＩピクチャを符号化するときのみ、復号部へ入力されたストリームデータが、そのまま出力されたり、または、バックサーチ処理およびパラメータ情報を用いた符号化が実行されるので、これ以上発生符合量の割当てを増やしても画質を向上することができないＩピクチャに対して、余分な発生符号量を割り当てることを防ぐようにすることができる。

なお、上述の実施の形態においては、ストリームデータを変換するトランスコーダが、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。

すなわち、上述の実施の形態においては、それぞれのトランスコーダが、ストリームデータを変換するものとして説明したが、例えば、図１２に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。

例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。

更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。

上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、トランスコーダ１２２や、トランスコーダ１３１は、図１３に示されるようなパーソナルコンピュータ３０１により構成される。

図１３において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１３に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。 フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報（ヒストリー情報）を利用する場合について説明するための図である。 フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報（パラメータ情報）を利用する場合について説明するための図である。 本発明を適用した放送データの授受システムについて説明するための図である。 図４の中継基地の構成を示すブロック図である。 図４の放送局の構成を示すブロック図である。 図５および図６の符号化部の構成を示すブロック図である。 図７の符号化部が実行する符号化制御処理１について説明するフローチャートである。 符号量割当てについて説明するための図である。 バックサーチ処理を実行可能な符号化部の構成を示すブロック図である。 図１０の符号化部が実行する符号化制御処理２について説明するフローチャートである。 本発明を適用可能な異なる装置の構成について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１ 伝送路， ３ フレーム編集装置， ６１，６３ 復号部， １０１ 中継基地， １０２ 放送局， １１２ 符号化部， １２１ 復号部， １２２，１３１ トランスコーダ， １６１，１６２ トランスコーダ， １５１，１５２ 符号化部， １７２ 画像並べ替え部， １７３ 演算部， １７４ 動きベクトル検出部， １７５ DCT部， １７６ 量子化部， １７７ レート設定部， １７８ ＶＬＣ部， １７９ 逆量子化部， １８０ 逆DCT部， １８１ 演算部， １８２ 動き補償部， １８３ フレームメモリ， １８４ バッファ， １８５ 制御部， １８６ ストリームスイッチ， １８７ パラメータ入力部， ２０１ 符号化部， ２１１ 動き補償部， ２１２ 演算部， ２１３ DCT部， ２１４バックサーチ制御部， ２１５ 制御部， ２１６ 量子化値決定部

Claims (11)

1. 完全にまたは中途段階まで符号化された符号化画像データを復号する画像処理装置において、
   前記符号化画像データが生成される際の符号化、または、前記符号化画像データに対して過去に行われた符号化に関する情報を、前記符号化画像データとともに取得する取得手段と、
   前記取得手段により取得された前記符号化画像データを中途段階までまたは完全に復号して、画像データまたは中途画像データを生成する復号手段と、
   前記取得手段により取得された前記符号化に関する情報に示された復号時の発生符号量が所定の値以下である場合に、前記取得手段により取得された前記符号化に関する情報を利用して、前記復号手段により生成された前記画像データまたは前記中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送する伝送手段と
   を備える画像処理装置。
2. 前記伝送手段は、前記取得手段により取得された前記符号化に関する情報に含まれる過去の符号化におけるマクロブロックの位相が、前記画像データまたは前記中途画像データに対して実行する符号化のマクロブロックの位相と一致する場合に、前記取得手段により取得された前記符号化に関する情報を利用して、前記復号手段により生成された画像データまたは中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送する
   請求項１に記載の画像処理装置。
3. 前記伝送手段は、前記取得手段により取得された前記符号化に関する情報に含まれる過去の符号化におけるピクチャタイプを示す情報がIピクチャである場合に、前記取得手段により取得された前記符号化に関する情報を利用して、前記復号手段により生成された画像データまたは中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送する
   請求項１に記載の画像処理装置。
4. 前記所定の値は、１≦α＜２であるときの目標符号量×αである
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記伝送手段は、前記取得手段により取得された前記符号化に関する情報に示された過去の符号化における画像枠と、前記画像データまたは前記中途画像データに対する符号化における画像枠との位置および大きさが一致している場合に、前記取得手段により取得された前記符号化画像データを前記画像データまたは前記中途画像データに対する符号化の結果として出力する処理を実行する他の画像処理装置に対して、前記符号化画像データおよび前記符号化に関する情報を伝送する
   請求項１に記載の画像処理装置。
6. 前記符号化画像データは、MPEG規格に従って符号化されたデータである
   請求項１に記載の画像処理装置。
7. 前記符号化画像データは、フレーム間符号化されたデータである
   請求項１に記載の画像処理装置。
8. 前記符号化画像データは、フレーム内符号化されたデータである
   請求項１に記載の画像処理装置。
9. 完全にまたは中途段階まで符号化された符号化画像データを復号する画像処理装置の画像処理方法において、
   前記符号化画像データが生成される際の符号化、または、前記符号化画像データに対して過去に行われた符号化に関する情報を、前記符号化画像データとともに取得し、
   取得された前記符号化画像データを中途段階までまたは完全に復号して、画像データまたは中途画像データを生成し、
   取得された前記符号化に関する情報に示された復号時の発生符号量が所定の値以下である場合に、取得された前記符号化に関する情報を利用して、復号して生成された前記画像データまたは前記中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報を伝送する
   ステップを含む画像処理方法。
10. 完全にまたは中途段階まで符号化された符号化画像データを復号する処理をコンピュータに実行させるためのプログラムであって、
    前記符号化画像データが生成される際の符号化、または、前記符号化画像データに対して過去に行われた符号化に関する情報の取得、および、前記符号化画像データの取得を制御し、
    取得が制御された前記符号化画像データを中途段階までまたは完全に復号して、画像データまたは中途画像データを生成し、
    取得が制御された前記符号化に関する情報に示された復号時の発生符号量が所定の値以下である場合に、取得された前記符号化に関する情報を利用して、復号して生成された前記画像データまたは前記中途画像データを中途段階までまたは完全に符号化する処理を実行する他の画像処理装置に対して、前記符号化に関する情報の伝送を制御する
    ステップを含む処理をコンピュータに実行させるプログラム。
11. 請求項１０に記載のプログラムが記録されている記録媒体。

Images