図1は本発明の原理図である。この図に示すように、本発明は、動画像がピクチャ内でのみ符号化されたIピクチャ、ピクチャ内符号化と前方向予測符号化とに基づいて符号化されたPピクチャ及びピクチャ内符号化と前方向予測符号化と後方向予測符号化と両方向予測符号化とに基づいて符号化されたBピクチャを含む第1符号化データをIピクチャ又はPピクチャで第2符号化データに再符号化する動画像再符号化装置において、第1符号化データを復号する復号手段12と、第1符号化データがIピクチャ、Pピクチャ又はBピクチャのいずれの予測タイプで符号化されたかを判別する予測タイプ判別手段14と、Bピクチャを再符号化した第2符号化データの符号化長LB 、Pピクチャを再符号化した第2符号化データの符号化長LP 及びIピクチャを再符号化した第2符号化データの符号化長LI とした時、LB <LP<LI となるように符号化パラメータを決定する再符号化制御手段16と、符号化パラメータに基づいて、復号画像を第2符号化データに符号化する符号化手段18とを具備したことを特徴とする動画像再符号化装置が提供される。
以上のような構成によれば、復号手段12により第1符号化データを復号して復号画像を生成する。予測タイプ判別手段14によりPピクチャ又はBピクチャのいずれの予測タイプで符号化されたかを判別する。
再符号化制御手段16によりBピクチャを再符号化した第2符号化データの符号化長LB 、Pピクチャを再符号化した第2符号化データの符号化長LP 及びIピクチャを再符号化した第2符号化データの符号化長LI とした時、LB <LP<LI となるように符号化パラメータを決定する。符号化手段18により符号化パラメータに基づいて、復号画像を第2符号化データに符号化する。
これにより、第1符号化データの中で情報量の少ないBピクチャよりも情報量の多いIピクチャやPピクチャを再符号化した第2符号化データに情報量を多く割り当てられ、再符号化の再生画質を出来るだけ劣化させないようにすることができる。
以下、図面を参照して本発明の実施の形態について説明する。
第1実施形態
図2は、本発明の第1実施形態による動画像再符号化装置の構成図である。
この動画像再符号化装置は、復号部20、符号化制御部34、符号化部40、量子化制御部66及びバッファ68を具備し、MPEG−2のMP@MLからMPEG−2のSP@ML変換等のように、後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第2符号化データへの変換を行う変換装置である。
復号部20は、可変長復号部22、逆量子化部24、逆DCT部26、加算器28、フレームメモリ30及び動き補償部32を有し、第1符号化データを復号して復号画像をフレームメモリ33に格納するものである。
可変長復号部22は、可変長符号化された第1符号化データを可変長復号すると共に、第1符号化データのピクチャヘッダ部からI,P,Bピクチャのいずれであるかを示す予測タイプと符号化長(以下、発生情報量)を取り出し、符号化制御部33に出力するものである。
逆量子化部24は、逆量子化をするものである。逆DCT部26は、逆離散コサイン変換を行って、予測誤差信号を求めるものである。フレームメモリ30は、参照画像となる復号画像を格納するRAM等のメモリである。動き補償部32は、参照画像となる復号画像に対して、動きベクトル情報に従って動き補償を行うものである。加算器28は、逆DCT部26から出力される予測誤差信号と動き補償部32の出力画像とを加算して、復号データに変換するものである。
第1符号化データは、上述したように、符号化データを蓄積するバッファがオーバフローをしないように発生情報量を制御する必要があるため、参照画像とならないBピクチャの発生情報量を少なくしており、Bピクチャの復号画像は、IピクチャやPピクチャの復号画像に比べると、画質が少し落ちる。
また、第2符号化データについても、バッファ68がオーバフローをしないように、符号化量を制御する必要がある。よって、第1符号化データの復号画像を第2符号化データに再符号化する場合に、IピクチャやPピクチャの復号画像の符号化データに、Bピクチャの復号画像の符号化データよりも符号化情報量を多く割り当てることにより再生画像の画質の劣化を防止することができるものと考えられる。
更に、Bピクチャについても、発生情報量にバラツキがある。これは、Bピクチャの元の画像の特性(例えば、頻繁なシーンチェンジ等のように、前後のフレーム画像と相関性が無い場合、発生情報量は相関性が有る場合に比べて、発生情報量が多い)やバッファの占有率等により生じる。
よって、Bピクチャについても、その発生情報量に応じて、第2符号化データの符号化情報を制御するのが再生画像の画質向上の観点からは望ましいものと考えられる。即ち、発生情報量の大きなBピクチャは、発生情報量の小さなBピクチャよりも第2符号化データの発生情報量を多くする。
符号化制御部34は、再生画質を劣化させないように上記観点から符号化情報量の制御等を行うものであり、予測タイプ・発生情報量入力部35、復号データ読み出し部36、予測タイプ決定部37及び新ピクチャ量算出部38を有する。予測タイプ・発生情報量入力部35は、可変長復号部22から第1符号化データの予測タイプと発生情報量を入力するものである。
復号データ読み出し部36は、新ピクチャ量算出部38からの新ピクチャ量の出力と符号化部40の符号化との同期を取りながら、復号画像の時間順序に従って、フレームメモリ33から第1符号化データの復号画像を読み出すものである。予測タイプ決定部37は、第2符号化データをIピクチャ又はPピクチャのいずれで予測するかを決定するものであり、一定のピクチャ間隔(例えば、15ピクチャ)毎に、Iピクチャで予測するものとする。
新ピクチャ量算出部38は、第1符号化データの予測タイプ(I,P,Bピクチャ)と発生情報量と後述する仮ピクチャ情報量Lとから、予測タイプ毎に、以下に示す新ピクチャ情報量を算出するものである。
予測タイプがIピクチャならば、L×αI (αI >1)、PピクチャならばL×αP (αI >αP >1)、BピクチャならばL×αB (αB <1)を新ピクチャ情報量とする。ここで、αI ,αP は定数とし、αB はBピクチャの発生情報量が大きければ大きな値とする。
符号化部40は、動きベクトル検出部42、動き補償部44、減算器46、DCT部48、量子化部50、逆量子化部52、逆DCT部54、加算器56、フレームメモリ58、可変長符号化部60、仮ピクチャ情報量算出部62及び量子化パラメータ算出部64を有する。
動きベクトル検出部42は、Pピクチャで第2符号化を行う場合は、現復号画像とフレームメモリ58に格納された直前の復号画像とを比較して、ブロックマッチング法等により、動きベクトル情報を求めるものである。
動き補償部44は、第2符号化データの予測タイプと直前の復号画像を動きベクトル情報に従って動き補償をするものである。減算器46は、現画像と動き補償部44の出力画像との差分を求めて、予測誤差信号を出力するものである。
DCT部48は、予測誤差信号に対して、8×8のブロック毎に、2次元離散コサイン変換係数を求めるものである。量子化部50は、離散コサイン変換係数を第1量子化パラメータに従った量子化係数で割り算をして、量子化をした後、量子化制御部66により制御される第2量子化パラメータに従った量子化係数で割り算して、量子化をするものである。第1量子化パラメータと第2量子化パラメータに従って、量子化を行うのは、バッファ68がオーバフローしないようにフィードバック制御するためである。
逆量子化部52は、逆量子化処理を行うものである。逆DCT部54は、逆DCT処理を行うものである。加算器56は、逆DCT部54の出力の予測誤差信号と動き補償部44の出力画像とを加算するものである。逆量子化部52、逆DCT部54及び加算器56は、ローカルデコード部である。フレームメモリ58は、ローカルデコード画像を格納するメモリである。ローカルデコードをするのは、予測誤差を小さくするためである。
可変長符号化部60は、量子化部50より量子化された画像を可変長符号化を行い、第1量子化パラメータによる量子化データの可変長符号化データについては、その符号化データ長(符号化情報)を量子化制御部66に出力し、第2量子化パラメータによる量子化データの可変長符号化データは、バッファメモリ68に格納するものである。
仮ピクチャ情報量算出部62は、バッファ68への書き込み速度(符号化速度)、バッファ68の容量及びバッファ68の読み出し速度等よりバッファ68がオーバフローしない占有率における符号化データ長L(以下、仮ピクチャ情報量)を算出するものである。
量子化パラメータ算出部64は、各ピクチャ情報量に対応する量子化パラメータをテーブルに記憶しておき、符号化制御部34から出力される新ピクチャ情報量に対応する量子化パラメータを算出するものである。ここで、量子化パラメータとは、ブロックの画素毎に予め決められている量子化係数にかける定数をコード化したもの(量子化コード)をいう。
量子化制御部66は、可変長符号化部60から入力した符号化情報からバッファ68の占有率が上限を越えないように、第2量子化パラメータを量子化部50に出力するものである。バッファ68は、第2符号化データを格納するFIFOメモリである。
以下、図2の動画像再符号化装置の動作説明をする。
(a) 復号
動画像再符号化装置は、MPEG−2のMP@ML等の後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データを図示しないネットワークを通して、受信する。可変長復号部22は、第1符号化データを可変長復号して、復号したデータを逆量子化部24に出力すると共に、ピクチャヘッダ部からI,P,Bピクチャの予測タイプと発生情報量とを取り出して、符号化制御部33に出力する。
逆量子化部24は、逆量子化処理を行う。逆DCT部26は、逆DCT処理を行う。動き補償部32は、フレームメモリ30に格納した参照画像に対して、動きベクトル情報から動き補償を行う。尚、Iピクチャの場合は、零を出力する。加算器28は、逆DCT部26からの予測誤差信号と動き補償部32の出力画像とを加算して、復号データを符号化部40に出力すると共に、フレームメモリ30に格納する。
(b) 第2符号化制御
符号化部40中の仮ピクチャ情報量算出部62は、仮ピクチャ情報量Lを算出して、符号化制御部33に出力する。符号化制御部34中の予測タイプ・発生情報量入力部35は、予測タイプ及び発生情報量を入力して、メモリ等に格納する。
復号データ読み出し部36は、新ピチクャ情報量の出力に同期して、フレームメモリ33から復号画像を正しい並びの順に読み出す。予測タイプ決定部37は、一定の時間間隔毎にIピクチャで第2符号化データを生成するようにIピクチャ又はPピクチャのいずれかの予測タイプを復号画像毎に決定する。
新ピクチャ量算出部38は、予測タイプがIピクチャならば仮ピクチャ情報量L×αI (αI >1)、Pピクチャならば仮ピクチャ情報量L×αP (αI >αP >1)、Bピクチャならば仮ピクチャ情報量L×αB (αB <1)を求め、新ピクチャ情報量として、量子化パラメータ算出部64に出力する。但し、αI ,αP は定数である。αB は、基準となる一定の発生情報量と比較して、Bピクチャの発生情報量が大きければ大きな値とする。
(c) 第2符号化
動きベクトル検出部42は、Pピクチャで第2符号化を行う場合は、現画像と直前の画像と比較して、動きベクトル情報を算出する。動き補償部44は、Iピクチャで第2符号化を行う時は、零を出力し、Pピクチャで第2符号化を行う場合は、動きベクトルに従い、直前のローカルデコード画像に対して、動き補償を行う。減算器46は、現復号画像と動き補償部された画像との差分画像を求め、予測誤差信号を出力する。DCT部48は、予測誤差信号に対してDCT処理を行う。
量子化パラメータ算出部64は、テーブルを参照して、新ピクチャ情報量に対応する量子化コードを求めて、第1量子化パラメータとして量子化部50に出力する。この量子化コードは、対応する第1符号化データがIピクチャの時が最も小さく、次にPピクチャが小さく、Bピクチャが最も大きくなる。その上、Bピクチャの発生情報量が大きいと、量子化コードは逆に小さくなる。
量子化部50は、量子化テーブルを参照して、離散コサイン変換係数に対応する量子化係数を求め、離散コサイン変換係数をこの量子化係数に仮量子化コードを掛けた量子化係数で割って量子化を行う。可変長符号化部60は、仮可変長符号化をして、符号化情報を量子化制御部66に出力する。
ここで、この符号化情報量と新ピクチャ情報量との差分のピクチャ情報量を次にI,P,Bピクチャの復号画像を符号化する場合にフィードバックしてもよい。例えば、符号化情報量の方が新ピクチャ情報量よりも少ない場合は、次回の符号化において、この差分情報量を加えたピクチャ情報量を仮ピクチャ情報量としてもよい。
量子化制御部66は、可変長符号化部60から入力した符号化情報からバッファ68の占有率が上限を越えないように、第2量子化パラメータを出力する。量子化部50は、量子化テーブルを参照して、離散コサイン変換係数に対応する量子化係数と第2量子化パラメータを用いて再度量子化を行う。可変長符号化部60は、量子化部50の量子化データを可変長符号化して、第2符号化データをバッファ68に出力する。バッファ68に出力された第2符号化データは、一定の速度で読み出されて、通信回線等に送信される。
図3は、図2の動画像再符号化装置の効果説明図であり、縦軸は符号化データの情報量、横軸は時間、一点鎖線は第1符号化データ、破線は第2符号化データの情報量の改善の無い場合の第2符号化データ、実線は本実施形態による第2符号化データの情報量の改善の有り場合の第2符号化データを示す。
この図に示すように、本実施形態による第2符号化データの情報量は、第1符号化データの情報量に応じて、Iピクチャの復号画像の第2符号化データの情報量>Pピクチャの復号画像の第2符号化データの情報量>Bピクチャの復号画像の第2符号化データの情報量であり、第1符号化データの情報量に応じた情報量となっている。しかも、Bピクチャの復号画像の第2符号化データは、Bピクチャの発生情報量に応じた符号化情報量となっている。このため、第2符号化データの再生画像の画質を劣化させずに、効率的な符号化を行うことができる。
第2実施形態
図4は、本発明の第2実施形態による動画像再符号化装置の構成図であり、図2中の構成要素と実質的に同一の要素には同一の符号を附している。
第2実施形態の動画像再符号化装置が図2の動画像再符号化装置と異なる点は、第1符号化データの復号画像をスキップして第2符号化データに符号化する場合に、スキップ対象の復号画像が優先的にBピクチャの復号画像となるように制御するようにしたことである。ここで、第1符号化データの復号画像のスキップは、高速回線から低速回線に中継する場合や記録媒体に蓄積する場合等において行う。
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第2符号化データへの変換を第1符号化データの復号画像をスキップして行う変換装置であり、復号部20、符号化制御部70、符号化部76、量子化制御部66及びバッファ68を具備する。復号部20は、第1実施形態と同様なので説明を省略する。
符号化制御部70は、ピクチャのスキップを制御等するものであり、予測タイプ入力部72、復号データ読み出し部73、予測タイプ決定部37及びピクチャスキップ制御部74を有する。予測タイプ入力部72は、可変長復号部22から第1符号化データの予測タイプを入力するものである。
復号データ読み出し部73は、ピクチャスキップ制御部74の指示に従って、復号画像の時間順序で、フレームメモリ33から第1符号化データの復号画像を読み出すものである。予測タイプ決定部37は、第2符号化データをIピクチャ又はPピクチャのいずれで予測するかを決定するものであり、一定のピクチャ間隔(例えば、15ピクチャ)毎に、Iピクチャで予測するものとする。
ピクチャスキップ制御部74は、フレーム間隔がn1 秒である第1符号化データをフレーム間隔がn2 秒( n2 >n1 )である第2符号化データに変換する場合等において、Bピクチャの復号画像を優先的にスキップ対象とすると共に、スキップ対象の復号画像のフレームメモリ33からの読み出しをしないように復号データ読み出し部73を制御するものである。
スキップ対象の復号画像をBピクチャとするのは、BピクチャよりもIピクチャやPピクチャの第1符号化データの方が情報量が多く、画質が良いので、IピクチャやPピクチャを優先的に符号化して再生画質を劣化させずに、効率的な符号化を行うためである。
符号化部76は、図2中の符号化部40から仮量子化パラメータ算出部62及び量子化パラメータ算出部64を除いたこと、量子化部78がシステムで予め決められた仮量子化パラメータで量子化することが図2の符号化部40と異なり、動きベクトル検出部42等の他の要素は符号化部40の要素と実質的に同一なので説明を省略する。量子化制御部66及びバッファ68は、第1実施形態と実施的に同一なので説明を省略する。
以下、図4の第2実施形態による動画像再符号化装置の動作説明をする。
(a) 復号
復号部20は、第1実施形態と同様にして、MP@ML等の後方向予測もしくは両方向予測を用いたBピクチャを含み、n1 秒間隔の動画像を符号化した第1符号化データを図示しないネットワークを通して受信して、復号し、復号データをフレームメモリ33に格納すると共に、第1符号化データの予測タイプを符号化制御部70に出力する。
(b) 第2符号化制御
符号化制御部70中の予測タイプ入力部72は、第1符号化データの予測タイプ(I,P,Bピクチャ)を入力して、メモリ等に格納する。ピクチャスキップ制御部74は、最初の第1符号化データはIピクチャなので、スキップ対象外ととする。ピクチャスキップ制御部74は、第1符号化データのフレーム間隔n1
秒と第2符号化データのフレーム間隔n2 と第1符号化データの復号画像の並び等から、次にピクチャスキップしない復号画像の候補を求める。
ピクチャスキップ制御部74は、ピクチャスキップ対象外の候補がIピクチャ又はPピクチャの復号画像であれば、該復号画像をピクチャスキップ対象外と決定すると共に、該復号画像と直前のピクチャ対象外と決定した復号画像とに挟まれる復号画像はピクチャスキップ対象と決定して、フレームメモリ33から読み出さないように復号データ読み出し部73を制御する。
ピクチャスキップ制御部74は、ピクチャ対象外の候補がBピクチャの復号画像であれば、該復号画像に後続する一定範囲内の復号画像とピクチャ対象外と決定した直前の復号画像との間に挟まれるIピクチャ又はPピクチャが有れば、その1つをピクチャ対象外と決定して、ピクチャ対象外の候補の復号画像と直前のピクチャ対象外と決定した復号画像とに挟まれる復号画像はピクチャスキップ対象と決定して、フレームメモリ33から読み出さないように復号データ読み出し部73を制御する。
ピクチャスキップ制御部74は、復号データ読み出し部73にフレームメモリ33からピクチャスキップ対象外とした復号画像の読み出しを指示すると共に、予測タイプ決定部37に該復号画像の予測タイプの決定をするように指示する。
復号データ読み出し部73は、ピクチャスキップ制御部74の指示に従って、フレームメモリ33から復号画像の読み出しを行う。予測タイプ決定部37は、ピクチャスキップ制御部74の制御により符号化対象となった復号画像の予測タイプ(例えば、一定の枚数のピクチャ間隔でIピクチャとする)を決定する。
(c) 第2符号化
ピクチャスキップ対象外の復号画像は、フレームメモリ33から復号データ読み出し部73により読み出される。読み出された復号画像は、予測タイプ決定部37による予測タイプに従って、動きベクトル検出部42、減算器46、DCT部48、量子化部50及び可変長符号化部60により順次処理が施される。
量子化制御部66により符号化長が制御され、量子化部50、可変長符号化部60により再量子化、再可変長符号化がなされて、第2符号化データがバッファ68に格納される。バッファ68に格納された第2符号化データは、一定の速度で読み出されて、通信回線や蓄積媒体等に送出される。
説明した第2実施形態によれば、ピクチャスキップ対象となるピクチャを優先的にBピクチャの第1符号化データを復号したピクチャとなるように制御するので、再生画質を劣化させずに、効率的な符号化を行うことができる。
第3実施形態
図5は、本発明の第3実施形態による動画像再符号化装置の構成図であり、図4中の構成要素と実質的に同一の要素には同一の符号を附している。
第3実施形態の動画像再符号化装置が図4の動画像再符号化装置と異なる点は、第1符号化データのフレーム画像をリフレッュする場合に、リフレッシュ対象のピクチャが優先的にIピクチャやPピクチャの第1符号化データの復号画像となるよう制御するようにしたことである。
ここで、リフレッシュとは、エラー発生時の復帰や予測誤差の累積による画質劣化を防止するために、一定のピクチャの間隔毎に、ピクチャ単位、分割したピクチャ内のブロック又は複数のブロック単位に、他のフレームを予測値として用いずにフレーム内でのみ符号化を行うことをいう。
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第2符号化データに、リフレッシュを行いながら変換をする変換装置であり、復号部20、符号化制御部80、符号化部76、量子化制御部66及びバッファ68を具備する。復号部20、符号化部76、量子化制御部66及びバッファ68は、第2実施形態と同様なので説明を省略する。
符号化制御部80は、復号画像の読み出し、予測タイプの決定及びピクチャのリフレッシュの制御を行うものであり、予測タイプ入力部72、復号データ読み出し部36及びリフレッシュ制御部82を有する。
予測タイプ入力部72は、可変長復号部22から第1符号化データの予測タイプを入力するものである。復号データ読み出し部36は、リフレッシュ制御部82の指示に従って、フレームメモリ33から復号画像の読み出しを行うものである。
リフレッシュ制御部82は、一定のピクチャの間隔毎に、ピクチャ単位、分割したピクチャ内のブロック又は複数のブロック単位に、リフレッシュする際に、リフレッシュ対象のピクチャやブロックが優先的にIピクチャやPピクチャの復号画像となるように復号画像を第2符号化データに再符号化する時の予測タイプを決定するものである。
リフレッシュ対象の復号画像を優先的にIピクチャやPピクチャとするのは、BピクチャよりもIピクチャやPピクチャの第1符号化データが発生情報量が多く、画質が良いので、IピクチャやPピクチャに対応する復号画像で優先的に符号化をして再生画質を劣化させずに、効率的な符号化を行うためである。
符号化部76は、符号化制御部80により指定された予測タイプで復号画像を第2符号化データに符号化を行うものであり、図4中の符号化部76と実質的に同一なので説明を省略する。量子化制御部66及びバッファ68は、図4中の量子化制御部66及びバッファ68と実質的に同一なので説明を省略する。
以下、図5の第3実施形態による動画像再符号化装置の動作説明をする。
(a) 復号
復号部20は、第1実施形態と同様にして、MPEG−2のMP@ML等の後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データを図示しないネットワークを通して、受信する。復号部22は、第1符号化データを復号して、復号画像をフレームメモリ33に格納すると共に、第1符号化データの予測タイプを符号化制御部80に出力する。
(b) 第2符号化制御
符号化制御部80中の予測タイプ入力部72は、予測タイプ(I,P,Bピクチャ)を入力して、メモリ等に格納する。リフレッシュ制御部82は、最初の第1符号化データはIピクチャであるので、最初の復号画像の予測タイプをIピクチャとする。
リフレッシュ制御部82は、第2符号化データをリフレッシュするフレーム間隔から次にリフレッシュ対象の候補となる復号画像を決定する。尚、ブロック毎にリフレッシュする場合は、リフレッシュ対象のブロックを決定する。
リフレッシュ制御部82は、リフレッシュ対象の候補の復号画像がIピクチャ又はPピクチャの第2符号化データを復号したものであれば、リフレッシュ対象の候補の復号画像(ピクチャ単位、ブロック単位又は複数のブロック単位)をリフレッシュ対象として決定する。
リフレッシュ制御部82は、リフレッシュ対象の候補の復号画像がBピクチャを復号したものであれば、該候補と時間的に近い一定範囲内の復号画像の中で、Iピクチャ又はPピクチャの復号画像が有れば、その1つの復号画像をリフレッシュ対象と決定して、リフレッシュ対象の候補とした復号画像を含めて、リフレッシュ対象とした該復号画像と前回のリフレッシュ対象の復号画像との間に挟まれる復号画像の予測タイプをPピクチャとする。
リフレッシュ制御部82は、リフレッシュ対象の候補の復号画像がBピクチャを復号したものであれば、該候補と時間的に近い一定範囲内の復号画像の中で、Iピクチャ又はPピクチャの復号画像が無ければ、リフレッシュ対象の該候補をリフレッシュ対象と決定して、該復号画像と前回のリフレッシュ対象の復号画像との間に挟まれる復号画像の予測タイプをPピクチャとする。
リフレッシュ制御部82は、フレームメモリ33から正しい時間順に従って、復号データ読み出し部36に復号画像の読み出しを指示すると共に、該復号画像を符号化する予測タイプを符号化部76に出力する。復号データ読み出し部36は、リフレッシュ制御部82の指示に従って、フレームメモリ33から復号画像の読み出しを行う。
(c) 第2符号化
復号画像は、フレームメモリ33から復号データ読み出し部73により読み出される。読み出された復号画像は、符号化制御部80から出力される予測タイプに従って、動きベクトル検出部42、動き補償部44、減算器46、DCT部48、量子化部50及び可変長符号化部60により順次処理が施される。
量子化制御部66により符号化長が制御され、量子化部50、可変長符号化部60により再量子化、再可変長符号化がなされて、第2符号化データがバッファ68に格納される。バッファ68に格納された第2符号化データは、一定の速度で読み出されて、通信回線や蓄積媒体等に送出される。
説明した第3実施形態によれば、リフレッシュ対象となるピクチャが優先的にIピクチャ又はPピクチャの復号画像となるように制御するので、再生画質を劣化させずに、効率的な符号化を行うことができる。
第4実施形態
図6は、本発明の第4実施形態による動画像再符号化装置の構成図であり、図2中の構成要素と実質的に同一の要素には同一の符号を附している。
第4実施形態の動画像再符号化装置が図2の動画像再符号化装置と異なる点は、PピクチャやBピクチャを復号した復号画像をIピクチャで第2符号化をする場合に、PピクチャやBピクチャを復号した復号画像をPピクチャで第2符号化をする場合よりも情報量がより多くなるように制御するようにしたことである。
第2符号化データのIピクチャの情報量がPピクチャの情報量よりも多くなるようにしているのは、Iピクチャは、前方向予測を行う場合に、参照画像の元の画像となるものであり、予測誤差の累積を小さくして、画質を向上させるためである。
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第2符号化データへの変換を行う変換装置であり、復号部20、符号化制御部90、符号化部40、量子化制御部66及びバッファ68を具備する。復号部20、符号化部40、量子化制御部66及びバッファ68は、第1実施形態と実質的に同一なので説明を省略する。
符号化制御部90は、復号画像の読み出し、第2符号化データの予測タイプの決定、第2符号化データの情報量を第1符号化データの予測タイプ、発生情報量及び第2符号化データの予測タイプに応じて制御をするものであり、予測タイプ・発生情報量入力部35、復号データ読み出し部36、予測タイプ決定部37及び新ピクチャ量算出部92を有する。
予測タイプ・発生情報量入力部34及び復号データ読み出し部36は、第1実施形態と実質的に同一なので説明を省略する。予測タイプ決定部91は、一定のフレーム間隔、例えば、15ピクチャ毎に、第2符号化データがIピクチャとなるように制御するものである。
新ピクチャ情報量算出部92は、第1符号化データの予測タイプがPピクチャ又はBピクチャであり、且つ、第2符号化データの予測タイプがIピクチャならば、仮ピクチャ情報量で量子化する場合よりも情報量が多くなるように制御し、第1符号化データの予測タイプがPピクチャ又はBピクチャであり、且つ、第2符号化データの予測タイプがPピクチャならば、仮ピクチャ情報量で量子化する場合よりも情報量が少なくなるように、PピクチャやBピクチャの発生情報量に応じて、新ピクチャ情報量を算出するものである。
以下、図6の第4実施形態による動画像再符号化装置の動作説明をする。
(a) 復号
復号部20は、第1実施形態と同様にして、MPEG−2のMP@ML等の後方向予測もしくは両方向予測を用いたBピクチャを含む第1符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ33に格納すると共に、第1符号化データの予測タイプ及び発生情報量を符号化制御部90に出力する。
(b) 第2符号化制御
符号化部40中の仮ピクチャ情報量算出部62は、第1符号化データの予測タイプI,P,Bピクチャ毎に、仮ピクチャ情報量LI ,LP ,LB を算出して、符号化制御部90に出力する。符号化制御部90中の予測タイプ・発生情報量入力部35は、予測タイプ及び発生情報量を入力して、メモリ等に格納する。
新ピクチャ量算出部92は、仮ピクチャ情報量算出部62から仮ピクチャ情報量LI ,LP ,LB を入力して、以下のように新ピクチャ情報量を決定する。
(b1) 第2符号化データの予測タイプがIピクチャであり、対応する第1符号化データの予測タイプがIピクチャの時は、仮ピクチャ情報量LI を新ピクチャ情報量として出力する。
(b2) 第2符号化データの予測タイプがIピクチャであり、対応する第1符号化データの予測タイプがPピクチャ又はBピクチャの時は、発生情報量の多いピクチャはより情報量を多く持つようにパラメータαP (αP ≧1)、αL (αL ≧1)を決定して、αP ×LP 又はαB ×LB を新ピクチャ情報量として出力する。
(b3) 第2符号化データの予測タイプがPピクチャであり、対応する第1符号化データの予測タイプがPピクチャ又はBピクチャの時は、発生情報量の多いピクチャはより情報量が多く持つようにパラメータαP ’(αP ’<1)、αL ’(αL ’<1)を決定して、αP ’×LP 又はαB ’×LB を新ピクチャ情報量として出力する。
(b4) 第2符号化データの予測タイプがPピクチャであり、対応する第1符号化データの予測タイプがIピクチャの時は、パラメータαI ’(αI ’≦1)を決定して、αI ’×LI を新ピクチャ情報量として出力する。
新ピクチャ量算出部92は、新ピクチャ情報量の出力に同期して、該当する復号画像の読み出しを復号データ読み出し部36に指示すると共に、予測タイプ決定部91に予測タイプの決定を指示する。
復号データ読み出し部36は、新ピクチャ量算出部92の指示に従って、フレームメモリ33から復号画像を順次読み出す。予測タイプ決定部91は、一定の時間間隔毎にIピクチャで第2符号化データに再符号化ように、予測タイプを復号画像毎に決定する。
(c) 第2符号化
復号画像は、フレームメモリ33から復号データ読み出し部73により読み出される。読み出された復号画像は、符号化制御部80から出力される予測タイプに従って、動きベクトル検出部42、動き補償部44、減算器46及びDCT部48で順次処理が施されて、DCT部48から離散コサイン変換係数が出力される。
量子化パラメータ算出部64は、新ピクチャ情報量を第1量子化パラメータに変換する。量子化部50は、DCT部48から出力される離散コサイン変換係数に対して、第1量子化パラメータに従って量子化処理をする。可変長符号化部60により可変長符号化して、量子化制御部66で符号化量が制御する。
量子化部50及び可変長符号化部60で再度量子化、符号化を行い、第2符号化データをバッファ68に格納する。バッファ68に出力された第2符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
説明した第4実施形態によれば、Iピクチャの第2符号化データは、Pピクチャの第2符号化データよりも情報量を多く持つようにしたので、参照画像の元となる画像の画質を向上させることができ、再生画質を劣化させずに、効率的な符号化を行うことができる。
第5実施形態
図7は、本発明の第5実施形態による動画像再符号化装置の構成図であり、図5中の構成要素と実質的に同一の要素には同一の符号を附している。
第5実施形態の動画像再符号化装置が図5の動画像再符号化装置と異なる点は、シーンチェンジのフレーム画像については、Iピクチャで第2符号化を行うようにしたことである。これは、シーンチェンジのあったフレーム画像については、直前のフレーム画像と相関性が小さいので、Iピクチャで第2符号化を行うことにより、画質を向上させるためである。
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第2符号化データへの変換を行う変換装置であり、復号部20、符号化制御部100、符号化部76、量子化制御部66及びバッファ68を具備する。復号部20、符号化部76、量子化制御部66及びバッファ68は、第3実施形態と同様なので説明を省略する。
符号化制御部100は、復号画像の読み出し、シーンチャンジの検出及び第2符号化データの予測タイプの制御をするものであり、予測タイプ入力部72、復号データ読み出し部36、シーンチェンジ検出部102及び予測タイプ決定部104を有する。
予測タイプ入力部72、復号データ読み出し部36は、第3実施形態と同様なので説明を省略する。シーンチェンジ検出部102は、現復号画像がシーンチェンジのあったか否かを判別するものである。シーンチェンジの検出は、例えば、画素情報(現復号画像の画素情報が前復号画像の画素情報と全く異なる場合にシーンチェンジであるとする)や動きベクトル情報(動きベクトル情報が直前までと全く異なる場合にシーンチェンジであるとする)等により検出する。本実施形態では、動きベクトル情報によりシーンチェンジを検出するものとする。
予測タイプ決定部104は、一定間隔毎に、予測タイプをIピクチャとなるように予測タイプを決め、シーンチェンジのあった復号画像の予測タイプがPピクチャであれば、Iピクチャに予測タイプを変更するものである。
以下、図7の第5実施形態による動画像再符号化装置の動作説明をする。
(a) 復号
復号部20は、第1実施形態と同様にして、MPEG−2のMP@ML等の後方向予測もしくは両方向予測を用いたBピクチャを含む第1符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ33に格納すると共に、第1符号化データの予測タイプを符号化制御部90に出力する。
(b) 第2符号化制御
復号データ読み出し部36は、フレームメモリ33に格納された復号画像を読み出す。動きベクトル検出部42は、現復号画像と直前の復号画像とをブロックマッチング法等により比較して、動きベクトル情報を算出して、符号化制御部100及び動き補償部44に出力する。
予測タイプ入力部72は、可変長復号部22より予測タイプを入力して、メモリ等に格納する。シーンチェンジ検出部102は、現復号画像の動きベクトル情報と直前の復号画像の動きベクトル情報とを比較して、現復号画像の動きベクトル情報に閾値を越える変動が有れば、現フレームがシーンチェンジであると判断し、そうでなければ、現復号画像がシーンチェンジで無いと判断する。
予測タイプ決定部104は、一定間隔毎に、予測タイプをIピクチャとなるように第2符号化データの予測タイプを決める。予測タイプをIピクチャと決定した場合は、予測タイプを変更せずに予測タイプをIピクチャのままとする。予測タイプをPピクチャと決定した場合は、シーンチェンジのあった復号画像については、予測タイプをIピクチャに変更し、シーンチェンジのあった復号画像については、予測タイプをPピクチャのままとする。
(c) 第2符号化
動き補償部44は、動きベクトル情報と第2符号化データの予測タイプに従って、予測タイプがIピクチャであれば、零を出力し、予測タイプがPピクチャであれば、フレームメモリ58から前ローカルデコード画像をリードして、動き補償をする。減算器46で現復号画像と動き補償部44の出力との差分を取り、予測誤差を算出する。DCT部48は、DCT処理を行う。
量子化部50は、予測タイプがIピクチャの方がPピクチャよりも情報量が多くなるような量子化パラメータに従って量子化処理を行う。可変長符号化部60により可変長符号化して、量子化制御部66で符号化量が制御する。
量子化部50及び可変長符号化部60で再度量子化、符号化を行い、第2符号化データをバッファ68に格納する。バッファ68に出力された第2符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
説明した第5実施形態によれば、シーンチェンジのフレーム画像はIピクチャで第2符号化をするようにしたので、シーンチェンジの第2符号化データに情報量を多く持たせることができ、再生画質を劣化させずに、効率的な符号化を行うことができる。
第6実施形態
図8は、本発明の第6実施形態による動画像再符号化装置の構成図であり、図2中の構成要素と実質的に同一の要素には同一の符号を附している。
第6実施形態の動画像再符号化装置が図2の動画像再符号化装置と異なる点は、第1符号化データのIピクチャの発生情報量に対するPピクチャやBピクチャの第1符号化データの発生情報量の比率に従って、Bピクチャの第1符号化データを第2符号化データに符号化する時のピクチャ情報量を決定するようにしたことである。
PピクチャやBピクチャの第1符号化データについて、直前や直後のフレームと相関性の少ないフレーム画像等は、相関性の大きなPピクチャやBピクチャの第1符号化データよりも情報量が多い。情報量のより多いPピクチャやBピクチャの第1符号化データは、情報量の少ないPピクチャやBピクチャよりも第2符号化データに情報量を多く持たせることが画質の向上に寄与すると考えられるからである。Iピクチャの発生情報量との比率を取るのは、Iピクチャはピクチャ内予測であり、持つ情報量にバラツキが少ないと考えられるからである。
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第2符号化データへの変換を行う変換装置であり、復号部20、符号化制御部110、符号化部40、量子化制御部66及びバッファ68を具備する。復号部20、符号化部40、量子化制御部66及びバッファ68は、第1実施形態と同様なので説明を省略する。
符号化制御部110は、復号画像の読み出しの制御、第2符号化の予測タイプの決定、第1符号化データの予測タイプと発生情報量の比率に応じて、新ピクチャ情報量を決定するものであり、予測タイプ・発生情報量入力部32、復号データ読み出し部36、予測タイプ決定部37、ピクチャ情報量比率算出部112及び新ピクチャ量算出部114を有する。
予測タイプ・発生情報量入力部35、復号データ読み出し部36及び予測タイプ決定部37は、第2実施形態と同様なので説明を省略する。ピクチャ情報量比率算出部112は、Iピクチャの発生情報量に対するPピクチャの発生情報量の比率RP 及びBピクチャの発生情報量の比率RB を算出するものである。
Iピクチャの発生情報量とは、Pピクチャ又はBピクチャの直前のIピクチャの復号画像に含まれる全ての第1符号化データの発生情報量の平均値又は同一ブロックの第1符号化データの発生情報量をいう。
新ピクチャ量算出部114は、第2符号化データの予測タイプ、比率RP 、RB 及び予測タイプ毎の仮ピクチャ情報量LI 、LP 、LB から新ピクチャ情報量を以下のように決定するものである。
第1符号化データの予測タイプがIピクチャであれば、新ピクチャ情報量=仮ピクチャ情報量LI 、第1符号化データの予測タイプがPピクチャであれば、新ピクチャ情報量=仮ピクチャ情報量LP ×RP ×αP (αP は定数)、第1符号化データの予測タイプがBピクチャであれば、新ピクチャ情報量=仮ピクチャ情報量LB ×RB ×αB (αB は定数)とする。
以下、図8の第6実施形態による動画像再符号化装置の動作説明をする。
(a) 復号
復号部20は、第1実施形態と同様にして、MPEG−2のMP@ML等の後方向予測もしくは両方向予測を用いたBピクチャを含む第1符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ33に格納すると共に、第1符号化データの予測タイプ・発生情報量を符号化制御部110に出力する。
(b) 第2符号化制御
予測タイプ・発生情報量入力部35は、可変長復号部22より予測タイプ及び発生情報量を入力し、予測タイプがIピクチャならば、Iピクチャに対して、ピクチャ単位又はブロック単位に設けた該当するメモリ領域に発生情報量を格納する。尚、ピクチャ単位の場合であれば、直前の1つのIピクチャのブロックの第1符号化データの発生情報量の平均値を格納する。
予測タイプ決定部37は、一定間隔のフレーム毎に、第2符号化データの予測タイプがIピクチャとなるように予測タイプを決定する。
ピクチャ比率算出部112は、第1符号化データの予測タイプがPピクチャ又はBピクチャならば、Iピクチャの発生情報量(ブロック単位の場合は、対応するブロックの発生情報量)に対するそのピクチャの発生情報量の比率RP 又はRB を算出して、メモリに格納する。
新ピクチャ量算出部114は、第2符号化データの予測タイプがIピクチャであれば、新ピクチャ情報量=仮ピクチャ情報量LI 、第1符号化データの予測タイプがPピクチャであれば、新ピクチャ情報量=仮ピクチャ情報量LP ×RP ×αP (αP は定数)、第1符号化データの予測タイプがBピクチャであれば、新ピクチャ情報量=仮ピクチャ情報量LB ×RB ×αB (αB は定数)とすると共に、復号データ読み出し部36に該当する復号画像の読み出しを指示する。復号データ読み出し部36は、新ピクチャ量算出部114の指示に従って、フレームメモリ33から復号画像の読み出しを行う。
(c) 第2符号化
量子化パラメータ算出部64は、新ピクチャ情報量を入力して、テーブルを参照して、新ピクチャ情報量に対応する第1量子化パラメータを算出する。動きベクトル検出部42、動き補償部44、減算器46及びDCT部48により、予測誤差信号のDCT処理をする。
量子化部50は、第1量子化パラメータに従って、量子化をする。可変長符号化部60は、可変長符号化をして、符号化情報を量子化制御部66に出力する。量子化制御部66は、バッファ68の占有率から第2量子化パラメータを決定する。量子化部50は、第2量子化パラメータに従って、量子化を行い、可変長符号化部60は、可変長符号化を行って、バッファ68に格納する。バッファ68に出力された第2符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
説明した第6実施形態によれば、第1符号化データの予測タイプ及び発生情報量の比率に応じて、ピクチャ情報量を制御するようにしたので、再生画質を劣化させずに、効率的な符号化を行うことができる。
第7実施形態
図9は、本発明の第7実施形態による動画像再符号化装置の構成図であり、図2中の構成要素と実質的に同一の要素には同一の符号を附している。
第7実施形態の動画像再符号化装置が図2の動画像再符号化装置と異なる点は、第1符号化データのIピクチャの量子化コードに対するPピクチャやBピクチャの第1符号化データの量子化コードの比率に従って、Bピクチャの第1符号化データを第2符号化データに再符号化する時の第1量子化パラメータを決定するようにしたことである。
ここで、量子化コードとは、8×8のブロックに対して、予め決められた量子化係数に掛ける定数であり、量子化コードにより発生情報量が制御される。即ち、量子化コードが大きければ、量子化係数が大きくなり、第1符号化データが小さくなり、発生情報量が少なくなる。よって、量子化コードによって発生情報量を推測することが可能であり、この量子化コードにより第2符号化データの情報量を制御する。
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたBピクチャを含んだ第1符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第2符号化データへの変換を行う変換装置であり、復号部120、符号化制御部122、符号化部130、量子化制御部66及びバッファ68を具備する。
復号部120中の可変長復号部121は、第1符号化データの予測タイプ及び量子化コードを符号化制御部122に出力することが第1実施形態の可変長復号部22と異なる。復号部120の他の要素は、第1実施形態の復号部20の要素と実質的に同一なので説明を省略する。
符号化制御部122は、復号画像の読み出し制御、第2符号化の予測タイプの決定、第1符号化データの予測タイプと量子化コードの比率に応じて、第1量子化パラメータを決定するものであり、予測タイプ・量子化情報入力部124、復号データ読み出し部36、予測タイプ決定部37、量子化情報比率算出部125及び新量子化パラメータ量算出部126を有する。
予測タイプ・量子化情報入力部124は、可変長復号部121より予測タイプ及び量子化コードを入力するものである。復号データ読み出し部36及び予測タイプ決定部37は、第1実施形態と実質的に同一なので説明を省略する。
量子化情報比率算出部125は、Iピクチャの量子化コードに対するPピクチャの量子化コードの比率CP 及びBピクチャの量子化コードの比率CB を算出するものである。
新量子化パラメータ算出部126は、第1符号化データの予測タイプ、比率CP 、CB 及び予測タイプ毎の仮量子化コードKI 、KP 、KB から第1量子化パラメータ(量子化コード)を以下のように決定するものである。
第1符号化データの予測タイプがIピクチャであれば、第1量子化コード=仮量子化コードKI 、第1符号化データの予測タイプがPピクチャであれば、第1量子化コード=仮量子化コードKP ×CP ×αP (αP は定数)、第1符号化データの予測タイプがBピクチャであれば、第1量子化コード=仮量子化コードKB ×CB ×αB (αB は定数)とする。
符号化部130中の仮量子化パラメータ算出部132は、第1符号化データの予測タイプ毎に仮量子化コードKI 、KP 、KB (KI <KP <KB )を算出するものである。符号化部130中の他の要素は、第1実施形態の符号化部40中の要素と実質的に同一なので説明を省略する。
以下、図9の第7実施形態による動画像再符号化装置の動作説明をする。
(a) 復号
復号部20は、第1実施形態と同様にして、MPEG−2のMP@ML等の後方向予測もしくは両方向予測を用いたBピクチャを含む第1符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ33に格納すると共に、第1符号化データの予測タイプ・量子化コードを符号化制御部122に出力する。
(b) 第2符号化制御
予測タイプ・量子化コード入力部124は、可変長復号部121より予測タイプ及び量子化コードを入力し、予測タイプがIピクチャならば、Iピクチャに対して、ピクチャ単位又はブロック単位に設けた該当するメモリ領域に量子化コードを格納する。尚、ピクチャ単位の場合であれば、直前の1ピクチャのブロックの第1符号化データの量子化コードの平均値を格納する。
予測タイプ決定部37は、一定間隔のフレーム毎に、第2符号化データの予測タイプがIピクチャとなるように予測タイプを決定する。
仮量子化パラメータ算出部132は、第1符号化データの予測タイプ毎に仮量子化コードKI 、KP 、KB (KI <KP <KB )を算出して、符号化制御部122に出力する。
量子化コード比率算出部125は、第1符号化データの予測タイプがPピクチャ又はBピクチャならば、Iピクチャの量子化コード(ブロック単位の場合は、対応するブロックの量子化コード)に対するそのピクチャの量子化コードの比率CP 又はCB を算出して、メモリに格納する。
新量子化パラメータ算出部126は、第1符号化データの予測タイプがIピクチャであれば、第1量子化パラメータ=仮量子化コードKI 、第1符号化データの予測タイプがPピクチャであれば、第1量子化パラメータ=仮量子化コードKP ×CP ×αP (αP は定数)、第1符号化データの予測タイプがBピクチャであれば、第1量子化パラメータ=仮量子化コードKB ×CB ×αB (αB は定数)とする。
(c) 第2符号化
動きベクトル検出部42、動き補償部44、減算器46及びDCT部48により、予測誤差信号のDCT処理をする。量子化部50は、第1量子化パラメータに従って、量子化をする。可変長符号化部60は、可変長符号化をして、符号化情報を量子化制御部66に出力する。量子化制御部66は、バッファ68の使用率から第2量子化パラメータを決定する。
量子化部50は、第2量子化パラメータで量子化を行い、可変長符号化部60は、可変長符号化を行って、バッファ68に格納する。バッファ68に出力された第2符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
説明した第7実施形態によれば、第1符号化データの予測タイプ及び量子化コードの比率に応じて、ピクチャ情報量を制御するようにしたので、再生画質を劣化させずに、効率的な符号化を行うことができる。
尚、本実施形態では、第1〜第7実施形態をそれぞれ独立した構成にしたが、任意に組合せて構成してもよい。