JP3532709B2 - 動画像符号化方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を複数
回にわたって符号化することにより高画質化を実現する
動画像符号化方法および装置に関する。

【０００２】

【従来の技術】動画像符号化方式の国際標準であるＭＰ
ＥＧ２を用いて動画像信号の記録再生を行うディジタル
ビデオディスク（ＤＶＤ）において、高画質化を目的と
して可変レート伝送方式により限られたディスク容量の
中で最適な符号量配分（割り当て）を行う方法が考えら
れている。ＭＰＥＧ２ではエントロピ符号化を用いてい
るため、画像の動きや精細度といった画像の性質に応じ
て、均一な画質を実現するためのデータ量が時間的に変
化する。

【０００３】通常の固定レート伝送では、一定の符号化
レートで符号化を行うため、画質の安定性を実現するた
めには所定レート以上での符号化が必要となる。これに
対して、可変レート伝送が可能なＤＶＤのようなメディ
アでは、画像の性質に応じて動画像信号の所定単位毎に
符号量を適切に配分することにより、固定レートの場合
の伝送ビットレートより低い平均ビットレートで安定し
た画質を実現することが可能となる。

【０００４】そこで、ＤＶＤを想定した適切な符号量配
分を行う方法として、動画像シーケンス全体にわたっ
て、すなわち例えば動画像が映画などの場合は、各タイ
トル毎に全体にわたって１回目の符号化を行い、これに
より得られたデータ量に応じて符号量配分を行って、２
回目の符号化を行う方式がいくつか提案されている。こ
の方式では、各タイトル毎に２回の符号化を必要とする
ため、同一内容の映画などを画像の標準方式（ＮＴＳ
Ｃ，ＨＤＴＶ，ＰＡＬ等）や解像度（画素サイズ）など
の異なる複数のフォーマットの動画像信号として生成
し、これらを符号化する場合においても、それぞれのフ
ォーマットについて少なくとも２回の符号化を必要とす
る。従って、総符号化回数が非常に多くなり、処理時間
が長くかかってしまう。

【０００５】また、ＭＰＥＧ２のような動き補償予測を
用いた動画像符号化方式では、動きベクトル検出が処理
量の多くを占めるのであるが、上述したように同一内容
の映像などの動画像信号を複数回にわたった符号化する
際には、各符号化毎にほぼ同様な動き検出を繰り返すと
いう冗長性が含まれており、処理量の増大の要因となっ
ている。

【０００６】

【発明が解決しようとする課題】上述したように、従来
では適切な符号量配分のために同一内容の動画像信号を
複数回にわたって符号化する場合、動画像信号のフォー
マット毎に複数回の符号化を行うため、総符号化回数が
多くなるという問題と、特に符号化に動き補償予測を用
いた場合、各符号化毎に処理量の多い動きベクトル検出
を行うために処理の冗長性が大きいという問題があっ
た。

【０００７】本発明は、同一内容でフォーマットの異な
る複数の動画像信号を適切な符号量配分のために複数回
にわたって符号化する際の総符号化回数を削減する動画
像符号化方法および装置を提供することを主な目的とす
る。

【０００８】また、複数回の符号化において繰り返し行
う動きベクトル検出の冗長性を排除して、検出精度を階
層的に向上させることで処理量の削減または動き検出精
度の向上を図ることができる動画像符号化方法を提供す
ることを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、本発明の動画像符号化方法は、所定フォーマットの
第１の動画像信号を入力して、例えば一定の量子化ステ
ップ幅で第１の符号化を行った後、第１の動画像信号を
入力して、第１の符号化時の所定単位毎の発生符号量に
応じた所定単位毎の符号量配分の下で第２の符号化を行
い、さらに第１の動画像信号と同一内容でフォーマット
の異なる第２の動画像信号を入力して、第１の符号化時
の所定単位毎の発生符号量に応じた所定単位毎の符号量
配分の下で第２の符号化を行うことを基本的な特徴とす
る。所定単位とは、例えばフレーム単位つまり画面単
位、またはマクロブロックのような領域単位である。

【００１０】ここで、第１および第２の動画像信号のフ
ォーマットは、具体的には空間解像度、有効画素領域ま
たはフレームレートが異なっている。このように同一内
容でフォーマットの異なる第１および第２の動画像信号
を２回にわたって符号化する場合、それらの動画像信号
の内容が同じであることに着目して、第１の動画像信号
の第１の符号化時の発生符号量のデータに基づく符号量
配分の下で、第１および第２の動画像信号について第２
の符号化を行うことにより、実質的に第１の符号化を第
１および第２の動画像信号で共有化して、総符号化回数
の削減を達成できる。

【００１１】また、第１の符号化において内容の異なる
複数の動画像信号のそれぞれの少なくとも一部を連結し
て合成した合成画像データを符号化し、第２の符号化に
おいて第１の符号化時の各動画像信号領域毎の発生符号
量に応じて該複数の動画像信号のそれぞれに対して所定
単位毎の符号量配分を行って、該複数の動画像信号を符
号化するようにしてもよい。この場合には、第１の符号
化を内容の異なる複数の動画像信号の合成画像データに
対して一度に行うため、複数の動画像信号について個々
に第１の符号化を行う方法に比較して、総符号化回数が
大幅に削減される。

【００１２】さらに、本発明はＭＰＥＧに見られるよう
に、第１および第２の符号化にそれぞれ第１および第２
の動きベクトルを探索して動き補償予測を行う処理を含
む場合、第１の符号化時には広い探索範囲で第１の動き
ベクトルの探索を粗く行い、第２の符号化時には第１の
動きベクトルの近傍の狭い探索範囲で第２の動きベクト
ルの探索を細かく行うことを特徴とする。

【００１３】このように階層的に動きベクトルの検出を
行うようにすると、動きベクトル検出の高精度化による
高画質化が可能となり、あるいは動きベクトル検出精度
を落とさずに動きベクトル検出のための処理量の減少に
よるハードウェアの削減が可能となる。

【００１４】また、この場合に第１の符号化で得られた
第１の動きベクトルの情報を含む符号化データを蓄積し
ておき、この符号化データから第１の動きベクトルを抽
出して、第１の動きベクトルを第２の動きベクトルの探
索中心とするようにすれば、第１の動きベクトルの情報
を蓄積するためのメモリが不要となる。

【００１５】さらに、上述した動画像符号化方法を実現
する本発明の動画像符号化装置は、同一内容の動画像信
号をフォーマットの異なる複数の動画像信号に変換する
フォーマット変換手段と、これら複数の動画像信号を蓄
積媒体に記録する記録手段と、蓄積媒体から再生される
動画像信号を符号化して符号化データを出力する符号化
手段と、動画像信号の所定単位毎に符号化データの符号
量を配分する符号量配分手段と、符号化手段の発生符号
量を計測し、符号量配分手段による配分符号量との誤差
に応じて符号化手段の符号化レートを制御する符号化レ
ート制御手段と、符号化動作の一連のシーケンスを制御
するシーケンス制御手段とを有する。

【００１６】そして、シーケンス制御手段は、符号化手
段に蓄積媒体から再生される所定フォーマットの第１の
動画像信号を入力して、第１の符号化を行わせた後、第
１の動画像信号を入力して、第１の符号化時の所定単位
毎の発生符号量に応じた所定単位毎の符号量配分の下で
第２の符号化を行わせ、さらに蓄積媒体から再生される
第１の動画像信号とフォーマットが異なる第２の動画像
信号を入力して、第１の符号化時の所定単位毎の発生符
号量に応じた所定単位毎の符号量配分の下で第２の符号
化を行わせる。

【００１７】

【発明の実施の形態】

（第１の実施形態）まず、図１〜図１０を用いて本発明
の第１の実施形態を説明する。図１は、本実施形態に係
る動画像符号化装置の構成を示すブロック図である。

【００１８】図１において、動画像信号蓄積装置１０か
ら読み出された動画像信号３０は画像フォーマット変換
回路１１により予め指定された画像フォーマットに変換
される。フォーマット変換後の動画像信号は、データ線
３１を介して動画像信号蓄積装置１０に再び記録された
り、あるいはデータ線３４を介して符号化部へ送られ
る。

【００１９】データ線３４からの入力動画像信号は、符
号化部においてまず動きベクトル検出回路１２に入力さ
れ、マクロブロック単位の動きベクトルが検出される。
検出された動きベクトルはデータ線３５より入力動画像
信号と共に出力される。符号化モードはマクロブロック
毎に予測符号化モードとイントラ符号化モードのいずれ
かをとり、予測符号化マクロブロックでは、動き補償回
路１３で算出された参照画像メモリ２２からの参照画像
信号４８と入力動画像信号との差分である予測誤差信号
がデータ３６線に出力され、またイントラマクロブロッ
クでは入力動画像信号がデータ線３６に出力される。こ
のデータ線３６上の信号は、ＤＣＴ（離散コサイン変
換）回路１４により離散コサイン変換される。

【００２０】ＤＣＴ回路１４から出力されたＤＣＴ係数
３７は量子化器１５により量子化され、量子化データ３
８は可変長符号化器１６により可変長符号化されて符号
化データ３９として出力される。また、参照画像信号と
して用いられる画像のマクロブロックでは、量子化デー
タ４５は逆量子化器２０により逆量子化され、これによ
り得られたＤＣＴ係数４６が逆ＤＣＴ回路２１により逆
離散コサイン変換されて局部復号化が行われ、局部復号
画像信号４７が参照画像メモリ２２に参照画像信号とし
て書き込まれる。

【００２１】可変長符号化器１６は、符号化データ３９
を出力するとともに、この符号化データ３９の発生符号
量を示す発生符号量データ４０をレート制御部１７に送
る。レート制御部１７では、発生符号量データ４０から
次マクロブロックの量子化ステップ幅を算出して、量子
化ステップ幅データ４９を量子化器１５へ送る。

【００２２】符号量配分部１８は、フレームまたはＧＯ
Ｐ（Group Of Pictures)単位に、画像フォーマット情報
や指定されたビットレート、発生符号量データメモリ１
９に記録された発生符号量データ４４等に応じて符号量
配分を行い、その結果である符号量配分データ４２をレ
ート制御部１７に送る。また、符号量配分部１８ではレ
ート制御部１７を介して発生符号量データ４１が入力さ
れており、これを次の符号量配分の決定に用いる。さら
に、符号量配分部１８を介して出力される発生符号量デ
ータ４３は、発生符号量データメモリ１９に記録され
る。

【００２３】シーケンス制御部２３は、上述した動画像
符号化装置全体の動作シーケンスを制御するものであ
る。次に、本実施形態の動画像符号化装置の動作を説明
する。本実施形態の動画像符号化装置は、１回のリアル
タイム符号化を行う１回符号化モードと、同一内容の動
画像信号を複数回にわたり符号化することで高画質化を
実現する複数回符号化モードを備えている。本発明は後
者の複数回符号化モードに特徴を有する。この複数回符
号化モードでは、まず動画像信号蓄積装置１０から読み
出された動画像信号を固定の量子化ステップ幅で符号化
する第１の符号化を行う。また、その際の発生符号量デ
ータ４３は発生符号量データメモリ１９に記録される。

【００２４】次に、第１の符号化で発生符号量データメ
モリ１９に記録された発生符号量データに基づき、図２
に示すような符号量配分を符号量配分部１８により行っ
て第２の符号化を行う。図２（ａ）は、第１の符号化に
おける発生符号量の時間変化５０を示している。図２
（ｂ）は、（ａ）のグラフに対する符号量割り当て結果
５１と平均レート５２を示している。図２に示すよう
に、固定の量子化ステップ幅で符号化した第１の符号化
における発生符号量の大小に応じて、時間的に符号量を
配分することで、一定の平均レートの下で符号化画像の
画質をより安定化させることが可能である。式（１）
に、第２の符号化における符号量配分の具体例を示す。

【００２５】

【数１】

【００２６】ここで、Ａ（ｎ）は割り当て符号量、Ｇ
（ｎ）は第１の符号化における発生符号量、Ｋは総割り
当て符号量が所定の値Ｔとなるように定めた定数、Ｆは
非線型単調増加関数である。また、ｎはフレーム単位の
符号量配分を行う場合はフレーム番号、またマクロブロ
ック単位の符号量配分を行う場合はマクロブロック番号
を示す。図３に、非線型単調増加関数Ｆの例を示す。

【００２７】図４（ａ）（ｂ）に、従来の動画像符号化
装置における符号化処理手順と本実施形態における符号
化処理手順を対比して示す。図４（ｂ）に示す本実施形
態による符号化手順は、図１中のシーケンス制御部２３
によって制御される。

【００２８】従来、例えば映画フィルムからＮＴＳＣ信
号やＨＤＴＶ信号といった解像度やフレームレートが異
なる複数の画像フォーマットの動画像信号を生成し、複
数回符号化によって高画質の符号化データを生成する場
合、図４（ａ）に示すようにそれぞれの動画像信号につ
いて複数回の符号化を必要とした。すなわち、入力動画
像信号を画像フォーマット変換し（ステップ６０）、Ｎ
ＴＳＣ信号について第１の符号化とそれに基づく符号量
配分および第２の符号化を行う（ステップ６５〜６
８）、同様に、ＨＤＴＶ信号について第１の符号化とそ
れに基づく符号量配分および第２の符号化を行う（ステ
ップ６１〜６４）。

【００２９】これに対し、本発明の実施形態では図４
（ｂ）に示すように、まず入力動画像信号を画像フォー
マット変換し（ステップ７０）、第１の符号化はＮＴＳ
Ｃ信号のみで行い（ステップ７５〜７６）、この時の発
生符号量データに基づいて前述のように符号量配分を行
い（ステップ７７）、その結果に従って第２の符号化を
行う（ステップ７８）。一方、ＨＤＴＶ信号について
は、ＮＴＳＣ信号の第１の符号化で得られた発生符号量
データを解像度の違いを考慮してデータ変換し（ステッ
プ７２）、変換後の発生符号量推定データを用いて符号
量配分を行い（ステップ７３）、その結果を用いて第２
の符号化を行う（ステップ７１〜７４）。従って、本実
施形態によると第１の符号化が１回のみでよいため、従
来に比較して総符号化回数を３／４に削減することが可
能となる。図５に、図４におけるデータ変換ステップ７
２の変換関数の例を示す。

【００３０】図６は、本実施形態において同一内容の入
力動画像信号から画素数の異なる複数の動画像信号を作
成し、入力動画像信号とその画素数を変換した動画像信
号のそれぞれについて符号化を行う例を示している。

【００３１】図６（ａ）は、入力動画像信号のフレーム
サイズの領域８０と、その両端を削除した領域８１を示
している。これら２つの領域８０，８１の符号化データ
を作成する場合、図４に示したフローチャートにおいて
ＮＴＳＣ信号７５を領域８１の画像信号に、またＨＤＴ
Ｖ信号７１を領域８０の信号にそれぞれ置き換えた形の
処理手順とする。すなわち、領域８１の信号のみ第１の
符号化を行い、その発生符号量データを変換して領域８
０全体の符号量配分のための発生符号量推定データとす
る。図７に、領域８１の発生符号量ｘのデータを領域８
０全体の推定発生符号量ｙのデータに変換するための変
換関数の例を示す。

【００３２】図６（ｂ）は、入力動画像信号のフレーム
サイズの領域９０と、そのアスペクト比を例えば１６：
９から４：３へというように変換して水平方向の画素数
を削減した領域９１を示している。これら２つの領域９
０，９１の符号化データを作成する場合も同様に、アス
ペクト変換された画像信号のみについて第１の符号化を
行い、アスペクト変換された動画像信号については、第
１の符号化時の発生符号量データに基づき符号量配分を
行い、第２の符号化を行う。また、入力画像信号につい
ては、アスペクト変換された動画像信号の第１の符号化
で得られた発生符号量データを変換して推定発生符号量
データを作成し、そのデータに基づいて符号量配分を行
って、第２の符号化のみを行う。

【００３３】図８に、アスペクト変換された縮小画像の
発生符号量ｘのデータを入力画像信号の推定発生符号量
ｙのデータに変換するための変換関数の例を示す。図９
および図１０は、本実施形態においてフレームレートの
異なる動画像信号間で第１の符号化を共有化させる例を
示している。図９は、フレームレートの異なるＨＤＴＶ
信号の例であり、１０１，１０２，…はフレームレート
３０ＨｚのＨＤＴＶ動画像フレーム、１２１，１２２，
…はフレームレート２９．９７ＨｚのＨＤＴＶ動画像フ
レームを示しており、それぞれ同一の内容の動画像信号
である。このように、同一の内容でフレームレートの異
なる動画像信号を符号化する際、３０Ｈｚあるいは２
９．９７Ｈｚのいずれらか一方についてのみ第１の符号
化を行って、第１の符号化における発生符号量データを
共有化させ、総符号化回数を削減することが可能であ
る。

【００３４】図１０では、１４１，１４２，…はフレー
ムレート２４Ｈｚの映画フィルム、１７１，１７２，…
はフレームレート２９．９７ＨｚのＮＴＳＣ信号のフィ
ールド、１５１，１５２，…はフレームレート２５Ｈｚ
のＰＡＬ信号のフィールドをそれぞれ示している。

【００３５】フレームレート２４Ｈｚの映画フィルムの
映像をＮＴＳＣ信号に変換する場合は、フィルムの各コ
マを飛び越しスキャンしてフィールドに落とし、５フィ
ールドに１回の割合で２度出しを行うフィールドを挿入
して３０Ｈｚのフレームレートに変換し、それを２９．
９７Ｈｚで再生する方法（３：２プルダウンと呼ぶ）が
一般的である。また、フレームレート２４Ｈｚの映画フ
ィルムの映像をＰＡＬ信号に変換する場合、飛び越しス
キャンを行った信号をそのまま２５Ｈｚで再生する方法
が一般に用いられている。

【００３６】ＭＰＥＧ２の符号化方式では、このように
映画フィルムから作成された信号を映画の２４Ｈｚのフ
レーム信号に戻して符号化する手段が含まれている。す
なわち、ＮＴＳＣ信号において２度出しされたフィール
ドを削減し、インターレーススキャンの各フィールドを
マージして２４Ｈｚのフレーム信号に生成した後に、符
号化を行うというものである。このような場合、同一の
内容の映像信号であれば、ＮＴＳＣ信号とＰＡＬ信号と
で符号化フレームの構成が一致し、もとの２４Ｈｚのフ
レームレートで符号化されることになる。従って、本実
施形態に基づき同一内容のＮＴＳＣ信号とＰＡＬ信号と
で第１の符号化を共有化させることで、総符号化回数を
削減することが可能となる。

【００３７】（第２の実施形態）次に、図１１〜図１４
を用いて本発明の第２の実施形態を説明する。図１１
は、本実施形態の処理手順を示すフローチャートであ
る。この例では、内容の異なる複数の動画像信号Ａ２０
１，Ｂ２０２，Ｃ２０３，Ｄ２０４を符号化する場合
に、画像フォーマット変換ステップ２０５において、信
号Ａ，Ｂ，ＣについてはＮＴＳＣ信号２０６，２０７，
２０８にそれぞれ変換して符号化し、また信号Ｄについ
てはＮＴＳＣ信号２０９とＨＤＴＶ信号２１１に変換し
て符号化する。画像フォーマット変換ステップ２０５で
は、さらに動画像信号Ａ，Ｂ，Ｃ，Ｄに関する各ＮＴＳ
Ｃ信号２０６，２０７，２０８，２０９と、動画像信号
Ｄに関するＨＤＴＶ信号２１１を出力するほかに、画像
合成ステップ２１０において信号Ａ，Ｂ，Ｃ，Ｄをそれ
ぞれ１画面分ずつ計４画面分連結して１フレームとした
合成動画像信号を作成する。

【００３８】第１の符号化ステップ２２４においては、
ステップ２１０で得られた動画像合成信号のみを符号化
する。そして、動画像信号Ａ，Ｂ，Ｃ，Ｄの各画像領域
毎に第１の符号化ステップ２２４で得られた発生符号量
データをステップ２１２，２１５，２１８，２２１，２
２５でデータ変換して独立に収集する。動画像信号Ａ，
Ｂ，Ｃ，Ｄに対して、ステップ２１２，２１５，２１
８，２２１，２２５でデータ変換を行った後の発生符号
量データに基づいて、動画像信号Ａ，Ｂ，Ｃ，Ｄに関す
る各ＮＴＳＣ信号２０６，２０７，２０８，２０９およ
び動画像信号Ｄに関するＨＤＴＶ信号２１１を符号化す
るための符号量配分をステップ２１３，２１６，２１
９，２２２，２２６でそれぞれ独立に行い、それぞれの
動画像信号Ａ，Ｂ，Ｃ，Ｄに対する第２の符号化を第２
の符号化ステップ２１４，２１７，２２０，２２３，２
２７でそれぞれ独立に行う。

【００３９】なお、第２の符号化ステップ２１４，２１
７，２２０，２２３，２２７での動画像信号Ａ，Ｂ，
Ｃ，Ｄの符号化は、符号化器を並列化して同時に行うこ
とも可能であり、また単一の符号化器で順次行うことも
可能である。

【００４０】本実施形態によると、第１の符号化を動画
像信号Ａ，Ｂ，Ｃ，Ｄの合成動画像信号について行うた
め、各動画像信号Ａ，Ｂ，Ｃ，Ｄ毎に２回の符号化を行
う場合に比べて、６／１０の符号化回数で全ての符号化
を行うことが可能となる。

【００４１】図１２〜１４に、図１１中の画像合成ステ
ップ２１０における動画像合成方法の種々の例を示す。
図１２は、Ａ，Ｂ，Ｃ，Ｄ各動画像信号のＮＴＳＣ信号
フレームをそのまま連結して、ＮＴＳＣフォーマットの
４倍のフレームサイズの合成動画像信号を生成する例で
ある。この場合は、ＨＤＴＶ信号用の符号化装置を用い
て第１の符号化を行う。図１３は、Ａ，Ｂ，Ｃ，Ｄ各動
画像信号のＮＴＳＣ信号を１／４のフレームサイズに縮
小して連結することにより合成動画像信号を生成する例
である。この場合は、ＮＴＳＣ信号用の符号化装置を用
いて、第１の符号化を行うことが可能である。図１４
は、Ａ，Ｂ，Ｃ，Ｄ各動画像信号のフレームの中央付近
の画像データのみを抽出および縮小して、それらを合成
する例を示している。

【００４２】（第３の実施形態）次に、図１５および図
１６を用いて本発明の第３の実施形態を説明する。図１
５は、本実施形態に係る動画像符号化装置の構成を示す
ブロック図である。図１と同一部分に同一符号を付して
第１の実施形態との相違点を説明すると、本実施形態で
は第１の実施形態に加えて動き補償回路１３から動き補
償に用いたベクトル情報を出力して動きベクトルデータ
メモリ３００に記録する機能と、動きベクトルデータメ
モリ３００に記録された動きベクトル情報に基づき、動
きベクトル検出回路１２の探索中心位置を決定する機能
を有している。

【００４３】本実施形態によると、同一内容の動画像信
号を複数回符号化する場合において、前段階の符号化で
検出された動きベクトルを動きベクトルデータメモリ３
００に記録し、後段階の符号化において動きベクトルデ
ータメモリ３００に記録されている前段階の動きベクト
ルを探索中心として、動きベクトルの再探索を行う。前
段階での探索では、粗い精度の探索を行い、後段階の探
索では細かな精度の探索を行うことで、１回で符号化を
終了する場合に比べて、同一探索範囲を少ないハードウ
ェア規模で探索するか、あるいは同一のハードウェア規
模でより広い探索範囲を高精度に探索することが可能と
なる。

【００４４】図１６は、本実施形態における１フレーム
内の１つのマクロブロックに着目した探索点を示してい
る。ここでは、同一の動画像信号を第１の符号化と第２
の符号化の２回符号化する例を示している。第１の符号
化では、発生符号量データを収集するため固定の量子化
ステップ幅で符号化を行うとともに、符号化すべきマク
ロブロックのフレーム内位置５００を中心とした範囲５
０１のマッチングによる第１の動きベクトルの探索を行
う。記号５０２で示した点は、範囲５０１内の動きベク
トルの各探索点をそれぞれ示している。

【００４５】第２の符号化では、第１の符号化で得られ
た動きベクトル５１０を探索中心とした第２の動きベク
トル探索を行う。第２の動きベクトル探索においても、
第１の動きベクトル探索と同様にマッチングによる探索
を行う。ただし、第２の動きベクトル探索では、探索範
囲を水平、垂直方向ともに第１の動きベクトル探索範囲
の１／２に落とし、逆に探索精度を水平、垂直方向とも
に２倍に上げた高密度探索を行う。図中、５１１は第２
の符号化における動きベクトルの探索範囲を示してお
り、また記号５１２で示した点は第２の符号化における
範囲５１１内の動きベクトルの各探索点を示している。

【００４６】第２の実施形態で説明したように、縮小画
像を用いて第１の符号化を行う場合（図１４）において
は、縮小画像を用いた第１の符号化で得られた動きベク
トルをその縮小率に応じて拡大し、それを第２の符号化
における動きベクトル探索の探索中心として用いること
が可能である。この場合、入力動画像信号に対する動き
ベクトル探索範囲および探索精度を第１の符号化および
第２の符号化で同一としておいても、第１の符号化にお
ける入力画像の画素数が間引かれているため、縮小画像
の符号化を行う第１の符号化では粗い動きベクトル探
索、原画像信号の符号化を行う第２の符号化では高精度
な探索がそれぞれなされ、図１６と等価な階層的動きベ
クトル検出が実現可能となる。

【００４７】（第４の実施形態）図１７は、本発明の第
４の実施形態に係る動画像符号化装置の構成を示すブロ
ック図である。図１および図１５と同一部分に同一符号
を付して説明すると、本実施形態では符号化データを動
画像符号化データ蓄積装置４００に記録する機能と、符
号化データを入力して動きベクトル情報を抽出する動画
像符号化データ文法解析装置４１２が新たに設けられて
いる。

【００４８】本実施形態では、まず量子化ステップ幅を
固定にした第１の符号化において、発生符号量データを
発生符号量データメモリ１９に記録するとともに、符号
化データを符号化データ蓄積装置４００に一旦蓄積す
る。

【００４９】次に、第１の符号化における発生符号量デ
ータに基づいて符号量配分を行い、第２の符号化を行
う。第２の符号化時は、動画像信号３０とともに前段階
の符号化データを符号化データ蓄積装置４１０に移し替
えた符号化データ４１１を動画像符号化データ文法解析
装置４１２に順次入力して、第１の符号化で検出した動
きベクトル情報を抽出し、第２の符号化における動きベ
クトル探索の探索中心として用いる。このような構成と
することにより、動きベクトルデータメモリを削減し、
かつ効率的な複数回の符号化による動きベクトル検出と
符号量配分を実現することができる。

【００５０】

【発明の効果】以上説明したように、本発明によればＤ
ＶＤのように最適な符号量配分のために複数回の符号化
を行う可変レートの動画像符号化装置において、ＮＴＳ
Ｃ信号とＨＤＴＶ信号のような同一内容でフォーマット
の異なる動画像信号を符号化する際に、各フォーマット
の動画像信号に対する第１の符号化を共有化し、第１の
符号化時の所定単位毎の発生符号量に応じた所定単位毎
の符号量配分の下で各フォーマットの動画像信号に対す
る第２の符号化を行うことによって、総符号化回数を削
減することが可能となる。

【００５１】また、内容の異なる複数の動画像信号を複
数回符号化する場合、前段階の第１の符号化を画素多重
した合成動画像信号について同時に行い、第２の符号化
のみを個々の動画像信号について行うことで、ハードウ
ェアの大幅な増加を伴うことなく総符号化回数を効果的
に削減することができる。

【００５２】さらに、複数回の符号化の際に、動きベク
トルの検出精度を前段階の符号化での動きベクトル検出
結果を基に階層的に向上させることにより、動きベクト
ル検出の高精度化による高画質化を可能とするか、ある
いは動きベクトル検出精度を落とさずに動きベクトル検
出のための処理量が減少して、ハードウェアの削減を図
ることが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化装
置の構成を示すブロック図

【図２】第１の実施形態における符号量配分結果の例を
示す図

【図３】第１の実施形態における符号量配分変換関数の
例を示す図

【図４】同実施形態に係る処理手順を示すフローチャー
ト

【図５】発生符号量データ変換関数の例を示す図

【図６】同一内容で符号化範囲または符号化アスペクト
比の異なる画像を符号化する例を示す図

【図７】発生符号量データ変換関数の例を示す図

【図８】発生符号量データ変換関数の例を示す図

【図９】フレームレート変換の第１の例を示す図

【図１０】フレームレート変換の第２の例を示す図

【図１１】本発明の第２の実施形態に係る処理手順を示
すフローチャート

【図１２】第２の実施形態における第１の符号化のため
の合成画像生成例を示す図

【図１３】第２の実施形態における第１の符号化のため
の合成画像生成例を示す図

【図１４】第２の実施形態における第１の符号化のため
の合成画像生成例を示す図

【図１５】本発明の第３の実施形態に係る動画像符号化
装置の構成を示すブロック図

【図１６】第３の実施形態における動きベクトル検出範
囲および精度を示す図

【図１７】本発明の第４の実施形態に係る動画像符号化
装置の構成を示すブロック図

【符号の説明】

１０…動画像信号蓄積装置 １１…画像フォーマット変換回路 １２…動きベクトル検出回路 １３…動き補償回路 １４…ＤＣＴ回路 １５…量子化器 １６…可変長符号化器 １７…レート制御部 １８…符号量配分部 １９…発生符号量データメモリ ２０…逆量子化器 ２１…逆ＤＣＴ回路 ２２…参照画像メモリ ２３…シーケンス制御部 ３００…動きベクトルデータメモリ ４００…動画像符号化データ蓄積装置 ４１０…動画像符号化データ蓄積装置 ４１２…動画像符号化データ文法解析装置

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−22289（ＪＰ，Ａ) 特開 平８−280028（ＪＰ，Ａ) 特開 平８−77325（ＪＰ，Ａ) 特開 平８−98171（ＪＰ，Ａ) 特開 平７−312751（ＪＰ，Ａ) 特開 平７−38887（ＪＰ，Ａ) 特開 平７−184193（ＪＰ，Ａ) 特開 平７−184192（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/12 H04N 7/24 - 7/68

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】相対的に低い空間解像度を有する第１の動
   画像信号に対して、第１の符号化を行うステップと、 前記第１の動画像信号に対して、前記第１の符号化時の
   所定単位毎の発生符号量に応じた所定単位毎の符号量配
   分の下で第２の符号化を行うステップと、 前記第１の動画像信号と同一内容で第１の動画像信号よ
   り相対的に高い空間解像度を有する第２の動画像信号に
   対して、前記第１の符号化時の所定単位毎の発生符号量
   に応じた所定単位毎の符号量配分の下で第２の符号化を
   行うステップ とを有することを特徴とする動画像符号化
   方法。
2. 【請求項２】相対的に小さい画像サイズを有する第１の
   動画像信号に対して、第１の符号化を行うステップと、 前記第１の動画像信号に対して、前記第１の符号化時の
   所定単位毎の発生符号量に応じた所定単位毎の符号量配
   分の下で第２の符号化を行うステップと、 前記第１の動画像信号と同一内容で第１の動画像信号よ
   り相対的に大きい画像サイズを有する第２の動画像信号
   に対して、前記第１の符号化時の所定単位毎の発生符号
   量に応じた所定単位毎の符号量配分の下で第２の符号化
   を行うステップと を有することを特徴とする動画像符号
   化方法。
3. 【請求項３】所定のフレームレートの第１の動画像信号
   に対して、第１の符号化を行うステップと、 前記第１の動画像信号に対して、前記第１の符号化時の
   所定単位毎の発生符号量に応じた所定単位毎の符号量配
   分の下で第２の符号化を行うステップと、 前記第１の動画像信号と同一内容で第１の動画像信号と
   異なるフレームレートの第２の動画像信号に対して、前
   記第１の符号化時の所定単位毎の発生符号量に応じた所
   定単位毎の符号量配分の下で第２の符号化を行うステッ
   プと を有することを特徴とする動画像符号化方法。
4. 【請求項４】前記第１および第２の符号化は、それぞれ
   第１および第２の動きベクトルを探索して動き補償予測
   を行う処理を含み、第１の符号化時には広い探索範囲で
   第１の動きベクトルの探索を粗く行い、第２の符号化時
   には第１の動きベクトルの近傍の狭い探索範囲で第２の
   動きベクトルの探索を細かく行うことを特徴とする請求
   項１〜３のいずれか１項に記載の動画像符号化方法。
5. 【請求項５】前記第１の符号化で得られた前記第１の動
   きベクトルの情報を含む符号化データを蓄積しておき、
   この符号化データから第１の動きベクトルを抽出し、こ
   の抽出した第１の動きベクトルを前記第２の動きベクト
   ルの探索中心とすることを特徴とする請求項４に記載の
   動画像符号化方法。
6. 【請求項６】同一内容の動画像信号を空間解像度の異な
   る複数の動画像信号に変換するフォーマット変換手段
   と、 前記複数の動画像信号を蓄積媒体に記録する記録手段
   と、 前記蓄積媒体から再生される動画像信号を符号化して符
   号化データを出力する符号化手段と、 前記動画像信号の所定単位毎に前記符号化データの符号
   量を配分する符号量配分手段と、 前記符号化手段の発生符号量を計測し、前記符号量配分
   手段による配分符号量との誤差に応じて前記符号化手段
   の符号化レートを制御する符号化レート制御手段と、 前記符号化手段に前記蓄積媒体から再生される相対的に
   低い空間解像度を有する第１の動画像信号を入力して、
   第１の符号化を行わせた後、前記第１の動画像信号を入
   力して、第１の符号化時の所定単位毎の発生符号量に応
   じた所定単位毎の符号量配分の下で第２の符号化を行わ
   せ、さらに前記蓄積媒体から再生される前記第１の動画
   像信号より相対的に高い空間解像度を有する第２の動画
   像信号を入力して、第１の符号化時の所定単位毎の発生
   符号量に応じた所定単位毎の符号量配分の下で第２の符
   号化を行わせるシーケンス制御手段とを有することを特
   徴とする動画像符号化装置。
7. 【請求項７】同一内容の動画像信号を画像サイズの異な
   る複数の動画像信号に変換するフォーマット変換手段
   と、 前記複数の動画像信号を蓄積媒体に記録する記録手段
   と、 前記蓄積媒体から再生される動画像信号を符号化して符
   号化データを出力する符号化手段と、 前記動画像信号の所定単位毎に前記符号化データの符号
   量を配分する符号量配分手段と、 前記符号化手段の発生符号量を計測し、前記符号量配分
   手段による配分符号量との誤差に応じて前記符号化手段
   の符号化レートを制御する符号化レート制御手段と、 前記符号化手段に前記蓄積媒体から再生される相対的に
   小さい画像サイズを有する第１の動画像信号を入力し
   て、第１の符号化を行わせた後、前記第１の動画像信号
   を入力して、第１の符号化時の所定単位毎の発生符号量
   に応じた所定単位毎の符号量配分の下で第２の符号化を
   行わせ、さらに前記蓄積媒体から再生される前記第１の
   動画像信号より相対的に大きい画像サイズを有する第２
   の動画像信号を入力して、第１の符号化時の所定単位毎
   の発生符号量に応じた所定単位毎の符号量配分の下で第
   ２の符号化を行わせるシーケンス制御手段とを有するこ
   とを特徴とする動画像符号化装置。
8. 【請求項８】同一内容の動画像信号をフレームレートの
   異なる複数の動画像信号に変換するフォーマット変換手
   段と、 前記複数の動画像信号を蓄積媒体に記録する記録手段
   と、 前記蓄積媒体から再生される動画像信号を符号化して符
   号化データを出力する符号化手段と、 前記動画像信号の所定単位毎に前記符号化データの符号
   量を配分する符号量配分手段と、 前記符号化手段の発生符号量を計測し、前記符号量配分
   手段による配分符号量との誤差に応じて前記符号化手段
   の符号化レートを制御する符号化レート制御手段と、 前記符号化手段に前記蓄積媒体から再生される所定のフ
   レームレートを有する第１の動画像信号を入力して、第
   １の符号化を行わせた後、前記第１の動画像信号を入力
   して、第１の符号化時の所定単位毎の発生符号量に応じ
   た所定単位毎の符号量配分の下で第２の符号化を行わ
   せ、さらに前記蓄積媒体から再生される前記第１の動画
   像信号と異なるフレームレートを有する第２の動画像信
   号を入力して、第１の符号化時の所定単位毎の発生符号
   量に応じた所定単位毎の符号量配分の下で第２の符号化
   を行わせるシーケンス制御手段とを有することを特徴と
   する動画像符号化装置。