JP3560217B2

JP3560217B2 - データ符号化装置、データ符号化方法及びデータ伝送方法

Info

Publication number: JP3560217B2
Application number: JP12153298A
Authority: JP
Inventors: 尚小嶋; 秀樹小柳; 成人船戸; 芳弘村上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-04-30
Filing date: 1998-04-30
Publication date: 2004-09-02
Anticipated expiration: 2018-04-30
Also published as: US6628713B1; JPH11317951A

Description

【０００１】
【発明の属する技術分野】
本発明はデータ符号化装置、データ符号化方法及びデータ伝送方法に関し、例えば画像データを圧縮符号化するデータ符号化装置、データ符号化方法及びデータ伝送方法に適用して好適なものである。
【０００２】
【従来の技術】
従来、画像データを光磁気デイスクや磁気テープ等の記録媒体にデイジタルデータとして記録する場合や所定の伝送媒体を介して画像データを伝送する場合に、画像データの情報量を減らして記録及び伝送する方法として種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐＰｈａｓｅ２）と呼ばれる方式がある。かかるＭＰＥＧ２方式を用いて画像データを圧縮符号化し、地上波又は衛星波を介して放送するデイジタル放送システムが今日では開始されている。
【０００３】
このＭＰＥＧ２方式の圧縮符号化方法では、１５フレームからなる画像データをＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）と呼ばれる１つの処理単位としてエンコードするようになされている。例えば図１３（Ａ）及び（Ｂ）に示すように、１つのＧＯＰ（フレームＦＯ〜Ｆ１４）にはＩピクチヤ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ：フレーム内符号化画像）と、Ｐピクチヤ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ：フレーム間順方向予測符号化画像）と、Ｂピクチヤ（ＢｉｄｉｒｅｃｔｉｏｎａｌｌｙＰｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ：双方向予測符号化画像）とがある。
【０００４】
Ｉピクチヤは、ＧＯＰの独立性を保つためのものであり、その画面全体が符号化されるものである（イントラ符号化）。Ｐピクチヤは、時間的に過去に存在するＩピクチヤ又はＰピクチヤを予測するために用いることにより順方向に予測符号化されるものである（順方向予測符号化）。Ｂピクチヤは、時間的に過去及び未来に存在するＩピクチヤ又はＰピクチヤを用いて双方向から予測符号化されるものである（双方向予測符号化）。
【０００５】
ところで図１４に示すように、伝送すべき一連のピクチヤにシーンチエンジがあると、シーンＡとシーンＢとは絵柄が大きく異なるためにシーンチエンジ前の参照画像を基にシーンチエンジ後のフレーム画像を予測したとしても、その予測したフレーム画像と参照画像との差分データには極めて大きな誤差が含まれることになつて画質が劣化してしまう。さらに、その画質の劣化したフレーム画像を参照画像として用いて他のフレーム画像を圧縮符号化すると、画質がさらに劣化してしまう。
【０００６】
このようなことを防止するために、図１５に示すようにシーンチエンジの時点でシーンＡのＧＯＰ２を終了させ、シーンチエンジ後のシーンＢからはＩピクチヤを挿入して新たなＧＯＰ３を開始させることにより、ＧＯＰ２のフレーム画像を参照画像として用いずに、シーンチエンジ後のＧＯＰ３におけるＩピクチヤを参照画像として予測符号化処理することができ、かくして画質劣化の伝搬を防止するようになされている。
【０００７】
ここで、シーンチエンジ検出を行うデータ符号化装置の構成を図１６に示す。図１６において、データ符号化装置１００は画像データＤ１００をシーンチエンジ検出回路１０１及び遅延回路１０３にそれぞれ入力する。
【０００８】
シーンチエンジ検出回路１０１は、例えば連続した２つのフレーム間における輝度の絶対値差分和を算出し、例えば図１７に示すようにＧＯＰ２におけるフレームＦ５のＰピクチヤ及びフレームＦ６のＢピクチヤ間における輝度の絶対値差分和が所定の閾値を越えていた場合に、シーンＡからシーンＢへとシーンチエンジしたものと判断し、このときシーンチエンジ情報データＤ１０１をピクチヤタイプ決定回路１０２に送出する。
【０００９】
ピクチヤタイプ決定回路１０２は、シーンチエンジ前のフレーム画像を参照フレームとしてシーンチエンジ後のフレーム画像を予測して符号化することにより生じる画質劣化の伝搬を防止するため、シーンチエンジ後のフレーム画像を符号化する際にはピクチヤタイプ（例えば図１７のＧＯＰ３におけるＩピクチヤを参照フレームとなるように）を指定し、その指定データＤ１０２をデータ符号化装置５０に送出する。
【００１０】
一方、遅延回路１０３に入力された画像データＤ１００は、シーンチエンジ検出回路１０１及びピクチヤタイプ決定回路１０２が処理を行つている間の時間分だけ遅延され、データ符号化装置５０に指定情報データＤ１０２が供給されるタイミングと同期して画像データＤ１００が供給される。
【００１１】
ここでデータ符号化装置５０は、図１８に示すように画像データＤ１００をプリフイルタ５１に入力する。プリフイルタ５１は、量子化レート制御部５５から供給される周波数特性制御信号Ｓ５５に応じて画像データＤ１００を帯域制限することにより当該画像データＤ１００の高域成分を削減し、帯域制限画像データＤ５１として画素数変換部５２に送出する。
【００１２】
画素数変換部５２は、帯域制限画像データＤ５１に対して画素数変換処理を施す。すなわち画素数変換部５２は、画像データＤ１００の水平方向の画素数を水平画素数Ｍとし垂直方向の画素数を垂直画素数Ｎとすると、当該画像データＤ１００を帯域制限してなる帯域制限画像データＤ５１の水平画素数Ｍ及び垂直画素数Ｎを、ｍ＜Ｍ及びｎ＜Ｎの関係を満たす水平画素数ｍ及び垂直画素数ｎに削減し、これを画素数変換画像データＤ５２として符号化部５３に送出する。
【００１３】
ここで水平画素数ｍ及び垂直画素数ｎは、画像データＤ１００の画像内容に応じて高画質を要求される画像内容においては大きな値に、高画質を要求されない画像内容においては小さな値に設定される。
【００１４】
符号化部５３は、画素数変換画像データＤ５２に対して動き補償処理、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：離散コサイン変換）処理、量子化処理及びＶＬＣ（ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ：可変長符号化）処理を施すことにより圧縮符号化し、可変長符号化データＤ５３として送信バツフア５４に送出する。このとき符号化部５３は、量子化レート制御部５５から供給される量子化制御信号Ｓ５６に基づいて量子化処理における量子化ステツプサイズを調整する。
【００１５】
また符号化部制御部５７は、ピクチヤタイプ決定回路１０２から供給される指定データＤ１０２に基づくピクチヤタイプや符号化タイミング及び動き補償処理における動きベクトル探索範囲を符号化部制御情報Ｄ５７として符号化部５３に供給するようになされており、これにより当該符号化部５３は当該符号化部制御情報Ｄ５７に基づいてピクチヤタイプや符号化タイミング及び動き補償処理における動きベクトル探索範囲を設定するようになされている。
【００１６】
ここで可変長符号化データＤ５３からなる各フレーム毎の符号発生量は、画像データＤ１００の画像内容に応じて変動する。このため符号化部５３は、送信バツフア５４における可変長符号化データＤ５３の占有量に基づいて量子化処理の量子化ステツプサイズ及びプリフイルタ５１における帯域制限を制御し、可変長符号化データＤ５３を送信バツフア５４に複数フレーム分蓄積した後、一定期間例えばＧＯＰ当たりの符号発生量を一定に制御した固定長符号化データＤ５０として出力する。
【００１７】
すなわち量子化レート制御部５５は、送信バツフア５４における可変長符号化データＤ５３のバツフア蓄積状態を常に監視しており、かかる蓄積状態を占有率情報Ｓ５４として得ることにより、当該占有率情報Ｓ５４を基に量子化制御信号Ｓ５６及び周波数特性制御信号Ｓ５５を生成し、これを符号化部５３及びプリフイルタ５１に供給する。かくして符号化部５３は、一定期間当たりの符号発生量を一定に制御した固定長符号化データＤ５０を生成するようになされている。
【００１８】
【発明が解決しようとする課題】
ところでかかる構成のデータ符号化装置１００においては、図１９に示すようにシーンチエンジしたタイミングでＧＯＰ２を終了させ、新たにＩピクチヤを挿入してＧＯＰ３を開始する。またデータ符号化装置１００は、データ符号化装置５０の画素数変換部５２において画像の動き量が大きくて前のフレーム画像との差分値が所定の閾値よりも大きくなると、そのタイミング（画素数切り換え点）で画素数を削減する。
【００１９】
このようにデータ符号化装置１００においては、シーンチエンジするタイミングと画素数を削減するタイミングとが異なつており、連続した同一シーン（シーンＡ）の中で動き量の大きなフレーム画像の画素数が削減されて画枠が小さくなると、視聴者は同一シーンの中であるだけに画質の変化に敏感に気付いてしまつて違和感を覚えるといつた問題があつた。
【００２０】
本発明は以上の点を考慮してなされたもので、画像の変化に係わらず常に高画質な符号化データを生成し得るデータ符号化装置、データ符号化方法及びデータ伝送方法を提案しようとするものである。
【００２１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて上記画像データを符号化すると共に上記動きベクトルを符号化して出力する場合、画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出し、画像データの動きの特徴量を算出し、動きの特徴量が所定の閾値を超えていた場合であつてシーンチエンジが検出された場合は当該シーンチエンジされたフレームから画像データの画素数を所定の変換比率で削減し、画素数の削減された画像データに応じて減少した分の画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化するようにする。
これにより、シーンチエンジのタイミングと画像データの画素数を削減するタイミングとを同期させ、画素数の削減された画像データに応じて減少した分の上記画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することができるので、同一シーンの中で画枠が変更されることを防止し、シーンチエンジ後に画像データの画素数を削減した場合にも画質の劣化を防止しつつ符号化することができる。
【００２２】
入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて画像データを符号化すると共に動きベクトルを符号化して出力する場合、画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出し、画像データの画素数を変換することなく画像データ及び動きベクトルを符号化処理することにより第１の符号化データを生成し、画像データの動きの特徴量を算出し、当該動きの特徴量に基づいて画像データの画素数を所定の変換比率で削減し、当該画素数変換された変換データに応じて減少した分の画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することにより第２の符号化データを生成し、第１の符号化データ及び第２の符号化データの画質を判別し、当該判別結果に基づいて第２の符号化データを選択した場合に、シーンチエンジが検出されたときには当該シーンチエンジのタイミングと同期させて当該第２の符号化データを出力するようにする。
これにより、画素数の削減された画像データに応じて減少した分の画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することにより生成した第２の符号化データの画質が、第１の符号化データの画質よりも良好なために当該第２の符号化データが選択された場合に、シーンチエンジが検出されたタイミングと当該第２の符号化データを出力するタイミングとを同期させることができるので、同一シーンの中で画枠が変更されることを防止し、シーンチエンジ後に画像データの画素数を削減した第２の符号化データを出力した場合にも画質の劣化を防止することができる。
【００２３】
入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて画像データを符号化すると共に動きベクトルを符号化することにより得られた符号化データを変調して伝送する場合、画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出し、画像データの画素数を変換することなく画像データ及び動きベクトルを符号化処理することにより第１の符号化データを生成すると共に、画像データの動きの特徴量を算出し、当該動きの特徴量に基づいて画像データの画素数を所定の変換比率で削減して画素数変換された変換データに応じて減少した分の画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することにより第２の符号化データを生成し、第１の符号化データ及び第２の符号化データの画質を判別し、当該判別結果に基づいて第２の符号化データを選択した場合に、シーンチエンジが検出されたときには当該シーンチエンジのタイミングと同期させて当該第２の符号化データを所定の変調方式で変調して伝送するようにする。
これにより、画素数の削減された画像データに応じて減少した分の画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することにより生成した第２の符号化データの画質が、第１の符号化データの画質よりも良好なために当該第２の符号化データが選択された場合に、シーンチエンジが検出されたタイミングと当該第２の符号化データを出力するタイミングとを同期させることができるので、同一シーンの中で画枠が変更されることを防止し、シーンチエンジ後に画像データの画素数を削減した第２の符号化データを所定の変調方式で変調して伝送した場合にも画質の劣化を防止することができる。
【００２５】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２６】
（１）第１の実施の形態
図１において１は全体として本発明の第１の実施の形態におけるデータ符号化装置を示し、画像データＤ９を第１の遅延回路１０及びシーンチエンジ検出回路１１にそれぞれ送出する。第１の遅延回路１０は、シーンチエンジ検出回路１１によるシーンチエンジ検出を行つている間の時間分だけ画像データＤ９を遅延させ、これを画像データＤ１０として第２の遅延回路３及び画素数変換手段としての画素数変換部２にそれぞれ送出する。
【００２７】
第２の遅延回路３は、画像データＤ１０を所定時間分遅延させた後にスイツチ回路４を介して再び画素数変換部２に送出すると共にエンコーダ５に送出する。画素数変換部２は、画像データＤ１０の画素数を所定の変換比率で削減し、これを画素数変換された画像データＤ１０´としてエンコーダ５に送出する。
【００２８】
ここで符号化手段としてのエンコーダ５は、図２に示すように入力される画像データＤ１０（又は画像データＤ１０´）を参照画像、前（過去）方向画像又は後（未来）方向画像の種類別にフレーム単位でフレームメモリ１０に格納する。因みに、この場合フレームを構成する画枠の大きさとしては、Ｍ（１９２０）画素×Ｎ（１０８０）画素のサイズが用いられている。
【００２９】
なお画像データＤ１０（又は画像データＤ１０´）は、予め前処理部（図示せず）において、各フレーム画像について設定されたシーケンスに応じてＩピクチヤ、Ｐピクチヤ又はＢピクチヤの３つの画像タイプのうち、どの画像タイプとして処理するかを指定した後、当該画像タイプに応じてフレーム画像を符号化する順番に並び換え、さらに当該フレーム画像を１６画素×１６画素の輝度信号及び当該輝度信号に対応する色差信号（Ｃ_Ｂ、Ｃ_Ｒ）によつて構成されるマクロブロツクに分割することにより生成されたデータである。
【００３０】
フレームメモリ１０は、格納された画像データＤ１０を画像タイプに応じて読み出し、これをマクロブロツクデータＤ１１として予測符号化部１１及び動きベクトル検出部１２にそれぞれ送出する。
【００３１】
動きベクトル検出部１２は、マクロブロツクデータＤ１１の各マクロブロツクの動きベクトルを、当該マクロブロツクデータＤ１１とフレームメモリ１３に記憶されている後（未来）方向及び又は前（過去）方向の参照画像データＤ１８とに基づいて算出し、これを動きベクトルデータＤ１２として動き補償部１４及びＶＬＣ（ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ：可変長符号化）部１７にそれぞれ送出する。
【００３２】
予測符号化部１１は、マクロブロツクデータＤ１１の各マクロブロツクの画像タイプに基づいてイントラモード、順方向予測モード、逆方向予測モード又は双方向予測モードのいずれかの予測モードの動き補償を行う。ここでイントラモードとは、符号化対称となるフレーム画像をそのまま伝送データとして伝送する方法であり、順方向予測モードとは、符号化対称となるフレーム画像と前（過去）方向予測画像との予測残差を伝送データとして伝送する方法である。
【００３３】
また逆方向予測モードとは、符号化対称となるフレーム画像と後（未来）方向予測画像との予測残差を伝送データとして伝送する方法であり、双方向予測モードとは、符号化対称となるフレーム画像と前（過去）方向予測画像及び後（未来）方向予測画像の２つの予測画像の平均値との予測残差を伝送データとして伝送する方法である。
【００３４】
まずマクロブロツクデータＤ１１がＩピクチヤである場合について説明する。この場合マクロブロツクデータＤ１１は、イントラモードで処理される。すなわち予測符号化部１１は、マクロブロツクデータＤ１１のマクロブロツクをそのまま演算データＤ１３としてスイツチ３０を介してＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：離散コサイン変換）部１５に送出する。
【００３５】
ＤＣＴ部１５は、演算データＤ１３に対してＤＣＴ変換処理を施してＤＣＴ係数化し、これをＤＣＴ係数データＤ１４として量子化部１６に送出する。量子化部１６は、ＤＣＴ係数データＤ１４に対して量子化処理を施し、これを量子化ＤＣＴ係数データＤ１５としてＶＬＣ部１７及び逆量子化部１９にそれぞれ送出する。
【００３６】
このとき量子化部１６は、量子化スケール設定部２２より供給される量子化制御信号Ｓ１１に応じて量子化処理における量子化ステツプサイズを調整することにより、量子化ＤＣＴ係数データＤ１５の符号発生量を制御するようになされている。
【００３７】
逆量子化部１９は、量子化ＤＣＴ係数データＤ１５に対して逆量子化処理を施し、これをＤＣＴ係数データＤ１６として逆ＤＣＴ部２０に送出する。逆ＤＣＴ部２０は、ＤＣＴ係数データＤ１６に対して逆ＤＣＴ処理を施し、これを演算データＤ１７として演算器２１に送出し、当該演算データＤ１７をそのまま参照画像データＤ１８としてフレームメモリ１３に記憶する。
【００３８】
次にマクロブロツクデータＤ１１がＰピクチヤである場合について説明する。この場合予測符号化部１１は、マクロブロツクデータＤ１１についてイントラモード又は順方向予測モードのいずれかの予測モードによる動き補償処理を行う。
【００３９】
予測モードがイントラモードの場合、上述のＩピクチヤの場合と同様に予測符号化部１１は、マクロブロツクデータＤ１１のマクロブロツクをそのまま演算データＤ１３としてＤＣＴ部１５に送出する。演算データＤ１３は、上述のＩピクチヤの場合と同様にＤＣＴ部１５〜演算器２１までの処理が施され、参照画像データＤ１８としてフレームメモリ１３に記憶される。
【００４０】
予測モードが順方向予測モードの場合、予測符号化部１１はマクロブロツクデータＤ１１について動き補償部１４より供給される順方向予測画像データＤ１４Ｆを用いて演算器３１により減算処理する。ここで順方向予測画像データＤ１４Ｆは、フレームメモリ１３に記憶されている参照画像データＤ１８を動きベクトルデータＤ１２に応じて動き補償することにより算出される。
【００４１】
すなわち動き補償部１４は、順方向予測モードにおいてフレームメモリ１３の読出アドレスを動きベクトルデータＤ１２に応じたアドレス位置にずらして参照画像データＤ１８を読み出し、これを順方向予測画像データＤ１４Ｆとして演算器３１及び演算器２１にそれぞれ供給する。演算器３１は、マクロブロツクデータＤ１１から順方向予測画像データＤ１４Ｆを減算して予測残差としての差分データを得、これを演算データＤ１３としてスイツチ３０を介してＤＣＴ部１５に送出する。
【００４２】
演算データＤ１３は、ＤＣＴ部１５においてＤＣＴ変換処理が施され、さらに量子化部１６において量子化処理が施され、これを量子化ＤＣＴ変換データＤ１５としてＶＬＣ部１７及び逆量子化部１９にそれぞれ送出される。このときも量子化部１６は、量子化スケール設定部２２より供給される量子化制御信号Ｓ１１に応じて量子化処理における量子化ステツプサイズを調整することにより、量子化ＤＣＴ変換データＤ１５の符号発生量を制御する。
【００４３】
逆量子化部１９に送出された量子化ＤＣＴ変換データＤ１５は、逆量子化処理が施され、これをＤＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出される。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０において逆ＤＣＴ処理が施され、演算データＤ１７として演算器２１に送出される。ここで、演算器２１には動き補償部１４より順方向予測画像データＤ１４Ｆが供給されており、当該演算器２１は演算データＤ１７に当該順方向予測画像データＤ１４Ｆを加算することにより参照画像データＤ１８（Ｐピクチヤ）を局部再生し、これをフレームメモリ１３に記憶する。
【００４４】
次にマクロブロツクデータＤ１１がＢピクチヤである場合について説明する。この場合予測符号化部１１は、マクロブロツクデータＤ１１についてイントラモード、順方向予測モード、逆方向予測モードまたは双方向予測モードのいずれかの予測モードによる動き補償処理を行う。
【００４５】
予測モードがイントラモード又は順方向予測モードの場合、マクロブロツクデータＤ１１は上述のＰピクチヤの場合と同様の処理を受けるが、Ｂピクチヤは参照画像として用いられないためにフレームメモリ１３には記憶されない。
【００４６】
予測モードが逆方向予測モードの場合、予測符号化部１１はマクロブロツクデータＤ１１について動き補償処理部１４から供給される逆方向予測画像データＤ１４Ｂを用いて減算処理する。ここで逆方向予測画像データＤ１４Ｂは、フレームメモリ１３に記憶されている参照画像データＤ１８を動きベクトルデータＤ１２に応じて動き補償することにより算出される。
【００４７】
すなわち動き補償部１４は、逆方向予測モードにおいてフレームメモリ１３の読出アドレスを動きベクトルデータＤ１２に応じたアドレス位置にずらして参照画像データＤ１８を読み出し、これを逆方向予測画像データＤ１４Ｂとして演算器３２及び演算器２１に供給する。演算器３２は、マクロブロツクデータＤ１１から逆方向予測画像データＤ１４Ｂを減算して予測残差としての差分データを得、これを演算データＤ１３としてスイツチ３０を介してＤＣＴ部１５に送出する。
【００４８】
演算データＤ１３は、ＤＣＴ部１５においてＤＣＴ変換処理が施され、さらに量子化部１６において量子化処理が施され、これを量子化ＤＣＴ変換データＤ１５としてＶＬＣ部１７及び逆量子化部１９に送出される。このときも量子化部１６は、量子化スケール設定部２２より供給される量子化制御信号Ｓ１１に応じて量子化処理における量子化ステツプサイズを調整することにより、量子化ＤＣＴ変換データＤ１５の符号発生量を制御する。
【００４９】
逆量子化部１９に送出された量子化ＤＣＴ変換データＤ１５は、逆量子化処理が施され、これをＤＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出される。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０において逆ＤＣＴ処理が施され、演算データＤ１７として演算器２１に送出される。
【００５０】
ここで、演算器２１には動き補償部１４より逆方向予測画像データＤ１４Ｂが供給されており、当該演算器２１は演算データＤ１７に当該逆方向予測画像データＤ１４Ｂを加算することにより参照画像データＤ１８（Ｂピクチヤ）を局部再生するが、Ｂピクチヤは他の予測参照画像として用いられないのでこの場合の参照画像データＤ１８がフレームメモリ１３に記憶されることはない。
【００５１】
予測モードが双方向モードの場合、予測符号化部１１はマクロブロツクデータＤ１１から動き補償部１４より供給される順方向予測画像データＤ１４Ｆ及び逆方向予測画像データＤ１４Ｂの平均値を減算して予測残差としての差分データを得、これを演算データＤ１３としてＤＣＴ部１５に送出する。
【００５２】
演算データＤ１３は、ＤＣＴ部１５においてＤＣＴ変換処理が施され、さらに量子化部１６において量子化処理が施され、これを量子化ＤＣＴ変換データＤ１５としてＶＬＣ部１７及び逆量子化部１９に送出される。このときも量子化部１６は、量子化スケール設定部２２より供給される量子化制御信号Ｓ１１に応じて量子化処理における量子化ステツプサイズを調整することにより、量子化ＤＣＴ変換データＤ１５の符号発生量を制御する。
【００５３】
逆量子化部１９に送出された量子化ＤＣＴ変換データＤ１５は、逆量子化処理が施され、これをＤＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出される。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０において逆ＤＣＴ処理が施され、演算データＤ１７として演算器２１に送出される。
【００５４】
ここで、演算器２１には動き補償部１４より順方向予測画像データＤ１４Ｆ及び逆方向予測画像データＤ１４Ｂが供給されており、当該演算器２１は演算データＤ１７に当該順方向予測画像データＤ１４Ｆ及び逆方向予測画像データＤ１４Ｂの平均値を加算することにより参照画像データＤ１８（Ｂピクチヤ）を生成するが、Ｂピクチヤは他の予測参照画像として用いられないのでこの場合も参照画像データＤ１８がフレームメモリ１３に記憶されることはない。
【００５５】
かくしてエンコーダ５に入力された画像データＤ１０（又は画像データＤ１０´）は、動き補償処理、ＤＣＴ処理及び量子化処理が施され、量子化ＤＣＴ係数データＤ１５としてＶＬＣ部１７に供給される。ＶＬＣ部１７は、量子化ＤＣＴ係数データＤ１５及び動きベクトルデータＤ１２に対して可変長符号化処理を施し、これを可変長符号化データＤ２０として送信バツフア１８に送出する。送信バツフア１８は、可変長符号化データＤ２０を所定時間分蓄積した後に一定期間単位（ＧＯＰ毎）の固定長符号化データＤ２１として出力するようになされている。
【００５６】
これに対して画素数変換部２に送出された画像データＤ１０は、動き検出回路６に入力される。動き検出回路６は、画像データＤ１０のフレーム画像を１６画素×１６画素の輝度信号及び当該輝度信号に対応する色差信号（Ｃ_Ｂ、Ｃ_Ｒ）によつて構成されるマクロブロツクに分割する。
【００５７】
そして動き検出回路６は、分割された複数のマクロブロツクの中から１つの参照ブロツクを選び出し、これが１つ前のフレーム画像に設定されたサーチエリア内に存在する多数の候補ブロツクの中のどれと最も似ているかを輝度の差分値を算出することにより調べ（以下、この手法をブロツクマツチング法と呼ぶ）、最も類似度の高い候補ブロツクとの位置のずれを動きベクトルとして検出する。
【００５８】
さらに動き検出回路６は、上述の動きベクトルの検出処理を各マクロブロツク毎に全て実行し、各マクロブロツク毎に検出した動きベクトルを全て加算することにより動きベクトルの絶対値和をフレーム毎に算出し、これをフレーム画像の特徴量を表す動きベクトルデータＤ２２として画素数決定回路７に送出する。
【００５９】
画素数決定回路７は、動きベクトルデータＤ２２すなわち動きベクトルの絶対値和が所定の閾値を越えていた場合には、そのフレーム画像の動き量が大きいと判断することができる。この場合エンコーダ５によつてフレーム画像をこのままの画素数で符号化処理したのでは情報量が多くなり過ぎてしまうために、量子化ステツプサイズを大きな値に設定し直して量子化しなければならないが、これに伴つて画質も劣化してしまう。
【００６０】
従つて画素数決定回路７は、このような場合にフレーム画像の画素数を変更する必要があると判断し、このとき予め設定された画素数に変換するための変換信号Ｓ１２を画素数変換回路８に送出すると共に、スイツチ回路４の出力先をエンコーダ５側から画素数変換回路８側に切り換えるための切換信号Ｓ１３をスイツチ回路４に送出する。
【００６１】
すなわち画素数決定回路７は、例えば図３に示すようにフレームＦ０〜Ｆ１４毎に順次算出した動きベクトルデータＤ２２を所定の閾値と比較し、その結果フレームＦ９以降の動きベクトルの絶対値和が所定の閾値を越えていたことを検出したときに、フレームＦ０〜フレームＦ８とフレームＦ９〜フレームＦ１４との間で画像に大きな動きがあつたものと判断する。
【００６２】
このとき画素数決定回路７は、Ｍ（１９２０）画素×Ｎ（１０８０）画素の画素数でなる画枠のフレーム画像を予め設定されたｍ（１４４０）画素×ｎ（７２０）画素の画素数でなる画枠のフレーム画像に変更するための変換信号Ｓ１２を画素数変換回路８に送出する。
【００６３】
ところで第２の遅延回路３においては、動き検出回路６及び画素数決定回路７において画素数の変更を決定するまでの時間分だけ遅延させたタイミングで画像データＤ１０をフレーム毎に出力するようになされており、これにより画像データＤ１０がスイツチ回路４を介して画素数変換回路８に入力されるタイミングと同期して、画素数決定回路７から画素数変換回路８に変換信号Ｓ１２を入力するようになされている。
【００６４】
画素数変換回路８は、変換信号Ｓ１２に基づいて画像データＤ１０を予め設定されているｍ（１４４０）画素×ｎ（７２０）画素の画素数に変換し、これを画素数変換された画像データＤ１０´としてエンコーダ５に送出するようになされている。
【００６５】
この場合図４に示すように、Ｍ（１９２０）画素×Ｎ（１０８０）画素の画素数でなるフレーム画像がｍ（１４４０）画素×ｎ（７２０）画素の画素数でなるフレーム画像に変換されることにより、全体のマクロブロツク数がＫ個からｋ個に減少するようになされており、これに伴つて画像自体も小さくなる。従つて画素数変換されたフレーム画像の画像データＤ１０´は、マクロブロツク数がＫ個からｋ個に減少すると共に動きベクトルの大きさ自体も動きベクトルＭＶから動きベクトルｍｖへと小さくなる。
【００６６】
また図５に示すように、画素数変換される前のフレーム画像（画像データＤ１０）と画素数変換された後のフレーム画像（画像データＤ１０´）とでは、変換前と変換後で全体のマクロブロツク数が減少することにより、１つのマクロブロツクが表示する画像部分の大きさが変化する。すなわち、画素数変換された後のマクロブロツクが表示する画像部分は粗くなる。
【００６７】
このとき画素数変換された後のマクロブロツクが表示する画像部分は粗くなつているが、元々の画像データＤ１０そのもののデータの冗長度が高いために画素数をある程度減少させても画質が低下することはない。
【００６８】
また画素数変換回路８は、画素数をｍ（１４４０）画素×ｎ（７２０）画素に変換した時点でこれまでのＭ（１９２０）画素×Ｎ（１０８０）画素の画素数でなるフレーム画像のビツトストリームが終了することを意味するシーケンスエンドコードと、次に新たにビツトストリームを開始させるシーケンスヘツダ情報をシーケンス制御信号Ｓ１４としてエンコーダ５の前処理部（図示せず）に送出するようになされている。
【００６９】
ところでエンコーダ５においては、画像データＤ１０（又は画像データＤ１０´）を符号化して固定長符号化データＤ２１を生成する際、図６に示すように予めＧＯＰデータを構成するビツトストリームの前段にシーケンスヘツダ情報を書き込むと共に、ＧＯＰデータを構成するビツトストリームの後段にシーケンスヘツダ情報と同一のビツト数で全て「０」でなるシーケンスエンドコードを書き込むようになされている。
【００７０】
これによりエンコーダ５では、前処理部の制御によつて図７に示すように画素数変換された画像データＤ１０´を符号化する際には、画素数変換される前のＧＯＰにおける例えばＦ８のフレーム画像（Ｐピクチヤ）を参照画像として用いることなくＦ９以降の例えばＦ１１のＩピクチヤを参照画像として符号化処理するようになされている。これによりエンコーダ５は、画素数変換前のフレーム画像を参照画像として画素数変換後のフレーム画像を符号化処理するような誤動作を防止することができる。
【００７１】
実際上、画素数変換回路８が画素数を削減する場合には画素数変換前のＭ（１９２０）画素をｍ（１４４０）画素に変換するためその変換比率は３：２になつている。従つて画素数変換回路８は、Ｍ（１９２０）画素を２倍にアツプレートしてその後１／２にデシメート（間引く）することによりオーバサンプリングするようになされている。
【００７２】
例えば図８に示すようにフレーム画像の画素（ピクセル）Ｎと画素Ｎ＋１と画素Ｎ＋２を基に２倍にアツプレートすることにより画素数を２倍（６個）に増やし、その後種類の異なる画素（画素Ｎと画素Ｎ＋１、画素Ｎ＋１と画素Ｎ＋２）を含む数画素単位で平均値を算出することにより新たな画素（Ｎ）´と新たな画素（Ｎ＋１）´を生成するようになされている。これにより３：２の変換比率で画素数を削減することができる。因みに、Ｎ（１０８０）画素をｎ（７２０）画素に変換する場合も同様である。
【００７３】
このようにして画素数変換された画像データＤ１０´は、画素数の減少に伴つてマクロブロツク数も減少することにより、エンコーダ５において符号化する際の動きベクトルの符号発生量も減少している。従つてエンコーダ５から出力される固定長符号化データＤ２１（図６）は、画素数変換前と画素数変換後の符号発生量が共に一定であるため、エンコーダ５においてはマクロブロツク数の減少に伴う動きベクトルの符号量の減少分をＤＣＴ係数データＤ１４の符号量に割り当てることができる。
【００７４】
この結果として量子化スケール設定部２２は、画素数変換前に行われていた量子化ステツプＡよりも細かい量子化ステツプａで画素数変換後のＤＣＴ係数データＤ１４を量子化し得ることにより、ＤＣＴ係数データＤ１４の係数値を増大させてＤＣＴ空間における解像度の低下を防止した固定長符号化データＤ２１を生成し得るようになされている。
【００７５】
ところでシーンチエンジ検出回路１１は、画像データＤ９に基づいて隣合う２つのフレーム画像間の輝度の絶対値差分和を算出し、当該輝度の絶対値差分和が所定の閾値を越えていた場合にシーンチエンジがあつたものと判断し（図１７）、このときシーンチエンジ検出データＤ１１を画素数変換部２の画素数決定回路７及びピクチヤ決定回路１２にそれぞれ送出する。
【００７６】
画素数決定回路７は、動き検出回路６から供給される動きベクトルデータＤ２２が所定の閾値を越えていた場合に画素数を変更する必要性があると判断するが、シーンチエンジ検出データＤ１１を供給されたときに限つて切換信号Ｓ１３をスイツチ回路４に送出すると共に、変換信号Ｓ１２を画素数変換回路８に送出するようになされている。
【００７７】
すなわち画素数変換部２においては、シーンチエンジ検出回路１１からシーンチエンジ検出データＤ１１を供給されたときにのみ、当該シーンチエンジ検出データＤ１１に基づいて画像データＤ１０´を画素数変換してエンコーダ５に送出するようになされている。従つて画素数決定回路７においては、シーンチエンジ検出データＤ１１が供給されるまでは切換信号Ｓ１３をスイツチ回路４に送出することはないので、この場合には画素数変換することなく画像データＤ１０をそのままエンコーダ５に送出する。
【００７８】
ピクチヤ決定回路１２は、図９に示すようにシーンチエンジ検出データＤ１１に基づいてシーンチエンジ後のＧＯＰ３におけるフレーム画像を符号化処理する際、前のＧＯＰ２のフレーム画像を参照フレームとして用いないようにピクチヤタイプを指定する指定データＤ１２をエンコーダ５の前処理部（図示せず）に供給するようになされている。
【００７９】
これによりエンコーダ５は、シーンチエンジ後のフレーム画像を予測符号化する際にシーンチエンジ前のフレーム画像を参照画像として用いることなく、例えばシーンチエンジ後のＧＯＰ３におけるＩピクチヤを参照画像として予測符号化することができ、かくして画質劣化の伝搬を防止し得るようになされている。
【００８０】
以上の構成において、データ符号化装置１はシーンチエンジ検出回路１１によつてシーンチエンジを検出したときにシーンチエンジ検出データＤ１１を画素数変換部２に供給する。このとき画素数変換部２では、動きベクトルデータＤ２２に基づいて画素数を削減する必要性が生じていた場合でも、シーンチエンジ検出データＤ１１の供給を受けるまでは画素数変換することなく待ち、当該シーンチエンジ検出データＤ１１の供給を受けたときのタイミングで画素数を所定の変換比率で削減し、これを画像データＤ１０´としてエンコーダ５に出力する。
【００８１】
エンコーダ５は、シーンチエンジしたときのタイミングで画素数の削減された画像データＤ１０´を基に符号化処理し、固定長符号化データＤ２１として出力する。これによりデータ符号化装置１は、シーンＡがＧＯＰ２で終了してシーンＢがＧＯＰ３によつて開始するシーンチエンジのタイミングと同期して画像データＤ１０の画素数を削減して画枠を変更することができる（図９）。
【００８２】
このようにデータ符号化装置１は、シーンチエンジのタイミングと画像データＤ１０の画素数を変換するタイミングとを同期させたことにより、同一シーンの中で画枠が変更されることなく、シーンチエンジしたときに画枠が変更されることになり、視聴者にとつては画質の変化に気付き難く違和感を感じることがなくなつて大変見やすくなる。
【００８３】
また、この場合の画像データＤ１０´は、画素数が削減された分だけマクロブロツクデータＤ１１のマクロブロツク数が減少し、この結果動きベクトルの符号発生量が減少する。すなわち画素数の削減量に応じてマクロブロツク数が減少して個々のマクロブロツクが表示する画像部分が大きくなる（密度が粗くなる）ことにより、動きベクトルを表すのに必要な画素数が減少することになる。
【００８４】
従つて画素数を減少した場合、元の画素数削減前のフレーム画像の動きベクトルが大きければ大きい程、画素数削減後のフレーム画像の動きベクトルの符号発生量が減少する割合も大きくなる。これによりデータ符号化装置１は、画像が大きく動いたような例えばシーンチエンジした場合に動きベクトルの符号発生量が減少する分をＤＣＴ係数データＤ１４の符号発生量に割り当てることにより、量子化ステツプサイズを小さくして符号化処理することができる。
【００８５】
かくしてデータ符号化装置１は、シーンチエンジしたような場合には画像が大きく変化するためにシーンチエンジ後のフレーム画像の画素数を削減し、マクロブロツク数の減少に応じて減少した動きベクトルの符号発生量の分だけＤＣＴ係数データＤ１４の符号発生量に割り当て、量子化ステツプサイズを小さくして符号化処理することにより、ＤＣＴ係数データＤ１４の係数値を増大させてＤＣＴ空間における解像度の低下を防止することができる。
【００８６】
このようにデータ符号化装置１は、シーンチエンジしたタイミングで画像データＤ１０の画素数を削減し、これに伴つて量子化ステツプサイズを小さくして符号化処理することにより、画質の劣化を防止して高画質な固定長符号化データＤ２１を生成することができる。
【００８７】
以上の構成によれば、データ符号化装置１はシーンチエンジするタイミングと画像データＤ１０の画素数を削減するタイミングとを同期させ、画素数変換された画像データＤ１０´を符号化処理することにより、同一シーンの中では画枠の変更を行わずにシーンチエンジするときのタイミングで画枠を変更することができ、かくして視聴者に対して画枠の変更に伴う見た目の不自然さや違和感を取り除いた高画質な固定長符号化データＤ２１を生成することができる。
【００８８】
（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図１０において、７０は本発明の第２の実施の形態におけるデータ符号化装置を示し、画像データＤ９を第１の遅延回路１０及びシーンチエンジ検出回路１１にそれぞれ送出する。
【００８９】
第１の遅延回路１０は、シーンチエンジ検出回路１１によるシーンチエンジ検出を行つている間の時間分だけ画像データＤ９を遅延させ、これを画像データＤ１０として画素数変換部２及び第１の符号化手段としての第１のエンコーダ７１にそれぞれ送出する。
【００９０】
画素数変換部２は、画像データＤ１０の画素数を予め定められた変換比率で削減し、これを画素数変換された画像データＤ１０´として第２のエンコーダ７６に送出する。
【００９１】
ここで画素数変換部２は、図１との対応部分に同一符号を付した図１１に示すように画像データＤ１０を動き検出回路６及び第２の遅延回路３にそれぞれ入力する。動き検出回路６は、画像データＤ１０のフレーム画像を１６画素×１６画素の輝度信号及び当該輝度信号に対応する色差信号（Ｃ_Ｂ、Ｃ_Ｒ）によつて構成されるマクロブロツクに分割する。
【００９２】
そして動き検出回路６は、分割された複数のマクロブロツクの中から１つの参照ブロツクを選び出し、これが１つ前のフレーム画像に設定されたサーチエリア内に存在する多数の候補ブロツクの中のどれと最も似ているかを輝度の差分値を算出することにより調べ（以下、この手法をブロツクマツチング法と呼ぶ）、最も類似度の高い候補ブロツクとの位置のずれを動きベクトルとして検出する。
【００９３】
さらに動き検出回路６は、上述の動きベクトル検出処理を各マクロブロツク毎に全て実行し、各マクロブロツク毎に検出した動きベクトルを全て加算することにより動きベクトルの絶対値和をフレーム毎に算出し、これをフレーム画像の特徴量を表す動きベクトルデータＤ２２として画素数決定回路７に送出する。
【００９４】
画素数決定回路７は、動きベクトルデータＤ２２すなわち動きベクトルの絶対値和が所定の閾値を越えていた場合には、そのフレーム画像の動き量が大きいと判断することができる。この場合、第２の符号化手段としての第２のエンコーダ７６によつてフレーム画像をこのままの画素数で符号化処理したのでは情報量が多くなり過ぎてしまうために、量子化ステツプサイズを大きな値に設定し直して量子化しなければならないが、これに伴つて画質も劣化してしまう。
【００９５】
従つて画素数決定回路７は、このような場合にフレーム画像の画素数を削減する必要があると判断し、このとき予め設定された画素数に変換するための変換信号Ｓ１２を画素数変換回路８に送出する。
【００９６】
画素数変換回路８は、Ｍ（１９２０）画素×Ｎ（１０８０）画素の画素数でなる画枠のフレーム画像を予め設定されたｍ（１４４０）画素×ｎ（７２０）画素の画素数でなる画枠のフレーム画像に変更するための変換信号Ｓ１２を画素数変換回路８に送出する。
【００９７】
ところで第２の遅延回路３においては、動き検出回路６及び画素数決定回路７において画素数の変更を決定するまでの時間分だけ遅延させたタイミングで画像データＤ１０をフレーム毎に出力するようになされており、これにより画像データＤ１０が画素数変換回路８に入力されるタイミングと同期して、画素数決定回路７から画素数変換回路８に変換信号Ｓ１２を入力するようになされている。
【００９８】
画素数変換回路８は、変換信号Ｓ１２に基づいて画像データＤ１０を予め設定されているｍ（１４４０）画素×ｎ（７２０）画素の画素数に変換し、これを画素数変換された画像データＤ１０´として第２のエンコーダ７６に送出するようになされている。
【００９９】
また画素数変換回路８は、画素数をｍ（１４４０）画素×ｎ（７２０）画素に変換した時点で、これまでのＭ（１９２０）画素×Ｎ（１０８０）画素の画素数でなるフレーム画像のビツトストリームが終了することを意味するシーケンスエンドコードと、次に新たにビツトストリームを開始させるシーケンスヘツダ情報をシーケンス制御信号Ｓ１４として第２のエンコーダ７６の前処理部（図示せず）に送出するようになされている。
【０１００】
これにより第２のエンコーダ７６では、シーケンス制御信号Ｓ１４に基づく前処理部の制御によつて新たに画素数変換されたＧＯＰにおける画像データＤ１０´を符号化する際に、画素数変換される前のＧＯＰにおけるフレーム画像を参照画像として用いることなく画素数変換された後のＧＯＰにおけるフレーム画像を参照画像として符号化処理するようになされている。従つて第２のエンコーダ７６は、画素数変換前のフレーム画像を参照画像として用いて画素数変換後のフレーム画像を符号化処理するような誤動作を防止することができる。
【０１０１】
実際上、画素数変換回路８が画素数を削減する場合には画素数変換前のＭ（１９２０）画素をｍ（１４４０）画素に変換するためその変換比率は３：２になつている。従つて画素数変換回路８は、Ｍ（１９２０）画素を２倍にアツプレートしてその後１／２にデシメートすることによりオーバサンプリングするようになされている。
【０１０２】
このようにして画素数変換された画像データＤ１０´は、画素数の減少に伴つてマクロブロツク数も減少することにより、第２のエンコーダ７６において符号化する際の動きベクトルの符号発生量も減少している。従つて第２のエンコーダ７６から出力される固定長符号化データＤ２１´の符号発生量は一定であるため、マクロブロツク数の減少に伴う動きベクトルの符号量の減少分をＤＣＴ係数データの符号量に割り当てることができる。
【０１０３】
この結果として第２のエンコーダ７６は、画素数変換前に行われていた量子化ステツプよりも細かい量子化ステツプで画素数変換後のＤＣＴ係数データを量子化し得ることにより、ＤＣＴ係数データの係数値を増大させてＤＣＴ空間における解像度の低下を防止した固定長符号化データＤ２１´を生成して出力し得るようになされている。
【０１０４】
ここで第１のエンコーダ７１及び第２のエンコーダ７６の構成は、上述の第１の実施の形態におけるエンコーダ５の回路構成と同一であるためにここでは省略する。
【０１０５】
第１のエンコーダ７１及び第２のエンコーダ７６からそれぞれ出力される固定長符号化データＤ２１及び固定長符号化データＤ２１´は、第１の同期遅延回路７２及び第２の同期遅延回路７７にそれぞれ送出される。第１の同期遅延回路７２及び第２の同期遅延回路７７は、固定長符号化データＤ２１及び固定長符号化データＤ２１´にそれぞれ含まれているシーケンスヘツダ情報を読み取り、これを基に同期信号Ｓ７２及びＳ７７を生成して互いに交換し合うようになされている。
【０１０６】
この場合第１の同期遅延回路７２は、同期信号Ｓ７２及びＳ７７の時間的なタイミングを合わせるために、画素数変換部２における画素数変換処理を実行している間の時間分だけ固定長符号化データＤ２１を遅延させることにより、当該固定長符号化データＤ２１及び固定長符号化データＤ２１´を同期させた状態でビツトストリーム切換器７３にそれぞれ送出する。
【０１０７】
ところで第１のエンコーダ７１及び第２のエンコーダ７６からそれぞれ出力される固定長符号化データＤ２１及び固定長符号化データＤ２１´は、データ切換部８０の特徴量抽出回路７８にも供給されている。特徴量抽出回路７８は、固定長符号化データＤ２１及び固定長符号化データＤ２１´にそれぞれ基づいてフレーム毎に信号対雑音比率（Ｓ／Ｎ比）を算出し、その平均値をＧＯＰ単位でそれぞれ求め、これを画質状態データＤ７８及びＤ７８´として画素数判断回路７９に送出する。
【０１０８】
画素数判断回路７９は、画質状態データＤ７８及びＤ７８´をそれぞれ比較して、Ｓ／Ｎ比の良好な方の固定長符号化データＤ２１又は固定長符号化データＤ２１´を判断し、その判断結果を切換信号Ｓ７９としてビツトストリーム切換器７３に送出する。
【０１０９】
ビツトストリーム切換器７３は、切換信号Ｓ７９に基づいて固定長符号化データＤ２１又は固定長符号化データＤ２１´のうち出力するべきビツトストリームを選択し、当該選択された方のビツトストリームでなる固定長符号化データＤ２１又は固定長符号化データＤ２１´を送信バツフア７４に送出する。
【０１１０】
ここでビツトストリーム切換器７３は、図１２（Ａ）及び（Ｂ）に示すように固定長符号化データＤ２１としてのビツトストリームＡ及び固定長符号化データＤ２１´としてのビツトストリームＢがそれぞれ入力されていた場合、ＧＯＰ１とＧＯＰ２との間で切換信号Ｓ７９が供給されると、例えば図１２（Ｃ）に示すようにＧＯＰ１とＧＯＰ２とが切り換わるタイミングでビツトストリームＡの固定長符号化データＤ２１からビツトストリームＢの固定長符号化データＤ２１´に切り換えて出力するようになされている。
【０１１１】
この場合ビツトストリーム切換器７３は、当初の段階ではビツトストリームＡのＳ／Ｎ比の方がビツトストリームＢのそれよりも良好であつたため、当該ビツトストリームＡを送信バツフア７４に出力していた。
【０１１２】
ところが、特徴量抽出回路７８において抽出された画質状態データＤ７８及びＤ７８´を比較したときに、画素数変換されたビツトストリームＢのＳ／Ｎ比の方がビツトストリームＡのそれよりも良好な値が得られると、画素数判断回路７９は切換信号Ｓ７９をビツトストリーム切換器７３に出力する。これによりビツトストリーム切換器７３は、切換信号Ｓ７９に基づいてＧＯＰ１とＧＯＰ２とが切り換わるタイミングでビツトストリームＡからビツトストリームＢに切り換えて送信バツフア７４に出力する。
【０１１３】
この場合ビツトストリーム切換器７３は、ビツトストリームＡからビツトストリームＢに切り換えるときにＧＯＰ１の終わりにシーケンスエンドコードを書き込み、一旦ビツトストリームＡのシーケンスを終了させて次のビツトストリームＢのシーケンスを開始させて画素数変換されたＧＯＰ２のフレーム画像を送信バツフア７４に出力するようになされている。
【０１１４】
送信バツフア７４は、ビツトストリームＢの固定長符号化データＤ２１´を一旦蓄えた後に出力するようになされており、このときのバツフアの占有率情報Ｓ７４をビツトストリーム切換器７３にフイードバツクする。これによりビツトストリーム切換器７３は、占有率情報Ｓ７４に基づいて送信バツフア７４のデータ占有率が一定になるように固定長符号化データＤ２１´を調整して出力するようになされている。
【０１１５】
ところで画素数変換部２は、動きベクトルデータＤ２２（図１１）すなわち動きベクトルの絶対値和が所定の閾値を越えていた場合には、そのフレーム画像の動き量が大きいと判断して画素数を削減するようになされているが、そうでない場合には画素数変換することなくそのまま画像データＤ１０として第２のエンコーダ７６に出力する。従つて、この場合の特徴量抽出回路７８から出力される画質状態データＤ７８及びＤ７８´には差がないので、ビツトストリーム切換器７３は固定長符号化データＤ２１をそのまま送信バツフア７４に送出するだけで良い。
【０１１６】
一方シーンチエンジ検出回路１１は、画像データＤ９に基づいて隣合う２つのフレーム画像間の輝度の絶対値差分和を算出し、当該輝度の絶対値差分和が所定の閾値を越えていた場合にシーンチエンジがあつたものと判断し、このときシーンチエンジ検出データＤ１１をデータ切換部８０のビツストリーム切換器７３及びピクチヤタイプ決定回路１２にそれぞれ送出する。
【０１１７】
ビツストリーム切換器７３は、画素数判断回路７９から供給される切換信号Ｓ７９に基づいて固定長符号化データＤ２１と固定長符号化データＤ２１´とを切り換えて送信バツフア７４に出力するようになされているが、シーンチエンジ検出回路１１からシーンチエンジ検出データＤ１１の供給を受けるまでは切換信号Ｓ７９を無視し、シーンチエンジ検出データＤ１１と切換信号Ｓ７９とが同一フレームで一致したときに限つてビツトストリームを切り換えて出力するようになされている。
【０１１８】
ピクチヤタイプ決定回路１２は、シーンチエンジ検出データＤ１１に基づいてシーンチエンジ後のＧＯＰ３（図９）におけるフレーム画像を符号化処理する際、前のＧＯＰ２のフレーム画像を参照フレームとして用いないようにピクチヤタイプを指定する指定データＤ１２を第１のエンコーダ７１及び第２のエンコーダ７６の前処理部（図示せず）にそれぞれ供給するようになされている。
【０１１９】
これにより第１のエンコーダ７１及び第２のエンコーダ７６は、シーンチエンジ後のフレーム画像を予測符号化する際にシーンチエンジ前のフレーム画像を参照画像として用いることなく、例えばシーンチエンジ後のＧＯＰ３におけるＩピクチヤを参照画像として予測符号化することができ、かくして画質劣化の伝搬を防止し得るようになされている。
【０１２０】
以上の構成において、データ符号化装置７０はシーンチエンジ検出回路１１によつてシーンチエンジを検出したときにシーンチエンジ検出データＤ１１をデータ切換部８０に供給する。このときデータ切換部８０では、画質状態データＤ７８及びＤ７８´に基づいてビツストリーム切換器７３においてＳ／Ｎ比の良好な方のビツトストリームを選択する。
【０１２１】
ところがデータ切換部８０は、シーンチエンジ検出データＤ１１の供給を受けるまでは、例え画素数変換された画像データＤ１０´を基に符号化処理された固定長符号化データＤ２１´を出力すべき切換信号Ｓ７９が供給されていても、画像データＤ１０を基に符号化処理された固定長符号化データＤ２１を出力する。
【０１２２】
すなわちデータ切換部８０においては、画素数判断回路７９から切換信号Ｓ７９の供給を受けると共に、シーンチエンジ検出回路１１からシーンチエンジ検出データＤ１１の供給を受け、当該切換信号Ｓ７９とシーンチエンジ検出データＤ１１とが同一フレームで一致したときに限つて、当該シーンチエンジ検出データＤ１１の供給タイミングで固定長符号化データＤ２１から固定長符号化データＤ２１´に切り換えて出力する。
【０１２３】
このようにデータ符号化装置７０においては、画素数変換された画像データＤ１０´を基に符号化処理された固定長符号化データＤ２１´を出力する場合には、シーンチエンジのタイミングと同期させて出力するようにしたことにより、同一シーンの中で画枠が変更されることなく、シーンチエンジしたときに画枠が変更されることになり、視聴者にとつては画質の変化に気付き難く違和感を感じることがなくなつて大変見やすくなる。
【０１２４】
また、この場合の画像データＤ１０´は、画素数が削減された分だけマクロブロツクデータＤ１１のマクロブロツク数が減少し、この結果動きベクトルの符号発生量が減少する。すなわち画素数の削減量に応じてマクロブロツク数が減少して個々のマクロブロツクが表示する画像部分が大きくなる（粗くなる）ことにより、動きベクトルを表すのに必要な画素数が減少することになる。
【０１２５】
従つて画素数を減少した場合、元の画素数削減前のフレーム画像の動きベクトルが大きければ大きい程、画素数削減後のフレーム画像の動きベクトルの符号発生量が減少する割合も大きくなる。これによりデータ符号化装置７０は、画像が大きく動いたようなシーンチエンジした場合に動きベクトルの符号発生量が減少する分をＤＣＴ係数データの符号発生量に割り当てることにより、量子化ステツプサイズを小さくして符号化処理することができる。
【０１２６】
かくしてデータ符号化装置７０は、シーンチエンジしたような場合には画像が大きく変化するためにシーンチエンジ後のフレーム画像の画素数を削減し、マクロブロツク数の減少に応じて減少した動きベクトルの符号発生量の分だけＤＣＴ係数データの符号発生量に割り当て、量子化ステツプサイズを小さくして符号化処理することにより、ＤＣＴ係数データの係数値を増大させてＤＣＴ空間における解像度の低下を防止することができる。
【０１２７】
以上の構成によれば、データ符号化装置７０は画素数のそれぞれ異なる画像データＤ１０又はＤ１０´をそれぞれ並列的に符号化処理し、出力段階で画質の良好な方を選択して出力する際、それが画素数変換された画像データＤ１０´を基に符号化処理された固定長符号化データＤ２１´であつた場合には、当該固定長符号化データＤ２１´をシーンチエンジのタイミングで出力するようにしたことにより、同一シーンの中で画枠が変更されることなくシーンチエンジしたときに画枠が変更されるため、視聴者にとつて画枠の変更に伴う見た目の不自然さや違和感を取り除くことができる。
【０１２８】
（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、画像の動き量を検出する方法として動き検出回路６において動きベクトルの絶対値和を所定の閾値と比較するようにした場合について述べたが、本発明はこれに限らず、現在の処理フレーム画像のマクロブロツク及び参照フレーム画像のマクロブロツク間における各画素の輝度の差分値の総和すなわち輝度値の絶対値差分和を所定の閾値と比較するようにしても良い。この場合、画素数決定回路７は輝度値の絶対値差分和が所定の閾値を越えたときに画像に大きな動きがあつたことを意味するので、このときに画素数を変更する変換信号Ｓ１３を画素数変換回路８に供給するようになされている。
【０１２９】
また上述の第１及び第２の実施の形態においては、画像の動き量を検出する方法として動き検出回路６において動きベクトルの絶対値和を表す動きベクトルデータＤ２２を所定の閾値と比較するようにした場合について述べたが、本発明はこれに限らず、上述のようにマクロブロツク毎に検出した輝度値の絶対値差分和に動きベクトルの絶対値を乗算した乗算結果の絶対値和を動きベクトルデータＤ２２として用いるようにしても良い。この場合、画素数変換する際の動きベクトルデータＤ２２のデータ精度をより向上させることができる。
【０１３０】
さらに上述の第１及び第２の実施の形態においては、画素数変換回路８によりＭ（１９２０）画素×Ｎ（１０８０）画素の画素数でなるフレーム画像をｍ（１４４０）画素×ｎ（７２０）画素の画素数でなるフレーム画像に変換するようにした場合について述べたが、本発明はこれに限らず、所定の変換比率に基づく他の種々の画素数に削減するようにしても良い。
【０１３１】
さらに上述の第１の実施の形態においては、シーンチエンジ検出回路１１からシーンチエンジ検出データＤ１１が画素数変換部２に供給されるまで画像データＤ１０の画素数を変換しないようにした場合について述べたが、本発明はこれに限らず、シーンチエンジ検出データＤ１１が供給されなくても例えば画素数を変換する必要性が生じてから２ＧＯＰ分の画像データを処理する時間が経過した時点のタイミングで画素数を変換するようにしても良い。この場合、シーンチエンジ検出データＤ１１が供給されなくても、画素数を変換する必要性が生じていたときに画質の劣化した状態の固定長符号化データＤ２１を長時間出力し続けることを防止することができる。
【０１３２】
さらに上述の第１及び第２の実施の形態においては、画素数決定回路７が動き検出回路６によつて検出された動きベクトルの絶対値和を基に画素数の変更を決定するようにした場合について述べたが、本発明はこれに限らず、隣接する２つのフレーム画像間における色（例えば赤色）の変化の割合を基に画素数の変更を決定したり、各画素の輝度の絶対値差分和を基に画素数の変更を決定する等、他の種々の方法で画素数の変更を決定するようにしても良い。
【０１３３】
さらに上述の第１及び第２の実施の形態においては、シーンチエンジ検出回路１１において隣り合うフレーム画像間における輝度値の絶対値差分和が所定の閾値を越えた場合にシーンチエンジがあつたものと判断するようにした場合について述べたが、本発明はこれに限らず、過去数フレームの輝度の平均値と現在のフレームの輝度値との変化分に基づいてシーンチエンジを検出したり、２つのフレーム画像間における色度について例えば色差信号Ｃ_Ｒの所定時間毎の平均値の変化分に基づいてシーンチエンジを検出する等の他の種々の方法でシーンチエンジを検出するようにしても良い。
【０１３４】
さらに上述の第１及び第２の実施の形態においては、シーンチエンジ検出回路１１において隣り合うフレーム画像間における輝度値の絶対値差分和が所定の閾値を越えた場合にシーンチエンジがあつたものと判断してシーンチエンジ検出データＤ１１を出力するようにした場合について述べたが、本発明はこれに限らず、閾値のレベルを高く設定することによりコマーシヤル放送にシーンが変更したときにシーンチエンジ検出データＤ１１を出力するようにしても良い。
【０１３５】
さらに上述の第１及び第２の実施の形態においては、本発明をＭＰＥＧ２方式で符号化処理するデータ符号化装置１及び７０に適用するようにした場合について述べたが、本発明はこれに限らず、送信バツフア１８及び７４から出力される固定長符号化データＤ２１及びＤ２１´を所定の変調方式で変調した後に伝送する場合に適用しても良い。
【０１３６】
さらに上述の第２の実施の形態においては、シーンチエンジ検出回路１１からシーンチエンジ検出データＤ１１がビツトストリーム切換器７３に供給されるまでは固定長符号化データＤ２１′を出力しないようにした場合について述べたが、本発明はこれに限らず、シーンチエンジ検出データＤ１１が供給されなくても例えば固定長符号化データＤ２１を出力する必要性が生じたときから２ＧＯＰ分の画像データを処理する時間が経過した時点のタイミングで固定長符号化データＤ２１′を出力するようにしてもよい。
【０１３７】
さらに上述の第１及び第２の実施の形態においては、本発明をＭＰＥＧ２方式のデータ符号化装置１及び７０に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の符号化方式によるデータ符号化装置に本発明を適用するようにしても良い。
【０１３８】
【発明の効果】
上述のように本発明によれば、シーンチエンジのタイミングと画像データの画素数を削減するタイミングとを同期させ、画素数の削減された画像データに応じて減少した分の上記画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することができるので、同一シーンの中で画枠が変更されることを防止し、シーンチエンジ後に画像データの画素数を削減した場合にも画質の劣化を防止しつつ符号化することができるデータ符号化装置及びデータ符号化方法を実現できる。
【０１３９】
また本発明によれば、画素数の削減された画像データに応じて減少した分の画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することにより生成した第２の符号化データの画質が、第１の符号化データの画質よりも良好なために当該第２の符号化データが選択された場合に、シーンチエンジが検出されたタイミングと当該第２の符号化データを出力するタイミングとを同期させることができるので、同一シーンの中で画枠が変更されることを防止し、シーンチエンジ後に画像データの画素数を削減した第２の符号化データを出力した場合にも画質の劣化を防止することができるデータ符号化装置及びデータ符号化方法を実現できる。
さらに本発明によれば、画素数の削減された画像データに応じて減少した分の画像データの動きを表す動きベクトルの符号量を、画像データの符号量に割り当てたことによつて得られる符号発生量になるように画像データ及び動きベクトルを符号化することにより生成した第２の符号化データの画質が、第１の符号化データの画質よりも良好なために当該第２の符号化データが選択された場合に、シーンチエンジが検出されたタイミングと当該第２の符号化データを出力するタイミングとを同期させることができるので、同一シーンの中で画枠が変更されることを防止し、シーンチエンジ後に画像データの画素数を削減した第２の符号化データを所定の変調方式で変調して伝送した場合にも画質の劣化を防止することができるデータ伝送方法を実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるデータ符号化装置の構成を示すブロツク図である。
【図２】エンコーダの構成を示すブロツク図である。
【図３】画素数変更の判断基準の説明に供する略線図である。
【図４】画素数変換の説明に供する略線図である。
【図５】画素数変換後のマクロブロツクを示す略線図である。
【図６】画素数変換前後における符号発生量の違いの説明に供する略線図である。
【図７】画素数変更点を示す略線図である。
【図８】オーバサンプリングの手法を示す略線図である。
【図９】画素数変更点とシーンチエンジのタイミングを一致させた状態を示す略線図である。
【図１０】本発明の第２の実施の形態におけるデータ符号化装置の構成を示すブロツク図である。
【図１１】画素数変換部の構成を示すブロツク図である。
【図１２】ビツトストリームの切り換え処理の説明に供する略線図である。
【図１３】圧縮符号化方法の説明に供する略線図である。
【図１４】シーンチエンジのタイミングを示す略線図である。
【図１５】画質劣化の伝搬防止の説明に供する略線図である。
【図１６】従来のシーンチエンジ検出を行うデータ符号化装置の構成を示すブロツク図である。
【図１７】シーンチエンジ検出の説明に供する略線図である。
【図１８】従来のデータ符号化装置の構成を示すブロツク図である。
【図１９】従来の画素数変更点とシーンチエンジのタイミングを示す略線図である。
【符号の説明】
１、７０……データ符号化装置、２……画素数変換部、３……第２の遅延回路、５……エンコーダ、６……動き検出回路、７……画素数決定回路、８……画素数変換回路、１０……第１の遅延回路、７１……第１のエンコーダ、７３……ビツトストリーム切換器、７８……特徴量抽出回路、７９……画素数判断回路。

Claims

入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて上記画像データを符号化すると共に上記動きベクトルを符号化して出力するデータ符号化装置において、
上記画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出するシーンチエンジ検出手段と、
上記画像データの動きの特徴量を算出する動きの特徴量算出手段と、
上記動きの特徴量が所定の閾値を超えていた場合であつて上記シーンチエンジ検出手段によりシーンチエンジが検出された場合は当該シーンチエンジされたフレームから上記画像データの画素数を所定の変換比率で削減する画素数変換手段と、
上記画素数の削減された画像データに応じて減少した分の上記画像データの動きを表す動きベクトルの符号量を、上記画像データの符号量に割り当てたことによつて得られる符号発生量になるように上記画像データ及び上記動きベクトルを符号化する符号化手段と
を具えることを特徴とするデータ符号化装置。
入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて上記画像データを符号化すると共に上記動きベクトルを符号化して出力するデータ符号化方法において、
上記画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出し、
上記画像データの動きの特徴量を算出し、
上記動きの特徴量が所定の閾値を超えていた場合であつてシーンチエンジが検出された場合は当該シーンチエンジされたフレームから上記画像データの画素数を所定の変換比率で削減し、
上記画素数の削減された画像データに応じて減少した分の上記画像データの動きを表す動きベクトルの符号量を、上記画像データの符号量に割り当てたことによつて得られる符号発生量になるように上記画像データ及び上記動きベクトルを符号化する
ことを特徴とするデータ符号化方法。
入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて上記画像データを符号化すると共に上記動きベクトルを符号化して出力するデータ符号化装置において、
上記画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出するシーンチエンジ検出手段と、
上記画像データの画素数を変換することなく上記画像データ及び上記動きベクトルを符号化処理することにより第１の符号化データを生成する第１の符号化手段と、
上記画像データの動きの特徴量を算出し、当該動きの特徴量に基づいて上記画像データの画素数を所定の変換比率で削減する画素数変換手段と、
上記画素数変換手段によつて画素数変換された変換データに応じて減少した分の上記画像データの動きを表す動きベクトルの符号量を、上記画像データの符号量に割り当てたことによつて得られる符号発生量になるように上記画像データ及び上記動きベクトルを符号化することにより第２の符号化データを生成する第２の符号化手段と、
上記第１の符号化データ及び上記第２の符号化データの画質を判別し、当該判別結果に基づいて上記第２の符号化データを選択した場合に、上記シーンチエンジ検出手段によりシーンチエンジが検出された場合は当該シーンチエンジのタイミングと同期させて当該第２の符号化データを出力する切換手段と
を具えることを特徴とするデータ符号化装置。
入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて上記画像データを符号化すると共に上記動きベクトルを符号化して出力するデータ符号化方法において、
上記画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出し、
上記画像データの画素数を変換することなく上記画像データ及び上記動きベクトルを符号化処理することにより第１の符号化データを生成すると共に、上記画像データの動きの特徴量を算出し、当該動きの特徴量に基づいて上記画像データの画素数を所定の変換比率で削減して画素数変換された変換データに応じて減少した分の上記画像データの動きを表す動きベクトルの符号量を、上記画像データの符号量に割り当てたことによつて得られる符号発生量になるように上記画像データ及び上記動きベクトルを符号化することにより第２の符号化データを生成し、
上記第１の符号化データ及び上記第２の符号化データの画質を判別し、当該判別結果に基づいて上記第２の符号化データを選択した場合に、上記シーンチエンジが検出されたときには当該シーンチエンジのタイミングと同期させて当該第２の符号化データを出力する
ことを特徴とするデータ符号化方法。
入力された画像データにおける隣接する２つのフレーム間差分を算出すると共に当該フレーム間の動きベクトルを算出し、当該フレーム間差分及び動きベクトルに基づいて上記画像データを符号化すると共に上記動きベクトルを符号化することにより得られた符号化データを変調して伝送するデータ符号化方法において、
上記画像データにおける隣接する２つのフレーム間差分に基づいて当該画像データのシーンチエンジを検出し、
上記画像データの画素数を変換することなく上記画像データ及び上記動きベクトルを符号化処理することにより第１の符号化データを生成すると共に、上記画像データの動きの特徴量を算出し、当該動きの特徴量に基づいて上記画像データの画素数を所定の変換比率で削減して画素数変換された変換データに応じて減少した分の上記画像データの動きを表す動きベクトルの符号量を、上記画像データの符号量に割り当てたことによつて得られる符号発生量になるように上記画像データ及び上記動きベクトルを符号化することにより第２の符号化データを生成し、
上記第１の符号化データ及び上記第２の符号化データの画質を判別し、当該判別結果に基づいて上記第２の符号化データを選択した場合に、上記シーンチエンジ検出手段によりシーンチエンジが検出されたときには当該シーンチエンジのタイミングと同期させて当該第２の符号化データを所定の変調方式で変調して伝送する
ことを特徴とするデータ伝送方法。