JP4449694B2 - 動画像予測符号化装置 - Google Patents

Description

本発明は、映像信号をＩ（フレーム内符号化）ピクチャ、Ｐ（前方向予測符号化）ピクチャ及びＢ（前後方向予測符号化）ピクチャに符号化する動画像予測符号化装置に関する。

＜フレームシンクロナイザとＭＰＥＧのリオーダ・バッファ＞
一般的にＭＰＥＧの（Moving Picture Experts Group）エンコード処理は、エンコーダ内部で生成するフレーム同期信号（以下、内部フレーム同期信号）によってフレーム単位に行われる。一方、入力映像信号は必ずしも内部フレーム同期信号と周期が一致していないため、エンコーダの前段にフレームシンクロナイザが必要になる。フレームシンクロナイザは、入力映像信号から生成されたフレーム同期信号（以下、外部フレーム同期信号）の周期が内部フレーム同期信号の周期より短い場合は入力映像信号をフレーム単位に棄却（スキップ）し、他方、外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合は入力映像信号をフレーム単位に繰り返す（リピート）処理を適切に行うことで両者の同期をとる。このために２〜３フレーム分のメモリが必要になる。

ＭＰＥＧエンコーダは、前後方向予測符号化を行うＢピクチャが前後方向のＩ又はＰピクチャから予測を行うので、符号化対象のフレームより後のフレームを先に符号化する必要があるため、リオーダ・バッファと呼ばれるメモリが必要であり、その容量はＩ又はＰピクチャの間隔をＭとすると、Ｍ＋１フレーム分が必要になる。このため、フレームシンクロナイザとＭＰＥＧエンコーダ（のリオーダ・バッファ）を単純に並べて配置すると、合計でＭ＋３〜Ｍ＋４フレームのメモリ容量が必要になる。

そこで、メモリ容量を削減する従来例として下記の特許文献１に記載の技術が提案されている。図７、図８、図９は、それぞれ特許文献１の図１、図２、図３を示している。図７に示すブロック図において、映像信号である入力信号はＮＴＳＣデコーダ２、前処理部３を介してフレームメモリ４に印加される。このとき、ＮＴＳＣデコーダ２は入力信号に基づいて外部フレーム同期信号を生成し、フレームメモリ４では外部フレーム同期信号に同期していったん入力信号が記憶される。このフレームメモリ４に記憶された映像信号はＭＰＥＧエンコーダ６を経由して出力される。

また、制御部５は内部の自走カウンタにより一定間隔の内部フレーム同期信号を生成して前処理部３に印加し、前処理部３は外部フレーム同期信号と内部フレーム同期信号のタイミングを監視しており、図８に示す状態遷移図に従って、外部フレーム同期信号が２回連続して発生すると、すなわち外部フレーム同期信号の周期が内部フレーム同期信号の周期より短いとスキップ信号を発生し、他方、内部フレーム同期信号が２回連続して発生すると、すなわち外部フレーム同期信号の周期が内部フレーム同期信号の周期より長いとリピート信号を発生して制御部５に出力する。制御部５はスキップ／リピート信号に基づいてＭＰＥＧエンコーダ６が出力フレームをスキップ／リピートするように制御する。

外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合を例にとり、かつＭ＝３としたときの動作を図９に示す。ここで、外部フレーム同期信号の周期が内部フレーム同期信号の周期より短く、スキップする場合の処理については、メモリ容量に関係しないので、特に説明しない。図９に示すように、従来例では、エンコード動作を内部フレーム同期信号に従って行う。この例では、フレームｆ５が入力されている期間にリピート信号が発生しており、このとき、その前のフレームｆ４を繰り返し符号化することによって、フレーム同期信号の違いを吸収する。
特開２００２−３４０４０号公報（図１〜図３）

しかしながら、上記従来例によれば、フレームシンクロナイザとＭＰＥＧエンコーダ（のリオーダ）にかかる総メモリ容量が、それらを別々に持つのに比べて少なくてすむとはいえ、Ｍ＋２フレーム分（上記の場合、３＋２＝５フレーム分のメモリＦＭ０〜ＦＭ４）の画像エリアが必要である。

本発明は上記従来例の問題点に鑑み、フレームシンクロナイザとＭＰＥＧエンコーダ（のリオーダ）にかかる総メモリ容量が更に少なくてすみ、かつピクチャ・タイプ（Ｉ、Ｐ、Ｂ）の周期を変更せずに符号化することができる動画像予測符号化装置を提供することを目的とする。

本発明は上記目的を達成するために、
入力映像信号をフレーム単位で格納するためのフレームメモリと、
前記入力映像信号を動画像予測符号化して圧縮したデータを格納するためのバッファと、
前記入力映像信号を動画像予測符号化して出力するための第１のフレーム同期信号を生成するフレーム同期信号生成手段と、
前記入力映像信号のフレームに同期する第２のフレーム同期信号を検出するフレーム同期信号検出手段と、
前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より長い場合にリピート信号を発生し、前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より短い場合にスキップ信号を発生するフレーム同期信号監視手段と、
前記入力映像信号を前記第２のフレーム同期信号に同期して前記フレームメモリに書き込み、前記フレームメモリから読み出して動画像予測符号化するエンコード手段であって、前記リピート信号が発生した場合に、動画像予測符号化した所定のフレームをリピートフレームとして設定し、前記スキップ信号が発生した後に入力するフレームを前記フレームメモリに書き込むことなく動画像予測符号化を中止し、前記動画像予測符号化したデータを前記第２のフレーム同期信号に同期して前記バッファに書き込むエンコード手段と、
前記バッファに書き込まれたデータを前記第１のフレーム同期信号に同期して符号化順に読み出すとともに、前記リピート信号が発生した場合に前記リピートフレームとして設定されたフレームを前記バッファからリピートして読み出すバッファ読み出し手段とを、
有する。
また、本発明は上記目的を達成するために、
入力映像信号をフレーム単位で格納するためのフレームメモリと、
前記入力映像信号を動画像予測符号化して圧縮したデータを格納するためのバッファと、
前記入力映像信号を動画像予測符号化して出力するための第１のフレーム同期信号を生成するフレーム同期信号生成手段と、
前記入力映像信号のフレームに同期する第２のフレーム同期信号を検出するフレーム同期信号検出手段と、
前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より長い場合にリピート信号を発生し、前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より短い場合にスキップ信号を発生するフレーム同期信号監視手段と、
前記入力映像信号を前記第２のフレーム同期信号に同期して前記フレームメモリに書き込み、前記フレームメモリから読み出して動画像予測符号化するエンコード手段であって、前記リピート信号が発生した場合に、動画像予測符号化した所定のフレームをリピートフレームとして設定し、前記スキップ信号が発生した後に入力するフレームを前記フレームメモリに書き込むことなく動画像予測符号化を中止し、前記動画像予測符号化したデータを前記第２のフレーム同期信号に同期して前記バッファに書き込むエンコード手段と、
前記バッファに書き込まれたデータを前記第１のフレーム同期信号に同期して符号化順に読み出し出力するとともに、前記リピート信号が発生した場合に、前記リピートフレームとして設定されたフレームを１回目に読み出すタイミングにおいては前記リピートフレームとして設定されたフレームのデータを前記バッファから読み出し出力し、前記リピートフレームとして設定されたフレームを２回目以降リピートして読み出すタイミングにおいては予測画像との残差を０としたデータを出力するバッファ読み出し手段とを、
有することを特徴とする。

本発明によれば、フレームシンクロナイザとして用いるバッファに圧縮データを格納してリピート読み出しを行うので、総メモリ容量が更に少なくてすみ、かつピクチャ・タイプ（Ｉ、Ｐ、Ｂ）の周期を変更せずに符号化することができる。
また、リピートして読み出す２回目以降のフレームに対する符号化出力を予測画像との残差を０として出力するので、この減った分を他のフレームのデータに割り付けることができ、このため、画質が向上する。

＜第１の実施の形態＞
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る動画像予測符号化装置の第１の実施の形態を示すブロック図、図２は図１の後処理部を詳しく示すブロック図、図３は外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合の処理を示すタイミングチャート、図４は外部フレーム同期信号の周期が内部フレーム同期信号の周期より短い場合の処理を示すタイミングチャートである。

図１において、映像信号である入力信号はＮＴＳＣデコーダ２、前処理部３、フレームメモリ４、ＭＰＥＧエンコーダ６、ストリーム・バッファ７、後処理部８を介して出力される。ＮＴＳＣデコーダ２は入力映像信号に基づいて外部フレーム同期信号を生成して前処理部３、制御部５、ＭＰＥＧエンコーダ６に出力し、フレームメモリ４では入力信号は外部フレーム同期信号に同期していったん記憶される。制御部５は内部の自走カウンタにより内部フレーム同期信号を生成して後処理部８に印加する。制御部５は外部フレーム同期信号と内部フレーム同期信号のタイミングを監視し、従来例と同様な過程でリピート／スキップ信号を生成する。

従来例（図７）との違いは、前処理部３及びＭＰＥＧエンコーダ６を外部フレーム同期信号に従って動作させている点と、内部フレーム同期信号に従って動作するストリーム・バッファ７、後処理部８が設けられている点である。後処理部８は図２に示すようにアドレス生成部８ａにより構成され、アドレス生成部８ａは制御部５から入力される内部フレーム同期信号をトリガにして、同時に受け取るスタート・アドレスを基に読み出しアドレス（図２では単にアドレスと記す）を生成してストリーム・バッファ７に出力し、これにより読み出されたデータを出力する。ストリーム・バッファ７はＦＩＦＯメモリ（リング・バッファ）として機能し、読み出しが書き込みを追い越さないように動作させる必要がある。

＜外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合＞
まず、外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合の動作を図３のタイミングチャートにより説明する。図３では、２フレーム分のＢピクチャがＩ又はＰピクチャの間に挟まれる符号化を意図しているため（Ｍ＝３）、４フレーム分のメモリＦＭ０〜ＦＭ３を必要とする。前処理部３は外部フレーム同期信号に従って入力データを、フレームメモリ４を構成する４枚分のフレームメモリＦＭ０〜ＦＭ３にいったん書き込み、ＭＰＥＧエンコーダ６はフレームメモリＦＭ０〜ＦＭ３から同じく外部フレーム同期信号に従って、符号化するフレームを順次読み出して符号化を行う。次に入力するフレームはメモリＦＭ０〜ＦＭ３のうち、符号化が終了したメモリに格納される。

図３では、フレームｆ１、ｆ２を共にＢピクチャに符号化するので、
（１）フレームｆ４の入力タイミングで、フレームｆ１、ｆ２より後のフレームｆ３を先にメモリＦＭ２から読み出してＩピクチャに符号化する。
（２）フレームｆ５の入力タイミングでは、フレームｆ５をメモリＦＭ２に書き込むとともに、フレームｆ１をメモリＦＭ０から読み出してＢピクチャに符号化する。
（３）フレームｆ６の入力タイミングでは、フレームｆ６をメモリＦＭ０に書き込むとともに、フレームｆ２をメモリＦＭ１から読み出してＢピクチャに符号化する。

ＭＰＥＧエンコーダ６の出力ビットストリームは外部フレーム同期信号に従ってストリーム・バッファ７に書き込まれ、後処理部８はストリーム・バッファ７から内部フレーム同期信号に従ってビットストリームを読み出し、出力する。このとき、ストリーム・バッファ７の読み出し開始は、エンコード開始後、最初のフレームの符号化を終了した以降で、最初に入力される内部フレーム同期信号から行われる（１フレーム分以上のストリーム・データが必ずたまっている状態）。

同時に、制御部５では内部／外部フレーム同期信号を監視しており、図８の状態遷移図に従ってリピート信号を生成する。リピート信号が発生したら、以下の手順でエンコード順を変更する。
１．リピート信号発生後、最初にＩ又はＰピクチャで符号化を行うフレームを通常より１フレーム前に入力されたフレームとする。このフレームを、以降で符号化の順番を変更する際のリピート基準フレーム（以下、基準フレーム）として設定し、基準フレームより更に１フレーム前に入力されたフレームをリピートフレームに設定する。
２．基準フレームをＩ又はＰピクチャで符号化した後、それ以前に入力されていて、まだ符号化されていないＭ−２フレームをＢピクチャとして順次符号化する。
３．Ｍ−２フレームの最後の１フレームを符号化している期間に入力されたフレームを次の１フレーム期間でＩ又はＰピクチャとして符号化し、通常の処理手順に戻る。

例えば図３では、フレームｆ５の入力期間にリピート信号が発生しており、通常次にＰピクチャとして符号化されるのはフレームｆ６であるから、その前に入力されるフレームｆ５が基準フレーム、フレームｆ４がリピートフレームとして設定される。
フレームｆ７が入力される期間では、基準フレームであるフレームｆ６がＰピクチャとして符号化され、その後、まだ符号化されていないフレームｆ４をＢピクチャとして符号化し、その間に入力されたフレームｆ８を次のフレーム期間でＰピクチャとして符号化している。

一方、後処理部８では内部フレーム同期信号に従ってストリーム・バッファ７から符号化結果を順次読み出して出力する。ここでは、リピート信号が発生した後、設定されている基準フレームとそれに続くＭ−２フレーム分の符号化データを出力するまでは通常の手続が維持されるが、その次のフレーム期間で、直前に出力した符号化フレームのデータを再び出力し、その次のフレーム期間から再び通常の手続きに戻って読み出して出力する。図３では、フレームｆ５が基準フレーム、フレームｆ４がリピートフレームとして設定されているため、フレームｆ５、ｆ４の符号化データを出力した次のフレーム期間で、再度フレームｆ４を出力している（最初のフレームｆ４と次のフレームｆ４の符号化タイプが同じなので、同じストリームを出力することが可能）。

＜外部フレーム同期信号の周期が内部フレーム同期信号の周期より短い場合＞
次に、外部フレーム同期信号の周期が内部フレーム同期信号の周期より短い場合の動作を図４のタイミングチャートにより説明する（Ｍ＝３）。前処理部３は外部フレーム同期信号に従って、入力データをフレームメモリ４のアドレスＦＭ０〜ＦＭ３にいったん書き込み、ＭＰＥＧエンコーダ６はフレームメモリＦＭ０〜ＦＭ３から同じく外部フレーム同期信号に従って、符号化するフレームを順次読み出して符号化を行う。図４では、２フレーム分のＢピクチャがＩ又はＰピクチャの間に挟まれる符号化を意図しているため（Ｍ＝３）、４フレーム分のメモリＦＭ０〜ＦＭ３を必要とする。ＭＰＥＧエンコーダ６の出力ビットストリームはストリーム・バッファ７に書き込まれ、後処理部８はストリーム・バッファ７から内部フレーム同期信号に従ってビットストリームを読み出して出力する。このとき、ストリーム・バッファ７の読み出し開始は、エンコード開始後、最初のフレームの符号化を終了した以降で、最初に入力される内部フレーム同期信号から行われる（１フレーム分以上のストリーム・データが必ずたまっている状態）。

同時に、制御部５では内部／外部フレーム同期信号を監視しており、図８の状態遷移図に従ってスキップ信号を生成する。
１．スキップ信号が発生した直後の１フレーム期間で入力されるフレームはフレームメモリ４に書き込まない。
２．スキップ信号が発生した直後の１フレーム期間はエンコード処理を行わない。
３．スキップ信号が発生した直後の次のフレーム期間から通常のメモリアクセス、通常のエンコード順で処理を開始する。

例えば図４では、フレームｆ６及びｆ１４が入力されるフレームの直前にスキップ信号が発生したため、フレームｆ６及びｆ１４はメモリ４に書き込まれず、同時にその期間のエンコード動作を停止している。一方、後処理部８では、スキップ信号に伴う処理手順の変更はない。したがって、内部フレーム同期信号に従ってストリーム・バッファ７から符号化結果を読み出し続ける。

＜第２の実施の形態＞
第２の実施の形態では図５に示すように、後処理部８がアドレス生成部８ａの他に、残差０符号化回路８ｂとセレクタ８ｃを有し、リピートフレームとして設定されるフレームが、基準フレームと同じになる点が第１の実施の形態と異なる。残差０符号化回路８ｂは内部フレーム同期信号が入力されると、後方予測ベクトル＝０、残差＝０のビットストリーム（固定パターン）を出力し、セレクタ８ｃは通常、ストリーム・バッファ７から読み出されるデータを選択し、リピートして出力する２回目以降のフレームのタイミングでは、残差０符号化回路８ｂの出力データを選択するように制御部５からのセレクタ制御信号により制御される。ここで、ＭＰＥＧ２の場合、たかだか１０バイト程度の固定パターンを繰り返して出力すればよいため、回路規模は非常に小さくできる。ＭＰＥＧエンコーダ６の動作及びリピートフレームの設定は第１の実施の形態と同じであり、リピート信号発生以降の後処理部８の処理の手順は以下の規則にのっとる。

また、第２の実施の形態では、リピート信号が発生した後、設定されている基準フレームとそれに続くＭ−２フレーム分の符号化データを出力するまでは通常の手順が維持されるが、その次のフレーム期間でリピートフレームと設定されている基準フレームを再び出力し、その次のフレーム期間から再び通常の手順に戻って読み出し、出力する。図６では、フレームｆ５が基準及びリピートフレームとして設定されているため、フレームｆ５、ｆ４の符号化データを出力した次のフレーム期間で再度フレームｆ５を出力し、２回目のフレームｆ５の出力タイミングでは、残差０符号化回路８ｂの出力データを選択するように制御部５により制御される。

第１、第２の実施の形態によれば、ＭＰＥＧのリオーダにかかるメモリの総量は、Ｍ＋１フレーム分の生データを記憶する容量でよく、また、フレーム同期を行うストリーム・バッファ７として、２フレーム分程度の圧縮データを記憶する容量を追加することにより、フレーム・シンクロナイザの機能を実現できる。これは、通常ＭＰＥＧの圧縮率が数１０分の１の圧縮率であることを考慮すると、
総量＝Ｍ＋１フレーム＋２フレーム／数１０
となり、従来例と比較して必要なメモリの総量を削減できる。また図３、図４、図６に示すように、ピクチャタイプ（Ｉ、Ｐ、Ｂ）の周期を変更せずに符号化できる利点は、（従来例から）損なわれていない。

さらに第２の実施の形態によれば、外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合、繰り返し符号化されるフレームは、必ず一方を他方から参照（予測）できる組み合わせにできることから、片方のフレームの符号発生量を極めて少なくすることができる。したがって、この削減分の符号量は他のフレームに割り当てることができるので、全体の画像シーケンスとして画質が向上する効果が期待できる。

なお、ストリーム・バッファ７が２フレーム分程度ですむ場合の理論的な限界値は、Ｔｅを外部フレーム同期信号の周期、Ｔｉを内部フレーム同期信号の周期、ＭをＩ又はＰで符号化されるフレームの最大間隔として、
Ｔｅ＜Ｔｉ（２Ｍ＋１）／２Ｍ
である。例えばＭ＝３の場合は、外部フレーム同期信号の周期Ｔｅが内部フレーム同期信号の周期Ｔｉに対して約１７％長いという状況まで対応が可能になる。フレーム・シンクロナイザによって吸収しなければならない偏差量は、通常、数パーセント以内であり、この場合は充分であると言える。

本発明に係る動画像予測符号化装置の第１の実施の形態を示すブロック図である。 図１の後処理部を詳しく示すブロック図である。 外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合の処理を示すタイミングチャートである。 外部フレーム同期信号の周期が内部フレーム同期信号の周期より短い場合の処理を示すタイミングチャートである。 本発明の動画像予測符号化装置の第２の実施の形態を示すブロック図である。 第２の実施の形態において外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合の処理を示すタイミングチャートである。 従来例の動画像予測符号化装置を示すブロック図である。 従来例のスキップ／リピート信号の発生処理を示す説明図である。 従来例の他の形態において外部フレーム同期信号の周期が内部フレーム同期信号の周期より長い場合の処理を示すタイミングチャートである。

符号の説明

２ ＮＴＳＣデコーダ
３ 前処理部
４ フレームメモリ
５ 制御部
６ ＭＰＥＧエンコーダ
７ ストリーム・バッファ
８ 後処理部
８ａ アドレス生成部
８ｂ 残差０符号化回路
８ｃ セレクタ

Claims (2)

1. 入力映像信号をフレーム単位で格納するためのフレームメモリと、
   前記入力映像信号を動画像予測符号化して圧縮したデータを格納するためのバッファと、
   前記入力映像信号を動画像予測符号化して出力するための第１のフレーム同期信号を生成するフレーム同期信号生成手段と、
   前記入力映像信号のフレームに同期する第２のフレーム同期信号を検出するフレーム同期信号検出手段と、
   前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より長い場合にリピート信号を発生し、前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より短い場合にスキップ信号を発生するフレーム同期信号監視手段と、
   前記入力映像信号を前記第２のフレーム同期信号に同期して前記フレームメモリに書き込み、前記フレームメモリから読み出して動画像予測符号化するエンコード手段であって、前記リピート信号が発生した場合に、動画像予測符号化した所定のフレームをリピートフレームとして設定し、前記スキップ信号が発生した後に入力するフレームを前記フレームメモリに書き込むことなく動画像予測符号化を中止し、前記動画像予測符号化したデータを前記第２のフレーム同期信号に同期して前記バッファに書き込むエンコード手段と、
   前記バッファに書き込まれたデータを前記第１のフレーム同期信号に同期して符号化順に読み出すとともに、前記リピート信号が発生した場合に前記リピートフレームとして設定されたフレームを前記バッファからリピートして読み出すバッファ読み出し手段とを、
   有する動画像予測符号化装置。
2. 入力映像信号をフレーム単位で格納するためのフレームメモリと、
   前記入力映像信号を動画像予測符号化して圧縮したデータを格納するためのバッファと、
   前記入力映像信号を動画像予測符号化して出力するための第１のフレーム同期信号を生成するフレーム同期信号生成手段と、
   前記入力映像信号のフレームに同期する第２のフレーム同期信号を検出するフレーム同期信号検出手段と、
   前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より長い場合にリピート信号を発生し、前記第２のフレーム同期信号の周期が前記第１のフレーム同期信号の周期より短い場合にスキップ信号を発生するフレーム同期信号監視手段と、
   前記入力映像信号を前記第２のフレーム同期信号に同期して前記フレームメモリに書き込み、前記フレームメモリから読み出して動画像予測符号化するエンコード手段であって、前記リピート信号が発生した場合に、動画像予測符号化した所定のフレームをリピートフレームとして設定し、前記スキップ信号が発生した後に入力するフレームを前記フレームメモリに書き込むことなく動画像予測符号化を中止し、前記動画像予測符号化したデータを前記第２のフレーム同期信号に同期して前記バッファに書き込むエンコード手段と、
   前記バッファに書き込まれたデータを前記第１のフレーム同期信号に同期して符号化順に読み出し出力するとともに、前記リピート信号が発生した場合に、前記リピートフレームとして設定されたフレームを１回目に読み出すタイミングにおいては前記リピートフレームとして設定されたフレームのデータを前記バッファから読み出し出力し、前記リピートフレームとして設定されたフレームを２回目以降リピートして読み出すタイミングにおいては予測画像との残差を０としたデータを出力するバッファ読み出し手段とを、
   有する動画像予測符号化装置。

Images