JP3806289B2 - 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置 - Google Patents
動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置 Download PDFInfo
- Publication number
- JP3806289B2 JP3806289B2 JP2000216959A JP2000216959A JP3806289B2 JP 3806289 B2 JP3806289 B2 JP 3806289B2 JP 2000216959 A JP2000216959 A JP 2000216959A JP 2000216959 A JP2000216959 A JP 2000216959A JP 3806289 B2 JP3806289 B2 JP 3806289B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- signal
- synchronization signal
- repeat
- frame memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号をフレーム内符号化、前方向からの予測符号化、双方向からの予測符号化を用いて高能率に符号化する動画像符号化装置に適用するフレームメモリ管理方法、及びフレームメモリ管理装置に関するもので、特に非標準映像信号が入力される場合でも内部同期信号に従ってフレーム単位で適切な符号化を実現するフレームメモリ管理方法、及びフレームメモリ管理装置に関するものである。
【０００２】
【従来の技術】
近年、映像データをＭＰＥＧ２方式でリアルタイムに高能率符号化してハードディスクやＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等のディスク媒体に記録する映像記録装置が実現されている。
【０００３】
このような映像記録装置に入力される映像信号は標準信号だけでなく、例えばＶＴＲの高速再生映像などの非標準信号も入力されることがあり得る。ＭＰＥＧ２方式では映像信号をフレーム単位に符号化するのが一般的であるが、非標準信号の場合は入力映像信号から生成した同期信号（以下、外部同期信号と呼ぶ）と内部の高能率符号化で用いるフレーム同期信号（以下、内部同期信号と呼ぶ）でずれが生じるため、ＭＰＥＧ２ビデオエンコーダの前段にフレームシンクロナイザが必要になる。
【０００４】
フレームシンクロナイザを備えた高能率符号化装置として、特開平１１−１１２９３７号公報記載の技術（以下では従来例と呼ぶ）がある。図９に従来例の構成例をブロック図で示す。
【０００５】
図９において、映像入力信号端子２１から映像信号が入力され、フレームシンクロナイザ２２で内部同期信号に同期した信号に変換され、ＭＰＥＧ−Ｖエンコーダ２４に入力される。またフレームシンクロナイザ２２では外部同期信号と内部同期信号の関係から、後述するフレーム繰り返し、又はフレーム抜け（以下ではそれぞれリピート、スキップと呼ぶ）となるように制御し、この制御信号をマイコン２３に出力する。マイコン２３はリピート、スキップ情報に応じてＭＰＥＧ−Ｖエンコーダ２４の符号化を制御する。
【０００６】
フレームシンクロナイザ２２では外部同期信号と内部同期信号の位相差を測定し、位相差が０フレーム以下になれば入力フレームを繰り返してＭＰＥＧ−Ｖエンコーダに出力し、位相差が１フレーム以上になれば入力フレームのうち１フレームを抜いてＭＰＥＧ−Ｖエンコーダ２４に出力する。
【０００７】
図１０に特開平１１−１１２９３７号公報に記載のフレームシンクロナイザの制御をタイムチャートで示す。図１０（ａ）は外部同期信号で、入力フレーム（ｂ）は外部同期信号（ａ）に同期して入力される。（ｃ）、（ｄ）は内部同期信号の周期が外部同期信号の周期よりも短い場合の動作で、内部同期信号１（ｃ）が外部同期信号（ａ）に追い付いた時点のフレーム（図１０ではフレームｆ５）を繰り返し出力する。また（ｅ）、（ｆ）は内部同期信号の周期が外部同期信号の周期よりも長い場合の動作で、内部同期信号２（ｅ）と外部同期信号（ａ）の位相差が１フレーム以上になった時点で次のフレーム（図１０ではフレームｆ６）を抜いて、その次のフレームを出力する。
【０００８】
そして、フレームが繰り返された場合には、繰り返されたフレームは全フレームと同一なのでＰピクチャ（前フレームから予測符号化するフレーム）として動きベクトルを０にする制御を行い、フレームが抜かれた場合には、抜かれたフレームの前フレームと直後のフレームは時間的距離が倍になっていることに対応して動きベクトル探索範囲を増やす制御を行うものである。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来例ではフレームシンクロナイザ２２、ＭＰＥＧ−Ｖデコーダ２４が独立して制御されているため、それぞれでフレームメモリを備える必要があるという問題があった。
【００１０】
図１０の（ｅ）、（ｆ）の場合、フレームｆ４の出力期間に入力フレーム（ｂ）ではフレームｆ５の入力が終了し、フレームｆ６の入力が始まっている。従って、図９のフレームシンクロナイザ２２にはフレームｆ５の全てと、フレームｆ４とフレームｆ６の一部を保持しておく必要があり、２〜３フレーム分のフレームメモリが必要になる。
【００１１】
図１１にＭＰＥＧ方式で符号化する場合の符号化タイミングを示す。
ＭＰＥＧ方式では、フレーム内符号化するＩピクチャ、前方向から予測符号化するＰピクチャ、双方向から予測符号化するＢピクチャの３種類の符号化タイプに分けて符号化することが多い。図１１はＩピクチャ、Ｐピクチャの間に２枚のＢピクチャが存在する場合の例で、入力フレーム（ｂ）のフレーム番号の下のＢ、Ｂ、Ｉが符号化タイプを示す。図１１では、入力フレーム（ｂ）はｆ１、ｆ２、ｆ３の順に入力され、内部同期信号（ａ）に同期して符号化フレーム（ｃ）に記載の順に符号化する。
【００１２】
ＭＰＥＧ方式の符号化タイプのうち、Ｐ、Ｂピクチャは予測に用いるフレームを符号化した後に符号化する。例えばフレームｆ１、ｆ２はフレームｆ３から予測するので、まずフレームｆ３を符号化し、その後に符号化する。ＭＰＥＧではこのようにフレーム順を入れ替える（以下ではリオーダリングと呼ぶ）必要があるためのフレームメモリが必要になる。図１１のようにＢピクチャが２枚の場合、符号化フレームがｆ３のタイミングで入力フレームとしてｆ１からｆ４までの４フレームを保持する必要があるので、リオーダリングのために４フレーム分のメモリが必要になる。
【００１３】
従って、従来例ではフレームシンクロナイザ２２とＭＰＥＧ−Ｖエンコーダ２４のリオーダリングとで合計６〜７フレームの大容量フレームメモリが必要になるという問題があった。
【００１４】
また、従来例では繰り返しフレームをＰピクチャとして符号化するが、そのためにＩ、Ｐ、Ｂピクチャの順が周期的でなくなり、ＭＰＥＧ−Ｖエンコーダ２４での発生符号量制御が複雑になるという問題があった。
【００１５】
本発明は、これらの問題点に鑑み、フレームシンクロナイザとＭＰＥＧ−Ｖエンコーダのフレームメモリ容量が少なくてすみ、またＩ、Ｐ、Ｂピクチャの出現を周期的にすることが可能なフレームメモリ管理方法、及びフレームメモリ管理装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明では、外部同期信号と内部同期信号のずれ量からリピート信号を発生し、リピート信号が発生した次のフレームの符号化タイプによって符号化するフレームを適応的に切り替えることでフレームメモリ容量が少なくてすみ、Ｉ、Ｐ、Ｂの周期も保つことのできる動画像符号化装置におけるフレームメモリ管理方式、及びフレーム管理装置を提供する。
【００１７】
従って、本発明の動画像符号化におけるフレームメモリ管理方法は、外部から入力される映像信号を、フレーム内符号化、前方向フレームからの予測符号化、前後方向フレームからの予測符号化にて所定の順番で高能率符号化する際に、外部から入力される映像信号に従って外部同期信号を生成し、該外部同期信号に同期して前記映像信号をフレームメモリに記録し、前記外部同期信号とは独立した内部同期信号に同期して前記映像信号を前記所定の順番で前記フレームメモリから読み出し、前記各符号化により高能率符号化する動画像符号化装置におけるフレームメモリ管理方法であって、前記外部同期信号の１周期期間に前記内部同期信号が１周期より多く含まれる場合に、同一フレームを繰り返し符号化することを示すリピート信号を発生し、該リピート信号が発生したタイミング以降最初にフレーム内符号化、もしくは前方向からの予測符号化するフレームは、リピート信号が発生しない場合に選択されるところの前記所定の順番のフレームよりも時間的に１フレーム前のフレームを選択し、該選択した１フレーム前のフレームもしくは該フレームの直前のフレームを繰り返し符号化することを特徴とするものである。
【００２０】
本発明の動画像符号化におけるフレームメモリ管理装置は、外部から入力される映像信号を、フレーム内符号化、前方向フレームからの予測符号化、前後方向フレームからの予測符号化にて所定の順番で高能率符号化する際に、外部から入力される映像信号に従って生成された外部同期信号に同期して該映像信号を記録するフレームメモリと、該外部同期信号とは独立した内部同期信号に同期して前記映像信号を前記所定の順番でフレームメモリから読み出して前記各符号化により高能率符号化する高能率符号化部と、フレームメモリの書き込みアドレス、読み出しアドレスを制御するコントローラを備えた動画像符号化装置におけるフレームメモリ管理装置であって、前記コントローラは、前記外部同期信号の１周期期間に前記内部同期信号が１周期より多く含まれる場合に、同一フレームを繰り返し符号化することを示すリピート信号を発生し、該リピート信号が発生したタイミング以降最初にフレーム内符号化、もしくは前方向からの予測符号化するフレームは、リピート信号が発生しない場合に選択されるところの前記所定の順番のフレームよりも時間的に１フレーム前のフレームを選択し、該選択した１フレーム前のフレームもしくは該選フレームの直前のフレームを繰り返し符号化することを特徴とするものである。
【００２３】
【発明の実施の形態】
以下図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００２４】
〔第１の実施の形態〕
図１に本発明の実施の形態の一例として、ＮＴＳＣ映像信号を入力し、ＭＰＥＧ２方式で符号化する場合に、本発明のフレームメモリ管理方式及びフレームメモリ管理装置を適応する場合のブロック図を示す。
【００２５】
図１では、映像入力端子１からＮＴＳＣ映像信号が入力され、ＮＴＳＣデコーダ２でＮＴＳＣ映像信号から外部同期信号８とデジタル映像信号９を生成し前処理部３に出力する。外部同期信号８は１フレームの開始を示すパルスである。前処理部３ではデジタル映像信号９から有効画像領域の切り出しやフィルタ処理（解像度変換）等を行い、処理後の映像データ１２をフレームメモリ４に出力する。前処理部３ではＮＴＳＣデコーダ２から入力される外部同期信号８とコントローラ５から入力される内部同期信号１０から後述するリピート、スキップ信号の生成も行い、コントローラ５に出力する。ここで、内部同期信号１０はフレームの符号化開始を示すパルスである。フレームメモリ４はリオーダリング用に５フレーム分のフレームメモリ（ＦＭ１〜ＦＭ５）を備え、ＭＰＥＧ２エンコーダ６の指示に従って符号化する画像データを出力する。
【００２６】
ＭＰＥＧ２エンコーダ６ではフレームメモリ４から画像データ１３を入力し、符号化データを符号化出力端子７に出力する。コントローラ５は自走するカウンタを基に一定間隔で発生する内部同期信号１０を出力するとともに、前処理部３を介してフレームメモリ４への入力（書き込み）フレームメモリとＭＰＥＧ２エンコーダ６を介してフレームメモリ４からの出力（読み出し）フレームメモリの制御及びＭＰＥＧ２エンコーダ６の符号化制御を行う。
【００２７】
フレームメモリ４とＭＰＥＧ２エンコーダ６の間の画像データの入出力には、符号化する画像データだけでなく、予測に用いる画像も含まれるが、本発明の特徴であるフレームメモリ管理には影響しないので、説明は省略する。
【００２８】
次に図２〜図４を使って本発明の特徴であるフレームメモリ管理方式を説明する。図２は前処理部３でのリピート、スキップ信号の発生を示す状態遷移図である。
【００２９】
図３において、まず「スタート」状態から開始し、外部同期信号が発生すれば「通常１」状態に遷移し、内部同期信号が発生すれば「通常２」状態に遷移する。そして「通常１」状態では外部同期信号が発生すれば「スキップ」状態に遷移してスキップ信号を発生した後に「通常１」に戻り、内部同期信号が発生すれば「通常２」状態に遷移する。「通常２」状態では内部同期信号が発生すれば「リピート」状態に遷移してリピート信号を発生した後に「通常２」に戻り、外部同期信号が発生すれば「通常１」状態に遷移する。
【００３０】
図２の状態遷移では、外部同期信号と内部同期信号が交互に発生すればリピート信号、スキップ信号ともに発生せずに「通常１」と「通常２」を遷移し、外部同期信号が連続して発生すればスキップ信号が発生され、内部同期信号が連続して発生すればリピート信号が発生される。
【００３１】
図３、図４にコントローラ５で行われるフレームメモリ４への入力（書き込み）、及びフレームメモリ４からの出力（読み出し）のタイムチャートを示す。図３は標準信号が入力される場合、図４は非標準信号が入力される場合である。なお、符号化タイプのならびは図１１と同一でＢ、Ｂ、Ｉ、Ｂ、Ｂ、Ｐ、．．．であるとする。
【００３２】
図３（ａ）は入力フレームを外部同期信号に従ってフレームメモリ４に入力する制御を示し、（ｂ）は内部同期信号に従ってフレームメモリ４から出力する制御を示す。また（ｃ）はコントローラ５での入力フレーム、出力フレームの管理状態を示す。
【００３３】
図３の書き込み制御（ａ）は書き込み開始から５フレームまでは入力されるフレームｆ１〜ｆ５をＦＭ１から順番に書き込み、その後は読み出しが完了したフレームメモリに順次書き込む。例えば入力フレームｆ６は、その直前にフレームｆ３の読み出しが完了したＦＭ３に書き込む。
【００３４】
読み出し制御（ｂ）は、最初の３フレームの書き込みが終了した次の内部同期信号から（フレーム期間Ｔ４から）開始する。読み出し順は、リオーダリングを考慮してＩ、Ｂ、Ｂ、Ｐの順である。
【００３５】
コントローラ５は、内部同期信号をトリガとして入力ＦＭと出力ＦＭを決定する。出力ＦＭはそのまま１フレーム期間（内部同期信号から次の内部同期信号までの期間）で用いられ、入力ＦＭは１フレーム期間に入力を開始するフレームに用いられる。例えばフレーム期間Ｔ４では、出力ＦＭとしてＦＭ５を指定し、フレーム期間Ｔ４に入力を開始するフレームｆ５の入力先として用いられる。コントローラ５での管理状態（ｃ）は、まず入力ＦＭをＦＭ１から順に内部同期信号に同期してインクリメントし、ＦＭ５以降は直前の出力ＦＭの値とする。例えばＦＭ５の次は、ＦＭ５に入力時の出力ＦＭであるＦＭ３とする。出力ＦＭは、まずＩフレームとして符号化するｆ３が記録されているＦＭ３を選択し、次にリオーダリングで遅らせたｆ１、ｆ２が記録されたＦＭ１、ＦＭ２とし、これを繰り返す。
【００３６】
図４は入力映像信号の周期が標準信号の周期よりも長い場合のフレームメモリ４の制御を示すタイムチャートである。この場合、内部同期信号が外部同期信号を追い抜くことがあり、追い抜きが起こるとフレームを重複して符号化する必要がある。
【００３７】
図４の書き込み／読み出し制御は、コントローラ状態（ｃ）でリピート信号が発生した場合のみ図３で示した標準信号の制御と異なる。図４では、フレームｆ５が入力されている間に内部同期信号が２回発生するので、２回目の内部同期信号でリピート信号が発生する。リピート信号が発生したタイミングでは入力フレームｆ５の入力が継続しており、コントローラ状態（ｃ）においてフレーム期間Ｔ５で指定した入力ＦＭ（ＦＭ３）が用いられないので、フレーム期間Ｔ６では入力ＦＭを更新せずＦＭ３を継続する。出力ＦＭは、符号化タイプがＢピクチャの場合は標準信号と同様の選択を行い、リピート信号発生後で符号化タイプがＩ又はＰピクチャのピクチャとなる最初のピクチャの場合は標準信号で選択するフレームよりも１フレーム前の画像を選択する。例えば、フレーム期間Ｔ７での出力ＦＭの選択は、図３に示した標準信号ではＦＭ３に記録されたフレームｆ６をＰピクチャとして選択するところを、図４の場合ではＦＭ５に記録されたフレームｆ５（フレームｆ６よりも１フレーム前の画像）をＰピクチャとして符号化する。
【００３８】
フレームｆ３をＩピクチャとして符号化し、フレームｆ５をＰピクチャとして符号化するので、その間のフレームｆ４をＢピクチャとして２回符号化する（フレーム期間Ｔ８、Ｔ９）。リピート信号の発生によってフレーム期間Ｔ６は入力ＦＭの更新をしなかったために、フレーム期間Ｔ６以降は入力ＦＭとして直前の出力ＦＭではなく、さらに１フレーム前の出力ＦＭを用いる。例えばフレーム期間Ｔ７の入力ＦＭはフレーム期間Ｔ５の入力ＦＭであるＦＭ１を用いる。一方、出力ＦＭはフレーム期間Ｔ８、Ｔ９でフレームの更新を行わないので、同一フレームの符号化後（図４ではフレーム期間Ｔ１０以降）は再び入力ＦＭとして、直前の出力ＦＭを用いるように制御する。
【００３９】
次に、図５に図３、４のコントローラ状態（ｃ）の制御をフローチャートで示す。図５は１フレームの符号化を行う動作を示すもので、符号化中は１フレーム毎に図５の動作を繰り返す。コントローラ５では、フレーム毎にカウントアップする変数「入力フレーム番号」、リピート信号が発生し、繰り返し符号化するフレームがあることを示す「リピートフラグ」と、各フレームメモリの状態を示す変数「ＦＭ状態」を用いる。
【００４０】
「入力フレーム番号」は定期的にリセットしても構わない。また、図６に「ＦＭ状態」の構成例を示す。「ＦＭ状態」は５フレーム分のフレームメモリＦＭ１〜ＦＭ５に対応して、それぞれ「状態」、「フレーム番号」、「リピートフレーム」を保持する。「状態」は次のフレーム期間の各フレームメモリの状態を示し、入力可能な「空き」、まだ符号化されていないフレームを保持している「使用中」、次の内部同期信号が発生するまでの間に保持しているフレームを出力する「読み出し」、次の外部同期信号が発生すると書き込みを開始する「次書き込み」のいずれかになる。「フレーム番号」は保持、読み出し又は書き込みする「入力フレーム番号」を示す。「リピートフレーム」はリピート信号が発生した場合に繰り返し符号化するフレームを示す。またフレーム番号は保持、読み出し又は書込する入力フレーム番号を示す。
【００４１】
図６は、図３及び図４のフレーム期間Ｔ４での状態を示したもので、ＦＭ１〜ＦＭ４にそれぞれフレーム番号１〜４のフレーム（ｆ１〜ｆ４）を保持し、次の外部同期が発生するとＦＭ５にフレーム番号５のフレーム（ｆ５）を入力し、ＦＭ３からフレーム番号３のフレーム（ｆ３）を読み出すことを示している。フレーム期間Ｔ４ではリピート信号は発生していないので、「リピートフレーム」は全てＮｏとなる。
【００４２】
図５において、ステップ１０１で内部同期信号が発生されるのを待ち、内部同期信号が発生すると、ステップ１０２〜１１２で入力ＦＭと出力ＦＭの制御を行う。まずリピート信号が発生しているかどうかを判定し（ステップ１０２）、リピート信号が発生していない場合、即ち通常状態の場合は「入力フレーム番号」をインクリメントし（ステップ１０３）、「リピートフラグ」がＯＮかＯＦＦかを判定する。「リピートフラグ」がＯＦＦの場合、即ち通常状態の場合は入力ＦＭを直前の出力ＦＭにセットする（ステップ１０５）。そしてステップ１０６で出力ＦＭをセットする。出力ＦＭは図６に示した「ＦＭ状態」と、符号化タイプのならびから判定する。
【００４３】
ステップ１０２でリピート信号が発生している場合は、繰り返し符号化するフレームがあることを示す「リピートフラグ」をＯＮに設定し（ステップ１１１）、入力ＦＭの設定を飛ばしてステップ１０８に移る。
【００４４】
また、ステップ１０４で「リピートフラグ」がＯＮとなるのは、ステップ１１１を通って入力ＦＭの設定が１回抜け、出力ＦＭの設定が先に進んだ状態の場合なので、入力ＦＭとして２フレーム前の出力ＦＭを設定する（ステップ１０７）。次にステップ１０８で「ＦＭ状態」の「リピートフレーム」が設定されているフレームがあるかどうかを判定し、「リピートフレーム」が設定されていない場合は次に出力するフレームの符号化タイプがＩピクチャかＰピクチャであるかどうかを判定する（ステップ１０９）。
【００４５】
ＩピクチャでもＰピクチャでもない場合はステップ１０６に移り、通常状態と同一の出力ＦＭをセットする。ステップ１０９で符号化タイプがＩピクチャもしくはＰピクチャの場合は、出力ＦＭとして、通常状態よりも１フレーム前のフレームをセットし、「リピートフレーム」を設定する。「リピートフレーム」は、Ｂピクチャがある場合は出力ＦＭとして設定したフレームの１フレーム前のＢピクチャに設定し、Ｂピクチャがない場合は出力ＦＭそのものに設定する（ステップ１１０）。
【００４６】
ステップ１０８で「リピートフレーム」が設定されている場合は、「リピートフレーム」が設定されているフレームメモリを出力ＦＭとし、リピートフラグをＯＦＦとし、「ＦＭ状態」の「リピートフレーム」を解除する（ステップ１１２）。
【００４７】
図７に、図４で示したタイムチャートのコントローラ状態（ｃ）に、図５で示したフローチャートでの制御を加えたタイムチャートを示す。
【００４８】
リピート信号が発生するとリピートフラグが立ち（フレーム期間Ｔ６）、さらにＰピクチャの符号化を行うフレーム期間にリピートフレームを設定し（フレーム期間Ｔ７）、ＦＭ４を繰り返しエンコードするように設定した後にリピートフラグをＯＦＦ、リピートフレームの解放を行う（フレーム期間Ｔ８）。
【００４９】
〔第２の実施の形態〕
図８に第２の実施の形態のフレームメモリ管理を示すタイムチャートを示す。第２の実施の形態は、請求項３及び６の本発明で、特にリピート信号が発生した場合にＩピクチャもしくはＰピクチャを繰り返し符号化する場合に対応するもので、第１の実施の形態とは、図７のステップ１１０のリピートフレームの設定方法が大きく異なる。
【００５０】
第１の実施の形態ではステップ１１０において、Ｂピクチャがある場合はＢピクチャをリピートフレームとし、Ｂピクチャがない場合はＩ又はＰピクチャをリピートフレームとしていたが、第２の実施の形態では常にＩ又はＰピクチャをリピートフレームとする点に特徴がある。
【００５１】
また、第１の実施の形態ではリピート発生時に２フレーム前の出力ＦＭを次の入力ＦＭとしていたが（図５のステップ１０７）、第２の実施の形態では２フレーム前の出力ＦＭから読み出したフレームを重複して符号化するため（ステップ１１２で制御する）、図５のステップ１０７の部分はステップ１０５と同一の動作とする必要があるが、それ以外は第１の実施の形態と同一の動作である。
【００５２】
第２の実施の形態では、リピートフレームは既に符号化されたフレームと同一フレームを用いるので、ＭＰＥＧ２エンコーダ６でフレーム全体を予測画像かつ予測誤差を０とするなどして発生符号量を劇的に少なくすることができる。
【００５３】
〔第１、２の実施の形態の変形例〕
第１、２の実施の形態は内部同期信号、外部同期信号ともにフレームの開始を示すパルスであったが、インターレース画像をフィールド単位に符号化する場合は、フィールドの開始を示すパルスとしても構わない。
【００５４】
【発明の効果】
本発明によれば、単一のフレームメモリでフレームシンクロナイザとＭＰＥＧのリオーダリング用メモリを共有しているので、少ないフレームメモリ容量で非標準信号のエンコードができる。
【００５５】
また、符号化フレーム数よりも入力フレーム数が少ない場合に、符号化に用いるフレームの選択を変更するだけで、容易にフレームリピートが実現できる。
【００５６】
さらに、リピートフレームとしてＩピクチャもしくはＰピクチャを選択すれば、リピートフレームの発生符号量を少なくすることができるので、他のフレームに割り当てる符号量を増やすことができ、画像シーケンスとしての画質が向上する効果がある。
【００５７】
さらに、本発明は符号化タイプの順番は変更せず、符号化に用いるフレームを適応的に選択するだけなので、常に周期的な符号化タイプの並びとなり、発生符号量制御が容易になるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】本発明におけるスキップ信号、リピート信号の発生を説明する状態遷移図である。
【図３】標準信号入力時のコントローラ５の制御を説明するタイムチャートである。
【図４】非標準信号入力時のコントローラ５の制御を説明するタイムチャートである。
【図５】コントローラ５の制御を説明するフローチャートである。
【図６】コントローラ５の制御に用いる変数を説明する図である。
【図７】コントローラ５の制御を説明するタイムチャートである。
【図８】本発明の第２の実施の形態のコントローラ５の制御を説明するタイムチャートである。
【図９】従来例の構成を示すブロック図である。
【図１０】従来例のフレームシンクロナイザの制御を示すタイムチャートである。
【図１１】ＭＰＥＧ方式で符号化する場合の符号化タイミングを説明する図である。
【符号の説明】
１．映像入力端子
２．ＮＴＳＣデコーダ
３．前処理部
４．フレームメモリ
５．コントローラ
６．ＭＰＥＧ２エンコーダ
７．符号化出力端子
８．外部同期信号
９．デジタル映像信号
１０．内部同期信号
１１．リピート信号等制御信号
１２．映像信号
１３．映像信号
２１．映像入力端子
２２．フレームシンクロナイザ
２３．マイコン
２４．ＭＰＥＧビデオデコーダ
【発明の属する技術分野】
本発明は、映像信号をフレーム内符号化、前方向からの予測符号化、双方向からの予測符号化を用いて高能率に符号化する動画像符号化装置に適用するフレームメモリ管理方法、及びフレームメモリ管理装置に関するもので、特に非標準映像信号が入力される場合でも内部同期信号に従ってフレーム単位で適切な符号化を実現するフレームメモリ管理方法、及びフレームメモリ管理装置に関するものである。
【０００２】
【従来の技術】
近年、映像データをＭＰＥＧ２方式でリアルタイムに高能率符号化してハードディスクやＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等のディスク媒体に記録する映像記録装置が実現されている。
【０００３】
このような映像記録装置に入力される映像信号は標準信号だけでなく、例えばＶＴＲの高速再生映像などの非標準信号も入力されることがあり得る。ＭＰＥＧ２方式では映像信号をフレーム単位に符号化するのが一般的であるが、非標準信号の場合は入力映像信号から生成した同期信号（以下、外部同期信号と呼ぶ）と内部の高能率符号化で用いるフレーム同期信号（以下、内部同期信号と呼ぶ）でずれが生じるため、ＭＰＥＧ２ビデオエンコーダの前段にフレームシンクロナイザが必要になる。
【０００４】
フレームシンクロナイザを備えた高能率符号化装置として、特開平１１−１１２９３７号公報記載の技術（以下では従来例と呼ぶ）がある。図９に従来例の構成例をブロック図で示す。
【０００５】
図９において、映像入力信号端子２１から映像信号が入力され、フレームシンクロナイザ２２で内部同期信号に同期した信号に変換され、ＭＰＥＧ−Ｖエンコーダ２４に入力される。またフレームシンクロナイザ２２では外部同期信号と内部同期信号の関係から、後述するフレーム繰り返し、又はフレーム抜け（以下ではそれぞれリピート、スキップと呼ぶ）となるように制御し、この制御信号をマイコン２３に出力する。マイコン２３はリピート、スキップ情報に応じてＭＰＥＧ−Ｖエンコーダ２４の符号化を制御する。
【０００６】
フレームシンクロナイザ２２では外部同期信号と内部同期信号の位相差を測定し、位相差が０フレーム以下になれば入力フレームを繰り返してＭＰＥＧ−Ｖエンコーダに出力し、位相差が１フレーム以上になれば入力フレームのうち１フレームを抜いてＭＰＥＧ−Ｖエンコーダ２４に出力する。
【０００７】
図１０に特開平１１−１１２９３７号公報に記載のフレームシンクロナイザの制御をタイムチャートで示す。図１０（ａ）は外部同期信号で、入力フレーム（ｂ）は外部同期信号（ａ）に同期して入力される。（ｃ）、（ｄ）は内部同期信号の周期が外部同期信号の周期よりも短い場合の動作で、内部同期信号１（ｃ）が外部同期信号（ａ）に追い付いた時点のフレーム（図１０ではフレームｆ５）を繰り返し出力する。また（ｅ）、（ｆ）は内部同期信号の周期が外部同期信号の周期よりも長い場合の動作で、内部同期信号２（ｅ）と外部同期信号（ａ）の位相差が１フレーム以上になった時点で次のフレーム（図１０ではフレームｆ６）を抜いて、その次のフレームを出力する。
【０００８】
そして、フレームが繰り返された場合には、繰り返されたフレームは全フレームと同一なのでＰピクチャ（前フレームから予測符号化するフレーム）として動きベクトルを０にする制御を行い、フレームが抜かれた場合には、抜かれたフレームの前フレームと直後のフレームは時間的距離が倍になっていることに対応して動きベクトル探索範囲を増やす制御を行うものである。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来例ではフレームシンクロナイザ２２、ＭＰＥＧ−Ｖデコーダ２４が独立して制御されているため、それぞれでフレームメモリを備える必要があるという問題があった。
【００１０】
図１０の（ｅ）、（ｆ）の場合、フレームｆ４の出力期間に入力フレーム（ｂ）ではフレームｆ５の入力が終了し、フレームｆ６の入力が始まっている。従って、図９のフレームシンクロナイザ２２にはフレームｆ５の全てと、フレームｆ４とフレームｆ６の一部を保持しておく必要があり、２〜３フレーム分のフレームメモリが必要になる。
【００１１】
図１１にＭＰＥＧ方式で符号化する場合の符号化タイミングを示す。
ＭＰＥＧ方式では、フレーム内符号化するＩピクチャ、前方向から予測符号化するＰピクチャ、双方向から予測符号化するＢピクチャの３種類の符号化タイプに分けて符号化することが多い。図１１はＩピクチャ、Ｐピクチャの間に２枚のＢピクチャが存在する場合の例で、入力フレーム（ｂ）のフレーム番号の下のＢ、Ｂ、Ｉが符号化タイプを示す。図１１では、入力フレーム（ｂ）はｆ１、ｆ２、ｆ３の順に入力され、内部同期信号（ａ）に同期して符号化フレーム（ｃ）に記載の順に符号化する。
【００１２】
ＭＰＥＧ方式の符号化タイプのうち、Ｐ、Ｂピクチャは予測に用いるフレームを符号化した後に符号化する。例えばフレームｆ１、ｆ２はフレームｆ３から予測するので、まずフレームｆ３を符号化し、その後に符号化する。ＭＰＥＧではこのようにフレーム順を入れ替える（以下ではリオーダリングと呼ぶ）必要があるためのフレームメモリが必要になる。図１１のようにＢピクチャが２枚の場合、符号化フレームがｆ３のタイミングで入力フレームとしてｆ１からｆ４までの４フレームを保持する必要があるので、リオーダリングのために４フレーム分のメモリが必要になる。
【００１３】
従って、従来例ではフレームシンクロナイザ２２とＭＰＥＧ−Ｖエンコーダ２４のリオーダリングとで合計６〜７フレームの大容量フレームメモリが必要になるという問題があった。
【００１４】
また、従来例では繰り返しフレームをＰピクチャとして符号化するが、そのためにＩ、Ｐ、Ｂピクチャの順が周期的でなくなり、ＭＰＥＧ−Ｖエンコーダ２４での発生符号量制御が複雑になるという問題があった。
【００１５】
本発明は、これらの問題点に鑑み、フレームシンクロナイザとＭＰＥＧ−Ｖエンコーダのフレームメモリ容量が少なくてすみ、またＩ、Ｐ、Ｂピクチャの出現を周期的にすることが可能なフレームメモリ管理方法、及びフレームメモリ管理装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明では、外部同期信号と内部同期信号のずれ量からリピート信号を発生し、リピート信号が発生した次のフレームの符号化タイプによって符号化するフレームを適応的に切り替えることでフレームメモリ容量が少なくてすみ、Ｉ、Ｐ、Ｂの周期も保つことのできる動画像符号化装置におけるフレームメモリ管理方式、及びフレーム管理装置を提供する。
【００１７】
従って、本発明の動画像符号化におけるフレームメモリ管理方法は、外部から入力される映像信号を、フレーム内符号化、前方向フレームからの予測符号化、前後方向フレームからの予測符号化にて所定の順番で高能率符号化する際に、外部から入力される映像信号に従って外部同期信号を生成し、該外部同期信号に同期して前記映像信号をフレームメモリに記録し、前記外部同期信号とは独立した内部同期信号に同期して前記映像信号を前記所定の順番で前記フレームメモリから読み出し、前記各符号化により高能率符号化する動画像符号化装置におけるフレームメモリ管理方法であって、前記外部同期信号の１周期期間に前記内部同期信号が１周期より多く含まれる場合に、同一フレームを繰り返し符号化することを示すリピート信号を発生し、該リピート信号が発生したタイミング以降最初にフレーム内符号化、もしくは前方向からの予測符号化するフレームは、リピート信号が発生しない場合に選択されるところの前記所定の順番のフレームよりも時間的に１フレーム前のフレームを選択し、該選択した１フレーム前のフレームもしくは該フレームの直前のフレームを繰り返し符号化することを特徴とするものである。
【００２０】
本発明の動画像符号化におけるフレームメモリ管理装置は、外部から入力される映像信号を、フレーム内符号化、前方向フレームからの予測符号化、前後方向フレームからの予測符号化にて所定の順番で高能率符号化する際に、外部から入力される映像信号に従って生成された外部同期信号に同期して該映像信号を記録するフレームメモリと、該外部同期信号とは独立した内部同期信号に同期して前記映像信号を前記所定の順番でフレームメモリから読み出して前記各符号化により高能率符号化する高能率符号化部と、フレームメモリの書き込みアドレス、読み出しアドレスを制御するコントローラを備えた動画像符号化装置におけるフレームメモリ管理装置であって、前記コントローラは、前記外部同期信号の１周期期間に前記内部同期信号が１周期より多く含まれる場合に、同一フレームを繰り返し符号化することを示すリピート信号を発生し、該リピート信号が発生したタイミング以降最初にフレーム内符号化、もしくは前方向からの予測符号化するフレームは、リピート信号が発生しない場合に選択されるところの前記所定の順番のフレームよりも時間的に１フレーム前のフレームを選択し、該選択した１フレーム前のフレームもしくは該選フレームの直前のフレームを繰り返し符号化することを特徴とするものである。
【００２３】
【発明の実施の形態】
以下図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００２４】
〔第１の実施の形態〕
図１に本発明の実施の形態の一例として、ＮＴＳＣ映像信号を入力し、ＭＰＥＧ２方式で符号化する場合に、本発明のフレームメモリ管理方式及びフレームメモリ管理装置を適応する場合のブロック図を示す。
【００２５】
図１では、映像入力端子１からＮＴＳＣ映像信号が入力され、ＮＴＳＣデコーダ２でＮＴＳＣ映像信号から外部同期信号８とデジタル映像信号９を生成し前処理部３に出力する。外部同期信号８は１フレームの開始を示すパルスである。前処理部３ではデジタル映像信号９から有効画像領域の切り出しやフィルタ処理（解像度変換）等を行い、処理後の映像データ１２をフレームメモリ４に出力する。前処理部３ではＮＴＳＣデコーダ２から入力される外部同期信号８とコントローラ５から入力される内部同期信号１０から後述するリピート、スキップ信号の生成も行い、コントローラ５に出力する。ここで、内部同期信号１０はフレームの符号化開始を示すパルスである。フレームメモリ４はリオーダリング用に５フレーム分のフレームメモリ（ＦＭ１〜ＦＭ５）を備え、ＭＰＥＧ２エンコーダ６の指示に従って符号化する画像データを出力する。
【００２６】
ＭＰＥＧ２エンコーダ６ではフレームメモリ４から画像データ１３を入力し、符号化データを符号化出力端子７に出力する。コントローラ５は自走するカウンタを基に一定間隔で発生する内部同期信号１０を出力するとともに、前処理部３を介してフレームメモリ４への入力（書き込み）フレームメモリとＭＰＥＧ２エンコーダ６を介してフレームメモリ４からの出力（読み出し）フレームメモリの制御及びＭＰＥＧ２エンコーダ６の符号化制御を行う。
【００２７】
フレームメモリ４とＭＰＥＧ２エンコーダ６の間の画像データの入出力には、符号化する画像データだけでなく、予測に用いる画像も含まれるが、本発明の特徴であるフレームメモリ管理には影響しないので、説明は省略する。
【００２８】
次に図２〜図４を使って本発明の特徴であるフレームメモリ管理方式を説明する。図２は前処理部３でのリピート、スキップ信号の発生を示す状態遷移図である。
【００２９】
図３において、まず「スタート」状態から開始し、外部同期信号が発生すれば「通常１」状態に遷移し、内部同期信号が発生すれば「通常２」状態に遷移する。そして「通常１」状態では外部同期信号が発生すれば「スキップ」状態に遷移してスキップ信号を発生した後に「通常１」に戻り、内部同期信号が発生すれば「通常２」状態に遷移する。「通常２」状態では内部同期信号が発生すれば「リピート」状態に遷移してリピート信号を発生した後に「通常２」に戻り、外部同期信号が発生すれば「通常１」状態に遷移する。
【００３０】
図２の状態遷移では、外部同期信号と内部同期信号が交互に発生すればリピート信号、スキップ信号ともに発生せずに「通常１」と「通常２」を遷移し、外部同期信号が連続して発生すればスキップ信号が発生され、内部同期信号が連続して発生すればリピート信号が発生される。
【００３１】
図３、図４にコントローラ５で行われるフレームメモリ４への入力（書き込み）、及びフレームメモリ４からの出力（読み出し）のタイムチャートを示す。図３は標準信号が入力される場合、図４は非標準信号が入力される場合である。なお、符号化タイプのならびは図１１と同一でＢ、Ｂ、Ｉ、Ｂ、Ｂ、Ｐ、．．．であるとする。
【００３２】
図３（ａ）は入力フレームを外部同期信号に従ってフレームメモリ４に入力する制御を示し、（ｂ）は内部同期信号に従ってフレームメモリ４から出力する制御を示す。また（ｃ）はコントローラ５での入力フレーム、出力フレームの管理状態を示す。
【００３３】
図３の書き込み制御（ａ）は書き込み開始から５フレームまでは入力されるフレームｆ１〜ｆ５をＦＭ１から順番に書き込み、その後は読み出しが完了したフレームメモリに順次書き込む。例えば入力フレームｆ６は、その直前にフレームｆ３の読み出しが完了したＦＭ３に書き込む。
【００３４】
読み出し制御（ｂ）は、最初の３フレームの書き込みが終了した次の内部同期信号から（フレーム期間Ｔ４から）開始する。読み出し順は、リオーダリングを考慮してＩ、Ｂ、Ｂ、Ｐの順である。
【００３５】
コントローラ５は、内部同期信号をトリガとして入力ＦＭと出力ＦＭを決定する。出力ＦＭはそのまま１フレーム期間（内部同期信号から次の内部同期信号までの期間）で用いられ、入力ＦＭは１フレーム期間に入力を開始するフレームに用いられる。例えばフレーム期間Ｔ４では、出力ＦＭとしてＦＭ５を指定し、フレーム期間Ｔ４に入力を開始するフレームｆ５の入力先として用いられる。コントローラ５での管理状態（ｃ）は、まず入力ＦＭをＦＭ１から順に内部同期信号に同期してインクリメントし、ＦＭ５以降は直前の出力ＦＭの値とする。例えばＦＭ５の次は、ＦＭ５に入力時の出力ＦＭであるＦＭ３とする。出力ＦＭは、まずＩフレームとして符号化するｆ３が記録されているＦＭ３を選択し、次にリオーダリングで遅らせたｆ１、ｆ２が記録されたＦＭ１、ＦＭ２とし、これを繰り返す。
【００３６】
図４は入力映像信号の周期が標準信号の周期よりも長い場合のフレームメモリ４の制御を示すタイムチャートである。この場合、内部同期信号が外部同期信号を追い抜くことがあり、追い抜きが起こるとフレームを重複して符号化する必要がある。
【００３７】
図４の書き込み／読み出し制御は、コントローラ状態（ｃ）でリピート信号が発生した場合のみ図３で示した標準信号の制御と異なる。図４では、フレームｆ５が入力されている間に内部同期信号が２回発生するので、２回目の内部同期信号でリピート信号が発生する。リピート信号が発生したタイミングでは入力フレームｆ５の入力が継続しており、コントローラ状態（ｃ）においてフレーム期間Ｔ５で指定した入力ＦＭ（ＦＭ３）が用いられないので、フレーム期間Ｔ６では入力ＦＭを更新せずＦＭ３を継続する。出力ＦＭは、符号化タイプがＢピクチャの場合は標準信号と同様の選択を行い、リピート信号発生後で符号化タイプがＩ又はＰピクチャのピクチャとなる最初のピクチャの場合は標準信号で選択するフレームよりも１フレーム前の画像を選択する。例えば、フレーム期間Ｔ７での出力ＦＭの選択は、図３に示した標準信号ではＦＭ３に記録されたフレームｆ６をＰピクチャとして選択するところを、図４の場合ではＦＭ５に記録されたフレームｆ５（フレームｆ６よりも１フレーム前の画像）をＰピクチャとして符号化する。
【００３８】
フレームｆ３をＩピクチャとして符号化し、フレームｆ５をＰピクチャとして符号化するので、その間のフレームｆ４をＢピクチャとして２回符号化する（フレーム期間Ｔ８、Ｔ９）。リピート信号の発生によってフレーム期間Ｔ６は入力ＦＭの更新をしなかったために、フレーム期間Ｔ６以降は入力ＦＭとして直前の出力ＦＭではなく、さらに１フレーム前の出力ＦＭを用いる。例えばフレーム期間Ｔ７の入力ＦＭはフレーム期間Ｔ５の入力ＦＭであるＦＭ１を用いる。一方、出力ＦＭはフレーム期間Ｔ８、Ｔ９でフレームの更新を行わないので、同一フレームの符号化後（図４ではフレーム期間Ｔ１０以降）は再び入力ＦＭとして、直前の出力ＦＭを用いるように制御する。
【００３９】
次に、図５に図３、４のコントローラ状態（ｃ）の制御をフローチャートで示す。図５は１フレームの符号化を行う動作を示すもので、符号化中は１フレーム毎に図５の動作を繰り返す。コントローラ５では、フレーム毎にカウントアップする変数「入力フレーム番号」、リピート信号が発生し、繰り返し符号化するフレームがあることを示す「リピートフラグ」と、各フレームメモリの状態を示す変数「ＦＭ状態」を用いる。
【００４０】
「入力フレーム番号」は定期的にリセットしても構わない。また、図６に「ＦＭ状態」の構成例を示す。「ＦＭ状態」は５フレーム分のフレームメモリＦＭ１〜ＦＭ５に対応して、それぞれ「状態」、「フレーム番号」、「リピートフレーム」を保持する。「状態」は次のフレーム期間の各フレームメモリの状態を示し、入力可能な「空き」、まだ符号化されていないフレームを保持している「使用中」、次の内部同期信号が発生するまでの間に保持しているフレームを出力する「読み出し」、次の外部同期信号が発生すると書き込みを開始する「次書き込み」のいずれかになる。「フレーム番号」は保持、読み出し又は書き込みする「入力フレーム番号」を示す。「リピートフレーム」はリピート信号が発生した場合に繰り返し符号化するフレームを示す。またフレーム番号は保持、読み出し又は書込する入力フレーム番号を示す。
【００４１】
図６は、図３及び図４のフレーム期間Ｔ４での状態を示したもので、ＦＭ１〜ＦＭ４にそれぞれフレーム番号１〜４のフレーム（ｆ１〜ｆ４）を保持し、次の外部同期が発生するとＦＭ５にフレーム番号５のフレーム（ｆ５）を入力し、ＦＭ３からフレーム番号３のフレーム（ｆ３）を読み出すことを示している。フレーム期間Ｔ４ではリピート信号は発生していないので、「リピートフレーム」は全てＮｏとなる。
【００４２】
図５において、ステップ１０１で内部同期信号が発生されるのを待ち、内部同期信号が発生すると、ステップ１０２〜１１２で入力ＦＭと出力ＦＭの制御を行う。まずリピート信号が発生しているかどうかを判定し（ステップ１０２）、リピート信号が発生していない場合、即ち通常状態の場合は「入力フレーム番号」をインクリメントし（ステップ１０３）、「リピートフラグ」がＯＮかＯＦＦかを判定する。「リピートフラグ」がＯＦＦの場合、即ち通常状態の場合は入力ＦＭを直前の出力ＦＭにセットする（ステップ１０５）。そしてステップ１０６で出力ＦＭをセットする。出力ＦＭは図６に示した「ＦＭ状態」と、符号化タイプのならびから判定する。
【００４３】
ステップ１０２でリピート信号が発生している場合は、繰り返し符号化するフレームがあることを示す「リピートフラグ」をＯＮに設定し（ステップ１１１）、入力ＦＭの設定を飛ばしてステップ１０８に移る。
【００４４】
また、ステップ１０４で「リピートフラグ」がＯＮとなるのは、ステップ１１１を通って入力ＦＭの設定が１回抜け、出力ＦＭの設定が先に進んだ状態の場合なので、入力ＦＭとして２フレーム前の出力ＦＭを設定する（ステップ１０７）。次にステップ１０８で「ＦＭ状態」の「リピートフレーム」が設定されているフレームがあるかどうかを判定し、「リピートフレーム」が設定されていない場合は次に出力するフレームの符号化タイプがＩピクチャかＰピクチャであるかどうかを判定する（ステップ１０９）。
【００４５】
ＩピクチャでもＰピクチャでもない場合はステップ１０６に移り、通常状態と同一の出力ＦＭをセットする。ステップ１０９で符号化タイプがＩピクチャもしくはＰピクチャの場合は、出力ＦＭとして、通常状態よりも１フレーム前のフレームをセットし、「リピートフレーム」を設定する。「リピートフレーム」は、Ｂピクチャがある場合は出力ＦＭとして設定したフレームの１フレーム前のＢピクチャに設定し、Ｂピクチャがない場合は出力ＦＭそのものに設定する（ステップ１１０）。
【００４６】
ステップ１０８で「リピートフレーム」が設定されている場合は、「リピートフレーム」が設定されているフレームメモリを出力ＦＭとし、リピートフラグをＯＦＦとし、「ＦＭ状態」の「リピートフレーム」を解除する（ステップ１１２）。
【００４７】
図７に、図４で示したタイムチャートのコントローラ状態（ｃ）に、図５で示したフローチャートでの制御を加えたタイムチャートを示す。
【００４８】
リピート信号が発生するとリピートフラグが立ち（フレーム期間Ｔ６）、さらにＰピクチャの符号化を行うフレーム期間にリピートフレームを設定し（フレーム期間Ｔ７）、ＦＭ４を繰り返しエンコードするように設定した後にリピートフラグをＯＦＦ、リピートフレームの解放を行う（フレーム期間Ｔ８）。
【００４９】
〔第２の実施の形態〕
図８に第２の実施の形態のフレームメモリ管理を示すタイムチャートを示す。第２の実施の形態は、請求項３及び６の本発明で、特にリピート信号が発生した場合にＩピクチャもしくはＰピクチャを繰り返し符号化する場合に対応するもので、第１の実施の形態とは、図７のステップ１１０のリピートフレームの設定方法が大きく異なる。
【００５０】
第１の実施の形態ではステップ１１０において、Ｂピクチャがある場合はＢピクチャをリピートフレームとし、Ｂピクチャがない場合はＩ又はＰピクチャをリピートフレームとしていたが、第２の実施の形態では常にＩ又はＰピクチャをリピートフレームとする点に特徴がある。
【００５１】
また、第１の実施の形態ではリピート発生時に２フレーム前の出力ＦＭを次の入力ＦＭとしていたが（図５のステップ１０７）、第２の実施の形態では２フレーム前の出力ＦＭから読み出したフレームを重複して符号化するため（ステップ１１２で制御する）、図５のステップ１０７の部分はステップ１０５と同一の動作とする必要があるが、それ以外は第１の実施の形態と同一の動作である。
【００５２】
第２の実施の形態では、リピートフレームは既に符号化されたフレームと同一フレームを用いるので、ＭＰＥＧ２エンコーダ６でフレーム全体を予測画像かつ予測誤差を０とするなどして発生符号量を劇的に少なくすることができる。
【００５３】
〔第１、２の実施の形態の変形例〕
第１、２の実施の形態は内部同期信号、外部同期信号ともにフレームの開始を示すパルスであったが、インターレース画像をフィールド単位に符号化する場合は、フィールドの開始を示すパルスとしても構わない。
【００５４】
【発明の効果】
本発明によれば、単一のフレームメモリでフレームシンクロナイザとＭＰＥＧのリオーダリング用メモリを共有しているので、少ないフレームメモリ容量で非標準信号のエンコードができる。
【００５５】
また、符号化フレーム数よりも入力フレーム数が少ない場合に、符号化に用いるフレームの選択を変更するだけで、容易にフレームリピートが実現できる。
【００５６】
さらに、リピートフレームとしてＩピクチャもしくはＰピクチャを選択すれば、リピートフレームの発生符号量を少なくすることができるので、他のフレームに割り当てる符号量を増やすことができ、画像シーケンスとしての画質が向上する効果がある。
【００５７】
さらに、本発明は符号化タイプの順番は変更せず、符号化に用いるフレームを適応的に選択するだけなので、常に周期的な符号化タイプの並びとなり、発生符号量制御が容易になるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】本発明におけるスキップ信号、リピート信号の発生を説明する状態遷移図である。
【図３】標準信号入力時のコントローラ５の制御を説明するタイムチャートである。
【図４】非標準信号入力時のコントローラ５の制御を説明するタイムチャートである。
【図５】コントローラ５の制御を説明するフローチャートである。
【図６】コントローラ５の制御に用いる変数を説明する図である。
【図７】コントローラ５の制御を説明するタイムチャートである。
【図８】本発明の第２の実施の形態のコントローラ５の制御を説明するタイムチャートである。
【図９】従来例の構成を示すブロック図である。
【図１０】従来例のフレームシンクロナイザの制御を示すタイムチャートである。
【図１１】ＭＰＥＧ方式で符号化する場合の符号化タイミングを説明する図である。
【符号の説明】
１．映像入力端子
２．ＮＴＳＣデコーダ
３．前処理部
４．フレームメモリ
５．コントローラ
６．ＭＰＥＧ２エンコーダ
７．符号化出力端子
８．外部同期信号
９．デジタル映像信号
１０．内部同期信号
１１．リピート信号等制御信号
１２．映像信号
１３．映像信号
２１．映像入力端子
２２．フレームシンクロナイザ
２３．マイコン
２４．ＭＰＥＧビデオデコーダ
Claims (2)
- 外部から入力される映像信号を、フレーム内符号化、前方向フレームからの予測符号化、前後方向フレームからの予測符号化にて所定の順番で高能率符号化する際に、
外部から入力される映像信号に従って外部同期信号を生成し、該外部同期信号に同期して前記映像信号をフレームメモリに記録し、
前記外部同期信号とは独立した内部同期信号に同期して前記映像信号を前記所定の順番で前記フレームメモリから読み出し、
前記各符号化により高能率符号化する動画像符号化装置におけるフレームメモリ管理方法であって、
前記外部同期信号の１周期期間に前記内部同期信号が１周期より多く含まれる場合に、同一フレームを繰り返し符号化することを示すリピート信号を発生し、
該リピート信号が発生したタイミング以降最初にフレーム内符号化、もしくは前方向からの予測符号化するフレームは、リピート信号が発生しない場合に選択されるところの前記所定の順番のフレームよりも時間的に１フレーム前のフレームを選択し、該選択した１フレーム前のフレームもしくは該フレームの直前のフレームを繰り返し符号化することを特徴とする動画像符号化装置におけるフレームメモリ管理方法。 - 外部から入力される映像信号を、フレーム内符号化、前方向フレームからの予測符号化、前後方向フレームからの予測符号化にて所定の順番で高能率符号化する際に、
外部から入力される映像信号に従って生成された外部同期信号に同期して該映像信号を記録するフレームメモリと、
該外部同期信号とは独立した内部同期信号に同期して前記映像信号を前記所定の順番でフレームメモリから読み出して前記各符号化により高能率符号化する高能率符号化部と、
フレームメモリの書き込みアドレス、読み出しアドレスを制御するコントローラを備えた動画像符号化装置におけるフレームメモリ管理装置であって、
前記コントローラは、前記外部同期信号の１周期期間に前記内部同期信号が１周期より多く含まれる場合に、同一フレームを繰り返し符号化することを示すリピート信号を発生し、
該リピート信号が発生したタイミング以降最初にフレーム内符号化、もしくは前方向からの予測符号化するフレームは、リピート信号が発生しない場合に選択されるところの前記所定の順番のフレームよりも時間的に１フレーム前のフレームを選択し、該選択した１フレーム前のフレームもしくは該選フレームの直前のフレームを繰り返し符号化することを特徴とする動画像符号化装置におけるフレームメモリ管理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000216959A JP3806289B2 (ja) | 2000-07-18 | 2000-07-18 | 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000216959A JP3806289B2 (ja) | 2000-07-18 | 2000-07-18 | 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002034040A JP2002034040A (ja) | 2002-01-31 |
| JP3806289B2 true JP3806289B2 (ja) | 2006-08-09 |
Family
ID=18712139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000216959A Expired - Fee Related JP3806289B2 (ja) | 2000-07-18 | 2000-07-18 | 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3806289B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60326015D1 (de) * | 2003-06-27 | 2009-03-12 | Fujitsu Microelectronics Ltd | Schaltung zur verarbeitung von einem videosignal mit informationen wie etwa geschlossenen untertiteln |
-
2000
- 2000-07-18 JP JP2000216959A patent/JP3806289B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002034040A (ja) | 2002-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3491366B2 (ja) | 符号化データの特殊再生方法および特殊再生装置 | |
| JPH04318791A (ja) | 信号処理方法及び記録再生装置 | |
| US5703654A (en) | Video signal encoder | |
| US20100254682A1 (en) | Image coder, video camera, integrated circuit, and image coding method | |
| JP3356078B2 (ja) | 圧縮ストリーム復号装置および圧縮ストリーム復号方法 | |
| KR100274922B1 (ko) | 화상 표시 장치 및 그 특수 재생 제어 장치 | |
| US6256344B1 (en) | Variable bit rate encoder | |
| JP3806289B2 (ja) | 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置 | |
| US20040233806A1 (en) | Recording device and method, recording medium and program | |
| JP3570785B2 (ja) | 動画像伸張再生方法および装置 | |
| JP4769268B2 (ja) | Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法 | |
| JP3106485B2 (ja) | 映像信号再生装置及び映像信号処理装置 | |
| KR100328199B1 (ko) | 다채널 영상 인코딩 시스템 및 다채널 인코딩용 메모리운영방법 | |
| JP3039416B2 (ja) | 映像記憶再生装置 | |
| JPH07193840A (ja) | 立体映像信号の符号化装置及び復号化装置 | |
| JP3134672B2 (ja) | 映像信号のコマ送り再生処理装置 | |
| JPH11331842A (ja) | 画像データ圧縮装置及びその方法 | |
| JPH10322665A (ja) | Ｇｏｐデータの反復読出し制御方法および装置 | |
| JPH1093969A (ja) | 動画像符号化装置 | |
| JPH06339113A (ja) | 動画像記録再生装置 | |
| JP4449694B2 (ja) | 動画像予測符号化装置 | |
| JP3733248B2 (ja) | 再生装置及びその方法 | |
| JPH10150636A (ja) | 映像信号再生装置及び映像信号の再生方法 | |
| JP4046496B2 (ja) | 動画像復号装置、動画像復号方法、その方法をコンピュータに実行させるプログラムが記録されている記録媒体及びプログラム | |
| JP2001268566A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060512 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |