JP3923498B2 - 画像符号化装置および画像符号化方法 - Google Patents

Description

本発明は、動画像を符号化するための画像符号化装置および画像符号化方法に関し、特に、符号化されたデータにシーンチェンジ情報を示す情報等のフレームに固有な情報を付加することが可能な画像符号化装置および画像符号化方法に関する。

近年、ＭＰＥＧ（Moving Picture Expert Group）等の圧縮符号化方式を用いて、動画像をデジタルデータとして取り扱うことが一般的となっている。このような動画像データは、各種の記録媒体に記録されたり、あるいはネットワークを通じて送受信されることで利用されている。また、動画像データに対して、画像記録の開始時や場面の転換時を示すシーンチェンジ情報を付加することが行われている。シーンチェンジ情報は、例えば、動画像データの再生時において、場面転換時のサーチやこのときのサムネール画像の生成等に利用される。

動画像データからシーンチェンジを検出し、このデータ中にシーンチェンジ情報を付加することが可能な従来の画像記録装置としては、直前に入力された２フレーム分のデータを常にバッファメモリに記憶しておき、シーンチェンジ検出回路により、現在のフレームと直前の２フレームとからシーンチェンジの有無を検出し、シーンチェンジが検出された場合に、シーンチェンジ付加回路によってシステム情報中にシーンチェンジを示す情報を付加し、さらに切り替えスイッチによって、シーンチェンジを示す情報が付加されたデータと付加されていないデータとをシーンチェンジの有無に応じて選択出力する画像記録装置があった。例えば、特開２０００−１１５６６５号公報（段落番号〔００１４〕〜〔００３２〕、第１図）参照。

また、最近では、例えばアンテナから受信したテレビ画像や外部から入力された画像信号を圧縮符号化して、光ディスク等の記録媒体に記録する装置の普及が進んでおり、このような装置においてもシーンチェンジ情報を付加することが考えられている。例えば、ＭＰＥＧ方式を用いて圧縮符号化する装置では、入力画像信号は一旦フレームメモリに蓄積され、符号化部によって１フレームまたは１フィールドごとに順次読み出されて圧縮符号化される。これにより生成されたビデオストリームは、さらに多重化部においてオーディオストリーム等と多重化され、ＭＰＥＧストリームとして記録媒体に記録される。

このようなＭＰＥＧストリームの生成時にシーンチェンジ情報を付加する場合、符号化部の前段のフレームメモリに記憶されたデータを基にシーンチェンジの有無を検出し、多重化部において、シーンチェンジを示す情報をヘッダ内のオプション領域等に記録する方法が考えられる。

しかし、ＭＰＥＧ方式では可変長符号化方式を採っているため、ビデオストリームの単位時間当たりのデータ量は一定とならない場合が多く、さらに多重化部における多重化処理のタイミングもフレームごとに一定時間間隔とはならない。このため、上記の方法では、シーンチェンジの検出からシーンチェンジ情報の書き込みまでに要する時間が不規則に変動し、シーンチェンジが発生した目的のフレームの先頭データを含むパケットのヘッダに、シーンチェンジ情報を正確に書き込むことが困難であった。

本発明はこのような課題に鑑みてなされたものであり、符号化した動画像データにシーンチェンジ情報等のフレームに固有なフレーム情報を正確な位置に付加することが可能な画像符号化装置を提供することを目的とする。

また、本発明の他の目的は、符号化した動画像データにシーンチェンジ情報等のフレームに固有なフレーム情報を正確な位置に付加することが可能な画像符号化方法を提供することである。

本発明では上記課題を解決するために、図１に示すような画像符号化装置が提供される。この画像符号化装置は、動画像を符号化するためのものであり、入力された動画像データを圧縮符号化する符号化処理部１と、前記符号化処理部１によって生成されたピクチャの枚数をカウントする第１のカウンタ２と、入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第１のカウンタ２によるカウント数に対応づけて保持するフレーム情報保持部４と、前記符号化処理部１によって生成された前記ピクチャを受け取ってパケット化し、各パケットに所定のヘッダ情報を挿入するヘッダ情報挿入部６と、前記ヘッダ情報挿入部６が受け取った前記ピクチャの枚数をカウントする第２のカウンタ７とを有し、前記ヘッダ情報挿入部６は、前記フレーム情報保持部４を参照して、前記第２のカウンタ７によるカウント数と同一の、前記第１のカウンタ２によるカウント数に対応づけられた前記フレーム情報を、そのカウント数に対応する前記ピクチャの先頭データを含むパケットの前記ヘッダ情報内に書き込むことを特徴とする。

このような画像符号化装置では、符号化処理部１によって、入力された動画像データが圧縮符号化され、第１のカウンタ２により、符号化処理部１によって生成されたピクチャの枚数がカウントされる。このとき、フレーム情報保持部４により、入力された動画像データ中のフレームに固有な情報を示すフレーム情報が、第１のカウンタ２によるカウント数に対応づけて保持される。また、ヘッダ情報挿入部６では、符号化処理部１によって生成されたピクチャがパケット化されて、各パケットに所定のヘッダ情報が挿入され、ヘッダ情報挿入部６が受け取ったピクチャの枚数が、第２のカウンタ７によってカウントされる。ここで、ヘッダ情報挿入部６では、ヘッダ情報が挿入される際にフレーム情報保持部４が参照されて、第２のカウンタ７によるカウント数と同一の、第１のカウンタ２によるカウント数に対応づけられたフレーム情報が、そのカウント数に対応するピクチャの先頭データを含むパケットのヘッダ情報内に書き込まれるので、生成されたピクチャに対応するフレーム情報が確実に取得され、正しい位置に書き込まれる。

また、本発明では、動画像を符号化するための画像符号化方法において、符号化処理部が、入力された動画像データを圧縮符号化し、カウンタが、前記符号化処理部によって生成されたピクチャの枚数を第１のピクチャ枚数としてカウントし、フレーム情報保持部が、入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第１のピクチャ枚数に対応づけて保持し、ヘッダ情報挿入部が、前記符号化処理部によって生成された前記ピクチャを受け取ってパケット化し、各パケットに所定のヘッダ情報を挿入する際に、受け取った前記ピクチャの枚数を第２のピクチャ枚数としてカウントし、前記フレーム情報保持部を参照して、前記第２のピクチャ枚数と同一の前記第１のピクチャ枚数に対応づけられた前記フレーム情報を、前記第２のピクチャ枚数に対応するピクチャの先頭データを含むパケットの前記ヘッダ情報内に書き込むことを特徴とする画像符号化方法が提供される。

このような画像符号化方法では、符号化処理部が、入力された動画像データを圧縮符号化するとともに、この符号化処理部によって生成されたピクチャの枚数を、カウンタが第１のピクチャ枚数としてカウントする。また、フレーム情報保持部は、入力された動画像データ中のフレームに固有な情報を示すフレーム情報を、第１のピクチャ枚数に対応づけて保持しておく。そして、ヘッダ情報挿入部が、符号化処理部によって生成されたピクチャを受け取ってパケット化し、各パケットに所定のヘッダ情報を挿入する際に、受け取ったピクチャの枚数を第２のピクチャ枚数としてカウントし、フレーム情報保持部を参照して、第２のピクチャ枚数と同一の第１のピクチャ枚数に対応づけられたフレーム情報を、この第２のピクチャ枚数に対応するピクチャの先頭データを含むパケットのヘッダ情報内に書き込む。従って、ヘッダ情報を挿入する際に、生成されたピクチャに対応するフレーム情報が確実に取得され、正しい位置に書き込まれる。

本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。

以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の原理を説明するための原理図である。
以下の図１の説明では、入力された動画像データを符号化して動画像ストリームを生成するとともに、この動画像ストリームに例として音声ストリームを多重化して出力することが可能な画像符号化装置に本発明を適用した場合について説明する。この図１に示す画像符号化装置は、符号化処理部１、第１のカウンタ２、フレーム情報検出部３、フレーム情報保持部４および多重化処理部５を具備している。また、多重化処理部５には、ヘッダ情報挿入部６および第２のカウンタ７が設けられている。

符号化処理部１は、入力された動画像データを所定の符号化方式で圧縮符号化し、動画像ストリームを生成する。動画像ストリームでは、１フレームまたは１フィールドごとに圧縮符号化されたデータがピクチャとして生成される。

第１のカウンタ２は、符号化処理部１において生成されたピクチャの枚数をカウントする。このときのカウント数は、フレーム情報保持部４に出力される。
フレーム情報検出部３は、入力された動画像データからフレーム情報を検出する。ここで、フレーム情報とは、動画像データ中のフレームに固有な情報を示す。例えば、対象とするフレームにおいてシーンチェンジが発生していることを示す情報や、垂直ブランキング期間（ＶＢＩ：Vertical Blanking Interval）に格納されたＶＢＩ情報等を含めることができる。このフレーム情報は、例えば、符号化処理部１の入力段に、入力された動画像データが一時的に記憶されるフレームメモリが設けられている場合には、このフレームメモリに記憶されたデータを用いて検出することができる。

フレーム情報保持部４には、第１のカウンタ２からのカウント値に、このときにフレーム情報検出部３において検出されたフレーム情報を関連付けて保持する。
多重化処理部５は、符号化処理部１で符号化された動画像ストリームと、音声データを符号化した音声ストリームとを多重化して、多重化ストリームを生成する。この多重化処理部５において、ヘッダ情報挿入部６は、符号化処理部１から受け取った動画像ストリームに、所定のヘッダ情報を挿入する。

第２のカウンタ７は、ヘッダ情報挿入部６が受け取った動画像ストリーム中のピクチャの枚数をカウントし、ヘッダ情報挿入部６に出力する。
ここで、ヘッダ情報挿入部６は、ヘッダ情報の挿入を行う際に、フレーム情報保持部４を参照して、第２のカウンタ７のカウント値と同一のカウント値に対応づけられたフレーム情報を取得する。そして、このフレーム情報をこのとき受け取ったピクチャの先頭データに対応するヘッダ情報内に書き込む。例えば、この先頭データを含むパケットのパケットヘッダに書き込む。

このような画像符号化装置では、入力された動画像データが、符号化処理部１において圧縮符号化され、動画像ストリームとして多重化処理部５に供給される。多重化処理部５では、ヘッダ情報挿入部６においてヘッダ情報が挿入され、さらに音声ストリームと多重化されて、多重化ストリームとして出力される。

また、符号化処理部１に入力される動画像データからは、フレーム情報検出部３によってフレーム情報が検出され、このフレーム情報は、フレーム情報保持部４において、第１のカウンタ２によるカウント値に対応づけて保持される。これにより、フレーム情報と、その検出元となったフレームに対応するピクチャとが対応づけられる。

ここで、第１のカウンタ２は、符号化処理部１で生成されたピクチャの枚数をカウントし、第２のカウンタ７は、ヘッダ情報挿入部６が受け取ったピクチャの枚数をカウントしているので、第１のカウンタ２および第２のカウンタ７が同一カウント数のときには、カウント対象とされたピクチャは同一のものとなる。従って、ヘッダ情報挿入部６がピクチャを受け取ったときに、このときの第２のカウンタ７によるカウント値と同一の第１のカウンタ２によるカウント値に対応づけられたフレーム情報を取得することで、受け取ったピクチャに対応するフレーム情報を確実に取得することができる。

ヘッダ情報挿入部６では、例えば、符号化処理部１からのピクチャの受信時に、ピクチャの先頭部を識別して、このとき第２のカウンタ７をインクリメントさせ、このカウント値を用いてフレーム情報を取得することにより、ピクチャの先頭データに対応するヘッダ情報に、取得したフレーム情報を容易に書き込むことができる。従って、多重化ストリーム内において、フレーム情報とこれに対応するピクチャのデータとの各書き込み位置を正確に一致させることができ、この多重化ストリームの再生時において、再生画像に同期した正確なタイミングでフレーム情報を抽出し、利用することが可能となる。

次に、本発明の実施の形態例について、具体的に説明する。以下の説明では、入力されたビデオ信号をＭＰＥＧ−２方式で符号化する装置に対して本発明を適用した場合を想定する。また、フレーム情報として、シーンチェンジの発生を示す情報を付加するものとする。

図２は、本発明の実施の形態に係るＭＰＥＧ符号化装置の構成を示すブロック図である。
図２に示すＭＰＥＧ符号化装置は、入力されたビデオデータおよびオーディオデータをＭＰＥＧ−２方式で圧縮符号化して、ＭＰＥＧストリームを生成する装置である。このＭＰＥＧ符号化装置は、フレームメモリ１０、シーンチェンジ検出回路２０、ビデオエンコード部３０、オーディオエンコーダ４０および多重化部５０を具備する。

このＭＰＥＧ符号化装置に入力されるビデオおよびオーディオ信号は、例えばテレビチューナ等の外部機器からアナログ信号として入力される。ビデオ信号は例えばコンポジット信号として入力され、図示しないＹ／Ｃ分離器において輝度信号および色差信号に分離された後、さらに図示しないＮＴＳＣ（National Television System Committee）デコーダでＡ／Ｄ変換およびクロマエンコード処理されて、デジタルデータとしてフレームメモリ１０に入力される。

フレームメモリ１０は、複数フレーム分の容量を有するＦＩＦＯ（First In First Out）方式のバッファメモリであり、入力されたビデオデータを順次、一時的に記憶する。そして、記憶されたデータは、ビデオエンコーダ３１およびシーンチェンジ検出回路２０により読み出される。

シーンチェンジ検出回路２０は、ビデオエンコーダ３１によってフレームメモリ１０から１フレーム分のビデオデータが読み出されると、読み出し対象となったフレームと、その１つ前にフレームメモリ１０に記憶されたフレームとを読み出して、シーンチェンジの検出を行う。シーンチェンジの検出には、例えば、２つのフレームに含まれる画素値を統計処理して、フレーム間の差分をとる手法や、フレーム間の相関係数をとる手法等を用いることができる。これらの検出では、例えば、画素値として輝度信号のみ、あるいは色差信号のみを用いればよい。また、シーンチェンジ検出回路２０は、レジスタ２１を具備しており、検出結果に基づき、シーンチェンジの発生の有無を示す情報をレジスタ２１に格納する。

ビデオエンコード部３０には、ビデオエンコーダ３１，カウンタ３２およびシーンチェンジ情報処理回路３３が設けられている。ビデオエンコーダ３１は、フレームメモリ１０に記憶されたビデオデータを１フレームずつ読み出し、ＭＰＥＧ−２方式で圧縮符号化してピクチャを生成し、ビデオＥＳ（Elementary Stream）として多重化部５０に出力する。また、ビデオエンコーダ３１は、１枚のピクチャを生成するごとに、カウンタ３２のカウント値をインクリメントさせるとともに、ピクチャの生成をシーンチェンジ情報処理回路３３に対して通知する。

カウンタ３２は、ビデオエンコーダ３１において生成されたピクチャの枚数をカウントし、カウント値をシーンチェンジ情報処理回路３３に出力する。シーンチェンジ情報処理回路３３は、ビデオエンコーダ３１からピクチャの生成の通知を受けると、インクリメントされたカウンタ３２のカウント値を取得するとともに、シーンチェンジ検出回路２０のレジスタ２１を参照してシーンチェンジの有無を判断し、シーンチェンジの有無を示す情報を、取得したカウント値とともにメモリ３４に記憶する。メモリ３４では、例えばシーンチェンジの有無をカウント値と対応づけたテーブルが記憶される。あるいは、シーンチェンジが発生していたときのカウント値のみが順次記憶されてもよい。

一方、入力されたアナログのオーディオ信号は、図示しないＡ／Ｄ変換器によってデジタルデータに変換された後、オーディオエンコーダ４０に入力される。オーディオエンコーダ４０は、入力されたオーディオデータをＭＰＥＧオーディオ方式等で圧縮符号化し、オーディオＥＳとして多重化部５０に出力する。

多重化部５０には、ビデオＥＳバッファ５１、オーディオＥＳバッファ５２、ＭＵＸ（Multiplexer）５３、カウンタ５４および照合処理回路５５が設けられている。
ビデオＥＳバッファ５１およびオーディオＥＳバッファ５２は、それぞれビデオエンコーダ３１からのビデオＥＳおよびオーディオエンコーダ４０からのオーディオＥＳを順次記憶して、ＭＵＸ５３に対して出力するＦＩＦＯ方式のバッファメモリである。

ＭＵＸ５３は、ビデオＥＳバッファ５１およびオーディオＥＳバッファ５２から順次データを読み出し、所定のシステム情報をヘッダ領域に書き込みながら多重化して、ＭＰＥＧストリームを生成する。また、ＭＵＸ５３は、ビデオＥＳバッファ５１からピクチャの先頭部が読み出されると、カウンタ５４をインクリメントするとともに、ピクチャの読み出しを照合処理回路５５に通知する。そして、このピクチャにおいてシーンチェンジが発生しているか否かの判断結果を照合処理回路５５から受け取り、ピクチャの先頭データを格納するパケットのヘッダ内に、判断結果に応じたシーンチェンジ情報を書き込む。

カウンタ５４は、ＭＵＸ５３がビデオＥＳバッファ５１から読み出したピクチャの枚数をカウントし、カウント値を照合処理回路５５に出力する。照合処理回路５５は、ＭＵＸ５３からピクチャの読み出しを通知する制御信号を受信すると、カウンタ５４のカウント値を用いてメモリ３４を参照し、同一カウント値についてシーンチェンジが発生しているか否かを判定して、その判定結果をＭＵＸ５３に通知する。

このＭＰＥＧ符号化装置における基本的な動作は、以下のようになる。入力されたビデオデータは、フレームメモリ１０に順次格納される。フレームメモリ１０では、格納されたビデオデータの各フレームに対してピクチャタイプが割り当てられ、各フレームのデータがピクチャタイプに応じた符号化処理順にビデオエンコーダ３１によって読み出される。ビデオエンコーダ３１は、読み出した１フレーム分のデータをエンコードしてピクチャを生成し、ピクチャのデータをパケットに格納してビデオＥＳとして順次出力する。

生成されたビデオＥＳはビデオＥＳバッファ５１に一旦格納され、ＭＵＸ５３から順次読み出される。また、オーディオエンコーダ４０において生成されたオーディオＥＳもオーディオＥＳバッファ５２に一旦格納され、ＭＵＸ５３から順次読み出される。ＭＵＸ５３は、読み出したビデオＥＳおよびオーディオＥＳに、必要なシステム情報を挿入しながら多重化し、ＭＰＥＧストリームを生成して出力する。このとき、ビデオパケットのヘッダのオプション領域に、照合処理回路５５による判定結果に基づくシーンチェンジ情報が付加される。

次に、ＭＰＥＧストリーム中にシーンチェンジ情報を挿入するための処理について説明する。
まず、シーンチェンジの発生は、フレームメモリ１０に格納されたビデオデータを基にして、シーンチェンジ検出回路２０によって検出される。上述したように、フレームメモリ１０からは、各フレームのデータが符号化処理順にビデオエンコーダ３１から読み出される。シーンチェンジ検出回路２０は、ビデオエンコーダ３１から１フレーム分のデータが読み出されるごとに、そのフレームのデータとその１つ前のフレームのデータとからシーンチェンジの有無を検出し、検出結果をレジスタ２１に格納する。

ビデオエンコード部３０では、ビデオエンコーダ３１がフレームメモリから１フレーム分のデータを読み出して１つのピクチャを生成するごとに、カウンタ３２のカウント値がインクリメントされるとともに、シーンチェンジ情報処理回路３３がレジスタ２１を参照してシーンチェンジの有無を判定し、メモリ３４に書き込みを行う。

図３は、ビデオエンコード部３０における処理の流れを示すフローチャートである。以下、このフローチャートを用いて、ビデオエンコード部３０における処理をステップ番号に沿って説明する。

ステップＳ３０１において、ビデオエンコーダ３１は、フレームメモリ１０から１フレーム分のビデオデータを読み出す。そして、ステップＳ３０２において、読み出したデータをＭＰＥＧ−２方式に従って圧縮符号化処理し、１つのピクチャを生成する。なお、生成されたピクチャのデータは図示しない出力バッファに一旦記憶された後、多重化部５０のビデオＥＳバッファ５１に出力される。

ステップＳ３０３において、ビデオエンコーダ３１からの制御信号に従って、カウンタ３２のカウント値がインクリメントされる。これとともに、ステップＳ３０４において、シーンチェンジ情報処理回路３３はレジスタ２１を参照して、シーンチェンジの有無を判定する。ステップＳ３０５において、シーンチェンジ情報処理回路３３は、判定結果をカウンタ３２のカウント値に対応づけて、メモリ３４に格納する。

ステップＳ３０６において、処理を終了するか否かを判定し、続行する場合はステップＳ３０１に戻って、次のフレームのビデオデータを読み出し、圧縮符号化を行う。
以上の処理により、メモリ３４には、ビデオエンコーダ３１によって生成された各ピクチャに割り当てられたカウント数と、各ピクチャでシーンチェンジが発生したか否かを示す情報とが保持される。一方、多重化部５０では、ＭＵＸ５３がビデオＥＳバッファ５１から読み出したピクチャの枚数をカウンタ５４でカウントし、そのカウント数をメモリ３４に保持されたカウント数と照合することで、読み出したピクチャにおいてシーンチェンジが発生しているか否かを容易に認識することができる。

図４は、多重化部５０における処理の流れを示すフローチャートである。以下、このフローチャートを用いて、多重化部５０の処理をステップ番号に沿って説明する。
ステップＳ４０１において、ＭＵＸ５３は、ビデオＥＳバッファ５１に記憶されたデータを読み出す。このとき、例えばＰＥＳ（Packetized Elementary Stream）パケット単位分のデータが読み出される。ステップＳ４０２において、ＭＵＸ５３は、読み出したデータにピクチャの先頭部が含まれるか否かを判定する。この判定は、ピクチャレイヤのヘッダに記述されるピクチャ開始コード（Picture Start Code）を読み出すことで行われる。先頭部が含まれる場合はステップＳ４０３に進み、含まれない場合はステップＳ４０６に進む。

ステップＳ４０３において、ＭＵＸ５３からの制御信号に従って、カウンタ５４がインクリメントされる。ステップＳ４０４において、照合処理回路５５は、メモリ３４の記憶データを参照して、インクリメントされたカウンタ５４のカウント値と同じ数値に対応づけられた情報を読み取り、シーンチェンジの有無を判定してＭＵＸ５３に通知する。ステップＳ４０５において、ＭＵＸ５３は、照合処理回路５５による判定結果に基づいて、シーンチェンジ情報をＰＥＳパケットのヘッダ内のオプション領域に挿入する。なお、シーンチェンジ情報の挿入位置については、後の図５において説明する。

ステップＳ４０６において、ＭＵＸ５３は、オーディオＥＳバッファ５２から読み出したデータを用いてオーディオパケットを生成し、出力信号に多重化する。ステップＳ４０７において、ＭＵＸ５３は、その他の必要なシステム情報を所定のヘッダ領域に挿入したビデオパケットを生成し、出力信号に多重化する。

ステップＳ４０８において、処理を終了するか否かを判定し、続行する場合はステップＳ４０１に戻って、ビデオＥＳバッファ５１から読み出されたデータがＭＵＸ５３において処理される。以上の処理によって、ＭＵＸ５３からは、シーンチェンジ情報が付加されたＭＰＥＧ−２方式のシステムストリームが順次出力される。

図５は、シーンチェンジ情報が挿入されるヘッダ領域のフォーマット例を示す図である。
ＭＵＸ５３における多重化処理により、ビデオＥＳバッファ５１から読み出されたデータはＰＥＳパケットに格納される。また、フレームの先頭データがペイロード内に含まれるＰＥＳパケットではヘッダ領域が拡張され、この拡張領域には、タイムスタンプ等の格納領域とともに、ＰＥＳプライベートデータと呼ばれる１６バイト分のオプション領域が設けられている。従って、このオプション領域にシーンチェンジ情報を挿入することにより、再生時においてピクチャの再生タイミングに同期してシーンチェンジ情報を正確に取り出すことが可能となる。

本実施の形態では、このＰＥＳプライベートデータ領域に、シーンチェンジの有無とともに、カウンタ５４によってカウントされたピクチャの枚数が記録される。例えば、１バイト目に、シーンチェンジの有無についての情報が記録される。この領域には、シーンチェンジが発生している場合は“１”、発生していない場合は“０”を書き込む。続いて、２バイト目〜５バイト目の領域には、そのピクチャが符号化の開始時から何枚目となるのかを示す情報が、３２ビットのデータで記録される。これらの値は、カウンタ５４のカウント数が用いられる。

以上のＭＰＥＧ符号化装置では、ビデオエンコーダ３１で生成された各ピクチャについて、シーンチェンジの有無を示す情報が対応づけられてメモリ３４に格納される。そして、多重化部５０では、多重化処理時にピクチャの枚数をカウントし、メモリ３４を参照してカウント値を照合することによって、そのピクチャにおけるシーンチェンジの有無が判定されて、判定結果に応じたシーンチェンジ情報が多重化ストリーム中に挿入される。

このように、ピクチャの枚数を単位としてシーンチェンジの有無が認識されることにより、ＭＵＸ５３では、ピクチャのデータの多重化処理に同期して正確にシーンチェンジ情報を挿入することができ、その挿入位置がピクチャの先頭位置からずれることがなくなる。また、その挿入位置をＰＥＳプライベートデータ領域としたことで、ピクチャとシーンチェンジ情報との同期を容易に正確に確保することができる。従って、生成されたＭＰＥＧストリームの再生時にシーンチェンジの発生タイミングを正確に抽出することができ、例えば場面ごとの頭出しやサムネールの生成等が、再生画像に正確に同期して行われる。

なお、上記の実施の形態では、ビデオデータをフレームごとに符号化する場合について説明したが、フィールドごとに符号化する場合にも適用することが可能である。この場合、シーンチェンジ検出回路は、ビデオエンコーダによってフレームメモリから読み出されたフィールドと、その２つ前にフレームメモリに記憶されたフィールドとからシーンチェンジを検出してもよい。

また、上記では、ピクチャの枚数を単位としてシーンチェンジの有無を識別していたが、この識別をＧＯＰ（Group Of Picture）単位で行ってもよい。この場合、ビデオエンコーダでは、ＧＯＰの先頭ピクチャを生成するごとにカウントを行い、そのカウント数とシーンチェンジの有無を示す情報をメモリに書き込む。そして、多重化部でも同様に、ＧＯＰの先頭ピクチャを多重化する際に、上記のメモリを参照してシーンチェンジの有無を判定する。また、シーンチェンジ情報はＧＯＰヘッダを含むＰＥＳパケット内に挿入される。このような場合には、シーンチェンジ情報の書き込み位置は、実際にシーンチェンジが発生した位置から数フレーム分だけ遅延する場合があるが、ＭＰＥＧ−２方式の再生装置に通常設けられている頭出し機能を流用して、シーンチェンジの発生位置を特定することができる。

また、ユーザによって録画の開始／停止動作が繰り返されたり、あるいは複数の番組がタイマー録画された場合等に、録画の開始時にシーンチェンジ情報を挿入することで、新たに録画が開始されたタイミングを再生データから抽出することが可能となる。このような用途で使用される場合には、シーンチェンジ情報を例えばシーケンスヘッダ直後のユーザデータ領域に挿入すればよい。

また、ＭＰＥＧ−１方式で符号化を行う符号化装置の場合には、例えば、フレームの先頭データを多重化する位置の直前に、シーンチェンジ情報を格納したプライベートパケットを挿入することで、再生時にシーンチェンジの発生位置を正確に抽出することができる。

以上説明したように、本発明の画像符号化装置によれば、符号化されたデータにヘッダ情報が挿入される際に、フレーム情報保持部を参照することで、生成されたピクチャに対応するフレーム情報を取得することができる。従って、フレーム情報をこのピクチャの先頭データに対応するヘッダ情報内に確実に書き込むことができ、書き込み位置のずれの発生が防止される。

また、本発明の画像符号化方法によれば、フレーム情報を第１のピクチャ枚数に対応づけて保持しておき、符号化されたデータにヘッダ情報を挿入する際に、受け取ったピクチャをカウントした第２のピクチャ枚数と照合することで、生成されたピクチャに対応するフレーム情報を取得することができる。従って、フレーム情報をこのピクチャの先頭データに対応するヘッダ情報内に確実に書き込むことができ、書き込み位置のずれの発生が防止される。

上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

本発明の原理を説明するための原理図である。 本発明の実施の形態に係るＭＰＥＧ符号化装置の構成を示すブロック図である。 ビデオエンコード部における処理の流れを示すフローチャートである。 多重化部における処理の流れを示すフローチャートである。 シーンチェンジ情報が挿入されるヘッダ領域のフォーマット例を示す図である。

符号の説明

１ 符号化処理部
２ カウンタ
３ フレーム情報検出部
４ フレーム情報保持部
５ 多重化処理部
６ ヘッダ情報挿入部
７ カウンタ

Claims (9)

1. 動画像を符号化する画像符号化装置において、
   入力された動画像データを圧縮符号化する符号化処理部と、
   前記符号化処理部によって生成されたピクチャの枚数をカウントする第１のカウンタと、
   入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第１のカウンタによるカウント数に対応づけて保持するフレーム情報保持部と、
   前記符号化処理部によって生成された前記ピクチャを受け取ってパケット化し、各パケットに所定のヘッダ情報を挿入するヘッダ情報挿入部と、
   前記ヘッダ情報挿入部が受け取った前記ピクチャの枚数をカウントする第２のカウンタと、
   を有し、前記ヘッダ情報挿入部は、前記フレーム情報保持部を参照して、前記第２のカウンタによるカウント数と同一の、前記第１のカウンタによるカウント数に対応づけられた前記フレーム情報を、そのカウント数に対応する前記ピクチャの先頭データを含むパケットの前記ヘッダ情報内に書き込むことを特徴とする画像符号化装置。
2. 入力された前記動画像データから前記フレーム情報を検出するフレーム情報検出部をさらに有し、前記フレーム情報保持部は前記フレーム情報検出部から前記フレーム情報を取得することを特徴とする請求項１記載の画像符号化装置。
3. 前記ヘッダ情報挿入部は、前記符号化処理部によって生成された前記ピクチャを含む動画像ストリームを他のデータストリームと多重化する多重化処理部に設けられたことを特徴とする請求項１記載の画像符号化装置。
4. 前記フレーム情報は、対応するフレームにおいてシーンチェンジが発生したことを示す情報を含むことを特徴とする請求項１記載の画像符号化装置。
5. 入力された前記動画像データを一時的に記憶するメモリと、
   前記メモリに記憶されたフレームまたはフィールドのデータとそれ以前のフレームまたはフィールドのデータとから前記シーンチェンジの有無を検出するシーンチェンジ検出部と、
   をさらに有し、
   前記フレーム情報保持部は前記シーンチェンジ検出部からの検出信号に基づいて前記シーンチェンジが発生したことを認識することを特徴とする請求項４記載の画像符号化装置。
6. 前記符号化処理部は、前記メモリからフレームまたはフィールドのデータを読み出すごとに圧縮符号化処理を行って前記ピクチャを生成し、
   前記シーンチェンジ検出部は、前記符号化処理部によって前記圧縮符号化処理対象のフレームまたはフィールドのデータが前記メモリから読み出されると、当該フレームまたは当該フィールドについて前記シーンチェンジの検出を行うことを特徴とする請求項５記載の画像符号化装置。
7. 前記フレーム情報は、入力された前記動画像データ中の各フレームの垂直ブランキング期間に記録された情報を含むことを特徴とする請求項１記載の画像符号化装置。
8. 動画像を符号化する画像符号化装置において、
   入力された動画像データを圧縮符号化する符号化処理部と、
   前記符号化処理部によって生成されたピクチャについて、複数のピクチャをグループ化したグループ単位でカウントする第１のカウンタと、
   入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第１のカウンタによるカウント数に対応づけて保持するフレーム情報保持部と、
   前記符号化処理部によって生成された前記ピクチャを受け取ってパケット化し、各パケットに所定のヘッダ情報を挿入するヘッダ情報挿入部と、
   前記ヘッダ情報挿入部が受け取った前記ピクチャについて前記グループ単位でカウントする第２のカウンタと、
   を有し、前記ヘッダ情報挿入部は、前記フレーム情報保持部を参照して、前記第２のカウンタによるカウント数と同一の、前記第１のカウンタによるカウント数に対応づけられた前記フレーム情報を、そのカウント数に対応する前記グループの先頭データを含むパケットの前記ヘッダ情報内に書き込むことを特徴とする画像符号化装置。
9. 動画像を符号化するための画像符号化方法において、
   符号化処理部が、入力された動画像データを圧縮符号化し、
   カウンタが、前記符号化処理部によって生成されたピクチャの枚数を第１のピクチャ枚数としてカウントし、
   フレーム情報保持部が、入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第１のピクチャ枚数に対応づけて保持し、
   ヘッダ情報挿入部が、前記符号化処理部によって生成された前記ピクチャを受け取ってパケット化し、各パケットに所定のヘッダ情報を挿入する際に、受け取った前記ピクチャの枚数を第２のピクチャ枚数としてカウントし、前記フレーム情報保持部を参照して、前記第２のピクチャ枚数と同一の前記第１のピクチャ枚数に対応づけられた前記フレーム情報を、前記第２のピクチャ枚数に対応するピクチャの先頭データを含むパケットの前記ヘッダ情報内に書き込む、
   ことを特徴とする画像符号化方法。

Images