JPWO2004095844A1 - 画像符号化装置および画像符号化方法 - Google Patents
画像符号化装置および画像符号化方法 Download PDFInfo
- Publication number
- JPWO2004095844A1 JPWO2004095844A1 JP2004571101A JP2004571101A JPWO2004095844A1 JP WO2004095844 A1 JPWO2004095844 A1 JP WO2004095844A1 JP 2004571101 A JP2004571101 A JP 2004571101A JP 2004571101 A JP2004571101 A JP 2004571101A JP WO2004095844 A1 JPWO2004095844 A1 JP WO2004095844A1
- Authority
- JP
- Japan
- Prior art keywords
- frame
- information
- data
- picture
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
動画像データからシーンチェンジを検出し、このデータ中にシーンチェンジ情報を付加することが可能な従来の画像記録装置としては、直前に入力された2フレーム分のデータを常にバッファメモリに記憶しておき、シーンチェンジ検出回路により、現在のフレームと直前の2フレームとからシーンチェンジの有無を検出し、シーンチェンジが検出された場合に、シーンチェンジ付加回路によってシステム情報中にシーンチェンジを示す情報を付加し、さらに切り替えスイッチによって、シーンチェンジを示す情報が付加されたデータと付加されていないデータとをシーンチェンジの有無に応じて選択出力する画像記録装置があった(例えば、特許文献1参照)。
このようなMPEGストリームの生成時にシーンチェンジ情報を付加する場合、符号化部の前段のフレームメモリに記憶されたデータを基にシーンチェンジの有無を検出し、多重化部において、シーンチェンジを示す情報をヘッダ内のオプション領域等に記録する方法が考えられる。
しかし、MPEG方式では可変長符号化方式を採っているため、ビデオストリームの単位時間当たりのデータ量は一定とならない場合が多く、さらに多重化部における多重化処理のタイミングもフレームごとに一定時間間隔とはならない。このため、上記の方法では、シーンチェンジの検出からシーンチェンジ情報の書き込みまでに要する時間が不規則に変動し、シーンチェンジが発生した目的のフレームの先頭データを含むパケットのヘッダに、シーンチェンジ情報を正確に書き込むことが困難であった。
また、本発明の他の目的は、符号化した動画像データにシーンチェンジ情報等のフレームに固有なフレーム情報を正確な位置に付加することが可能な画像符号化方法を提供することである。
本発明では上記課題を解決するために、図1に示すような画像符号化装置が提供される。この画像符号化装置は、動画像を符号化するためのものであり、入力された動画像データを圧縮符号化する符号化処理部1と、前記符号化処理部1によって生成されたピクチャの枚数をカウントする第1のカウンタ2と、入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第1のカウンタ2によるカウント数に対応づけて保持するフレーム情報保持部4と、前記符号化処理部1によって生成されたピクチャを受け取って所定のヘッダ情報を挿入するヘッダ情報挿入部6と、前記ヘッダ情報挿入部6が受け取ったピクチャの枚数をカウントする第2のカウンタ7とを有し、前記ヘッダ情報挿入部6は、前記フレーム情報保持部4を参照して、前記第1のカウンタ2および第2のカウンタ7による各カウント数が一致したときのピクチャに対応する前記フレーム情報を、当該ピクチャの先頭データに対応する前記ヘッダ情報内に書き込むことを特徴とする。
このような画像符号化装置では、符号化処理部1によって、入力された動画像データが圧縮符号化され、第1のカウンタ2により、符号化処理部1によって生成されたピクチャの枚数がカウントされる。このとき、フレーム情報保持部4により、入力された動画像データ中のフレームに固有な情報を示すフレーム情報が、第1のカウンタ2によるカウント数に対応づけて保持される。また、ヘッダ情報挿入部6では、符号化処理部1によって生成されたピクチャに対して所定のヘッダ情報が挿入され、ヘッダ情報挿入部6が受け取ったピクチャの枚数が、第2のカウンタ7によってカウントされる。ここで、ヘッダ情報挿入部6では、ヘッダ情報が挿入される際にフレーム情報保持部4が参照されて、第1のカウンタ2および第2のカウンタ7による各カウント数が一致したときのピクチャに対応するフレーム情報が、当該ピクチャの先頭データに対応するヘッダ情報内に書き込まれるので、生成されたピクチャに対応するフレーム情報が確実に取得され、正しい位置に書き込まれる。
また、本発明では、動画像を符号化するための画像符号化方法において、入力された動画像データを圧縮符号化するとともに、前記圧縮符号化処理によって生成されたピクチャの枚数を第1のピクチャ枚数としてカウントし、入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第1のピクチャ枚数に対応づけて保持し、前記圧縮符号化処理によって生成されたピクチャを受け取って所定のヘッダ情報を挿入する際に、受け取ったピクチャの枚数を第2のピクチャ枚数としてカウントし、前記第1および第2のピクチャ枚数が一致したときのピクチャに対応する前記フレーム情報を、当該ピクチャの先頭データに対応する前記ヘッダ情報内に書き込むことを特徴とする画像符号化方法が提供される。
このような画像符号化方法では、入力された動画像データを圧縮符号化するとともに、この圧縮符号化処理によって生成されたピクチャの枚数を第1のピクチャ枚数としてカウントする。また、入力された動画像データ中のフレームに固有な情報を示すフレーム情報を、第1のピクチャ枚数に対応づけて保持しておく。そして、圧縮符号化処理によって生成されたピクチャを受け取って所定のヘッダ情報を挿入する際に、受け取ったピクチャの枚数を第2のピクチャ枚数としてカウントし、第1および第2のピクチャ枚数が一致したときのピクチャに対応するフレーム情報を、当該ピクチャの先頭データに対応するヘッダ情報内に書き込む。従って、ヘッダ情報を挿入する際に、生成されたピクチャに対応するフレーム情報が確実に取得され、正しい位置に書き込まれる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
図2は、本発明の実施の形態に係るMPEG符号化装置の構成を示すブロック図である。
図3は、ビデオエンコード部における処理の流れを示すフローチャートである。
図4は、多重化部における処理の流れを示すフローチャートである。
図5は、シーンチェンジ情報が挿入されるヘッダ領域のフォーマット例を示す図である。
図1は、本発明の原理を説明するための原理図である。
以下の図1の説明では、入力された動画像データを符号化して動画像ストリームを生成するとともに、この動画像ストリームに例として音声ストリームを多重化して出力することが可能な画像符号化装置に本発明を適用した場合について説明する。この図1に示す画像符号化装置は、符号化処理部1、第1のカウンタ2、フレーム情報検出部3、フレーム情報保持部4および多重化処理部5を具備している。また、多重化処理部5には、ヘッダ情報挿入部6および第2のカウンタ7が設けられている。
符号化処理部1は、入力された動画像データを所定の符号化方式で圧縮符号化し、動画像ストリームを生成する。動画像ストリームでは、1フレームまたは1フィールドごとに圧縮符号化されたデータがピクチャとして生成される。
第1のカウンタ2は、符号化処理部1において生成されたピクチャの枚数をカウントする。このときのカウント数は、フレーム情報保持部4に出力される。
フレーム情報検出部3は、入力された動画像データからフレーム情報を検出する。ここで、フレーム情報とは、動画像データ中のフレームに固有な情報を示す。例えば、対象とするフレームにおいてシーンチェンジが発生していることを示す情報や、垂直ブランキング期間(VBI:Vertical Blanking Interval)に格納されたVBI情報等を含めることができる。このフレーム情報は、例えば、符号化処理部1の入力段に、入力された動画像データが一時的に記憶されるフレームメモリが設けられている場合には、このフレームメモリに記憶されたデータを用いて検出することができる。
フレーム情報保持部4には、第1のカウンタ2からのカウント値に、このときにフレーム情報検出部3において検出されたフレーム情報を関連付けて保持する。
多重化処理部5は、符号化処理部1で符号化された動画像ストリームと、音声データを符号化した音声ストリームとを多重化して、多重化ストリームを生成する。この多重化処理部5において、ヘッダ情報挿入部6は、符号化処理部1から受け取った動画像ストリームに、所定のヘッダ情報を挿入する。
第2のカウンタ7は、ヘッダ情報挿入部6が受け取った動画像ストリーム中のピクチャの枚数をカウントし、ヘッダ情報挿入部6に出力する。
ここで、ヘッダ情報挿入部6は、ヘッダ情報の挿入を行う際に、フレーム情報保持部4を参照して、第2のカウンタ7のカウント値と同一のカウント値に対応づけられたフレーム情報を取得する。そして、このフレーム情報をこのとき受け取ったピクチャの先頭データに対応するヘッダ情報内に書き込む。例えば、この先頭データを含むパケットのパケットヘッダに書き込む。
このような画像符号化装置では、入力された動画像データが、符号化処理部1において圧縮符号化され、動画像ストリームとして多重化処理部5に供給される。多重化処理部5では、ヘッダ情報挿入部6においてヘッダ情報が挿入され、さらに音声ストリームと多重化されて、多重化ストリームとして出力される。
また、符号化処理部1に入力される動画像データからは、フレーム情報検出部3によってフレーム情報が検出され、このフレーム情報は、フレーム情報保持部4において、第1のカウンタ2によるカウント値に対応づけて保持される。これにより、フレーム情報と、その検出元となったフレームに対応するピクチャとが対応づけられる。
ここで、第1のカウンタ2は、符号化処理部1で生成されたピクチャの枚数をカウントし、第2のカウンタ7は、ヘッダ情報挿入部6が受け取ったピクチャの枚数をカウントしているので、第1のカウンタ2および第2のカウンタ7が同一カウント数のときには、カウント対象とされたピクチャは同一のものとなる。従って、ヘッダ情報挿入部6がピクチャを受け取ったときに、このときの第2のカウンタ7によるカウント値と同一の第1のカウンタ2によるカウント値に対応づけられたフレーム情報を取得することで、受け取ったピクチャに対応するフレーム情報を確実に取得することができる。
ヘッダ情報挿入部6では、例えば、符号化処理部1からのピクチャの受信時に、ピクチャの先頭部を識別して、このとき第2のカウンタ7をインクリメントさせ、このカウント値を用いてフレーム情報を取得することにより、ピクチャの先頭データに対応するヘッダ情報に、取得したフレーム情報を容易に書き込むことができる。従って、多重化ストリーム内において、フレーム情報とこれに対応するピクチャのデータとの各書き込み位置を正確に一致させることができ、この多重化ストリームの再生時において、再生画像に同期した正確なタイミングでフレーム情報を抽出し、利用することが可能となる。
次に、本発明の実施の形態例について、具体的に説明する。以下の説明では、入力されたビデオ信号をMPEG−2方式で符号化する装置に対して本発明を適用した場合を想定する。また、フレーム情報として、シーンチェンジの発生を示す情報を付加するものとする。
図2は、本発明の実施の形態に係るMPEG符号化装置の構成を示すブロック図である。
図2に示すMPEG符号化装置は、入力されたビデオデータおよびオーディオデータをMPEG−2方式で圧縮符号化して、MPEGストリームを生成する装置である。このMPEG符号化装置は、フレームメモリ10、シーンチェンジ検出回路20、ビデオエンコード部30、オーディオエンコーダ40および多重化部50を具備する。
このMPEG符号化装置に入力されるビデオおよびオーディオ信号は、例えばテレビチューナ等の外部機器からアナログ信号として入力される。ビデオ信号は例えばコンポジット信号として入力され、図示しないY/C分離器において輝度信号および色差信号に分離された後、さらに図示しないNTSC(National Television System Committee)デコーダでA/D変換およびクロマエンコード処理されて、デジタルデータとしてフレームメモリ10に入力される。
フレームメモリ10は、複数フレーム分の容量を有するFIFO(First In First Out)方式のバッファメモリであり、入力されたビデオデータを順次、一時的に記憶する。そして、記憶されたデータは、ビデオエンコーダ31およびシーンチェンジ検出回路20により読み出される。
シーンチェンジ検出回路20は、ビデオエンコーダ31によってフレームメモリ10から1フレーム分のビデオデータが読み出されると、読み出し対象となったフレームと、その1つ前にフレームメモリ10に記憶されたフレームとを読み出して、シーンチェンジの検出を行う。シーンチェンジの検出には、例えば、2つのフレームに含まれる画素値を統計処理して、フレーム間の差分をとる手法や、フレーム間の相関係数をとる手法等を用いることができる。これらの検出では、例えば、画素値として輝度信号のみ、あるいは色差信号のみを用いればよい。また、シーンチェンジ検出回路20は、レジスタ21を具備しており、検出結果に基づき、シーンチェンジの発生の有無を示す情報をレジスタ21に格納する。
ビデオエンコード部30には、ビデオエンコーダ31,カウンタ32およびシーンチェンジ情報処理回路33が設けられている。ビデオエンコーダ31は、フレームメモリ10に記憶されたビデオデータを1フレームずつ読み出し、MPEG−2方式で圧縮符号化してピクチャを生成し、ビデオES(Elementary Stream)として多重化部50に出力する。また、ビデオエンコーダ31は、1枚のピクチャを生成するごとに、カウンタ32のカウント値をインクリメントさせるとともに、ピクチャの生成をシーンチェンジ情報処理回路33に対して通知する。
カウンタ32は、ビデオエンコーダ31において生成されたピクチャの枚数をカウントし、カウント値をシーンチェンジ情報処理回路33に出力する。シーンチェンジ情報処理回路33は、ビデオエンコーダ31からピクチャの生成の通知を受けると、インクリメントされたカウンタ32のカウント値を取得するとともに、シーンチェンジ検出回路20のレジスタ21を参照してシーンチェンジの有無を判断し、シーンチェンジの有無を示す情報を、取得したカウント値とともにメモリ34に記憶する。メモリ34では、例えばシーンチェンジの有無をカウント値と対応づけたテーブルが記憶される。あるいは、シーンチェンジが発生していたときのカウント値のみが順次記憶されてもよい。
一方、入力されたアナログのオーディオ信号は、図示しないA/D変換器によってデジタルデータに変換された後、オーディオエンコーダ40に入力される。オーディオエンコーダ40は、入力されたオーディオデータをMPEGオーディオ方式等で圧縮符号化し、オーディオESとして多重化部50に出力する。
多重化部50には、ビデオESバッファ51、オーディオESバッファ52、MUX(Multiplexer)53、カウンタ54および照合処理回路55が設けられている。
ビデオESバッファ51およびオーディオESバッファ52は、それぞれビデオエンコーダ31からのビデオESおよびオーディオエンコーダ40からのオーディオESを順次記憶して、MUX53に対して出力するFIFO方式のバッファメモリである。
MUX53は、ビデオESバッファ51およびオーディオESバッファ52から順次データを読み出し、所定のシステム情報をヘッダ領域に書き込みながら多重化して、MPEGストリームを生成する。また、MUX53は、ビデオESバッファ51からピクチャの先頭部が読み出されると、カウンタ54をインクリメントするとともに、ピクチャの読み出しを照合処理回路55に通知する。そして、このピクチャにおいてシーンチェンジが発生しているか否かの判断結果を照合処理回路55から受け取り、ピクチャの先頭データを格納するパケットのヘッダ内に、判断結果に応じたシーンチェンジ情報を書き込む。
カウンタ54は、MUX53がビデオESバッファ51から読み出したピクチャの枚数をカウントし、カウント値を照合処理回路55に出力する。照合処理回路55は、MUX53からピクチャの読み出しを通知する制御信号を受信すると、カウンタ54のカウント値を用いてメモリ34を参照し、同一カウント値についてシーンチェンジが発生しているか否かを判定して、その判定結果をMUX53に通知する。
このMPEG符号化装置における基本的な動作は、以下のようになる。入力されたビデオデータは、フレームメモリ10に順次格納される。フレームメモリ10では、格納されたビデオデータの各フレームに対してピクチャタイプが割り当てられ、各フレームのデータがピクチャタイプに応じた符号化処理順にビデオエンコーダ31によって読み出される。ビデオエンコーダ31は、読み出した1フレーム分のデータをエンコードしてピクチャを生成し、ピクチャのデータをパケットに格納してビデオESとして順次出力する。
生成されたビデオESはビデオESバッファ51に一旦格納され、MUX53から順次読み出される。また、オーディオエンコーダ40において生成されたオーディオESもオーディオESバッファ52に一旦格納され、MUX53から順次読み出される。MUX53は、読み出したビデオESおよびオーディオESに、必要なシステム情報を挿入しながら多重化し、MPEGストリームを生成して出力する。このとき、ビデオパケットのヘッダのオプション領域に、照合処理回路55による判定結果に基づくシーンチェンジ情報が付加される。
次に、MPEGストリーム中にシーンチェンジ情報を挿入するための処理について説明する。
まず、シーンチェンジの発生は、フレームメモリ10に格納されたビデオデータを基にして、シーンチェンジ検出回路20によって検出される。上述したように、フレームメモリ10からは、各フレームのデータが符号化処理順にビデオエンコーダ31から読み出される。シーンチェンジ検出回路20は、ビデオエンコーダ31から1フレーム分のデータが読み出されるごとに、そのフレームのデータとその1つ前のフレームのデータとからシーンチェンジの有無を検出し、検出結果をレジスタ21に格納する。
ビデオエンコード部30では、ビデオエンコーダ31がフレームメモリから1フレーム分のデータを読み出して1つのピクチャを生成するごとに、カウンタ32のカウント値がインクリメントされるとともに、シーンチェンジ情報処理回路33がレジスタ21を参照してシーンチェンジの有無を判定し、メモリ34に書き込みを行う。
図3は、ビデオエンコード部30における処理の流れを示すフローチャートである。以下、このフローチャートを用いて、ビデオエンコード部30における処理をステップ番号に沿って説明する。
ステップS301において、ビデオエンコーダ31は、フレームメモリ10から1フレーム分のビデオデータを読み出す。そして、ステップS302において、読み出したデータをMPEG−2方式に従って圧縮符号化処理し、1つのピクチャを生成する。なお、生成されたピクチャのデータは図示しない出力バッファに一旦記憶された後、多重化部50のビデオESバッファ51に出力される。
ステップS303において、ビデオエンコーダ31からの制御信号に従って、カウンタ32のカウント値がインクリメントされる。これとともに、ステップS304において、シーンチェンジ情報処理回路33はレジスタ21を参照して、シーンチェンジの有無を判定する。ステップS305において、シーンチェンジ情報処理回路33は、判定結果をカウンタ32のカウント値に対応づけて、メモリ34に格納する。
ステップS306において、処理を終了するか否かを判定し、続行する場合はステップS301に戻って、次のフレームのビデオデータを読み出し、圧縮符号化を行う。
以上の処理により、メモリ34には、ビデオエンコーダ31によって生成された各ピクチャに割り当てられたカウント数と、各ピクチャでシーンチェンジが発生したか否かを示す情報とが保持される。一方、多重化部50では、MUX53がビデオESバッファ51から読み出したピクチャの枚数をカウンタ54でカウントし、そのカウント数をメモリ34に保持されたカウント数と照合することで、読み出したピクチャにおいてシーンチェンジが発生しているか否かを容易に認識することができる。
図4は、多重化部50における処理の流れを示すフローチャートである。以下、このフローチャートを用いて、多重化部50の処理をステップ番号に沿って説明する。
ステップS401において、MUX53は、ビデオESバッファ51に記憶されたデータを読み出す。このとき、例えばPES(Packetized Elementary Stream)パケット単位分のデータが読み出される。ステップS402において、MUX53は、読み出したデータにピクチャの先頭部が含まれるか否かを判定する。この判定は、ピクチャレイヤのヘッダに記述されるピクチャ開始コード(Picture Start Code)を読み出すことで行われる。先頭部が含まれる場合はステップS403に進み、含まれない場合はステップS406に進む。
ステップS403において、MUX53からの制御信号に従って、カウンタ54がインクリメントされる。ステップS404において、照合処理回路55は、メモリ34の記憶データを参照して、インクリメントされたカウンタ54のカウント値と同じ数値に対応づけられた情報を読み取り、シーンチェンジの有無を判定してMUX53に通知する。ステップS405において、MUX53は、照合処理回路55による判定結果に基づいて、シーンチェンジ情報をPESパケットのヘッダ内のオプション領域に挿入する。なお、シーンチェンジ情報の挿入位置については、後の図5において説明する。
ステップS406において、MUX53は、オーディオESバッファ52から読み出したデータを用いてオーディオパケットを生成し、出力信号に多重化する。ステップS407において、MUX53は、その他の必要なシステム情報を所定のヘッダ領域に挿入したビデオパケットを生成し、出力信号に多重化する。
ステップS408において、処理を終了するか否かを判定し、続行する場合はステップS401に戻って、ビデオESバッファ51から読み出されたデータがMUX53において処理される。以上の処理によって、MUX53からは、シーンチェンジ情報が付加されたMPEG−2方式のシステムストリームが順次出力される。
図5は、シーンチェンジ情報が挿入されるヘッダ領域のフォーマット例を示す図である。
MUX53における多重化処理により、ビデオESバッファ51から読み出されたデータはPESパケットに格納される。また、フレームの先頭データがペイロード内に含まれるPESパケットではヘッダ領域が拡張され、この拡張領域には、タイムスタンプ等の格納領域とともに、PESプライベートデータと呼ばれる16バイト分のオプション領域が設けられている。従って、このオプション領域にシーンチェンジ情報を挿入することにより、再生時においてピクチャの再生タイミングに同期してシーンチェンジ情報を正確に取り出すことが可能となる。
本実施の形態では、このPESプライベートデータ領域に、シーンチェンジの有無とともに、カウンタ54によってカウントされたピクチャの枚数が記録される。例えば、1バイト目に、シーンチェンジの有無についての情報が記録される。この領域には、シーンチェンジが発生している場合は“1”、発生していない場合は“0”を書き込む。続いて、2バイト目〜5バイト目の領域には、そのピクチャが符号化の開始時から何枚目となるのかを示す情報が、32ビットのデータで記録される。これらの値は、カウンタ54のカウント数が用いられる。
以上のMPEG符号化装置では、ビデオエンコーダ31で生成された各ピクチャについて、シーンチェンジの有無を示す情報が対応づけられてメモリ34に格納される。そして、多重化部50では、多重化処理時にピクチャの枚数をカウントし、メモリ34を参照してカウント値を照合することによって、そのピクチャにおけるシーンチェンジの有無が判定されて、判定結果に応じたシーンチェンジ情報が多重化ストリーム中に挿入される。
このように、ピクチャの枚数を単位としてシーンチェンジの有無が認識されることにより、MUX53では、ピクチャのデータの多重化処理に同期して正確にシーンチェンジ情報を挿入することができ、その挿入位置がピクチャの先頭位置からずれることがなくなる。また、その挿入位置をPESプライベートデータ領域としたことで、ピクチャとシーンチェンジ情報との同期を容易に正確に確保することができる。従って、生成されたMPEGストリームの再生時にシーンチェンジの発生タイミングを正確に抽出することができ、例えば場面ごとの頭出しやサムネールの生成等が、再生画像に正確に同期して行われる。
なお、上記の実施の形態では、ビデオデータをフレームごとに符号化する場合について説明したが、フィールドごとに符号化する場合にも適用することが可能である。この場合、シーンチェンジ検出回路は、ビデオエンコーダによってフレームメモリから読み出されたフィールドと、その2つ前にフレームメモリに記憶されたフィールドとからシーンチェンジを検出してもよい。
また、上記では、ピクチャの枚数を単位としてシーンチェンジの有無を識別していたが、この識別をGOP(Group Of Picture)単位で行ってもよい。この場合、ビデオエンコーダでは、GOPの先頭ピクチャを生成するごとにカウントを行い、そのカウント数とシーンチェンジの有無を示す情報をメモリに書き込む。そして、多重化部でも同様に、GOPの先頭ピクチャを多重化する際に、上記のメモリを参照してシーンチェンジの有無を判定する。また、シーンチェンジ情報はGOPヘッダを含むPESパケット内に挿入される。このような場合には、シーンチェンジ情報の書き込み位置は、実際にシーンチェンジが発生した位置から数フレーム分だけ遅延する場合があるが、MPEG−2方式の再生装置に通常設けられている頭出し機能を流用して、シーンチェンジの発生位置を特定することができる。
また、ユーザによって録画の開始/停止動作が繰り返されたり、あるいは複数の番組がタイマー録画された場合等に、録画の開始時にシーンチェンジ情報を挿入することで、新たに録画が開始されたタイミングを再生データから抽出することが可能となる。このような用途で使用される場合には、シーンチェンジ情報を例えばシーケンスヘッダ直後のユーザデータ領域に挿入すればよい。
また、MPEG−1方式で符号化を行う符号化装置の場合には、例えば、フレームの先頭データを多重化する位置の直前に、シーンチェンジ情報を格納したプライベートパケットを挿入することで、再生時にシーンチェンジの発生位置を正確に抽出することができる。
以上説明したように、本発明の画像符号化装置によれば、符号化されたデータにヘッダ情報が挿入される際に、フレーム情報保持部を参照することで、生成されたピクチャに対応するフレーム情報を取得することができる。従って、フレーム情報をこのピクチャの先頭データに対応するヘッダ情報内に確実に書き込むことができ、書き込み位置のずれの発生が防止される。
また、本発明の画像符号化方法によれば、フレーム情報を第1のピクチャ枚数に対応づけて保持しておき、符号化されたデータにヘッダ情報を挿入する際に、受け取ったピクチャをカウントした第2のピクチャ枚数と照合することで、生成されたピクチャに対応するフレーム情報を取得することができる。従って、フレーム情報をこのピクチャの先頭データに対応するヘッダ情報内に確実に書き込むことができ、書き込み位置のずれの発生が防止される。
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
Claims (9)
- 動画像を符号化する画像符号化装置において、
入力された動画像データを圧縮符号化する符号化処理部と、
前記符号化処理部によって生成されたピクチャの枚数をカウントする第1のカウンタと、
入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第1のカウンタによるカウント数に対応づけて保持するフレーム情報保持部と、
前記符号化処理部によって生成されたピクチャを受け取って所定のヘッダ情報を挿入するヘッダ情報挿入部と、
前記ヘッダ情報挿入部が受け取ったピクチャの枚数をカウントする第2のカウンタと、
を有し、前記ヘッダ情報挿入部は、前記フレーム情報保持部を参照して、前記第1および第2のカウンタによる各カウント数が一致したときのピクチャに対応する前記フレーム情報を、当該ピクチャの先頭データに対応する前記ヘッダ情報内に書き込むことを特徴とする画像符号化装置。 - 入力された前記動画像データから前記フレーム情報を検出するフレーム情報検出部をさらに有し、前記フレーム情報保持部は前記フレーム情報検出部から前記フレーム情報を取得することを特徴とする請求の範囲第1項記載の画像符号化装置。
- 前記ヘッダ情報挿入部は、前記符号化処理部によって生成された前記ピクチャを含む動画像ストリームを他のデータストリームと多重化する多重化処理部に設けられたことを特徴とする請求の範囲第1項記載の画像符号化装置。
- 前記フレーム情報は、対応するフレームにおいてシーンチェンジが発生したことを示す情報を含むことを特徴とする請求の範囲第1項記載の画像符号化装置。
- 入力された前記動画像データを一時的に記憶するメモリと、
前記メモリに記憶されたフレームまたはフィールドのデータとそれ以前のフレームまたはフィールドのデータとから前記シーンチェンジの有無を検出するシーンチェンジ検出部と、
をさらに有し、
前記フレーム情報保持部は前記シーンチェンジ検出部からの検出信号に基づいて前記シーンチェンジが発生したことを認識することを特徴とする請求の範囲第4項記載の画像符号化装置。 - 前記符号化処理部は、前記メモリからフレームまたはフィールドのデータを読み出すごとに圧縮符号化処理を行って前記ピクチャを生成し、
前記シーンチェンジ検出部は、前記符号化処理部によって前記圧縮符号化処理対象のフレームまたはフィールドのデータが前記メモリから読み出されると、当該フレームまたは当該フィールドについて前記シーンチェンジの検出を行うことを特徴とする請求の範囲第5項記載の画像符号化装置。 - 前記フレーム情報は、入力された前記動画像データ中の各フレームの垂直ブランキング期間に記録された情報を含むことを特徴とする請求の範囲第1項記載の画像符号化装置。
- 動画像を符号化する画像符号化装置において、
入力された動画像データを圧縮符号化する符号化処理部と、
前記符号化処理部によって生成されたピクチャについて、複数のピクチャをグループ化したグループ単位でカウントする第1のカウンタと、
入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第1のカウンタによるカウント数に対応づけて保持するフレーム情報保持部と、
前記符号化処理部によって生成された前記ピクチャを受け取って所定のヘッダ情報を挿入するヘッダ情報挿入部と、
前記ヘッダ情報挿入部が受け取ったピクチャについて前記グループ単位でカウントする第2のカウンタと、
を有し、前記ヘッダ情報挿入部は、前記フレーム情報保持部を参照して、前記第1および第2のカウンタによる各カウント数が一致する前記グループに対応する前記フレーム情報を、当該グループの先頭データに対応する前記ヘッダ情報内に書き込むことを特徴とする画像符号化装置。 - 動画像を符号化するための画像符号化方法において、
入力された動画像データを圧縮符号化するとともに、前記圧縮符号化処理によって生成されたピクチャの枚数を第1のピクチャ枚数としてカウントし、
入力された前記動画像データ中のフレームに固有な情報を示すフレーム情報を、前記第1のピクチャ枚数に対応づけて保持し、
前記圧縮符号化処理によって生成されたピクチャを受け取って所定のヘッダ情報を挿入する際に、受け取ったピクチャの枚数を第2のピクチャ枚数としてカウントし、前記第1および第2のピクチャ枚数が一致したときのピクチャに対応する前記フレーム情報を、当該ピクチャの先頭データに対応する前記ヘッダ情報内に書き込む、
ことを特徴とする画像符号化方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2003/005311 WO2004095844A1 (ja) | 2003-04-24 | 2003-04-24 | 画像符号化装置および画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2004095844A1 true JPWO2004095844A1 (ja) | 2006-07-13 |
JP3923498B2 JP3923498B2 (ja) | 2007-05-30 |
Family
ID=33307242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004571101A Expired - Fee Related JP3923498B2 (ja) | 2003-04-24 | 2003-04-24 | 画像符号化装置および画像符号化方法 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP3923498B2 (ja) |
CN (1) | CN100364335C (ja) |
AU (1) | AU2003231503A1 (ja) |
WO (1) | WO2004095844A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742286B (zh) * | 2008-11-11 | 2013-07-24 | 北京中星微电子有限公司 | 视频编、解码方法和视频编、解码装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241217A (ja) * | 1995-03-07 | 1996-09-17 | Hitachi Ltd | 情報処理装置 |
JP3148710B2 (ja) * | 1998-03-06 | 2001-03-26 | 日本電気株式会社 | 映像符号化方式 |
JP2000115665A (ja) * | 1998-10-06 | 2000-04-21 | Canon Inc | 画像記録装置及び方法並びに記憶媒体 |
KR100608454B1 (ko) * | 1999-10-19 | 2006-08-02 | 삼성전자주식회사 | 키프레임을 이용한 동화상 기록 및/또는 재생장치 |
JP2002033712A (ja) * | 2000-07-17 | 2002-01-31 | Matsushita Electric Ind Co Ltd | パケット処理装置及びそのパケット出力方法 |
-
2003
- 2003-04-24 CN CNB038240637A patent/CN100364335C/zh not_active Expired - Fee Related
- 2003-04-24 AU AU2003231503A patent/AU2003231503A1/en not_active Abandoned
- 2003-04-24 WO PCT/JP2003/005311 patent/WO2004095844A1/ja active Application Filing
- 2003-04-24 JP JP2004571101A patent/JP3923498B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2004095844A1 (ja) | 2004-11-04 |
AU2003231503A1 (en) | 2004-11-19 |
JP3923498B2 (ja) | 2007-05-30 |
CN1689331A (zh) | 2005-10-26 |
CN100364335C (zh) | 2008-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3197766B2 (ja) | Mpegオーディオデコーダ、mpegビデオデコーダおよびmpegシステムデコーダ | |
US7742687B2 (en) | Digital television recorders and stream format conversion and methods thereof | |
US6078725A (en) | Apparatus for a synchronized playback of audio-video signals | |
US7231137B2 (en) | Recording apparatus and method, playback apparatus and method, and recording medium therefor | |
JP4515465B2 (ja) | 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
US20070269192A1 (en) | Stream generating apparatus, imaging apparatus, data processing apparatus and stream generating method | |
US7072401B2 (en) | Digital TV system with PVR function and method for making stream jump therein | |
JPH0918870A (ja) | タイミング検出回路及びその方法 | |
KR20060099687A (ko) | 타임스탬프를 이용한 비디오 동기화 장치 및 방법 | |
JP3133630B2 (ja) | Mpegシステムデコーダ | |
US8428117B2 (en) | Image encoder and image encoding method | |
JP2000331421A (ja) | 情報記録装置及び情報再生装置 | |
JP3923498B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP2002010254A (ja) | 特徴点検出方法および記録再生装置 | |
US6438318B2 (en) | Method for regenerating the original data of a digitally coded video film, and apparatus for carrying out the method | |
KR101411902B1 (ko) | 동화상 기록 장치, 동화상 재상 장치 및 기록매체 | |
JP4288549B2 (ja) | 記録装置および方法、並びに再生装置および方法 | |
JP2006245744A (ja) | 映像信号記録装置、情報記録媒体および映像信号再生装置 | |
JPWO2006075457A1 (ja) | 記録装置 | |
KR100899046B1 (ko) | 동영상 촬영 장치, 동영상 재생 장치, 동영상 촬영 방법, 부호화 영상 신호 재생 방법, 및 동영상 재생 방법 | |
JP2003009085A (ja) | デジタル信号記録装置および方法、デジタル信号再生装置および方法 | |
JP4254007B2 (ja) | 再生装置および方法、並びに記録媒体 | |
US7248780B2 (en) | Reproducing device, medium, information aggregate, transmitting medium, and recording medium | |
JP2003163890A (ja) | データ転送制御装置及び電子機器 | |
JP5100852B2 (ja) | デジタル信号記録再生装置および方法、デジタル信号再生装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070221 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140302 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |