JP3839911B2

JP3839911B2 - Image processing apparatus and image processing method

Info

Publication number: JP3839911B2
Application number: JP14784697A
Authority: JP
Inventors: 貴章澤田; 陽一郎竹内
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-06-05
Filing date: 1997-06-05
Publication date: 2006-11-01
Anticipated expiration: 2017-06-05
Also published as: JPH10336586A

Description

【０００１】
【発明の属する技術分野】
この発明は、フレーム間予測を用いて動画像を圧縮することにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置及び方法に関し、特に早送りや逆早送り等のいわゆるトリックプレイを実現する画像処理装置および方法に関する。
【０００２】
【従来の技術】
現在フレーム間予測を用いている動画像圧縮方式により符号化を行う技術の主流となっているものに、ＭＰＥＧ２(Moving Picture Experts Group)国際標準規格がある。通常、ＭＰＥＧ２による動画像処理システムでは、図７に示したように、ビデオテープ１０１等に記録されている動画像データ、またはビデオカメラ１０２等を使用して得たリアルタイムな動画像データを、専用のエンコーダシステム１０３により符号化（エンコード）し、動画像ファイル１０４として外部記憶装置へ格納する。そして格納した動画像ファイル１０４を専用のデコーダシステム１０５により復号化を行って再生してテレビ１０６等により表示する。この場合、動画像ファイル１０４からデコーダシステム１０５へのデータ送出手法は、固定レートまたは可変レートの２通りが存在する。従来、ＭＰＥＧ２のシステムで、トリックプレイ（早送り、逆早送り等）を実現する場合、次の２つの方法が用いられている。
【０００３】
第１の方法は、予めトリックプレイ用の動画像データをテープ等に用意しておき、それらの動画像データをエンコーダによりエンコードし、ＭＰＥＧ２のトリックプレイ動画像ファイルを作成するという方法がある。しかしながら、この方法では、事前にトリックプレイ用の動画像データを作成し、これを更にＭＰＥＧ２の画像データにエンコードするという労力と時間のかかる作業を要する問題点があった。
【０００４】
第２の方法は、ＭＰＥＧ２のエンコーダを使用してエンコードされた通常再生の動画像ファイルを用いて、デコード時にトリックプレイ再生を行う方法である。例えば図８に示すように、通常プレイの動画像ファイル１１１をデコードする際に、ＭＰＥＧ２のデコーダシステム１１２へ送出したフレーム情報のうちフレーム内符号化画像(I-picture) のみ、あるいは、フレーム内符号化画像とフレーム間順方向予測画像（P-picture ）のみを対象にデコードを行い、早送りを実現する方法である。
【０００５】
【発明が解決しようとする課題】
しかしながら、この方法では、特に固定レートでの送出の場合、正常な早送り動作を実現するためには、デコード時における画像データの探索及びバッファ管理等の複雑な処理が必要となる。また、現在のＭＰＥＧ２準拠のデコーダにはそのような特別な機能をもたないものもあり、すべての場合において、使用できる方法ではない。
【０００６】
この発明は、上記実情に鑑みなされたものであり、通常に再生可能な動画像データを用いて、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行うシステムに適用して、適切にトリックプレイを実現可能な動画像データを得ることのできる画像処理装置および方法を提供することである。
【０００７】
【課題を解決するための手段】
この発明の請求項１に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【０００８】
また、この発明の請求項１２に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする画像処理装置。これによって、動画像データの先頭側から順にフレーム内符号化画像データのみが抽出され、この抽出されたフレーム内符号化画像データの情報が削減され、削減したフレーム内符号化画像データに対し指定された再生時のビットレートとなるようにパディング符号を挿入し、指定された再生時のビットレートの設定がなされ、早送り再生を可能とする。
【０００９】
この発明の請求項２に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１０】
この発明の請求項１３に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送りが可能となる。
【００１１】
この発明の請求項３に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００１２】
この発明の請求項１４に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする。これによって、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００１３】
この発明の請求項４に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記フレーム順方向予測画像データが挿入された動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１４】
この発明の請求項１５に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記フレーム間順方向予測画像データを挿入した動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより、動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送り等のトリックプレイがなされると共に、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００１５】
この発明の請求項５に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００１６】
また、この発明の請求項１６に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする画像処理装置。これによって、動画像データの末尾側から順にフレーム内符号化画像データのみが抽出され、この抽出されたフレーム内符号化画像データの情報が削減され、削減したフレーム内符号化画像データに対し指定された再生時のビットレートとなるようにパディング符号を挿入し、指定された再生時のビットレートの設定がなされ、早送り再生を可能とする。
【００１７】
この発明の請求項６に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１８】
この発明の請求項１７に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送りが可能となる。
【００１９】
この発明の請求項７に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００２０】
この発明の請求項１８に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする。これによって、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００２１】
この発明の請求項８に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記フレーム順方向予測画像データが挿入された動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００２２】
この発明の請求項１９に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記フレーム間順方向予測画像データを挿入した動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより、動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送り等のトリックプレイがなされると共に、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００２３】
【発明の実施の形態】
以下、図面を参照してこの発明の一実施形態について説明する。
ＭＰＥＧ２による画像圧縮では、画像データに対しＤＣＴ（Discrete Cosine Transform 、離散コサイン変換）を施し、量子化を行う。すなわち、図１に示すように、入力画像（原画像）１２１は、まず８×８画素のブロックに分割される。このブロック単位にＤＣＴ回路１２３によりＤＣＴ演算を行い、得られたＤＣＴ係数をＤＣ成分（直流成分）およびＡＣ成分（交流成分）で独立して量子化回路１２５により量子化する。量子化に用いる量子化テーブル１２９は輝度信号用量子化テーブルと色差信号用量子化テーブルとで構成される。量子化したＤＣＴ係数のうち、ＤＣ係数は、直前のブロックのＤＣ係数を予測値とした差分値をエントロピー符号化回路１２７により符号化する。残りのＡＣ成分は、ブロック内でジグザグスキャンによって並び替えた後、回路１２７により符号化する。上記ＤＣＴにより変換前にランダムに分布していた画素値（例えば輝度）が、ＤＣＴ変換後は低周波項に大きな値が集中する。したがって、高周波項を落とす（取り除く）操作をすれば画像データを圧縮することができる。
【００２４】
図２はこの発明における第１の実施の形態に係わる画像処理装置を示すシステムブロック図である。この実施の形態においては、ＭＰＥＧ２準拠のエンコーダによりエンコードされた通常再生用ファイル２０１の動画像データを抽出手段２０２、フレーム内情報削除手段２０３、パディング手段２０４、および再生レート設定手段２０６を用いて処理する。
上記において抽出手段２０２は、動画像データの先頭側または末尾側から順にＩピクチャ（フレーム内符号化画像データ）のみを抽出する。フレーム内情報削除手段２０３は、抽出手段により抽出された各Ｉピクチャの情報を削減し、各Ｉピクチャのサイズを小さくする。パディング手段２０４は、フレーム内情報削除手段２０３から出力されたＩピクチャに対し、指定されたビットレートに合わせて任意のパディング符号（「０」）を埋め込む。再生レート設定手段は、パディング手段２０４により出力された動画像データの再生時における復号化の際にバッファのオーバフローまたはアンダーフローが生じないように、再生レートを求め、この再生レートを当該画像データのヘッダに対し設定する。
【００２５】
以上の通りに構成された画像処理装置の動作を説明する。抽出手段２０２は、早送り用動画像ファイルの作成ならばファイル２０１の先頭から抽出を開始し、逆早送り用動画像ファイルの作成ならばファイル２０１の最後から抽出を始める。フレーム内情報削減手段２０３は抽出手段２０２により抽出された各Ｉピクチャの情報を削減し、各Ｉピクチャのサイズを小さくする。フレーム内情報の削減方法については、ＭＰＥＧ２では、前述したＤＣＴ演算を行った際に得られるＤＣＴ係数を削ることにより得られる。ＤＣＴ係数はマクロブロック毎に求められる。このＤＣＴ係数はＤＣ成分とＡＣ成分とに分けられ、それぞれ独立して量子化される。ここではＡＣ成分のうち低周波に相当する係数の一部を残し、高周波に相当する係数は削減する。係数削減の仕方については、例えば全マクロブロックから均等に削減するとかあるいはマクロブロック毎に削減する数を変えるようにすればよい。あるいは、ＤＣＴ係数の少ないブロックに対しては削減せず、ＤＣＴ係数が多いブロックから削減するように構成してもよい。次にパディング手段２０４によりパディングを行う。レート設定手段２０６は指定のビットレートを動画像ファイルのヘッダに設定する。以上のような一連の処理によりトリックプレイ用動画像ファイルを作成する。
【００２６】
ここで、抽出したＩピクチャに対しパディング符号を入れる理由を説明する。通常再生用ファイル２０１の動画像データは、エンコード時にＧＯＰ（ＩピクチャとＩピクチャとの間）単位でピクチャのトータルサイズがほぼ同一となっている。これは、デコード処理するために、画像出力側で保持するバッファにおいてオーバーフローまたはアンダーフローが生じないようにするためである。デコード処理と出力側バッファ内のデータ量の関係は、縦軸をバッファ内のデータ量として、横軸を時刻とした図３に示される。すなわち、図３に示されるように、各ピクチャは一定の時間ｔの間隔でデコード処理されるので、ＧＯＰ単位でピクチャのトータルサイズがほぼ等しければバッファ内のデータ量も安定し易いことが判る。以下詳述する。
【００２７】
一定のレートでコード化されたビットストリームはビデオバッファリングベリファイヤ（ＶＢＶ）を介して介挿された制約に適合しなければならない。ＶＢＶはエンコードの出力に概念的に接続される仮想的デコーダである。コード化されたデータはバッファから取り出される。エンコーダは、ＶＢＶの入力バッファがオーバフローあるいはアンダフローを起さないようにビットストリームを生成する必要がある。
ＶＢＶとビデオエンコーダは同じクロック周波数ならびに同じピクチャレートを有し、同期して動作する。ＶＢＶはサイズＢの入力バッファを有し、サイズＢはシーケンスヘッダのvbv_buffer_size フィールドで与えられる。
【００２８】
ＶＢＶ入力バッファは初め空である。入力バッファに最初のピクチャコードに先行するすべてのデータおよびピクチャスターとコード自身を格納した後、入力バッファにはビデオビットストリームのvbv_delay フィールドにより規定された時間だけビットストリームが格納される。そのバッファにもっとも長く保持されていた画像のすべての画像データが瞬時に取り除かれる。次に、各ピクチャインターバルの後、その時点でもっとも長く保持されていた画像の画像データが瞬時に取り除かれる。このため、付属ピクチャデータはピクチャスタートコードの直前のシーケンスヘッダおよびＧＯＰ層データ並びにピクチャデータエレメントおよびトレイリングスタッフィングビットまたはバイトを有する。ビデオシーケンス内の最初のコード化されたピクチャの場合、シーケンスヘッダの直前にゼロのスタッフィングビットまたはスタッフィングバイトもピクチャデータに含まれる。
ＶＢＶバッファはピクチャデータを取り出す直前および取り出した直後にチェックされる。ＶＢＶをチェックするたびに、そのバッファの容量はゼロビットとＢビットの間になければならない。この場合Ｂはシーケンスヘッダ内のvbv_buffer_size により示されるＶＢＶバッファのサイズである。これがビデオストリーム全体の要件である。これらの要件に適合させるために、(n+1) 番目のコード化された画像ｄ_n+1 は次式を満足しなければならない。
ｄ_n+1 > B_n + (2R/P) - B
ｄ_n+1 ≦ B_n + (R/P)
但し、ｎ≧０
B はvbv_buffer_size により与えられるＶＢＶ受信バッファサイズ
B _n は時間t _n 後のバッファ容量（単位ビット）
R はビットレート（単位ビット／秒）
P は１秒あたりの通常のピクチャ数
t _n はｎ番目にコード化されたピクチャがＶＢＶバッファから取り出されたときの時間である。
【００２９】
ところが、この発明では、Ｉピクチャのみを抽出している。すると、もともとＩピクチャのサイズは固定ではないので、そのままでは、デコード処理量にばらつきが生じ、バッファのオーバーフロー及びアンダーフローが起こりやすい状態となる。この状態が図４に示されており、Ｉピクチャのサイズが一定ではないので、デコード処理量が安定せず、遂にはアンダーフローを生じることがある。そこで、この発明では、この状態を防ぐために抽出したＩピクチャにパディングを施すのである。
【００３０】
次に、パディングの詳細を説明する。
述したように、パディング処理は指定のビットレートで再生した場合に正常なデコード動作が行われるようにするために、すべてのＩピクチャにパディングを行う。すなわち、パケットデータ長を一定にするためにダミーデータ（例えば「０」）をＩピクチャに埋め込む。図５はＭＰＥＧ２画像データの階層構成を示す。図５に示すようにＭＰＥＧ２画像データはシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、およびブロック層から構成される。ＭＰＥＧ２のＥＳ(Elementary Stream) の仕様では、スライス層の始まりを示す開始コードの前に任意の数の０の挿入が許されている。したがって、Ｉピクチャのこの部分に指定されたビットレートに合わせて任意のパディングデータを埋め込む。指定のビットレートで再生した際に正常なデコード動作を行えるようにするために、パディングによりＩピクチャのサイズを調節する。このときのサイズの計算は以下の式に従う。
【００３１】
Ｉピクチャのサイズ（ビット）＝Rate ×IV_TIME - Hdr_sz …（１）
Rate : 指定ビットレート（bbs ）
Hdr_sz:ヘッダのサイズ（ビット）
IV_TIME: ピクチャの表示間隔（秒）
（１）式からわかるように、指定されたビットレートにピクチャ表示間隔を乗算し、その値からヘッダのサイズを減算した値がＩピクチャのサイズとして求まる。この求めたＩピクチャのサイズに基づいて上述したパディング手段により０パディングを施す。
【００３２】
通常再生用ファイルにおいては、エンコード時にＧＯＰ（ＩピクチャとＩピクチャの間）単位でピクチャのトータルサイズがほぼ同じとなっている。これは、デコード処理するために画像出力側で保持するバッファがオーバフローまたはアンダーフローを起さないようにするためである。
以上のようにして、パディング処理が施された動画像データが中間ファイル２０５に作成される。
【００３３】
上記中間ファイル２０５の動画像データは、早送りまたは逆早送りに係わるトリックプレイ用の動画像データのフレーム構造を有する。この動画像データは抽出したＩピクチャにパディング処理を施し、サイズを一定に揃えることによりデコード処理量が一定化することを狙ったものであるが、これだけでは不十分である。すなわち、通常再生用ファイル２０１の動画像データからＩピクチャのみを抽出したことにより、ピクチャ数は減少し、ＧＯＰも変化している。そこで、バッファ内のデータ量を安定させるためには、再生時のビットレートを再計算し、これを動画像データのヘッダに対し設定する再生レート設定手段２０６が設けられる。
【００３４】
この場合のビットレートは次式により計算される。
再生レート(bps)=(I_sz+Hdr_sz)/IV_TIME …（２）
上記（２）式において、
I_sz ; Ｉピクチャのサイズ( ビット)
Hdr_sz ; シーケンスヘッダのサイズ（ビット）
IV_TIME; ピクチャ表示間隔（秒）
従って、図６に示されるようにパディング処理が施された状態のＩピクチャのサイズ（各Ｉピクチャと同一）とシーケンスヘッダＳＨのサイズとの和を、再生時のピクチャ表示間隔（固定）で除算した値が、シーケンスヘッダＳＨに設定されるわけである。
【００３５】
上記のようにしてトリックプレイ用動画像ファイル２０７に早送り用または逆早送り用の動画像データが作成蓄積される。このトリックプレイ用動画像ファイル２０７における早送りまたは逆早送り用の動画像データを、例えば図１１に示したデコーダシステム１０５によりデコードし再生することによりテレビジョン受像機１０６に早送り再生された動画像が表示される。このとき、上記式（２）により求められた再生レートによる再生が行われる結果、同一のデータ量の各フレーム（ヘッダ及びＩピクチャ）が同一の再生レートにより再生され、図７に示すごとくバッファ内のデータ量を安定化することができる。
【００３６】
図８はこの発明における第２の実施の形態に係わる画像処理装置を示すシステムブロック図である。図８に示す実施形態はトリックプレイの倍速率を変える場合のトリックプレイ用動画像ファイル３０８を作成するもので、図２に示した第１の実施の形態に係わる画像処理装置に対して、予測画像作成手段３０５およびフレーム内順方向予測符号化画像挿入手段３０３が設けられている点に対して相違している。上記予測画像作成手段３０５は、抽出手段３０２により出力された動画像データにおけるＩピクチャ（フレーム内符号化画像データ）間に挿入するためのＰピクチャ（フレーム間順方向予測画像データ）を作成する。また、フレーム間順方向予測符号化画像挿入手段３０３は、上記予測画像作成手段３０５により作成されたＰピクチャをＩピクチャ間に挿入する。
【００３７】
このように構成された画像処理装置の動作を説明する。
まず第１の実施の形態と同様に抽出手段３０２により通常再生用動画像ファイル３０１からＩピクチャを取り出す。このとき、早送りの場合には、動画像データの先頭側から、また逆早送りの場合には動画像データの末尾側からＩピクチャを取り出すことは、第１の実施の形態と同様である。抽出手段３０２により抽出されたＩピクチャに基づき、予測画像作成手段３０５は、Ｉピクチャ間に挿入するためのＰピクチャを作成する。ここにＰピクチャは動き予測に関するデータを何ら有さないものなので、Ｐピクチャの再生画像としては直前のＩピクチャと同じものが表示される。
【００３８】
フレーム間順方向予測符号化画像挿入手段３０３は、Ｉピクチャと次のＩピクチャとの間に、予測画像作成手段３０５により作成されたＰピクチャを挿入する。ここに、挿入するＰピクチャの数は、倍速率（倍率）により変えられ、例えば入力手段３０３Ａにより所望の倍速率が設定される。挿入するＰピクチャの数を変えることで、Ｉピクチャの処理される時間間隔が変わり、倍速率を変えることができる。
【００３９】
ここで、トリックプレイの倍率と挿入するＰピクチャの数の関係について以下に述べる。上述したように、ＭＰＥＧ２では、Ｉピクチャと次のＩピクチャとの間のピクチャ数、つまりＧＯＰ（Group of Picture）のサイズが固定であれば、そのサイズの比率がそのままトリックプレイの倍率となる。例えば、ストリームＧＯＰの大きさをｍとする。ここでｎ倍速の早送りファイルを作成するために挿入するＰピクチャ数は、次の式（３）で求められる。
【００４０】
挿入Ｐピクチャ数＝ｍ／ｎ … （３）
但し、この式（３）の値は整数である。
上記のようにしてＰピクチャを挿入した後、次にフレーム内情報削減手段３０４によりＩピクチャのＤＣＴ係数を削減する。そして指定したビットレートで再生した際に正常にデコード動作するように、パディング手段３０６によりＩピクチャのサイズを調節する。このときにＩピクチャのサイズは、以下の式（４）により求める。
【００４１】
Ｉピクチャのサイズ（ビット）

Rate: 指定ビットレート(bps)
P_sz：p ピクチャのサイズ（ビット）
Hdr_sz：headerのサイズ（ビット）
P_num ：挿入するp ピクチャ数
IV_TIME ：ピクチャ表示間隔（秒）
以上のようにして、中間ファイル３０７には、通常再生用ファイル３０１の動画像データからＩピクチャのみを抽出し、Ｉピクチャと次のＩピクチャとの間に、予測画像作成手段３０５により作成されたＰピクチャを挿入した動画像データが中間ファイル３０７に記憶される。つぎに、再生レート設定手段３０８は、中間ファイル３０７の動画像データに対し、バッファ内のデータ量を安定させるために、再生レートを以下の式（５）により計算し、これをシーケンスヘッダＳＨに設定する。

I_sz ; Ｉピクチャのサイズ（ビット）
P_sz ; Ｐピクチャのサイズ（ビット）
P_num ; 挿入するＰピクチャ数
Hdr_sz ; ヘッダのサイズ（ビット）
IV_TIME; ピクチャ表示間隔（秒）
上記のようにして、トリックプレイ用動画像ファイル３０９に早送りまたは逆早送り用の動画像データが作成蓄積される。このトリックプレイ用動画像ファイル３０９における早送りまたは逆早送り用の動画像データを、例えば図１１に示すデコーダシステム１０５によりデコードし再生することによりテレビジョン受像機１０６には早送りまたは逆早送り再生された動画像が表示されることになる。このとき、上記式（５）により求められた再生レートによりＩピクチャとＰピクチャが再生される。この結果、図９に示すようにバッファ内のデータ量がある範囲で一定量だけの変動を繰り返すようになる。なお、図９はＰピクチャを２個挿入した場合である。
【００４２】
以上述べたようにしてＤＣＴ係数の高周波成分の数を調節することにより、特定のビットレートで再生可能、そして消費ディスク容量が少ない可変倍率のトリックプレイ動画像ファイルを作成することができる。
【００４３】
図１０はこの発明における第３の実施の形態に係わる画像処理装置を示すシステムブロック図である。この実施の形態は、再生時にランダムアクセスが可能となる動画像データをトリックプレイ用動画像ファイル４１０に得ることができる。この構成に係わる画像処理装置の動作を説明する。通常再生用動画像ファイル４０１の動画像データから抽出手段４０２によりＩピクチャを抽出し、このＩピクチャに基づき予測画像作成手段４０５において、Ｉピクチャ間に挿入するためのＰピクチャを作成し、フレーム内順方向予測画像挿入手段４０３が、上記予測画像作成手段４０５により作成されたＰピクチャをＩピクチャと次のＩピクチャとの間に挿入する。次に、フレーム内情報削減手段４０４によりＩピクチャのＤＣＴ係数を削減し、パディング手段４０６によりパディングを施し、中間ファイル４０７を得る。次に、バッファ制御情報格納手段４０８により、ランダムアクセス時にバッファ内のデータ量を調節するために必要とされる情報(vbv delay) をピクチャ毎に求めこれを各ピクチャのヘッダへ設定する。ＭＰＥＧの規格によれば、このvbv delay は以下のごとくに規定されている。
【００４４】
vbv_delay--１６ビットの符号なし整数。ビットレートが固定の動作の場合、vbv_delay を用いてピクチャのデコードの開始時にデコーダのバッファがoverflowあるいはunderflow を起こさないようにデコーダバッファの初期占有率を設定する。vbv_delay は初期の空の状態から目標とするビットレートＲで現在のピクチャがバッファから除去される直前の正しいレベルまでＶＢＶバッファを満たすのに必要な時間を計測する。
vbv_delay の値はＶＢＶがピクチャ開始コードの最終バイトを受け取った後待たなければならない９０ＫＨｚシステムクロックの期間の数である。
vbv_delay _n = 90 000*B _n ^* /R
但しn>0
B_n ^* はピクチャｎをバッファから除去する直前であってＧＯＰ層データと、シーケンスヘッダデータと、ピクチャｎのデータエレメントの直前のpicture_start_codeを除去した後のビットで測定されたＶＢＶ占有率。
R は１秒間あたりのビット数で表わされるビットレート。シーケンスヘッダ内のb it_rate フィールドより符号化された丸め値よりもむしろ完全に正確なビットレートがＶＢＶモデルのエンコーダにより使用される。固定でないビットレート動作の場合、vbv_delay は１６進でＦＦＦＦの値を有する。
【００４５】
例えばある動画像において途中から再生しようとした場合を考える。最初は、出力側のバッファには何のデータも入っていない状態であるので、そのままでは再生できない。したがって、適度な量のデータがバッファ内に溜まるまでデコーダはデコード処理を待たなければならない。その待ち時間に直接関係する値がvbv delay である。vbv delay の値の計算は、ピクチャの流れおよび再生レートに依存しているので、Ｉピクチャのみを抽出したトリックプレイ動画像ファイルの場合、以前の値のままでは、ランダムアクセス時に正常に動作しない（バッファのアンダーフローあるいはオーバーフローが起きる）。したがって、ピクチャ毎にvbv delay を再計算し、新たに設定を行う。これにより、トリックプレイ動画像ファイルをランダムアクセスする際にバッファ内のデータ量を正しく調節でき、正常動作が可能となる。
【００４６】
そして、再生レート設定手段４０９により第２の実施の形態と同様に再生レートを計算する。
これにより、トリックプレイ用動画像ファイル４１０には、先頭側または末尾側から抽出されたＩピクチャと作成されたＰピクチャと、再生レート設定手段４０９により設定された再生レートを有するシーケンスヘッダＳＨとからなり、ピクチャのピクチャ層のヘッダにバッファ制御情報設定手段４０８により設定されたvbv delay を有する動画像データが蓄積されていることになり、この動画像データをランダムアクセスする際には、上記vbv delay に基づきバッファ内の初期データ量を正しく調節でき、早送り又は逆早送りの正常動作が可能となる。
【００４７】
【発明の効果】
以上述べたように、この発明によれば、フレーム間予測を用いている動画像圧縮方式により符号化された動画像ファイルを固定のレートで送出し、再生を行う計算システムにおいて、通常再生の動画像ファイルを用いて、さらにサイズの小さなトリックプレイ用動画像ファイルを作成すること、および、トリックプレイ再生時のビットレートを調整可能となるようなトリックプレイ用動画像ファイルを効率的に作成することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２による画像圧縮の原理を示すブロック図。
【図２】この発明における第１の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図３】デコード処理と出力側バッファ内のデータ量との関係示すグラフ。
【図４】バッファのアンダーフローが生じたこを示す状態図。
【図５】ＭＰＥＧ２画像データの階層構成を示す図。
【図６】本発明の第１の実施の形態に係わる画像処理装置によりパディングされた動画像データの構成を示す図。
【図７】本発明の第１の実施の形態に係わる画像処理装置により作成された動画像データを再生する場合のバッファ内データ量の変位を示す図。
【図８】本発明の第２の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図９】本発明の第２の実施の形態に係わる画像処理装置により作成された動画像データを再生する場合のバッファ内のデータ量の変位を示す図。
【図１０】本発明の第３の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図１１】ＭＰＥＧ２による動画再生の流れを示す図。
【図１２】従来のトリックプレイの実現方法を示す図。
【符号の説明】
２０１、３０１、４０１…通常再生用動画像ファイル
２０２、３０２、４０２…抽出手段
２０３、３０４、４０４…フレーム内情報削除手段
２０４、３０６、４０６…パディング手段
２０５、３０７、４０７…中間ファイル
２０６、３０８、４０９…再生レート設定手段
２０７、３０９、４１０…トリックプレイ用動画像ファイル
３０３、４０３…フレーム間順方向予測符号化画像挿入手段
３０３Ａ…入力手段
３０５、４０５…予測画像作成手段
４０８…バッファ制御情報格納手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method for transmitting and reproducing moving image data encoded by compressing a moving image using inter-frame prediction at a fixed rate, and in particular, a so-called trick such as fast forward and reverse fast forward. The present invention relates to an image processing apparatus and method for realizing play.
[0002]
[Prior art]
The MPEG2 (Moving Picture Experts Group) international standard is one of the mainstream technologies for encoding using a moving picture compression method that currently uses inter-frame prediction. Normally, in the moving image processing system based on MPEG2, as shown in FIG. 7, moving image data recorded on the video tape 101 or the like or real-time moving image data obtained using the video camera 102 or the like is dedicated. Are encoded (encoded) by the encoder system 103 and stored as a moving image file 104 in an external storage device. Then, the stored moving image file 104 is decoded by a dedicated decoder system 105 and reproduced and displayed on the television 106 or the like. In this case, there are two methods for sending data from the moving image file 104 to the decoder system 105, which are a fixed rate and a variable rate. Conventionally, in the case of realizing trick play (fast forward, reverse fast forward, etc.) in the MPEG2 system, the following two methods are used.
[0003]
As a first method, there is a method in which moving picture data for trick play is prepared in advance on a tape or the like, and the moving picture data is encoded by an encoder to create an MPEG2 trick play moving picture file. However, this method has a problem in that it requires labor and time-consuming work of generating moving picture data for trick play in advance and further encoding it into MPEG2 picture data.
[0004]
The second method is a method of performing trick play reproduction at the time of decoding using a moving image file of normal reproduction encoded using an MPEG2 encoder. For example, as shown in FIG. 8, when decoding a normal play video file 111, only the intra-frame encoded image (I-picture) of the frame information sent to the MPEG2 decoder system 112, or the intra-frame code This is a method of realizing fast-forwarding by decoding only the normalized picture and the inter-frame forward prediction picture (P-picture).
[0005]
[Problems to be solved by the invention]
However, this method requires complicated processing such as search of image data and buffer management at the time of decoding in order to realize a normal fast-forward operation, particularly in the case of transmission at a fixed rate. In addition, some of the current MPEG2-compliant decoders do not have such a special function, and are not usable in all cases.
[0006]
The present invention has been made in view of the above-described circumstances, and uses moving image data that can be normally reproduced, and performs moving image compression using inter-frame prediction at a fixed rate. It is an object of the present invention to provide an image processing apparatus and method capable of obtaining moving image data capable of appropriately realizing trick play by being applied to a transmission and reproduction system.
[0007]
[Means for Solving the Problems]
An image processing method according to claim 1 of the present invention is an image processing method for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, A step of extracting only intra-frame encoded image data in order from the head side of the moving image data; a step of reducing information from the extracted intra-frame encoded image data; and intra-frame encoded image data with reduced information A step of inserting a padding code into each intra-frame encoded image data so as to satisfy the designated reproduction bit rate, and a step of setting the designated reproduction bit rate in the header of the moving image data It is characterized by comprising.
[0008]
An image processing apparatus according to claim 12 of the present invention is an image processing apparatus for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate. Extraction means for extracting only the intra-frame encoded image data sequentially from the head side of the moving image data, a reduction means for reducing information from the extracted intra-frame encoded image data, and an intra-frame in which the information is reduced Padding means for inserting a padding code into each intra-frame encoded image data so that the encoded image data satisfies the specified reproduction bit rate, and the specified reproduction bit rate as the header of the moving image data An image processing apparatus, comprising: a reproduction rate setting means for setting the reproduction rate. As a result, only the intra-frame encoded image data is extracted in order from the head side of the moving image data, the information of the extracted intra-frame encoded image data is reduced, and specified for the reduced intra-frame encoded image data. The padding code is inserted so that the playback bit rate is set, and the specified playback bit rate is set, so that fast-forward playback is possible.
[0009]
An image processing method according to claim 2 of the present invention is an image processing method for transmitting moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, and performing reproduction. A step of extracting only intra-frame encoded image data in order from the head side of the moving image data; a step of reducing information from the extracted intra-frame encoded image data; and intra-frame encoded image data with reduced information A step of inserting a padding code into each intra-frame encoded image data so as to satisfy the designated reproduction bit rate, and a step of setting the designated reproduction bit rate in the header of the moving image data When the moving image data including the padding code is reproduced, the reproduction start and random access are appropriately performed. And creating a buffer control information for sea urchin, the created buffer control information, characterized by comprising a step of setting each frame header of the moving image data.
[0010]
An image processing apparatus according to a thirteenth aspect of the present invention is an image processing apparatus for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, Extraction means for extracting only intra-frame encoded image data in order from the head side of the moving image data, reduction means for reducing information from the extracted intra-frame encoded image data, and intra-frame encoding with reduced information Padding means for inserting a padding code in each intra-frame encoded image data so that the image data satisfies the designated reproduction bit rate, and the designated reproduction bit rate for the header of the moving image data Playback rate setting means to set, and playback of the moving image data including the padding code, playback start and random access Creates a buffer control information to as properly performed, characterized by comprising a buffer information setting means for setting each frame header of the moving image data. As a result, when reproducing moving image data, buffer control information is created so that reproduction start and random access are appropriately performed, set in each frame header of the moving image data, and fast-forwarded by random access. Is possible.
[0011]
According to a third aspect of the present invention, there is provided an image processing method for transmitting moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, and reproducing the encoded moving image data. A step of extracting only the intra-frame encoded image data in order from the head side, a step of reducing information from the extracted intra-frame encoded image data, and a reproduction in which the intra-frame encoded image data with the reduced information is designated Inserting a padding code into each intraframe encoded image data so as to satisfy the bit rate of the time, and an interframe order for inserting between the intraframe encoded image data in the moving image data into which the padding code is inserted Creating direction prediction image data; and generating the inter-frame forward direction prediction image data in the frame. And inserting between Goka image data, characterized by comprising the steps of: setting a bit rate for the specified play to the header of the moving image data.
[0012]
An image processing apparatus for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction according to claim 14 of the present invention, wherein the moving image data is reproduced. Extraction means for extracting only intra-frame encoded image data in order from the head side, reduction means for reducing information from the extracted intra-frame encoded image data, and intra-frame encoded image data with reduced information are designated. Padding means for inserting a padding code into each intra-frame encoded image data so as to satisfy the bit rate at the time of reproduction, and for inserting between the intra-frame encoded image data in the moving image data in which the padding code is inserted Predicted image generating means for generating inter-frame forward predicted image data, and the generated inter-frame forward predicted image data And inserting means for inserting between the intra-frame coded image data, characterized in that the bit rate during the specified play; and a playback rate setting means for setting to the header of the moving image data. Thus, inter-frame forward prediction image data to be inserted between the intra-frame encoded image data in the moving image data is created, and the generated inter-frame forward prediction image data is generated between the intra-frame encoded image data. The trick play speed such as fast-forwarding is controlled by being inserted.
[0013]
According to a fourth aspect of the present invention, there is provided an image processing method for transmitting and reproducing moving image data encoded at a fixed rate by performing moving image compression using inter-frame prediction. A step of extracting only the intra-frame encoded image data in order from the head side, a step of reducing information from the extracted intra-frame encoded image data, and a reproduction in which the intra-frame encoded image data with the reduced information is designated Inserting a padding code into each intraframe encoded image data so as to satisfy the bit rate of the time, and an interframe order for inserting between the intraframe encoded image data in the moving image data into which the padding code is inserted Creating direction prediction image data; and generating the inter-frame forward direction prediction image data in the frame. Inserting between the encoded image data, setting the designated bit rate for reproduction to the header of the moving image data, and reproducing the moving image data in which the frame forward prediction image data is inserted Creating buffer control information for properly starting playback and random access, and setting the created buffer control information in each frame header of the moving image data; It is characterized by comprising.
[0014]
According to a fifteenth aspect of the present invention, in an image processing apparatus for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, the head side of the moving image data Extraction means for extracting only the intra-frame encoded image data in order, reduction means for reducing information from the extracted intra-frame encoded image data, and reproduction in which the intra-frame encoded image data with the information reduced is designated Inter-frame padding means for inserting a padding code into each intra-frame encoded image data so as to satisfy the bit rate of the time, and inter-frame encoded data between the intra-frame encoded image data in the moving image data in which the padding code is inserted Predicted image generating means for generating forward predicted image data, and the generated inter-frame forward predicted image data Insertion means for inserting between the intra-frame encoded image data, reproduction rate setting means for setting the designated reproduction bit rate for the header of the moving image data, and the inter-frame forward prediction image data. Buffer information setting means for creating buffer control information for appropriately starting reproduction and random access when reproducing the inserted moving image data, and setting it in each frame header of the moving image data; It is characterized by comprising. As a result, when reproducing moving image data, buffer control information for appropriately starting reproduction and random access is created, set in each frame header of the moving image data, and randomly accessed. In addition to trick play such as fast-forwarding, inter-frame forward prediction image data to be inserted between intra-frame encoded image data in moving image data is created, and the created inter-frame forward prediction image data is the frame Inserted between the inner encoded image data, the trick play speed such as fast-forwarding is controlled.
[0015]
An image processing method according to claim 5 of the present invention is an image processing method for transmitting moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, and performing reproduction. A step of extracting only intra-frame encoded image data in order from the end of the moving image data; a step of reducing information from the extracted intra-frame encoded image data; and intra-frame encoded image data with reduced information A step of inserting a padding code into each intra-frame encoded image data so as to satisfy the designated reproduction bit rate, and a step of setting the designated reproduction bit rate in the header of the moving image data It is characterized by comprising.
[0016]
According to a sixteenth aspect of the present invention, there is provided an image processing apparatus for transmitting moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate for reproduction. Extraction means for extracting only the intra-frame encoded image data in order from the end of the moving image data, a reduction means for reducing information from the extracted intra-frame encoded image data, and an intra-frame in which the information is reduced Padding means for inserting a padding code into each intra-frame encoded image data so that the encoded image data satisfies the specified reproduction bit rate, and the specified reproduction bit rate as the header of the moving image data An image processing apparatus, comprising: a reproduction rate setting means for setting the reproduction rate. As a result, only the intra-frame encoded image data is extracted in order from the end of the moving image data, the information of the extracted intra-frame encoded image data is reduced, and specified for the reduced intra-frame encoded image data. The padding code is inserted so that the playback bit rate is set, and the specified playback bit rate is set, so that fast-forward playback is possible.
[0017]
An image processing method according to claim 6 of the present invention is an image processing method for transmitting moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, and performing reproduction. A step of extracting only intra-frame encoded image data in order from the end of the moving image data; a step of reducing information from the extracted intra-frame encoded image data; and intra-frame encoded image data with reduced information A step of inserting a padding code into each intra-frame encoded image data so as to satisfy the designated reproduction bit rate, and a step of setting the designated reproduction bit rate in the header of the moving image data When the moving image data including the padding code is reproduced, the reproduction start and random access are appropriately performed. And creating a buffer control information for sea urchin, the created buffer control information, characterized by comprising a step of setting each frame header of the moving image data.
[0018]
An image processing apparatus according to claim 17 of the present invention is an image processing apparatus that transmits moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, and reproduces it. Extraction means for extracting only intra-frame encoded image data in order from the end of the moving image data, reduction means for reducing information from the extracted intra-frame encoded image data, and intra-frame encoding with reduced information Padding means for inserting a padding code in each intra-frame encoded image data so that the image data satisfies the designated reproduction bit rate, and the designated reproduction bit rate for the header of the moving image data Playback rate setting means to set, and playback of the moving image data including the padding code, playback start and random access Creates a buffer control information to as properly performed, characterized by comprising a buffer information setting means for setting each frame header of the moving image data. As a result, when reproducing moving image data, buffer control information is created so that reproduction start and random access are appropriately performed, set in each frame header of the moving image data, and fast-forwarded by random access. Is possible.
[0019]
According to a seventh aspect of the present invention, there is provided an image processing method for transmitting and reproducing moving image data encoded at a fixed rate by performing moving image compression using inter-frame prediction. A step of extracting only the intra-frame encoded image data in order from the end side, a step of reducing information from the extracted intra-frame encoded image data, and a reproduction in which the intra-frame encoded image data from which the information is reduced is designated Inserting a padding code into each intraframe encoded image data so as to satisfy the bit rate of the time, and an interframe order for inserting between the intraframe encoded image data in the moving image data into which the padding code is inserted Creating direction prediction image data; and generating the inter-frame forward direction prediction image data in the frame. And inserting between Goka image data, characterized by comprising the steps of: setting a bit rate for the specified play to the header of the moving image data.
[0020]
An image processing apparatus for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction according to claim 18 of the present invention, wherein the moving image data is reproduced. Extraction means for extracting only intra-frame encoded image data in order from the end side, reduction means for reducing information from the extracted intra-frame encoded image data, and intra-frame encoded image data with reduced information are designated. Padding means for inserting a padding code into each intra-frame encoded image data so as to satisfy the bit rate at the time of reproduction, and for inserting between the intra-frame encoded image data in the moving image data in which the padding code is inserted Predicted image generating means for generating inter-frame forward predicted image data, and the generated inter-frame forward predicted image data And inserting means for inserting between the intra-frame coded image data, characterized in that the bit rate during the specified play; and a playback rate setting means for setting to the header of the moving image data. Thus, inter-frame forward prediction image data to be inserted between the intra-frame encoded image data in the moving image data is created, and the generated inter-frame forward prediction image data is generated between the intra-frame encoded image data. The trick play speed such as fast-forwarding is controlled by being inserted.
[0021]
According to an eighth aspect of the present invention, there is provided an image processing method for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, A step of extracting only the intra-frame encoded image data in order from the end side, a step of reducing information from the extracted intra-frame encoded image data, and a reproduction in which the intra-frame encoded image data from which the information is reduced is designated Inserting a padding code into each intraframe encoded image data so as to satisfy the bit rate of the time, and an interframe order for inserting between the intraframe encoded image data in the moving image data into which the padding code is inserted Creating direction prediction image data; and generating the inter-frame forward direction prediction image data in the frame. Inserting between the encoded image data, setting the designated bit rate for reproduction to the header of the moving image data, and reproducing the moving image data in which the frame forward prediction image data is inserted Creating buffer control information for properly starting playback and random access, and setting the created buffer control information in each frame header of the moving image data; It is characterized by comprising.
[0022]
According to a nineteenth aspect of the present invention, there is provided an image processing apparatus for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate. Extraction means for extracting only the intra-frame encoded image data in order, reduction means for reducing information from the extracted intra-frame encoded image data, and reproduction in which the intra-frame encoded image data with the information reduced is designated Inter-frame padding means for inserting a padding code into each intra-frame encoded image data so as to satisfy the bit rate of the time, and inter-frame encoded data between the intra-frame encoded image data in the moving image data in which the padding code is inserted Predicted image generating means for generating forward predicted image data, and the generated inter-frame forward predicted image data Insertion means for inserting between the intra-frame encoded image data, reproduction rate setting means for setting the designated reproduction bit rate for the header of the moving image data, and the inter-frame forward prediction image data. Buffer information setting means for creating buffer control information for appropriately starting reproduction and random access when reproducing the inserted moving image data, and setting it in each frame header of the moving image data; It is characterized by comprising. As a result, when reproducing moving image data, buffer control information for appropriately starting reproduction and random access is created, set in each frame header of the moving image data, and randomly accessed. In addition to trick play such as fast-forwarding, inter-frame forward prediction image data to be inserted between intra-frame encoded image data in moving image data is created, and the created inter-frame forward prediction image data is the frame Inserted between the inner encoded image data, the trick play speed such as fast-forwarding is controlled.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
In image compression by MPEG2, DCT (Discrete Cosine Transform) is applied to image data, and quantization is performed. That is, as shown in FIG. 1, the input image (original image) 121 is first divided into blocks of 8 × 8 pixels. The DCT operation is performed by the DCT circuit 123 in units of blocks, and the obtained DCT coefficients are quantized by the quantization circuit 125 independently of the DC component (DC component) and the AC component (AC component). The quantization table 129 used for quantization is composed of a luminance signal quantization table and a color difference signal quantization table. Among the quantized DCT coefficients, the DC coefficient is encoded by the entropy encoding circuit 127 with a difference value using the DC coefficient of the immediately preceding block as a predicted value. The remaining AC components are rearranged by zigzag scanning within the block, and then encoded by the circuit 127. The pixel values (for example, luminance) that are randomly distributed before the conversion by the DCT are concentrated in the low frequency term after the DCT conversion. Therefore, image data can be compressed by performing an operation of dropping (removing) the high-frequency term.
[0024]
FIG. 2 is a system block diagram showing the image processing apparatus according to the first embodiment of the present invention. In this embodiment, the moving image data of the normal reproduction file 201 encoded by an MPEG2-compliant encoder is processed using the extraction means 202, the intra-frame information deletion means 203, the padding means 204, and the reproduction rate setting means 206. To do.
In the above, the extraction unit 202 extracts only I pictures (intra-frame encoded image data) in order from the head side or the tail side of the moving image data. The in-frame information deletion unit 203 reduces the information of each I picture extracted by the extraction unit, and reduces the size of each I picture. The padding unit 204 embeds an arbitrary padding code (“0”) in accordance with the designated bit rate in the I picture output from the intra-frame information deletion unit 203. The reproduction rate setting means obtains a reproduction rate so that a buffer overflow or underflow does not occur when decoding the moving image data output by the padding means 204 and reproduces the reproduction rate of the image data. Set for header.
[0025]
  The operation of the image processing apparatus configured as described above will be described. The extraction unit 202 starts extraction from the top of the file 201 if a fast-forward moving image file is created, and starts extraction from the end of the file 201 if a reverse fast-forward moving image file is created. The in-frame information reduction unit 203 reduces the information of each I picture extracted by the extraction unit 202 and reduces the size of each I picture. The method for reducing the in-frame information can be obtained by removing the DCT coefficient obtained when the above-described DCT calculation is performed in MPEG2. The DCT coefficient is obtained for each macroblock. The DCT coefficient is divided into a DC component and an AC component, and is quantized independently. hereACAmong the components, a part of the coefficient corresponding to the low frequency is left and the coefficient corresponding to the high frequency is reduced. As for the method of reducing the coefficient, for example, it may be reduced uniformly from all the macroblocks, or the number to be reduced may be changed for each macroblock. Alternatively, it may be configured not to reduce a block having a small DCT coefficient but to reduce a block having a large DCT coefficient. Next, padding is performed by the padding means 204. The rate setting means 206 sets a designated bit rate in the header of the moving image file. A trick play moving image file is created by a series of processes as described above.
[0026]
Here, the reason why the padding code is inserted into the extracted I picture will be described. The moving image data of the normal playback file 201 has almost the same total picture size in GOP (between I picture and I picture) units during encoding. This is to prevent overflow or underflow from occurring in the buffer held on the image output side for decoding processing. The relationship between the decoding process and the amount of data in the output buffer is shown in FIG. 3 where the vertical axis represents the data amount in the buffer and the horizontal axis represents time. That is, as shown in FIG. 3, since each picture is decoded at a constant time t, it can be seen that the amount of data in the buffer is likely to be stable if the total size of the picture is approximately equal in GOP units. This will be described in detail below.
[0027]
The bitstream coded at a constant rate must meet the constraints inserted via the video buffering verifier (VBV). VBV is a virtual decoder that is conceptually connected to the output of the encoding. The encoded data is retrieved from the buffer. The encoder needs to generate a bitstream so that the VBV input buffer does not overflow or underflow.
The VBV and video encoder have the same clock frequency as well as the same picture rate and operate synchronously. VBV has an input buffer of size B, and size B is given by the vbv_buffer_size field of the sequence header.
[0028]
The VBV input buffer is initially empty. After all the data preceding the first picture code and the picture star and the code itself are stored in the input buffer, the bit stream is stored in the input buffer for the time specified by the vbv_delay field of the video bit stream. All image data of the image held in the buffer for the longest time is immediately removed. Next, after each picture interval, the image data of the image held for the longest time is instantaneously removed. For this reason, the attached picture data has a sequence header and GOP layer data immediately before the picture start code, a picture data element, and trailing stuffing bits or bytes. For the first coded picture in a video sequence, zero stuffing bits or stuffing bytes are also included in the picture data immediately before the sequence header.
The VBV buffer is checked immediately before and after the picture data is extracted. Each time VBV is checked, the capacity of the buffer must be between zero bits and B bits. In this case, B is the size of the VBV buffer indicated by vbv_buffer_size in the sequence header. This is a requirement for the entire video stream. To meet these requirements, the (n + 1) th coded image d_{n + 1} Must satisfy the following equation.
d_{n + 1}  > B_n  + (2R / P)-B
d_{n + 1}   ≦ B_n  + (R / P)
However, n ≧ 0
B is the VBV receive buffer size given by vbv_buffer_size
B_n   Is time t_n Buffer capacity after (unit bit)
R is the bit rate (in bits / second)
P is the normal number of pictures per second
t_n Is the time when the nth coded picture is retrieved from the VBV buffer.
[0029]
However, in the present invention, only the I picture is extracted. Then, since the size of the I picture is not originally fixed, if it is left as it is, the amount of decoding processing varies, and buffer overflow and underflow are likely to occur. This state is shown in FIG. 4, and since the size of the I picture is not constant, the decoding processing amount is not stable, and an underflow may eventually occur. Therefore, in the present invention, padding is performed on the extracted I picture to prevent this state.
[0030]
Next, details of padding will be described.
As described above, in the padding process, all I pictures are padded so that a normal decoding operation is performed when reproduction is performed at a specified bit rate. That is, dummy data (for example, “0”) is embedded in the I picture to make the packet data length constant. FIG. 5 shows the hierarchical structure of MPEG2 image data. As shown in FIG. 5, MPEG2 image data includes a sequence layer, a GOP layer, a picture layer, a slice layer, a macroblock layer, and a block layer. According to the specification of MPEG2 ES (Elementary Stream), an arbitrary number of zeros can be inserted before a start code indicating the start of a slice layer. Therefore, arbitrary padding data is embedded in accordance with the bit rate specified in this part of the I picture. The size of the I picture is adjusted by padding so that a normal decoding operation can be performed when it is played back at a specified bit rate. The size calculation at this time follows the following formula.
[0031]
I picture size (bits) = Rate x IV_TIME-Hdr_sz (1)
Rate: Specified bit rate (bbs)
Hdr_sz: Header size (bits)
IV_TIME: Picture display interval (seconds)
As can be seen from the equation (1), a value obtained by multiplying the designated bit rate by the picture display interval and subtracting the header size from that value is obtained as the size of the I picture. Based on the obtained size of the I picture, zero padding is performed by the padding means described above.
[0032]
In a normal playback file, the total picture size is approximately the same in GOP (between I picture and I picture) units during encoding. This is to prevent the buffer held on the image output side for decoding processing from overflowing or underflowing.
As described above, moving image data subjected to the padding process is created in the intermediate file 205.
[0033]
The moving image data of the intermediate file 205 has a frame structure of moving image data for trick play related to fast forward or reverse fast forward. This moving image data aims to make the decoding processing amount constant by performing padding processing on the extracted I picture and making the size constant, but this alone is insufficient. That is, by extracting only the I picture from the moving image data of the normal playback file 201, the number of pictures is decreased and the GOP is also changed. Therefore, in order to stabilize the amount of data in the buffer, reproduction rate setting means 206 is provided for recalculating the bit rate at the time of reproduction and setting this for the header of the moving image data.
[0034]
The bit rate in this case is calculated by the following equation.
Playback rate (bps) = (I_sz + Hdr_sz) / IV_TIME (2)
In the above equation (2),
I_sz; Size of I picture (bit)
Hdr_sz; Size of sequence header (bit)
IV_TIME; Picture display interval (seconds)
Accordingly, as shown in FIG. 6, the sum of the size of the I picture (same as each I picture) and the size of the sequence header SH in a state where padding processing is performed is divided by the picture display interval (fixed) at the time of reproduction. This value is set in the sequence header SH.
[0035]
As described above, moving image data for fast-forwarding or reverse fast-forwarding is created and accumulated in the moving image file 207 for trick play. The fast-forward or reverse fast-forward moving image data in the trick-play moving image file 207 is decoded and reproduced by, for example, the decoder system 105 shown in FIG. 11, so that the fast-forwarded moving image is displayed on the television receiver 106. Is done. At this time, as a result of the reproduction at the reproduction rate obtained by the above equation (2), each frame (header and I picture) having the same data amount is reproduced at the same reproduction rate, as shown in FIG. The amount of data can be stabilized.
[0036]
FIG. 8 is a system block diagram showing an image processing apparatus according to the second embodiment of the present invention. The embodiment shown in FIG. 8 creates a trick-play moving image file 308 when changing the trick-play double speed ratio. The image processing apparatus according to the first embodiment shown in FIG. The difference is that an image creation unit 305 and an intra-frame forward prediction encoded image insertion unit 303 are provided. The predicted image creating unit 305 creates a P picture (interframe forward predicted image data) to be inserted between I pictures (intra-frame encoded image data) in the moving image data output by the extracting unit 302. Also, the inter-frame forward predictive encoded image insertion unit 303 inserts the P picture created by the predicted image creation unit 305 between the I pictures.
[0037]
The operation of the image processing apparatus configured as described above will be described.
First, in the same manner as in the first embodiment, the extraction means 302 extracts an I picture from the normal playback moving image file 301. At this time, in the case of fast forward, the I picture is taken out from the head side of the moving image data, and in the case of reverse fast forward, the I picture is taken out from the end side of the moving image data, as in the first embodiment. Based on the I picture extracted by the extracting unit 302, the predicted image creating unit 305 creates a P picture to be inserted between the I pictures. Here, since the P picture has no data related to motion prediction, the reproduced picture of the P picture is the same as the previous I picture.
[0038]
The inter-frame forward prediction encoded image insertion unit 303 inserts the P picture created by the predicted image creation unit 305 between the I picture and the next I picture. Here, the number of P pictures to be inserted is changed depending on the double speed ratio (magnification), and a desired double speed ratio is set by the input means 303A, for example. By changing the number of P pictures to be inserted, the time interval at which the I picture is processed changes, and the double rate can be changed.
[0039]
Here, the relationship between the trick play magnification and the number of P pictures to be inserted will be described below. As described above, in MPEG2, if the number of pictures between an I picture and the next I picture, that is, the size of a GOP (Group of Picture) is fixed, the ratio of the sizes becomes the trick play magnification as it is. For example, assume that the size of the stream GOP is m. Here, the number of P pictures to be inserted in order to create an n-times fast-forward file is obtained by the following equation (3).
[0040]
Number of inserted P pictures = m / n (3)
However, the value of this formula (3) is an integer.
After inserting the P picture as described above, the DCT coefficient of the I picture is then reduced by the in-frame information reduction unit 304. Then, the size of the I picture is adjusted by the padding means 306 so that the decoding operation is normally performed when the reproduction is performed at the designated bit rate. At this time, the size of the I picture is obtained by the following equation (4).
[0041]
I picture size (bits)

Rate: Specified bit rate (bps)
P_sz: p picture size (bits)
Hdr_sz: header size (bits)
P_num: Number of p pictures to be inserted
IV_TIME: Picture display interval (seconds)
As described above, in the intermediate file 307, only the I picture is extracted from the moving image data of the normal playback file 301, and the predicted picture creating unit 305 creates the I picture between the I picture and the next I picture. The moving image data into which the P picture is inserted is stored in the intermediate file 307. Next, the playback rate setting means 308 calculates the playback rate by the following equation (5) for the moving image data of the intermediate file 307 in order to stabilize the amount of data in the buffer, and this is calculated in the sequence header SH. Set.

I_sz; Size of I picture (bit)
P_sz; Size of P picture (bit)
P_num; Number of P pictures to be inserted
Hdr_sz; Header size (bits)
IV_TIME; Picture display interval (seconds)
As described above, moving image data for fast forward or reverse fast forward is created and stored in the trick play moving image file 309. The moving picture data that has been fast-forwarded or reverse-fast-forwarded is reproduced on the television set 106 by decoding and reproducing the fast-forwarding or reverse-fast-forwarding moving picture data in the trick play moving picture file 309, for example, by the decoder system 105 shown in FIG. An image will be displayed. At this time, the I picture and the P picture are reproduced at the reproduction rate obtained by the above equation (5). As a result, as shown in FIG. 9, the data amount in the buffer is repeatedly changed by a certain amount within a certain range. FIG. 9 shows a case where two P pictures are inserted.
[0042]
By adjusting the number of high-frequency components of the DCT coefficient as described above, a variable-play trick-play video file that can be played back at a specific bit rate and consumes a small amount of disk space can be created.
[0043]
FIG. 10 is a system block diagram showing an image processing apparatus according to the third embodiment of the present invention. In this embodiment, moving image data that can be randomly accessed during reproduction can be obtained in the moving image file 410 for trick play. The operation of the image processing apparatus related to this configuration will be described. The I picture is extracted from the moving picture data of the normal reproduction moving picture file 401 by the extracting means 402, and based on this I picture, the predicted picture creating means 405 creates a P picture to be inserted between the I pictures. The forward predicted image insertion unit 403 inserts the P picture created by the predicted image creation unit 405 between the I picture and the next I picture. Next, the DCT coefficient of the I picture is reduced by the intra-frame information reduction unit 404, and padding is performed by the padding unit 406 to obtain an intermediate file 407. Next, the buffer control information storage means 408 obtains information (vbv delay) required for adjusting the amount of data in the buffer at the time of random access for each picture and sets it in the header of each picture. According to the MPEG standard, this vbv delay is specified as follows.
[0044]
vbv_delay--16 bit unsigned integer. When the bit rate is fixed, vbv_delay is used to set the initial occupancy rate of the decoder buffer so that the decoder buffer does not overflow or underflow at the start of picture decoding. vbv_delay measures the time required to fill the VBV buffer from the initial empty state to the correct level just before the current picture is removed from the buffer at the target bit rate R.
The value of vbv_delay is the number of 90 KHz system clock periods that the VBV must wait after receiving the last byte of the picture start code.
vbv_delay_n = 90 000 * B_n ^* / R
Where n> 0
B_n ^* Is the VBV occupancy measured just before removing picture n from the buffer and after removing GOP layer data, sequence header data, and picture_start_code immediately before the data element of picture n.
R is the bit rate expressed in bits per second. A fully accurate bit rate is used by the VBV model encoder rather than the rounded value encoded from the bit_rate field in the sequence header. For non-fixed bit rate operation, vbv_delay has a value of FFFF in hexadecimal.
[0045]
For example, consider a case where a certain moving image is to be reproduced from the middle. At first, since no data is stored in the output buffer, it cannot be reproduced as it is. Therefore, the decoder must wait for the decoding process until an appropriate amount of data accumulates in the buffer. The value directly related to the waiting time is vbv delay. Since the calculation of the value of vbv delay depends on the picture flow and the playback rate, in the case of a trick play moving image file in which only an I picture is extracted, the previous value remains unchanged during random access ( Buffer underflow or overflow). Therefore, vbv delay is recalculated for each picture and a new setting is made. As a result, when the trick play moving image file is randomly accessed, the amount of data in the buffer can be adjusted correctly, and normal operation is possible.
[0046]
Then, the playback rate setting means 409 calculates the playback rate as in the second embodiment.
As a result, the trick-play moving image file 410 includes the I picture extracted from the head side or tail side, the created P picture, and the sequence header SH having the playback rate set by the playback rate setting means 409. Thus, the moving image data having the vbv delay set by the buffer control information setting unit 408 is accumulated in the header of the picture layer of the picture. When the moving image data is randomly accessed, the vbv delay Therefore, the initial data amount in the buffer can be adjusted correctly, and normal operation of fast forward or reverse fast forward becomes possible.
[0047]
【The invention's effect】
As described above, according to the present invention, in a calculation system that sends a moving image file encoded by a moving image compression method using inter-frame prediction at a fixed rate and reproduces it, a moving image that is normally reproduced Create a video file for trick play that is smaller in size using the image file, and efficiently create a video file for trick play that can adjust the bit rate during trick play playback. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the principle of image compression by MPEG2.
FIG. 2 is a system block diagram showing the image processing apparatus according to the first embodiment of the present invention.
FIG. 3 is a graph showing the relationship between decoding processing and the amount of data in the output side buffer.
FIG. 4 is a state diagram showing that a buffer underflow has occurred.
FIG. 5 is a diagram showing a hierarchical structure of MPEG2 image data.
FIG. 6 is a diagram showing a configuration of moving image data padded by the image processing apparatus according to the first embodiment of the present invention.
FIG. 7 is a diagram showing a displacement of the data amount in the buffer when reproducing moving image data created by the image processing apparatus according to the first embodiment of the present invention.
FIG. 8 is a system block diagram showing an image processing apparatus according to a second embodiment of the present invention.
FIG. 9 is a diagram showing a displacement of a data amount in a buffer when reproducing moving image data created by an image processing apparatus according to a second embodiment of the present invention.
FIG. 10 is a system block diagram showing an image processing apparatus according to a third embodiment of the present invention.
FIG. 11 is a diagram showing a flow of moving image reproduction by MPEG2.
FIG. 12 is a diagram showing a conventional trick play realization method.
[Explanation of symbols]
201, 301, 401 ... Normal reproduction moving image file
202, 302, 402 ... extraction means
203, 304, 404 ... Intra-frame information deleting means
204, 306, 406 ... padding means
205, 307, 407 ... intermediate files
206, 308, 409 ... reproduction rate setting means
207, 309, 410 ... Trick play video file
303, 403 ... Interframe forward prediction encoded image insertion means
303A ... Input means
305, 405 ... Predictive image creation means
408: Buffer control information storage means

Claims

In an image processing method for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate,
Extracting only the intra-frame encoded image data in order from the beginning of the moving image data;
Reducing DCT coefficients from AC components obtained by discrete cosine transform operation from the extracted intra-frame encoded image data;
A step of putting a padding code in each intra-frame encoded image data so that the intra-frame encoded image data obtained by this reduction step satisfies the designated bit rate at the time of reproduction;
Setting the specified playback bit rate for the header of the moving image data;
Creating buffer control information for appropriately starting reproduction and random access when reproducing moving image data including the padding code; and
Setting the created buffer control information in each frame header of the moving image data;
An image processing method comprising:

In an image processing method for transmitting and reproducing moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate,
Extracting only the intra-frame encoded image data sequentially from the end of the moving image data;
Reducing DCT coefficients from AC components obtained by discrete cosine transform operation from the extracted intra-frame encoded image data;
A step of putting a padding code in each intra-frame encoded image data so that the intra-frame encoded image data obtained by this reduction step satisfies the designated bit rate at the time of reproduction;
Setting the specified playback bit rate for the header of the moving image data;
Creating buffer control information for appropriately starting reproduction and random access when reproducing moving image data including the padding code; and
Setting the created buffer control information in each frame header of the moving image data;
An image processing method comprising:

In an image processing apparatus that transmits moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, and reproduces it,
Extraction means for extracting only the intra-frame encoded image data in order from the head side of the moving image data;
Reduction means for reducing DCT coefficients from AC components obtained by discrete cosine transform operation from the extracted intra-frame encoded image data;
Padding means for inserting a padding code into each intra-frame encoded image data so that the intra-frame encoded image data obtained by the reducing means satisfies a designated reproduction bit rate;
Playback rate setting means for setting the specified playback bit rate for the header of the moving image data;
A buffer that creates buffer control information for appropriately starting playback and random access when reproducing moving image data including the padding code, and sets it in each frame header of the moving image data Information setting means,
An image processing apparatus comprising:

In an image processing apparatus that transmits moving image data encoded by performing moving image compression using inter-frame prediction at a fixed rate, and reproduces it,
Extraction means for extracting only the intra-frame encoded image data in order from the end of the moving image data;
Reduction means for reducing DCT coefficients from AC components obtained by discrete cosine transform operation from the extracted intra-frame encoded image data;
Padding means for inserting a padding code into each intra-frame encoded image data so that the intra-frame encoded image data obtained by the reducing means satisfies a designated reproduction bit rate;
Playback rate setting means for setting the specified playback bit rate for the header of the moving image data;
A buffer that creates buffer control information for appropriately starting playback and random access when reproducing moving image data including the padding code, and sets it in each frame header of the moving image data Information setting means,
An image processing apparatus comprising: