JP2998640B2 - 動画像再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を再生する
動画像再生装置に関し、特に、動画像を滑らかに再生す
る動画像再生装置に関する。

【０００２】

【従来の技術】動画像のような大量のデータを扱う場
合、十分なＣＰＵ性能及びバス性能が確保されない限
り、画像を再生表示する間隔は一定ではない。その為、
バスやＣＰＵの負荷状況によって急に画像表示がストッ
プしたり、静止に近い状態から急に画像が動き出すとい
った不自然で滑らかでない表示となる。

【０００３】そこで、再生表示を滑らかにする動画像再
生装置として、特開平７−３２７１４号公報（以下、先
行技術１と呼ぶ）に記載されている方法がある。

【０００４】以下、図９を参照して、先行技術１に開示
された、再生表示を滑らかにする動画像再生装置につい
て説明する。

【０００５】図示の動画像再生装置は、ＣＰＵ８０１
と、ＲＯＭ８０２と、ＲＡＭ８０３と、外部記憶装置８
０４と、操作装置８０５と、管理テーブル８０６と、表
示制御回路８０７と、フレームバッファ８０８と、表示
装置８０９と、データ処理装置８１０と、回線制御回路
８１１と、回線８１２と、バス８１３とを有する。

【０００６】データ処理装置８１０は、画像データの復
号を行い、各フレームの生成時間の情報を管理テーブル
８０６に追加する。表示制御回路８０７では各フレーム
間の生成時間の差を求め、この値を基準値αと比較して
表示レベルＨＬを求め、管理テーブル８０６に登録す
る。表示装置８０９では表示処理中のフレームの表示レ
ベルＨＬを管理テーブル８０６により確認し、表示レベ
ルの値に応じて次のフレームの表示までの時間間隔を決
定する。また、フレームバッファ８０８に格納されてい
るフレームの数を調べ、フレーム数に応じて表示レベル
ＨＬの値を加減し、表示間隔を調整する。

【０００７】このように各フレームの表示時間を、動画
像の表示のための処理に要する時間とフレームバッファ
８０８に格納される未表示の画像数とに応じて設定制御
する。復号化に時間がかかっている場合には、フレーム
表示間隔を長くし、逆の場合にはフレーム表示間隔を短
くする。このようにして、ＣＰＵ８０１の負荷状況によ
らず動画像データを滑らかに再生できるようになる。

【０００８】また、再生時間をコントロールするために
画像を間引く方法が、特開平６−１２１２８２号公報
（以下、先行技術２と呼ぶ）に記載されている。

【０００９】以下、図１０を参照して、先行技術２に開
示された、画像を間引く方法を実現する動画像再生装置
について説明する。

【００１０】図示の動画像再生装置は、画像データ記憶
器９０１と、画像バッファ９０２と、類似度計算部９０
３と、最大類似度検出部９０４と、バッファ表示制御器
９０５と、画像表示器９０４とを有する。

【００１１】画像データ記憶器９０１では一定の時間間
隔で連続して収録された画像データ時系列を記憶し、そ
れを時系列画像信号ａとして出力する。画像バッファ９
０２では時系列画像信号ａを入力し、一定時間分の画像
データを、バッファ表示制御器９０５によって読み取ら
れるか、或いは読み飛ばされるまで一時的に保持する。
類似度計算部９０３では、画像信号ｂを入力し、時間的
に隣接する各画像データ間の類似度を計算し、類似度を
示す類似度信号ｃを出力する。２つの画像データ間の類
似度は例えば画像データ間の各対応する画像の３原色値
の２乗和を全画素について合計し、その値が小さいほど
類似していると判断する方法を用いる。最大類似度検出
部９０４では、類似度信号ｃを入力し、隣接画像との類
似度が最も高いものを上位から（ｎ−ｍ）個選び、それ
らの画像をバッファ表示制御器９０５で間引くような間
引き制御信号ｄを出力する。バッファ表示制御器９０５
は間引き制御信号ｄに応じて画像を間引いて表示する。

【００１２】このように、類似度の大きい部分を間引く
ことによって、不連続な動きのない早送り再生を実現し
ている。

【００１３】

【発明が解決しようとする課題】先行技術１に開示され
た再生を滑らかにする方法には、次に述べるような問題
がある。第１に、フレーム表示間隔を長くしたり短くし
たりすると、再生画像は滑らかに見えるが、全体の再生
時間が不定になり、本来の再生時間と合わなくなるとい
う問題がある。第２に、音声との同期を取った場合、動
画像の再生時間に合わせて音声を再生すると、音声の早
送りやスロー、または音声の途切れが発生し、聞き苦し
いものとなる可能性がある。

【００１４】また、画像処理にかかる時間が長すぎる場
合は、画像処理するフレームを間引いてなるべく早く画
像処理をする必要がある。しかしながら、従来の画像を
間引く方法では、間引きを行うフレームの画像や画像処
理方式によらず、機械的に間引いているため、再生した
画像が滑らかに見えない欠点がある。一方、先行技術２
のように、これを滑らかにするために画像データ間の類
似度を計算する方法では、計算するのに時間がかかり、
類似度の計算のためにＣＰＵの負荷が大きくなっている
にも拘らず、画像を間引くためにさらにＣＰＵに負荷が
かかってしまい、再生フレーム数が少なくなる問題があ
る。

【００１５】したがって、本発明の課題は、再生時間は
本来の再生時間と一致させ、しかも滑らかに動画像を再
生することができる動画像生成装置を提供することにあ
る。

【００１６】

【課題を解決するための手段】本発明による動画像再生
装置は、複数の画像データを複数枚のフレームとして貯
える画像データバッファと、入力されるデータを表示可
能な画像データに変換し、変換後の前記画像データを前
記画像データバッファに前記フレームとして格納する画
像処理手段と、該画像処理手段での画像処理の所要時間
に拘らず、一定の間隔で前記画像データバッファから画
像データを読み出し、表示画像の更新を行うことによっ
て動画像を表示する表示制御手段とを具備することを特
徴とする。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１８】図１を参照すると、本発明の一実施の形態
による動画像再生装置は、圧縮画像データを格納する圧
縮データファイル１０１と、圧縮データファイル１０１
から圧縮画像データを読み込み、圧縮画像データの復号
処理を行う復号処理部１０３と、復号処理部１０３で復
号された復号後の画像データをフレームとして格納する
複数枚の画像データバッファ１０４と、画像データバッ
ファ１０４内のフレームを表示する表示制御部１０４
と、表示制御部１０４で表示のタイミングを計るタイマ
部１０６と、復号処理を間引く間引き制御部１０２と、
表示装置１０７とから構成されている。

【００１９】復号処理部１０３は圧縮データファイル１
０１から圧縮画像データを読み込み、復号したフレーム
を画像データバッファ１０４に順次格納する。画像デー
タバッファ１０４は複数の復号したフレームを貯えられ
るリングバッファになっており、ある一定数以上のフレ
ームが格納された段階で表示を再開するようにタイマ部
１０６に対して開始を指示する。タイマ部１０６は一定
間隔（３０フレーム／秒の表示の場合は３３ミリ秒単
位）で表示要求信号を表示制御部１０５に通知する。表
示制御部１０５は画像データバッファ１０４から復号さ
れたフレームを表示装置１０７に転送して表示する。

【００２０】この際、画像データバッファ１０４内に残
っているフレームの数が、ある一定数（第１のしきい
値）Ｎ以下だった場合は復号処理を省略するため、間引
きフレーム数を指示するカウンタ（図示せず）をインク
リメントする。また、逆に画像データバッファ１０４内
に残っているフレームの数が、ある一定数（第２のしき
い値）Ｍ以上だった場合は、上記カウンタをクリアし、
間引き指定を解除する。間引き制御部１０２は、上記カ
ウンタをチェックし、間引き要求があり、しかも復号す
るフレームが間引き可能な場合には、復号処理部１０３
に対し圧縮画像データの読み飛ばしを指示する。復号処
理部１０３は圧縮画像データの読み飛ばし指定があった
ときは圧縮画像データを１フレーム分読み飛ばすことに
よってフレームを間引く。

【００２１】次に、図２を参照して、図１に示した表示
制御部１０５の動作について説明する。

【００２２】表示制御部１０５は、タイマ部１０６から
ある一定の表示間隔で呼び出される。この間隔がフレー
ムレートであり、通常、テレビ（ＴＶ）のフレームレー
トでは（１／３０）秒単位となる。表示制御部１０５で
は画像データバッファ１０４内の残りフレーム数をチェ
ックする（ステップ２０１）。ここで、残りフレーム数
が第１のしきい値Ｎ以下なら、表示制御部１０５は、間
引きを要求すべく間引きフレーム数カウンタをインクリ
メントして（ステップ２０２）、処理を終了する。一
方、画像データバッファ１０４内の残りフレーム数が第
２のしきい値Ｍ以上ならば、表示制御部１０５は、間引
きをしないために間引きフレーム数カウンタ（図示せ
ず）を０にして（ステップ２０３）、ステップ２０４へ
移る。また、画像データバッファ１０４内の残りフレー
ム数が範囲Ｎ〜Ｍの間なら、表示制御部１０５は、直ち
にステップ２０４へ移る。ステップ２０４で、表示制御
部１０５は画像データバッファ１０４内の１枚のフレー
ムを表示装置１０７に転送する。そして、表示制御部１
０５はそれを表示装置１０７に表示させる（ステップ２
０５）。

【００２３】ここで、間引き要求を発行する第１のしき
い値Ｎ、間引き要求をクリアする第２のしきい値Ｍ、画
像データバッファ１０４に格納できるフレーム数Ｋの関
係は次のようになる。

【００２４】０＜Ｎ＜Ｍ≦Ｋ ここで、フレーム数が第１のしきい値Ｎ以下の場合、画
像データを表示装置１０７に転送していないが、これは
前回転送した画像と同一フレームを転送しても同じこと
である。

【００２５】次に、図３を参照して、図１に示した間引
き制御部１０２の動作について説明する。

【００２６】間引き制御部１０２は、復号処理部１０３
で復号処理をする前に、１フレームの処理毎に呼び出さ
れる。間引き制御部３０１では、表示制御部１０５でセ
ットされた間引きフレーム数をチェックし（ステップ３
０１）、間引きフレーム数が０の場合、間引き処理を行
わない。また、間引きフレーム数が０より大きい場合、
間引き制御部１０２は次の圧縮画像データをチェックす
る（ステップ３０２）。ここで、間引き可能な場合は、
間引き制御部１０２は間引きフレーム数カウンタをデク
リメントし（ステップ３０３）、圧縮画像データの読み
飛ばし指定をする（ステップ３０４）。

【００２７】間引き可能か否かの判定は、例えば、圧縮
画像データが他の圧縮画像データに参照されるか否かで
判定することができる。例えば、ＭＰＥＧ（Moving Pic
tureCording Experts Group）方式の場合、圧縮画像デ
ータの構成は図４に示す構成になっている。図４に示す
ように、圧縮画像データには、Ｉピクチャ（イントラ符
号化画像）、Ｐピクチャ（予測符号化画像）、Ｂピクチ
ャ（双方向予測符号化画像）と呼ばれる３種類の圧縮方
式がある。Ｉピクチャはその圧縮画像データだけで１フ
レームの画像を復号できる圧縮方式である。Ｐピクチャ
はそのフレームの前に存在するＩピクチャまたはＰピク
チャのフレームを参照して復号する圧縮方式である。Ｂ
ピクチャはそのフレームの前に存在するＩピクチャまた
はＰピクチャのフレーム及びそのフレームの後に存在す
るＩピクチャまたはＰピクチャを参照して復号する圧縮
方式である。この場合、Ｂピクチャを間引いても他の圧
縮画像データを参照されることはないので障害は発生し
ないが。ＰピクチャやＩピクチャを間引いた場合にはそ
のフレームを参照しているＰピクチャ及びＢピクチャは
復号できなくなる。従って、ＭＰＥＧ方式の場合はＢピ
クチャは間引き可能であるが、Ｐピクチャ及びＩピクチ
ャは間引き不可能となる。

【００２８】また、他の方法として間引きを指定する際
に間引き要求にレベルを設けることも可能である。間引
き要求レベルは、例えば、間引きフレーム数カウンタの
値によって、カウンタ値１の場合は低レベル、カウンタ
値２の場合は中レベル、カウンタ値３以上の場合は高レ
ベルとする。そして、低レベルの場合はＢピクチャのみ
間引き可能とし、中レベルの場合はＢピクチャ及びＰピ
クチャを間引き可能とし、高レベルの場合は全ピクチャ
を間引き可能とする。

【００２９】次に、図５を参照して、図１に示した復号
処理部１０３の動作について説明する。

【００３０】復号処理部１０３は、１フレームの復号処
理を行う際に呼び出され、画像データバッファ１０４内
の残りフレーム数をチェックする（ステップ４０１）。
画像データバッファ１０４内の残りフレーム数が第３の
しきい値Ｌ以上なら、復号処理部１０３は画像の復号処
理の開始を待つ（ステップ４０２）。画像データバッフ
ァ１０４内の残りフレーム数が第３のしきい値Ｌ未満の
場合、復号処理部１０３は間引き制御部１０２でセット
された圧縮画像データの読み飛ばし指定をチェックする
（ステップ４０３）。読み飛ばし指定がある時は、復号
処理部１０３は圧縮画像データを１フレーム分読み飛ば
す（ステップ４０４）。また、読み飛ばし指定がない場
合は、復号処理部１０３は通常の復号処理を行い（ステ
ップ４０５）、復号後のフレームを画像データバッファ
１０４に格納する（ステップ４０６）。

【００３１】ここで、間引き要求を発行する第１のしき
い値Ｎ、復号処理を停止する第３のしきい値Ｌ、画像デ
ータバッファ１０４に格納できるフレーム数Ｋの関係は
次のようになる。

【００３２】０＜Ｎ＜Ｌ≦Ｋ 図５に示すフローチャートでは、フレームを間引く場
合、単純に圧縮画像データを読み飛ばしているが、他の
方法として、復号処理部１０３内にフレーム補間部（図
示せず）を設け、読み飛ばしたフレームを前後のフレー
ムから補間して作り出しても良い。補間の方法として
は、例えば、前後のフレームの各対応する画素の３原色
値を全画素について平均し、１枚のフレームを構成する
方法がある。

【００３３】

【実施例】次に本発明の実施例について、図面を参照し
て説明する。

【００３４】図６乃至図８は復号処理時間、画像データ
バッファの変化、表示フレームの時間的推移を示してい
る。説明のため、間引き要求を発行する第１のしきい値
Ｎ＝２、間引き要求をクリアする第２のしきい値Ｍ＝
６、復号処理を停止する第３のしきい値Ｌ＝６、画像デ
ータバッファ１０４に格納できるフレーム数＝８として
説明する。また、復号処理開始後４フレームのデータが
画像データバッファ１０４にたまったところで表示処理
を開始することとする。また、図中の数字はフレーム番
号を意味するものとする。

【００３５】図６は復号処理にかかる時間がフレーム毎
に異なる場合の表示タイミングを示した図である。

【００３６】この例では、４フレームの画像データが画
像データバッファ１０４に格納された段階で（時刻Ｔ
９）、表示が開始され、フレーム番号１の画像を表示す
る。画像データバッファ１０４には複数枚のフレームが
蓄積されており、表示は一定間隔αで更新されるが、画
像データバッファ１０４に余裕があるため、フレーム番
号８のように復号時間に長いフレームがあっても、表示
は一定間隔に更新される。

【００３７】図７は復号処理にかかる時間に比べて表示
間隔αが短い場合の表示タイミングを示した図である。

【００３８】この例では４フレームの画像データが画像
データバッファ１０４に格納された段階で（時刻Ｔ
９）、表示が開始され、フレーム番号１の画像を表示す
る。時刻α後（時刻Ｔ１１）、フレーム番号２の画像を
表示するが、この際、画像データバッファ１０４内の残
りフレーム数が間引き要求を発行する第１のしきい値Ｎ
＝２以下になったため、表示制御部１０５は間引き制御
部１０２に対し間引き要求を発行する。次の圧縮画像デ
ータ（フレーム番号６の圧縮画像データ）を復号する
際、要求を受けた間引き制御部１０２は復号すべき圧縮
データをチェックし、この圧縮画像データを間引くこと
ができると判断した場合には、圧縮画像データの読み飛
ばしを行い、前回と同一フレームを画像データバッファ
１０４に書き込む。

【００３９】さらに、時刻Ｔ１５ではフレーム番号４の
画像を表示するが、この際、画像データバッファ１０４
内の残りフレーム数が間引き要求を発行するしきい値Ｎ
＝２以下になったため、表示制御部１０５は間引き制御
部１０２に対し間引き要求を発行する。次の圧縮画像デ
ーア（フレーム番号８の圧縮画像データ）を復号する
際、要求を受けた間引き制御部１０２は復号すべき圧縮
画像データをチェックし、この圧縮画像データを間引く
ことができないと判断した場合、通常通りフレーム番号
８の圧縮画像データを復号する。

【００４０】さらに、フレーム番号９の圧縮画像データ
を復号する際、要求を受けた間引き正制御部１０２は復
号すべき圧縮画像データをチェックし、この圧縮画像デ
ータを間引くことができると判断した場合には、圧縮画
像データの読み飛ばしを行い、前回と同一フレーム（フ
レーム番号８のフレーム）を画像データバッファ１０４
に書き込む。このようにして間引き処理が行われ、一定
間隔で表示が更新される。

【００４１】図８は復号処理にかかる時間に比べて表示
間隔αが長い場合の表示タイミングを示した図である。

【００４２】この例では４フレームの画像データが画像
データバッファ１０４に格納された段階で（時刻Ｔ
９）、表示が開始され、１フレーム目の画像を表示す
る。その後、時間αの間隔で順次画像を表示し、フレー
ム番号９の圧縮画像データを復号した段階で画像データ
バッファ１０４内の残りフレーム数が復号処理を停止す
る第３のしきい値Ｌ＝６以上になったため、画像データ
バッファ１０４内の残りフレーム数が復号処理を停止す
る第３のしきい値Ｌ＝６未満になるまで復号処理を停止
する。時刻Ｔ２１でフレーム番号４のフレームを表示す
ると、画像データバッファ１０４内の残りフレームが復
号処理を停止する第３のしきい値Ｌ＝６未満になるので
復号処理を再開する。このようにして復号の処理時間の
調整が行われ、一体間隔で表示が更新されることにな
る。

【００４３】本発明は上述した実施の形態に限定せず、
本発明の趣旨を逸脱しない範囲内で種々の変更・変形が
可能である。例えば、上記実施の形態では、圧縮データ
ファイル１０１に圧縮画像データが格納されているの
で、復号処理部１０３は圧縮データファイル１０１から
圧縮画像データを読み込み、圧縮画像データの復号処理
を行っているが、復号処理部１０３の代わりに、一般
に、入力されるデータを表示可能な画像データに変換
し、変換後の画像データを画像データバッファにフレー
ムとして格納する画像処理手段であって良い。

【００４４】

【発明の効果】以上説明したように本発明では、復号処
理部と表示処理部とを独立させることによって、一定間
隔で表示の更新ができ、また間引くフレームを選択でき
るため、滑らかな再生が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施の形態による動画像再生装置の
構成を示すブロック図である。

【図２】図１の動画像再生装置に用いられる表示制御部
の動作を説明するためのフローチャートである。

【図３】図１の動画像再生装置に用いられる間引き制御
部の動作を説明するためのフローチャートである。

【図４】ＭＰＥＧ方式の圧縮画像データの構成を示す図
である。

【図５】図１の動画像再生装置に用いられる信号処理部
の動作を説明するためのフローチャートである。

【図６】復号処理にかかる時間がフレーム毎に異なる場
合の、本発明の表示タイミングを示す図である。

【図７】復号処理にかかる時間に比べて表示間隔が短い
場合の、本発明の表示タイミングを示す図である。

【図８】復号処理にかかる時間に比べて表示間隔が長い
場合の、本発明の表示タイミングを示す図である。

【図９】特開平７−３２７１４号公報（以下、先行技術
１と呼ぶ）に開示された、再生表示を滑らかにする動画
像再生装置の構成を示すブロック図である。

【図１０】特開平６−１２１２８２号公報（以下、先行
技術２と呼ぶ）に開示された、画像を間引く方法を実現
する動画像再生装置の構成を示すブロック図である。

【符号の説明】

１０１ 圧縮データファイル １０２ 間引き制御部 １０３ 復号処理部 １０４ 画像データバッファ １０５ 表示制御部 １０６ タイマ部 １０７ 表示装置

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 複数の画像データを複数枚のフレームと
   して貯える画像データバッファと、入力されるデータを
   表示可能な画像データに変換し、変換後の前記画像デー
   タを前記画像データバッファに前記フレームとして格納
   する画像処理手段と、前記画像処理手段での画像処理の
   所要時間に拘わらず、一定の間隔で前記画像データバッ
   ファから画像データを読み出し、表示画像の更新を行う
   ことによって動画像を表示する表示制御手段と、前記画
   像データバッファ内の残りフレーム数に応じて、前記画
   像処理手段の画像処理を間引く間引き制御手段とを備え
   た動画像再生装置において、 前記入力されるデータは圧縮画像データであり、 前記画像処理手段は、前記画像処理として前記圧縮画像
   データの復号を行い、前記間引き制御手段は、前記画像
   データバッファ内の残りフレーム数に応じて間引きフレ
   ーム数を求め、当該間引きフレーム数から画像間引き要
   求レベルを設定し、当該画像間引き要求レベルと前記圧
   縮画像データの種類に応じて前記画像処理手段での画像
   処理を間引き、 前記表示制御手段は、前記間引き制御手段によって間引
   かれた画像データの１つ前の同一画像データを前記画像
   データバッファから読み出して表示画像の更新を行う こ
   とを特徴とする動画像再生装置。
2. 【請求項２】 画像処理を間引いたことにより読み飛ば
   されたフレームを前後のフレームから補完して作り出す
   フレーム補完手段をさらに含むことを特徴とする請求項
   １記載の動画像再生装置。