JP5652066B2 - 動画圧縮制御装置、動画記録装置及び動画記録再生装置 - Google Patents

Description

本発明は、動画圧縮制御装置、動画記録装置及び動画記録再生装置に関する。

動画をエンコードして録画する際、圧縮率やフレームレートの変更を行なうことでエンコードの処理負荷を軽減する技術が知られている。下記特許文献１には、撮像された１フレーム毎の画像を所定のサイズに変換し、指定圧縮率で圧縮する画像処理を行うと共に、その画像処理の結果を用い、各フレームのデータ量の変化に応じて圧縮パラメータを動的に制御する技術が開示されている。

特開２００７−７４２４８号公報

従来技術はプロセッサの処理能力やメモリ容量等のリソースが十分であることを想定しているため、動きの速い映像等、エンコードの処理負荷が高い映像がメモリに入力されても、入力に対してエンコード処理が遅れてエンコード処理が停止することはない。しかしながら、エンコードするためのリソースが十分でなければ、処理負荷の高い映像が入力されるとエンコード処理が停止してしまいシステムが破綻する場合がある。
本発明は、エンコード処理を行うリソースが十分ではない場合に、処理負荷の高い映像が入力されたとしてもエンコード処理を停止させることなく継続してエンコードすることができる動画圧縮制御装置を提供することを目的とする。

本発明の請求項１に係る動画圧縮制御装置は、予め定められたフレームレートに従って順次入力される動画データをフレーム毎に一時記憶する複数の記憶領域を有する入力バッファと、フレーム内でエンコードするフレーム内エンコード処理とフレーム間の相関に基づいてエンコードするフレーム間エンコード処理のいずれかを用いて、入力された１フレームの前記動画データをエンコードしてエンコードデータを出力するエンコード手段と、前記エンコード手段における１フレームの処理時間を計測する計測手段と、前記入力バッファに記憶された動画データをフレーム毎に前記エンコード手段に入力する入力手段とを備え、前記入力手段は、前記計測手段により計測されたフレームの前記処理時間が前記フレームレートに基づく閾値以上である場合には、次にエンコードすべき次フレームの動画データに替えて、当該次フレームの直前にエンコードした前フレームの動画データを前記入力バッファから前記エンコード手段に入力し、当該次フレームの動画データを前記エンコード手段に入力しない入力制御を行うことを特徴とする。
また、本発明の請求項２に係る動画圧縮制御装置は、前記入力バッファは、前記複数の記憶領域のうちポインタにより示される記憶領域に記憶された動画データを出力し、前記入力手段は、前記計測手段により計測されたフレームの前記処理時間が前記フレームレートに基づく閾値以上である場合には、次にエンコードすべき次フレームの動画データが記憶された記憶領域に替えて、当該次フレームの直前にエンコードされた前フレームの動画データが記憶された記憶領域を示すように前記ポインタの制御を行うことを特徴とする。

また、本発明の請求項３に係る動画圧縮制御装置は、前記動画圧縮制御装置において、前記閾値以上の複数の時間範囲に応じた前記入力制御の処理回数が予め規定されており、前記入力手段は、前記処理時間が前記複数の時間範囲内である場合には、当該時間範囲に対応する前記入力制御の処理回数に従い、前記前フレームの動画データを前記リングバッファから前記エンコード手段に連続して入力することを特徴とする。

また、本発明の請求項４に係る動画記録装置は、請求項１乃至３に記載の動画圧縮制御装置と、前記動画圧縮制御装置から出力されたフレーム毎のエンコードデータを記憶手段に記憶させる記録制御手段とを備えることを特徴とする。

また、本発明の請求項５に係る動画記録再生装置は、請求項１乃至３に記載の動画圧縮制御装置と、前記動画圧縮制御装置から出力されたフレーム毎のエンコードデータを記憶する記憶手段と、前記記憶手段に記憶された前記フレーム毎のエンコードデータを前記フレームレートに従って読み出し、読み出したフレームのエンコードデータを再生する再生手段とを備えることを特徴とする。

請求項１および２に記載の構成によれば、エンコード処理を行うリソースが十分でない場合に処理負荷が高い映像が入力されても、エンコード処理を継続して行なうことができる。

請求項３に記載の構成によれば、エンコード処理時間に応じた回数だけ同じフレームの動画データを自動でエンコード処理することができる。

請求項４に記載の構成によれば、エンコード処理を行うリソースが十分でない場合に処理負荷が高い映像が入力されてもエンコード処理を継続して記録することができる。

請求項５に記載の構成によれば、エンコード処理を行うリソースが十分でない場合に処理負荷が高い映像が入力されても、エンコード処理を継続して行い再生することができる。

実施形態に係るカラオケ装置の構成例を示す図である。 実施形態に係る外部映像処理部の機能ブロック図である。 （ａ）及び（ｂ）は実施形態に係る入力バッファの例を説明する図である。 実施形態に係るカラオケ装置の演奏制御処理の動作フローを示す図である。 実施形態に係るカラオケ装置の録画処理の動作フローを示す図である。 （ａ）〜（ｄ）は実施形態におけるエンコード処理の制御例を説明する図である。 変形例（１）に係るエンコード処理の制御を説明する図である。

＜概要＞
本発明に係る動画圧縮制御装置は、一定のフレームレートで撮影された映像をエンコードする際、各フレームのエンコード処理が平均してフレームレートに応じた時間内に完了するように制御する。本実施形態においては、映像を撮影するビデオカメラをカラオケ装置に接続すると共に、動画圧縮制御装置をカラオケ装置内に設け、ビデオカメラで撮影された映像を動画圧縮制御装置でエンコード処理して記録する動画記録装置の例を説明する。

＜構成＞
図１は、本実施形態に係る動画記録装置の一例であるカラオケ装置の全体構成を表している。図１に示すように、カラオケ装置１は、ビデオ入力端子（図示略）にビデオカメラ２が接続されると共に、マイク入力端子（図示略）にマイク３が接続されている。以下、各部について説明する。

マイク３は、例えば、コンデンサマイク等の拡声手段であり、歌唱者が発する歌唱音声を収音した音信号を音声信号処理部１４へ送出する。制御部１１は、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）のメモリで構成されており、ＲＡＭをワーキングエリアとして、ＲＯＭ又はＲＡＭに記憶されている制御プログラムを実行することにより、制御部１１と接続されている各部を制御する。本実施形態に係るカラオケ装置１は、カラオケの楽曲の再生中に、予め設定された背景画像を当該楽曲の歌詞と共に表示する背景画像表示モードと、ビデオカメラ２で撮影された画像を歌詞と共に表示する外部映像表示モードとを有し、カラオケの楽曲の再生中にビデオカメラ２で撮影された画像をエンコードして記録する録画処理機能を有する。制御部１１は、ユーザが指定した楽曲の演奏等を含むカラオケに関する一般的な機能を制御すると共に、ユーザが選択したモードに応じた画像をカラオケの楽曲の再生中に表示する演奏制御と録画処理とを行う。

操作部１２は、ユーザからの操作を有線又は無線により受付ける操作手段であり、背景画像表示モードと外部映像表示モードとを切替える操作や、マイク音量や楽曲の音量の調節操作、楽曲の選択操作、楽曲の再生や停止を指示する操作等を受付けるための操作子を含んで構成され、ユーザが操作した操作内容を示す操作信号を制御部１１へ送出する。

音源部１３は、制御部１１の制御の下、指示された楽曲データを再生して楽音信号を生成し、音声信号処理部１４へ送出する。音声信号処理部１４は、マイク３から入力された音声信号に対し所定の信号処理を施すと共に、音源部１３から送出された楽音信号と音声信号とを合成してスピーカ１５から放音する。スピーカ１５は、楽音信号と音声信号とを指示された音量に従って増幅して放音する。

記憶部１６は、不揮発性記憶媒体で構成され、ＭＩＤＩ（Musical Instrument Digital Interface）等のカラオケの楽曲データや歌詞データを記憶すると共に、これらに対応するＭＰＥＧ（Moving Picture Experts Group Phase）等の形式で圧縮符号化された背景画像の映像データ（背景画像データ）を記憶する。楽曲データは、演奏の進行に合わせて発生すべき楽音や制御内容等が規定されており、歌詞データは、演奏の進行に合わせて表示すべき歌詞を示す文字や文字の色の変化等が規定されている。

外部映像処理部１７は、例えば、ＤＳＰ（Digital Signal Processor）で構成されており、ビデオカメラ２において一定のフレームレートで撮影された被写体の映像信号をＡ／Ｄ変換し、フレーム毎の動画データを生成して映像再生部１８へ送出するとともに、当該生成した各フレームの動画データをエンコードする。

具体的には、外部映像処理部１７は、図２に示すように、入力バッファ１７１、エンコーダ１７２、圧縮制御部１７３、計測部１７４及び出力バッファ１７５を備える。入力バッファ１７１は、図３（ａ）に示すように、ブロック化されたインデックス０〜ｎの記憶領域３０で構成されており、インデックスｎの記憶領域に続く次の記憶領域として、インデックス０の記憶領域が設定されたリングバッファである。

入力バッファ１７１は、後述の書込位置を示すポインタＰｗにより示される記憶領域にフレーム毎の動画データを順次記憶すると共に、後述の読出位置を示すポインタＰｒ２により示される記憶領域から動画データを出力してエンコーダ１７２に入力する。エンコーダ１７２は、ＭＰＥＧ−２等の規格に従い、1フレーム内でエンコードするフレーム内エンコード処理と、フレーム間の動きベクトルを検出しフレーム間の相関に基づいてエンコードするフレーム間エンコード処理のいずれかのエンコード処理を用いて入力バッファ１７１から出力された動画データについてエンコードし、エンコードデータ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を出力する。

圧縮制御部１７３は、図３（ｂ）に示す、入力バッファ１７１の書込位置を示すポインタＰｗ、入力バッファ１７１から読み出す際に参照される読出参照位置を示すポインタＰｒ１、入力バッファ１７１の読出位置を示すポインタＰｒ２を制御する。ポインタＰｗは、入力バッファ１７１に動画データを書き込む記憶領域のアドレスを示し、インデックス０の記憶領域から順次設定される。また、ポインタＰｒ１は、エンコーダ１７２におけるエンコード処理がフレームレートに基づく閾値時間内で行われるとした場合において、次に入力バッファ１７１から読み出されるべき記憶領域のアドレス、つまり、次にエンコードすべきフレーム（次フレーム）が記憶されているアドレスを示している。例えば、フレームレートが３０ｆｐｓである場合には、３０ｍｓ毎に新しい動画データが入力バッファ１７１に入力される。エンコード処理が平均して３０ｍｓ内で終了している状態であれば入力バッファ１７１への書き込みに対してエンコード処理に遅れが生じていない状態であり、この場合には、入力バッファ１７１のインデックスの番号順に１フレームずつ動画データがエンコーダ１７２で処理されることになる。つまり、本実施形態では、エンコード処理が行われる毎に、次のインデックスの記憶領域におけるアドレスがポインタＰｒ１に対して順番に設定される。

ポインタＰｒ２は、エンコード処理時間に応じて、エンコーダ１７２に入力すべき動画データが記憶されている記憶領域のアドレスが設定される。具体的には、エンコード処理が閾値時間以上である場合、つまり、エンコード処理に遅れが生じている場合には、次のエンコード処理対象となるフレームの動画データとして、前回エンコード処理を行ったフレーム（前フレーム）の動画データが記憶されている記憶領域のアドレスが設定される。また、エンコード処理が閾値時間内であれば、ポインタＰｒ１と同じアドレスがポインタＰｒ２に設定される。ポインタＰｒ２は、ポインタＰｒ１と同様に、エンコード処理が行われる毎に、入力バッファ１７１から次に読み出すべき動画データの記憶領域のアドレスが設定される。このように、エンコーダ１７２での１フレームの処理時間が閾値時間以上である場合には、時間軸方向の動きの変化を無くすように、次にエンコード処理を行うべきフレームの動画データとして、前回エンコード処理を行ったフレームと同じフレームの動画データがエンコーダ１７２に再入力される。

なお、本実施形態においては、ポインタＰｗ、ポインタＰｒ１及びポインタＰｒ２は、初期値としてインデックス０の記憶領域のアドレスが設定される。初期値のインデックス０の記憶領域は、入力バッファ１７１における動画データの読出し位置が書き込み位置を追い越さないように、インデックス０と１の記憶領域の書き込み処理が終了したときに読み出される。
計測部１７４は、カウンタで構成され、エンコーダ１７２における１フレームのエンコード処理時間を計測して圧縮制御部１７３に計測結果を出力する。出力バッファ１７５は、エンコーダ１７２によってエンコード処理されたエンコードデータを順次記憶する。

図１に戻り説明を続ける。映像再生部１８は、制御部１１の制御の下、背景画像表示モードにおいて、カラオケの楽曲に対応する背景画像データをデコードし、デコードした画像データと歌詞データの画像とを合成して表示部１９で表示可能な形式の画像信号に変換して表示部１９に入力する機能と、外部映像表示モードにおいて、ビデオカメラ２から出力された動画データと歌詞データの画像とを合成して表示部１９で表示可能な形式の画像信号に変換して表示部１９に入力する機能とを有する。表示部１９は、液晶ディスプレイ等の表示装置で構成され、制御部１１の制御の下、映像再生部１８から入力された画像信号を一定のフレームレートで表示したり、操作部１２で受付けられた操作内容を表す画像等を表示する。

＜動作＞
次に、本実施形態に係るカラオケ装置１の録画処理と演奏制御処理の動作について説明する。図４は、カラオケ装置１の演奏制御処理の動作フローを示し、図５は、カラオケ装置１の録画処理の動作フローを示す図である。これらの処理は、カラオケの楽曲が再生されると並行して同時に行われる。以下、これらの処理を各図に沿って説明する。なお、図４の説明において、背景画像表示モードがデフォルト設定されており、外部映像表示モードに設定するか否かはユーザが選択する。

（演奏制御処理）
制御部１１は、ユーザによって操作部１２を介して楽曲を選択する操作を受付けると、選択された楽曲の楽曲データと歌詞データとを記憶部１６から読み出してＲＡＭに記憶し、楽曲データを音源部１３に送出して楽曲の再生を開始する（ステップＳ１１）。操作部１２を介して外部映像表示モードの選択操作がユーザによりなされると（ステップＳ１２：ＹＥＳ）、制御部１１は、ビデオカメラ２で撮影された一定フレームレート（例えば３０ｆｐｓ）の外部映像信号のフレーム毎の動画データを外部映像処理部１７において生成し、映像再生部１８により、楽曲の演奏の進行に合わせてフレーム毎の動画データとＲＡＭに記憶されている歌詞データとを合成して表示部１９に出力し、一定のフレームレートで表示する（ステップＳ１３）。また、制御部１１は、マイク３に入力された音声信号と音源部１３から出力された楽音信号とを音声信号処理部１４において合成してスピーカ１５から放音する（ステップＳ１５）。

ステップＳ１２において、ユーザにより外部映像表示モードの選択操作がなされなければ（ステップＳ１２：ＮＯ）、制御部１１は、映像再生部１８において、楽曲に対応する背景画像データを記憶部１６から読み出してデコード処理を行い、楽曲の演奏の進行に合わせて、ＲＡＭに記憶されている歌詞データとデコードした背景画像データとを合成して表示部１９に表示する（ステップＳ１４）。制御部１１は、再生中の楽曲の演奏が終了するまでステップＳ１２〜１６の処理を繰り返し行い（ステップＳ１６：ＮＯ）、楽曲の演奏が終了したときに処理を終了する（ステップＳ１６：ＹＥＳ）。

（録画処理）
次に、本実施形態の録画処理について図５を用いて説明する。制御部１１は、楽曲の再生が開始されるとビデオカメラ２で撮影を開始し、一定フレームレートで撮影された外部映像信号について録画処理を開始する。

制御部１１は、外部映像処理部１７において、ビデオカメラ２から一定のフレームレート（例えば３０ｆｐｓ）で入力される外部映像の映像信号をＡ／Ｄ変換してフレーム毎の動画データに変換し（ステップＳ３１）、ポインタＰｗが示す入力バッファ１７１の記憶領域に、各フレームの動画データを順次書き込み、書き込みを行う毎に、圧縮制御部１７３により次のインデックスの記憶領域のアドレスをポインタＰｗに設定する（ステップＳ３２）。

また、外部映像処理部１７は、図６（ａ）に示すように、入力バッファ１７１においてインデックス１の記憶領域に動画データ（ｆ２）を書き込んだときに、圧縮制御部１７３により、ポインタＰｒ２が示すインデックス０の記憶領域の動画データ（ｆ１）を入力バッファ１７１から出力してエンコーダ１７２に入力する（ステップＳ３３）。

外部映像処理部１７は、入力バッファ１７１から入力された動画データ（ｆ１）をエンコーダ１７２においてエンコード処理すると同時に、計測部１７４によりエンコード処理中の１フレームの処理時間を計測し、エンコード処理後のエンコードデータをエンコーダ１７２から出力バッファ１７５に出力する（ステップＳ３４）。制御部１１は、出力バッファ１７５からフレーム毎のエンコードデータを所定時間毎に読出し、読み出したエンコードデータを記憶部１６の所定領域に順次記憶する（ステップＳ３５）。

外部映像処理部１７は、再生中の楽曲の演奏が終了していない場合において（ステップＳ３６：ＮＯ）、計測部１７４により計測されたエンコード処理時間が閾値時間内（例えば３０ｍｓ）であるときは（ステップＳ３７：ＹＥＳ）、図６（ｂ）に示すように圧縮制御部１７３によりポインタＰｒ１に次のインデックス１の記憶領域を示すアドレスを設定し、ポインタＰｒ２にポインタＰｒ１と同じアドレスを設定する。そして、圧縮制御部１７３は、ポインタＰｒ２が示すインデックス１の記憶領域内の動画データ（ｆ２）を入力バッファ１７１から出力してエンコーダ１７２に入力する（ステップＳ３８）。図６（ｃ）は、エンコーダ１７２に動画データ（ｆ２）が入力された後、エンコード処理が閾値時間内であったときの入力バッファ１７１の状態を示している。ポインタＰｗにはインデックス４の記憶領域が設定され、ポインタＰｒ１とＰｒ２には同じインデックス２の記憶領域が設定され、インデックス２の記憶領域から動画データ（ｆ３）がエンコーダ１７２に入力されてエンコード処理される。

エンコーダ１７２におけるこの動画データ（ｆ３）のエンコード処理時間が閾値時間内でなかった場合（ステップＳ３７：ＮＯ）、外部映像処理部１７は、圧縮制御部１７３において、図６（ｄ）に示すように、ポインタＰｒ１には次のインデックス３の記憶領域を示すアドレスを設定し、ポインタＰｒ２は前回と同じインデックス２の記憶領域のアドレスを設定する。そして、圧縮制御部１７３は、ポインタＰｒ２が示すインデックス２の記憶領域から動画データ（ｆ３）を出力してエンコーダ１７２に再入力する（ステップＳ３９）。この場合には、インデックス３の記憶領域に記憶されている動画データ（ｆ４）の代わりに、前回と同じ動画データ（ｆ３）がエンコーダ１７２に再入力されてエンコード処理される。例えば、前回の動画データ（ｆ３）のエンコード処理がフレーム内エンコード処理である場合、次のエンコード処理はフレーム間エンコード処理となる。次のエンコード処理の対象は本来であれば動画データ（ｆ４）であるが、前回と同じフレームの動画データ（ｆ３）をエンコーダ１７２に入力することでフレーム間の差分が無くなり、このフレームのエンコード処理にかかる時間は動画データ（ｆ４）をエンコーダ１７２に入力したときのエンコード処理時間より短くなる。

また、次のエンコード処理がフレーム内エンコード処理の場合には、前回のフレームと同じフレームの動画データ（ｆ３）をエンコードしても、動画データ（ｆ４）をエンコーダ１７２に入力した場合と比べてエンコード処理時間を短縮できず、エンコード処理時間が閾値時間内とならない場合もある。その場合であっても、動画データ（ｆ３）をエンコーダ１７２に入力することで、その後に行われるフレーム間エンコード処理の処理時間は本来入力すべき動画データの場合と比べて短くなるため、エンコード処理時間が閾値時間内になるまでこの処理を繰り返せばよい。

例えば、エンコーダ１７２に再入力されたインデックス２の動画データ（ｆ３）の処理時間が閾値時間内であれば、ポインタＰｒ１には次のインデックス４の記憶領域を示すアドレスが設定されると共に、ポインタＰｒ２にはポインタＰｒ１と同じアドレスが設定され、インデックス４の記憶領域に記憶されている動画データ（ｆ５）がエンコーダ１７２に入力される（ステップＳ３８）。
一方、エンコーダ１７２に再入力されたインデックス２の動画データ（ｆ３）の処理時間が閾値時間内でなければ、ポインタＰｒ２は前回と同じインデックス２の記憶領域のアドレスが設定される。従って、この場合も、インデックス４の記憶領域に記憶されている動画データ（ｆ５）の代わりに、ポインタＰｒ２が示すインデックス２の記憶領域に記憶されている動画データ（ｆ３）が入力バッファ１７１から出力されてエンコーダ１７２に再入力され（ステップＳ３９）、エンコーダ１７２によりエンコード処理される。外部映像処理部１７は、再生中の楽曲の演奏が終了するまでステップＳ３４〜３９処理を繰り返し行い、楽曲の演奏が終了したときに（ステップＳ３６：ＹＥＳ）、録画処理を終了する。

このように、映像が入力されている間、エンコード処理時間が閾値時間内となるまで、本来エンコード処理すべきフレームについてはエンコードせず、前回エンコードしたフレームと同じフレームの動画データがエンコーダ１７２に入力される。これにより、エンコードの処理負荷の高い映像が入力されても、エンコード処理時間を平均して閾値時間内に抑えるように制御されるので、入力バッファ１７１への動画データの入力に対してエンコード処理が間に合わずに入力バッファ１７１がオーバーフローしてエンコード処理が停止することを防止することができる。つまり、前回のエンコード処理が閾値時間を超えた場合において次のエンコード処理がフレーム間エンコード処理であれば、前回と同じ動画データが入力されることで、前のフレームとの画像の変化が無くなり、次のフレームのエンコード処理を行う場合よりエンコード処理時間が短くなる。これをエンコード処理時間が閾値時間内となるまで繰り返すことで、エンコード処理時間が閾値時間内に徐々に収束する。

以上が、本実施形態に係るカラオケ装置１の動作例である。上述した本実施形態に係るカラオケ装置１は、フレーム毎のエンコード処理時間が閾値時間以上である場合には、次のフレームの動画データについてはエンコード処理を行わず、前回と同じフレームの動画データをエンコーダ１７２に入力し、エンコード処理時間が閾値時間内となるまでこの処理を繰り返す。従って、エンコード処理を行うためのリソースに制約があり、動きの速い映像等のエンコード処理負荷が高い映像がビデオカメラ２から出力されても、エンコード処理の平均時間が入力バッファ１７１に動画データが入力される時間内となるように制御されるので、エンコードを停止させることなく継続することができる。また、本実施形態のエンコードデータは実際の映像の動きが間引かれたものとなっているが、入力映像と同じフレームレートでエンコードされているため、再生機側でフレームレートを変更することなく再生することができる。また、本実施形態では、１フレーム毎にエンコード処理時間が閾値時間を超えているか否か判断するので、前回と同じフレームの動画データについてフレーム間エンコード処理を行っても、そのエンコード処理が閾値時間内で終了すれば１フレーム分の動きが間引かれるだけで画質の劣化を最小限に抑えることができる。

＜変形例＞
本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよく、各変形例を組み合わせて実施してもよい。以下、本発明に係る実施形態の変形例について説明する。

（１）上述した実施形態では、エンコード処理時間が閾値時間以上であれば、前回エンコード処理を行ったフレームと同じフレームの動画データを入力バッファ１７１から出力してエンコーダ１７２に入力する入力制御を行う例であったが、閾値時間を超える複数の時間範囲を設定し、その時間範囲に応じて当該入力制御の回数を予め設定するようにしてもよい。例えば、図７に示すように、閾値時間として３０ｍｓ、閾値時間を超える時間範囲として、時間Ａ、時間Ｂ、時間Ｃを予め設定すると共に、入力制御の回数として、時間Ａは１回、時間Ｂは２回、時間Ｃは３回を設定する。エンコード処理時間が閾値時間３０ｍｓ以上である場合において、エンコード処理時間が時間Ａの範囲内であれば、実施形態と同様、前回と同じフレームの動画データを入力バッファ１７１から出力してエンコーダ１７２に入力する入力制御を１回行い、当該フレームに対するエンコード処理を行う。また、エンコード処理時間が時間Ｂの範囲内であれば、１回目のエンコード処理時間に関わらず、２回目の入力制御を行ってエンコード処理を行い、２回目のエンコード処理時間を計測する。また、エンコード処理時間が時間Ｃの範囲内であれば、１回目と２回目のエンコード処理時間に関わらず、３回目の入力制御を行ってエンコード処理を行い、３回目のエンコード処理時間を計測する。

（２）また、上述した実施形態では、エンコード処理時間が閾値時間以上である場合に、前回エンコード処理を行ったフレームと同じフレームの動画データを入力バッファ１７１から出力してエンコーダ１７２に入力する入力制御を行う例であったが、エンコード処理時間に関わらず、当該入力制御を行う回数を任意に設定してエンコード処理を行うことで、擬似的にフレームレートを下げた映像を生成するようにしてもよい。つまり、例えば、フレームレートが３０ｆｐｓの場合おいて、入力制御の回数を５回に設定すると、１番目のフレームの動画データがエンコード処理された後、２〜５番目のフレームの代わりに１番目のフレームの動画データが４回エンコード処理される。この場合、２〜５番目のフレームはエンコード処理されずに１番目のフレームが５回エンコード処理されるので、エンコード処理後のフレームレートは３０ｆｐｓで変わらないが、同じフレームレートで再生させると５フレーム単位で同じ映像が表示されるのでフレームレートを１／５に下げたような映像を表示させることができる。

また、上記変形例の構成を利用して、例えば、楽曲のある演奏タイミングにおいて同じ映像を再生させるようにしてもよい。カラオケ装置１の制御部１１は、外部映像処理部１７により、予め定められた演奏タイミングに入力バッファ１７１からエンコーダ１７２に入力されたフレームの動画データを所定回数だけ連続してエンコーダ１７２に入力するように制御する。そして、エンコーダ１７２でエンコード処理されて出力バッファ１７５に記憶された各エンコードデータを映像再生部１８においてデコード処理し、エンコード処理と同様のフレームレートで表示部１９に表示する。このように構成することにより、楽曲のある演奏タイミングにおいては静止画のような映像を表示させるようにしてもよいし、楽曲のジャンルや曲調等に応じて、フレームレートを擬似的に変更したような映像を生成して再生するようにしてもよい。なお、楽曲のジャンル等に応じてフレームレートを擬似的に変更したような映像を生成する場合には、楽曲のジャンル毎に入力制御の回数を予め記憶部１６に記憶し、楽曲に対応する入力制御の回数に従ってエンコード処理を行うように構成する。

（３）また、上述した実施形態では、外部映像処理部１７（動画圧縮制御装置）がカラオケ装置１に組み込まれている例を説明したが、外部映像処理部１７はパソコン等の表示装置を有する情報機器に組み込まれてもよいし、カラオケ装置やパソコン等とは別体として接続されて利用されてもよい。

（４）また、上述した実施形態では、外部映像処理部１７においてエンコード処理されたエンコードデータを記憶部１６に順次記憶させる例であったが、例えば、カラオケ装置１と外部接続されたＤＶＤ等の記録媒体にエンコードデータを記録するように構成してもよいし、カラオケ装置１と有線又は無線により接続された外部装置に対してエンコードデータを送信するようにしてもよい。また、動画記録再生装置としてエンコード処理されたエンコードデータを記憶部１６に記憶すると共に、映像再生部１８においてエンコードデータをデコードして再生するようにしてもよい。

１・・・カラオケ装置、２・・・ビデオカメラ、３・・・マイク、１１・・・制御部、１２・・・操作部、１３・・・音源部、１４・・・音声信号処理部、１５・・・スピーカ、１６・・・記憶部、１７・・・外部映像処理部、１８・・・映像再生部、１９・・・表示部、１７１・・・入力バッファ、１７２・・・エンコーダ、１７３・・・圧縮制御部、１７４・・・計測部、１７５・・・出力バッファ

Claims (5)

1. 予め定められたフレームレートに従って順次入力される動画データをフレーム毎に一時記憶する複数の記憶領域を有する入力バッファと、
   フレーム内でエンコードするフレーム内エンコード処理とフレーム間の相関に基づいてエンコードするフレーム間エンコード処理のいずれかを用いて、入力された１フレームの前記動画データをエンコードしてエンコードデータを出力するエンコード手段と、
   前記エンコード手段における１フレームの処理時間を計測する計測手段と、
   前記入力バッファに記憶された動画データをフレーム毎に前記エンコード手段に入力する入力手段とを備え、
   前記入力手段は、前記計測手段により計測されたフレームの前記処理時間が前記フレームレートに基づく閾値以上である場合には、次にエンコードすべき次フレームの動画データに替えて、当該次フレームの直前にエンコードした前フレームの動画データを前記入力バッファから前記エンコード手段に入力し、当該次フレームの動画データを前記エンコード手段に入力しない入力制御を行う
   ことを特徴とする動画圧縮制御装置。
2. 前記入力バッファは、前記複数の記憶領域のうちポインタにより示される記憶領域に記憶された動画データを出力し、
   前記入力手段は、前記計測手段により計測されたフレームの前記処理時間が前記フレームレートに基づく閾値以上である場合には、次にエンコードすべき次フレームの動画データが記憶された記憶領域に替えて、当該次フレームの直前にエンコードされた前フレームの動画データが記憶された記憶領域を示すように前記ポインタの制御を行う
   ことを特徴とする請求項１に記載の動画圧縮制御装置。
3. 前記閾値以上の複数の時間範囲に応じた前記入力制御の処理回数が予め規定されており、
   前記入力手段は、前記処理時間が前記複数の時間範囲内である場合には、当該時間範囲に対応する前記入力制御の処理回数に従い、前記前フレームの動画データを前記入力バッファから前記エンコード手段に連続して入力する
   ことを特徴とする請求項１または２に記載の動画圧縮制御装置。
4. 請求項１乃至３に記載の動画圧縮制御装置と、
   前記動画圧縮制御装置から出力されたフレーム毎のエンコードデータを記憶手段に記憶させる記録制御手段と
   を備えた動画記録装置。
5. 請求項１乃至３に記載の動画圧縮制御装置と、
   前記動画圧縮制御装置から出力されたフレーム毎のエンコードデータを記憶する記憶手段と、
   前記記憶手段に記憶された前記フレーム毎のエンコードデータを前記フレームレートに従って読み出し、読み出したフレームのエンコードデータを再生する再生手段と
   を備えることを特徴とする動画記録再生装置。

Images