WO2012008069A1

WO2012008069A1 - 映像音声変換装置および映像音声変換方法

Info

Publication number: WO2012008069A1
Application number: PCT/JP2011/001283
Authority: WO
Inventors: 一生向井; 哲志西岡; 伸一渡邊; 良二山口; 聡木下
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-07-14
Filing date: 2011-03-04
Publication date: 2012-01-19
Anticipated expiration: 2013-01-14
Also published as: JP5409535B2; CN103004185A; JP2012023576A; CN103004185B

Abstract

　レート変換ダビング時に、分離部（１０１）、映像復号化部（１０２）、音声復号化部（１０３）、映像符号化部（１０４）、音声符号化部（１０５）および多重部（１０６）が高い効率で並列に動作することで、処理時間を短縮する。分離部（１０１）、映像復号化部（１０２）、音声復号化部（１０３）、映像符号化部（１０４）、音声符号化部（１０５）および多重部（１０６）は、前段と後段の処理部の処理状態を監視しながら、処理の停止および再開の制御を行うことにより、各処理部を最善な処理速度で動作させることができ、レート変換ダビングの処理時間を短くすることができる。

Description

映像音声変換装置および映像音声変換方法

　本発明は、第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データを入力として受け、高速にレート変換ダビングを行う映像音声変換装置とその方法に関するものである。

　従来のＨＤＤ（Hard Disk Drive）／ＤＶＤ（Digital Versatile Disc）レコーダなどの一般的な記録再生を行う記録再生装置において、ＨＤＤに記録しているＤＶＤの記録容量より大きなサイズの映像音声データを、ＤＶＤに収まるサイズに変換するレート変換を行い、ＤＶＤに記録するレート変換ダビング機能を有しているものが存在する。

　一般的にレート変換ダビングは、ＨＤＤ等に記録しているＭＰＥＧ（Moving Picture Experts Group）等で圧縮された映像音声データの復号化を行い、復号化した映像音声データの表示制御を行いながら復号化した映像音声データの符号化を行い、ＤＶＤ等に記録することで実現する。

　しかしながら、上記制御では、復号化および符号化は、テレビの出力に同期してレート変換ダビングを行うこととなるため、表示時間と同じだけのダビング時間が必要となっていた。

　これを解決し、高速なレート変換ダビングを実現する方法として、例えば、特許文献１に記載されている映像音声データに関するレート変換ダビング方法がある。

　上記特許文献１に記載されているレート変換ダビングでは、まず、映像音声復号化部において所定の単位の映像音声データの復号化を開始する。復号化が完了すると映像音声復号化部から映像音声符号化部へ復号化完了通知が送られる。この完了通知を受信した映像音声符号化部では、直ちに復号化された映像音声データの符号化を開始する（符復号化の処理では、変換前の圧縮率より高い圧縮率で映像音声データの再圧縮を行う）。符号化が完了すると映像音声符号化部から映像音声復号化部へ符号化完了通知が送られる。この完了通知を受信した映像音声復号化部では、直ちに次の映像音声データの復号化を開始する。このような制御を行うことにより、映像音声復号化部および映像音声符号化部の処理は、テレビの出力に同期する必要がなくなるため、レート変換ダビングの処理時間を短縮することができる。

国際公開第０８／０２３７６３号

　しかしながら、上記の特許文献１に記載されているレート変換技術では、逐次処理により映像音声復号化部と映像音声符号化部を切り替えながらレート変換ダビングを行う。これにより、映像音声復号化部および映像音声符号化部では、それぞれ停止期間が生じるため、処理の効率が低く、レート変換ダビングの処理時間は長くなってしまう。

　本発明は、上記課題を解決するために、映像音声データに関するレート変換ダビング時に、映像音声復号化部および映像音声符号化部が高い効率で並列に動作することで、処理時間を短縮できる映像音声変換装置および方法を提供することを目的とする。

　上記目的を達成するために、本発明のある局面に係る映像音声変換装置は、第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御する。

　この構成によると、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部の処理速度の差を吸収するために、各処理部は、前後の処理部における処理の進行状況に基づいて、自身の処理の停止および再開を制御している。これにより、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。

　また、前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を、前記多重部に通知し、前記多重部は、前記分離部より通知された前記時刻情報を用いて、第二符号化映像データと第二符号化音声データの多重化を行い、前記第二多重化データを生成してもよい。

　また、前記分離部は、前記分離部が多重分離した第一符号化映像データを前記分離部から前記映像復号化部へ転送する際に一時的に格納する第一中間バッファのデータ蓄積状態を監視することにより前記映像復号化部での復号化の進行状況を判断し、前記分離部が多重分離した第一符号化音声データを前記分離部から前記音声復号化部へ転送する際に一時的に格納する第二中間バッファのデータ蓄積状態を監視することにより前記音声復号化部での復号化の進行状況を判断し、前記映像復号化部は、前記第一中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記映像復号化部が生成した映像データを前記映像復号化部から前記映像符号化部へ転送する際に一時的に格納する第三中間バッファのデータ蓄積状況を監視することにより前記映像符号化部での符号化の進行状況を判断し、前記音声復号化部は、前記第二中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記音声復号化部が生成した音声データを前記音声復号化部から前記音声符号化部へ転送する際に一時的に格納する第四中間バッファのデータ蓄積状況を監視することにより前記音声符号化部での符号化の進行状況を判断し、前記映像符号化部は、前記第三中間バッファのデータ蓄積状況を監視することにより前記映像復号化部での復号化の進行状況を判断し、前記映像符号化部が生成した第二符号化映像データを前記映像符号化部から前記多重部へ転送する際に一時的に格納する第五中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、前記音声符号化部は、前記第四中間バッファのデータ蓄積状況を監視することにより前記音声復号化部での復号化の進行状況を判断し、前記音声符号化部が生成した第二符号化音声データを前記音声符号化部から前記多重部へ転送する際に一時的に格納する第六中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、前記多重部は、前記第五中間バッファのデータ蓄積状態を監視することにより前記映像符号化部での符号化の進行状況を判断し、前記第六中間バッファのデータ蓄積状態を監視することにより前記音声符号化部での符号化の進行状況を判断してもよい。

　また、上述の映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御してもよい。

　この構成によると、同期制御部が、映像データと音声データとの同期制御を行っている。これにより、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。

　また、前記分離部は、前記分離部が多重分離した第一符号化映像データを前記分離部から前記映像復号化部へ転送する際に一時的に格納する第七中間バッファのデータ蓄積状態を監視することにより前記映像復号化部での復号化の進行状況を判断し、前記分離部が多重分離した第一符号化音声データを前記分離部から前記音声復号化部へ転送する際に一時的に格納する第八中間バッファのデータ蓄積状態を監視することにより前記音声復号化部での復号化の進行状況を判断し、前記映像復号化部は、前記第七中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記映像復号化部が生成した映像データを前記映像復号化部から前記同期制御部へ転送する際に一時的に格納する第九中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、前記音声復号化部は、前記第八中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記音声復号化部が生成した音声データを前記音声復号化部から前記同期制御部へ転送する際に一時的に格納する第十中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、前記映像符号化部は、前記同期制御部が同期制御した映像データを前記同期制御部から前記映像符号化部へ転送する際に一時的に格納する第十一中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、前記映像符号化部が生成した第二符号化映像データを前記映像符号化部から前記多重部へ転送する際に一時的に格納する第十三中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、前記音声符号化部は、前記同期制御部が同期制御した音声データを前記同期制御部から前記音声符号化部へ転送する際に一時的に格納する第十二中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、前記音声符号化部が生成した第二符号化音声データを前記音声符号化部から前記多重部へ転送する際に一時的に格納する第十四中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、前記多重部は、前記第十三中間バッファのデータ蓄積状態を監視することにより前記映像符号化部での符号化の進行状況を判断し、前記第十四中間バッファのデータ蓄積状態を監視することにより前記音声符号化部での符号化の進行状況を判断してもよい。

　また、前記同期制御部は、Ｎ倍の速度で同期制御を行い、前記Ｎは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値であってもよい。

　また、上述の映像音声変換装置は、さらに、前記同期制御部へ遅延の制御通知を行う遅延制御部と、前記同期制御部での同期制御に対して前記映像復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第一遅延検知部と、前記同期制御部での同期制御に対して前記音声復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第二遅延検知部と、前記同期制御部での同期制御に対して前記映像符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第三遅延検知部と、前記同期制御部での同期制御に対して前記音声符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第四遅延検知部を備え、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部の各々は、前記遅延制御部に対して、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより遅延通知を受けると遅延の制御通知として前記同期制御部に同期制御の停止通知を行い、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより再開通知を受けると遅延の制御通知として前記同期制御部に同期制御の再開通知を行ってもよい。

　この構成によると、各遅延検知部が各処理部での処理の遅延を監視しており、その監視の結果に応じて同期制御部での処理を制御している。これにより、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。

　また、前記第一遅延検知部は、前記映像復号化部が生成した映像データを前記映像復号化部から前記同期制御部へ転送する際に一時的に格納する第九中間バッファのデータ蓄積状況に基づいて前記映像復号化部での復号化の遅延を検知し、前記第二遅延検知部は、前記音声復号化部が生成した音声データを前記音声復号化部から前記同期制御部へ転送する際に一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化部での復号化の遅延を検知し、前記第三遅延検知部は、前記同期制御部が同期制御した映像データを前記同期制御部から前記映像符号化部へ転送する際に一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化部での符号化の遅延を検知し、前記第四遅延検知部は、前記同期制御部が同期制御した音声データを前記同期制御部から前記音声符号化部へ転送する際に一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化部での符号化の遅延を検知してもよい。

　また、前記第一遅延検知部は、前記映像復号化部が生成した映像データのフレーム数と前記同期制御部が同期制御を行った映像データのフレーム数を監視することにより前記映像復号化部での復号化の遅延を検知し、前記第二遅延検知部は、前記音声復号化部が生成した音声データのフレーム数と前記同期制御部が同期制御を行った音声データのフレーム数を監視することにより前記音声復号化部での復号化の遅延を検知し、前記第三遅延検知部は、前記同期制御部が同期制御を行った映像データのフレーム数と前記映像符号化部が生成した第二符号化映像データのフレーム数を監視することにより前記映像符号化部での符号化の遅延を検知し、前記第四遅延検知部は、前記同期制御部が同期制御を行った音声データのフレーム数と前記音声符号化部が生成した第二符号化音声データのフレーム数を監視することにより前記音声符号化部での符号化の遅延を検知してもよい。

　また、前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから遅延通知を受けると前記同期制御部へ同期制御の停止信号を通知し、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから再開通知を受けると前記同期制御部へ同期制御の再開信号を通知し、前記同期制御部は、前記遅延制御部から停止信号を受けると同期制御の状態を保持して同期制御を停止し、前記遅延制御部から再開信号を受けると保持している停止時の状態で同期制御を再開してもよい。

　また、前記同期制御部は、Ｎ倍の速度で同期制御を行い、前記Ｎは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値であり、前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから遅延通知を受けると、前記同期制御部へ同期制御で使用する前記Ｎの切り替え信号を通知し、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから再開通知を受けると、前記同期制御部へ同期制御の再開信号を通知し、前記同期制御部は、前記遅延制御部から切り替え信号を受けると所定の値で減算した前記Ｎを同期制御の倍速値として使用し、前記遅延制御部から再開信号を受けると前記Ｎを同期制御の倍速値として使用してもよい。

　また、上述の映像音声変換装置は、さらに、前記同期制御部へ前記Ｎの通知を行う倍速通知部を備えていてもよい。

　また、前記倍速通知部は、外部からの指示により、通知する前記Ｎを選択してもよい。

　また、上述の映像音声変換装置は、さらに、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた前記Ｎを前記倍速通知部に通知する動作モード判定部を備え、前記倍速通知部は、前記動作モード判定部から通知された前記Ｎを前記同期制御部へ通知してもよい。

　この構成により、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するＮ値を選択することで、最適なレート変換ダビングを行うことができる。このため、映像復号化部、音声復号化部、映像符号化部および音声符号化部は、高画質化、高音質化の処理に時間を割くことができ、クオリティの高い第二多重化データを生成することができる。

　また、上述の映像音声変換装置は、さらに、レート変換ダビング開始前に前記Ｎの測定を行い、測定した前記Ｎを前記倍速通知部に通知する倍速測定部を備え、前記倍速通知部は、前記倍速測定部から通知された前記Ｎを前記同期制御部へ通知してもよい。

　この構成により、事前に動作モードごとの最適なＮ値を決定することなく、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するＮ値でレート変換ダビングを行うことができる。

　また、上述の映像音声変換装置は、さらに、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた動作モードを判定する動作モード判定部と、レート変換ダビング開始前に前記Ｎの測定を行う倍速測定部と、測定した前記Ｎを記録する倍速記録メモリとを備え、前記動作モード判定部は、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されている場合は、記録されている前記Ｎを前記倍速通知部に通知し、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されていない場合は、前記倍速測定部へ起動通知を行い、前記倍速測定部は、動作モードごとに最適な前記Ｎを測定し、前記倍速記録メモリ上に動作モードごとの前記Ｎを記録するとともに、前記倍速通知部へ前記Ｎを通知してもよい。

　この構成により、事前に動作モードごとの最適なＮ値を決定することなく、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するＮ値でレート変換ダビングを行うことができる。また、同じ動作モードで動作する場合、レート変換ダビングを開始するまでの時間を短縮することができる。

　また、上述の映像音声変換装置は、さらに、同期制御を行う速度の倍率であるＮをレート変換ダビング中に切り替えて、前記同期制御部へ通知する倍速通知部を備えてもよい。

　また、上述の映像音声変換装置は、さらに、所定の期間に前記遅延制御部による同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Ｎから所定の値を減算した値を前記Ｎとして、前記倍速通知部へ通知し、同期制御のタイミング調整が発生しなかった場合は、前記Ｎに所定の値を加算した値を前記Ｎとして、前記倍速通知部に通知する倍速測定部を備え、前記遅延制御部は、同期制御のタイミング調整が発生したことを前記倍速測定部へ通知し、前記倍速通知部は、前記倍速測定部から通知された前記Ｎを前記同期制御部へ通知してもよい。

　この構成により、動作モードが切り替わった場合でも、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するＮ値でレート変換ダビングを行うことができる。さらに、分離部に入力される第一多重化データに合わせて、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するＮ値でレート変換ダビングを行うことができる。

　また、上述の映像音声変換装置は、さらに、前記Ｎにより、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定を行う倍速判定部を備えてもよい。

　なお、本発明は、このような特徴的な処理部を備える映像音声変換装置として実現することができるだけでなく、映像音声変換装置に含まれる特徴的な処理部が実行する処理をステップとする映像音声変換方法として実現することができる。また、映像音声変換方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な不揮発性の記録媒体またはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

　本発明によれば、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部の処理速度の差を吸収するための調整制御を行うことにより、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。

図１は、実施の形態１における映像音声変換装置の機能的な構成を示すブロック図である。図２は、実施の形態２における映像音声変換装置の機能的な構成を示すブロック図である。図３は、実施の形態２における同期制御のタイミング図である。図４は、実施の形態２における同期タイミングでの基準時間ＳＴＣ’とＶＰＴＳおよびＡＰＴＳの関係図である。図５は、実施の形態３における映像音声変換装置の機能的な構成を示すブロック図である。図６は、実施の形態３における停止および再開による遅延制御のタイミング図である。図７は、実施の形態３におけるＮ値調整による遅延制御のタイミング図である。図８は、実施の形態３における音声データが前記第十中間バッファに供給されないパターンを示す図である。図９は、実施の形態４における映像音声変換装置の機能的な構成を示すブロック図である。図１０は、実施の形態４における倍速情報テーブルを示す図である。図１１は、実施の形態５における映像音声変換装置の機能的な構成を示すブロック図である。図１２は、実施の形態５における倍速測定制御の動作を示すフローチャートである。図１３は、実施の形態６における映像音声変換装置の機能的な構成を示すブロック図である。図１４は、実施の形態６における倍速決定制御の動作を示すフローチャートである。図１５は、実施の形態７における映像音声変換装置の機能的な構成を示すブロック図である。図１６は、実施の形態７における倍速切替制御のタイミング図である。図１７は、実施の形態７における倍速切替制御の動作を示すフローチャートである。図１８は、実施の形態８における映像音声変換装置の機能的な構成を示すブロック図である。図１９は、実施の形態８における倍速情報テーブルを示す図である。

　以下、本発明を実施するための形態について、図面を参照しながら説明する。

　（実施の形態１）
　図１は、本発明の実施の形態１における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態１では、ＨＤＤ００１およびＤＶＤ００２は記録手段であり、ＨＤＤ００１には、例えばテレビ放送のＭＰＥＧ等で圧縮された第一多重化データが記録されている。ＤＶＤ００２は、レート変換ダビング後の第二多重化データの記録のために用いる。また、記録手段はＨＤＤ、ＢＤ、ＳＤカード等の記録媒体でもよい。

　映像音声変換装置は、分離部１０１、映像復号化部１０２、音声復号化部１０３、映像符号化部１０４、音声符号化部１０５および多重部１０６より構成される。また、分離部１０１は、多重部１０６への時刻情報通知機能（ＳＩＧ２０１）を有し、多重部１０６は時刻情報を利用して映像データと音声データの同期制御を行う機能を有する。以下、これらの各ブロックと信号の流れを説明する。

　分離部１０１は、ＨＤＤ００１に記録されている第一多重化データの多重分離を行い、ＭＰＥＧ等で符号化された第一符号化映像データとＡＣ－３（Audio Code number 3）等で符号化された第一符号化音声データに分離し、第一符号化映像データを第一中間バッファ３０１に、第一符号化音声データを第二中間バッファ３０２にそれぞれ格納する。また、分離部１０１は、第一多重化データに付加されている映像データおよび音声データに対する出力時刻情報（ＰＴＳ）および復号時刻情報（ＤＴＳ）、システム時刻基準情報（ＳＣＲ）、ならびにプログラム時刻基準情報（ＰＣＲ）などの時刻情報を多重部１０６へ通知（ＳＩＧ２０１）する。

　映像復号化部１０２は、第一中間バッファ３０１に格納された第一符号化映像データに対して復号化処理を行い、復号化した映像データを第三中間バッファ３０３に格納する。

　音声復号化部１０３は、第二中間バッファ３０２に格納された第一符号化音声データに対して復号化処理を行い、復号化した音声データを第四中間バッファ３０４に格納する。

　映像符号化部１０４は、第三中間バッファ３０３に格納された映像データをＭＰＥＧ等の圧縮データへの符号化処理を行い、符号化した第二符号化映像データを第五中間バッファ３０５に格納する。このとき、映像復号化部１０２が復号化した映像データを別途高画質化または解像度変換などの映像処理をした後に映像符号化部１０４は符号化処理を行ってもよい。

　音声符号化部１０５は、第四中間バッファ３０４に格納された音声データを所定の圧縮データへの符号化処理を行い、符号化した第二符号化音声データを第六中間バッファ３０６に格納する。このとき、音声復号化部１０３が復号化した音声データを別途高音質化などの音声処理をした後に音声符号化部１０５は符号化処理を行ってもよい。

　映像符号化部１０４および音声符号化部１０５における符号化処理では、ＨＤＤ００１に記録する際の圧縮率と異なる圧縮率でデータを再圧縮（レート変換）する。再圧縮する方法は、例えば従来例で説明した方法があり、本実施の形態でも適用できる。

　多重部１０６は、分離部１０１より通知された時刻情報を用いて、第五中間バッファ３０５に格納された第二符号化映像データと第六中間バッファ３０６に格納された第二符号化音声データを、第一多重化データにおける第一符号化映像データと第一符号化音声データの間で時間軸上の関係が同じになるようにそれぞれ配置することにより第二多重化データを生成する。この制御により第二符号化映像データと第二符号化音声データの同期制御を行いながら多重化を行った後、第二多重化データをＤＶＤ００２へ記録する。

　また、映像音声変換装置は、映像データおよび音声データのうち一方のみを再圧縮してもよい。映像データのみを再圧縮する場合を説明する。分離部１０１は、第一多重化データの多重分離を行い、ＭＰＥＧ等で符号化された第一符号化映像データとＡＣ－３等で符号化された第一符号化音声データに分離する。第一符号化映像データは、第一中間バッファ３０１に転送され、以降、映像復号化部１０２で復号化を行い、映像符号化部１０４で符号化を行い、第五中間バッファ３０５へ転送される。一方、第一符号化音声データは、第二中間バッファ３０２に転送されずに、第六中間バッファ３０６に直接転送される。多重部１０６は、第五中間バッファ３０５に格納された第二符号化映像データと第六中間バッファ３０６に格納された第一符号化音声データの多重化を行い、第二多重化データをＤＶＤ００２へ記録する。ここでは、映像データの再圧縮の場合について説明したが、音声データのみの再圧縮の場合についても同様の処理を行う。

　次に、分離部１０１、映像復号化部１０２、音声復号化部１０３、映像符号化部１０４、音声符号化部１０５および多重部１０６の処理速度の差による、各中間バッファのオーバーフローとアンダーフローの回避制御に関して説明する。分離部１０１、映像復号化部１０２、音声復号化部１０３、映像符号化部１０４、音声符号化部１０５および多重部１０６は、それぞれ、前段に存在する中間バッファ（分離部１０１には前段にバッファは存在しないため非該当）および後段に存在する中間バッファ（多重部１０６には後段に中間バッファは存在しないため非該当）のデータの蓄積状態を監視する。分離部１０１、映像復号化部１０２、音声復号化部１０３、映像符号化部１０４、音声符号化部１０５および多重部１０６は、それぞれ、前段に存在する中間バッファ内のデータ残量が所定の閾値を下回った場合は、中間バッファのアンダーフローが発生しないように、処理を停止し、データ残量が所定の閾値を上回った場合は、処理を再開する。また、後段に存在する中間バッファ内の空き残量が所定の閾値を下回った場合は、中間バッファのオーバーフローが発生しないように処理を停止し、空き残量が所定の閾値を上回った場合は、処理を再開する。

　この構成により、分離部１０１、映像復号化部１０２、音声復号化部１０３、映像符号化部１０４、音声符号化部１０５および多重部１０６が最善な処理速度でレート変換ダビングを実現することができる。また、第一多重化データの時刻情報を使用することで映像と音声の同期の取れた正確な再生を可能とする第二多重化データを生成することができる。

　なお、本発明に係る映像音声変換装置の必須の構成要素は、分離部１０１と、映像復号化部１０２と、音声復号化部１０３と、映像符号化部１０４と、音声符号化部１０５と、多重部１０６とであり、その他の構成要素は映像音声変換装置の外部に備えられていてもよい。

　（実施の形態２）
　図２は、本発明の実施の形態２における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態１と同様に、ＨＤＤ００１およびＤＶＤ００２は記録手段であり、ＨＤＤ００１には、例えばテレビ放送のＭＰＥＧ等で圧縮された第一多重化データが記録されている。ＤＶＤ００２は、レート変換ダビング後の第二多重化データの記録のために用いる。また、記録手段はＳＤカード等でもよい。

　実施の形態２の映像音声変換装置は、分離部１０７と、映像復号化部１０８と、音声復号化部１０９と、映像符号化部１１０と、音声符号化部１１１と、多重部１１２と、同期制御部４０１と、第七中間バッファ５０１と、第八中間バッファ５０２と、第九中間バッファ５０３と、第十中間バッファ５０４と、第十一中間バッファ５０５と、第十二中間バッファ５０６と、第十三中間バッファ５０７と、第十四中間バッファ５０８とより構成される。

　分離部１０７は、ＨＤＤ００１に記録されている第一多重化データの多重分離を行い、ＭＰＥＧ等で符号化された第一符号化映像データとＡＣ－３等で符号化された第一符号化音声データに分離する。

　映像復号化部１０８は、分離部１０７で多重分離された第一符号化映像データを復号化する。

　音声復号化部１０９は、分離部１０７で多重分離された第一符号化音声データを復号化する。

　映像符号化部１１０は、映像復号化部１０８で復号化された映像データを符号化する。

　音声符号化部１１１は、音声復号化部１０９で復号化された音声データを符号化する。

　多重部１１２は、映像符号化部１１０で符号化された第二符号化映像データと音声符号化部１１１で符号化された第二符号化音声データの多重化を行い、第二多重化データを生成する。

　同期制御部４０１は、映像復号化部１０８が復号化した映像データの映像符号化部１１０への転送と音声復号化部１０９が復号化した音声データの音声符号化部１１１への転送のタイミングを調整する。

　第七中間バッファ５０１は、分離部１０７が多重分離した第一符号化映像データを分離部１０７から映像復号化部１０８へ転送する際に一時的に格納する。

　第八中間バッファ５０２は、分離部１０７が多重分離した第一符号化音声データを分離部１０７から音声復号化部１０９へ転送する際に一時的に格納する。

　第九中間バッファ５０３は、映像復号化部１０８が復号化した映像データを映像復号化部１０８から同期制御部４０１へ転送する際に一時的に格納する。

　第十中間バッファ５０４は、音声復号化部１０９が復号化した音声データを音声復号化部１０９から同期制御部４０１へ転送する際に一時的に格納する。

　第十一中間バッファ５０５は、同期制御部４０１が同期制御した映像データを同期制御部４０１から映像符号化部１１０へ転送する際に一時的に格納する。

　第十二中間バッファ５０６は、同期制御部４０１が同期制御した音声データを同期制御部４０１から音声符号化部１１１へ転送する際に一時的に格納する。

　第十三中間バッファ５０７は、映像符号化部１１０が符号化した第二符号化映像データを映像符号化部１１０から多重部１１２へ転送する際に一時的に格納する。

　第十四中間バッファ５０８は、音声符号化部１１１が符号化した第二符号化音声データを音声符号化部１１１から多重部１１２へ転送する際に一時的に格納する。

　また、分離部１０７は、同期制御部４０１へ時刻情報を通知（ＳＩＧ４０２）する機能を有する。以下、これらの各ブロックと信号の流れを説明する。

　図３は同期制御部４０１での同期制御タイミングを示している。図３の横軸は、レート変換ダビング開始からの経過時間ｔを示している。

　レート変換ダビングの変換速度の倍速値をＮとした場合、同期制御部４０１は、ビデオフレーム周期（例えばＨＤＴＶ（High Definition Television）の１０８０ｉであれば１／２９．９７Ｈｚ）を１／Ｎ倍した周期で映像復号化部１０８が復号化した映像データの転送制御を行う。また、同期制御部４０１は、オーディオフレーム周期（例えばＡＡＣ（Advanced Audio Coding）であれば１０２４／４８ｋＨｚ）を１／Ｎ倍した周期で音声復号化部１０９が復号化した音声データの転送制御を行う。すなわち、Ｎ＝１（１倍速）の場合は、映像および音声のフレーム周期で同期制御を行い、Ｎ＝２（２倍速）の場合は、映像および音声のフレーム周期の１／２の周期で同期制御を行う。

　図４は同期制御部４０１での同期制御について説明するための図である。図４の横軸は、レート変換ダビング開始からの経過時間ｔを示し、縦軸は、時刻情報の値を示している。

　同期制御部４０１は、レート変換ダビング開始時にシステム基準時間ＳＴＣ（System Time Clock）をＮ値（Ｎの値）で乗算した値を求め、分離部１０７より通知される初回の時刻情報（タイムスタンプ、ＳＣＲ（System Clock Reference）、またはＰＣＲ（Program Clock Reference）など）から減算してｓｔｃ＿ｂａｓｅを求める。次に、同期制御部４０１は、前記映像データ転送の同期制御タイミングで、ｓｔｃ＿ｂａｓｅにＳＴＣを前記Ｎ値で乗算した値を加算して求めたＳＴＣ’と、分離部１０７より通知される時刻情報に含まれる映像データの出力に関する映像出力時刻情報（ＶＰＴＳ）を比較する。ＶＰＴＳからＳＴＣ’を減算した値が所定の閾値より小さい、もしくは、ＳＴＣ’からＶＰＴＳを減算した値が所定の閾値より小さい場合は、同期制御部４０１は、映像復号化部１０８で復号化された映像データの転送制御を行う。ＶＰＴＳからＳＴＣ’を減算した値が所定の閾値より大きい場合、同期制御部４０１は、該当の映像データの出力時間に達していないと判断し、黒データもしくは前回の同期制御タイミングで転送した映像データの転送制御を行う。ＳＴＣ’からＶＰＴＳを減算した値が所定の閾値より大きい場合、同期制御部４０１は、該当の映像データの出力時間を過ぎていると判断し、該当の映像データは転送を行わずに破棄し、次のＶＰＴＳとＳＴＣ’の比較を行う。映像データの欠落またはエラーによりＶＰＴＳが不正値であった場合にも同様の制御となる。また、映像データが存在しない場合または映像データが欠落している場合に、新たなＶＰＴＳが分離部１０７より通知されなければ、同期制御部４０１は、黒データもしくは前回の同期制御タイミングで転送した映像データの転送制御を行う。ｓｔｃ＿ｂａｓｅおよびＳＴＣ’を求める式を以下に示す。

　　　ｓｔｃ＿ｂａｓｅ＝時刻情報－ＳＴＣ×Ｎ　　…式１
　　　ＳＴＣ’＝ｓｔｃ＿ｂａｓｅ＋ＳＴＣ×Ｎ　　…式２

　また、同期制御部４０１は、前記音声データ出力の同期制御タイミングで上記ＳＴＣ’と分離部１０７より通知される時刻情報に含まれる音声データの出力に関する音声出力時刻情報（ＡＰＴＳ）を比較する。ＡＰＴＳからＳＴＣ’を減算した値が所定の閾値より小さい、もしくは、ＳＴＣ’からＡＰＴＳを減算した値が所定の閾値より小さい場合は、同期制御部４０１は、音声復号化部１０９で復号化された音声データの転送制御を行う。ＡＰＴＳからＳＴＣ’を減算した値が所定の閾値より大きい場合、同期制御部４０１は、該当の音声データの出力時間に達していないと判断し、無音データの転送制御を行う。ＳＴＣ’からＡＰＴＳを減算した値が所定の閾値より大きい場合、同期制御部４０１は、該当の音声データの出力時間を過ぎていると判断し、該当の音声データは転送を行わずに破棄し、次のＡＰＴＳとＳＴＣ’の比較を行う。音声データの欠落またはエラーによりＡＰＴＳが不正値であった場合にも同様の制御となる。また、音声データが存在しない場合、または音声データが欠落している場合に、新たなＡＰＴＳが分離部１０７より通知されなければ、同期制御部４０１は、無音データの転送制御を行う。

　これにより、映像符号化部１１０および音声符号化部１１１は、映像データと音声データの同期が取れた状態で符号化を行うことができる。また、多重部１１２では、映像データおよび音声データのフレーム周期と符号化済みフレーム数より決定される多重化の時間に対して、映像符号化部１１０および音声符号化部１１１が符号化した第二符号化映像データおよび第二符号化音声データを所定の順で多重化すればよいため、実施の形態１で示した同期制御は不要となる。

　なお、分離部１０７が時刻情報を多重部１１２へ通知するタイミングが一定でないことによる時刻情報とＳＴＣ’のずれに関しては、リアルタイム性が要求される等倍のレート変換ダビングではないため、特に考慮する必要はない。

　レート変換ダビングの変換速度の倍速値のＮについて説明する。Ｎ値は、実施の形態２で示す映像音声変換装置を用いて、同期制御に対して分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２に遅延が発生せずに、レート変換ダビングを行うことを保証障できる値である。以下にＮ値の算出式を示す。

　　　Ｎ＝ｍｉｎ（Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６）　　…式３
　　　Ｓ１（Ｓ１ｍｉｎ≦Ｓ１≦Ｓ１ｍａｘ）：分離部１０７のスループットの倍率
　　　Ｓ２（Ｓ２ｍｉｎ≦Ｓ２≦Ｓ２ｍａｘ）：映像復号化部１０８のスループットの倍率
　　　Ｓ３（Ｓ３ｍｉｎ≦Ｓ３≦Ｓ３ｍａｘ）：音声復号化部１０９のスループットの倍率
　　　Ｓ４（Ｓ４ｍｉｎ≦Ｓ４≦Ｓ４ｍａｘ）：映像符号化部１１０のスループットの倍率
　　　Ｓ５（Ｓ５ｍｉｎ≦Ｓ５≦Ｓ５ｍａｘ）：音声符号化部１１１のスループットの倍率
　　　Ｓ６（Ｓ６ｍｉｎ≦Ｓ６≦Ｓ６ｍａｘ）：多重部１１２のスループットの倍率

　Ｎを算出するための関数ｍｉｎ（）は引数の中から最小の値を求める関数となっている。また、各引数は分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１または多重部１１２のスループットの倍率を示しており、処理のゆらぎによりＳｉｍｉｎからＳｉｍａｘの値をとる（ｉは各ブロックの番号）。

　例えば、関数ｍｉｎ（）の引数となる各ブロックのスループットの倍率Ｓが以下の値をとる場合、Ｎは２．４となる。

　　　Ｓ１（３．１≦Ｓ１≦４．９）
　　　Ｓ２（２．７≦Ｓ２≦４．０）
　　　Ｓ３（２．４≦Ｓ３≦４．１）
　　　Ｓ４（３．４≦Ｓ４≦４．４）
　　　Ｓ５（２．９≦Ｓ５≦４．７）
　　　Ｓ６（２．８≦Ｓ６≦３．９）

　最小のＮを選択することで、同期制御に対して分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２が遅延することなくレート変換ダビングを行うことができる。

　また、映像復号化部１０８は、映像符号化部１１０での符号化の進行状況として、同期制御部４０１での同期制御の進行状況に基づいて、映像復号化部１０８での復号化の停止および再開を制御してもよい。音声復号化部１０９は、音声符号化部１１１での符号化の進行状況として、同期制御部４０１での同期制御の進行状況に基づいて、音声復号化部１０９での復号化の停止および再開を制御してもよい。映像符号化部１１０は、映像復号化部１０８が生成した映像データの符号化として、同期制御部４０１で同期された映像データの符号化を行い、映像復号化部１０８での復号化の進行状況として、同期制御部４０１での同期制御の進行状況に基づいて、符号化の停止および再開を制御してもよい。音声符号化部１１１は、音声復号化部１０９が生成した音声データの符号化として、同期制御部４０１で同期された音声データの符号化を行い、音声復号化部１０９での復号化の進行状況として、同期制御部４０１での同期制御の進行状況に基づいて、符号化の停止および再開を制御してもよい。

　また、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２は、それぞれ、前段に存在する中間バッファ（分離部１０７には前段にバッファは存在しないため非該当）および後段に存在する中間バッファ（多重部１１２には後段に中間バッファは存在しないため非該当）のデータの蓄積状態を監視する。分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２は、それぞれ、前段に存在する中間バッファ内のデータ残量が所定の閾値を下回った場合は、中間バッファがアンダーフローしないように、処理を停止し、データ残量が所定の閾値を上回った場合は、処理を再開する。また、後段に存在する中間バッファ内の空き残量が所定の閾値を下回った場合は、中間バッファがオーバーフローしないように処理を停止し、空き残量が所定の閾値を上回った場合は、処理を再開する。これにより、同期制御の処理速度と分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２の処理速度との差による各中間バッファのオーバーフローまたはアンダーフローを回避することができる。

　この構成により、第一多重化データの時刻情報の異常または映像データおよび音声データの欠落等の異常系にも対応したＮ倍速のレート変換ダビングを実現することができる。また、第一多重化データの時刻情報を使用することで映像と音声の同期の取れた正確な再生を可能とする第二多重化データを生成することができる。

　（実施の形態３）
　図５は、実施の形態３における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態３における映像音声変換装置は、図２に示した実施の形態２における映像音声変換装置の構成に加え、倍速通知部１２０１と、遅延制御部７０１と、第一遅延検知部８０１と、第二遅延検知部８０２と、第三遅延検知部８０３と、第四遅延検知部８０４とを備える。

　倍速通知部１２０１は、同期制御部４０１へレート変換ダビングの変換速度の倍速値を通知する。

　遅延制御部７０１は、同期制御部４０１へ遅延の制御通知（ＳＩＧ７０２）を行う。

　第一遅延検知部８０１は、映像復号化部１０８での復号化の遅延を検知する。

　第二遅延検知部８０２は、音声復号化部１０９での復号化の遅延を検知する。

　第三遅延検知部８０３は、映像符号化部１１０での符号化の遅延を検知する。

　第四遅延検知部８０４は、音声符号化部１１１での符号化の遅延を検知する。

　また、分離部１０７は、第一多重化データの異常時に、第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４を停止する機能を有する。以下、これらの各ブロックと信号の流れを説明する。

　倍速通知部１２０１は、レート変換ダビング開始時に実施の形態２の式３で求められるＮ値を超える値（例えば、Ｎ＋１など）をＮ値として同期制御部４０１へ通知（ＳＩＧ１２０２）する。同期制御部４０１は、倍速通知部１２０１からのＮ値を同期制御タイミングおよび前記ＳＴＣ’の計算値として使用する。

　第一遅延検知部８０１は、同期制御に対する映像復号化部１０８での復号化の遅延を検知する。第二遅延検知部８０２は、同期制御に対する音声復号化部１０９での復号化の遅延を検知する。第三遅延検知部８０３は、同期制御に対する映像符号化部１１０での符号化の遅延を検知する。第四遅延検知部８０４は、同期制御に対する音声符号化部１１１での符号化の遅延を検知する。第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４は、遅延を検知した場合に遅延制御部７０１へ遅延通知を行う。

　遅延制御部７０１は、第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４のいずれかから遅延通知を受けると、遅延の制御通知として同期制御部４０１に同期制御の停止通知を行う。同期制御の停止により遅延が解消されると、第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４のうち遅延通知を行ったブロックは、遅延制御部７０１へ再開通知を行う。遅延制御部７０１は、再開通知を受けると、遅延の制御通知として同期制御部４０１に同期制御の再開通知を行う（上記の制御を遅延制御と呼ぶ）。前記遅延制御により、実施の形態２の映像音声変換装置が保証障できるＮ倍を超える倍速で同期制御を行うことによる同期制御に対する分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２の処理の遅延を回避することができる。

　遅延制御方法の詳細について図６を参照しつつ説明する。簡略化のため数値は単純化している。図６の横軸は、レート変換ダビング開始からの経過時間ｔを示している。

　同期制御部４０１は、遅延制御部７０１より停止通知を受けると、同期制御の停止を行うとともにそれぞれの同期制御の停止位置（映像データの同期制御の周期および音声データの同期制御の周期に対して進んだ位置）と停止時のＳＴＣ’（ｐａｓｔＳＴＣ’＝４０）を記録しておく。同期制御が停止している期間、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２は動作を続ける。これにより、ボトルネックとなる部分が解消されると、第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４のうち遅延通知を行ったブロックは遅延制御部７０１へ再開通知を出し、遅延制御部７０１は遅延再開通知を受けると同期制御部４０１へ再開通知を出す。同期制御部４０１は、再開通知を受けると、停止前の映像データの転送タイミングと音声データの転送タイミングを保った状態で同期制御を再開する。このとき、停止期間にもＳＴＣは進んでいるため、式２で求めるＳＴＣ’（＝５２）も進むことになり補正が必要となる。そこで、再開時のＳＴＣ’（ｐｒｅＳＴＣ’＝５２）と停止時のＳＴＣ’（ｐａｓｔＳＴＣ＝４０）の差分を補正値ＳＴＣ’＿ｄｉｆｆとしてＳＴＣ’より減算することで、再開時にも同期がずれることはない。また、式１のｓｔｃ＿ｂａｓｅ算出時には、ＳＴＣ’＿ｄｉｆｆは０クリアする。補正を含むＳＴＣ’の算出式を以下に示す。

　　　ＳＴＣ’＿ｄｉｆｆ＝ＳＴＣ’＿ｄｉｆｆ＋（ｐｒｅＳＴＣ－ｐａｓｔＳＴＣ）…式４
　　　ＳＴＣ’＝ｓｔｃ＿ｂａｓｅ＋ＳＴＣ×Ｎ－ＳＴＣ’＿ｄｉｆｆ　　…式５
　　　ＳＴＣ’＿ｄｉｆｆ：再開時の補正値
　　　ｐｒｅＳＴＣ’：再開時のＳＴＣ’の値
　　　ｐａｓｔＳＴＣ’：停止時のＳＴＣ’の値

　このように同期制御タイミングの状態復帰とＳＴＣ’の補正を行うことにより、遅延制御後も映像データの転送タイミングと音声データの転送タイミングを乱すことなく同期制御を再開することができる。

　また、遅延制御部７０１は、第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４からの遅延通知、再開通知が重なった場合、例えば、各遅延検知部に対応するフラグを設けることで対応することができる。遅延制御部７０１は、各遅延検知部からの遅延通知によってフラグを立て、再開通知によりフラグを落とし、全てのフラグが落ちた時点で同期制御を再開する制御を行う。もしくは、複数の遅延通知に対して同数の再開通知が来た時点で同期制御を再開する制御を行うことで、第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４からの遅延通知、再開通知が重なった場合でも整合性を保った制御ができる。

　なお、遅延制御方法は、同期制御の停止、再開制御ではなく、レート変換ダビングの倍速値であるＮ値の調整で行ってもよい。

　図７はＮ値の調整による遅延制御方法について示した図である。図７の横軸は、レート変換ダビング開始からの経過時間ｔを示している。

　遅延制御部７０１は、いずれかの遅延検知部からの遅延通知を受けると、同期制御部４０１へＮ値を通知する（２→１）。遅延制御部７０１からＮ値を受け取った同期制御部４０１は、システム基準時間ＳＴＣを前記Ｎ値で乗算した値を求め、ＳＴＣ’から減算してｓｔｃ＿ｂａｓｅを補正する。また、同期制御部４０１は、同期制御のタイミング（フレーム周期×１／２→フレーム周期×１／１）とＳＴＣ’のカウントアップ値（２→１）をそれぞれ切り替えて同期制御を行う。これにより、ボトルネックとなる部分が解消されると、遅延通知を出した遅延検知部は遅延制御部７０１に再開通知を出す。遅延制御部７０１は、再開通知を受けると、同期制御部４０１へＮ値を通知する（１→２）。遅延制御部７０１からＮ値を受け取った同期制御部４０１は、システム基準時間ＳＴＣを前記Ｎ値で乗算した値を求め、ＳＴＣ’から減算してｓｔｃ＿ｂａｓｅを補正する。同期制御部４０１は同期制御のタイミング（フレーム周期×１／１→フレーム周期×１／２）とＳＴＣ’のカウントアップ値（１→２）をそれぞれ切り替えて同期制御を行う。補正時のｓｔｃ＿ｂａｓｅの算出式を以下に示す。

　　　ｓｔｃ＿ｂａｓｅ＝ＳＴＣ’－ＳＴＣ×Ｎ　　…式６

　上記制御により、Ｎ値を調整することによる遅延制御を実現することができる。

　次に第一遅延検知部８０１、第二遅延検知部８０２、第三遅延検知部８０３および第四遅延検知部８０４の詳細な動作について説明する。

　第一遅延検知部８０１は、映像復号化部１０８での復号化の遅延を検知するために第九中間バッファ５０３内のデータ量を監視する。映像復号化部１０８での復号化が遅延することにより、第九中間バッファ５０３内のデータ量が遅延判定用の閾値を下回った場合、第一遅延検知部８０１は、同期制御を一時停止するために遅延制御部７０１へ遅延通知を行う。遅延制御部７０１の遅延制御によって同期制御が停止することにより、第一中間バッファ３０１内のデータは消費されないため、映像復号化部１０８での復号化によりデータ量は増加していく。データ量が増加し、再開判定用の閾値を上回った場合、第一遅延検知部８０１は、同期制御を再開するために遅延制御部７０１へ再開通知を行う。これにより、映像復号化部１０８の処理が遅延することによる第九中間バッファ５０３のアンダーフローの発生を、防ぐことができる。

　また、第三遅延検知部８０３は、映像符号化部１１０での符号化の遅延を検知するために第十一中間バッファ５０５内のデータ量を監視する。映像符号化部１１０での符号化が遅延することにより、第十一中間バッファ５０５内のデータ量が遅延判定用の閾値を上回った場合、第三遅延検知部８０３は、同期制御を一時停止するために遅延制御部７０１へ遅延通知を行う。遅延制御部７０１の遅延制御によって同期制御が停止することにより、第十一中間バッファ５０５へ映像データは供給されないため、映像符号化部１１０での符号化によりデータ量は減少していく。データ量が減少し、再開判定用の閾値を下回った場合、第三遅延検知部８０３は、同期制御を再開するために遅延制御部７０１へ再開通知を行う。これにより、映像符号化部１１０での符号化が遅延することによる第十一中間バッファ５０５のオーバーフローの発生を防ぐことができる。

　例えば、中間バッファのデータ量に閾値を設ける場合、映像データの解像度から１フレーム分のサイズを求め、閾値に用いてもよい。すなわち、復号化した映像データの解像度が１９２０×１０８０で１画素２４ｂｉｔの場合、１９２０×１０８０×２４＝４９７６６４００ｂｉｔ（６２２０８００ｂｙｔｅ）単位で閾値を算出して用いる。

　また、遅延検知方法は、中間バッファのデータ量の監視の代わりに、中間バッファに格納されたフレーム数を監視してもよい。

　ここでは、映像復号化部１０８での復号化と映像符号化部１１０での符号化の遅延について説明したが、音声復号化部１０９での復号化と音声符号化部１１１での符号化の遅延についても、第二遅延検知部８０２と第四遅延検知部８０４において、同様の処理を行う。

　なお、第一遅延検知部８０１は、映像復号化部１０８が生成した映像データのフレーム数と同期制御部４０１が同期制御を行った映像データのフレーム数を監視することにより映像復号化部１０８での復号化の遅延を検知してもよい。第二遅延検知部８０２は、音声復号化部１０９が生成した音声データのフレーム数と同期制御部４０１が同期制御を行った音声データのフレーム数を監視することにより音声復号化部１０９での復号化の遅延を検知してもよい。第三遅延検知部８０３は、同期制御部４０１が同期制御を行った映像データのフレーム数と映像符号化部１１０が生成した第二符号化映像データのフレーム数を監視することにより映像符号化部１１０での符号化の遅延を検知してもよい。第四遅延検知部８０４は、同期制御部４０１が同期制御を行った音声データのフレーム数と音声符号化部１１１が生成した第二符号化音声データのフレーム数を監視することにより音声符号化部１１１での符号化の遅延を検知してもよい。

　次に、異常系の遅延制御に関して説明する。図８は、音声データが第十中間バッファ５０４に供給されない場合のパターンを示した図である。それぞれのパターンにおける遅延制御について説明する。

　音声が存在しない第一多重化データにより、音声データが第十中間バッファ５０４に供給されない場合について説明する。分離部１０７は、例えばＭＰＥＧのシステムヘッダ等の情報を解析することで、第一符号化音声データが存在しないことを判定する。この判定により、第一多重化データに第一符号化音声データが存在しないと判定したら、分離部１０７は、第二遅延検知部８０２および第四遅延検知部８０４を停止（ＳＩＧ７０３）する。この異常系の制御により、音声が存在しない第一多重化データが原因で第十中間バッファ５０４にデータが供給されない場合でも同期制御が停止することは無くなる。

　第一符号化音声データが欠落もしくは第一符号化音声データが不定な期間存在しないことにより、第十中間バッファ５０４に音声データが供給されない場合について説明する。分離部１０７は、ＳＣＲまたはＰＣＲなどの時刻情報と音声出力時刻情報から、ＳＴＣ’に対して第一符号化音声データが存在しない期間を判定する。この判定により、第一多重化データに第一符号化音声データが存在しない期間と判定したら、分離部１０７は、第二遅延検知部８０２および第四遅延検知部８０４を停止する。この異常系の制御により、第一符号化音声データが欠落もしくは第一符号化音声データが不定な期間存在しないことが原因で第十中間バッファ５０４にデータが供給されない場合でも同期制御が停止することは無くなる。

　同期制御に対して分離部１０７の多重分離が遅延することにより、第十中間バッファ５０４に音声データが供給されない場合については、異常系の制御は必要なく、正常系の遅延制御を行えばよい。

　ここでは、音声データの場合について説明したが、映像データの場合についても同様の処理を行う。

　この構成により、実施の形態２と同等の異常系の機構を備えつつ、実施の形態２でのＮ値よりも大きなＮ値で同期制御を行い、同期制御に対する分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２の遅延に対しては遅延制御を行うことで、映像データと音声データの同期を乱すことなく、実施の形態２よりも高速なレート変換ダビングを実現できる。また、各ブロックの処理性能を上げた場合にも、Ｎ値を変更するだけで、この構成を変えることなくレート変換ダビングの性能を上げることができる。

　（実施の形態４）
　図９は、実施の形態４における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態４における映像音声変換装置は、図５に示した実施の形態３における映像音声変換装置の構成に加え、動作モード判定部１４０１を備える。以下、各ブロックと信号の流れを説明する。

　動作モード判定部１４０１は、レート変換ダビング時の分離部１０７の多重分離、映像復号化部１０８での復号化、音声復号化部１０９での復号化、映像符号化部１１０での符号化、音声符号化部１１１での符号化、または多重部１１２の多重化に影響する各要素（例えば、第一多重化データにおける映像データの解像度、第二多重化データにおける映像データの解像度、第一多重化データのビットレート、第二多重化データのビットレート、第一多重化データにおける映像データのフレームレート、第二多重化データにおける映像データのフレームレート、第一多重化データにおける音声データのサンプリング周波数、第二多重化データにおける音声データのサンプリング周波数、第一多重化データにおける映像データのコーデック、第二多重化データにおける映像データのコーデック、第一多重化データにおける音声データのコーデック、第二多重化データにおける音声データのコーデック、第一多重化データにおける音声データのチャンネル数、第二多重化データにおける音声データのチャンネル数、第一多重化データの多重化形式、または第二多重化データの多重化形式など、全ての要素を漏れなく指している）の判定を行い、動作モードを決定する。動作モードは、解像度、ビットレートなどの各要素の組み合わせに応じて、それぞれ動作モード１、２、３・・・といった具合に定義される。動作モード判定部１４０１は、図１０に示す倍速情報テーブルから動作モードごとに最適なＮ値を選択して倍速通知部１２０１へ通知（ＳＩＧ１４０２）する。Ｎ値を受け取った倍速通知部１２０１は、同期制御部４０１へＮ値を通知する。

　この構成により、動作モードごとに分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２が最適に動作するＮ値を選択することで、最適なレート変換ダビングを行うことができる。さらに、Ｎ値が１未満の倍速で動作することにより、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２に多くの処理時間を割り当てることができるため、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０および音声符号化部１１１は、高画質化、高音質化の処理に時間を割くことができ、クオリティの高い第二多重化データを生成することができる。

　なお、本実施の形態では動作モードに応じてＮ値を決定する例を示したが、動作モードとは無関係に、倍速通知部１２０１は、外部からの指示により、通知するＮを選択してもよい。

　（実施の形態５）
　図１１は、実施の形態５における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態５における映像音声変換装置は、図５に示した実施の形態３における映像音声変換装置の構成に加え、倍速測定部１５０１を備える。また、遅延制御部７０１は、遅延発生の情報を倍速測定部１５０１に通知（ＳＩＧ１５０３）する機能を有する。以下、これらの各ブロックと信号の流れを説明する。

　実施の形態５では、実施の形態４とは異なるレート変換ダビングのＮ値の選択方法として、レート変換ダビング開始前にＮ値を測定することによってＮ値を選択する方法について説明する。

　図１２は、レート変換ダビング開始前にＮ値を測定するための倍速測定方法を説明するためのフローチャートである。

　Ｓ１０１では、倍速測定部１５０１は、前記式３で求められるＮ値を取得する。

　Ｓ１０２では、倍速測定部１５０１は、レート変換ダビング用のＮ値が決定した際に使用するＮ値をＮ’としてバッファ（図示せず）に退避する。

　Ｓ１０３では、倍速測定部１５０１は、Ｎ値に所定の値αを加算することで、レート変換ダビングで使用するＮ値を求める。

　Ｓ１０４では、所定の期間のレート変換ダビングを実行し、倍速測定部１５０１は、遅延制御部７０１より遅延発生の情報（ＳＩＧ１５０２）を受け、遅延制御の発生回数をカウントする。

　Ｓ１０５では、倍速測定部１５０１は、遅延制御の発生回数と所定の閾値を判定する。ここで、遅延制御の発生回数が閾値を上回っていればＳ１０６へ進み、下回っていればＳ１０２へ戻り、Ｎ値をＮ’としてバッファ（図示せず）に退避して再度レート変換ダビングを行う。

　Ｓ１０６では、倍速測定部１５０１は、Ｓ１０２でバッファに退避しておいたＮ’の値をＮ値に代入することで、倍速通知部１２０１へ通知する実際のレート変換ダビングで使用するＮ値を決定する。

　この構成により、事前に動作モードごとの最適なＮ値を決定することなく、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２が最適に動作するＮ値でレート変換ダビングを行うことができる。

　αの値は、小さな値を与えると最適なＮ値の精度は向上するが、最適な値に到達するまでに時間がかかることになる。また、大きな値を与えると、最適な値に到達するまでの時間は短縮するが、最適なＮ値の精度は下がる。なお、αの値は、装置固有で持つ値としても良いし、外部から与えても良い。

　（実施の形態６）
　図１３は、実施の形態６における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態６における映像音声変換装置は、図５に示した実施の形態３における映像音声変換装置の構成に加え、第二動作モード判定部１６０１、第二倍速測定部１６０２および倍速記録メモリ１６０３を備える。以下、これらの各ブロックと信号の流れを説明する。

　第二動作モード判定部１６０１は、分離部１０７での多重分離、映像復号化部１０８での復号化、音声復号化部１０９での復号化、映像符号化部１１０での符号化、音声符号化部１１１での符号化、または多重部１１２での多重化に影響する動作設定に応じた動作モードを判定する。動作モードは、前述したように、解像度、ビットレートなどの各要素の組み合わせに応じて、それぞれ動作モード１、２、３・・・といった具合に定義される。

　第二倍速測定部１６０２は、レート変換ダビング開始前に前記Ｎの測定を行う。

　倍速記録メモリ１６０３は、測定した前記Ｎを記録する。

　第二動作モード判定部１６０１は、動作モードに応じた前記Ｎが倍速記録メモリ１６０３に記録されている場合は、記録されている前記Ｎを倍速通知部１２０１に通知（ＳＩＧ１６０４）し、動作モードに応じた前記Ｎが倍速記録メモリ１６０３に記録されていない場合は、第二倍速測定部１６０２へ起動通知（ＳＩＧ１６０５）を行う。

　第二倍速測定部１６０２は、動作モードごとに最適な前記Ｎを測定し、倍速記録メモリ１６０３上に動作モードごとの前記Ｎを記録（ＳＩＧ１６０７）するとともに、倍速通知部１２０１へ前記Ｎを通知（ＳＩＧ１６０６）する。

　実施の形態６では、実施の形態４および実施の形態５とは異なるレート変換ダビングのＮ値の選択方法について説明する。

　図１４は、レート変換ダビング開始前にＮ値を測定するための倍速決定方法を説明するためのフローチャートである。

　Ｓ２０１では、第二動作モード判定部１６０１は、レート変換ダビング時の動作に影響する各要素（例えば、第一多重化データにおける映像データの解像度、第二多重化データにおける映像データの解像度、第一多重化データのビットレート、第二多重化データのビットレート、第一多重化データにおける映像データのフレームレート、第二多重化データにおける映像データのフレームレート、第一多重化データにおける音声データのサンプリング周波数、第二多重化データにおける音声データのサンプリング周波数、第一多重化データにおける映像データのコーデック、第二多重化データにおける映像データのコーデック、第一多重化データにおける音声データのコーデック、第二多重化データにおける音声データのコーデック、第一多重化データにおける音声データのチャンネル数、第二多重化データにおける音声データのチャンネル数、第一多重化データの多重化形式、または第二多重化データの多重化形式など、全ての要素を漏れなく指している）の判定を行い、動作モードを決定する。

　Ｓ２０２では、第二動作モード判定部１６０１は、倍速記録メモリ１６０３に動作モードのＮ値が記録されているか判定を行う。Ｎ値が記録されていればＳ２０３に進み、記録されていなければＳ２０４に進む。

　Ｓ２０３では、第二動作モード判定部１６０１は、倍速記録メモリ１６０３から動作モードごとに最適なＮ値を選択し、倍速通知部１２０１へＮ値を通知（ＳＩＧ１６０４）することで、レート変換ダビングで使用するＮ値を決定する。

　Ｓ２０４では、第二動作モード判定部１６０１が、第二倍速測定部１６０２へ起動通知（ＳＩＧ１６０５）する。

　Ｓ２０５では、第二倍速測定部１６０２は、前記式３で求められるＮ値を取得する。

　Ｓ２０６では、第二倍速測定部１６０２は、レート変換ダビング用のＮ値が決定した際に使用するＮ値をＮ’としてバッファ（図示せず）に退避する。

　Ｓ２０７では、第二倍速測定部１６０２は、Ｎ値に所定の値αを加算することで、レート変換ダビングで使用するＮ値を求める。

　Ｓ２０８では、所定の期間のレート変換ダビングを実行し、第二倍速測定部１６０２は、遅延制御部７０１より遅延発生の情報（ＳＩＧ１５０２）を受け、遅延制御の発生回数をカウントする。

　Ｓ２０９では、第二倍速測定部１６０２は、遅延制御の発生回数と所定の閾値を判定する。ここで、遅延制御の発生回数が閾値を上回っていればＳ２１０へ進み、下回っていればＳ２０６へ戻り、Ｎ値をＮ’としてバッファ（図示せず）に退避して再度レート変換ダビングを行う。

　Ｓ２１０では、第二倍速測定部１６０２は、Ｓ２０６でバッファに退避しておいたＮ’の値をＮ値に代入する。

　Ｓ２１１では、第二倍速測定部１６０２は、倍速記録メモリ１６０３にＮ値を記録（ＳＩＧ１６０７）する。

　Ｓ２１２では、第二倍速測定部１６０２は、倍速通知部１２０１へＮ値を通知（ＳＩＧ１６０６）することで、レート変換ダビングで使用するＮ値を決定する。

　この構成により、事前に動作モードごとの最適なＮ値を決定することなく、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２が最適に動作するＮ値でレート変換ダビングを行うことができる。また、同じ動作モードで動作する場合、実施の形態５と比較して、レート変換ダビングを開始するまでの時間を短縮することができる。

　αの値については、前述のように、小さな値を与えると最適なＮ値の精度は向上するが、最適な値に到達するまでに時間がかかることになる。また、大きな値を与えると、最適な値に到達するまでの時間は短縮するが、最適なＮ値の精度は下がる。なお、αの値は、装置固有で持つ値としても良いし、外部から与えても良い。

　（実施の形態７）
　図１５は、実施の形態７における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態７における映像音声変換装置は、図５に示した実施の形態３における映像音声変換装置の構成に加え、第三動作モード判定部１８０１および第三倍速測定部１８０２を備える。以下、これらの各ブロックと信号の流れを説明する。

　倍速通知部１２０１は、同期制御部４０１へ通知する前記Ｎをレート変換ダビング中に切り替える。

　レート変換ダビング中に動作モードが切り替えられた場合、同期制御で使用しているＮ値が最適の値ではなくなるため、レート変換ダビングの速度が低下することが考えられる。実施の形態７ではレート変換ダビング中に動作モードが切り替えられた場合に、最適なＮ値に切り替える動作について説明する。

　図１６はＮ値切り替えについて示した図である。図１６の横軸は、レート変換ダビング開始からの経過時間ｔを示している。

　第三動作モード判定部１８０１は、レート変換ダビング中に動作モードの切り替えを監視する。動作モードが切り替えられると第三動作モード判定部１８０１は、動作モードごとに最適なＮ値を選択して倍速通知部１２０１へ通知（ＳＩＧ１８０３）する。Ｎ値を受け取った倍速通知部１２０１は、同期制御部４０１へＮ値を通知（２→１）する。倍速通知部１２０１からＮ値を受け取った同期制御部４０１は、前記式６により新たなｓｔｃ＿ｂａｓｅを求める。また、同期制御部４０１は、同期制御部４０１のタイミング（フレーム周期×１／２→フレーム周期×１／１）とＳＴＣ’のカウントアップ値（２→１）をそれぞれ切り替えて同期制御を行う。

　上記制御により、レート変換ダビング中にＮ値を切り替えることが可能となる。

　図１７は、レート変換ダビング中に最適なＮ値を測定するための制御を説明するためのフローチャートである。

　Ｓ３０１では、第三倍速測定部１８０２は、レート変換ダビング中に所定の期間の遅延発生回数をカウントする。

　Ｓ３０２では、第三倍速測定部１８０２は、遅延制御の発生回数と所定の閾値を判定する。ここで、遅延制御の発生回数が閾値を上回っていればＳ３０３へ進み、下回っていればＳ３０４へ進む。

　Ｓ３０３では、第三倍速測定部１８０２は、Ｎ値に所定の値βを減算することで、レート変換ダビングで使用するＮ値を求める。

　Ｓ３０４では、第三倍速測定部１８０２は、遅延制御が発生しているかを判定する。ここで、遅延制御が発生していなければＳ３０５へ進み、発生していればＳ３０１へ戻り、再度、所定期間の遅延発生回数のカウントを行う。

　Ｓ３０５では、第三倍速測定部１８０２は、Ｎ値に所定の値γを加算することで、レート変換ダビングで使用するＮ値を求める。

　Ｓ３０６では、第三倍速測定部１８０２は、Ｎ値を倍速通知部１２０１に通知（ＳＩＧ１８０４）する。

　Ｓ３０７では、倍速通知部１２０１は、Ｎ値に切り替えの制御を行う。

　この構成により、動作モードが切り替わった場合でも、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２が最適に動作するＮ値でレート変換ダビングを行うことができる。さらに、分離部１０７に入力される第一多重化データに合わせて、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２が最適に動作するＮ値でレート変換ダビングを行うことができる。

　β、γの値については、αの値と同様、小さな値を与えると最適なＮ値の精度は向上するが、最適な値に到達するまでに時間がかかることになる。また、大きな値を与えると、最適な値に到達するまでの時間は短縮するが、最適なＮ値の精度は下がる。なお、β、γの値は、装置固有で持つ値としても良いし、外部から与えても良い。

　（実施の形態８）
　図１８は、実施の形態８における映像音声変換装置の機能的な構成を示すブロック図である。

　実施の形態８における映像音声変換装置は、図２に示した実施の形態２における映像音声変換装置の構成に加え、倍速判定部１９０１と倍速通知部１９０５とを備える。以下、これらの各ブロックと信号の流れを説明する。

　倍速判定部１９０１は、レート変換ダビング開始時に倍速通知部１９０５よりＮ値を受け取り（ＳＩＧ１９０２）、Ｎ値でのレート変換ダビングを実現できるように動作モードを設定（ＳＩＧ１９０３）する。例えば、図１９に示す倍速情報テーブルのようにＮ値ごとに動作モードを選択して、レート変換ダビング時の動作に影響する各要素（例えば、第二多重化データにおける映像データの解像度、第二多重化データのビットレート、第二多重化データにおける映像データのフレームレート、第二多重化データにおける音声データのサンプリング周波数、第二多重化データにおける映像データのコーデック、第二多重化データにおける音声データのコーデック、第一多重化データにおける音声データのチャンネル数、第二多重化データにおける音声データのチャンネル数、または第二多重化データの多重化形式など、全ての要素を漏れなく指している）の設定を行う。Ｎ値がテーブルで定義されている範囲外であれば、テーブル上で最も近い値のＮ値に対応する動作モードで、分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２の設定を行い、Ｎ値を倍速通知部１９０５へ通知（ＳＩＧ１９０４）する。倍速通知部１９０５は、倍速判定部１９０１から受け取ったＮ値を同期制御部４０１へ通知（ＳＩＧ１９０６）する。

　また、動作モードの選択肢に分離部１０７、映像復号化部１０８、音声復号化部１０９、映像符号化部１１０、音声符号化部１１１および多重部１１２の優先度またはモード変更の有無の選択を追加してもよい。

　この構成により、所定の倍率のレート変換ダビングに対し、高いクオリティの第二多重化データを生成することができる。

　上記の各装置は、ハードウェアによって実現されていてもよい。

　また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

　さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

　さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

　また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

　さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。

　また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

　また、上記プログラムまたは上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

　さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

　本発明にかかる映像音声変換装置およびその方法は、高速なレート変換ダビングを行う映像音声変換装置およびその方法等に有用である。

００１　ＨＤＤ
００２　ＤＶＤ
１０１、１０７　分離部
１０２、１０８　映像復号化部
１０３、１０９　音声復号化部
１０４、１１０　映像符号化部
１０５、１１１　音声符号化部
１０６、１１２　多重部
３０１　第一中間バッファ
３０２　第二中間バッファ
３０３　第三中間バッファ
３０４　第四中間バッファ
３０５　第五中間バッファ
３０６　第六中間バッファ
４０１　同期制御部
５０１　第七中間バッファ
５０２　第八中間バッファ
５０３　第九中間バッファ
５０４　第十中間バッファ
５０５　第十一中間バッファ
５０６　第十二中間バッファ
５０７　第十三中間バッファ
５０８　第十四中間バッファ
７０１　遅延制御部
８０１　第一遅延検知部
８０２　第二遅延検知部
８０３　第三遅延検知部
８０４　第四遅延検知部
１２０１、１９０５　倍速通知部
１４０１　動作モード判定部
１５０１　倍速測定部
１６０１　第二動作モード判定部
１６０２　第二倍速測定部
１６０３　倍速記録メモリ
１８０１　第三動作モード判定部
１８０２　第三倍速測定部
１９０１　倍速判定部

Claims

　第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、
　第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、
　前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、
　前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、
　前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、
　前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、
　前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、
　前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、
　前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
　前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
　前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、
　前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、
　前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御する
　映像音声変換装置。
　前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を、前記多重部に通知し、
　前記多重部は、前記分離部より通知された前記時刻情報を用いて、第二符号化映像データと第二符号化音声データの多重化を行い、前記第二多重化データを生成する
　請求項１に記載の映像音声変換装置。
　前記分離部は、前記分離部が多重分離した第一符号化映像データを前記分離部から前記映像復号化部へ転送する際に一時的に格納する第一中間バッファのデータ蓄積状態を監視することにより前記映像復号化部での復号化の進行状況を判断し、前記分離部が多重分離した第一符号化音声データを前記分離部から前記音声復号化部へ転送する際に一時的に格納する第二中間バッファのデータ蓄積状態を監視することにより前記音声復号化部での復号化の進行状況を判断し、
　前記映像復号化部は、前記第一中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記映像復号化部が生成した映像データを前記映像復号化部から前記映像符号化部へ転送する際に一時的に格納する第三中間バッファのデータ蓄積状況を監視することにより前記映像符号化部での符号化の進行状況を判断し、
　前記音声復号化部は、前記第二中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記音声復号化部が生成した音声データを前記音声復号化部から前記音声符号化部へ転送する際に一時的に格納する第四中間バッファのデータ蓄積状況を監視することにより前記音声符号化部での符号化の進行状況を判断し、
　前記映像符号化部は、前記第三中間バッファのデータ蓄積状況を監視することにより前記映像復号化部での復号化の進行状況を判断し、前記映像符号化部が生成した第二符号化映像データを前記映像符号化部から前記多重部へ転送する際に一時的に格納する第五中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、
　前記音声符号化部は、前記第四中間バッファのデータ蓄積状況を監視することにより前記音声復号化部での復号化の進行状況を判断し、前記音声符号化部が生成した第二符号化音声データを前記音声符号化部から前記多重部へ転送する際に一時的に格納する第六中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、
　前記多重部は、前記第五中間バッファのデータ蓄積状態を監視することにより前記映像符号化部での符号化の進行状況を判断し、前記第六中間バッファのデータ蓄積状態を監視することにより前記音声符号化部での符号化の進行状況を判断する
　請求項２に記載の映像音声変換装置。
　さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、
　前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、
　前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
　前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、
　前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
　前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
　前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
　前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御する
　請求項１に記載の映像音声変換装置。
　前記分離部は、前記分離部が多重分離した第一符号化映像データを前記分離部から前記映像復号化部へ転送する際に一時的に格納する第七中間バッファのデータ蓄積状態を監視することにより前記映像復号化部での復号化の進行状況を判断し、前記分離部が多重分離した第一符号化音声データを前記分離部から前記音声復号化部へ転送する際に一時的に格納する第八中間バッファのデータ蓄積状態を監視することにより前記音声復号化部での復号化の進行状況を判断し、
　前記映像復号化部は、前記第七中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記映像復号化部が生成した映像データを前記映像復号化部から前記同期制御部へ転送する際に一時的に格納する第九中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、
　前記音声復号化部は、前記第八中間バッファのデータ蓄積状況を監視することにより前記分離部での多重分離の進行状況を判断し、前記音声復号化部が生成した音声データを前記音声復号化部から前記同期制御部へ転送する際に一時的に格納する第十中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、
　前記映像符号化部は、前記同期制御部が同期制御した映像データを前記同期制御部から前記映像符号化部へ転送する際に一時的に格納する第十一中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、前記映像符号化部が生成した第二符号化映像データを前記映像符号化部から前記多重部へ転送する際に一時的に格納する第十三中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、
　前記音声符号化部は、前記同期制御部が同期制御した音声データを前記同期制御部から前記音声符号化部へ転送する際に一時的に格納する第十二中間バッファのデータ蓄積状況を監視することにより前記同期制御部での同期制御の進行状況を判断し、前記音声符号化部が生成した第二符号化音声データを前記音声符号化部から前記多重部へ転送する際に一時的に格納する第十四中間バッファのデータ蓄積状況を監視することにより前記多重部での多重化の進行状況を判断し、
　前記多重部は、前記第十三中間バッファのデータ蓄積状態を監視することにより前記映像符号化部での符号化の進行状況を判断し、前記第十四中間バッファのデータ蓄積状態を監視することにより前記音声符号化部での符号化の進行状況を判断する
　請求項４に記載の映像音声変換装置。
　前記同期制御部は、Ｎ倍の速度で同期制御を行い、
　前記Ｎは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値である
　請求項４に記載の映像音声変換装置。
　さらに、
　前記同期制御部へ遅延の制御通知を行う遅延制御部と、
　前記同期制御部での同期制御に対して前記映像復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第一遅延検知部と、
　前記同期制御部での同期制御に対して前記音声復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第二遅延検知部と、
　前記同期制御部での同期制御に対して前記映像符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第三遅延検知部と、
　前記同期制御部での同期制御に対して前記音声符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第四遅延検知部を備え、
　前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部の各々は、前記遅延制御部に対して、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
　前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより遅延通知を受けると遅延の制御通知として前記同期制御部に同期制御の停止通知を行い、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより再開通知を受けると遅延の制御通知として前記同期制御部に同期制御の再開通知を行う
　請求項４に記載の映像音声変換装置。
　前記第一遅延検知部は、前記映像復号化部が生成した映像データを前記映像復号化部から前記同期制御部へ転送する際に一時的に格納する第九中間バッファのデータ蓄積状況に基づいて前記映像復号化部での復号化の遅延を検知し、
　前記第二遅延検知部は、前記音声復号化部が生成した音声データを前記音声復号化部から前記同期制御部へ転送する際に一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化部での復号化の遅延を検知し、
　前記第三遅延検知部は、前記同期制御部が同期制御した映像データを前記同期制御部から前記映像符号化部へ転送する際に一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化部での符号化の遅延を検知し、
　前記第四遅延検知部は、前記同期制御部が同期制御した音声データを前記同期制御部から前記音声符号化部へ転送する際に一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化部での符号化の遅延を検知する
　請求項７に記載の映像音声変換装置。
　前記第一遅延検知部は、前記映像復号化部が生成した映像データのフレーム数と前記同期制御部が同期制御を行った映像データのフレーム数を監視することにより前記映像復号化部での復号化の遅延を検知し、
　前記第二遅延検知部は、前記音声復号化部が生成した音声データのフレーム数と前記同期制御部が同期制御を行った音声データのフレーム数を監視することにより前記音声復号化部での復号化の遅延を検知し、
　前記第三遅延検知部は、前記同期制御部が同期制御を行った映像データのフレーム数と前記映像符号化部が生成した第二符号化映像データのフレーム数を監視することにより前記映像符号化部での符号化の遅延を検知し、
　前記第四遅延検知部は、前記同期制御部が同期制御を行った音声データのフレーム数と前記音声符号化部が生成した第二符号化音声データのフレーム数を監視することにより前記音声符号化部での符号化の遅延を検知する
　請求項７に記載の映像音声変換装置。
　前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから遅延通知を受けると前記同期制御部へ同期制御の停止信号を通知し、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから再開通知を受けると前記同期制御部へ同期制御の再開信号を通知し、
　前記同期制御部は、前記遅延制御部から停止信号を受けると同期制御の状態を保持して同期制御を停止し、前記遅延制御部から再開信号を受けると保持している停止時の状態で同期制御を再開する
　請求項７に記載の映像音声変換装置。
　前記同期制御部は、Ｎ倍の速度で同期制御を行い、
　前記Ｎは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値であり、
　前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから遅延通知を受けると、前記同期制御部へ同期制御で使用する前記Ｎの切り替え信号を通知し、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから再開通知を受けると、前記同期制御部へ同期制御の再開信号を通知し、
　前記同期制御部は、前記遅延制御部から切り替え信号を受けると所定の値で減算した前記Ｎを同期制御の倍速値として使用し、前記遅延制御部から再開信号を受けると前記Ｎを同期制御の倍速値として使用する
　請求項７に記載の映像音声変換装置。
　さらに、前記同期制御部へ前記Ｎの通知を行う倍速通知部を備える
　請求項６に記載の映像音声変換装置。
　前記倍速通知部は、外部からの指示により、通知する前記Ｎを選択する
　請求項１２に記載の映像音声変換装置。
　さらに、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた前記Ｎを前記倍速通知部に通知する動作モード判定部を備え、
　前記倍速通知部は、前記動作モード判定部から通知された前記Ｎを前記同期制御部へ通知する
　請求項１２に記載の映像音声変換装置。
　さらに、レート変換ダビング開始前に前記Ｎの測定を行い、測定した前記Ｎを前記倍速通知部に通知する倍速測定部を備え、
　前記倍速通知部は、前記倍速測定部から通知された前記Ｎを前記同期制御部へ通知する
　請求項１２に記載の映像音声変換装置。
　さらに、
　前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた動作モードを判定する動作モード判定部と、
　レート変換ダビング開始前に前記Ｎの測定を行う倍速測定部と、
　測定した前記Ｎを記録する倍速記録メモリとを備え、
　前記動作モード判定部は、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されている場合は、記録されている前記Ｎを前記倍速通知部に通知し、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されていない場合は、前記倍速測定部へ起動通知を行い、
　前記倍速測定部は、動作モードごとに最適な前記Ｎを測定し、前記倍速記録メモリ上に動作モードごとの前記Ｎを記録するとともに、前記倍速通知部へ前記Ｎを通知する
　請求項１２に記載の映像音声変換装置。
　さらに、
　同期制御を行う速度の倍率であるＮをレート変換ダビング中に切り替えて、前記同期制御部へ通知する倍速通知部を備える
　請求項７に記載の映像音声変換装置。
　さらに、
　所定の期間に前記遅延制御部による同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Ｎから所定の値を減算した値を前記Ｎとして、前記倍速通知部へ通知し、同期制御のタイミング調整が発生しなかった場合は、前記Ｎに所定の値を加算した値を前記Ｎとして、前記倍速通知部に通知する倍速測定部を備え、
　前記遅延制御部は、同期制御のタイミング調整が発生したことを前記倍速測定部へ通知し、
　前記倍速通知部は、前記倍速測定部から通知された前記Ｎを前記同期制御部へ通知する
　請求項１７に記載の映像音声変換装置。
　さらに、前記Ｎにより、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定を行う倍速判定部を備える
　請求項６に記載の映像音声変換装置。
　第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換方法であって、
　第一多重化データから映像データと音声データを多重分離する分離ステップと、
　前記分離ステップで多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化ステップと、
　前記分離ステップで多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化ステップと、
　前記映像復号化ステップで生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化ステップと、
　前記音声復号化ステップで生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化ステップと、
　前記映像符号化ステップで生成された第二符号化映像データと前記音声符号化ステップで生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重ステップとを含み、
　前記分離ステップでは、前記映像復号化ステップおよび前記音声復号化ステップでの復号化の進行状況に基づいて、多重分離の停止および再開を制御し、
　前記映像復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記映像符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
　前記音声復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記音声符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
　前記映像符号化ステップでは、前記映像復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
　前記音声符号化ステップでは、前記音声復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
　前記多重ステップでは、前記映像符号化ステップおよび前記音声符号化ステップでの符号化の進行状況に基づいて、多重化の停止および再開を制御する
　映像音声変換方法。
　前記分離ステップでは、さらに、前記第一多重化データに付加されている時刻情報を出力し、
　前記多重ステップでは、前記分離ステップで出力された前記時刻情報を利用して第二多重化データを生成する
　請求項２０に記載の映像音声変換方法。
　前記分離ステップでは、前記分離ステップで多重分離された第一符号化映像データを前記映像復号化ステップでの復号化のために一時的に格納する第一中間バッファのデータ蓄積状態を監視することにより前記映像復号化ステップでの復号化の進行状況を判断し、前記分離ステップで多重分離された第一符号化音声データを前記音声復号化ステップでの復号化のために一時的に格納する第二中間バッファのデータ蓄積状態を監視することにより前記音声復号化ステップでの復号化の進行状況を判断し、
　前記映像復号化ステップでは、前記第一中間バッファのデータ蓄積状況を監視することにより前記分離ステップでの多重分離の進行状況を判断し、前記映像復号化ステップで生成された映像データを前記映像符号化ステップでの符号化のために一時的に格納する第三中間バッファのデータ蓄積状況を監視することにより前記映像符号化ステップでの符号化の進行状況を判断し、
　前記音声復号化ステップでは、前記第二中間バッファのデータ蓄積状況を監視することにより前記分離ステップでの多重分離の進行状況を判断し、前記音声復号化ステップで生成された音声データを前記音声符号化ステップでの符号化のために一時的に格納する第四中間バッファのデータ蓄積状況を監視することにより前記音声符号化ステップでの符号化の進行状況を判断し、
　前記映像符号化ステップでは、前記第三中間バッファのデータ蓄積状況を監視することにより前記映像復号化ステップでの復号化の進行状況を判断し、前記映像符号化ステップで生成された映像データを前記多重ステップでの多重化のために一時的に格納する第五中間バッファのデータ蓄積状況を監視することにより前記多重ステップでの多重化の進行状況を判断し、
　前記音声符号化ステップでは、前記第四中間バッファのデータ蓄積状況を監視することにより前記音声復号化ステップでの復号化の進行状況を判断し、前記音声符号化ステップで生成された音声データを前記多重ステップでの多重化のために一時的に格納する第六中間バッファのデータ蓄積状況を監視することにより前記多重ステップでの多重化の進行状況を判断し、
　前記多重ステップでは、前記第五中間バッファのデータ蓄積状態を監視することにより前記映像符号化ステップでの符号化の進行状況を判断し、前記第六中間バッファのデータ蓄積状態を監視することにより前記音声符号化ステップでの符号化の進行状況を判断する
　請求項２１に記載の映像音声変換方法。
　さらに、前記映像復号化ステップで生成された映像データの前記映像符号化ステップでの符号化のための転送と前記音声復号化ステップで生成された音声データの前記音声符号化ステップでの符号化のための転送のタイミングを調整する同期制御ステップを含み、
　前記分離ステップでは、さらに、前記第一多重化データに付加されている時刻情報を出力し、
　前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
　前記同期制御ステップでは、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化ステップで生成された映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化ステップで生成された音声データの転送を行うことで映像データと音声データの同期制御を行い、
　前記映像復号化ステップでは、前記映像符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
　前記音声復号化ステップでは、前記音声符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
　前記映像符号化ステップでは、前記映像復号化ステップで生成された映像データの符号化として、前記同期制御ステップで同期された映像データの符号化を行い、前記映像復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
　前記音声符号化ステップでは、前記音声復号化ステップで生成された音声データの符号化として、前記同期制御ステップで同期された音声データの符号化を行い、前記音声復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御する
　請求項２０に記載の映像音声変換方法。
　前記分離ステップでは、前記分離ステップで多重分離された第一符号化映像データを前記映像復号化ステップでの復号化のために一時的に格納する第七中間バッファのデータ蓄積状態を監視することにより前記映像復号化ステップでの復号化の進行状況を判断し、前記分離ステップで多重分離された第一符号化音声データを前記音声復号化ステップでの復号化のために一時的に格納する第八中間バッファのデータ蓄積状態を監視することにより前記音声復号化ステップでの復号化の進行状況を判断し、
　前記映像復号化ステップでは、前記第七中間バッファのデータ蓄積状況を監視することにより前記分離ステップでの多重分離の進行状況を判断し、前記映像復号化ステップで生成された映像データを前記同期制御ステップでの同期制御のために一時的に格納する第九中間バッファのデータ蓄積状況を監視することにより前記同期制御ステップでの同期制御の進行状況を判断し、
　前記音声復号化ステップでは、前記第八中間バッファのデータ蓄積状況を監視することにより前記分離ステップでの多重分離の進行状況を判断し、前記音声復号化ステップで生成された音声データを前記同期制御ステップでの同期制御のために一時的に格納する第十中間バッファのデータ蓄積状況を監視することにより前記同期制御ステップでの同期制御の進行状況を判断し、
　前記映像符号化ステップでは、前記同期制御ステップで同期制御された映像データを前記映像符号化ステップでの符号化のために一時的に格納する第十一中間バッファのデータ蓄積状況を監視することにより前記同期制御ステップでの同期制御の進行状況を判断し、前記映像符号化ステップで生成された映像データを前記多重ステップでの多重化のために一時的に格納する第十三中間バッファのデータ蓄積状況を監視することにより前記多重ステップでの多重化の進行状況を判断し、
　前記音声符号化ステップでは、前記同期制御ステップで同期制御された音声データを前記音声符号化ステップでの符号化のために一時的に格納する第十二中間バッファのデータ蓄積状況を監視することにより前記同期制御ステップでの同期制御の進行状況を判断し、前記音声符号化ステップで生成された音声データを前記多重ステップでの多重化のために一時的に格納する第十四中間バッファのデータ蓄積状況を監視することにより前記多重ステップでの多重化の進行状況を判断し、
　前記多重ステップでは、前記第十三中間バッファのデータ蓄積状態を監視することにより前記映像符号化ステップでの符号化の進行状況を判断し、前記第十四中間バッファのデータ蓄積状態を監視することにより前記音声符号化ステップでの符号化の進行状況を判断する
　請求項２３に記載の映像音声変換方法。
　前記同期制御ステップでは、Ｎ倍の速度で同期制御を行い、
　前記Ｎは、前記分離ステップ、前記映像復号化ステップ、前記音声復号化ステップ、前記映像符号化ステップ、前記音声符号化ステップおよび前記多重ステップで動作可能な倍速値の最小値である
　請求項２３に記載の映像音声変換方法。
　さらに、
　前記同期制御ステップでの同期制御のために遅延の制御通知を行う遅延制御ステップと、
　前記同期制御ステップでの同期制御に対して前記映像復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第一遅延検知ステップと、
　前記同期制御ステップでの同期制御に対して前記音声復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第二遅延検知ステップと、
　前記同期制御ステップでの同期制御に対して前記映像符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第三遅延検知ステップと、
　前記同期制御ステップでの同期制御に対して前記音声符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第四遅延検知ステップとを含み、
　前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップの各々では、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
　前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて遅延通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の停止通知を行い、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて再開通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の再開通知を行う
　請求項２３に記載の映像音声変換方法。
　前記第一遅延検知ステップでは、前記映像復号化ステップで生成された映像データを前記同期制御ステップでの同期制御のために一時的に格納する第九中間バッファのデータ蓄積状況に基づいて前記映像復号化ステップでの復号化の遅延を検知し、
　前記第二遅延検知ステップでは、前記音声復号化ステップで生成された音声データを前記同期制御ステップでの同期制御のために一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化ステップでの復号化の遅延を検知し、
　前記第三遅延検知ステップでは、前記同期制御ステップで同期制御された映像データを前記映像符号化ステップでの符号化のために一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化ステップでの符号化の遅延を検知し、
　前記第四遅延検知ステップでは、前記同期制御ステップで同期制御された音声データを前記音声符号化ステップでの符号化のために一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化ステップでの符号化の遅延を検知する
　請求項２６に記載の映像音声変換方法。
　前記第一遅延検知ステップでは、前記映像復号化ステップで生成された映像データのフレーム数と前記同期制御ステップで同期制御が行われた映像データのフレーム数を監視することにより前記映像復号化ステップでの復号化の遅延を検知し、
　前記第二遅延検知ステップでは、前記音声復号化ステップで生成された音声データのフレーム数と前記同期制御ステップで同期制御が行われた音声データのフレーム数を監視することにより前記音声復号化ステップでの復号化の遅延を検知し、
　前記第三遅延検知ステップでは、前記同期制御ステップで同期制御が行われた映像データのフレーム数と前記映像符号化ステップで生成された映像データのフレーム数を監視することにより前記映像符号化ステップでの符号化の遅延を検知し、
　前記第四遅延検知ステップでは、前記同期制御ステップで同期制御が行われた音声データのフレーム数と前記音声符号化ステップで生成された音声データのフレーム数を監視することにより前記音声符号化ステップでの符号化の遅延を検知する
　請求項２６に記載の映像音声変換方法。
　前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、第三遅延検知ステップおよび第四遅延検知ステップのいずれかで遅延通知が行われると、前記同期制御ステップでの同期制御のために同期制御の停止信号を通知し、前記第一遅延検知ステップ、前記第二遅延検知ステップ、第三遅延検知ステップおよび第四遅延検知ステップのいずれかで再開通知が行われると、前記同期制御ステップでの同期制御のために同期制御の再開信号を通知し、
　前記同期制御ステップでは、前記遅延制御ステップで停止信号が通知されると同期制御の状態を保持して同期制御を停止し、前記遅延制御ステップで再開信号が通知されると保持している停止時の状態で同期制御を再開する
　請求項２６に記載の映像音声変換方法。
　前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、第三遅延検知ステップおよび第四遅延検知ステップのいずれかで遅延通知が行われると、前記同期制御ステップでの同期制御で使用する前記Ｎの切り替え信号を通知し、前記第一遅延検知ステップ、前記第二遅延検知ステップ、第三遅延検知ステップおよび第四遅延検知ステップのいずれかで再開通知が行われると、前記同期制御ステップでの同期制御の再開信号を通知し、
　前記同期制御ステップでは、前記遅延制御ステップで切り替え信号が通知されると所定の値で減算した前記Ｎを同期制御の倍速値として使用し、前記遅延制御ステップで再開信号が通知されると前記Ｎを同期制御の倍速値として使用する
　請求項２６に記載の映像音声変換方法。
　さらに、前記同期制御ステップでの同期制御のために、前記Ｎの通知を行う倍速通知ステップを含む
　請求項２５に記載の映像音声変換方法。
　前記倍速通知ステップでは、外部からの指示により、通知する前記Ｎを選択する
　請求項３１に記載の映像音声変換方法。
　さらに、前記分離ステップでの多重分離、前記映像復号化ステップでの復号化、前記音声復号化ステップでの復号化、前記映像符号化ステップでの符号化、前記音声符号化ステップでの符号化、または前記多重ステップでの多重化に影響する動作設定に応じた前記Ｎを前記倍速通知ステップでの通知のために通知する動作モード判定ステップを含み、
　前記倍速通知ステップでは、前記動作モード判定ステップで通知された前記Ｎを前記同期制御ステップでの同期制御のために通知する
　請求項３１に記載の映像音声変換方法。
　さらに、レート変換ダビング開始前に前記Ｎの測定を行い、測定した前記Ｎを前記倍速通知ステップでの通知のために通知する倍速測定ステップを含み、
　前記倍速通知ステップでは、前記倍速測定ステップで通知された前記Ｎを前記同期制御ステップでの同期制御のために通知する
　請求項３１に記載の映像音声変換方法。
　さらに、
　前記分離ステップでの多重分離、前記映像復号化ステップでの復号化、前記音声復号化ステップでの復号化、前記映像符号化ステップでの符号化、前記音声符号化ステップでの符号化、または前記多重ステップでの多重化に影響する動作設定に応じた動作モードを判定する動作モード判定ステップと、
　レート変換ダビング開始前に前記Ｎの測定を行う倍速測定ステップと、
　測定した前記Ｎを倍速記録メモリに記録する記録ステップとを含み、
　前記動作モード判定ステップでは、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されている場合は、記録されている前記Ｎを前記倍速通知ステップでの通知のために通知し、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されていない場合は、前記倍速測定ステップでの測定のために起動通知を行い、
　前記倍速測定ステップでは、動作モードごとに最適な前記Ｎを測定し、前記倍速記録メモリ上に動作モードごとの前記Ｎを記録するとともに、前記倍速通知ステップでの通知のために前記Ｎを通知する
　請求項３１に記載の映像音声変換方法。
　さらに、
　前記同期制御ステップでの同期制御を行う速度の倍率であるＮをレート変換ダビング中に切り替えて、前記同期制御ステップでの同期制御のために通知する倍速通知ステップを含む
　請求項２６に記載の映像音声変換方法。
　さらに、
　所定の期間に前記遅延制御ステップによる同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Ｎから所定の値を減算した値を前記Ｎとして前記倍速通知ステップでの通知のために通知し、同期制御のタイミング調整が発生しなかった場合は、前記Ｎに所定の値を加算した値を前記Ｎとして、前記倍速通知ステップでの通知のために通知する倍速測定ステップを含み、
　前記遅延制御ステップでは、同期制御のタイミング調整が発生したことを前記倍速測定ステップでのタイミング調整の発生回数の測定のために通知し、
　前記倍速通知ステップでは、前記倍速測定ステップにおいて通知された前記Ｎを前記同期制御ステップでの同期制御のために通知する
　請求項３６に記載の映像音声変換方法。
　さらに、前記Ｎにより、前記分離ステップでの多重分離、前記映像復号化ステップでの復号化、前記音声復号化ステップでの復号化、前記映像符号化ステップでの符号化、前記音声符号化ステップでの符号化、または前記多重ステップでの多重化に影響する動作設定を行う倍速判定ステップを含む
　請求項２５に記載の映像音声変換方法。