JP4298262B2

JP4298262B2 - Video / audio synchronizer

Info

Publication number: JP4298262B2
Application number: JP2002314551A
Authority: JP
Inventors: 正樹佐藤; 敏夫岡; あきの井上
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-10-29
Filing date: 2002-10-29
Publication date: 2009-07-15
Anticipated expiration: 2022-10-29
Also published as: JP2003204492A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像や音声の再生タイミングを同期させる映像音声同期装置に関する。
【０００２】
【従来の技術】
近年、通信回線を介して伝送されるディジタル化した映像や音声の再生を行う映像音声再生装置が用いられるようになった。例えば、ローカルエリアネットワーク（ＬＡＮ）やインターネット等のネットワークによって動画像データを伝送する動画配信システムや、ネットワークを介して伝送される動画像データを再生する動画再生装置などが実用化されている。
【０００３】
このような映像音声再生装置では、例えばＩＰ（Internet Protocol ）によるデータ通信を行うＩＰネットワーク等において、パケット化された映像や音声のデータを伝送する際に、データ伝送時間のずれ等によって映像と音声の再生タイミングがずれることがあり、このような場合に対応して映像と音声の同期を行うようにしている。映像と音声の同期を行うには、受信した映像や音声のデータに付加された時刻情報に基づいて受信時刻のずれを検出するずれ検出手段と、映像と音声の再生タイミングを一致させるための信号遅延を行う遅延手段とを用いて、映像と音声の少なくとも一方を遅延させてタイミングを調整し、同期をとるのが一般的である。
【０００４】
映像と音声の同期手順としては、以下に示すような手順が従来用いられている。（１）データパケットの受信開始時に、ずれ検出手段により映像パケットと音声パケットの受信時間差を求めて遅延量を決定する。（２）決定した遅延量を遅延手段に設定して、以後受信したデータを遅延させながら再生を行うことで同期をとる。（３）毎パケットごとあるいは一定間隔で遅延量を再確認し、再同期を行う。
【０００５】
例えば、特開平８−４６８８４号公報（特許文献１）には、映像成分と音声成分のそれぞれのタイミング・リファレンス信号（ＰＴＳ）を用い、このＰＴＳの差に応じて映像と音声の同期を行う技術が開示されている。また、特開平９−２１４９３６号公報（特許文献２）には、動画像データの復号処理がシステムの状況に応じて遅延する場合、設定した処理遅延許容値までの遅延を許容し、この処理遅延許容値を超えて増加した場合は受信した未処理の動画像データをクリアしてリフレッシュ処理データを要求し、リフレッシュ処理データを処理することで再同期を行う技術が開示されている。
【０００６】
【特許文献１】
特開平８−４６８８４号公報
【特許文献２】
特開平９−２１４９３６号公報
【０００７】
【発明が解決しようとする課題】
映像と音声の同期がとられていても、再生中にデータパケットの受信タイミングにゆらぎが生じることなどによって同期がずれることがあり、上記同期手順の（３）に述べたように所定間隔ごとなどで再同期を行う必要がある。しかし、従来の同期方法では、再同期のタイミングに対する工夫がなされておらず、再同期を行う際に再生信号に不連続が生じて映像や音声が途切れたりなど、映像や音声の乱れが生じることがあり、このときに視聴者が不自然に感じることがあった。
【０００８】
本発明は、上記事情に鑑みてなされたもので、その目的は、再同期時の映像や音声の乱れを軽減することが可能な映像音声同期装置を提供することにある。
また、本発明は、復号部の特性に応じて同期用の遅延基準値を可変設定することが可能な映像音声同期装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、第１に、パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、映像データを受信する映像受信部と、音声データを受信する音声受信部と、前記映像受信部及び前記音声受信部で受信した映像データ及び音声データの解析を行うデータ解析手段と、前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、を備え、前記再同期判定手段は、前記データ解析手段による解析結果に基づき、前記コンテンツデータの一つが映像データであり、それがフレーム内符号化映像のデータである場合及び前フレームとの差分が所定値以下である場合の少なくともいずれか一方の場合に、再同期のタイミングであると判定し、前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする。
【００１２】
第２に、パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、映像データを受信する映像受信部と、音声データを受信する音声受信部と、前記映像受信部及び前記音声受信部で受信した映像データ及び音声データの伝送状態を検出するデータ伝送状態検出手段と、前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、を備え、前記再同期判定手段は、前記データ伝送状態検出手段による検出結果に基づき、前記コンテンツデータの伝送状態としてパケットロス、パケットの非順序到着、パケットの到着間隔が所定値以上のいずれかを含む伝送異常が生じた場合に、再同期のタイミングであると判定し、前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする。
【００１３】
第３に、パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、映像データを受信する映像受信部と、音声データを受信する音声受信部と、前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、ユーザによる操作を検出するユーザ操作検出手段と、前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、を備え、前記再同期判定手段は、前記ユーザ操作検出手段によるユーザ操作の検出結果に基づき、ユーザ操作として再生される映像または音声に関する操作がなされたときに、再同期のタイミングであると判定し、前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする。
【００１４】
第４に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記音声データの到着時間のゆらぎがその音声データのパケット長よりも小さい場合に、前記映像データを優先して同期を行うよう判定することを特徴とする。
【００１６】
第５に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記音声データの到着時間のゆらぎがその音声データのパケット長よりも大きい場合に、前記音声データを優先して同期を行うよう判定することを特徴とする。
【００１７】
第６に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記コンテンツデータの内容によって再同期時のデータの優先度を判定することを特徴とする。
【００１８】
第７に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ伝送状態検出手段による検出結果に基づき、前記コンテンツデータのパケットの伝送状態に応じて再同期時のデータの優先度を判定することを特徴とする。
【００１９】
第８に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記ユーザ操作検出手段による検出結果に基づき、映像または音声に関するユーザ操作に応じて再同期時のデータの優先度を判定することを特徴とする。
【００２０】
第９に、前記コンテンツデータは、伝送時に再同期に適当な所定のタイミングで再同期情報が付加されるものであり、前記再同期判定手段は、前記再同期情報によって再同期のタイミングを判定することを特徴とする。
【００２１】
第１０に、前記映像復号部及び前記音声復号部の前段において測定用データを生成して前記映像データ及び音声データに挿入する測定信号生成手段と、前記映像復号部及び前記音声復号部の後段において前記測定用データを取り出して前記同期制御手段に送る測定信号検出手段をさらに備え、前記同期制御手段は、前記測定用データに基づいて同期用の遅延基準値を決定することを特徴とする。
【００２２】
第１１に、前記測定信号生成手段は、前記測定用データにおいてデータ識別子と測定開始時間とを設定するものであり、前記測定信号検出手段は、前記データ識別子により測定用データを検出するものであり、前記測定信号検出手段により取り出された復号処理後の測定用データに測定終了時間を設定する測定データ設定手段を備え、前記同期制御手段は、前記測定用データの測定開始時間と測定終了時間とに基づいて復号処理時間を得て前記同期用の遅延基準値を決定することを特徴とする。
【００２３】
本発明では、音声データの音声レベル、映像データの符号化映像種類、データ伝送状態、ユーザ操作などによって複数のコンテンツデータの再同期を行うタイミングであるかを判定し、この再同期のタイミングで同期用の遅延量を決定して、この遅延量に基づいて複数のコンテンツデータの少なくとも一つを遅延することにより、再同期を行う。またこのとき、音声データの到着時間のゆらぎ、データ伝送状態、コンテンツデータの内容、ユーザ操作などによって再同期をいずれのデータを優先して行うか優先度を判定する。あるいは、コンテンツデータの伝送時に再同期に適当な所定のタイミングでコンテンツデータに再同期情報が付加されるようにし、この再同期情報によって再同期のタイミングを判定する。これにより、再同期を行う際に映像データの乱れ、音声データの途切れなどのコンテンツデータの乱れが目立たないように軽減される。
【００２４】
また、コンテンツデータの復号手段の前段において測定用データを生成してコンテンツデータに挿入し、復号手段の後段においてコンテンツデータから測定用データを取り出して同期制御手段に送り、同期制御手段において、前記測定用データに基づいて復号処理時間を得て同期用の遅延基準値を決定する。これにより、復号部の方式や特性等を変更しても復号部の特性に応じて同期用の遅延基準値を可変設定することが可能となる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明の第１実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。本実施形態では、ＩＰネットワーク等の通信回線を介して伝送されるパケット化された映像及び音声のコンテンツデータを受信して再生を行う映像音声再生装置における映像音声同期装置の構成例を示してその動作を詳細に説明する。
【００２６】
映像音声再生装置は、第１のコンテンツデータとしての映像データ（映像パケット）を受信する映像受信部１１、第２のコンテンツデータとしての音声データ（音声パケット）を受信する音声受信部１２、再生時の映像と音声の同期を行う映像音声同期部１３、映像データの復号を行う映像復号部１５、音声データの復号を行う音声復号部１６、復号した映像信号の表示を行う映像表示部１７、復号した音声信号の再生を行う音声再生部１８を備えて構成される。
【００２７】
ここでいうコンテンツデータとは、１つまたは複数のメディアデータ（音声データや映像データ）を含むものである。複数のメディアデータからなるコンテンツデータとは、例えば多重化された音声映像ストリームや、音声・映像・静止画・テキストなどからなるマルチメディア情報ストリームなどを示す。
【００２８】
映像音声同期部１３は、再同期に関する動作制御を行う再同期制御部２０、映像データの遅延時間を制御する映像遅延制御部（データ遅延手段）２１、音声データの遅延時間を制御する音声遅延制御部（データ遅延手段）２２を備えて構成される。
【００２９】
本実施形態では、映像受信部１１及び音声受信部１２でそれぞれ受信した映像データと音声データに対して、映像音声同期部１３において、再同期制御部２０の制御の元で映像遅延制御部２１及び音声遅延制御部２２でそれぞれ遅延させて映像復号部１５及び音声復号部１６への投入タイミングを調整することによって、映像と音声の同期が行われる。ここで、再同期のときの映像や音声の乱れを軽減するために、以下に示す４つのいずれかのタイミングで再同期を実行するようにする。
【００３０】
（Ａ）入力音声パケットの音声レベルが所定値以下が連続する場合、及び環境音などの音声でない音が連続する場合に、再同期を行う。
（Ｂ）入力映像パケットがフレーム内符号化映像（Ｉフレーム映像）の場合、及び前フレームとの差分が小さい場合に、再同期を行う。
（Ｃ）伝送状態（パケットロス、パケットの非順序到着、パケットの到着間隔など）に合わせて再同期を行う。
（Ｄ）ユーザ操作（ボリュームを下げる、映像表示中ウィンドウの拡大など）に合わせて再同期を行う。
【００３１】
上記のようなタイミングで再同期を行うことによって、映像データや音声データに不連続が生じても再生出力される映像や音声の乱れを目立たなくすることが可能である。例えば、音声の出力レベルが小さい場合は、多少の途切れがあったりデータ補間の伸長処理等を行っても目立たないため、映像及び音声の乱れを低減して再同期を実行できる。また、フレーム内符号化映像などの画質の良いフレーム映像において同期ずれが大きいと、ユーザにとって違和感が大きくなってしまい、またフレーム内符号化映像では以前のフレーム映像とは相関性が低いので、このようなフレーム映像のタイミングで映像及び音声の乱れが目立たないように再同期を実行できる。さらに、フレーム間符号化映像であっても前フレームとの差分が小さければ、その入力映像パケットを破棄しても映像の乱れが小さいため、このタイミングで映像の乱れが目立たないように再同期を実行可能である。また、パケットロスなどのデータ伝送時の不具合が生じたり、ユーザ操作がなされた場合は、もともと出力される映像及び音声に乱れが生じるため、この乱れが目立たない間に再同期を実行できる。
【００３２】
図２は第１実施形態に係る再同期制御部の詳細構成を示すブロック図である。この図２の例は、上記（Ａ）または（Ｂ）に示した再同期タイミングで再同期を行う構成を示したものである。
【００３３】
第１実施形態の再同期制御部２０ａは、再同期判定部（再同期判定手段）３１、優先度判定部（優先度判定手段）３２、同期制御部（同期制御手段）３３、映像パケット解析部（データ解析手段）３４、音声パケット解析部（データ解析手段）３５を有して構成される。再同期判定部３１は、再同期のタイミングになったかどうかを判定するものである。優先度判定部３２は、映像あるいは音声のどちらを優先して同期を行うかを判定し決定するものである。同期制御部３３は、映像及び音声の再同期アルゴリズムを実行し、映像及び音声の遅延量を決定するものである。
【００３４】
映像パケット解析部３４は、映像受信部１１で受信した映像パケットがフレーム内符号化映像（Ｉフレーム映像）であるかどうかを解析するものである。音声パケット解析部３５は、音声受信部１２で受信した音声パケットの音声レベルを判定する。
【００３５】
この第１実施形態では、映像パケット解析部３４及び音声パケット解析部３５での解析結果に基づき、再同期判定部３１において再同期を行うタイミングかどうかを判定するとともに、優先度判定部３２において再同期を行う場合に映像優先モードと音声優先モードのどちらで同期を実行するかを決定する。ここでは、受信した音声パケットの音声レベルが所定値以下の状態が連続する場合と、受信した映像パケットがフレーム内符号化映像である場合に再同期を行う。例えば、前記所定値として、音声レベルが（静かな部屋の騒音レベルの目安である）５０ｄＢを下回った場合、再同期を行う。なお、所定値は上記値に限定されるものではなく、システム構成や使用環境等に応じて適切な任意の値を用いればよい。
【００３６】
あるいは、映像パケットにおいて前フレームとの差分が所定値以下の場合に再同期を行うようにしてもよい。この場合、例えば、映像符号化処理の単位となるマクロブロックごとに設定され、そのマクロブロックがそのフレームに符号化情報を含んでいないことを示すnot_codedフラグを利用することで、前フレームとの差分の評価を行うことができる。本例では、解像度３５２×２４０ピクセルの画像を構成する３３０個のマクロブロックのうち、７０％にあたる２３１個以上のマクロブロックにおいてnot_codedフラグが設定されていた場合、前フレームとの差分が所定値以下であるものとして、再同期を行う。なお、所定値は上記値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。
【００３７】
音声受信部１２で受信される音声パケットの到着時間のゆらぎが音声パケット長よりも小さい場合は、音声データの伸長処理による音声の乱れが小さいので、映像優先モードで再同期を行う。映像優先モードでは、映像復号部１５への映像データの投入タイミングを基準として、音声データを音声復号部１６へ送出する。ここで、再同期時の遅延した音声データの投入タイミングが遅くなり、そのままでは音声の途切れが発生する場合には、途切れを無くすために音声データの伸長処理を行う。
【００３８】
音声受信部１２で受信される音声パケットの到着時間のゆらぎが、音声パケット長よりも大きい場合は、音声データの伸長処理による音声の乱れが大きくなるため、音声優先モードで再同期を行う。音声優先モードでは、音声復号部１６への音声データの投入タイミングを基準として、映像データを映像復号部１５へ送出する。この場合、音声の途切れが発生しないように、音声データの投入タイミングを早めるようにする。また、映像パケットの受信タイミングが音声に対して１フレーム分以上遅れた場合には、映像表示部１７に対し映像の表示を行わないように指示する。これにより、音声とずれた映像の表示を防止し、映像の乱れを防ぐようにしている。
【００３９】
なお、映像と音声の優先度の判定は、上記の例以外に、音声データや映像データの内容によって、例えば音声レベルが小さいときは映像を優先したり、映像がＩフレーム映像のときは映像を優先したりしてもよい。
【００４０】
ここで、映像と音声の同期について以下に詳しく説明する。図３は映像データと音声データの各部での入出力タイミングを示すタイムチャートである。通常、映像データと音声データの受信タイミングは、ネットワーク等の通信回線での伝送遅延差があるため、音声受信部１２での音声パケットの受信タイミングに対して映像受信部１１での映像パケットの受信タイミングの方が遅れる。この伝送遅延差と、音声復号部１６と映像復号部１５での復号処理時間差とを考慮して、これらの時間差を加えたものを音声遅延時間とし、音声データの音声復号部１６への投入タイミングを遅延させるようにする。これにより、音声再生部１８と映像表示部１７での出力内容のタイミングが一致し、映像と音声の同期をとることができる。
【００４１】
図４は映像優先モードで再同期を行う場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。なお、以降では音声ｎ，ｎ＋１，ｎ＋２のデータと映像ｍのデータとを対応させて再同期する場合を例示する。映像優先モードの場合は、映像復号部１５への映像データの投入タイミングを基準として音声データの投入タイミングを合わせて音声復号部１６へ送出する。
【００４２】
図４の例では、音声再生部１８と映像表示部１７での出力タイミングを一致させて同期をとるための音声遅延時間（遅延基準値）に対して、音声復号部１６への音声データの投入開始タイミングが早く、音声データの時間ゆらぎＴｄａが生じている場合を示している。この場合、映像データにタイミングを合わせて音声データを遅延させると、音声が途切れてしまうため、これを回避するために音声ｎ′のように音声データを補間する伸長処理を行って音声復号部１６へ投入する。例えば、図４のように音声データの時間ゆらぎＴｄａの値が音声１フレームを下回る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆらぎＴｄａの値を１０ｍｓｅｃとした場合、音声データ補間処理によって音声データｎ′を３０ｍｓｅｃ分のデータに伸長する。なお、上記例示した値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。このような動作処理により、映像の出力タイミングに合わせて音声の再同期を行い、この再同期時の音声の乱れを防止することが可能となる。
【００４３】
図５は音声優先モードで再同期を行う場合で映像データの時間ゆらぎが小さい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。音声優先モードの場合は、音声復号部１６への音声データの投入タイミングを基準として映像データの投入タイミングを合わせて映像復号部１５へ送出する。
【００４４】
図５の例では、音声再生部１８と映像表示部１７での出力タイミングを一致させるための音声遅延時間及び映像遅延時間に対して、映像復号部１５への映像データの投入開始タイミングが遅く、映像データの時間ゆらぎＴｄｖが生じている場合を示している。この場合、音声データに対して映像データを同期させるために、映像表示部１７における映像データの出力時間、すなわち映像の表示時間を短くする。例えば、図５のように映像データの時間ゆらぎＴｄｖの値が音声１フレームを下回る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆらぎＴｄｖの値を１０ｍｓｅｃとした場合、映像データの投入タイミングをゆらぎＴｄｖの値１０ｍｓｅｃだけ遅らせて再同期をとる。この場合、映像及び音声の乱れを防止するために、映像表示部１７における映像データｍの出力時間をゆらぎＴｄｖの値１０ｍｓｅｃだけ短くする。なお、上記例示した値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。このような動作処理により、映像及び音声の乱れを防止しつつ、音声の出力タイミングに合わせて映像の再同期を行うことが可能となる。
【００４５】
図６は音声優先モードで再同期を行う場合で映像データの時間ゆらぎが大きい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。図６の例では、音声再生部１８と映像表示部１７での出力タイミングを一致させるための音声遅延時間及び映像遅延時間に対して、映像復号部１５への映像データの投入開始タイミングが音声に対して１フレーム分以上遅れ、映像データの時間ゆらぎＴｄｖが大きい場合を示している。この場合、映像ｍに対応する音声ｎ，ｎ＋１，ｎ＋２のデータはすでに出力された後であり、音声ｎ＋３は次の映像ｍ＋１に対応する音声であるので、映像表示部１７において間に合っていない映像ｍのデータを非表示とする。例えば、図６のように映像データの時間ゆらぎＴｄｖの値が音声１フレームを上回る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆらぎＴｄｖの値を６０ｍｓｅｃとした場合、映像表示部１７において大きく遅延した映像データｍの再生を行わないようにする。なお、上記例示した値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。
【００４６】
遅れた映像データを非表示とする場合、フレーム内符号化映像（Ｉフレーム映像）は多少遅れて表示しない場合でも映像データを廃棄しないようにする。一方、フレーム間符号化映像（Ｐフレーム映像）は非表示の場合は映像データを廃棄する。Ｉフレーム映像を廃棄すると、後続のＰフレーム映像における復号化時の情報に矛盾が生じ、画質が低下するため、Ｉフレーム映像については復号化等で使用可能なように保持しておく。このような動作処理により、再同期時に遅れて音声に間に合わなかった映像を表示しないようにして映像と音声の乱れを防止することが可能となる。
【００４７】
図７は第２実施形態に係る再同期制御部の詳細構成を示すブロック図である。この図７の例は、上記（Ｃ）に示した再同期タイミングで再同期を行う構成を示したものである。
【００４８】
第２実施形態の再同期制御部２０ｂは、再同期判定部３６、優先度判定部３７、同期制御部３３、映像パケット伝送状態計測部（データ伝送状態検出手段）３８、音声パケット伝送状態計測部（データ伝送状態検出手段）３９を有して構成される。映像パケット伝送状態計測部３８は、映像受信部１１で受信した映像パケットの受信状態を計測するものである。音声パケット伝送状態計測部３９は、音声受信部１２で受信した音声パケットの受信状態を計測するものである。
【００４９】
第２実施形態では、映像パケット伝送状態計測部３８及び音声パケット伝送状態計測部３９でのパケット伝送状態の計測結果に基づき、再同期判定部３６において再同期を行うタイミングかどうかを判定するとともに、優先度判定部３７において再同期を行う場合に映像優先モードと音声優先モードのどちらで同期を実行するかを決定する。ここでは、映像パケットや音声パケットの伝送時にパケットロスが生じたり、パケットの到着順序が入れ替わったり、パケットの到着間隔が所定値以上となった場合など、パケットの伝送異常が生じた伝送状態のときに再同期を行う。例えば、前記所定値として、音声フレームの長さが２０ｍｓｅｃの場合、その５０％である１０ｍｓｅｃを所定値とし、音声パケットの到着間隔が所定値１０ｍｓｅｃを上回った場合、再同期を行う。なお、所定値は上記値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。
【００５０】
なおこのとき、第１実施形態と同様に映像パケットと音声パケットの受信タイミング等に応じて、あるいは映像パケットと音声パケットとで伝送状態が正常な方を優先して同期をとる。再同期の動作については前述した第１実施形態と同様の手順によって実行することができる。
【００５１】
パケットロスなどが生じた場合は、必然的に映像または音声が乱れることになるので、このような伝送状態のタイミングに合わせて再同期を行うことにより、再同期時の映像や音声の乱れを目立たなくすることが可能となる。
【００５２】
図８は第３実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図、図９は第３実施形態に係る再同期制御部の詳細構成を示すブロック図である。この図８及び図９の例は、上記（Ｄ）に示した再同期タイミングで再同期を行う構成を示したものである。
【００５３】
第３実施形態の映像音声再生装置は、ユーザの操作を検出するユーザ操作検出部（ユーザ操作検出手段）４２を備えており、映像音声同期部４１はこのユーザ操作検出部４２の検出結果を含めて映像と音声の同期を行うようになっている。映像音声同期部４１の再同期制御部２０ｃは、再同期判定部４３、優先度判定部４４、同期制御部３３を有して構成される。
【００５４】
第３実施形態では、ユーザ操作検出部４２でのユーザ操作の検出結果に基づき、再同期判定部４３において再同期を行うタイミングかどうかを判定するとともに、優先度判定部４４において再同期を行う場合に映像優先モードと音声優先モードのどちらで同期を実行するかを決定する。ここでは、ユーザがボリュームを下げる、映像表示中ウィンドウの拡大などの再生される映像または音声に関する操作を行ったときに再同期を行う。なおこのとき、第１実施形態と同様に映像パケットと音声パケットの受信タイミングに応じて、あるいは映像と音声とでユーザ操作対象でない方を優先して同期をとる。再同期の動作については前述した第１実施形態と同様の手順によって実行することができる。
【００５５】
このようにユーザによって音量減少などの映像または音声に関する操作がなされたときに、ユーザ操作に応じて音声や映像が変化するのに合わせて再同期を行うことにより、再同期時の映像や音声の乱れを目立たなくすることが可能となる。
【００５６】
図１０は第４実施形態に係る映像及び音声データのパケットフォーマットの構成を示す説明図である。
【００５７】
図１０（Ａ）に示すように、ネットワーク上などを伝送される映像データや音声データのパケットフォーマットは、一般に、パケット生成時間５１などのヘッダ情報を有するヘッダ部の後ろに、実際の映像や音声のデータ５２が設けられる構造となっている。第４実施形態では、図１０（Ｂ）に示すように、ヘッダ部のパケット生成時間５１の後ろなどに再同期情報５３を付加して設け、この再同期情報５３によって再同期のタイミングを制御する。
【００５８】
この場合、送信側装置で音声データに再同期情報を付加し、受信側装置で再同期情報の内容及びタイミングに合わせて映像と音声の再同期を行う。例えば、送信側装置では音声データの音声レベルが所定値以下となると再同期情報を付加する。この再同期情報は、再同期を行う場合は「１」、再同期を行わない場合は「０」などのフラグを用いても良いし、再同期の優先度付けを行って優先度を数値等で表したものを用いることもできる。なお、映像データについても同様に再同期情報を付加して再同期の制御に用いることも可能である。
【００５９】
このように再同期を行うのが望ましいタイミングで音声データや映像データに再同期情報を付加して再同期を制御することにより、再同期時の映像や音声の乱れを軽減することができる。またこの場合、受信側の装置で音声データ及び映像データの解析等を行う必要がなく、再同期制御に関する構成を簡略化することができる。
【００６０】
図１１は本発明の第５実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図、図１２は第５実施形態に係る映像及び音声データと測定用データのデータフォーマットの構成を示す説明図である。
【００６１】
第５実施形態の映像音声再生装置は、図１の第１実施形態の構成に加えて、映像音声同期部６０の映像復号部１５及び音声復号部１６の前段にそれぞれ測定信号生成部（測定信号生成手段）６１，６２を備え、映像復号部１５及び音声復号部１６の後段にそれぞれ測定信号検出部（測定信号検出手段）６３，６４と測定データ設定部（測定データ設定手段）６５，６６を備えて構成される。
【００６２】
測定信号生成部６１，６２は、測定開始時間を設定した測定用データを生成し、映像データ及び音声データにそれぞれ挿入するものである。測定信号検出部６３，６４は、映像復号部１５及び音声復号部１６の出力からそれぞれ測定用データを検出して取り出すものである。測定データ設定部６５，６６は、取り出された測定用データに測定終了時間を設定し、再同期制御部２０にフィードバックするものである。
【００６３】
映像受信部１１及び音声受信部１２でそれぞれ受信される映像データ及び音声データのデータフォーマットは、図１２（Ａ）に示すように、「０」のデータ識別子７０を有するヘッダ部の後ろに、実際の映像や音声のデータ７２が設けられる構造となっている。また、測定用データは、図１２（Ｂ）に示すように、「１」のデータ識別子７１を有するヘッダ部の後ろに、測定開始時間７３と測定終了時間７４とが付加された構造となっている。この測定開始時間７３と測定終了時間７４とによって映像復号部１５と音声復号部１６のそれぞれにおける実際の復号処理時間を得ることができる。
【００６４】
測定信号生成部６１，６２において、測定開始時間を設定して付加した測定用データが生成され、映像データ及び音声データにそれぞれ挿入される。これらのデータは映像復号部１５及び音声復号部１６でそれぞれ復号された後、測定信号検出部６３，６４でそれぞれ測定用データが検出されて取り出される。取り出された測定用データはそれぞれ測定データ設定部６５，６６において測定終了時間が設定されて付加され、再同期制御部２０に送られる。再同期制御部２０は、測定用データに含まれる測定開始時間と測定終了時間とから、映像復号部１５と音声復号部１６のそれぞれにおける復号処理時間を求め、これらの復号処理時間差に基づいて遅延基準値を決定して映像遅延制御部２１及び音声遅延制御部２２を制御することによって再同期を行う。
【００６５】
第５実施形態では、映像復号部１５や音声復号部１６における特性や復号方式が変更されたとき、あるいは新たな復号部が追加されたときに、測定用データを用いてその復号部の復号処理時間を測定し、音声遅延時間（遅延基準値）を設定して再同期を行う。これにより、映像復号部または音声復号部を切り替えた場合でも、復号部の特性に応じて同期用の遅延基準値を可変設定して再同期を行うことが可能となる。
【００６６】
なお、上記の各実施形態では、映像と音声を同期させる場合の構成を例示したが、映像と音声の組み合わせだけでなく、映像と映像の組み合わせや音声と音声の組み合わせなど、各種コンテンツデータの組み合わせにおいても同様な構成を用いることができ、適切なタイミングで支障なく再生データの再同期を実行できる。
【００６７】
【発明の効果】
以上説明したように本発明によれば、再同期時の映像や音声の乱れを軽減することが可能な映像音声同期装置を提供できる。また、復号部の特性に応じて同期用の遅延基準値を可変設定することが可能な映像音声同期装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。
【図２】第１実施形態に係る再同期制御部の詳細構成を示すブロック図である。
【図３】映像データと音声データの各部での入出力タイミングを示すタイムチャートである。
【図４】映像優先モードで再同期を行う場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。
【図５】音声優先モードで再同期を行う場合で映像データの時間ゆらぎが小さい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。
【図６】音声優先モードで再同期を行う場合で映像データの時間ゆらぎが大きい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。
【図７】第２実施形態に係る再同期制御部の詳細構成を示すブロック図である。
【図８】第３実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。
【図９】第３実施形態に係る再同期制御部の詳細構成を示すブロック図である。
【図１０】第４実施形態に係る映像及び音声データのパケットフォーマットの構成を示す説明図である。
【図１１】本発明の第５実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。
【図１２】第５実施形態に係る映像及び音声データと測定用データのデータフォーマットの構成を示す説明図である。
【符号の説明】
１１映像受信部
１２音声受信部
１３，４１，６０映像音声同期部
１５映像復号部
１６音声復号部
１７映像表示部
１８音声再生部
２０，２０ａ，２０ｂ，２０ｃ再同期制御部
２１映像遅延制御部
２２音声遅延制御部
３１，３６，４３再同期判定部
３２，３７，４４優先度判定部
３３同期制御部
３４映像パケット解析部
３５音声パケット解析部
３８映像パケット伝送状態計測部
３９音声パケット伝送状態計測部
４２ユーザ操作検出部
６１，６２測定信号生成部
６３，６４測定信号検出部
６５，６６測定データ設定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video / audio synchronization apparatus that synchronizes video and audio playback timing.
[0002]
[Prior art]
In recent years, video / audio reproduction apparatuses that reproduce digitalized video and audio transmitted via a communication line have come to be used. For example, a moving image distribution system that transmits moving image data via a network such as a local area network (LAN) or the Internet, a moving image reproducing device that reproduces moving image data transmitted via the network, and the like have been put into practical use.
[0003]
In such a video / audio reproduction device, when transmitting packetized video and audio data in an IP network that performs data communication by IP (Internet Protocol), for example, the video and audio are caused by a difference in data transmission time. The playback timing may be out of sync, and video and audio are synchronized in response to such a case. In order to synchronize video and audio, a shift detection means for detecting a shift in reception time based on time information added to received video and audio data, and a signal for matching the playback timing of video and audio In general, a delay unit that performs a delay is used to adjust the timing by delaying at least one of video and audio, and to synchronize.
[0004]
As a video and audio synchronization procedure, the following procedure is conventionally used. (1) At the start of data packet reception, the difference detection means determines the amount of delay by obtaining the difference in reception time between the video packet and the audio packet. (2) The determined delay amount is set in the delay means, and synchronization is achieved by performing reproduction while delaying received data thereafter. (3) The delay amount is reconfirmed every packet or at regular intervals, and resynchronization is performed.
[0005]
For example, Japanese Patent Application Laid-Open No. 8-46884 (Patent Document 1) uses a timing reference signal (PTS) of each of video components and audio components, and synchronizes video and audio according to the difference between the PTSs. Is disclosed. In Japanese Patent Laid-Open No. 9-214936 (Patent Document 2), when the decoding process of moving image data is delayed depending on the system status, a delay up to a set processing delay allowable value is allowed. A technique is disclosed in which when the increase exceeds the allowable value, the received unprocessed moving image data is cleared to request refresh processing data, and the resynchronization is performed by processing the refresh processing data.
[0006]
[Patent Document 1]
JP-A-8-46884
[Patent Document 2]
Japanese Patent Laid-Open No. 9-214936
[0007]
[Problems to be solved by the invention]
Even if video and audio are synchronized, synchronization may be lost due to fluctuations in the reception timing of data packets during playback, etc., as described in (3) of the above synchronization procedure, etc. Need to resynchronize. However, the conventional synchronization method has not been devised for resynchronization timing, and when re-synchronization is performed, video and audio are disrupted, such as discontinuity in the playback signal and interruption of video and audio. There were times when viewers felt unnatural at this time.
[0008]
The present invention has been made in view of the above circumstances, and an object thereof is to provide a video / audio synchronization apparatus capable of reducing disturbance of video and audio during resynchronization.
It is another object of the present invention to provide a video / audio synchronization apparatus capable of variably setting a delay reference value for synchronization according to characteristics of a decoding unit.
[0009]
[Means for Solving the Problems]
A first aspect of the present invention is a video / audio synchronization apparatus that performs synchronization when reproducing a plurality of content data including at least one of video data and audio data transmitted in packet form, A video receiving unit for receiving video data, an audio receiving unit for receiving audio data, a data analyzing unit for analyzing video data and audio data received by the video receiving unit and the audio receiving unit, Based on the delay amount, a resynchronization determination unit that determines whether it is a timing to resynchronize the plurality of content data, a synchronization control unit that determines a delay amount for synchronization at the determined resynchronization timing, and Said Output timing of video data and audio data The delay Adjustment Data delay means to A video decoding unit that decodes video data that has been delay-adjusted by the data delay unit; an audio decoding unit that decodes audio data that has been delay-adjusted by the data delay unit; With The resynchronization determining means is based on an analysis result by the data analyzing means, and when one of the content data is video data and the data is intra-frame encoded video data, the difference from the previous frame is a predetermined value. In at least one of the following cases, it is determined that it is the timing of resynchronization, and the synchronization control unit is configured to receive the audio data at the audio reception unit at the video data reception timing at the video reception unit. The synchronization delay amount is determined based on a transmission delay difference with respect to the image and a decoding processing time difference between the video decoding unit and the audio decoding unit. It is characterized by that.
[0012]
First 2 In addition, A video / audio synchronization device that performs synchronization when reproducing a plurality of content data including at least one of video data and audio data transmitted in a packetized manner, a video receiving unit that receives the video data, and an audio data Audio receiving unit for receiving, video data and audio received by the video receiving unit and the audio receiving unit Data transmission state detecting means for detecting data transmission state A resynchronization determining means for determining whether it is a timing for resynchronizing the plurality of content data, a synchronization control means for determining a delay amount for synchronization at the determined resynchronization timing, and the delay amount The data delay means for delay adjusting the output timing of the video data and the audio data based on the above, a video decoding section for decoding the video data delay adjusted by the data delay means, and the delay adjustment by the data delay means An audio decoder for decoding audio data; The resynchronization determination means determines whether the content data transmission state is a packet loss, an out-of-order arrival of packets, or a packet arrival interval equal to or greater than a predetermined value based on a detection result by the data transmission state detection means. It is determined that it is the timing of resynchronization when a transmission error including The synchronization control means includes: a transmission delay difference with respect to a reception timing of the audio data at the audio reception unit of a reception timing of the video data at the video reception unit; and a decoding processing time difference between the video decoding unit and the audio decoding unit. The amount of delay for synchronization is determined based on It is characterized by that.
[0013]
First 3 In addition, A video / audio synchronization device that performs synchronization when reproducing a plurality of content data including at least one of video data and audio data transmitted in a packetized manner, a video receiving unit that receives the video data, and an audio data An audio receiving unit to receive; a resynchronization determining unit that determines whether it is a timing to resynchronize the plurality of content data; and a synchronization control unit that determines a delay amount for synchronization at the determined resynchronization timing Data delay means for delay adjusting the output timing of the video data and the audio data based on the delay amount; User operation detecting means for detecting an operation by a user A video decoding unit that decodes the video data that has been delay-adjusted by the data delay unit; an audio decoding unit that decodes the audio data that has been delay-adjusted by the data delay unit; And the resynchronization determining means determines that it is the timing of resynchronization when an operation related to video or audio reproduced as a user operation is performed based on a detection result of the user operation by the user operation detecting means. The synchronization control means includes: a transmission delay difference with respect to a reception timing of the audio data at the audio reception unit of a reception timing of the video data at the video reception unit; and a decoding processing time difference between the video decoding unit and the audio decoding unit. The amount of delay for synchronization is determined based on It is characterized by that.
[0014]
First 4 And said Video data and audio data Priority determination means for determining which one of them is prioritized for synchronization further Preparation The priority determination means preferentially synchronizes the video data when the fluctuation of the arrival time of the audio data is smaller than the packet length of the audio data based on the analysis result by the data analysis means. judge It is characterized by that.
[0016]
First 5 In addition, Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided, The priority determination means is based on an analysis result by the data analysis means. ,in front When the fluctuation of the arrival time of the voice data is larger than the packet length of the voice data, it is determined that the voice data is preferentially synchronized.
[0017]
First 6 In addition, Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided, The priority determination unit determines the priority of data at the time of resynchronization based on the content data based on the analysis result of the data analysis unit.
[0018]
First 7 In addition, Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided, The priority determination unit is configured to determine the priority of data at the time of resynchronization according to a transmission state of the content data packet based on a detection result by the data transmission state detection unit.
[0019]
First 8 In addition, Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided, The priority determination unit determines the priority of data at the time of resynchronization based on a user operation relating to video or audio based on a detection result by the user operation detection unit.
[0020]
First 9 In addition, the content data is added with resynchronization information at a predetermined timing suitable for resynchronization at the time of transmission, and the resynchronization determining means determines resynchronization timing based on the resynchronization information. Features.
[0021]
First 10 And said Video decoding unit and audio decoding unit The measurement data is generated before the Video data and audio Measurement signal generating means to be inserted into the data, and Video decoding unit and audio decoding unit Measurement signal detection means for taking out the measurement data and sending it to the synchronization control means in the subsequent stage Further The synchronization control means determines a delay reference value for synchronization based on the measurement data.
[0022]
First 11 Further, the measurement signal generating means sets a data identifier and a measurement start time in the measurement data, and the measurement signal detection means detects measurement data by the data identifier, Measurement data setting means for setting a measurement end time to the measurement data after decoding processing extracted by the measurement signal detection means, and the synchronization control means is based on the measurement start time and the measurement end time of the measurement data. Then, the decoding processing time is obtained, and the delay reference value for synchronization is determined.
[0023]
In the present invention, it is determined whether it is the timing to resynchronize a plurality of content data according to the audio level of the audio data, the encoded video type of the video data, the data transmission state, the user operation, etc., and the synchronization is performed at this resynchronization timing. Resynchronization is performed by determining a delay amount for use and delaying at least one of the plurality of content data based on the delay amount. At this time, the priority of which data is preferentially re-synchronized is determined according to fluctuations in the arrival time of the audio data, data transmission state, content data content, user operation, and the like. Alternatively, the resynchronization information is added to the content data at a predetermined timing suitable for resynchronization when the content data is transmitted, and the resynchronization timing is determined based on the resynchronization information. Thereby, when resynchronization is performed, disturbance of content data such as disturbance of video data and interruption of audio data is reduced so as not to be noticeable.
[0024]
In addition, the measurement data is generated and inserted into the content data before the content data decoding means, and the measurement data is extracted from the content data at the subsequent stage of the decoding means and sent to the synchronization control means. The delay reference value for synchronization is determined by obtaining the decoding processing time based on the data for use. As a result, even if the method and characteristics of the decoding unit are changed, the delay reference value for synchronization can be variably set according to the characteristics of the decoding unit.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of a video / audio reproduction device including a video / audio synchronization device according to the first embodiment of the present invention. In the present embodiment, a configuration example of a video / audio synchronization apparatus in a video / audio reproduction apparatus that receives and reproduces packetized video and audio content data transmitted via a communication line such as an IP network is shown. The operation will be described in detail.
[0026]
The video / audio reproduction device includes a video reception unit 11 that receives video data (video packet) as first content data, an audio reception unit 12 that receives audio data (audio packet) as second content data, A video / audio synchronization unit 13 for synchronizing video and audio, a video decoding unit 15 for decoding video data, an audio decoding unit 16 for decoding audio data, a video display unit 17 for displaying decoded video signals, and decoding The audio reproduction unit 18 is configured to reproduce the reproduced audio signal.
[0027]
The content data here includes one or a plurality of media data (audio data and video data). The content data including a plurality of media data indicates, for example, a multiplexed audio / video stream, a multimedia information stream including audio / video / still image / text, and the like.
[0028]
The video / audio synchronization unit 13 includes a resynchronization control unit 20 that performs operation control related to resynchronization, a video delay control unit (data delay unit) 21 that controls the delay time of video data, and an audio delay control that controls the delay time of audio data. Section (data delay means) 22.
[0029]
In this embodiment, the video and audio synchronization unit 13 controls the video delay control unit 21 and the video delay control unit 21 with respect to the video data and the audio data received by the video reception unit 11 and the audio reception unit 12, respectively. Video and audio are synchronized by adjusting the input timing to the video decoding unit 15 and the audio decoding unit 16 with the delay by the audio delay control unit 22, respectively. Here, in order to reduce the disturbance of video and audio during the resynchronization, the resynchronization is executed at any one of the following four timings.
[0030]
(A) Resynchronization is performed when the voice level of the input voice packet continues below a predetermined value and when non-voice sounds such as environmental sounds continue.
(B) Resynchronization is performed when the input video packet is an intra-frame encoded video (I-frame video) and when the difference from the previous frame is small.
(C) Resynchronization is performed according to the transmission state (packet loss, unordered arrival of packets, arrival interval of packets, etc.).
(D) Resynchronization is performed in accordance with a user operation (such as lowering the volume or enlarging the window during video display).
[0031]
By performing resynchronization at the timing as described above, it is possible to make the disturbance of the video and audio reproduced and output inconspicuous even if discontinuity occurs in the video data and audio data. For example, when the audio output level is small, there is some discontinuity or it is not noticeable even if the data interpolation expansion process is performed, so that the video and audio disturbances can be reduced and resynchronization can be executed. In addition, if the synchronization error is large in a frame image with good image quality such as an intra-frame encoded video, the user feels uncomfortable, and the intra-frame encoded video has a low correlation with the previous frame video. Resynchronization can be executed so that the video and audio disturbances are not noticeable at such frame video timing. Furthermore, even if it is an inter-frame encoded video, if the difference from the previous frame is small, the video disturbance is small even if the input video packet is discarded, so resynchronization is performed so that the video disturbance is not noticeable at this timing. It is feasible. In addition, when a problem occurs during data transmission such as packet loss or when a user operation is performed, the originally output video and audio are disturbed. Therefore, resynchronization can be executed while the disturbance is not conspicuous.
[0032]
FIG. 2 is a block diagram showing a detailed configuration of the resynchronization control unit according to the first embodiment. The example of FIG. 2 shows a configuration in which resynchronization is performed at the resynchronization timing shown in (A) or (B) above.
[0033]
The resynchronization control unit 20a of the first embodiment includes a resynchronization determination unit (resynchronization determination unit) 31, a priority determination unit (priority determination unit) 32, a synchronization control unit (synchronization control unit) 33, and a video packet analysis unit. (Data analysis means) 34 and a voice packet analysis unit (data analysis means) 35 are provided. The resynchronization determination unit 31 determines whether or not the resynchronization timing has come. The priority determination unit 32 determines and determines which of video and audio is prioritized for synchronization. The synchronization control unit 33 executes a video and audio resynchronization algorithm, and determines a video and audio delay amount.
[0034]
The video packet analyzer 34 analyzes whether the video packet received by the video receiver 11 is an intra-frame encoded video (I frame video). The voice packet analysis unit 35 determines the voice level of the voice packet received by the voice reception unit 12.
[0035]
In the first embodiment, the resynchronization determination unit 31 determines whether it is time to perform resynchronization based on the analysis results of the video packet analysis unit 34 and the audio packet analysis unit 35, and the priority determination unit 32 performs the re-synchronization. When performing synchronization, it is determined whether the synchronization is executed in the video priority mode or the audio priority mode. Here, resynchronization is performed when the state in which the audio level of the received audio packet is a predetermined value or lower continues and when the received video packet is an intra-frame encoded video. For example, if the audio level falls below 50 dB (which is a guideline for the noise level of a quiet room) as the predetermined value, resynchronization is performed. Note that the predetermined value is not limited to the above value, and any appropriate value may be used according to the system configuration, the use environment, and the like.
[0036]
Alternatively, resynchronization may be performed when the difference from the previous frame in the video packet is a predetermined value or less. In this case, for example, a difference from the previous frame is set by using a not_coded flag that is set for each macroblock that is a unit of video encoding processing and indicates that the macroblock does not include encoding information in the frame. Can be evaluated. In this example, when the not_coded flag is set in 231 or more macro blocks corresponding to 70% among 330 macro blocks constituting an image with a resolution of 352 × 240 pixels, the difference from the previous frame is equal to or less than a predetermined value. As such, resynchronization is performed. The predetermined value is not limited to the above value, and any appropriate value may be used according to the system configuration, the data format, and the like.
[0037]
When the fluctuation of the arrival time of the audio packet received by the audio receiving unit 12 is smaller than the audio packet length, the audio disturbance due to the audio data expansion processing is small, and therefore resynchronization is performed in the video priority mode. In the video priority mode, the audio data is sent to the audio decoding unit 16 with reference to the input timing of the video data to the video decoding unit 15. Here, when the input timing of the delayed audio data at the time of resynchronization is delayed and the audio is interrupted as it is, the audio data is decompressed to eliminate the interruption.
[0038]
When the fluctuation of the arrival time of the voice packet received by the voice reception unit 12 is larger than the voice packet length, the voice disturbance due to the voice data expansion process becomes large, and resynchronization is performed in the voice priority mode. In the audio priority mode, the video data is sent to the video decoding unit 15 based on the input timing of the audio data to the audio decoding unit 16. In this case, the input timing of the audio data is advanced so that the audio is not interrupted. If the reception timing of the video packet is delayed by one frame or more with respect to the audio, the video display unit 17 is instructed not to display the video. As a result, the display of the video deviated from the sound is prevented, and the disturbance of the video is prevented.
[0039]
In addition to the above example, the priority of video and audio is determined according to the contents of the audio data and video data. For example, the video is given priority when the audio level is low, or the video is selected when the video is an I-frame video. You may give priority.
[0040]
Here, video and audio synchronization will be described in detail below. FIG. 3 is a time chart showing input / output timings in each part of video data and audio data. Normally, the reception timing of video data and audio data has a transmission delay difference in a communication line such as a network. Therefore, the reception of video packets at the video reception unit 11 with respect to the reception timing of audio packets at the audio reception unit 12. The timing is delayed. Considering this transmission delay difference and the decoding processing time difference between the audio decoding unit 16 and the video decoding unit 15, the sum of these time differences is set as the audio delay time, and the input timing of the audio data to the audio decoding unit 16 To delay. Thereby, the timing of the output content in the audio | voice reproduction | regeneration part 18 and the video display part 17 corresponds, and a video and an audio | voice can be synchronized.
[0041]
FIG. 4 is a time chart showing input / output timings in each part of video data and audio data when resynchronization is performed in the video priority mode. In the following, a case where the data of audio n, n + 1, n + 2 and the data of video m are associated and resynchronized will be exemplified. In the video priority mode, the input timing of the audio data is matched with the input timing of the video data to the video decoding unit 15 and sent to the audio decoding unit 16.
[0042]
In the example of FIG. 4, the audio data is input to the audio decoding unit 16 with respect to the audio delay time (delay reference value) for synchronizing the output timings of the audio reproduction unit 18 and the video display unit 17 with each other. The case where the start timing is early and the time fluctuation Tda of the audio data occurs is shown. In this case, if the audio data is delayed in accordance with the timing of the video data, the audio is interrupted. Therefore, in order to avoid this, the audio decoding unit 16 performs an expansion process for interpolating the audio data like the audio n ′. To input. For example, as shown in FIG. 4, when the value of the time fluctuation Tda of the audio data is less than one frame of audio, when the normal audio frame is 20 msec and the value of the fluctuation Tda is 10 msec, the audio data n is obtained by the audio data interpolation process. 'Is expanded to 30 msec worth of data. It should be noted that the present invention is not limited to the above exemplified values, and any appropriate value may be used according to the system configuration, data format, and the like. By such an operation process, it is possible to perform resynchronization of audio in accordance with the video output timing, and to prevent audio disturbance during the resynchronization.
[0043]
FIG. 5 is a time chart showing input / output timings of each part of the video data and audio data when the time fluctuation of the video data is small when resynchronization is performed in the audio priority mode. In the case of the audio priority mode, the input timing of the video data is matched with the input timing of the audio data to the audio decoder 16 and sent to the video decoder 15.
[0044]
In the example of FIG. 5, the input start timing of the video data to the video decoding unit 15 is delayed with respect to the audio delay time and the video delay time for matching the output timings in the audio playback unit 18 and the video display unit 17. The case where the time fluctuation Tdv of the video data occurs is shown. In this case, in order to synchronize the video data with the audio data, the output time of the video data in the video display unit 17, that is, the display time of the video is shortened. For example, as shown in FIG. 5, when the value of the time fluctuation Tdv of the video data is less than one frame of audio, when the normal audio frame is 20 msec and the value of the fluctuation Tdv is 10 msec, the input timing of the video data fluctuates Tdv. Resynchronization is delayed by a value of 10 msec. In this case, in order to prevent disturbance of the video and audio, the output time of the video data m in the video display unit 17 is shortened by the fluctuation Tdv value 10 msec. It should be noted that the present invention is not limited to the above exemplified values, and any appropriate value may be used according to the system configuration, data format, and the like. By such an operation process, it is possible to perform resynchronization of video in accordance with the output timing of audio while preventing disturbance of video and audio.
[0045]
FIG. 6 is a time chart showing input / output timings in each part of the video data and audio data when the time fluctuation of the video data is large when resynchronization is performed in the audio priority mode. In the example of FIG. 6, the input start timing of the video data to the video decoding unit 15 is audio relative to the audio delay time and the video delay time for matching the output timings of the audio playback unit 18 and the video display unit 17. On the other hand, a case is shown in which the time fluctuation Tdv of the video data is large with a delay of one frame or more. In this case, since the data of the audio n, n + 1, n + 2 corresponding to the video m is already output, and the audio n + 3 is the audio corresponding to the next video m + 1, the video m that is not in time in the video display unit 17. The data of is hidden. For example, as shown in FIG. 6, when the value of the time fluctuation Tdv of the video data exceeds one frame of audio, when the normal audio frame is 20 msec and the value of the fluctuation Tdv is 60 msec, the video display unit 17 is greatly delayed. The video data m is not reproduced. It should be noted that the present invention is not limited to the above exemplified values, and any appropriate value may be used according to the system configuration, data format, and the like.
[0046]
When the delayed video data is not displayed, the video data is not discarded even when the intra-frame encoded video (I frame video) is not displayed with a slight delay. On the other hand, when the inter-frame encoded video (P frame video) is not displayed, the video data is discarded. If the I-frame video is discarded, the information at the time of decoding in the subsequent P-frame video becomes inconsistent and the image quality deteriorates. Therefore, the I-frame video is held so that it can be used for decoding or the like. By such an operation process, it is possible to prevent the video and audio from being disturbed so as not to display a video that is delayed in resynchronization and not in time for the audio.
[0047]
FIG. 7 is a block diagram showing a detailed configuration of the resynchronization control unit according to the second embodiment. The example of FIG. 7 shows a configuration for performing resynchronization at the resynchronization timing shown in (C) above.
[0048]
The resynchronization control unit 20b of the second embodiment includes a resynchronization determination unit 36, a priority determination unit 37, a synchronization control unit 33, a video packet transmission state measurement unit (data transmission state detection means) 38, and an audio packet transmission state measurement unit. (Data transmission state detection means) 39 is provided. The video packet transmission state measurement unit 38 measures the reception state of the video packet received by the video reception unit 11. The voice packet transmission state measuring unit 39 measures the reception state of the voice packet received by the voice receiving unit 12.
[0049]
In the second embodiment, based on the packet transmission state measurement results in the video packet transmission state measurement unit 38 and the audio packet transmission state measurement unit 39, the resynchronization determination unit 36 determines whether or not it is a timing for resynchronization. When resynchronization is performed in the priority determination unit 37, it is determined whether the synchronization is executed in the video priority mode or the audio priority mode. Here, when a packet transmission error occurs, such as when packet loss occurs during transmission of video packets or audio packets, the packet arrival order is switched, or the packet arrival interval exceeds a specified value Resynchronize with For example, when the length of the voice frame is 20 msec as the predetermined value, 10 msec that is 50% is set as the predetermined value, and when the arrival interval of the voice packets exceeds the predetermined value 10 msec, resynchronization is performed. The predetermined value is not limited to the above value, and any appropriate value may be used according to the system configuration, the data format, and the like.
[0050]
At this time, as in the first embodiment, synchronization is performed in accordance with the reception timing of the video packet and the audio packet or by giving priority to the normal transmission state of the video packet and the audio packet. The resynchronization operation can be executed by the same procedure as in the first embodiment described above.
[0051]
If packet loss occurs, the video or audio will be distorted inevitably, so by performing resynchronization according to the timing of such transmission state, the video and audio turbulence at the time of resynchronization is conspicuous It becomes possible to eliminate.
[0052]
FIG. 8 is a block diagram showing a configuration of a video / audio reproduction device including a video / audio synchronization device according to the third embodiment, and FIG. 9 is a block diagram showing a detailed configuration of a resynchronization control unit according to the third embodiment. The examples of FIGS. 8 and 9 show a configuration in which resynchronization is performed at the resynchronization timing shown in (D) above.
[0053]
The video / audio reproduction device of the third embodiment includes a user operation detection unit (user operation detection means) 42 that detects a user's operation, and the video / audio synchronization unit 41 includes a detection result of the user operation detection unit 42. The video and audio are synchronized. The resynchronization control unit 20c of the video / audio synchronization unit 41 includes a resynchronization determination unit 43, a priority determination unit 44, and a synchronization control unit 33.
[0054]
In the third embodiment, when the resynchronization determining unit 43 determines whether it is time to perform resynchronization based on the detection result of the user operation in the user operation detecting unit 42, and the priority determining unit 44 performs resynchronization. Determines whether to perform synchronization in the video priority mode or the audio priority mode. Here, resynchronization is performed when the user performs an operation related to video or audio to be reproduced, such as lowering the volume or enlarging a window during video display. At this time, in the same manner as in the first embodiment, synchronization is performed in accordance with the reception timing of the video packet and the audio packet, or priority is given to the video and audio that is not the user operation target. The resynchronization operation can be executed by the same procedure as in the first embodiment described above.
[0055]
In this way, when an operation related to video or audio such as volume reduction is performed by the user, resynchronization is performed in accordance with the change of the audio or video according to the user operation, so that the video or audio at the time of resynchronization is Disturbances can be made inconspicuous.
[0056]
FIG. 10 is an explanatory view showing the structure of the packet format of video and audio data according to the fourth embodiment.
[0057]
As shown in FIG. 10A, the packet format of video data and audio data transmitted over a network or the like is generally the actual video or audio behind a header portion having header information such as packet generation time 51. The data 52 is provided. In the fourth embodiment, as shown in FIG. 10B, resynchronization information 53 is added after the packet generation time 51 in the header portion, and the resynchronization information 53 controls resynchronization timing. .
[0058]
In this case, resynchronization information is added to audio data at the transmission side apparatus, and video and audio are re-synchronized in accordance with the contents and timing of the resynchronization information at the reception side apparatus. For example, resynchronization information is added when the audio level of audio data falls below a predetermined value in the transmission side apparatus. This resynchronization information may use a flag such as “1” when resynchronization is performed and “0” when resynchronization is not performed. It is also possible to use the one represented by It is also possible to add resynchronization information to video data and use it for resynchronization control.
[0059]
By controlling the resynchronization by adding resynchronization information to the audio data and video data at a timing when it is desirable to perform resynchronization in this way, it is possible to reduce the disturbance of the video and audio during the resynchronization. In this case, it is not necessary to analyze the audio data and the video data in the receiving device, and the configuration relating to the resynchronization control can be simplified.
[0060]
FIG. 11 is a block diagram showing a configuration of a video / audio reproduction device including a video / audio synchronization device according to the fifth embodiment of the present invention, and FIG. 12 shows data formats of video / audio data and measurement data according to the fifth embodiment. It is explanatory drawing which shows a structure.
[0061]
In addition to the configuration of the first embodiment of FIG. 1, the video / audio reproduction device of the fifth embodiment includes a measurement signal generator (measurement signal) in front of the video decoder 15 and the audio decoder 16 of the video / audio synchronizer 60. Generation means) 61, 62, and measurement signal detection parts (measurement signal detection means) 63, 64 and measurement data setting parts (measurement data setting means) 65, 66 at the subsequent stage of the video decoding part 15 and the audio decoding part 16, respectively. It is prepared for.
[0062]
The measurement signal generators 61 and 62 generate measurement data in which a measurement start time is set, and insert the measurement data into video data and audio data, respectively. The measurement signal detection units 63 and 64 detect and extract measurement data from the outputs of the video decoding unit 15 and the audio decoding unit 16, respectively. The measurement data setting units 65 and 66 set a measurement end time in the extracted measurement data and feed back to the resynchronization control unit 20.
[0063]
As shown in FIG. 12A, the data format of the video data and the audio data received by the video receiver 11 and the audio receiver 12 is actually behind the header portion having the data identifier 70 of “0”. The video and audio data 72 is provided. Further, as shown in FIG. 12B, the measurement data has a structure in which a measurement start time 73 and a measurement end time 74 are added after the header portion having the data identifier 71 of “1”. Yes. The actual decoding processing time in each of the video decoding unit 15 and the audio decoding unit 16 can be obtained from the measurement start time 73 and the measurement end time 74.
[0064]
In the measurement signal generators 61 and 62, the measurement data added by setting the measurement start time is generated and inserted into the video data and the audio data, respectively. These data are decoded by the video decoding unit 15 and the audio decoding unit 16, respectively, and then the measurement signal detection units 63 and 64 detect the measurement data and extract them. The extracted measurement data is added with the measurement end time set by the measurement data setting units 65 and 66 and sent to the resynchronization control unit 20. The resynchronization control unit 20 obtains the decoding processing time in each of the video decoding unit 15 and the audio decoding unit 16 from the measurement start time and the measurement end time included in the measurement data, and delays based on the difference between these decoding processing times Resynchronization is performed by determining the reference value and controlling the video delay control unit 21 and the audio delay control unit 22.
[0065]
In the fifth embodiment, when the characteristics and decoding method in the video decoding unit 15 and the audio decoding unit 16 are changed, or when a new decoding unit is added, the decoding process of the decoding unit using the measurement data Measure time, set audio delay time (delay reference value), and perform resynchronization. As a result, even when the video decoding unit or the audio decoding unit is switched, resynchronization can be performed by variably setting the delay reference value for synchronization according to the characteristics of the decoding unit.
[0066]
In each of the above embodiments, the configuration in the case of synchronizing video and audio is exemplified, but not only the combination of video and audio but also the combination of various content data such as the combination of video and video and the combination of audio and audio. A similar configuration can be used in the above, and reproduction data can be resynchronized at an appropriate timing without any trouble.
[0067]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a video / audio synchronization apparatus capable of reducing disturbance of video and audio during resynchronization. Also, it is possible to provide a video / audio synchronization apparatus capable of variably setting a synchronization delay reference value according to the characteristics of the decoding unit.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a video / audio reproduction device including a video / audio synchronization device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a detailed configuration of a resynchronization control unit according to the first embodiment.
FIG. 3 is a time chart showing input / output timing in each part of video data and audio data.
FIG. 4 is a time chart showing input / output timings in each part of video data and audio data when resynchronization is performed in the video priority mode.
FIG. 5 is a time chart showing input / output timings in each part of video data and audio data when resynchronization is performed in the audio priority mode and time fluctuation of the video data is small.
FIG. 6 is a time chart showing input / output timings of each part of video data and audio data when resynchronization is performed in the audio priority mode and time fluctuation of the video data is large.
FIG. 7 is a block diagram showing a detailed configuration of a resynchronization control unit according to the second embodiment.
FIG. 8 is a block diagram showing a configuration of a video / audio reproduction device including a video / audio synchronization device according to a third embodiment;
FIG. 9 is a block diagram showing a detailed configuration of a resynchronization control unit according to the third embodiment.
FIG. 10 is an explanatory diagram showing a configuration of a packet format of video and audio data according to the fourth embodiment.
FIG. 11 is a block diagram showing a configuration of a video / audio reproduction device including a video / audio synchronization device according to a fifth embodiment of the present invention;
FIG. 12 is an explanatory diagram showing a configuration of a data format of video and audio data and measurement data according to a fifth embodiment.
[Explanation of symbols]
11 Video receiver
12 Voice receiver
13, 41, 60 Video / audio synchronization unit
15 Video decoding unit
16 Speech decoder
17 Video display
18 Audio playback unit
20, 20a, 20b, 20c Resynchronization control unit
21 Video delay controller
22 Voice delay controller
31, 36, 43 Resynchronization determination unit
32, 37, 44 Priority determination unit
33 Synchronization control unit
34 Video packet analyzer
35 Voice packet analysis unit
38 Video packet transmission state measurement unit
39 Voice packet transmission status measurement unit
42 User operation detection unit
61, 62 Measurement signal generator
63, 64 Measurement signal detector
65, 66 Measurement data setting section

Claims

A video / audio synchronization apparatus that performs synchronization when reproducing a plurality of content data including at least one of video data and audio data transmitted in packets,
A video receiver for receiving video data;
An audio receiver for receiving audio data;
Data analysis means for analyzing video data and audio data received by the video receiver and the audio receiver;
Re-synchronization determination means for determining whether it is timing to resynchronize the plurality of content data;
Synchronization control means for determining a delay amount for synchronization at the determined resynchronization timing;
Data delay means for delay adjusting the output timing of the video data and the audio data based on the delay amount;
A video decoding unit for decoding the video data subjected to delay adjustment by the data delay unit;
A voice decoding unit that decodes the voice data subjected to delay adjustment by the data delay unit;
Equipped with a,
The resynchronization determining means, based on the analysis result by the data analyzing means, one of the content data is video data, and the difference from the previous frame is equal to or less than a predetermined value when it is intra-frame encoded video data In at least one of the cases, it is determined that it is a resynchronization timing,
The synchronization control means is based on a transmission delay difference between a reception timing of the video data in the video reception unit and a reception timing of the audio data in the audio reception unit, and a decoding processing time difference between the video decoding unit and the audio decoding unit. And determining the amount of delay for synchronization.

A video / audio synchronization apparatus that performs synchronization when reproducing a plurality of content data including at least one of video data and audio data transmitted in packets,
A video receiver for receiving video data;
An audio receiver for receiving audio data;
Data transmission state detection means for detecting transmission states of video data and audio data received by the video reception unit and the audio reception unit;
Re-synchronization determination means for determining whether it is timing to resynchronize the plurality of content data;
Synchronization control means for determining a delay amount for synchronization at the determined resynchronization timing;
Data delay means for delay adjusting the output timing of the video data and the audio data based on the delay amount;
A video decoding unit for decoding the video data subjected to delay adjustment by the data delay unit;
A voice decoding unit that decodes the voice data subjected to delay adjustment by the data delay unit;
Equipped with a,
The resynchronization determining means is based on a detection result by the data transmission state detecting means, and the transmission error of the content data includes a packet loss, an out-of-order arrival of packets, or a packet arrival interval equal to or greater than a predetermined value. Is determined to be the resynchronization timing,
The synchronization control means is based on a transmission delay difference between a reception timing of the video data in the video reception unit and a reception timing of the audio data in the audio reception unit, and a decoding processing time difference between the video decoding unit and the audio decoding unit. And determining the amount of delay for synchronization.

A video / audio synchronization apparatus that performs synchronization when reproducing a plurality of content data including at least one of video data and audio data transmitted in packets,
A video receiver for receiving video data;
An audio receiver for receiving audio data;
Re-synchronization determination means for determining whether it is timing to resynchronize the plurality of content data;
Synchronization control means for determining a delay amount for synchronization at the determined resynchronization timing;
Data delay means for delay adjusting the output timing of the video data and the audio data based on the delay amount;
User operation detecting means for detecting an operation by the user;
A video decoding unit for decoding the video data subjected to delay adjustment by the data delay unit;
A voice decoding unit that decodes the voice data subjected to delay adjustment by the data delay unit;
Equipped with a,
The resynchronization determining means determines that it is a resynchronization timing when an operation related to video or audio reproduced as a user operation is performed based on a detection result of the user operation by the user operation detecting means,
The synchronization control means is based on a transmission delay difference between a reception timing of the video data in the video reception unit and a reception timing of the audio data in the audio reception unit, and a decoding processing time difference between the video decoding unit and the audio decoding unit. And determining the amount of delay for synchronization.

Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided ,
The priority determination unit determines to perform synchronization by giving priority to the video data when fluctuation in the arrival time of the audio data is smaller than the packet length of the audio data based on the analysis result by the data analysis unit. video and audio synchronization device according to claim 1, characterized in that.

Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided ,
The priority determination unit determines, based on the analysis result by the data analysis unit, that the audio data is preferentially synchronized when the fluctuation of the arrival time of the audio data is larger than the packet length of the audio data. video and audio synchronization device according to claim 1, characterized in that.

Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided ,
2. The video / audio synchronization apparatus according to claim 1 , wherein the priority determination unit determines the priority of data at the time of resynchronization based on the content data based on the analysis result of the data analysis unit .

Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided ,
Said priority determining means, based on a detection result of the data transmission state detecting means, to claim 2, wherein the determining the priority of the data at the time of re-synchronization in accordance with the transmission state of the packet of the content data The audio-video synchronization apparatus described.

Priority determining means for determining which of the video data and the audio data is to be preferentially synchronized is further provided ,
4. The video according to claim 3 , wherein the priority determination unit determines the priority of data at the time of resynchronization in accordance with a user operation related to video or audio based on a detection result by the user operation detection unit. Voice synchronizer.

In the content data, resynchronization information is added at a predetermined timing suitable for resynchronization during transmission,
The video / audio synchronization apparatus according to any one of claims 1 to 8 , wherein the resynchronization determination unit determines a resynchronization timing based on the resynchronization information.

Measurement signal generation means for generating measurement data in the preceding stage of the video decoding unit and the audio decoding unit and inserting it into the video data and audio data;
Further comprising a measurement signal detection means for taking out the measurement data and sending it to the synchronization control means at a subsequent stage of the video decoding unit and the audio decoding unit ;
The synchronization control means, video audio synchronization apparatus according to any one of claims 1 to 9, wherein determining a delay reference value for synchronization based on the measurement data.

The measurement signal generating means sets a data identifier and a measurement start time in the measurement data,
The measurement signal detection means detects measurement data by the data identifier,
Measurement data setting means for setting a measurement end time in the measurement data after decoding processing extracted by the measurement signal detection means,
The synchronization control means, according to claim 1 0, characterized in that to determine the delay reference value for the said obtained measurement start time of the measurement data and the measurement end time and the decoding time based on the synchronization Video / audio synchronizer.