JP4313522B2 - リップシンク制御装置 - Google Patents
リップシンク制御装置 Download PDFInfo
- Publication number
- JP4313522B2 JP4313522B2 JP2001229773A JP2001229773A JP4313522B2 JP 4313522 B2 JP4313522 B2 JP 4313522B2 JP 2001229773 A JP2001229773 A JP 2001229773A JP 2001229773 A JP2001229773 A JP 2001229773A JP 4313522 B2 JP4313522 B2 JP 4313522B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- audio
- sample group
- supplied
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Synchronizing For Television (AREA)
- Television Receiver Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、リップシンク制御装置に関し、映像と音声の同期をとるリップシンク制御装置に関するものである。
【０００２】
【従来の技術】
デジタル放送を受信するテレビ一体型の受像機やセットトップボックスでは、映像情報及び音声情報に含まれているタイムスタンプ情報等の時間情報をもとに映像情報と音声情報との同期をとるリップシンク制御が行われている。
【０００３】
しかし、近年の家庭等の視聴環境ではＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）アンプ等の外部機器のデコーダを利用して音声が出力される場合が多い。外部機器のデコーダでは、タイムスタンプ情報等を用いて音声情報を映像情報に同期させるリップシンク制御機能は持っておらず、入力された音声情報を速やかにデコードして音声出力させている。
【０００４】
【発明が解決しようとする課題】
従来のＡＶアンプに含まれるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）デコーダでは、タイムスタンプ情報を用いて音声情報を映像情報に同期させるリップシンク制御は行われてないため、外部機器でデコードにかかる時間分だけ音声が遅延してしまう。あるいは、セットトップボックスから音声情報を出力するタイミングはタイムスタンプ情報等で管理されているわけではないために、ＡＣＣデコーダへの音声情報の入力タイミングによっては映像の遅延が発生する。上記の音声または映像の遅延量は明確でないため、映像出力と音声出力には同期のずれが発生するという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、外部機器のデコーダを利用して音声が出力する際に、映像出力と音声出力とのリップシンクを合わすことのできるリップシンク制御装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、受信手段が受信したデジタル放送から分離した音声ストリームと、前記デジタル放送から分離した音声ストリームと映像ストリームをデコードして得た互いに同期のとれた音声信号及び映像信号を前記受信手段から供給されるリップシンク制御装置であって、
前記受信手段から供給される音声ストリームをデコードして出力するデコード手段と、
前記受信手段から供給される音声信号と、前記デコード手段から供給される音声信号との間の時間ずれ量を検出する時間ずれ検出手段と、
前記デコード手段から供給される音声信号と、前記受信手段から供給される映像信号との少なくともいずれか一方を、前記時間ずれ検出手段で検出した時間ずれ量だけ遅延して前記デコード手段から供給される音声信号と前記受信手段から供給される映像信号との同期をとって出力する遅延手段とを有することにより、
外部機器のデコーダを利用して音声を出力する際に、映像出力と音声出力とのリップシンクを合わすことができる。
【０００７】
請求項２に記載の発明は、請求項１記載のリップシンク制御装置において、
前記時間ずれ検出手段は、前記受信手段から供給される音声信号のサンプル群と前記デコード手段から供給される音声信号のサンプル群を同時に取り込み、一方のサンプル群で連続する所定数のサンプル列を他方のサンプル群に対して順次遅延させながら前記他方のサンプル群の連続する所定数のサンプル列との相関演算を行い、相関値が最小となる遅延量を一方のサンプル群に対する他方のサンプル群の時間ずれ量として検出することにより、
受信手段から供給される音声信号と、デコード手段から供給される音声信号との時間ずれ量を正確に検出することができる。
【０００８】
【発明の実施の形態】
図１は、本発明装置の第１実施例のブロック構成図を示す。同図中、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【０００９】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４及び音声遅延部２８に供給される。
【００１０】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数ｎ（ｎは例えば数１０サンプル）のサンプル列を、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。
【００１１】
例えば図２に示す入力Ａサンプル群と、図３に示す入力Ｂサンプル群とが得られた場合について説明する。ｎ＝１１とした場合、まず、入力Ａサンプル群の第１〜第１１サンプルのサンプル列Ａ１〜Ａ１１と、遅延量ｋ＝０［サンプル周期］の入力Ｂサンプル群の第１〜第１１サンプルのサンプル列Ｂ１〜Ｂ１１との相関値Ｅ０を（１）式により求める。
【００１２】
【数１】
また、入力Ａサンプル群の第１〜第１１サンプルのサンプル列Ａ１〜Ａ１１と、遅延量ｋ＝１の入力Ｂサンプル群の第１〜第１２サンプルのサンプル列Ｂ２〜Ｂ１２との相関値Ｅ１を（１）式により求め、同様にして相関値Ｅ２〜Ｅ９を（１）式により求める。この様子を図４に示す。図４では左端の２列の欄に入力Ａサンプル群と入力Ｂサンプル群との各サンプルの値を示し、その右方の欄に入力Ａサンプルと入力Ｂサンプルとの偏差の２乗を示すと共に、各欄の最下行には相関値Ｅ０〜Ｅ９を示している。
【００１３】
遅延量測定器２４は、上記の相関値Ｅ０〜Ｅ９のうち最小となる相関値がＥ７であることから、入力Ａサンプル群に対する入力Ｂサンプル群の遅延量が７サンプル周期であることを検出する。これにより、遅延量測定器２４はデコーダ２６からデジタルの音声信号を供給されている音声遅延部２８に対して遅延量７［サンプル周期］を指示し、セットトップボックス１０からアナログまたはデジタルの映像信号を供給されている映像遅延部３０に対して遅延量０［サンプル周期］を指示する。
【００１４】
この指示により、音声遅延部２８はデジタルの音声信号を７サンプル周期だけ遅延して端子３２より出力し、また、映像遅延部３０はアナログまたはデジタルの映像信号を０サンプル周期だけ遅延つまり遅延なしで端子３４より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００１５】
図５は、本発明装置の第２実施例のブロック構成図を示す。この実施例はデジタルの映像信号に対し音声ストリームが遅れることが予めわかっている場合に適応される。同図中、図１と同一部分には同一符号を付す。図５において、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【００１６】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４に供給されると共に端子３２に向けて出力される。
【００１７】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数（例えば数１０サンプル）のサンプル列と、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。相関演算については、図２〜図４を用いた前述の説明と全く同一であるので省略する。
【００１８】
遅延量測定器２４は、得られた複数の相関値のうち最小となる相関値から入力Ａサンプル群に対する入力Ｂサンプル群の時間ずれ量を検出する。これにより、遅延量測定器２４は、セットトップボックス１０からアナログまたはデジタルの映像信号を供給されている映像遅延部３０に対して検出時間ずれ量だけの遅延を指示する。
【００１９】
この指示により、映像遅延部３０はデジタルの映像信号を検出時間ずれ量だけ遅延して端子３４より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００２０】
図６は、本発明装置の第３実施例のブロック構成図を示す。この実施例は音声ストリームに対しアナログまたはデジタルの映像信号が遅れることが予めわかっている場合に適応される。同図中、図１と同一部分には同一符号を付す。図６において、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【００２１】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４及び音声遅延部２８に供給される。
【００２２】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数（例えば数１０サンプル）のサンプル列と、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。相関演算については、図２〜図４を用いた前述の説明を全く同一であるので省略する。
【００２３】
遅延量測定器２４は、得られた複数の相関値のうち最小となる相関値から入力Ｂサンプル群に対する入力Ａサンプル群の時間ずれ量を検出する。これにより、遅延量測定器２４は、デコーダ２６からデジタルの音声信号を供給されている音声遅延部２８に対して検出時間ずれ量だけの遅延を指示する。
【００２４】
この指示により、音声遅延部２８はデジタルの音声信号を検出時間ずれ量だけ遅延して端子３２より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００２５】
なお、セットトップボックス１０が請求項記載の受信手段に対応し、デコーダ２６がデコード手段に対応し、遅延量測定器２４が時間ずれ検出手段に対応し、音声遅延部２８，映像遅延部３０が遅延手段に対応する。
【００２６】
【発明の効果】
上述の如く、請求項１に記載の発明によれば、外部機器のデコーダを利用して音声が出力する際に、映像出力と音声出力とのリップシンクを合わすことができる。
【００２７】
また、請求項２に記載の発明によれば、受信手段が受信したデジタル放送からデコードした音声信号と、デコード手段から供給される音声信号との時間ずれ量を正確に検出することができる。
【図面の簡単な説明】
【図１】本発明装置の第１実施例のブロック構成図である。
【図２】入力Ａサンプル群を示す図である。
【図３】入力Ｂサンプル群を示す図である。
【図４】相関演算の様子を示す図である。
【図５】本発明装置の第２実施例のブロック構成図である。
【図６】本発明装置の第３実施例のブロック構成図である。
【符号の説明】
１０ セットトップボックス
２０ 外部機器
２２ Ａ／Ｄ変換部
２４ 遅延量測定器
２６ デコーダ
２８ 音声遅延部
３０ 映像遅延部
【発明の属する技術分野】
本発明は、リップシンク制御装置に関し、映像と音声の同期をとるリップシンク制御装置に関するものである。
【０００２】
【従来の技術】
デジタル放送を受信するテレビ一体型の受像機やセットトップボックスでは、映像情報及び音声情報に含まれているタイムスタンプ情報等の時間情報をもとに映像情報と音声情報との同期をとるリップシンク制御が行われている。
【０００３】
しかし、近年の家庭等の視聴環境ではＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）アンプ等の外部機器のデコーダを利用して音声が出力される場合が多い。外部機器のデコーダでは、タイムスタンプ情報等を用いて音声情報を映像情報に同期させるリップシンク制御機能は持っておらず、入力された音声情報を速やかにデコードして音声出力させている。
【０００４】
【発明が解決しようとする課題】
従来のＡＶアンプに含まれるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）デコーダでは、タイムスタンプ情報を用いて音声情報を映像情報に同期させるリップシンク制御は行われてないため、外部機器でデコードにかかる時間分だけ音声が遅延してしまう。あるいは、セットトップボックスから音声情報を出力するタイミングはタイムスタンプ情報等で管理されているわけではないために、ＡＣＣデコーダへの音声情報の入力タイミングによっては映像の遅延が発生する。上記の音声または映像の遅延量は明確でないため、映像出力と音声出力には同期のずれが発生するという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、外部機器のデコーダを利用して音声が出力する際に、映像出力と音声出力とのリップシンクを合わすことのできるリップシンク制御装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、受信手段が受信したデジタル放送から分離した音声ストリームと、前記デジタル放送から分離した音声ストリームと映像ストリームをデコードして得た互いに同期のとれた音声信号及び映像信号を前記受信手段から供給されるリップシンク制御装置であって、
前記受信手段から供給される音声ストリームをデコードして出力するデコード手段と、
前記受信手段から供給される音声信号と、前記デコード手段から供給される音声信号との間の時間ずれ量を検出する時間ずれ検出手段と、
前記デコード手段から供給される音声信号と、前記受信手段から供給される映像信号との少なくともいずれか一方を、前記時間ずれ検出手段で検出した時間ずれ量だけ遅延して前記デコード手段から供給される音声信号と前記受信手段から供給される映像信号との同期をとって出力する遅延手段とを有することにより、
外部機器のデコーダを利用して音声を出力する際に、映像出力と音声出力とのリップシンクを合わすことができる。
【０００７】
請求項２に記載の発明は、請求項１記載のリップシンク制御装置において、
前記時間ずれ検出手段は、前記受信手段から供給される音声信号のサンプル群と前記デコード手段から供給される音声信号のサンプル群を同時に取り込み、一方のサンプル群で連続する所定数のサンプル列を他方のサンプル群に対して順次遅延させながら前記他方のサンプル群の連続する所定数のサンプル列との相関演算を行い、相関値が最小となる遅延量を一方のサンプル群に対する他方のサンプル群の時間ずれ量として検出することにより、
受信手段から供給される音声信号と、デコード手段から供給される音声信号との時間ずれ量を正確に検出することができる。
【０００８】
【発明の実施の形態】
図１は、本発明装置の第１実施例のブロック構成図を示す。同図中、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【０００９】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４及び音声遅延部２８に供給される。
【００１０】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数ｎ（ｎは例えば数１０サンプル）のサンプル列を、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。
【００１１】
例えば図２に示す入力Ａサンプル群と、図３に示す入力Ｂサンプル群とが得られた場合について説明する。ｎ＝１１とした場合、まず、入力Ａサンプル群の第１〜第１１サンプルのサンプル列Ａ１〜Ａ１１と、遅延量ｋ＝０［サンプル周期］の入力Ｂサンプル群の第１〜第１１サンプルのサンプル列Ｂ１〜Ｂ１１との相関値Ｅ０を（１）式により求める。
【００１２】
【数１】
【００１３】
遅延量測定器２４は、上記の相関値Ｅ０〜Ｅ９のうち最小となる相関値がＥ７であることから、入力Ａサンプル群に対する入力Ｂサンプル群の遅延量が７サンプル周期であることを検出する。これにより、遅延量測定器２４はデコーダ２６からデジタルの音声信号を供給されている音声遅延部２８に対して遅延量７［サンプル周期］を指示し、セットトップボックス１０からアナログまたはデジタルの映像信号を供給されている映像遅延部３０に対して遅延量０［サンプル周期］を指示する。
【００１４】
この指示により、音声遅延部２８はデジタルの音声信号を７サンプル周期だけ遅延して端子３２より出力し、また、映像遅延部３０はアナログまたはデジタルの映像信号を０サンプル周期だけ遅延つまり遅延なしで端子３４より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００１５】
図５は、本発明装置の第２実施例のブロック構成図を示す。この実施例はデジタルの映像信号に対し音声ストリームが遅れることが予めわかっている場合に適応される。同図中、図１と同一部分には同一符号を付す。図５において、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【００１６】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４に供給されると共に端子３２に向けて出力される。
【００１７】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数（例えば数１０サンプル）のサンプル列と、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。相関演算については、図２〜図４を用いた前述の説明と全く同一であるので省略する。
【００１８】
遅延量測定器２４は、得られた複数の相関値のうち最小となる相関値から入力Ａサンプル群に対する入力Ｂサンプル群の時間ずれ量を検出する。これにより、遅延量測定器２４は、セットトップボックス１０からアナログまたはデジタルの映像信号を供給されている映像遅延部３０に対して検出時間ずれ量だけの遅延を指示する。
【００１９】
この指示により、映像遅延部３０はデジタルの映像信号を検出時間ずれ量だけ遅延して端子３４より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００２０】
図６は、本発明装置の第３実施例のブロック構成図を示す。この実施例は音声ストリームに対しアナログまたはデジタルの映像信号が遅れることが予めわかっている場合に適応される。同図中、図１と同一部分には同一符号を付す。図６において、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【００２１】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４及び音声遅延部２８に供給される。
【００２２】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数（例えば数１０サンプル）のサンプル列と、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。相関演算については、図２〜図４を用いた前述の説明を全く同一であるので省略する。
【００２３】
遅延量測定器２４は、得られた複数の相関値のうち最小となる相関値から入力Ｂサンプル群に対する入力Ａサンプル群の時間ずれ量を検出する。これにより、遅延量測定器２４は、デコーダ２６からデジタルの音声信号を供給されている音声遅延部２８に対して検出時間ずれ量だけの遅延を指示する。
【００２４】
この指示により、音声遅延部２８はデジタルの音声信号を検出時間ずれ量だけ遅延して端子３２より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００２５】
なお、セットトップボックス１０が請求項記載の受信手段に対応し、デコーダ２６がデコード手段に対応し、遅延量測定器２４が時間ずれ検出手段に対応し、音声遅延部２８，映像遅延部３０が遅延手段に対応する。
【００２６】
【発明の効果】
上述の如く、請求項１に記載の発明によれば、外部機器のデコーダを利用して音声が出力する際に、映像出力と音声出力とのリップシンクを合わすことができる。
【００２７】
また、請求項２に記載の発明によれば、受信手段が受信したデジタル放送からデコードした音声信号と、デコード手段から供給される音声信号との時間ずれ量を正確に検出することができる。
【図面の簡単な説明】
【図１】本発明装置の第１実施例のブロック構成図である。
【図２】入力Ａサンプル群を示す図である。
【図３】入力Ｂサンプル群を示す図である。
【図４】相関演算の様子を示す図である。
【図５】本発明装置の第２実施例のブロック構成図である。
【図６】本発明装置の第３実施例のブロック構成図である。
【符号の説明】
１０ セットトップボックス
２０ 外部機器
２２ Ａ／Ｄ変換部
２４ 遅延量測定器
２６ デコーダ
２８ 音声遅延部
３０ 映像遅延部
Claims (2)
- 受信手段が受信したデジタル放送から分離した音声ストリームと、前記デジタル放送から分離した音声ストリームと映像ストリームをデコードして得た同期のとれた音声信号及び映像信号を前記受信手段から供給されるリップシンク制御装置であって、
前記受信手段から供給される音声ストリームをデコードして出力するデコード手段と、
前記受信手段から供給される音声信号と、前記デコード手段から供給される音声信号との間の時間ずれ量を検出する時間ずれ検出手段と、
前記デコード手段から供給される音声信号と、前記受信手段から供給される映像信号との少なくともいずれか一方を、前記時間ずれ検出手段で検出した時間ずれ量だけ遅延して前記デコード手段から供給される音声信号と前記受信手段から供給される映像信号との同期をとって出力する遅延手段とを
有することを特徴とするリップシンク制御装置。 - 請求項１記載のリップシンク制御装置において、
前記時間ずれ検出手段は、前記受信手段から供給される音声信号のサンプル群と前記デコード手段から供給される音声信号のサンプル群を同時に取り込み、一方のサンプル群で連続する所定数のサンプル列を他方のサンプル群に対して順次遅延させながら前記他方のサンプル群の連続する所定数のサンプル列との相関演算を行い、相関値が最小となる遅延量を一方のサンプル群に対する他方のサンプル群の時間ずれ量として検出することを特徴とするリップシンク制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001229773A JP4313522B2 (ja) | 2001-07-30 | 2001-07-30 | リップシンク制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001229773A JP4313522B2 (ja) | 2001-07-30 | 2001-07-30 | リップシンク制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003046901A JP2003046901A (ja) | 2003-02-14 |
| JP4313522B2 true JP4313522B2 (ja) | 2009-08-12 |
Family
ID=19062073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001229773A Expired - Fee Related JP4313522B2 (ja) | 2001-07-30 | 2001-07-30 | リップシンク制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4313522B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100499037B1 (ko) * | 2003-07-01 | 2005-07-01 | 엘지전자 주식회사 | 디지털 텔레비젼 수신기의 립 싱크 테스트 방법 및 장치 |
| KR100651894B1 (ko) | 2004-07-23 | 2006-12-06 | 엘지전자 주식회사 | 영상기기 및 그 제어방법 |
| KR100653057B1 (ko) * | 2004-08-09 | 2006-12-06 | 삼성전자주식회사 | 멀티미디어시스템 |
| KR100584615B1 (ko) | 2004-12-15 | 2006-06-01 | 삼성전자주식회사 | 오디오/비디오 동기 자동 조정 장치 및 그 방법 |
| KR100875592B1 (ko) * | 2005-03-18 | 2008-12-23 | 후지쯔 가부시끼가이샤 | 영상 장치에서의 영상 신호와 음성 신호와의 동기 제어방법 및 장치 |
| WO2007049451A1 (ja) * | 2005-10-27 | 2007-05-03 | National University Corporation Chiba University | 映像と音声のずれ時間を、高精度かつ簡便に計測する方法および計測装置 |
| KR100748370B1 (ko) | 2006-05-25 | 2007-08-10 | (주)엠씨에스로직 | 비디오 및 오디오 데이터를 동기화하는 방법 및 동영상재생 장치 |
| TWI314017B (en) | 2006-07-12 | 2009-08-21 | Quanta Comp Inc | System and method for synchronizing video frames and audio frames |
| KR100864009B1 (ko) | 2007-04-02 | 2008-10-16 | 주식회사 대우일렉트로닉스 | 오디오／비디오 동기화 방법 |
| CN101295531B (zh) * | 2007-04-27 | 2010-06-23 | 鸿富锦精密工业（深圳）有限公司 | 多媒体装置及其使用方法 |
| DE102009030318B4 (de) * | 2009-06-24 | 2012-09-06 | Opticom Dipl.-Ing. Michael Keyhl Gmbh | Vorrichtung und Verfahren zur Bestimmung eines Abtastratenunterschiedes |
| JP5383520B2 (ja) * | 2010-01-12 | 2014-01-08 | Ｋｄｄｉ株式会社 | 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法 |
-
2001
- 2001-07-30 JP JP2001229773A patent/JP4313522B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003046901A (ja) | 2003-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4313522B2 (ja) | リップシンク制御装置 | |
| JP4991129B2 (ja) | 映像音声再生装置および映像音声再生方法 | |
| JP5212473B2 (ja) | 映像音声データ出力装置および映像音声データ出力方法 | |
| JPH01171372A (ja) | テレビジョン信号方式変換装置 | |
| JP2538921B2 (ja) | 音楽演奏情報伝送方法および送信装置と受信装置 | |
| JP2003259314A (ja) | 映像音声同期方法及びそのシステム | |
| JP5106039B2 (ja) | 画像音声同期再生装置 | |
| TW398137B (en) | The discrimination circuit between receiving signals and its method | |
| US20040013270A1 (en) | Apparatus and method for converting contents | |
| JP4186514B2 (ja) | 放送受信機 | |
| JP3738018B2 (ja) | 信号遅延測定装置、信号遅延測定方法および信号遅延測定プログラム | |
| KR101083179B1 (ko) | 음성 신호 지연 장치 | |
| JP2002176643A (ja) | 映像・音声復号処理における映像・音声の同期再生方式 | |
| KR100523761B1 (ko) | 다중 입출력 지원 실시간 콘텐츠 제작 및 인터넷 방송 데이터 편집장치 및 방법 | |
| KR101011350B1 (ko) | 수신 장치의 시스템 클록을 발생시키기 위한 방법 및 이를위한 수신 장치 | |
| KR100240331B1 (ko) | 디코더 시스템의 비디오/오디오 동기화 장치 | |
| JP5226414B2 (ja) | 手話通訳システム、放送装置、手話通訳装置、放送方法、及びプログラム | |
| JP2000347639A (ja) | デジタルディスプレイデバイスのタイミング情報インターフェース装置（ａｐｐａｒａｔｕｓｆｏｒｉｎｔｅｒｆａｃｉｎｇｔｉｍｉｎｇｉｎｆｏｒｍａｔｉｏｎｉｎｄｉｇｉｔａｌｄｉｓｐｌａｙｄｅｖｉｃｅ） | |
| JP4723715B2 (ja) | マルチチャンネル表示用データ作成装置、及びマルチチャンネル表示用データ作成方法 | |
| JP2006101364A (ja) | 映像音声同期装置およびテレビ受信機 | |
| JP2731885B2 (ja) | 映像信号及び音声信号間の時間補正方法 | |
| JP2638948B2 (ja) | 動き検出回路 | |
| JP2576269B2 (ja) | Ｎｔｓｃ信号／ｐａｌ信号判定回路 | |
| JP2010124199A (ja) | デジタル放送受信装置 | |
| JP2008153945A (ja) | 映像／音声同期化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |