JP5106039B2

JP5106039B2 - 画像音声同期再生装置

Info

Publication number: JP5106039B2
Application number: JP2007276136A
Authority: JP
Inventors: 英明芝田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-10-24
Filing date: 2007-10-24
Publication date: 2012-12-26
Anticipated expiration: 2027-10-24
Also published as: JP2009105706A; US8301018B2; US20090110370A1

Description

本発明は、ディジタルストリームデータを復号し、その復号して得られた画像及び音声を視聴する画像音声同期再生装置に関するものであって、１系統の音声データに対して、それぞれ異なるフレーム周波数からなるＮ（Ｎは２以上の自然数）系統の画像データを同時に出力する場合に適するものである。

従来、ある画像音声同期再生装置では、タイマーで生成される基準時刻情報と時間情報抽出部で抽出される画像用時間情報とを比較し、同期部で画像データ系列を時間軸圧縮伸張することによって、画像データ系列を基準時刻に同期させ、一方、タイマーで生成される基準時刻情報と時間情報抽出部で抽出される音声用時間情報とを比較し、同期部で音声データ系列を時間軸圧縮伸張することによって、音声データ系列を基準時刻に同期させて、その結果として画像データと音声データとの同期を合わせるように制御する（特許文献１参照）。
特開２０００−３２３９７号公報

しかしながら、前記従来の構成では、復号して得られた画像データを元に、フレーム周波数が異なる複数の画像データ出力を同時に行う場合には、１種類のフレーム周波数の画像フレーム間隔単位の精度でしか同期合わせを行うことができないという課題を有していた。

本発明は、前記従来の課題を解決するもので、フレーム周波数が異なる複数の画像データ出力を同時に行う場合に、それぞれのフレーム周波数で出力される画像データ出力毎に同期合わせを行うことを可能とした画像音声同期再生装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の画像音声同期再生装置は、画像ストリームを復号して、第１のフレーム間隔からなる複数の画像フレームによって構成される第１の画像データ系列を出力する第１の復号手段と、前記画像ストリームから画像用時間情報を抽出する第１の時間情報抽出手段と、前記第１の復号手段から出力される第１の画像データ系列を補間処理して第２のフレーム又はフィールド間隔からなる複数の画像フレーム又は画像フィールドによって構成される第２の画像データ系列を出力する画像周期補間処理手段と、音声ストリームを復号して、複数の音声ブロックによって構成される音声データ系列を出力する第２の復号手段と、前記音声ストリームから音声用時間情報を抽出する第２の時間情報抽出手段と、基準時刻情報を生成する基準時刻生成手段と、前記画像用時間情報を前記音声用時間情報及び前記基準時刻情報と照合し、その結果に応じて前記第１の画像データ系列の画像フレーム間隔を単位としてリピート又はスキップ処理することにより、前記第１の画像データ系列を前記音声データ系列に同期させる第１の同期手段と、前記画像用時間情報を前記音声用時間情報及び前記基準時刻情報と照合し、その結果に応じて前記第２の画像データ系列の画像フレーム又は画像フィールド間隔を単位としてリピート又はスキップ処理することにより、前記第２の画像データ系列を前記音声データ系列に同期させる第２の同期手段とを有する構成である。

本構成によって、１系統の音声データ系列出力に対して、フレーム周波数の異なる第１の画像データ系列出力と第２の画像データ系列出力とを個別にそれぞれの精度で同期合わせをすることができる。

本発明の画像音声同期再生装置によれば、同時に出力される画像データそれぞれのフレーム周波数に応じた最適な同期合わせを実現することにより、同時に出力されるいかなるフレーム周波数の画像出力においても音声出力との不自然感のない視聴を楽しむことができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態１における画像音声同期再生装置を示し、画像ストリームに対して入力処理を行う入力部１０１と、音声ストリームに対して入力処理を行う入力部１０２と、画像ストリームを復号して画像データに変換する復号部１０３と、画像ストリームから画像用時間情報を抽出する時間情報抽出部１０４と、基準時刻情報を生成するタイマー部１０５と、音声ストリームから音声用時間情報を抽出する時間情報抽出部１０６と、音声ストリームを復号して音声データに変換する復号部１０７と、時間情報抽出部１０４，１０６の出力である画像用時間情報及び音声用時間情報から復号部１０３の出力である画像データを時間軸圧縮伸張して同期合わせを行う同期部１０８と、復号部１０３の出力である画像データのフレーム周波数を変換するために補間処理を行う画像周期補間処理部１０９と、時間情報抽出部１０４，１０６の出力である画像用時間情報及び音声用時間情報から画像周期補間処理部１０９の出力である周期補間された画像データを時間軸圧縮伸張して同期合わせを行う同期部１１０と、同期部１０８から出力される同期合わせされたディジタル画像信号をアナログ信号に変換して出力する画像信号出力部１１１と、同期部１１０から出力される同期合わせされたディジタル画像信号をアナログ信号に変換して出力する画像信号出力部１１２と、復号部１０７から出力されるディジタル音声信号をアナログ信号に変換して出力する音声信号出力部１１３と、画像信号出力部１１１のアナログ信号を出力する第１の画像出力端子１２１と、画像信号出力部１１２のアナログ信号を出力する第２の画像出力端子１２２と、音声信号出力部１１３のアナログ信号を出力する音声出力端子１２３とで構成されている。

以上のように構成された画像音声同期再生装置について、以下その動作を説明する。まず、ＢＤ−ＲＯＭディスクのようなパッケージメディアに格納されたディジタル圧縮された画像と音声のストリームがそれぞれ入力部１０１，１０２に入力される。入力部１０１，１０２では、例えば、ストリームの構造解析を行い、純粋な圧縮データと付加データとに分離するといったような、それぞれのストリームに対する入力処理を施す。復号部１０３では、入力部１０１から出力される画像ストリームを復号化処理し、画像データへ変換を行う。一方、時間情報抽出部１０４では、画像データ用の時間情報の抽出を行う。同様に、復号部１０７では、入力部１０２から出力される音声ストリームを復号化処理し、音声データへ変換を行う。一方、時間情報抽出部１０６では、音声データ用の時間情報の抽出を行い、同期部１０８，１１０に抽出した音声用時間情報を出力する。復号部１０７から出力される音声データは音声信号出力部１１３から出力される。

復号部１０３から出力される画像データは、同期部１０８及び画像周期補間処理部１０９に入力される。同期部１０８は、時間情報抽出部１０４，１０６及びタイマー部１０５から入力される画像用時間情報と音声用時間情報及び基準時刻情報とを比較し、画像用時間情報と音声用時間情報との差分が復号部１０３から出力される画像データのフレーム周期よりも大きければ、復号部１０３から入力される画像データに対して、音声用時間情報に同期させるようにフレーム単位で画像データをリピート又はスキップすることによって同期合わせを行い、その結果は画像信号出力部１１１から出力される。

画像周期補間処理部１０９では、復号部１０３から出力される画像データの複数フレームを用いて補間処理を施し、元のフレーム周期よりも短い周期の画像フレーム又は画像フィールドから構成される画像データを生成し、同期部１１０に出力する。

図２を用いて、画像周期補間処理部１０９の処理を説明する。図２において、復号部１０３の出力画像フレームを白丸で表し、画像周期補間処理部１０９の出力画像フィールドを黒丸で表している。復号部１０３の出力画像は、例えば２４Ｈｚのフレーム周波数で構成される画像である。一方、画像周期補間処理部１０９の出力画像は、例えば５９．９４Ｈｚのフィールド周波数で構成される画像である。図２では、白丸２つのフレームを構成する画像データを用いて、黒丸１つのフィールドを構成する画像データを生成するものとして表しており、２４Ｈｚの画像フレームの２フレーム分のデータを用いて補間処理を行い、５９．９４Ｈｚの１フィールド画像データを生成している。結果として、画像周期補間処理部１０９の出力画像は、より小さいフレーム周波数で構成される画像データ系列となる。

同期部１１０は、時間情報抽出部１０４，１０６及びタイマー部１０５から入力される画像用時間情報と音声用時間情報及び基準時刻情報とを比較し、画像用時間情報と音声用時間情報との差分が画像周期補間処理部１０９から出力される画像データのフィールド周期よりも大きければ、画像周期補間処理部１０９から入力される画像データに対して、音声用時間情報に同期させるようにフィールド単位で画像データをリピート又はスキップすることによって同期合わせを行い、その結果は画像信号出力部１１２から出力される。

以上のような構成により、画像信号出力部１１１から出力される画像信号に関しては、２４Ｈｚの単位で音声信号との同期合わせを実現し、一方、画像信号出力部１１２から出力される画像信号に関しては、５９．９４Ｈｚの単位で音声信号との同期合わせを実現することができる。これにより、小さなフレーム周波数で構成される画像信号出力に対しては、精度の高い同期合わせを実現することができ、リップシンクずれといった違和感の発生が少ない画像と音声の出力を得ることができる。

なお、本発明の実施の形態１では、フレーム周波数２４Ｈｚとフィールド周波数５９．９４Ｈｚといった異なる２系統の画像出力を同時に行う場合を例にとって説明したが、２系統以上であれば構わないし、フレーム周波数に関しても異なるものであれば構わない。

図３は、本発明の実施の形態２における画像音声同期再生装置を示し、同期部１０８から出力される同期合わせされた画像データと復号部１０７から出力される音声データとからＨＤＭＩ信号に変換処理を行うＨＤＭＩ変換部１１４と、当該ＨＤＭＩ信号を出力するＨＤＭＩ出力端子１３１とを備える点が、本発明の実施の形態１の画像音声同期再生装置（図１参照）と異なる。

図３のように構成された画像音声同期再生装置について、その動作を説明するが、画像データと音声データの出力変換に関する動作以外は、本発明の実施の形態１に記載したものと同じであるため説明を省略する。

図３の構成によれば、同期部１０８で同期合わせされた２４Ｈｚのフレーム周波数からなる画像データと、復号部１０７で得られた音声データとは、ＨＤＭＩ変換部１１４でＨＤＭＩ信号に変換され、ＴＶモニター等へ出力される。一方、同期部１１０で同期合わせされた５９．９４Ｈｚの画像データは、画像信号出力部１１２でディジタル信号からアナログ信号に変換され、ＴＶモニター等へ出力される。音声信号出力部１１３では、復号部１０７から出力される音声データをディジタル信号からアナログ信号に変換処理を行い、ＴＶモニター等へ出力される。

以上のような構成により、ＨＤＭＩ変換部１１４から出力される画像データと音声データに関しては、２４Ｈｚの単位で音声データとの同期合わせを実現し、一方、画像信号出力部１１２から出力される画像信号に関しては、５９．９４Ｈｚの単位で音声信号との同期合わせを実現することができる。これにより、小さなフレーム周波数で構成される画像データ出力に対しては、精度の高い同期合わせを実現することができ、リップシンクずれといった違和感の発生が少ない画像と音声の出力を得ることができる。

以上説明してきたとおり、本発明に係る画像音声同期再生装置は、例えばＨＤＭＩ出力端子からは２４Ｈｚの画像データを出力しながら、Ｓビデオ出力端子、コンポーネント出力端子、コンポジットビデオ出力端子から５９．９４Ｈｚのような異なる画像周期で構成される画像データを同時に出力するＤＶＤプレーヤ、ＢＤプレーヤ等に適用して有用である。

本発明の実施の形態１における画像音声同期再生装置のブロック図である。図１中の画像周期補間処理部に関する動作説明図である。本発明の実施の形態２における画像音声同期再生装置のブロック図である。

符号の説明

１０１，１０２入力部
１０３，１０７復号部
１０４，１０６時間情報抽出部
１０５タイマー部
１０８，１１０同期部
１０９画像周期補間処理部
１１１，１１２画像信号出力部
１１３音声信号出力部
１１４ＨＤＭＩ変換部
１２１，１２２画像出力端子
１２３音声出力端子
１３１ＨＤＭＩ出力端子

Claims

それぞれフレーム周波数が異なるＮ（Ｎは２以上の自然数）系統の画像出力と１系統の音声出力とを有する画像音声同期再生装置であって、
前記Ｎ系統の画像出力を少なくとも２系統は同時に行い、それぞれ個別に音声出力との同期合わせを行うことを特徴とする画像音声同期再生装置。
請求項１記載の画像音声同期再生装置において、
前記Ｎ系統の画像出力は、フレーム周波数２４Ｈｚの画像出力と、ＮＴＳＣ信号のフレーム周波数の画像出力とを含むことを特徴とする画像音声同期再生装置。
請求項１記載の画像音声同期再生装置において、
前記Ｎ系統の画像出力は、フレーム周波数２４Ｈｚの画像出力と、ＰＡＬ信号のフレーム周波数の画像出力とを含むことを特徴とする画像音声同期再生装置。
請求項２又は３に記載の画像音声同期再生装置において、
前記フレーム周波数２４Ｈｚの画像出力は、ＨＤＭＩ端子から出力されることを特徴とする画像音声同期再生装置。
画像ストリームを復号して、第１のフレーム間隔からなる複数の画像フレームによって構成される第１の画像データ系列を出力する第１の復号手段と、
前記画像ストリームから画像用時間情報を抽出する第１の時間情報抽出手段と、
前記第１の復号手段から出力される第１の画像データ系列を補間処理して第２のフレーム又はフィールド間隔からなる複数の画像フレーム又は画像フィールドによって構成される第２の画像データ系列を出力する画像周期補間処理手段と、
音声ストリームを復号して、複数の音声ブロックによって構成される音声データ系列を出力する第２の復号手段と、
前記音声ストリームから音声用時間情報を抽出する第２の時間情報抽出手段と、
基準時刻情報を生成する基準時刻生成手段と、
前記画像用時間情報を前記音声用時間情報及び前記基準時刻情報と照合し、その結果に応じて前記第１の画像データ系列の画像フレーム間隔を単位としてリピート又はスキップ処理することにより、前記第１の画像データ系列を前記音声データ系列に同期させる第１の同期手段と、
前記画像用時間情報を前記音声用時間情報及び前記基準時刻情報と照合し、その結果に応じて前記第２の画像データ系列の画像フレーム又は画像フィールド間隔を単位としてリピート又はスキップ処理することにより、前記第２の画像データ系列を前記音声データ系列に同期させる第２の同期手段とを備えたことを特徴とする画像音声同期再生装置。
請求項５記載の画像音声同期再生装置において、
前記音声データ系列をアナログ信号に変換して出力するアナログ音声出力端子と、
前記第１の同期手段から出力される第１の画像データ系列をアナログ信号に変換して出力する第１のアナログ画像出力端子と、
前記第２の同期手段から出力される第２の画像データ系列をアナログ信号に変換して出力する第２のアナログ画像出力端子とを更に備えたことを特徴とする画像音声同期再生装置。
請求項５記載の画像音声同期再生装置において、
前記音声データ系列をアナログ信号に変換して出力するアナログ音声出力端子と、
前記第１の同期手段から出力される第１の画像データ系列と前記音声データ系列とをＨＤＭＩ信号に変換して出力するＨＤＭＩ出力端子と、
前記第２の同期手段から出力される第２の画像データ系列をアナログ信号に変換して出力するアナログ画像出力端子とを更に備えたことを特徴とする画像音声同期再生装置。
請求項５〜７のいずれか１項に記載の画像音声同期再生装置において、
前記第１の画像データ系列のフレーム間隔は、フレーム周波数２４Ｈｚに対応した間隔であることを特徴とする画像音声同期再生装置。