JP3552945B2 - Ｍｐｅｇ２データのインサート編集方法及びシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ２データのインサート編集方法及びシステムに関し、特に、ＭＰＥＧ２データにおける音声データをリアルタイムに編集することができるインサート編集方法及びシステムに関する。
【０００２】
【従来の技術】
動画を高度に圧縮して、ディジタル動画データとして扱うためには、ＭＰＥＧ（ｍｏｔｉｏｎ ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ ｅｘｐｅｒｔｓ ｇｒｏｕｐｅ）規格のデータフォーマットが用いられる。このようなＭＰＥＧデータフォーマットを用いるディジタル動画データ（以下、ＭＰＥＧデータと称する）に対する編集処理では、画像と音声の編集をそれぞれ個別に行い、最終的に画像と音声を組み合わせて、再び、ＭＰＥＧデータとする。
【０００３】
図１は、従来におけるＭＰＥＧデータの編集処理を行うインサート編集システムの構成の一例を示す図である。図１において、１はＭＰＥＧ２−ＴＳデータファイル、２は音声データ変換・抽出部、３は音声データファイル、４は映像データ編集処理部、５は音声データ編集処理部、６は映像データ出力部、７は音声データ出力部、８は同期処理部である。
【０００４】
ＭＰＥＧデータは、符号化され高度に圧縮された映像データと音声データとがそれぞれパケットデータとして混じり合って存在しているので、ＭＰＥＧ２データの編集処理を行うインサート編集システムでは、その映像データの編集処理と、音声データの編集処理がそれぞれ個別に行われる。図１に示すように、映像データの編集処理は、ＭＰＥＧ２−ＴＳデータファイル１から取り出されたＭＰＥＧデータの映像データのパケットに対して、映像データ編集処理部４により行い、映像データ出力部６から、その編集した映像データリソースが取り出される。この場合、映像データ編集処理部４では、映像データのフレーム画像をモニタ画面等に表示して映像の編集を行う。
【０００５】
音声データの編集処理については、まず、音声データ変換・抽出部２により、ＭＰＥＧ２−ＴＳデータファイル１からＭＰＥＧ２−ＴＳデータの音声データ部分である音声データパケットを取り出し、それを他のデータ形式（ＷＡＶＥデータ、ＰＣＭデータ）の音声データに変換して抽出し、音声データファイル３に格納する。そして、音声データファイル３から音声データを取りだし、音声データ編集処理部５により編集処理を行い、音声データ出力部７から、その編集した音声データリソースを取り出す。そして、映像に対して音声を合わせるため、同期処理部８の制御により映像データ出力部６と音声データ出力部７を制御し、編集結果を別々のリソースから同期を取りながら出力することにより、インサート編集を行う。
【０００６】
つまり、この場合、１つのＭＰＥＧ２−ＴＳデータを、その映像データと音声データとで別々の編集処理（４，５）を施し、編集した結果を別々のデータリソース（６，７）として、同期（８）を取りながら出力することによりインサート編集を実現している。
【０００７】
ところで、このようなインサート編集システムでは、映像データに対して音声データを追加するなどのインサート編集した編集結果は、映像出力と音声出力とが同期を取られて出力されるが、映像出力と音声出力とが別系統の信号となっているため、また、データとしてもデータ量の大きな映像データと音声データに戻っているため、これを１つのデータとしてまとめて、コンパクトなＭＰＥＧ２−ＴＳデータとして扱えるようにするには、編集結果の映像データと音声データをＭＰＥＧデータに再エンコードしなければならない。
【０００８】
したがって、ＭＰＥＧ２−ＴＳデータを扱うインサート編集システムでは、映像データ（映像リソース，映像出力）と音声データ（音声リソース，音声出力）を、ＭＰＥＧデータにエンコードするエンコード処理部を設けている。
【０００９】
図２は、従来のＭＰＥＧ２データの編集処理を行うインサート編集システムの別の構成例を示す図である。図２において、１０はＭＰＥＧ２−ＴＳデータファイル、１１は音声データ変換・抽出部、１２は音声データファイル、１３は映像データ編集処理部、１４は音声データ編集処理部、１５は映像データ出力部、１６は音声データ出力部、１７は同期処理部、１８はエンコード処理部、１９は編集されたＭＰＥＧ２−ＴＳデータファイルである。
【００１０】
図２に示すＭＰＥＧ２データのインサート編集システムは、図１に示したインサート編集システムに対して、映像データ（映像リソース，映像出力）と音声データ（音声リソース，音声出力）を、ＭＰＥＧデータにエンコードするエンコード処理部を設けた構成となっている。
【００１１】
ＭＰＥＧ２データのインサート編集システムは、図２に示すように、ＭＰＥＧ２−ＴＳデータファイル１０から取り出されたＭＰＥＧデータに対して、映像データの編集処理を、映像データ編集処理部１３により行い、同期処理部１７の制御によって映像データ出力部１５から編集した映像データリソースとして取り出す。また、音声データの編集処理では、音声データ変換・抽出部１１により、ＭＰＥＧ２−ＴＳデータファイル１０からＭＰＥＧ２−ＴＳデータの音声データ部分を他のデータ形式（ＷＡＶＥデータ、ＰＣＭデータ）の音声データに変換して抽出し、音声データファイル１２に格納する。そして、音声データファイル１２から音声データを取り出し、音声データ編集処理部１４により編集処理を行い、同期処理部１７の制御によって音声データ出力部１６から、編集した音声データが音声データリソースとして取り出される。その際、映像に対して音声を合わせて出力するため、同期処理部１７は、映像データ出力部１５と音声データ出力部１６を制御して、映像データと音声データとを同期を取りながら出力し、エンコード処理部１８に入力する。エンコード処理部１８は、同期して入力された映像データと音声データとをＭＰＥＧ２データにエンコードして出力し、ＭＰＥＧ２−ＴＳデータファイル１９に格納する。
【００１２】
【発明が解決しようとする課題】
このように、従来のインサート編集システムにおいては、映像データの編集処理と音声データの編集処理がそれぞれ別に行われ、また、映像データに対して音声データを追加するなどのインサート編集した編集結果は、映像出力と音声出力とが同期を取られて出力されるが、映像出力と音声出力とが別系統の信号となっているため、これを１つのデータとしてまとめて簡易に扱えるようにするには、映像データと音声データを合わせてＭＰＥＧデータに再びエンコードしなければならない。
【００１３】
ＭＰＥＧデータへのエンコード処理は映像データと音声データを高度に圧縮するため負荷が重く、多くの処理時間を必要とし、リアルタイムなインサート編集が行えないという問題があった。つまり、ＭＰＥＧデータの映像データに対して音声データを付加するなどの簡単なインサート編集を行う場合であっても、編集結果の映像出力と音声出力とがそれぞれに別系統の信号となって出力され、これが１つのデータとしてまとめてＭＰＥＧデータにするには、再度のエンコード処理を行わなければならず、多くの処理時間を必要とし、リアルタイムなインサート編集が行えないという問題があった。
【００１４】
したがって、本発明の目的は、ＭＰＥＧ２データの音声データをリアルタイムに編集することができるＭＰＥＧ２データインサート編集方法及びシステムを提供することにある。
【００１５】
【課題を解決するための手段】
上記のような目的を達成するため、本発明によるＭＰＥＧ２データインサート編集方法は、ＭＰＥＧ２−ＴＳデータの音声データを編集後に再エンコードの必要のない形式で抽出し、抽出した音声データのパケットデータをまとめて１フレームの単位で編集し、編集した音声データをパケットデータに分解し、分解したパケットデータをＭＰＥＧ２−ＴＳデータの音声データ部分の対応位置にマージし、ＭＰＥＧ２−ＴＳデータとして同一リソースから出力することを特徴とする。また、本発明によるＭＰＥＧ２データインサート編集システムのシステム構成としては、ＭＰＥＧ２−ＴＳデータの音声データを編集後に再エンコードの必要のない形式で、例えば、ＭＰＥＧ１ Ａｕｄｉｏ レイヤII−ＥＳデータ形式で抽出する抽出手段と、抽出した音声データを編集する編集手段と、編集した音声データをＭＰＥＧ２−ＴＳデータの音声データ部分に上書きし、ＭＰＥＧ２−ＴＳデータとして出力する出力手段とを備えたことを特徴とする。
【００１６】
本発明によるＭＰＥＧ２データのインサート編集システムでは、ＭＰＥＧ２のデータ形式を考慮して、ＭＰＥＧ２データにおける音声データ部分のパケットデータを取り出して編集し、処理負荷の多いＭＰＥＧデータへのエンコード処理を行うことなく、音声データ部分を編集したＭＰＥＧ２データを出力する。これにより、リアルタイムでのインサート編集が可能となる。
【００１７】
つまり、抽出手段が、ＭＰＥＧ２−ＴＳデータの音声データをＭＰＥＧ１ Ａｕｄｉｏ レイヤＩＩ−ＥＳデータ形式で抽出し、編集手段により、抽出した音声データを編集し、出力手段により、編集した音声データをＭＰＥＧ２−ＴＳデータの音声データ部分に上書きし、ＭＰＥＧ２−ＴＳデータとして出力する。これにより、ＭＰＥＧ２データの音声データ部分をＭＰＥＧデータ形式で抽出し編集処理を施し、編集結果をその都度ＭＰＥＧ２データとして同一リソースから出力することができる。
【００１８】
【発明の実施の形態】
以下、本発明を実施する場合の一形態について、図面を参照して具体的に説明する。本発明によるインサート編集システムで扱うデータは、ＭＰＥＧ２のデータ形式によるデータである。具体的に、ＭＰＥＧ２データ形式は、ＭＰＥＧ２−ＴＳのＧＯＰ＝１または２を前提としている。
【００１９】
図３は、本発明の一実施例のＭＰＥＧデータの編集処理を行うインサート編集システムの構成を示す図である。図３において、２０はＭＰＥＧ２−ＴＳデータファイル、２１は音声データ抽出部、２２は「ＭＰＥＧ１ Ａｕｄｉｏ」の音声データファイル、２３は映像データ編集処理部、２４は音声データ編集処理部、２５はマージ処理部、２６は編集されたＭＰＥＧ２−ＴＳデータファイル、２７は出力処理部である。
【００２０】
編集されるＭＰＥＧ２−ＴＳデータは、図３に示すように、ＭＰＥＧ２−ＴＳデータファイル２０から取り出され、映像データ編集処理部２３において、必要であれば、ＭＰＥＧデータの映像データのフレーム画像に対して、映像データの編集処理を行う。この場合、例えば、映像データ編集処理部２３では、映像データのフレーム画像をモニタ画面等に表示して映像データの編集を行う。
【００２１】
音声データの編集処理は、音声データ抽出部２１により、ＭＰＥＧ２−ＴＳデータファイル１からＭＰＥＧ２−ＴＳデータの音声データ部分である音声データパケットを取り出す。ここでは、取り出した音声データは、他のデータ形式（ＷＡＶＥデータ、ＰＣＭデータ）の音声データには変換しないので、取り出したＭＰＥＧ２−ＴＳデータの音声データ部分は、「ＭＰＥＧ１ Ａｕｄｉｏ」音声データのパケットデータとなっている。そのパケットデータを順に並べて、例えば、ヘッダ部分を除き、「ＭＰＥＧ１ Ａｕｄｉｏ」音声データとし、同期ワードによる区別される音声データの１フレーム部分を判定するため、音声データファイル２２に格納する。後述するように、音声データの１フレームが復号可能な最小単位となっているため、同期ワードにより１フレームの音声データを判別して、音声データをフレーム単位で復号して、必要に応じて音声データの編集処理を行う。
【００２２】
つまり、音声データの編集処理では、音声データ編集処理部２４により、音声データファイル２２から音声データを取り出し、同期ワードにより１フレーム単位の音声データを判別して、その音声データをフレーム単位で復号して、必要に応じて音声データの編集処理を行う。そして、音声データ編集処理部２４では、再び、編集された音声データに対して符号化し、ヘッダ部分を付加し、「ＭＰＥＧ１ Ａｕｄｉｏ」音声データのパケットデータとして、パケットデータに分解して、マージ処理部２５により映像データ部分のパケットデータの対応位置に上書きしてマージする。これにより、そのままインサート編集されたＭＰＥＧ２−ＴＳデータとなる。編集されたＭＰＥＧ２−ＴＳデータは、編集結果を格納するＭＰＥＧ２−ＴＳデータファイル２６に格納され、ＭＰＥＧ２−ＴＳデータをデコードして再生する出力処理部２７によって再生される。これにより、インサート編集された映像出力および音声出力が得られる。ここでのインサート編集処理では、多くの負荷のかかるＭＰＥＧ２データへのエンコード処理は行っておらず、リアルタイム編集が可能となる。
【００２３】
図４は、本発明の実施例に関係したＭＰＥＧ２のデータ形式を説明する図である。図４を参照して説明する。前述したように、本発明で適用するＭＰＥＧ２データ形式は、ＭＰＥＧ２−ＴＳのＧＯＰ＝１または２を前提とする。
【００２４】
ＭＰＥＧ２−ＴＳデータは、図４に示すように、映像データストリーム３０および音声データストリーム３１が、それぞれ１８８バイト単位のパケット（ＴＳパケット）に分割され、更に多重化されている。映像データの１フレーム３２は、複数個のＴＳパケットから構成されており、１フレームのデータ区切りは、必ずＴＳパケットの区切りと一致する。
【００２５】
これに対し、音声データの１フレーム３３のデータ区切りは、ほとんどの場合ＴＳパケットの区切りとは一致しない。音声データの１フレーム３３が復号可能な最小単位となっているが、これは同期ワードにより区別され、したがって、音声データの編集を行うには、同期ワードにより１フレームの音声データを判別して、音声データをフレーム単位で復号して、必要に応じて音声データの編集処理を行う。
【００２６】
ＭＰＥＧ２−ＴＳデータの映像データの１フレーム３２のデータサイズは、ピクチャ（画像）のタイプ（Ｉピクチャ，Ｐピクチャ）によって大きく異なる（可変長）が、これに対して、音声データは、サンプリング周波数を高くして高品質にしてもデータの性質からデータ量がそれほど多くならず、音声データの１フレーム３３のデータサイズは、固定長となっている。
【００２７】
図５は、本発明によるＭＰＥＧ２−ＴＳデータのインサート編集方法を説明する図である。このＭＰＥＧ２−ＴＳデータのインサート編集方法によると、図５に示すように、ＭＰＥＧ２−ＴＳデータを格納しているＭＰＥＧ２ファイル４０から、ＭＰＥＧ２−ＴＳデータの音声データだけを抽出し、ＭＰＥＧ１ Ａｕｄｉｏ レイヤＩＩ−ＥＳファイル４２に格納し、抽出した音声データに対して、必要に応じて復号化して音声信号として、他の音声リソースとマージするなどの編集処理を施し、映像の１フレームに対応した１フレーム分（約１／３０秒）の音声データ４３とする。この音声データをパケットデータとして分解し、ＭＰＥＧ２−ＴＳデータにおける音声データのパケットデータに差し替えるマージ処理を行う。編集の結果は、その都度、ＭＰＥＧ２−ＴＳデータとして同一リソースから出力する。ここでは、ＭＰＥＧ２−ＴＳデータにおける音声データのパケットデータに差し替えるため、その映像データおよび音声データのパケットデータサイズが管理される。ここでは、映像をベースとした１フレーム単位のデータサイズを、データサイズ管理ファイル４１を用いて管理する。ここで管理されているデータサイズを参照して、ＭＰＥＧ２−ＴＳデータから、その音声データ部分のパケットのみを順次に差し替え、その都度、ＭＰＥＧ２−ＴＳデータとして同一リソースから出力させる。
【００２８】
すなわち、ここでのＭＰＥＧ２データのインサート編集方法では、ＭＰＥＧ２−ＴＳデータの音声データを抽出し、抽出した音声データのパケットデータをまとめて１フレームの単位で編集し、編集した音声データをパケットデータに分解し、このパケットデータをＭＰＥＧ２−ＴＳデータの音声データ部分の対応位置にマージし、ＭＰＥＧ２−ＴＳデータとして同一リソースから出力するようにして、インサート編集を行う。この編集処理においても、ＭＰＥＧ２データを作成するエンコード処理は必要なく、リアルタイムにインサート編集が行える。
【００２９】
図６は、本発明によるＭＰＥＧ２−ＴＳデータのインサート編集処理の処理フローを示すフローチャートである。図６を参照して説明する。
【００３０】
ここでのインサート編集処理では、まず、編集するＭＰＥＧ２データに対し、編集を行うため、再生指示が行われた部分の該当データを抽出する（ステップ５１）。次に、映像データについては、映像をベースとした１フレーム単位のデータサイズを管理しているデータサイズ管理ファイル４１を解析して、そのデータサイズを得る（ステップ５２）。そして、ＭＰＥＧ２ファイル４０から該当する１フレーム分のＭＰＥＧ２−ＴＳのデータを取得する（ステップ５３）。
【００３１】
次に、音声データついては、ＭＰＥＧ１ Ａｕｄｉｏ レイヤＩＩ−ＥＳファイル４２から、該当する約１／３０秒分（映像の１フレームに対応する）のＭＰＥＧ１ Ａｕｄｉｏ レイヤＩＩ−ＥＳのデータを取得する（ステップ５４）。そして、ＭＰＥＧ２ファイル４０から取得したＭＰＥＧ２−ＴＳの音声パケットを、ＭＰＥＧ１ Ａｕｄｉｏ レイヤＩＩ−ＥＳファイル４２から取得した音声パケットと入れ替えて、ＭＰＥＧ２データを再編成する（ステップ５５）。続いて、再編成したＭＰＥＧ２データを同一リソースから出力する（ステップ５６）。
【００３２】
【発明の効果】
以上、説明したように、本発明のＭＰＥＧ２データインサート編集方法及びシステムによれば、ＭＰＥＧ２データの音声データ部分を抽出し編集処理を施し、編集結果をその都度、ＭＰＥＧ２データとして同一リソースから出力することで、音声データのインサート編集を実現する。これにより、ＭＰＥＧ２データのインサート編集をリアルタイムで行うことができる。
【図面の簡単な説明】
【図１】従来におけるＭＰＥＧデータの編集処理を行うインサート編集システムの構成の一例を示す図、
【図２】従来のＭＰＥＧ２データの編集処理を行うインサート編集システムの別の構成例を示す図、
【図３】本発明の一実施例のＭＰＥＧデータの編集処理を行うインサート編集システムの構成を示す図、
【図４】本発明の実施例に関係したＭＰＥＧ２のデータ形式を説明する図、
【図５】本発明によるＭＰＥＧ２−ＴＳデータのインサート編集方法を説明する図、
【図６】本発明によるＭＰＥＧ２−ＴＳデータのインサート編集処理の処理フローを示すフローチャートである。
【符号の説明】
１…ＭＰＥＧ２−ＴＳデータファイル、
２…音声データ変換・抽出部、
３…音声データファイル、
４…映像データ編集処理部、
５…音声データ編集処理部、
６…映像データ出力部、
７…音声データ出力部、
８…同期処理部
１０…ＭＰＥＧ２−ＴＳデータファイル、
１１…音声データ変換・抽出部、
１２…音声データファイル、
１３…映像データ編集処理部、
１４…音声データ編集処理部、
１５…映像データ出力部、
１６…音声データ出力部、
１７…同期処理部、
１８…エンコード処理部、
１９…編集されたＭＰＥＧ２−ＴＳデータファイル
２０…ＭＰＥＧ２−ＴＳデータファイル、
２１…音声データ抽出部、
２２…「ＭＰＥＧ１ Ａｕｄｉｏ」の音声データファイル、
２３…映像データ編集処理部、
２４…音声データ編集処理部、
２５…マージ処理部、
２６…編集されたＭＰＥＧ２−ＴＳデータファイル、
２７…出力処理部、
３０…映像データストリーム、
３１…音声データストリーム、
３２…映像の１フレーム、
３３…音声の１フレーム、
４０…ＭＰＥＧ２−ＴＳデータファイル、
４１…データサイズ管理ファイル、
４２…ＭＰＥＧ１ Ａｕｄｉｏ レイヤＩＩ−ＥＳファイル、
４３…音声の１フレーム。

Claims (3)

1. ＭＰＥＧ２−ＴＳデータの音声データを編集後に再エンコードの必要のない形式で抽出し、
   抽出した音声データのパケットデータをまとめて１フレームの単位で編集し、
   編集した音声データをパケットデータに分解し、
   分解したパケットデータをＭＰＥＧ２−ＴＳデータの音声データ部分の対応位置にマージし、
   ＭＰＥＧ２−ＴＳデータとして同一リソースから出力する
   ことを特徴とするＭＰＥＧ２データのインサート編集方法。
2. ＭＰＥＧ２−ＴＳデータの音声データを編集後に再エンコードの必要のない形式で抽出する抽出手段と、
   抽出した音声データを編集する編集手段と、
   編集した音声データをＭＰＥＧ２−ＴＳデータの音声データ部分にマージして、ＭＰＥＧ２−ＴＳデータとして出力する出力手段と
   を備えたことを特徴とするＭＰＥＧ２データのインサート編集システム。
3. 請求項２に記載のＭＰＥＧ２データのインサート編集システムにおいて、
   前記抽出手段は、ＭＰＥＧ２−ＴＳデータの音声データは、ＭＰＥＧ１ Ａｕｄｉｏ レイヤII−ＥＳデータ形式で抽出する
   ことを特徴とするＭＰＥＧ２データのインサート編集システム。

Images