JP4948147B2 - 複合コンテンツファイルの編集方法および装置 - Google Patents

複合コンテンツファイルの編集方法および装置 Download PDF

Info

Publication number
JP4948147B2
JP4948147B2 JP2006338947A JP2006338947A JP4948147B2 JP 4948147 B2 JP4948147 B2 JP 4948147B2 JP 2006338947 A JP2006338947 A JP 2006338947A JP 2006338947 A JP2006338947 A JP 2006338947A JP 4948147 B2 JP4948147 B2 JP 4948147B2
Authority
JP
Japan
Prior art keywords
media data
information
content file
file
composite content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006338947A
Other languages
English (en)
Other versions
JP2008153886A (ja
Inventor
和美 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006338947A priority Critical patent/JP4948147B2/ja
Priority to EP07021080A priority patent/EP1933323B1/en
Priority to US11/978,676 priority patent/US8090682B2/en
Publication of JP2008153886A publication Critical patent/JP2008153886A/ja
Priority to US13/198,830 priority patent/US8433678B2/en
Application granted granted Critical
Publication of JP4948147B2 publication Critical patent/JP4948147B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Description

本発明は、複数種類のメディアデータが多重化された複合コンテンツファイルを編集する方法および装置に関する。
近年において、ビデオデータ、オーディオデータ、またはテキストデータなどの複数のメディアデータが多重化された複合コンテンツファイルが、携帯端末向けのコンテンツ配信サービスまたはストリーミング放送などに用いられている。そのような複合コンテンツファイルのファイルフォーマットの１つに、ＩＳＯ／ＩＥＣ １４４９６規格のＰａｒｔ１４の項で規定されているＭＰ４ファイルフォーマット（以下「ＭＰ４」と記載する）がある。
ＭＰ４のシステムレイヤでは、複数種類のメディア（メディアデータ）が混在し、メディアの再生条件などの情報が格納されているヘッダ部と、メディアのストリームのみが格納されているメディアデータ部とが設けられる。このシステムレイヤでは、各メディアが時間順に多重化されるようにパケットに格納され、格納されたパケットのヘッダ情報として、メディア情報が含まれるヘッダ部（ムーブボックス）とメディアデータそれ自体が含まれるメディアデータ部（メディアデータボックス）とが完全に分離している。この点において、ＭＰ４は、ＭＰＥＧ−２ ＰＳ、またはＴＳのようなシステムレイヤと異なっている。
図２０は従来のＭＰ４ファイルフォーマットＦＴ１の例を示す図である。
図２０に示すように、ＭＰ４ファイルフォーマットＦＴ１のファイルタイプボックスＢＸＡには、そのファイルの互換性を示す情報が保存されている。ヘッダ部であるムーブボックスＢＸＢには、後述するメディアデータボックスＢＸＣに保存される各メディアデータの再生条件に関する情報として、メディアフレームの位置情報、時間情報、およびサイズ情報などが保存される。メディアデータボックスＢＸＣには、ビデオデータ、オーディオデータ、またはテキストデータなどのメディアデータが保存される。
ＭＰ４ファイルフォーマットでは、時間情報として、各メディアフレームについての再生時間ではなく再生時間長が保存されている。つまり、時間情報として、ビデオデータの１フレーム目を○○ミリ秒間再生する、２フレーム目を△△ミリ秒間再生する、といった情報が保存されている。したがって、ビデオはビデオデータの再生時間長のみによって再生され、オーディオはオーディオデータの再生時間長のみによって再生される。
携帯端末のユーザは、このようなＭＰ４ファイルフォーマットの複合コンテンツファイルを、自分の携帯端末で配信を受けて再生することができる。しかし、携帯端末が扱うことのできるコンテンツの最大サイズは、機種によって異なる。そのため、携帯端末で扱える最大サイズを超える場合は、コンテンツ配信サーバ側においてコンテンツを分割して複数のファイル（複合コンテンツファイル）を生成し、携帯端末においてはそれらを連続的に再生する必要があった。
サーバの伝送可能容量を超過するＭＭＳメッセージを携帯端末で伝送可能なサイズに分割する装置として、特許文献１に記載されるような装置が提案されている。つまり、特許文献１の装置は、画像信号及び音声信号などの入力を受ける入力部と、携帯端末の各部を制御し、入力部を通して入力される画像信号及び音声信号をマルチメディアデータに符号化した後に特定のサイズに分割し、分割されたデータの順番を指定して保存させる制御部と、マルチメディアデータ及び分割されたデータをそれぞれのファイルとして保存するバッファと、制御部によりバッファに保存されたそれぞれのファイルを順番に従って該当領域に保存するメモリ部と、制御部により携帯端末の運用情報、画像信号または音声信号を出力する出力部と、メモリ部に保存されたファイルを無線で送信する高周波部とを備える。
特開２００５−８６８２６号公報
ところが、従来においては、分割された各メディアデータの再生条件に関する情報として各メディアデータの同期情報を保存する仕様となっていないので、次のような問題が生じる。
図２１および図２２はメディアデータを分割する方法の例を示す図である。
コンテンツに含まれる各メディアデータを分割する時間軸上の位置（以下、「分割ポイント」と記載する）は、図２１に示すように、ビデオデータを基本とし、しかもそのピクチャとピクチャとの境界位置とするのが一般的である。その理由は、ビデオデータの分割については、単独で再生可能なＩピクチャフレームが分割後のビデオデータの先頭となるようにする必要があり、分割ポイントは必然的にＩピクチャの位置に依存するからである。
したがって、その場合に、例えば、エレメンタリストリームのファイル化区間が指定された場合に、指定された区間のデータを完全に含む必要があるので、各メディアの区間はそれを含んだより広い範囲のものとなる。
しかし、そのように決めたビデオデータの分割ポイントがオーディオフレームの切れ目と完全に一致する可能性は極めて低い。そのため、図２１に示すように、オーディオデータは、ビデオデータの分割ポイントに対応する位置から一番近いフレームの切れ目で分割される。
そうすると、このようにして分割された各メディアデータの再生に際して、再生開始時における各メディアデータの先頭を揃えた場合に、ファイル２においてオーディオデータの再生タイミングがビデオデータよりも分割ポイントのずれの時間Ｔ１だけ遅れることとなる。また、ファイル１および２において各メディアデータの再生終了のタイミングがずれてしまうこととなる。
このようなタイミングのずれによって、映像の動きと音声とが一致しない、映像が終わったにもかかわらず音声がまだ鳴っている、音声が途切れる、などの違和感をユーザに与えることとなる。
また、再生時におけるビデオデータとオーディオデータとの時間軸上の位置を一致させるために、図２２に示すように、オーディオフレームの切れ目に合わせて、各メディアデータを分割する方法も考えられる。
しかし、この場合には、ビデオデータをＩピクチャフレームの途中で分割することになる。そうすると、分割された二つのＩピクチャフレームは、それぞれ単独で再生可能なフレームとする必要があるので、それぞれに完全なＩピクチャフレームが用いられることとなる。
したがって、このような分割を行った場合に、ファイル１および２のいずれのファイルにもサイズの大きなＩピクチャが含まれることとなり、１つのファイルに含まれるコンテンツの再生時間が短くなってしまう。
本発明は、このような問題点に鑑みてなされたもので、複合コンテンツファイルを分割した場合に、その再生時に映像と音声とのずれをユーザに感じさせることのないようにすることを目的とする。
本発明に係る方法は、複数種類のメディアデータが多重化された複合コンテンツファイルを編集する方法であって、前記複合コンテンツファイルに含まれる各メディアデータを時間軸上で分割し、時間的に先に再生されるべき第１複合コンテンツファイルと後に再生されるべき第２複合コンテンツファイルとを生成するとともに、前記第１複合コンテンツファイルに、当該第１複合コンテンツファイルに含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報、および、次に連続して再生すべき複合コンテンツファイルを特定するための情報である前記第２複合コンテンツファイルのファイル情報を、同期情報として付加し、前記第２複合コンテンツファイルに、当該第２複合コンテンツファイルに含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報を、同期情報として付加する。
同期情報が設けられるので、再生時にこの同期情報に基づいて補正を行うことにより、映像と音声とのずれを解消できる。
本発明に係る装置は、入力されるメディアデータ群に含まれるビデオデータ、オーディオデータ、およびテキストデータを時間軸上で分割し、時間的に先に再生されるべき第１メディアデータ群と後に再生されるべき第２メディアデータ群とからなる２つのメディアデータ群を生成する手段と、前記第１メディアデータ群に、当該第１メディアデータ群に含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報、および、次に連続して再生すべきメディアデータ群を特定するための情報である前記第２メディアデータ群のファイル情報を、同期情報として生成して付加し、前記第２メディアデータ群に、当該第２メディアデータ群に含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報を、同期情報として生成して付加し、これによって複数の複合コンテンツファイルを生成する手段とを有する。
次に連続して再生すべき複合コンテンツファイルのファイル情報が抽出された場合に、そのファイル情報に基づいて次の複合コンテンツファイルを読み出すことにより、連続再生が行われる。
本発明によると、複合コンテンツファイルを分割した場合に、その再生時に映像と音声とのずれをユーザに感じさせることのないようにすることができる。
図１はコンテンツ配信システム１の全体的な構成の例を示す図、図２はコンテンツ編集装置１３のハードウェア構成の例を示すブロック図、図３は携帯端末ＵＥのハードウェア構成の例を示すブロック図である。
図１において、コンテンツ配信システム１は、コンテンツ配信サーバ１１、メディア管理サーバ１２、およびコンテンツ編集装置１３などを有する。
コンテンツ配信サーバ１１は、ゲートウエイ、交換機、基地局制御装置、および基地局などからなる図示しない移動体通信ネットワークに接続されており、携帯端末ＵＥからの要求に応じてコンテンツを配信する。つまり、コンテンツ配信サーバ１１は、携帯端末ＵＥから要求のあったコンテンツをメディア管理サーバ１２に対して要求し、メディア管理サーバ１２から取得したコンテンツを携帯端末ＵＥに送信するための処理を行う。
メディア管理サーバ１２は、多数のコンテンツＣＴを管理しており、コンテンツ配信サーバ１１からの要求に応じて、指定されたコンテンツＣＴをコンテンツ配信サーバ１１に送信する。メディア管理サーバ１２は、コンテンツＣＴとして、種々のメディアおよび種々の形式のデータを格納しまたは管理することが可能である。コンテンツＣＴには、例えば、複数種類のメディアデータが多重化された複合コンテンツファイルが含まれる。複合コンテンツファイルは、ビデオデータ、オーディオデータ、およびテキストデータなどの種類の異なるメディアデータの組み合わせからなる。
メディア管理サーバ１２は、それらのコンテンツＣＴを、必要に応じて配信に適した形式に符号化し、または配信に適したフォーマットのファイルに変換する。また、コンテンツＣＴまたはそのファイルのサイズが、要求のあった携帯端末ＵＥに対して配信するのに大き過ぎる場合には、コンテンツ編集装置１３に対し、複数のファイルに分割して編集することを依頼する。
コンテンツ編集装置１３は、メディア管理サーバ１２からの要求に応じて、コンテンツＣＴから、２つまたはそれ以上のコンテンツファイル（複合コンテンツファイル）ＣＦＢを生成し（編集し）、生成したコンテンツファイルＣＦＢをメディア管理サーバ１２に送る。
つまり、コンテンツ編集装置１３は、例えば、コンテンツＣＴを含んで構成されるコンテンツファイルＣＦに含まれる各メディアデータを、時間軸上で分割し、時間的に先に再生されるべき第１コンテンツファイル（第１複合コンテンツファイル）と後に再生されるべき第２コンテンツファイル（第２複合コンテンツファイル）とを生成するとともに、第２コンテンツファイルに含まれる各メディアデータの再生開始時における時間軸上の位置ずれに関する情報を、同期情報として当該第２コンテンツファイルに付加する。
また、その場合の第１コンテンツファイルに、第１コンテンツファイルに含まれる各メディアデータの再生終了時における時間軸上の位置ずれに関する情報を同期情報として付加する。さらに、第１コンテンツファイルに、第２コンテンツファイルのファイル情報を同期情報として付加する。さらに、第２コンテンツファイルに、第２コンテンツファイルに含まれる各メディアデータの再生終了時における時間軸上の位置ずれに関する情報を同期情報として付加する。
コンテンツ編集装置１３において、コンテンツファイルＣＦを分割することにより、そのサイズ（ファイル容量）を小さくし、携帯端末ＵＥにおいて受信することが可能でかつ再生することが可能なサイズとする。例えば、携帯端末ＵＥにおいて処理可能なファイルのサイズが５００Ｋｂｙｔｅであり、図１に示すファイル名が「Ａ」のコンテンツファイルＣＦのサイズが１Ｍｂｙｔｅであったとすると、コンテンツファイルＣＦが１つのファイルのままでは携帯端末ＵＥにおいて受信が不可能である。そこで、この場合には、コンテンツ編集装置１３において、コンテンツファイルＣＦを例えば２つに分割し（区分し）、例えば５００ＫｂｙｔｅのサイズのコンテンツファイルＣＦＢを２つ生成する。
また、コンテンツ編集装置１３は、コンテンツファイルＣＦの分割に際して、分割されたコンテンツファイルＣＦＢに同期情報を付加する。同期情報を付加することによって、分割されたコンテンツファイルＣＦＢを携帯端末ＵＥで再生する際に、ビデオデータによる映像とオーディオデータによる音声とテキストデータによる文字表示との間に、時間的なずれが生じることをなくし、携帯端末ＵＥのユーザにそれらの間のずれを感じさせないようにする。また、１つのコンテンツファイルＣＦＢを単体で再生したり、複数のコンテンツファイルＣＦＢを連続で再生することができ、いずれの場合においても映像と音声などとの間に時間的なずれを生じさせない。
なお、コンテンツファイルＣＦＢに同期情報を付加するに当たって、分割された各メディアデータと生成された同期情報とを組み合わせ、それぞれ１つのコンテンツファイル（複合コンテンツファイル）を生成してもよく、これらは同じことである。詳細については後述する。
図２に示すように、コンテンツ編集装置１３は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、磁気記憶装置２４、および通信インタフェース２５などによって構成される。表示装置やプリンタなどの出力装置、およびキーボードやポインティングデバイスなどの入力操作装置を備えることもある。
図３に示すように、携帯端末ＵＥは、ＣＰＵ３１、フラッシュメモリ３２、ＲＯＭ３３、通信ユニット３４、ディスプレイ３５、スピーカ（またはイヤホーン）３６、および操作ボタン３７などによって構成される。ＤＳＰやカメラなどを備えることもある。
次に、コンテンツ編集装置１３におけるコンテンツファイルＣＦの編集処理、および携帯端末ＵＥにおけるコンテンツファイルＣＦＢの再生処理について説明する。
図４はコンテンツ編集装置１３の機能的な構成を示すブロック図、図５および図６は携帯端末ＵＥにおけるコンテンツファイルＣＦの再生装置５０，５０Ｂに関する構成を示すブロック図である。なお、図５はコンテンツファイルＣＦを単体で再生する場合を、図６は複数のコンテンツファイルＣＦを連続で再生する場合を、それぞれ示す。
図４において、コンテンツ編集装置１３は、ビデオエンコーダ部４１、オーディオエンコーダ部４２、テキストエンコーダ部４３、ヘッダ生成部４４、およびパッキング部４５を有する。
コンテンツ編集装置１３には、コンテンツファイルＣＦに含まれる各メディアデータＤＭ、つまり、ビデオデータＤＶ、オーディオデータＤＵ、テキストデータＤＴが入力される。これら、ビデオデータＤＶ、オーディオデータＤＵ、およびテキストデータＤＴの集合を「メディアデータ群」と記載することがある。なお、コンテンツ編集装置１３に、コンテンツファイルＣＦまたはその各メディアデータＤＭを一時的に格納するためのメモリを設けておいてもよい。
ビデオエンコーダ部４１は、入力されたビデオデータＤＶを所望の適当な形式に符号化する。オーディオエンコーダ部４２は、入力されたオーディオデータＤＵを所望の適当な形式に符号化する。テキストエンコーダ部４３は、入力されたテキストデータＤＴを所望の適当な形式に符号化する。
ヘッダ生成部４４には、符号化された各メディアデータについて、それを分割した場合にそれらの時間情報および位置情報などの同期情報を生成する同期情報生成部４６が設けられる。ヘッダ生成部４４において生成された同期情報、および再生条件情報は、ヘッダ生成部４４の適当なメモリ領域にヘッダ部として格納される。
パッキング部４５は、各エンコーダ部４１〜４３から出力されるメディアデータと、ヘッダ生成部４４から出力されるヘッダ部とを、１つまたは複数の複合コンテンツファイルに詰め込んでパッキングする。つまり、パッキング部４５は、符号化された複数のメディアデータおよびヘッダ部をパッキングし、例えばＭＰ４ファイルフォーマットのような所定の形式の１つまたは複数の複合コンテンツファイルを生成する。生成された複合コンテンツファイルは、コンテンツファイルＣＦＢ１，ＣＦＢ２…として出力される。
図５において、再生装置５０は、バッファ５１、ファイル解析部５２、同期補正部５３、ヘッダ管理部５４、および表示処理部５５などによって構成される。
バッファ５１は、携帯端末ＵＥにダウンロードされる複合コンテンツファイルを格納するメモリ領域である。
ファイル解析部５２は、バッファ５１にダウンロードされた複合コンテンツファイルを解析し、そのヘッダ部をヘッダ管理部５４に対して出力する。また、ヘッダ部に同期情報が存在する場合に、その同期情報に基づいて、同期補正部５３で再生時間を補正し、映像や音声などのメディア間で時間的なずれが生じないようにする。
ヘッダ管理部５４は、入力されたヘッダ部に含まれるコーデック情報、時間情報、サイズ情報、およびオフセット情報などを保持し、管理する。
表示処理部５５は、ヘッダ管理部５４で管理されているサンプル情報を参照し、入力されたメディアデータをデコード部５６でデコードし、時間情報管理部５７での情報を元にして、映像およびテキストなどをディスプレイ３５に表示する。
図６において、再生装置５０Ｂは、２つのＡバッファ５１ＡおよびＢバッファ５１Ｂ、ファイル解析部５２、同期補正部５３、ヘッダ管理部５４、表示処理部５５、連続ファイル要求部５８、および音声処理部５９などによって構成される。
なお、図６に示す再生装置５０Ｂにおいて、図５に示す再生装置５０と同じ機能を有する部分には同じ符号を付して説明を省略する。
Ａバッファ５１ＡおよびＢバッファ５１Ｂは、携帯端末ＵＥにダウンロードされる複数のコンテンツファイルＣＦＢ１，２を交互に格納するメモリ領域である。
ファイル解析部５２は、Ａバッファ５１ＡにダウンロードされたコンテンツファイルＣＦＢ１を解析し、そのヘッダ部をヘッダ管理部５４に対して出力する。そして、同期情報に連続ファイル情報が含まれている場合は、その連続ファイル情報を連続ファイル要求部５８に対して出力する。
なお、「連続ファイル情報」は、本発明の「ファイル情報」に相当する。また「連続ファイル情報」は、次に連続して再生すべきメディアデータ群を特定するための情報でもある。
また、メディアデータを表示処理部５５および音声処理部５９に出力し、ヘッダ管理部５４のデータを使用して、デコード処理および時間管理処理を行い、ディスプレイ３５に表示しまたはスピーカ３６から音声を出力する。その際に、同期補正部５３は、ヘッダ部に同期情報があるときに、ビデオフレームの先頭と一番後ろの再生時間情報を補正値にしたがって補正する処理を行う。続けて、Ｂバッファ５１ＢにダウンロードされたコンテンツファイルＣＦＢ２についても同様の処理を行う。
ヘッダ管理部５４は、１つ目のコンテンツファイルＣＦＢのダウンロード終了を確認した後、連続ファイル要求部５８に次のコンテンツファイルＣＦＢのダウンロードを指示する。なお、ヘッダ管理部５４のヘッダＡ管理部５４Ａは、Ａバッファ５１ＡにダウンロードされたコンテンツファイルＣＦＢ１のヘッダ情報を管理し、ヘッダＢ管理部５４Ｂは、Ｂバッファ５１ＢにダウンロードされたコンテンツファイルＣＦＢ２のヘッダ情報を管理する。
連続ファイル要求部５８は、ファイル解析部５２から出力される連続ファイル情報を参照し、処理中のコンテンツファイルＣＦＢに連続する次のコンテンツファイルＣＦＢをコンテンツ配信サーバ１１に要求する処理を行う。
次に、コンテンツ編集についてさらに詳しく説明する。
図７はコンテンツ編集装置１３のコンテンツ編集についての機能的な構成を示すブロック図、図８は同期情報の例を示す図、図９はコンテンツ編集装置１３によって生成されるコンテンツファイルＣＦＢの構成の例を示す図である。
図７において、コンテンツ編集装置１３は、分割部６１、再生条件情報生成部６２、および同期情報生成部６３を有する。
分割部６１は、コンテンツファイルＣＦに含まれる各メディアデータについて、そのまままたは適当な符号化を行ったものを時間軸上で分割して、時間的に先に再生されるべき第１メディアデータ群ＤＭＡと後に再生されるべき第２メディアデータ群ＤＭＢとを生成する。
再生条件情報生成部６２は、各メディアデータＤＭを再生するための情報である再生条件情報ＲＴを生成する。再生条件情報ＲＴには、各メディアデータＤＭのフレーム単位の再生時間を示す時間情報、各メディアデータＤＭの各フレームのサイズを示すサイズ情報、各メディアデータＤＭの各フレームの格納場所を示すオフセット情報、およびフレームのかたまりの単位を表すチャンク情報などが示される。再生条件情報ＲＴおよび前述した同期情報ＤＴは各メディアデータＤＭのいわゆるヘッダーである。
同期情報生成部６３は、各メディアデータＤＭの再生時における時間軸上の位置ずれに関する情報である同期情報ＤＴを生成する。
図８に示すように、同期情報ＤＴには、同期情報であることを示す同期情報タグ、同期情報ＤＴのサイズを示す同期情報サイズ、同期情報ＤＴに係る複合コンテンツファイルに連続して再生されるべき複合コンテンツファイルに関する情報である連続ファイル情報ＤＴＦ、各メディアデータＤＭの再生開始時における時間軸上の位置ずれに関する情報である先頭ピクチャ補正情報ＤＴＴ、および各メディアデータＤＭの再生終了時における時間軸上の位置ずれに関する情報である後ピクチャ補正情報ＤＴＢなどが含まれる。
また、パッキング部４５は、上でも述べたように、符号化されたメディアデータＤＭ、再生条件情報ＲＴ、および同期情報ＤＴを、一つのファイルに編集（パッキング）し、コンテンツファイルＣＦＢを生成する。つまり、パッキング部４５において、メディアデータＤＭに同期情報ＤＴが付加される。
図９において、コンテンツファイルＣＦＢは、ファイルタイプボックスＢＸＡ、ムーブボックスＢＸＢ、メディアデータボックスＢＸＣ、およびシンクロボックスＢＸＤからなる。これらは図２１において説明したボックスと同じ機能を有するものがあるので、主として異なる機能について説明する。
ムーブボックスＢＸＢは、各メディアデータＤＭについて、それぞれの再生条件情報ＲＴを記憶する記憶領域ｓｔｂｌから構成されている。つまり、各記憶領域ｓｔｂｌは、各メディアデータＤＭのフレーム単位の再生時間を示す時間情報を記憶する領域ｓｔｔｓ、各メディアデータＤＭの各フレームのサイズを示すサイズ情報を記憶する領域ｓｔｓｚ、各メディアデータＤＭの各フレームの格納場所を示すオフセット情報を記憶する領域ｓｔｓｃ、および、フレームのかたまりの単位を表すチャンク情報を記憶する領域ｓｔｃｏを有する。
シンクロボックスＢＸＤには、同期情報生成部６３によって生成された同期情報ＤＴが格納される。なお、シンクロボックスＢＸＤは、本実施形態においてＭＰ４の拡張エリアとして新しく定義して設けられたものである。
次に、ファイル編集（複合コンテンツファイル編集）の具体例について説明する。
図１０はコンテンツファイルＣＦのメディアデータＤＭの分割の例を示す図、図１１は分割後の第１メディアデータ群ＤＭＡの例を示す図、図１２は分割後の第２メディアデータ群ＤＭＢの例を示す図、図１３は分割後のコンテンツファイルＣＦＢについての同期情報ＤＴ１，２の例を示す図である。なお、第１メディアデータ群ＤＭＡは第１コンテンツファイルＣＦＢ１を構成し、第２メディアデータ群ＤＭＢは第２コンテンツファイルＣＦＢ２を構成する。
図１０において、まず、ビデオデータの分割ポイントを決定する。そして、オーディオデータの分割ポイントを、ビデオデータの分割ポイントに対応する位置から一番近いフレームの切れ目とする。テキストデータの分割ポイントは、ビデオデータの分割ポイントに対応する位置とする。このようにして決定したそれぞれの分割ポイントにおいて、各メディアデータＤＭを分割する。
なお、図１０においては各メディアデータＤＭを２つに分割する例を示しているが、３つ以上に分割することも可能である。分割の個数は、分割後のコンテンツファイルＣＦＢが携帯端末ＵＥに配信可能なサイズとなるようにすればよい。
また、同期情報ＤＴである先頭ピクチャ補正情報ＴＤＴおよび後ピクチャ補正情報ＢＤＴ（図８参照）は、ビデオデータおよびオーディオデータとの再生開始時および再生終了時における時間軸上の位置ずれを算出することによって生成される。
例えば、図１０に示すように各メディアデータＤＭを分割した場合は、まず、時間的に先に再生されるべきビデオデータとオーディオデータとの再生終了時における時間軸上の位置ずれに着目する。
この場合、図１１に示すように、再生終了時におけるビデオデータの時間軸上の位置がオーディオデータに比べて１０ミリ秒だけ長く（遅く）なっている。そのため、再生終了時におけるビデオデータとオーディオデータとの同期をとるためには、再生終了時におけるビデオデータのＰピクチャの再生を１０ミリ秒だけ早く終了させる必要がある。
したがって、第１コンテンツファイルＣＦＢ１の同期情報ＤＴ１における後ピクチャ補正情報ＤＴＢ１は「−１０ｍｓｅｃ」となる（図１３参照）。先頭ピクチャ補正情報ＤＴＴ１については、ビデオデータとオーディオデータとの再生開始時における時間軸上の位置ずれがないので、「０」となる。
第２コンテンツファイルＣＦＢ２に格納されるビデオデータおよびオーディオデータについては、図１２に示すように、再生開始時におけるビデオデータの時間軸上の位置がオーディオデータに比べて１０ミリ秒だけ短く（遅く）なっている。また、再生終了時におけるビデオデータの時間軸上の位置がオーディオデータに比べて６ミリ秒だけ短く（早く）なっている。そのため、再生時におけるビデオデータとオーディオデータとの同期をとるためには、再生開始時におけるビデオデータのＩピクチャの再生時間を１０ミリ秒だけ早くしてその分延長し、再生終了時におけるビデオデータのＰピクチャの再生時間も６ミリ秒だけ延長する必要がある。したがって、第２コンテンツファイルＣＦＢ２の同期情報ＤＴ２における先頭ピクチャ補正情報ＤＴＴ２は「１０ｍｓｅｃ」となり、後ピクチャ補正情報ＤＴＢ２は「６ｍｓｅｃ」となる（図１３参照）。
第１コンテンツファイルＣＦＢ１の連続ファイル情報ＤＴＦ１は、第２コンテンツファイルＣＦＢ２の保存場所を示すＵＲＬ（Uniform Resource Locator）などが用いられる。また、第２コンテンツファイルＣＦＢ２のように次に連続して再生されるべきファイルが存在しない場合は、連続ファイル情報ＤＴＦ２は「Ｎｕｌｌ」となる。
次に、コンテンツ再生（複合コンテンツファイル再生）についてさらに詳しく説明する。
図１４は携帯端末ＵＥのコンテンツ再生についての機能的な構成を示す図である。
図１４において、携帯端末ＵＥは、同期情報取得部７１、位置ずれ情報抽出部７２、ファイル情報抽出部７３、メディアデータ取得部７４、再生制御部７５、および補正部７６などを有する。
同期情報取得部７１は、Ａバッファ５１ＡまたはＢバッファ５１ＢにダウンロードされたコンテンツファイルＣＦＢに付加された同期情報ＤＴを取得する。
位置ずれ情報抽出部７２は、同期情報ＤＴの中から、各メディアデータＤＭの再生時における時間軸上の位置ずれに関する情報（先頭ピクチャ補正情報ＤＴＴおよび後ピクチャ補正情報ＤＴＢ）を抽出する。
ファイル情報抽出部７３は、同期情報ＤＴの中から、当該コンテンツファイルＣＦＢの次に連続して再生すべきコンテンツファイルＣＦＢのファイル情報である連続ファイル情報ＤＴＦを抽出する。
メディアデータ取得部７４は、抽出した連続ファイル情報ＤＴＦに基づいて次の複合コンテンツファイルを読み出し、再生中の当該コンテンツファイルＣＦＢの再生が終了したときにそれに連続して再生されるように、当該再生中のコンテンツファイルＣＦＢに含まれる各メディアデータＤＭの中で再生が終了したメディアデータＤＭごとにそれに連続するメディアデータＤＭを取得する。
再生制御部７５は、コンテンツファイルＣＦＢのメディアデータＤＭを再生するための処理および制御を行う。
補正部７６は、抽出した時間軸上の位置ずれに関する情報に基づいて、各メディアデータＤＭの再生時における再生時間を補正する。その補正に際して、同期情報ＤＴの中から連続ファイル情報ＤＴＦが抽出されない場合に、コンテンツファイルＣＦＢに含まれる各メディアデータＤＭの再生終了時における再生時間の補正を行う。つまり、同期情報ＤＴの中から連続ファイル情報ＤＴＦが抽出された場合には、当該コンテンツファイルＣＦＢの再生に際しての補正は行わない。
次に、コンテンツ再生の具体例について説明する。まず連続再生について説明する。
図１５は連続再生時における補正の例を示す図である。
図１５において、第１コンテンツファイルＣＦＢ１の同期情報ＤＴ１には連続ファイル情報ＤＴＦ１が存在しているので（図１３参照）、その次に連続して再生すべき第２コンテンツファイルＣＦＢ２が連続して再生される。つまり、第１コンテンツファイルＣＦＢ１の各メディアデータＤＭのうち再生が終了したメディアデータＤＭごとに、他のメディアデータＤＭの終了を待つことなく、次に再生されるべきメディアデータＤＭがバッファから読み出され、間隔をあけることなく連続して再生される。
図１５の例では、第１コンテンツファイルＣＦＢ１のビデオデータＤＶの最後のＰピクチャが正規の時間だけ再生された直後に、第２コンテンツファイルＣＦＢ２の最初のＩピクチャが同じく正規の時間だけ再生される。オーディオデータＤＵおよびテキストデータＤＴについても、第１コンテンツファイルＣＦＢ１の最後のフレームに続けて第２コンテンツファイルＣＦＢ２の最初のフレームが再生される。
第２コンテンツファイルＣＦＢ２の再生に当たって、その次に再生すべきコンテンツファイルＣＦＢがあるか否かが同期情報ＤＴ２によってチェックされるが、連続ファイル情報ＤＴＦ２が存在していないので（図１３参照）、第２コンテンツファイルＣＦＢ２が最後であることが認識される。その場合に、第２コンテンツファイルＣＦＢ２の再生における終了時についてのみ、必要に応じて補正が行われる。
このように、コンテンツ編集装置１３において複数に分割されたコンテンツファイルＣＦＢ１，２は、携帯端末ＵＥにおいて、それぞれのメディアデータＤＭが連続して再生され、再生の終了時には必要に応じて補正が行われる。その結果、携帯端末ＵＥのユーザにとっては、元のコンテンツファイルＣＦをそのまま再生した場合と何らの変化を感じさせない。また、元のコンテンツファイルＣＦにおいて各メディアデータＤＭの時間長さが異なっていた場合であっても、再生の終了時には補正が行われ、違和感は解消される。
次に、各コンテンツファイルＣＦＢ１，２を単体で再生する場合について説明する。
図１６は第１コンテンツファイルＣＦＢ１の単体再生時における補正の例を示す図、図１７は第２コンテンツファイルＣＦＢ２の単体再生時における補正の例を示す図である。
図１６において、第１コンテンツファイルＣＦＢ１の単体再生に当たり、同期情報ＤＴ１に基づいて各メディアデータＤＭの時間軸上の位置ずれを補正する処理を行う。同期情報ＤＴ１によると、先頭ピクチャ補正情報ＤＴＴ１が「０」であり、後ピクチャ補正情報ＤＴＢ１が「−１０ｍｓｅｃ」である（図１３参照）。したがって、ビデオデータＤＶの再生開始時には補正を行わない。再生終了時には、Ｐピクチャの再生時間を６６ミリ秒から５６ミリ秒と短くなるように補正する。そのためには、例えば最終のＰピクチャが５６ミリ秒で終わるように再生速度を速めて再生する。これにより、ビデオデータＤＶとオーディオデータＤＵとテキストデータＤＴとの再生終了時における時間軸上の位置のずれが解消し、同期がとれることとなる。
図１７において、同期情報ＤＴ２によると、先頭ピクチャ補正情報ＤＴＴ２が「１０ミリ秒」であり、後ピクチャ補正情報ＤＴＢ２が「６ミリ秒」である。したがって、ビデオデータの再生開始時におけるＩピクチャの再生時間を６６ミリ秒から７６ミリ秒に補正し、再生終了時におけるＰピクチャの再生時間を６６ミリ秒から７２ミリ秒に補正する。そのためには、例えば、最初のＩピクチャをオーディオデータＤＵと同時に再生開始するとともに、再生速度を遅くして再生時間が７６ミリ秒となるようにする。また、最後のＰピクチャの再生速度を遅くして再生時間が７２ミリ秒となるようにする。
このように、分割されたコンテンツファイルＣＦＢを単体で再生する場合に、時間軸上の位置ずれの補正を行うことにより、再生の開始時と終了時において全部のメディアデータＤＭの間でずれがなく一致することとなる。これによって、再生時に映像と音声とのずれをユーザに感じさせることなく再生ができる。
なお、分割されたコンテンツファイルＣＦＢを携帯端末ＵＥにおいて再生する場合に、通常は、一連のコンテンツファイルＣＦＢ１，２，３…を順次連続して再生する。その場合に、最後のコンテンツファイルＣＦＢの終了時において、時間軸上の位置が一致するよう必要に応じて補正を行われる。
ユーザが分割されたコンテンツファイルＣＦＢを単体で再生したい場合には、携帯端末ＵＥに設けられた図示しないボタンを操作することによって「単体再生モード」が選択され、上に述べたような単体再生が行われる。また、その場合に、分割された複数のコンテンツファイルＣＦＢ１，２，３…の中から単体再生を行いたいコンテンツファイルを選択するためのボタンを設けておけばよい。
上に述べたように、本実施形態のファイル編集およびコンテンツ再生の方法によれば、携帯端末ＵＥにおいて、コンテンツＣＴの単体再生または連続再生のいずれを行う場合においても、同期が崩れることなく、したがってユーザは違和感なくコンテンツＣＴの視聴を行うことができる。
そして、同期をとるために設けられた同期情報ＤＴは数バイト程度の小容量であるので、同期情報ＤＴを設けたことによって処理の負荷が増大するほどのことはなく、従来から存在するコンテンツ配信システム１にそのような機能を追加することによっても容易に実施することが可能である。
次に、ファイル編集およびコンテンツ再生について、フローチャートを参照して説明する。
図１８はファイル編集の概略の流れを示すフローチャート、図１９はコンテンツ再生の概略の流れを示すフローチャートである。
図１８において、編集を行うべきコンテンツＣＴまたはコンテンツファイルＣＦが入力されると（＃１１）、必要に応じて符号化を行う（＃１２）。各メディアデータを時間軸上で分割して複数のメディアデータ群を生成する（＃１３）。各メディアデータ群について、各メディアデータの時間軸上の位置ずれに関する情報および次に連続して再生すべきメディアデータ群を特定するための情報を、同期情報として生成する（＃１４）。また、再生条件情報ＲＴを生成する（＃１５）。各メディアデータ群と当該各メディアデータ群についての同期情報とをそれぞれ組み合わせて複数のコンテンツファイルＣＦＢを生成する（＃１６）。
図１９において、コンテンツファイルＣＦＢが入力されると（＃２１）、ファイル解析を行って同期情報ＤＴを取得する（＃２２）。同期情報ＤＴの中から、各メディアデータの再生時における時間軸上の位置ずれに関する情報がある場合にそれを抽出する（＃２３）。連続ファイル情報ＤＴＦがあるか否かをチェックし、あればそれを取得する（＃２４）。連続ファイル情報ＤＴＦがあった場合には、単体再生モードでない場合に（＃２５でイエス）、連続再生を行い（＃２６）、再生終了時においてのみ必要な補正を行う（＃２７）。
連続ファイル情報ＤＴＦがない場合（＃２４でノー）、または単体再生モードの場合（＃２５でノー）には、抽出した時間軸上の位置ずれに関する情報に基づいて、各メディアデータの再生時間を補正しながら再生を行う（＃２８）。
上に述べた実施形態において、コンテンツ編集装置１３、再生装置５０、コンテンツ配信システム１、または携帯端末ＵＥの全体または各部の構成、処理内容、処理順序、コンテンツファイルＣＦ，ＣＦＢの構成、同期情報ＤＴの構成などは、本発明の趣旨に沿って適宜変更することができる。
上に述べた実施例には、以下に述べるような付記も開示されている。
（付記１）
複数種類のメディアデータが多重化された複合コンテンツファイルを編集する方法であって、
前記複合コンテンツファイルに含まれる各メディアデータを時間軸上で分割し、時間的に先に再生されるべき第１複合コンテンツファイルと後に再生されるべき第２複合コンテンツファイルとを生成するとともに、
前記第２複合コンテンツファイルに含まれる各メディアデータの再生開始時における時間軸上の位置ずれに関する情報を同期情報として当該第２複合コンテンツファイルに付加する、
ことを特徴とする複合コンテンツファイルの編集方法。
（付記２）
前記第１複合コンテンツファイルに、前記第１複合コンテンツファイルに含まれる各メディアデータの再生終了時における時間軸上の位置ずれに関する情報を同期情報として付加する、
付記１記載の複合コンテンツファイルの編集方法。
（付記３）
前記第１複合コンテンツファイルに、前記第２複合コンテンツファイルのファイル情報を同期情報として付加する、
付記１または２記載の複合コンテンツファイルの編集方法。
（付記４）
前記第２複合コンテンツファイルに、前記第２複合コンテンツファイルに含まれる各メディアデータの再生終了時における時間軸上の位置ずれに関する情報を同期情報として付加する、
付記１乃至３のいずれかに記載の複合コンテンツファイルの編集方法。
（付記５）
複数種類のメディアデータが多重化された複合コンテンツファイルを編集する方法であって、
入力されるメディアデータを時間軸上で分割して複数のメディアデータ群を生成するステップと、
前記各メディアデータ群について、各メディアデータの時間軸上の位置ずれに関する情報および次に連続して再生すべきメディアデータ群を特定するための情報を、同期情報として生成するステップと、
各メディアデータ群と当該各メディアデータ群についての同期情報とをそれぞれ組み合わせて複数の複合コンテンツファイルを生成するステップと、
を有することを特徴とする複合コンテンツファイルの編集方法。
（付記６）
複数種類のメディアデータが多重化された複合コンテンツファイルを編集する装置であって、
前記複合コンテンツファイルに含まれる各メディアデータを時間軸上で分割して、時間的に先に再生されるべき第１複合コンテンツファイルと後に再生されるべき第２複合コンテンツファイルとを生成する分割手段と、
前記第１複合コンテンツファイルおよび前記第２複合コンテンツファイルに、それぞれに含まれる各メディアデータの再生時における時間軸上の位置ずれに関する情報およびそれぞれの次に連続して再生すべきファイルのファイル情報を、同期情報として付加する同期情報付加手段と、
を有することを特徴とする複合コンテンツファイルの編集装置。
（付記７）
複数種類のメディアデータが多重化された複合コンテンツファイルを編集する装置であって、
入力されるメディアデータを時間軸上で分割して複数のメディアデータ群を生成する手段と、
前記各メディアデータ群について、各メディアデータの時間軸上の位置ずれに関する情報および次に連続して再生すべきメディアデータ群を特定するための情報を、同期情報として生成する手段と、
各メディアデータ群と当該各メディアデータ群についての同期情報とをそれぞれ組み合わせて複数の複合コンテンツファイルを生成する手段と、
を有することを特徴とする複合コンテンツファイルの編集装置。
（付記８）
複数種類のメディアデータが多重化された複合コンテンツファイルを再生する方法であって、
前記複合コンテンツファイルに付加された同期情報を取得し、
前記同期情報の中から、各メディアデータの再生時における時間軸上の位置ずれに関する情報を抽出し、
抽出した時間軸上の位置ずれに関する情報に基づいて、各メディアデータの再生時における再生時間を補正する、
ことを特徴とする複合コンテンツファイルの再生方法。
（付記９）
複数種類のメディアデータが多重化された複合コンテンツファイルを再生する方法であって、
前記複合コンテンツファイルに付加された同期情報を取得し、
前記同期情報の中から、当該複合コンテンツファイルの次に連続して再生すべき複合コンテンツファイルのファイル情報を抽出し、
抽出した前記ファイル情報に基づいて、再生中の当該複合コンテンツファイルの次に連続して再生すべき複合コンテンツファイルを読み出し、再生中の当該複合コンテンツファイルに含まれる各メディアデータの中で再生が終了したメディアデータごとにそれに連続するメディアデータを取得して再生し、
前記同期情報の中から前記ファイル情報を抽出できない場合は、当該同期情報の中から抽出した再生時における時間軸上の位置ずれに関する情報に基づいて、当該各メディアデータの再生終了時における再生時間を補正する、
ことを特徴とする複合コンテンツファイルの再生方法。
（付記１０）
複数種類のメディアデータが多重化された複合コンテンツファイルを再生する装置であって、
前記複合コンテンツファイルに付加された同期情報を取得する同期情報取得手段と、
前記同期情報の中から、各メディアデータの再生時における時間軸上の位置ずれに関する情報を抽出する位置ずれ情報抽出手段と、
前記同期情報の中から、当該複合コンテンツファイルの次に連続して再生すべき複合コンテンツファイルのファイル情報を抽出するファイル情報抽出手段と、
抽出した時間軸上の位置ずれに関する情報に基づいて、各メディアデータの再生時における再生時間を補正する補正手段と、
抽出した前記ファイル情報に基づいて次の複合コンテンツファイルを読み出し、再生中の当該複合コンテンツファイルの再生が終了したときにそれに連続して再生されるように、当該再生中の複合コンテンツファイルに含まれる各メディアデータの中で再生が終了したメディアデータごとにそれに連続するメディアデータを取得するメディアデータ取得手段と、
を有することを特徴とする複合コンテンツファイルの再生装置。
（付記１１）
前記補正手段は、前記同期情報の中から前記ファイル情報が抽出されない場合に、前記複合コンテンツファイルに含まれる各メディアデータの再生終了時における再生時間の補正を行う、
付記１０記載の複合コンテンツファイルの再生装置。
コンテンツ配信システムの全体的な構成の例を示す図である。 コンテンツ編集装置のハードウェア構成の例を示すブロック図である。 携帯端末のハードウェア構成の例を示すブロック図である。 コンテンツ編集装置の機能的な構成を示すブロック図である。 単体再生における再生装置に関する構成を示すブロック図である。 連続再生における再生装置に関する構成を示すブロック図である。 コンテンツ編集装置の機能的な構成を示すブロック図である。 同期情報の例を示す図である。 コンテンツファイルの構成の例を示す図である。 コンテンツファイルのメディアデータの分割の例を示す図である。 分割後の第１メディアデータ群の例を示す図である。 分割後の第２メディアデータ群の例を示す図である。 分割後のコンテンツファイルについての同期情報の例を示す図である。 携帯端末のコンテンツ再生についての機能的な構成を示す図である。 連続再生時における補正の例を示す図である。 第１コンテンツファイルの単体再生時における補正の例を示す図である。 第２コンテンツファイルの単体再生時における補正の例を示す図である。 ファイル編集の概略の流れを示すフローチャートである。 コンテンツ再生の概略の流れを示すフローチャートである。 従来のＭＰ４ファイルフォーマットの例を示す図である。 メディアデータを分割する方法の例を示す図である。 メディアデータを分割する方法の例を示す図である。
符号の説明
１ コンテンツ配信システム
１３ コンテンツ編集装置（編集装置）
４５ パッキング部（組み合わせて複数の複合コンテンツファイルを生成する手段）
５８ 連続ファイル要求部
６１ 分割部（複数のメディアデータ群を生成する手段）
６２ 再生条件情報生成部
６３ 同期情報生成部（同期情報として生成する手段）
７１ 同期情報取得部（同期情報取得手段）
７２ 位置ずれ情報抽出部（位置ずれ情報抽出手段）
７３ ファイル情報抽出部（ファイル情報抽出手段）
７４ メディアデータ取得部（メディアデータ取得手段）
７５ 再生制御部
７６ 補正部（補正手段）
ＣＦ，ＣＦＢ コンテンツファイル（複合コンテンツファイル）
ＣＦＢ１ 第１コンテンツファイル（第１複合コンテンツファイル）
ＣＦＢ２ 第２コンテンツファイル（第２複合コンテンツファイル）
ＤＭ メディアデータ
ＤＴ 同期情報
ＤＴＦ 連続ファイル情報（ファイル情報）

Claims (4)

  1. 複数種類のメディアデータが多重化された複合コンテンツファイルを編集する方法であって、
    前記複合コンテンツファイルに含まれる各メディアデータを時間軸上で分割し、時間的に先に再生されるべき第１複合コンテンツファイルと後に再生されるべき第２複合コンテンツファイルとを生成するとともに、
    前記第１複合コンテンツファイルに、当該第１複合コンテンツファイルに含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報、および、次に連続して再生すべき複合コンテンツファイルを特定するための情報である前記第２複合コンテンツファイルのファイル情報を、同期情報として付加し、
    前記第２複合コンテンツファイルに、当該第２複合コンテンツファイルに含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報を、同期情報として付加する、
    ことを特徴とする複合コンテンツファイルの編集方法。
  2. 前記複合コンテンツファイルに含まれる各メディアデータを時間軸上で分割する際に、単独で再生可能なＩピクチャフレームが分割後の前記第２複合コンテンツファイルのビデオデータの先頭となるようにする、
    請求項１記載の複合コンテンツファイルの編集方法。
  3. 複数種類のメディアデータが多重化された複合コンテンツファイルを編集する方法であって、
    入力されるメディアデータ群に含まれるビデオデータ、オーディオデータ、およびテキストデータを時間軸上で分割し、時間的に先に再生されるべき第１メディアデータ群と後に再生されるべき第２メディアデータ群とからなる２つのメディアデータ群を生成するステップと、
    前記第１メディアデータ群に、当該第１メディアデータ群に含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報、および、次に連続して再生すべきメディアデータ群を特定するための情報である前記第２メディアデータ群のファイル情報を、同期情報として生成して付加し、前記第２メディアデータ群に、当該第２メディアデータ群に含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報を、同期情報として生成して付加し、これによって複数の複合コンテンツファイルを生成するステップと、
    を有することを特徴とする複合コンテンツファイルの編集方法。
  4. 複数種類のメディアデータが多重化された複合コンテンツファイルを編集する装置であって、
    入力されるメディアデータ群に含まれるビデオデータ、オーディオデータ、およびテキストデータを時間軸上で分割し、時間的に先に再生されるべき第１メディアデータ群と後に再生されるべき第２メディアデータ群とからなる２つのメディアデータ群を生成する手段と、
    前記第１メディアデータ群に、当該第１メディアデータ群に含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報、および、次に連続して再生すべきメディアデータ群を特定するための情報である前記第２メディアデータ群のファイル情報を、同期情報として生成して付加し、前記第２メディアデータ群に、当該第２メディアデータ群に含まれるビデオデータとオーディオデータとについての再生開始時および再生終了時における時間軸上の位置ずれに関する情報を、同期情報として生成して付加し、これによって複数の複合コンテンツファイルを生成する手段と、
    を有することを特徴とする複合コンテンツファイルの編集装置。
JP2006338947A 2006-12-15 2006-12-15 複合コンテンツファイルの編集方法および装置 Expired - Fee Related JP4948147B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006338947A JP4948147B2 (ja) 2006-12-15 2006-12-15 複合コンテンツファイルの編集方法および装置
EP07021080A EP1933323B1 (en) 2006-12-15 2007-10-29 Method and device for editing composite content file and reproduction apparatus
US11/978,676 US8090682B2 (en) 2006-12-15 2007-10-30 Method and device for editing composite content file and reproduction apparatus
US13/198,830 US8433678B2 (en) 2006-12-15 2011-08-05 Method and device for editing composite content file and reproduction apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006338947A JP4948147B2 (ja) 2006-12-15 2006-12-15 複合コンテンツファイルの編集方法および装置

Publications (2)

Publication Number Publication Date
JP2008153886A JP2008153886A (ja) 2008-07-03
JP4948147B2 true JP4948147B2 (ja) 2012-06-06

Family

ID=38925768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006338947A Expired - Fee Related JP4948147B2 (ja) 2006-12-15 2006-12-15 複合コンテンツファイルの編集方法および装置

Country Status (3)

Country Link
US (2) US8090682B2 (ja)
EP (1) EP1933323B1 (ja)
JP (1) JP4948147B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140070409A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 컨텐트를 저장한 정보저장매체, 컨텐트 제공 방법, 컨테 재생 방법 및 그 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100958176B1 (ko) * 2008-11-26 2010-05-14 주식회사 코아로직 멀티미디어 데이터 처리장치, 그 처리장치를 포함하는 멀티미디어 시스템, 및 멀티미디어 데이터 레코딩 방법
CN102459542B (zh) * 2009-06-04 2013-12-11 卢布里佐尔公司 含摩擦改进剂和粘度改进剂的润滑组合物
JP2011087103A (ja) * 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
JP2011155538A (ja) * 2010-01-28 2011-08-11 Toshiba Corp メディア符号化装置及びメディア符号化方法
KR101802273B1 (ko) 2010-03-05 2017-11-28 삼성전자주식회사 복수 개의 스트림으로 구성된 컨텐츠 파일 송수신 장치 및 방법
US8683337B2 (en) * 2010-06-09 2014-03-25 Microsoft Corporation Seamless playback of composite media
JP2013051607A (ja) * 2011-08-31 2013-03-14 Canon Inc データ処理装置、方法および制御プログラム
CN103780644A (zh) * 2012-10-19 2014-05-07 海尔集团公司 文件的同步方法
WO2014084666A1 (en) 2012-11-30 2014-06-05 Samsung Electronics Co., Ltd. Information storage medium storing content, content providing method, content reproducing method and apparatus therefor
JP6349977B2 (ja) * 2013-10-21 2018-07-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN105491395B (zh) * 2015-12-09 2019-05-07 福建天晴数码有限公司 服务器视频管理方法及系统
CN105554514B (zh) * 2015-12-09 2019-01-18 福建天晴数码有限公司 处理视频片头曲的方法及系统
CN108462892B (zh) * 2018-03-26 2019-08-06 百度在线网络技术（北京）有限公司 图像和音频同步播放的处理方法及设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU634735B2 (en) * 1988-12-26 1993-03-04 Wing Highcera Co. Ltd. Ceramic bearing and manufacturing method
GB2280778B (en) * 1992-04-10 1996-12-04 Avid Technology Inc Digital audio workstation providing digital storage and display of video information
JPH06348580A (ja) * 1993-06-08 1994-12-22 Hitachi Micom Syst:Kk マルチメディア転送装置
EP0790743B1 (en) * 1993-09-16 1998-10-28 Kabushiki Kaisha Toshiba Apparatus for synchronizing compressed video and audio signals
US5570296A (en) * 1994-03-30 1996-10-29 Apple Computer, Inc. System and method for synchronized presentation of video and audio signals
WO1996038843A1 (fr) * 1995-05-31 1996-12-05 Sony Corporation Procedes et dispositifs de codage/decodage de signaux audio
JPH0934763A (ja) * 1995-07-19 1997-02-07 Fuji Xerox Co Ltd ファイル管理装置およびファイル管理方法
US5784572A (en) * 1995-12-29 1998-07-21 Lsi Logic Corporation Method and apparatus for compressing video and voice signals according to different standards
US6262777B1 (en) * 1996-11-15 2001-07-17 Futuretel, Inc. Method and apparatus for synchronizing edited audiovisual files
KR100532738B1 (ko) 1997-09-17 2005-12-01 마츠시타 덴끼 산교 가부시키가이샤 비디오 데이터 편집장치, 비디오 데이터 편집장치의 기록매체로서 이용하기 위한 광디스크 및 편집 프로그램을 저장한 컴퓨터 판독가능한 기록매체
JP2001045448A (ja) * 1999-07-30 2001-02-16 Nec Corp ディジタルｔｖ放送における映像データ同期方式
US7177520B2 (en) * 2000-09-15 2007-02-13 Ibm Corporation System and method of timecode repair and synchronization in MPEG streams
CN1251129C (zh) * 2000-12-08 2006-04-12 松下电器产业株式会社 数据变换装置、数据编码装置以及数据记录装置
JP2003046949A (ja) * 2001-07-30 2003-02-14 Hitachi Ltd データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム
US20030066094A1 (en) * 2001-09-29 2003-04-03 Koninklijke Philips Electronics N.V. Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
US6956871B2 (en) * 2002-04-19 2005-10-18 Thomson Licensing Apparatus and method for synchronization of audio and video streams
US20030221014A1 (en) * 2002-05-24 2003-11-27 David Kosiba Method for guaranteed delivery of multimedia content based on terminal capabilities
JP2004056777A (ja) * 2002-05-30 2004-02-19 Matsushita Electric Ind Co Ltd 無線遠隔操作システム
US7315622B2 (en) * 2002-06-27 2008-01-01 Nxp B.V. Robust method for achieving audio/video synchronization in MPEG decoders in personal video recording applications
JP3731658B2 (ja) * 2002-09-06 2006-01-05 船井電機株式会社 光ディスク再生装置
KR100619812B1 (ko) * 2003-09-06 2006-09-08 엘지전자 주식회사 휴대단말기의 멀티미디어 신호 분할 전송장치 및 방법
JP2005100541A (ja) * 2003-09-25 2005-04-14 Pioneer Electronic Corp 情報再生方法、情報再生プログラムおよび情報再生装置
US8010579B2 (en) * 2003-11-17 2011-08-30 Nokia Corporation Bookmarking and annotating in a media diary application
CN1725360A (zh) 2004-07-19 2006-01-25 松下电器产业株式会社 编辑影音档案的方法及系统
JP4398843B2 (ja) * 2004-10-13 2010-01-13 日本放送協会 配信サーバ及び配信プログラム
JP2006203682A (ja) * 2005-01-21 2006-08-03 Nec Corp 動画像圧縮符号化ビットストリームシンタックス変換装置及び動画像通信システム
JP4264833B2 (ja) * 2005-06-17 2009-05-20 ソニー株式会社 記録装置および方法、プログラム、並びに記録媒体
JP4598627B2 (ja) * 2005-08-24 2010-12-15 富士通株式会社 コンテンツ編集装置及びその再生装置
US20070067472A1 (en) * 2005-09-20 2007-03-22 Lsi Logic Corporation Accurate and error resilient time stamping method and/or apparatus for the audio-video interleaved (AVI) format
US20070078883A1 (en) * 2005-09-30 2007-04-05 Yahoo! Inc. Using location tags to render tagged portions of media files

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140070409A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 컨텐트를 저장한 정보저장매체, 컨텐트 제공 방법, 컨테 재생 방법 및 그 장치
KR102179384B1 (ko) 2012-11-30 2020-11-16 삼성전자주식회사 컨텐트를 저장한 정보저장매체, 컨텐트 제공 방법, 컨테트 재생 방법 및 그 장치

Also Published As

Publication number Publication date
US8433678B2 (en) 2013-04-30
EP1933323A1 (en) 2008-06-18
US20110289048A1 (en) 2011-11-24
JP2008153886A (ja) 2008-07-03
US8090682B2 (en) 2012-01-03
US20080147700A1 (en) 2008-06-19
EP1933323B1 (en) 2012-12-05

Similar Documents

Publication Publication Date Title
JP4948147B2 (ja) 複合コンテンツファイルの編集方法および装置
US7412149B2 (en) Trick mode generation in video streaming
US7274862B2 (en) Information processing apparatus
JP4598627B2 (ja) コンテンツ編集装置及びその再生装置
JP2003114845A (ja) メディア変換方法およびメディア変換装置
JP6565922B2 (ja) 符号化装置および方法、再生装置および方法、並びにプログラム
WO2008061416A1 (fr) Procédé et système permettant d'accepter des données media de divers formats de codage
JP2005504480A (ja) メタデータ及びメディアデータを含むマルチメディアファイルのストリーミング
TWI307857B (ja)
JP4715306B2 (ja) ストリーム制御装置、ストリーム再生方法、映像記録再生システム
US6940901B2 (en) Apparatus and method for information processing
US20210132898A1 (en) Method for transmitting and receiving audio data related to transition effect and device therefor
JP4254297B2 (ja) 画像処理装置及びその方法並びにそれを用いた画像処理システム及びプログラム
JP2008136044A (ja) 動画分割サーバおよびその制御方法
JP2004320394A (ja) デジタル放送送信システム，デジタル放送の受信装置，デジタル放送再生方法
JP2005260283A (ja) Ａｖコンテンツのネットワーク再生方法
JP3944845B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP3338774B2 (ja) Ｍｐｅｇエンコード装置，ｍｐｅｇのｐｓ多重化方法及びｐｓ多重化プログラムを記録した記録媒体
JP2010245756A (ja) 通信ネットワークシステム、コンテンツ再生方法、及びサーバ
JP3894362B2 (ja) 複数動画像の閲覧装置および記録媒体
CN113873275B (zh) 一种视频媒体数据的传输方法及装置
WO2020170659A1 (ja) 編集システム
JPH10276408A (ja) ビデオ情報提供制御方法およびシステム
JP2006352306A (ja) コンテンツデータ配信装置
JP2004312713A (ja) データ送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees