JP3976979B2 - Image editing device - Google Patents
Image editing device Download PDFInfo
- Publication number
- JP3976979B2 JP3976979B2 JP2000042697A JP2000042697A JP3976979B2 JP 3976979 B2 JP3976979 B2 JP 3976979B2 JP 2000042697 A JP2000042697 A JP 2000042697A JP 2000042697 A JP2000042697 A JP 2000042697A JP 3976979 B2 JP3976979 B2 JP 3976979B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- data
- screen
- encoded data
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、音声および動画像などのマルチメディア情報を記録した動画像ファイルの編集装置に関し、より特定的には、動画像データを符号化して記録メディアに格納した動画像ファイルに対する時間的な編集処理、特にファイルの分割編集を行なうための画像編集装置に関する。
【０００２】
【従来の技術】
画像処理技術の発展と、パーソナルコンピュータ（以下、単にＰＣとも称する）の性能向上によって、家庭のＰＣでも手軽にマルチメディア情報が扱えるようになってきた。このため、音声および動画像等のマルチメディア情報を、たとえばＤＯＳファイル形式などに従った通常のＰＣ上のファイルとして記録しかつ利用できることが求められている。マルチメディア情報をＰＣ上でのファイルとして記録、管理することによって、ワープロや表計算等の他のアプリケーションのファイルと同様に手軽に取扱うことが可能となる。
【０００３】
動画像を記録したファイルが簡単に利用できるようになると、動画像ファイルに対する編集機能を提供する必要が生じる。動画像の編集としては、ファイルの分割、ファイルの結合、ファイルの一部分だけを抜き出すトリミング等の時間的な編集が主である。これらの中で、動画像の撮影時に余分に記録した部分をカットしたり、注目したい部分だけを抽出するための分割編集は、特に重要な機能である。なお、トリミングは、２回ファイル分割を組合せれば実現できるため、機能的にはファイルの分割と同様の処理で実行できる。
【０００４】
しかしながら、動画像データは、そのデータ量が多いため、ファイルに記録する際には符号化による情報量の圧縮を行なう必要がある。このため、ファイルの分割編集処理も単純に実行することができない。一般に、動画像データの符号化においては、フレーム／フィールド間予測を用いて、画面間で変化があった情報のみを抽出して利用している。したがって、ある画面に対しては、予測の際に参照した以前の画面からの差分情報のみが符号化データとしてファイルに記録されている。このため、動画像ファイルに対して分割などの編集を行なうと、分割した後半のファイルに含まれる画面に対する予測の参照画面がなくなり、正常な画像を復元できなくなってしまうというケースが生じるおそれがある。
【０００５】
図８は、動画像データの符号化における画面間の予測処理を説明する図である。
【０００６】
図８を参照して、符号化された動画像データの各画面は、他の画面からの予測を用いない画面内符号化画面（図中Ｉで表記し、以下イントラ符号化画面とも称する）と、１つ前の画面を参照して予測符号化された画面間符号化画面（図中においてＰで表記）とから構成されている。ここで、たとえば（ａ）に示すように、画面間符号化画面である画面６２の直前で動画像データを分割する場合について説明する。画面６２は、画面６１からの予測を用いて符号化が行なわれている。
【０００７】
このとき、（ｂ）に示す分割後の動画像データにおいては、画面６２が先頭に位置することとなるため、画面６２が予測の際に参照していた画面６１が存在しなくなり、画面６２を正しく復号することができなくなってしまう。
【０００８】
従来の画像編集装置においては、このような問題が生じるのを避けるために、以前の画面からの予測を用いずに符号化されている、イントラ符号化画面の直前においてのみ分割編集が行なわれることとしていた。すなわち、図８の例でいえば、イントラ符号化画面である画面６３の直前においてのみ分割が可能である。
【０００９】
図９は、従来の画像編集装置において動画像データを分割した場合におけるファイル内のデータパケットの書換を説明する図である。
【００１０】
詳細は後ほど説明するが、１画面に対応する動画像符号化データ（ＶＯＰ）および音声符号化データは複数個に分割され、分割されたそれぞれのデータはデータパケットを構成する。図９においては、イントラ符号化画面の動画像符号化データＩ−ＶＯＰ６は、Ｉ−ＩＶＯＰ６−１、Ｉ−ＶＯＰ６−２およびＩ−ＶＯＰ６−３の３つに分割されて、データパケットに格納されている。
【００１１】
ここで、Ｉ−ＶＯＰ６に対応するイントラ符号化画面の直前で動画像ファイルを分割する場合においては、これ以前の動画像符号化データおよび音声符号化データは不要である。そこで、先頭の符号化データＩ−ＶＯＰ６−１が格納されているデータパケットの中で、Ｉ−ＶＯＰ６−１より前に位置するデータを破棄し、当該Ｉ−ＶＯＰ６−１の符号化データを前に詰める。
【００１２】
したがって、データパケット２０１中に格納されていた１つ前の画面間符号化画面に対応する動画像データＰ−ＶＯＰ５−２は破棄され、分割前のデータパケット２０１に対応する分割後のデータパケット２０２においては、Ｉ−ＶＯＰ６−１の符号化データが前に詰められ、空いた部分にはパケットデータ長を一定とするためのダミーのデータバイトであるパディング情報が埋められる。
【００１３】
このように、分割後の先頭パケットである２０２は書換られるが、その後に続くデータパケット２０３および２０５についてはパケットデータの書換は不要である。
【００１４】
このように、動画像ファイルの分割位置をイントラ符号化画面の直前に限定し、動画像符号化データ自体を操作して分割処理を行なう画像編集装置としては、たとえば特開平８−１４９４０８号公報に開示された動画編集方法および装置がある。当該編集装置においては、ＭＰＥＧ−１、ＭＰＥＧ−２などで採用されるＧＯＰ（グループ・オブ・ピクチャ）単位で分割編集を行なうこととしている。
【００１５】
一般に、ＧＯＰの最初の画面はイントラ符号化画面となるように構成されているため、ＧＯＰ単位で分割編集を行なうこととすれば、分割後の先頭の画面においては、正しい復号データを得ることが可能である。
【００１６】
図１０は、従来の技術の画像編集装置２００の構成を説明する概略ブロック図である。
【００１７】
図１０を参照して、画像編集装置２００は、編集の対象となる動画像ファイルデータパケットを動画像符号化データと音声符号化データとに分解するパケット分解部５１と、分解されたパケットデータのうち動画像符号化データを編集するための、符号化データ分割部５２、符号化データ再構成部５５、符号化データ解析制御部５７、ダミー符号化データ作成部５３およびスタッフィング符号化データ作成部５４と、分割後の動画像符号化データと音声符号化データとを動画像ファイルデータパケットに再構成するためのパケット再構成部５６とを備える。
【００１８】
パケット分解部５１は、動画像データのパケットファイルを分割して、音声符号化データおよび動画像符号化データを取り出して出力する。
【００１９】
符号化データ分解部５２は、動画像符号化データを分割位置がＧＯＰの先頭となるように分割する。
【００２０】
しかし、ＭＰＥＧ−１やＭＰＥＧ−２の場合、ＧＯＰの中には、先頭のイントラ符号化画面の直後の双方向の予想画面など、時間的に前に位置するＧＯＰ内の画面を参照している画面も存在する。このように、分割後に予測参照画面がなくなった画面の符号化データが含まれていた場合には、ダミー符号化データ作成部５３において、画面間で全く変化がなかったことを示すダミーの符号化データを作成する。そして、符号化データ再構成部５５において、当該符号化データをダミー符号化データに置き換える。このような置き換えを行なったとしても、その影響としては、ＧＯＰ先頭画面と同一の画面が数画面分の時間続けて表示されるだけであり、視覚的に異常な画面が表示されることはない。
【００２１】
さらに、従来の画像編集装置２００においては、分割編集が行なわれた動画像符号化データを復号する際に、デコーダのバッファ状態が、分割以前の動画像符号化データに対するバッファ状態と同一となるようにスタッフィング符号化データ作成部５４でスタッフィングデータを生成して、符号発生量が予定より少ない場合には、アンダーフローを防ぐために動画像符号化データに挿入するように、再構成処理を行なう。
【００２２】
符号化データ解析制御部５７は、編集制御情報に応じて、動画像符号化データの分割位置がＧＯＰの先頭となるように制御して、符号化データ分割部５２における分割位置を指定する。
【００２３】
パケット再構成部５６は、符号化データ再構成部５５から出力された分割後の動画像符号化データとこれに対応する音声符号化データとを併せて動画像ファイルデータパケットを再構成する。
【００２４】
パケット再構成部５６は、分割後のデータパケットを出力する。符号化データ解析制御部５７は、たとえば外部からの分割位置指示情報を含む編集制御情報を受けて動画像符号化データの分割処理を制御する。符号化データ分割部５２は、符号化データ解析制御部５７に制御されて、指示された位置において動画像符号化データを分割する。
【００２５】
符号化データ解析制御部５７は、編集制御情報に従って、符号化データ分割部５２における分割位置の制御、符号化データ再構成部５５におけるダミー符号化データへの置き換え、スタッフィングデータの挿入量の制御などを行なう。こうして、再構成された動画像符号化データは、パケット再構成部５６において、動画像ファイルに格納するための音声符号化データとの多重化処理を行なって、分割後のデータパケットを構成して出力する。
【００２６】
また、動画像ファイルに予めスタッフィングデータを埋込んでおくのではなく、動画像ファイルを読出して再生する時点でデコーダのバッファ状態を調整する方法として、特開平７−１８４１７６号公報に開示された技術も存在する。当該公報においては記録された動画像符号化データを読出して、受信端末へ送出する際に、受信端末のデコーダバッファがオーバーフローやアンダーフローを起こさないように、画像データの情報量を監視しながらフィルビットを挿入してデータ量を調整する蓄積画像再生装置が開示されている。
【００２７】
さらに、その他の従来技術として特開平７−１８４１８９号公報において、端末から受信した動画像符号化データを記録する際に、先頭画面をイントラ符号化することによって、任意の画面を先頭として記録できるようにした映像情報蓄積制御装置が開示されている。
【００２８】
【発明が解決しようとする課題】
しかしながら、これらの従来技術においては、分割位置をイントラ符号化画面やＧＯＰの境界部分だけに制限するため、ユーザがファイルの分割位置を自由に選択することができず、記録した動画像のシーンに応じた自由な分割編集を行なうことができない。
【００２９】
また、イントラ符号化画面が挿入される間隔や位置は、エンコーダが適当に選択して決定するものであり、ユーザが見たいシーンの開始位置等の動画像の内容を反映したものとはなっていない。
【００３０】
特に、動画像が数ｋｂｉｔ／ｓ〜数百ｋｂｉｔ／ｓのような低レートで符号化されている場合には、情報量を削減するためのコマ落し処理や、イントラ符号化によるデータ量の増加を回避するためにイントラ符号化画面に挿入間隔を数秒〜十数秒と長く確保する必要があるため、分割の許容位置が極度に制限されることとなる。したがって、ユーザが所望の画面位置で動画像ファイルを分割することができないという問題が生じる。
【００３１】
また、動画像符号化データの構造上は、無理に画面間予測符号化画面の位置で分割することも可能であるが、このように分割した動画像符号化データを再生すると、画面間予測における参照画像が存在しなくなる。このため、次のイントラ符号化画面を復号して正しい予測参照画面が得られるまでは、正常な復号画像を得ることができない。したがって、正常な復号画像を得るには次のイントラ符号化画面まで待たなければならないため、表示される動画像としては、前述のようにイントラ符号化画面の位置で分割した場合と同様になってしまう。
【００３２】
さらに、分割した先頭画面を単にイントラ符号化画面に再符号化するだけでは、分割処理前の画面間予測符号化に比べてデータ量が増加してしまうため、バッファのオーバーフローもしくはアンダーフローが生じて、デコーダが正常に動作できなくなってしまう可能性がある。
【００３３】
そこで、スタッフィングの挿入処理などを行なうために、従来の画像編集装置２００などのように符号化データを直接操作すると、再構成後の動画像符号化データをファイル構造に従うように再度フォーマットしてからファイルに書込む処理が必要となり、ファイル全体の書換処理が必要となる。これにより、動画像カメラなど、処理操作の制約が大きい小型携帯機上での編集処理や、長時間の動画像ファイルのように非常に大きなサイズのファイルを処理する場合などには、ファイル読み書きの負荷が大きいため処理時間も非常に長くなってしまう。したがって、このような分割方法を実現することは非常に困難となる。特に、上述したように再符号化によってデータ量が増える場合には、スタッフィングの挿入だけで対応することは不可能である。
【００３４】
さらに、スタッフィング、フィルビットなどの挿入処理においては、挿入すべきデータ量を決定するために、デコーダバッファの状態を推定する処理が必要となる。この推定処理においては、動画像ファイル内の符号化データのビットフレーム、フレームレートおよび符号化方式などの条件をすべて考慮して、デコーダの振る舞いを想定する必要があるため、ファイル内部の符号化データの詳細な解析が必要である。このような推定処理は複雑であるだけでなく、既知の符号化方式以外の任意の符号化方式には対応できないため自由度を欠く結果になるという問題点があった。
【００３５】
本発明はこのような問題点を解決するためになされたものであって、この発明の目的は、大幅なデータパケットの書換を伴わずに、比較的簡単な処理によって自由な時間位置で動画像ファイルの分割編集が可能な画像編集装置を提供することである。
【００３６】
【課題を解決するための手段】
請求項１記載の画像編集装置は、動画像符号化データを格納する複数のデータパケットから構成される動画像ファイルを分割編集するための画像編集装置であって、動画像符号化データを復号して動画像データを出力するための復号処理手段と、データパケットの分割編集処理を制御する分割編集制御手段と、分割編集後に先頭となる動画像の画面である先頭画面に対応する動画像データを復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して動画像符号化データを出力する分割画面再符号化手段と、分割編集処理後のデータパケットのうちの、再符号化された動画像符号化データが格納されるデータパケットについてデータパケットの送出時刻を示すタイムスタンプ値を再符号化された動画像符号化データのデータ量に応じて更新する一方で、再符号化に関連しない動画像符号化データから構成されるデータパケットについてはタイムスタンプ値を更新しないタイムスタンプ値更新手段と、動画像符号化データおよびタイムスタンプ値を結合して、データパケットを生成するパケット再構成手段とを備える。
【００３７】
請求項２記載の画像編集装置は、請求項１記載の画像編集装置であって、分割画面再符号化手段とパケット再構成手段との間に配置されるデータ切換回路をさらに備え、データ切換回路は、分割編集制御手段に制御されて、分割画面再符号化手段の出力する動画像符号化データおよび復号処理手段で復号される前の動画像符号化データのいずれか一方をパケット再構成手段に与える。
【００３８】
請求項３記載の画像編集装置は、請求項２記載の画像編集装置であって、パケット再構成手段は、先頭画面に対応する動画像符号化データが分割編集処理前において時間的に前の画面からの予測を用いるモードで符号化されている場合においては、分割編集処理後のデータパケットのうちの先頭画面に対応する動画像符号化データを分割画面再符号化手段の出力する動画像符号化データを用いて生成する。
【００３９】
請求項４記載の画像編集装置は、請求項２記載の画像編集装置であって、パケット再構成手段は、先頭画面に対応する動画像符号化データが分割編集処理前において時間的に前の画面からの予測を用いないモードで符号化されている場合においては、分割編集処理後のデータパケットのうちの先頭画面に対応する動画像符号化データを復号処理手段で復号される前の動画像符号化データをそのまま用いて生成する。
【００４０】
請求項５記載の画像編集装置は、請求項１記載の画像編集装置であって、分割編集制御手段は、分割編集処理前において先頭画面に対応する動画像符号化データを含まないデータパケットに対しては内容の書換を指示しない。
【００４１】
請求項６記載の画像編集装置は、請求項１記載の画像編集装置であって、タイムスタンプ値更新手段は、再符号化された動画像符号化データのデータ量と、動画像符号化データの伝送ビットレートとに基いて、タイムスタンプ値を更新する。
【００４２】
請求項７記載の画像編集装置は、請求項６記載の画像編集装置であって、タイムスタンプ値更新手段は、再符号化された動画像符号化データのデータ量から、再符号化された動画像符号化データの復号後におけるデコーダのバッファ量が分割処理編集前での先頭画面の復号後におけるデコーダのバッファ量と等しくなるような、先頭画面の再生時におけるデコーダのバッファ量を推定し、推定されたバッファ量および動画像符号化データの伝送ビットレートに基いて、デコーダにおいてオーバーフローもしくはアンダーフローが生じないようにタイムスタンプ値を設定する。
【００４３】
請求項８記載の画像編集装置は、請求項６記載の画像編集装置であって、タイムスタンプ値更新手段は、先頭画面に対応する動画像符号化データの再符号化に伴うデータ量増加分に対応する時間分だけ、先頭画面に対応する動画像符号化データを先行して送出するようにタイムスタンプ値を設定する。
【００４５】
請求項９記載の画像編集装置は、請求項６記載の画像編集装置であって、パケット再構成手段は、先頭画面に対応する動画像符号化データを含まないデータパケットに対しては、分割編集処理前のタイムスタンプ値をそのまま用いて分割編集処理後のデータパケットを生成する。
【００４６】
請求項１０記載の画像編集装置は、動画像符号化データを格納する複数のデータパケットから構成される動画像ファイルを分割編集するための画像編集装置であって、動画像符号化データを復号して動画像データを出力するための復号処理手段と、データパケットの分割編集処理を制御する分割編集制御手段と、分割編集後に先頭となる動画像の画面である先頭画面に対応する動画像データを復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して動画像符号化データを出力する分割画面再符号化手段と、動画像符号化データと再生時におけるデータパケットの送出時刻を示すタイムスタンプ値とを結合して、分割編集処理後のデータパケットを生成するパケット再構成手段とを備え、タイムスタンプ値は、分割編集処理後のデータパケットのうちの、再符号化された動画像符号化データが格納されるデータパケットでは再符号化された動画像符号化データのデータ量に応じて更新される一方で、再符号化に関連しない動画像符号化データから構成されるデータパケットについては非更新とされる。そして、画像編集装置は、複数のセクタに分割された記憶媒体を有するファイル記憶部と、複数のセクタに格納されたデータから動画像ファイルを構成するための管理情報を制御するファイル管理部と、ファイル記憶部にデータを書込むためのファイル書込部とをさらに備え、ファイル書込部は、分割編集処理に伴って必要となる、動画像符号化データに関するデータ書換をセクタ単位ごとに実行し、データ書換が不要であるセクタの格納データは、分割編集処理前と同じ内容に維持される。
【００４７】
請求項１１記載の画像編集装置は、請求項１０記載の画像編集装置であって、ファイル管理部は、分割編集処理に伴って動画像ファイルについてのセクタの構成が変化した場合においては、管理情報を更新する。
【００４８】
【発明の実施の形態】
以下において、本発明の実施の形態について図面を参照して詳しく説明する。
【００４９】
図１は、本発明に従う画像編集装置における動画像データの分割処理の概要を説明する図である。
【００５０】
図１を参照して、図８の場合と同様に、イントラ符号化画面はＩ、予測符号化を伴う画面間符号化画面はＰで表記される。既に説明したように、（ａ）に示すようにイントラ符号化画面６１を参照して予測符号化される画面間符号化画面６２の直前で動画像ファイルを分割すると、（ｂ）に示すように、画面６２の予測参照画面が存在しなくなるため、画面６２を正しく復号することができなくなってしまう。
【００５１】
そこで、本発明に従う画像編集装置においては、（ｃ）に示すように、分割処理において、分割の先頭となる画面６２を一旦復号して、復号画像データ６２ｄを得る。ここで、画面６２を復号するためには、動画像符号化データを先頭から順次復号していくか、もしくは画面６２の直前にある単独で復号可能なイントラ符号化画面（図１中の画面５９）から始めて、画面６２まで復号していけばよい。
【００５２】
次に、画像データに復元された画面６２ｄを以前の画面からの予測を用いないようにイントラ符号化画面に再符号化する。このような一連の動作によって、画面内符号化されたイントラ符号化画面６４の動画像符号化データが得られる。画面６４に続く画面６５については、再符号化された画面６４を参照して予測が行なわれるため、元の画面間予測を反映した符号化データのままでよい。
【００５３】
図２は、本発明に従う画像編集装置１００の構成を示す概略ブロック図である。
【００５４】
図２を参照して、画像編集装置１００は、動画像ファイルを格納するファイル記憶部２１と、ファイル記憶部２１の記憶領域の管理および動画像ファイルに対するアクセスの制御等を行なうファイル管理部２２と、動画像ファイルを再生する場合において、動画像ファイルの読出および動画像ファイルの内容の解読を実行するファイル読出部２７およびファイル解読部２８と、動画像データの分割編集を行なうための分割編集処理ブロック４０と、動画像ファイルに対する分割編集処理等のユーザ指示を処理するためのユーザ入力処理部２６と、音声符号化データおよび動画像符号化データの復号結果をもとに音声および動画像をそれぞれ出力するための音声出力部５２および動画像出力部５５とを備える。
【００５５】
分割編集処理ブロック４０は、ファイル解読部２８から出力されたデータパケットを音声符号化データと動画像符号化データとに分割するパケット分解部２９と、パケット分解部２９より出力された動画像符号化データを復号化するための動画像データ復号化部３０と、ユーザ入力処理部２６に入力されたユーザからの分割位置指定などの編集制御情報および動画像データ復号化部３０の出力を受けて分割編集処理を行なうファイル分割処理部２５とを含む。
【００５６】
動画像ファイルを再生する場合においては、ファイル記憶部２１に格納されている動画像ファイルは、ファイル管理部２２の制御に基づいてァイル読出部２７によって読出される。ファイル解読部２８は、動画像ファイルの内容を解読して属性・制御情報等を読取るとともに、マルチメディア情報の本体であるデータパケットを取り出して出力する。なお、動画像ファイルの構成については、後程詳細に説明する。
【００５７】
さらに、パケット分解部２９は、ファイル解読部２８からデータパケットを受取り、多重化されている音声符号化データおよび動画像符号化データを分離してそれぞれ出力する。音声符号化データは、音声データ復号部５０に送られて復号処理を施され、音声データが復元されて音声出力部５２から出力される。動画像符号化データは、動画像データ復号化部３０に送られて復号処理を施され、動画像データが復元されて動画像出力部５５から出力されて表示される。
【００５８】
画像編集装置１００は、さらに分割編集処理を実行した後に、分割編集後の動画像ファイルを生成するファイル生成部２４と、ファイル生成部２４によって生成された分割編集後の動画像ファイルをファイル記憶部に書込むためのファイル書込部２３とをさらに備える。
【００５９】
動画像ファイルに対して分割編集処理を行なう場合には、ユーザ入力処理部２６において分割する位置の指定等のユーザからの指示が処理され、編集制御情報としてファイル分割処理部２５へ送出される。
【００６０】
ファイル分割処理部２５には、編集制御情報、動画像符号化データ、および音声符号化データが入力されて、分割編集作業によって再構成されたデータパケットが出力される。ファイル分割処理部２５から出力される編集後のデータパケットは、ファイル生成部２４において、ヘッダ情報およびフッタ制御情報等の必要な情報が付加される。このように、定められた形式に従って構成された動画像ファイルは、ファイル書込部２３によってファイル管理部２２を介してファイル記憶部２１に格納される。
【００６１】
図３は、分割編集処理部２５の構成を詳細に説明するブロック図である。
図３を参照して、動画像データ復号化部３０によって復号化された動画像データを再符号化する分割画面再符号化部３１と、編集制御情報に基づいて分割編集処理を制御するための動画像分割制御部３３と、動画像分割制御部３３に制御されて、動画像データ復号化部３０および分割画面再符号化部３１をバイパスするための経路を設定するためのマルチプレクサ３５と、マルチプレクサ３５を介して分割画面再符号化部３１およびパケット分解部２９のいずれか一方から動画像符号化データを受け、さらにパケット分解部２９から音声符号化データを受けて分割編集後のデータパケットを生成するパケット再構成部３２とを含む。
【００６２】
パケット分解部２９は、動画像ファイルのデータパケットを受けて、音声符号化データと動画像符号化データとに分解して出力する。音声符号化データは、パケット再構成部３２に対して出力される。動画像データはファイル分割処理部２５および動画像データ復号化部３０に対して送出される。さらに、パケット分解部２９は、データパケットからタイムスタンプ値ＴＳを抽出して動画像分割制御部３３に与える。タイムスタンプ値ＴＳについては、後程詳細に説明する。
【００６３】
動画像分割制御部３３は、入力された編集制御情報に従って、分割画面再符号化部３１で再符号化する画面の指定および動画像データ復号化部３０において復号される画面の指定等の制御を実行する。
【００６４】
動画像分割制御部３３は、各画面を再符号化する必要があるかどうかに応じて、マルチプレクサ３５の出力を切換える。
【００６５】
すなわち、分割後の先頭画面について、図１中の（ｃ）で説明したように再符号化が必要な場合においては、マルチプレクサ３５は、先頭画面に対応する動画像符号化データを動画像データ復号化部３０で復号化した後に分割画面再符号化部３１によって再符号化してパケット再構成部３２に送出する。
【００６６】
一方、分割後の先頭画面について再符号化が必要でない場合においては、先頭画面に対応するデータパケットに対して内容を書換る必要がないので、マルチプレクサ３５は、パケット分解部２９が出力した動画像データを、動画像データ復号化部３０および分割画面再符号化部３１をバイパスして直接パケット再構成部３２に送出する。このとき、同時に動画像データ復号化部３０および分割画面再符号化部３１の少なくとも一方を非動作状態とすれば、消費電力の削減が可能である。
【００６７】
また、分割後の先頭画面以外の画面に対応するデータパケットについては、内容の書換が不要であるので、マルチプレクサ３５は、パケット分解部２９が出力した動画像データを、動画像データ復号化部３０および分割画面再符号化部３１をバイパスして直接パケット再構成部３２に送出する。同様に、このとき動画像データ復号化部３０および分割画面再符号化部３１の少なくとも一方を非動作状態とすれば、消費電力の削減が可能である。
【００６８】
このような構成とすることにより、分割編集時において、再符号化の必要の有無を動画像分割制御部３３において編集制御情報等をもとに判断することによって、分割後のデータパケットを構成する動画像データを適切に切換えることが可能となる。
【００６９】
動画像分割制御部３３は、分割後の先頭画面を再符号化した場合に、再符号化された動画像符号化データを格納するデータパケットのタイムスタンプ値を更新するためのタイムスタンプ値更新回路３４を含む。タイムスタンプ値更新回路３４は、分割画面再符号化部３１によって得られる再符号化画面の符号化データ量ＢＬ、分割編集前のタイムスタンプ値ＴＳ、動画像符号化データの伝送ビットレートＢＲおよび分割後の先頭画面のタイプに基づいたタイムスタンプ値更新の必要の有無判断ＦＬに応じて、必要に応じてタイムスタンプ値を更新しパケット再構成部３２に送出する。
【００７０】
パケット再構成部３２は、タイムスタンプ値更新回路３４から出力されるタイムスタンプ値、パケット分解部２９から送信される音声符号化データおよび、マルチプレクサ３５を介して出力される動画像符号化データを受けて、分割編集後のデータパケットを再構成してファイル生成部２４に送出する。
【００７１】
次に、画像編集装置１００において分割編集を行なう際の一連の処理について説明する。ユーザは、適当なユーザインターフェイスによって、選択した動画像ファイルに対して分割したい位置を決定して指定する。この分割時の情報はユーザ入力処理部２６で処理されて、編集制御情報としてファイル分割処理部２５内の動画像分割制御部３３へ送出される。
【００７２】
動画像分割制御部３３は、分割位置の画面が画面間予測を用いて符号化されている場合には、再符号化が必要と判定し、動画像データ復号部３０によって復号された動画像データを分割画面再符号化部３１においてイントラモードで再符号化するように指示する。マルチプレクサ３５は、分割画面再符号化部３１の出力をパケット再構成部３２に送出する。
【００７３】
ここで、たとえば、ユーザインターフェイス上、動画像ファイルを再生して復元された動画像データを表示しながら、ユーザが分割位置の表示を指定するような場合には、ユーザにこのような情報を提示するために既に分割位置の画面の動画像データが得られているため、その動画像データを分割画面再符号化部３１で入力すればよく、このような画面を改めて復号する必要はない。
【００７４】
一方、画像編集装置１００に対して、動画像ファイルの分割位置が、タイムコード、画面番号、動画像ファイル中のデータ位置等で指定される場合においては、動画像データ復号化部３０において、分割位置の画面を復号することが必要である。画面間予測を用いて符号化されている当該画面を復号する際においては、直前の画面内符号化画面など単独で復号化可能な画面から各画面を順次復号していくことによってこの画面を復号することができる。
【００７５】
パケット再構成部３２は、再符号化した画面に対する元の動画像符号化データを再符号化後の動画像符号化データで置き換える処理、分割処理以前の符号化データの廃棄処理等を行なって分割編集後の動画像ファイルのデータパケットを作成する。また、再符号化が実行された画面以外の画面に対応する動画像符号化データを格納するデータパケットに対しては、内容の書換は実行されない。
【００７６】
再符号化に伴って作成された分割編集後のデータパケットに対しては、タイムスタンプ値更新回路３４によって設定された送出タイムスタンプ値が各データパケットに付与される。再符号化に関連しない動画像符号化データのみから構成されるデータパケットについては、タイムスタンプ値の更新は行なわれない。
【００７７】
図４は、本発明の画像編集装置１００で取扱われる動画像ファイルの構成例を説明する図である。
【００７８】
音声動画像などのマルチメディア情報は、ある単位ごとに１つの完結したファイルとして、それぞれ独立に格納されている。図４（ｄ）に示されるように、動画像ファイル中には、当該ファイル内のマルチメディア情報全体の属性および性質等を示すヘッダ制御情報およびフッタ制御情報と、マルチメディアのデータ本体とを含み、これらは１つのファイル中で分類されて独立的に格納されている。ヘッダ制御情報中には、たとえば、下記のような動画像ファイルに含まれるマルチメディア情報全体に関する制御情報を含む。
【００７９】
・ファイルを特定するためのファイル識別子（ファイルＩＤ）、
・マルチメディアデータ本体の長さ、
・全体の再生にかかる時間、
・平均／最大ビットレート、
・データ本体に含まれるメディアの種別と数、
また、ヘッダ制御情報には、下記のような動画像に関する制御情報も含まれている。
【００８０】
・映像の画面再生／解像度、
・符号化方式（たとえば、ＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６２，Ｈ．２６３，Ｈ．２６Ｌ、ＩＳＯ標準１１１７２（ＭＰＥＧ−１），１３８１８（ＭＰＥＧ−２），１４６９６（ＭＰＥＧ−４）の識別など）、
・符号化方式におけるパラメータ（プロファイル、レベル、オプションモードの選択など）、
さらには、ヘッダ制御情報もしくはフッタ制御情報として、ランダムアクセス可能な位置を指定するためのインデックス情報や、時間的に連続するマルチメディア情報の適当な位置を指定して記憶しておくためのマーカ情報など、マルチメディア情報の位置を記録しておくための情報も含まれる。
【００８１】
インデックス情報は、動画像符号化データを参照する場合において、画面内符号化画面などを指定して、ランダムアクセスの際にアクセス位置の決定および高速再生などのマルチメディア情報をとびとびに再生する場合の再生対象とする情報の決定等に利用される。
【００８２】
動画像ファイルのデータ本体は、図４（ｃ）に示すように、データパケットと呼ばれる適当な大きさのパケットに分割されて、パケット化された情報として格納されている。したがって、動画像ファイルのデータ本体は、データパケットの列で構成されている。
【００８３】
ここで、図４（ａ）の動画像符号化データおよび図４（ｂ）の示す音声符号化データを多重化して、図４（ｃ）のデータパケット列を構成する場合について説明する。
【００８４】
図４（ｃ）の例は、１つのデータパケット中に音声および動画像等の複数のメディアを多重化して格納する場合の例を示す。
【００８５】
図４（ｂ）に示されるように、音声符号化データは、連続する１つのデータ列である。実際には、音声符号化データは、音声フレームと呼ばれる符号化処理単位ごとの符号化データで構成されているが、一般にその長さはデータパケット長に比べて非常に短いため、連続するデータ列と考えることができる。
【００８６】
この音声符号化データは、音声パケットという適当な値に分割されて、データパケットに格納される。音声パケットの長さは、パケット化遅延時間、伝送遅延時間およびパケット化効率を考慮して決定される。固定ビットレートの音声符号化データに対しては、遅延時間を一定にするために、通常は固定長の音声パケットが用いられる。
【００８７】
一方、図４（ａ）の各画面の動画像符号化データは、さらに分割されてデータパケットに格納される。なお、これらの動画像符号化データは、ＭＰＥＧ−４ビデオ符号化方式を利用する場合は、ＶＯＰ（Video Object Plane）とも呼ばれる。
【００８８】
これにより、図４（ｃ）に示すように、データパケットの内部には、音声符号化データと動画像符号化データとが多重化されて格納される。ここで、データパケットの長さは、固定長もしくは可変長のいずれでもよい。固定長の場合、パケットの長さは、たとえば、記録メディアのセクタ長、デコード長、トラック長、下位プロトコルのＰＤＵ（ＳＤＵ）長、送信／受信バッファサイズなどのシステム的な条件、あるいは時間あたりのデータ量（ビットレート）が一定の場合、データパケット送出間隔などの時間的な条件などに応じて定められる。データパケットの長さが可変長の場合においては、パケット化の単位は、各メディアの符号化データの性質に応じて決定することができる。
【００８９】
データパケットには、パケット長や内部に多重化されているデータ数などの制御情報を示したパケットヘッダが付加される。このパケットヘッダには、動画像ファイルを読出して再生する際に、当該データパケットを送出すべき時刻を記したタイムスタンプ値ＴＳを付加しておく。このように送出時刻を記録しておくことによって、動画像ファイルを記憶しているサーバが、ユーザからのアクセスによって動画像ファイルのデータをネットワーク経由で送信する場合に、サーバは各データパケットのタイムスタンプ値を参照して指定された時刻に送出するだけでよいため、サーバの負担が軽減でき非常に有効である。このようなマルチメディア情報の送出形態はストリーミング転送（ストリーミングタブ）と呼ばれており、一般的に採用されている。
【００９０】
上述の例においては、１つのデータパケットの中に複数の符号化データを多重化する場合について説明したが、１つのデータパケットに、１つのメディア復号化データ、すなわち図４に示される音声パケットあるいは動画像符号化データを分割した一部分のみが含まれるようにデータパケットを構成することもできる。この場合においても、データパケットのパケットヘッダに送出時刻を示すタイムスタンプ値を付加しておけば、サーバにおいて上記と同様な処理だけでストリーミング転送が実現できる。
【００９１】
図５は、分割編集処理時のパケット再構成を説明する図である。
なお、データパケット以外のヘッダ制御情報およびフッタ制御情報については、動画像ファイルの長さ、データパケット数および再生時間等、動画像ファイル全体に関する情報が書かれているため、分割によってその内容を変更することが必要となる。このため、図２に示されるファイル生成部２４において、新たにヘッダ制御情報およびフッタ制御情報を生成するか、分割前の動画像ファイルの当該情報を複製して、必要な部分を変更する処理が行なわれる。
【００９２】
ここで、タイムスタンプ値の初期値（たとえば０秒）が、予め規定されているシステムにおいては、動画像ファイルを再生する際に、初期値の時刻から先頭のデータパケットのタイムスタンプ値で示された時刻まで待つこととなる。この待ち時間を避けるためには、分割後の動画像ファイルのヘッダ制御情報に、タイムスタンプオフセット値を付与しておけばよい。具体的には、タイムスタンプ値のオフセット値として、分割した動画像ファイルの先頭データパケットの送出時刻スタンプ値を指定すればよい。
【００９３】
このように、本発明の画像編集装置１００において、分割編集処理の際に書換の必要がないデータパケットの送出時刻タイムスタンプ値は元のままにしておく場合であっても、分割後の動画像ファイルの再生時にヘッダ制御情報で指定したオフセット値をすべてのタイムスタンプ値から減算するか、時刻の初期値をオフセット値に合わせることによって待たずに再生を開始することが可能となる。
【００９４】
上述したように、動画像ファイルのデータパケットには音声符号化データおよび動画像符号化データが多重化されて格納されており、先頭には送出時刻タイムスタンプを含んだパケットヘッダ１６が付加されている。
【００９５】
ここで、図５に示した分割位置、すなわち動画像符号化データＰ−ＶＯＰ６に対応する画面間符号化画面の直前で分割する場面について説明する。
【００９６】
元の動画像ファイルにおいては、動画像符号化データＰ−ＶＯＰ６は、Ｐ−ＶＯＰ６−１およびＰ−ＶＯＰ６−２の２つに分割されて、データパケット２１１および２１２にそれぞれ格納されている。ここで、動画像符号化データＰ−ＶＯＰ６に対応する画面は画面間予測符号化されているため、動画像ファイルを分割する際に動画像符号化データＰ−ＶＯＰ６を一旦復号し、イントラモードで再符号化して、イントラ符号化画面に対応する動画像符号化データＩ−ＶＯＰ６を得る。
【００９７】
動画像符号化データＰ−ＶＯＰ６−２が格納されていたデータパケット２１２に対しては、音声符号化データ１４はそのままで、動画像符号化データＩ−ＶＯＰ６の最後から、動画像符号化データＰ−ＶＯＰ６−２に相当する長さの動画像符号化データＩ−ＶＯＰ６−３（符号１ｃ）を切出して、前記のＰ−ＶＯＰ６−２を置き換えてデータパケットを構成する。
【００９８】
次の画面に対応する動画像符号化データＰ−ＶＯＰ７−１が格納されたデータパケット２１３以降のデータパケットについては、動画像符号化データおよび音声符号化データなどの変更が必要なく、データパケット自体の書換が不要であるため、そのままで分割した動画像ファイルのデータパケットとすることができる。
【００９９】
次に、動画像符号化データＰ−ＶＯＰ６−１が格納されていたデータパケット２１１については、分割位置の直前の画面に対応する動画像符号化データＰ−ＶＯＰ５の一部であるＰ−ＶＯＰ５−２、および動画像符号化データＰ−ＶＯＰ６に先行する音声符号化データ１２を破棄する。この結果、データパケット２１１は空になるので、イントラ符号化画面の動画像符号化データＩ−ＶＯＰ６のうち、Ｉ−ＶＯＰ６−３（１ｃ）として分割した部分の前の動画像符号化データをＩ−ＶＯＰ６−２として、データパケット２１１に格納する。
【０１００】
さらに、動画像符号化データＩ−ＶＯＰ６の残っている部分を、Ｉ−ＶＯＰ６−１として新たなデータパケット２１０に格納する。
【０１０１】
このとき、データパケット２１０のうち埋まらずに残った空きの部分にはパディングデータ１９を埋める。なお、ここではＩ−ＶＯＰ６−１の後にパディング１９を詰める例を説明したが、これに限定されず、Ｉ−ＶＯＰ６−１でデータパケット全体を占めるようにして、Ｉ−ＶＯＰ６−２の符号化データの後にパディングを埋めるようにしてもよいし、Ｉ−ＶＯＰ６−１およびＩ−ＶＯＰ６−２の双方ともに後にパディングを詰めるようにしてもよい。
【０１０２】
また、データパケット２１２において、Ｐ−ＶＯＰ６−２の後に、次の画面に対応する動画像符号化データＰ−ＶＯＰ７−１が含まれていた場合においても、同様にデータパケット２１２内でＰ−ＶＯＰ６−２に相当する部分のみを画面Ｐ−ＶＯＰ６から分割した符号化データで置き換えるようにしてデータパケットを再構成することができる。
【０１０３】
各データパケットのパケットヘッダ１ａおよび１ｂ中において指定される送出タイムスタンプ値ＴＳは、イントラ符号化モードで再符号化したために増加したデータ量（Ｐ−ＶＯＰ−６からＩ−ＶＯＰ−６の増加量）を考慮し、このデータ量の増加によって再生時にデコーダバッファのオーバーフロー／アンダーフローが生じないように決定される。
【０１０４】
図５において、Ｐ−ＶＯＰ６−３を格納したデータパケット２１２のタイムスタンプ値は分割前のままの値であるＴ６とされ、データパケット２１１のパケットヘッダ１ａには上記Ｔ６に先行する時刻Ｔ５′が付加され、およびデータパケット２１０のパケットヘッダ１ｂには上記時刻Ｔ５′にさらに先行する時刻Ｔ４′が付加される。
【０１０５】
このようなタイムスタンプ値の設定は図３中のタイムスタンプ値更新回路３４によって実行される。
【０１０６】
図６は、タイムスタンプ値更新回路３４におけるタイムスタンプ値の設定方法を説明する図である。
【０１０７】
図６（ａ）には、動画像ファイル分割前の画面Ｐ０〜Ｐ５の処理に伴なうデコーダバッファ量の推移が示される。図６（ａ）を参照して、横軸は時間経過を示し、縦軸の上半分（正方向）は、デコーダのバッファ量を示す。縦軸の下半分（負方向）には、対応するエンコーダのバッファ量が参考のために示される。グラフの傾きは、動画像符号化データの伝送ビットレートＢＲに相当する。
【０１０８】
ここでは、固定ビットレートを前提とするため、グラフの傾きは一定となる。デコーダにおいては、一定のビットレートによって動画像符号化データが入力されるため、それに従ってバッファ量が増加する。たとえば、画面Ｐ０の復号時刻ｔ０になると、画面Ｐ０を復号するために、画面Ｐ０の復号化データをバッファから読出すため、画面Ｐ０の符号化データ量分だけバッファ量が減少する。デコーダのバッファ量は、一定の割合による増加と、画面の復号タイミングにおける１画面分の符号化データの減少との繰返しである。
【０１０９】
ここで、画面Ｐ２に注目すると、画面Ｐ２の符号化データの先頭がデコーダバッファに入力される時点は、図示するようにグラフの傾きを延長し、横軸と交わった時刻ｔ１で示される。また、画面Ｐ２を復号した時点におけるデコーダのバッファ量はＢｅで示される。
【０１１０】
すなわち、復号化データが一定のビットレートで入力されるとき、画面Ｐ２の符号化データの先頭が入力される時刻ｔ１と、画面Ｐ２が復号される時刻ｔ２との差に応じて、Ｐ２復号後のバッファ量Ｂｅは決定される。このバッファ量Ｂｅは、符号化の規格によっては符号化データ中に予め情報として含まれているため、この情報を利用することができる。また、符号化データ中に当該情報が含まれていない場合でも、伝送ビットレートＢＲと当該画面の表示時刻から予測計算を行なうことも可能である。
【０１１１】
図６（ｂ）は、本発明の画像編集装置において分割位置の画面Ｐ２を再符号化した後におけるデコーダバッファ量およびこれに対応するエンコーダバッファ量を示す。横軸および縦軸の表示は、図６（ａ）と同様であるので説明は繰り返さない。
【０１１２】
図６（ｂ）を参照して、分割位置の画面Ｐ２はイントラモードで再符号化されるので、符号化データ量が増加している。本発明の画像編集装置においては、画面Ｐ２を復号した後（時刻ｔ４）のデコーダバッファ量が、分割処理を実行する前のバッファ量、ずなわち図６（ａ）中の時刻ｔ２におけるバッファ量Ｂｅと等しくなるように、再符号化した画面Ｐ２の符号化データの送出開始時刻ｔ３を調整する。
【０１１３】
これにより、デコーダのバッファ量の推移が分割処理を実行する前と等しくなるようにする。つまり、バッファ量Ｂｅに画面Ｐ２の再符号化後の符号化データ量Ｂ２を加えた位置から、伝送ビットレートＢＲで決まる傾きに従って直線を引いたときの横軸との交点、すなわち時刻ｔ３に画面Ｐ２の復号化データの先頭が送出されるように送出時刻タイムスタンプ値が指定される。
【０１１４】
これは、再符号化後の画面Ｐ２の符号化データ量に応じて、画面Ｐ２復号後のバッファ量Ｂｅと、伝送ビットレートＢＲによって決まるグラフの傾きとから画面Ｐ２が復号される時刻と画面Ｐ２の符号化データ先頭の入力時刻との差分を求めて、時刻ｔ３を決定していることとなる。すなわち、再符号化された動画像符号化データを格納するデータパケットのタイムスタンプ値は、当該再符号化に伴う符号化データ量の増加分に応じて設定される時間分だけ、当該データパケットの送出時刻が早くなるように更新される。
【０１１５】
たとえば、図５に示すようにデータパケットの書換を行なう場合（図６（ｂ）の画面Ｐ２が図５の画面Ｉ−ＶＯＰ６に相当する）においては、分割後の先頭データパケット２１０のパケットヘッダ１ｂの送出時刻タイムスタンプ値Ｔ４′には、上記の時刻ｔ３に対応する値が指定される。
【０１１６】
このようにして、分割後の動画像ファイルの先頭データパケットに対する送出時刻タイムスタンプ値が決定されれば、この先頭データパケット以外で再符号化された動画像符号化データが格納されるデータパケットに対しては、動画像符号化データが一定ビットレートＢＲで送出されるようにタイムスタンプ値を決定すればよい。
【０１１７】
つまり、次のデータパケット２１１のパケットヘッダ１ａに格納される送出時刻タイムスタンプ値Ｔ５′には、データパケット２１１に格納される動画像符号化データＩ−ＶＯＰ６−２の先頭を送出すべき時刻が、同様に図６（ｂ）のグラフから求められ、対応する値が指定される。
【０１１８】
次に、動画像ファイルと、記憶媒体上での物理的なデータ配置との関係の例について説明し、本発明の分割処理において分割位置以外では物理的なデータの書換が不要であることについて説明する。
【０１１９】
図７は、本発明に従う画像編集装置１００で取扱われる動画像ファイルデータの記憶媒体上での物理的な配置および管理の一例を示す図である。
【０１２０】
図７を参照して、動画像ファイルのデータ自体は、たとえばファイル記憶部２１中の記憶媒体１２１上において、物理的フォーマットに従ったセクタと呼ばれる、領域単位（図７中における符号１〜２０）で格納および管理されている。
【０１２１】
ばらばらのセクタに記録されたデータは、ＦＡＴ（File Allocation Table）と呼ばれる管理情報によって、これらのセクタをどのような順序で連結してファイルが構成されているかが示される。本発明の画像編集装置１００において、動画像ファイルの分割処理を行なう場合においては、分割位置の再構成されたデータパケットが格納されているセクタの内容が書換られる。その他の書換が不要なデータパケットが格納されているセクタに関しては、分割後のファイルでもそのまま利用できる。
【０１２２】
また、本発明の分割編集処理に伴なう再符号化によって、動画像符号化データ量が増加して新規にデータパケットを作成する必要が生じ、元のセクタに収まりきらなくなった場合には、新たな空きセクタを利用して、当該空きセクタにデータパケットを書込む。
【０１２３】
このようにして書換たセクタを、新たにデータを書込んだセクタおよび書換なかったセクタ等と連結して分割後の動画像ファイルを構成するようにＦＡＴの内容が変更される。したがって、分割編集処理に際して変更が不要であったデータパケットが格納されているセクタに対しては、物理的な書換が完全に不要となる。
【０１２４】
上述の説明においては、主に元の動画像ファイル自体を分割編集して、分割後に新たな動画像ファイルを作成する場合について述べてきたが、元の動画像ファイルはそのまま残しておいて、その一部分を分割した動画像ファイルを新たに作成する場合も同様である。この場合には、書換が不要であるデータパケットは、当該データパケットごともしくはデータパケットが格納されたセクタごとに単にコピーを行なえばよい。このようなデータをコピーする処理は、図２中のファイル管理部２２もしくはファイル読込部２７、ファイル書込部２３における処理によって簡単に実行させることが可能である。
【０１２５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１２６】
【発明の効果】
本発明の画像編集装置によれば、分割編集後の先頭画面をイントラモードで再符号化するため、ユーザが動画像ファイルを自由な位置で分割できることになる。この結果、動画像の内容に応じて分割位置が決定できるため、ユーザが見たいシーンが始まる瞬間などユーザの所望の位置で分割編集を行なうことができ、編集の自由度を向上させることができる。このように、編集の自由度が増すと、符号化時に後の編集時における利便性を考慮する必要がなくなるので、イントラ符号化画面の挿入位置および間隔などの符号化パラメータの選択の自由度も向上する。また、動画像ファイルのうち不要な部分を削除するために分割編集を行なう場合には、細かな単位で分割して削除できるので、記録媒体の利用効率を向上させることができる。これらの効果を享受するために必要となる処理量は、先頭画面１画面のみの再符号化であり、非常に少なくてすむ。
【０１２７】
本発明の画像編集装置によれば、動画像ファイルの分割処理は、動画像符号化データに対して直接行なわれるのではなく、所定のファイルフォーマットに従ったデータパケットに対して実行される。したがって、分割編集個所に位置する再符号化の対象画面の符号化データが格納されたデータパケットだけを書き換えればよいため、ファイル全体の書換処理が不要となり処理を簡単かつ高速に実行できる。この結果、たとえば、カメラなどの簡単な小型機器を用いる場合、長時間の動画像ファイルを編集する場合や、アクセス速度が遅い蓄積媒体を用いる場合等においても、短時間で容易に分割編集処理を行なうことが可能となる。この効果は、元の動画像ファイルは残してその一部分を分割した動画像ファイルを新たに作成する場合においても享受される。すなわち、書換が不要なデータパケットに対しては単純なコピー処理だけを行なえばよいため、非常に簡単な処理で分割した動画像ファイルを新たに作成できる。
【０１２８】
さらに、先頭画面の再符号化に伴うデータ量の増大に対応して、データパケットの送出時刻を示すタイムスタンプ値を制御するので、画像データの情報量を監視しながらスタッフィングを挿入する等の面倒なデータ操作を行なうことなく再生時のデコーダバッファ量を制御して、オーバフローやアンダフローの発生を回避することができる。タイムスタンプ値の制御に必要とされる処理は非常に簡単であり、柔軟な制御を実行できる。
【０１２９】
また、タイムスタンプ値は、分割した動画像ファイル中に予め記録しておくため、動画像ファイルを読み出して送出する際にフィルビット挿入等の処理が不要であり、処理を簡単に実行できる。これにより、サーバから動画像ファイルを同時に受信できる収容ユーザ数の増加や、動画像配信サーバに必要とされる処理量の低減を実現することができる。
【図面の簡単な説明】
【図１】 本発明に従う画像編集装置における動画像データの分割処理の概要を説明する図である。
【図２】 本発明の実施の形態に従う画像編集装置１００の構成を示す概略ブロック図である。
【図３】 ファイル分割処理部２５の構成を詳細に説明するためのブロック図である。
【図４】 本発明に従う画像編集装置で取扱われる動画像ファイルの構成例を示す図である。
【図５】 分割編集処理時のパケット再構成を説明する図である。
【図６】 タイムスタンプ値更新回路３４によるタイムスタンプ値の設定方法を説明する図である。
【図７】 本発明の画像編集装置で取扱われる動画像ファイルデータの記憶媒体上における物理的な配置および管理の一例を示す図である。
【図８】 動画像データの符号化における画面間の予測処理を説明する図である。
【図９】 従来の画像編集装置において動画像データを分割した場合におけるファイル内のデータパケットの書換を説明する図である。
【図１０】 従来の画像編集装置２００の構成を説明する概略ブロック図である。
【符号の説明】
２５ ファイル分割処理部、２９ パケット分解部、３０ 動画像データ復号化部、３１ 分割画面再符号化部、３２ パケット再構成部、３３ 動画像分割制御部、３４ タイムスタンプ値構成回路。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an editing device for moving image files in which multimedia information such as audio and moving images is recorded, and more specifically, temporal editing of moving image files in which moving image data is encoded and stored in a recording medium. The present invention relates to an image editing apparatus for processing, particularly file division editing.
[0002]
[Prior art]
With the development of image processing technology and the improvement in performance of personal computers (hereinafter also simply referred to as PCs), multimedia information can be easily handled even at home PCs. For this reason, it is required that multimedia information such as audio and moving images can be recorded and used as a file on a normal PC in accordance with, for example, the DOS file format. By recording and managing multimedia information as a file on a PC, it can be handled easily as with other application files such as word processors and spreadsheets.
[0003]
When a file in which a moving image is recorded can be easily used, it is necessary to provide an editing function for the moving image file. The editing of moving images is mainly temporal editing such as file division, file combination, and trimming for extracting only a part of the file. Among these, division editing for cutting off an extra recorded portion when extracting a moving image or extracting only a portion of interest is a particularly important function. Since trimming can be realized by combining two file divisions, it can be functionally executed by the same processing as file division.
[0004]
However, since moving image data has a large amount of data, it is necessary to compress the amount of information by encoding when recording it in a file. For this reason, the file division editing process cannot be simply executed. In general, in the encoding of moving image data, only information that has changed between screens is extracted and used using inter-frame / field prediction. Therefore, for a certain screen, only the difference information from the previous screen referenced in the prediction is recorded in the file as encoded data. For this reason, if editing such as division is performed on a moving image file, there is a possibility that a reference image for prediction for a screen included in the latter half of the divided file disappears and a normal image cannot be restored. .
[0005]
FIG. 8 is a diagram for explaining prediction processing between screens in encoding moving image data.
[0006]
Referring to FIG. 8, each screen of the encoded moving image data is an intra-screen coding screen (indicated by I in the drawing, hereinafter also referred to as an intra-coding screen) that does not use prediction from other screens. It consists of an inter-screen coding screen (indicated by P in the figure) that has been predictively coded with reference to the previous screen. Here, for example, as shown in (a), a case will be described in which moving image data is divided immediately before a
[0007]
At this time, in the divided moving image data shown in (b), since the
[0008]
In the conventional image editing apparatus, in order to avoid such a problem, division editing is performed only immediately before the intra-encoded screen, which is encoded without using prediction from the previous screen. I was trying. That is, in the example of FIG. 8, division is possible only immediately before the screen 63 that is an intra-encoded screen.
[0009]
FIG. 9 is a diagram for explaining rewriting of a data packet in a file when moving image data is divided in a conventional image editing apparatus.
[0010]
Although details will be described later, moving image encoded data (VOP) and audio encoded data corresponding to one screen are divided into a plurality of pieces, and each of the divided pieces of data constitutes a data packet. In FIG. 9, the moving image encoded data I-VOP6 of the intra-encoded screen is divided into three I-IVOP6-1, I-VOP6-2, and I-VOP6-3 and stored in the data packet. ing.
[0011]
Here, when the moving image file is divided immediately before the intra-encoded screen corresponding to I-VOP6, the previous moving image encoded data and audio encoded data are unnecessary. Therefore, in the data packet in which the first encoded data I-VOP 6-1 is stored, the data located before the I-VOP 6-1 is discarded, and the encoded data of the I-VOP 6-1 is changed to the previous one. Stuff.
[0012]
Therefore, the moving image data P-VOP5-2 corresponding to the previous inter-coded screen stored in the
[0013]
As described above, the divided
[0014]
As described above, for example, Japanese Patent Application Laid-Open No. 8-149408 discloses an image editing apparatus that limits the dividing position of a moving image file to a position immediately before the intra-encoded screen and operates the moving image encoded data itself to perform the dividing process. There are disclosed video editing methods and devices. In the editing apparatus, division editing is performed in units of GOP (group of pictures) employed in MPEG-1, MPEG-2, and the like.
[0015]
Generally, since the first screen of a GOP is configured to be an intra-coded screen, if division editing is performed in units of GOPs, correct decoded data can be obtained on the first screen after division. Is possible.
[0016]
FIG. 10 is a schematic block diagram illustrating the configuration of a conventional
[0017]
Referring to FIG. 10, an
[0018]
The
[0019]
The encoded
[0020]
However, in the case of MPEG-1 or MPEG-2, the GOP refers to a screen in the GOP positioned in front of time, such as a bidirectional prediction screen immediately after the head intra-coded screen. There is also a screen. As described above, when the encoded data of the screen in which the prediction reference screen disappears after the division is included, the dummy encoded
[0021]
Furthermore, in the conventional
[0022]
The encoded data
[0023]
The
[0024]
The
[0025]
The encoded data
[0026]
A technique disclosed in Japanese Patent Laid-Open No. 7-184176 is a method for adjusting the buffer state of a decoder when a moving image file is read and reproduced instead of embedding stuffing data in the moving image file in advance. Is also present. In this publication, when the recorded moving image encoded data is read out and sent to the receiving terminal, it is filtered while monitoring the information amount of the image data so that the decoder buffer of the receiving terminal does not overflow or underflow. An accumulated image reproducing apparatus that adjusts the amount of data by inserting bits is disclosed.
[0027]
Furthermore, as another prior art, in Japanese Patent Laid-Open No. 7-184189, when recording moving image encoded data received from a terminal, an arbitrary screen can be recorded at the head by intra-coding the head screen. A video information storage control device is disclosed.
[0028]
[Problems to be solved by the invention]
However, in these prior arts, the division position is limited only to the intra coding screen and the GOP boundary, so the user cannot freely select the division position of the file, and the recorded moving image scene cannot be selected. It is not possible to perform free division editing in response.
[0029]
The interval and position at which the intra-coded screen is inserted are determined by the encoder as appropriate, and reflect the content of the moving image such as the start position of the scene that the user wants to see. Absent.
[0030]
In particular, when a moving image is encoded at a low rate such as several kbit / s to several hundred kbit / s, a frame dropping process for reducing the amount of information and an increase in data amount due to intra encoding are performed. In order to avoid this, it is necessary to ensure a long insertion interval of several seconds to several tens of seconds in the intra-coded screen, so that the allowable position for division is extremely limited. Accordingly, there arises a problem that the user cannot divide the moving image file at a desired screen position.
[0031]
In addition, for the structure of moving image encoded data, it is possible to forcibly divide at the position of the inter prediction encoded screen, but when reproducing the moving image encoded data divided in this way, The reference image does not exist. For this reason, a normal decoded image cannot be obtained until the next intra-coded screen is decoded and a correct prediction reference screen is obtained. Therefore, in order to obtain a normal decoded image, it is necessary to wait until the next intra-encoded screen. Therefore, the displayed moving image is the same as the case where it is divided at the position of the intra-encoded screen as described above. End up.
[0032]
Furthermore, simply re-encoding the divided top screen to an intra-encoded screen increases the amount of data compared to the inter-screen predictive encoding before the division process, resulting in buffer overflow or underflow. The decoder may not be able to operate normally.
[0033]
In order to perform stuffing insertion processing or the like, if the encoded data is directly manipulated as in the conventional
[0034]
Furthermore, in the insertion process such as stuffing and fill bit, a process for estimating the state of the decoder buffer is required to determine the amount of data to be inserted. In this estimation process, it is necessary to assume the behavior of the decoder by taking into account all the conditions such as the bit frame, frame rate, and encoding method of the encoded data in the moving image file. Detailed analysis is required. Such an estimation process is not only complicated, but also has a problem that results in lack of flexibility because it cannot cope with an arbitrary encoding system other than a known encoding system.
[0035]
The present invention has been made to solve such problems, and the object of the present invention is to provide a moving image at a free time position by a relatively simple process without significant rewriting of data packets. An object is to provide an image editing apparatus capable of dividing and editing a file.
[0036]
[Means for Solving the Problems]
The image editing apparatus according to claim 1 is an image editing apparatus for dividing and editing a moving image file composed of a plurality of data packets storing moving image encoded data, wherein the moving image encoded data is decoded. Decoding processing means for outputting moving image data, divided editing control means for controlling the data packet division editing processing, and moving image data corresponding to the first screen which is the first moving image screen after division editing. A divided screen re-encoding unit that receives the decoding processing unit and re-encodes in a mode that does not use prediction from the previous screen in time, and outputs moving image encoded data; The time stamp value indicating the transmission time of the data packet for the data packet in which the re-encoded moving image encoded data is stored. Data amount of re-encoded moving image encoded data Update according to On the other hand, the time stamp value is not updated for data packets composed of moving image encoded data not related to re-encoding. Time stamp value update means and , Dynamic Packet reconstructing means for combining the encoded image data and the time stamp value to generate a data packet.
[0037]
An image editing apparatus according to claim 2 is the image editing apparatus according to claim 1, further comprising a data switching circuit arranged between the divided screen re-encoding means and the packet reconstruction means, and the data switching circuit Is controlled by the division editing control means, and either the moving image encoded data output from the divided screen re-encoding means or the moving image encoded data before being decoded by the decoding processing means is used as the packet reconstruction means. give.
[0038]
The image editing apparatus according to
[0039]
The image editing device according to claim 4 is the image editing device according to claim 2, wherein the packet reconstructing unit is configured to display a screen in which the moving image encoded data corresponding to the top screen is temporally previous before the divided editing processing. In the case of encoding in a mode that does not use prediction from the moving image code before decoding the moving image encoded data corresponding to the first screen in the data packet after the division editing processing by the decoding processing means Generated using the converted data as it is.
[0040]
The image editing apparatus according to claim 5 is the image editing apparatus according to claim 1, wherein the division editing control means applies to a data packet that does not include moving image encoded data corresponding to the first screen before the division editing processing. Does not instruct rewriting of the contents.
[0041]
An image editing apparatus according to
[0042]
The image editing device according to
[0043]
The image editing apparatus according to claim 8 is the image editing apparatus according to
[0045]
Claim 9 The image editing apparatus according to
[0046]
Claim 1 0 The described image editing apparatus is an image editing apparatus for dividing and editing a moving image file composed of a plurality of data packets for storing moving image encoded data, and decoding the moving image encoded data to generate a moving image Decoding processing means for outputting data, divided editing control means for controlling data packet division editing processing, and decoding processing means for moving image data corresponding to the first screen which is the first moving image screen after divided editing And a divided screen re-encoding means for re-encoding in a mode that does not use prediction from the previous screen in time and outputting moving image encoded data, moving image encoded data and a data packet at the time of reproduction A packet reconstructing unit that combines a time stamp value indicating a transmission time and generates a data packet after the division editing process; The time stamp value is the data amount of the re-encoded moving image encoded data in the data packet storing the re-encoded moving image encoded data among the data packets after the division editing process. On the other hand, the data packet composed of moving image encoded data not related to re-encoding is not updated while being updated accordingly. And the image editing device A file storage unit having a storage medium divided into a plurality of sectors, a file management unit for controlling management information for configuring a moving image file from data stored in the plurality of sectors, and writing data to the file storage unit The file writer to further The file writing unit executes data rewriting related to the moving image encoded data necessary for the divided editing process for each sector unit, and the storage data of the sector that does not require data rewriting is stored before the divided editing process. Is maintained in the same content.
[0047]
Claim 1 1 The image editing apparatus according to claim 1. 0 In the image editing apparatus described above, the file management unit updates the management information when the sector configuration of the moving image file changes in accordance with the division editing process.
[0048]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0049]
FIG. 1 is a diagram for explaining the outline of the moving image data dividing process in the image editing apparatus according to the present invention.
[0050]
Referring to FIG. 1, as in the case of FIG. 8, the intra-coded screen is denoted by I, and the inter-coded screen with predictive coding is denoted by P. As described above, when the moving image file is divided immediately before the
[0051]
Therefore, in the image editing apparatus according to the present invention, as shown in (c), in the division process, the
[0052]
Next, the
[0053]
FIG. 2 is a schematic block diagram showing the configuration of the
[0054]
Referring to FIG. 2, an
[0055]
The division
[0056]
When playing back a moving image file, the moving image file stored in the
[0057]
Further, the
[0058]
The
[0059]
When the division editing process is performed on the moving image file, an instruction from the user such as designation of a position to be divided is processed by the user
[0060]
The file
[0061]
FIG. 3 is a block diagram illustrating in detail the configuration of the division
Referring to FIG. 3, a divided
[0062]
The
[0063]
The moving image
[0064]
The moving image
[0065]
That is, when re-encoding is necessary for the divided first screen as described in (c) of FIG. 1, the
[0066]
On the other hand, when re-encoding is not necessary for the divided first screen, it is not necessary to rewrite the contents of the data packet corresponding to the first screen, so the
[0067]
In addition, since the data packet corresponding to the screen other than the divided first screen need not be rewritten, the
[0068]
With such a configuration, the divided data packet is configured by determining whether re-encoding is necessary or not in the moving image
[0069]
The moving image
[0070]
The
[0071]
Next, a series of processes when performing division editing in the
[0072]
The moving image
[0073]
Here, for example, when the user designates the display of the division position while displaying the moving image data restored by reproducing the moving image file on the user interface, such information is presented to the user. Therefore, since the moving image data of the screen at the division position has already been obtained, the moving image data may be input by the divided
[0074]
On the other hand, when the division position of the moving image file is designated by the time code, the screen number, the data position in the moving image file, etc. for the
[0075]
The
[0076]
For the data packet after division editing created along with the re-encoding, the transmission time stamp value set by the time stamp
[0077]
FIG. 4 is a diagram for explaining a configuration example of a moving image file handled by the
[0078]
Multimedia information such as audio moving images is stored independently as a complete file for each unit. As shown in FIG. 4D, the moving image file includes header control information and footer control information indicating the attributes and properties of the entire multimedia information in the file, and a multimedia data body. These are classified and stored independently in one file. The header control information includes, for example, control information related to the entire multimedia information included in the moving image file as described below.
[0079]
A file identifier (file ID) for identifying the file,
・ The length of the multimedia data itself,
・ Total playback time,
・ Average / maximum bit rate,
-The type and number of media included in the data body,
The header control information also includes control information related to moving images as described below.
[0080]
・ Screen playback / resolution of video,
-Identification of encoding methods (for example, ITU-T H.261, H.262, H.263, H.26L, ISO standards 11172 (MPEG-1), 13818 (MPEG-2), 14696 (MPEG-4)) Such),
・ Parameters for encoding (profile, level, option mode selection, etc.)
Furthermore, as header control information or footer control information, index information for specifying a randomly accessible position, and marker information for specifying and storing an appropriate position of time-sequential multimedia information For example, information for recording the position of multimedia information is also included.
[0081]
Index information refers to the case of referring to moving image encoded data, specifying an in-screen encoded screen, etc., and randomly reproducing multimedia information such as determining the access position and high-speed playback during random access. This is used for determining information to be reproduced.
[0082]
As shown in FIG. 4C, the data body of the moving image file is divided into packets of an appropriate size called data packets and stored as packetized information. Therefore, the data body of the moving image file is composed of a sequence of data packets.
[0083]
Here, a case will be described in which the moving image encoded data in FIG. 4A and the audio encoded data shown in FIG. 4B are multiplexed to form the data packet sequence in FIG.
[0084]
The example of FIG. 4C shows an example in which a plurality of media such as voice and moving images are multiplexed and stored in one data packet.
[0085]
As shown in FIG. 4B, the speech encoded data is one continuous data string. Actually, the audio encoded data is composed of encoded data for each encoding processing unit called an audio frame. However, since the length is generally very short compared to the data packet length, a continuous data string Can be considered.
[0086]
The voice encoded data is divided into appropriate values called voice packets and stored in data packets. The length of the voice packet is determined in consideration of packetization delay time, transmission delay time, and packetization efficiency. For voice encoded data having a fixed bit rate, a fixed-length voice packet is usually used in order to make the delay time constant.
[0087]
On the other hand, the moving image encoded data of each screen in FIG. 4A is further divided and stored in a data packet. These moving image encoded data are also referred to as VOP (Video Object Plane) when using the MPEG-4 video encoding method.
[0088]
As a result, as shown in FIG. 4C, the audio encoded data and the moving image encoded data are multiplexed and stored in the data packet. Here, the length of the data packet may be either a fixed length or a variable length. In the case of a fixed length, the length of the packet is determined by system conditions such as the recording media sector length, decoding length, track length, lower-layer protocol PDU (SDU) length, transmission / reception buffer size, etc. When the data amount (bit rate) is constant, it is determined according to temporal conditions such as a data packet transmission interval. When the length of the data packet is variable, the unit of packetization can be determined according to the nature of the encoded data of each medium.
[0089]
A packet header indicating control information such as the packet length and the number of data multiplexed inside is added to the data packet. When the moving image file is read and reproduced, a time stamp value TS indicating the time at which the data packet is to be transmitted is added to the packet header. By recording the transmission time in this way, when the server storing the moving image file transmits the data of the moving image file via the network by the access from the user, the server transmits the time of each data packet. Since it only needs to be sent at a designated time with reference to the stamp value, the burden on the server can be reduced, which is very effective. Such a transmission form of multimedia information is called streaming transfer (streaming tab) and is generally adopted.
[0090]
In the above-described example, a case where a plurality of pieces of encoded data are multiplexed in one data packet has been described. However, one piece of media decoded data, that is, a voice packet shown in FIG. It is also possible to configure the data packet so that only a part obtained by dividing the moving image encoded data is included. Even in this case, if a time stamp value indicating the transmission time is added to the packet header of the data packet, streaming transfer can be realized only by the same processing as described above in the server.
[0091]
FIG. 5 is a diagram for explaining packet reconfiguration during the division editing process.
For header control information and footer control information other than data packets, information about the entire moving image file, such as the length of the moving image file, the number of data packets, and the playback time, is written. It is necessary to do. For this reason, the
[0092]
Here, the initial value of the time stamp value (for example, 0 seconds) is indicated by the time stamp value of the first data packet from the time of the initial value when a moving image file is played back in a pre-defined system. It will wait until the time. In order to avoid this waiting time, a time stamp offset value may be added to the header control information of the divided moving image file. Specifically, the transmission time stamp value of the first data packet of the divided moving image file may be specified as the offset value of the time stamp value.
[0093]
As described above, in the
[0094]
As described above, audio data and video data are multiplexed and stored in the data packet of the video file, and a
[0095]
Here, a description will be given of the division position shown in FIG. 5, that is, the scene that is divided immediately before the inter-screen encoded screen corresponding to the moving image encoded data P-
[0096]
In the original moving image file, moving image encoded data P-VOP6 is divided into two, P-VOP6-1 and P-VOP6-2, and stored in data packets 211 and 212, respectively. Here, since the screen corresponding to the moving image encoded data P-VOP6 is subjected to inter-screen predictive encoding, the moving image encoded data P-VOP6 is temporarily decoded when the moving image file is divided, and the intra-mode is used. Re-encoding is performed to obtain moving image encoded data I-VOP6 corresponding to the intra-encoded screen.
[0097]
For the data packet 212 in which the moving image encoded data P-VOP6-2 is stored, the audio encoded
[0098]
For data packets after the
[0099]
Next, for the data packet 211 in which the moving image encoded data P-VOP6-1 is stored, P-VOP5-, which is a part of the moving image encoded data P-VOP5 corresponding to the screen immediately before the division position. 2 and the audio encoded
[0100]
Further, the remaining portion of the moving image encoded data I-VOP6 is stored in the
[0101]
At this time,
[0102]
Also, in the data packet 212, when the moving image encoded data P-VOP7-1 corresponding to the next screen is included after the P-VOP6-2, the P-VOP6 is similarly included in the data packet 212. The data packet can be reconfigured by replacing only the portion corresponding to -2 with the encoded data divided from the screen P-VOP6.
[0103]
The transmission time stamp value TS specified in the
[0104]
In FIG. 5, the time stamp value of the data packet 212 storing the P-VOP 6-3 is T6 which is the value before the division, and the
[0105]
Such setting of the time stamp value is executed by the time stamp
[0106]
FIG. 6 is a diagram for explaining a time stamp value setting method in the time stamp
[0107]
FIG. 6A shows the transition of the decoder buffer amount accompanying the processing of the screens P0 to P5 before dividing the moving image file. Referring to FIG. 6A, the horizontal axis indicates the passage of time, and the upper half (positive direction) of the vertical axis indicates the buffer amount of the decoder. In the lower half (negative direction) of the vertical axis, the buffer amount of the corresponding encoder is shown for reference. The slope of the graph corresponds to the transmission bit rate BR of moving image encoded data.
[0108]
Here, since a fixed bit rate is assumed, the slope of the graph is constant. In the decoder, moving image encoded data is input at a constant bit rate, and the buffer amount increases accordingly. For example, when the decoding time t0 of the screen P0 is reached, since the decoded data of the screen P0 is read from the buffer in order to decode the screen P0, the buffer amount is reduced by the encoded data amount of the screen P0. The buffer amount of the decoder is a repetition of an increase at a certain rate and a decrease in encoded data for one screen at the decoding timing of the screen.
[0109]
Here, paying attention to the screen P2, the time when the head of the encoded data of the screen P2 is input to the decoder buffer is indicated by a time t1 at which the inclination of the graph is extended and intersects with the horizontal axis as shown. In addition, the buffer amount of the decoder at the time of decoding the screen P2 is indicated by Be.
[0110]
That is, when the decoded data is input at a constant bit rate, the P2 decoding is performed according to the difference between the time t1 when the head of the encoded data of the screen P2 is input and the time t2 when the screen P2 is decoded. The buffer amount Be is determined. Since this buffer amount Be is included as information in advance in the encoded data depending on the encoding standard, this information can be used. Even if the information is not included in the encoded data, it is also possible to perform prediction calculation from the transmission bit rate BR and the display time of the screen.
[0111]
FIG. 6B shows the decoder buffer amount and the encoder buffer amount corresponding to this after re-encoding the screen P2 at the division position in the image editing apparatus of the present invention. Since the display of the horizontal axis and the vertical axis is the same as in FIG. 6A, the description will not be repeated.
[0112]
Referring to FIG. 6B, the screen P2 at the division position is re-encoded in the intra mode, so that the amount of encoded data is increasing. In the image editing apparatus of the present invention, the decoder buffer amount after decoding the screen P2 (time t4) is the buffer amount before executing the division process, that is, the buffer amount at time t2 in FIG. 6A. The transmission start time t3 of the encoded data of the re-encoded screen P2 is adjusted so as to be equal to Be.
[0113]
Thereby, the transition of the buffer amount of the decoder is made equal to that before the division process is executed. That is, the screen intersects with the horizontal axis when a straight line is drawn according to the slope determined by the transmission bit rate BR from the position obtained by adding the encoded data amount B2 after re-encoding of the screen P2 to the buffer amount Be, that is, the screen at time t3. The transmission time stamp value is designated so that the beginning of the decrypted data of P2 is transmitted.
[0114]
This is because the screen P2 is decoded from the buffer amount Be after decoding the screen P2 and the slope of the graph determined by the transmission bit rate BR according to the encoded data amount of the screen P2 after re-encoding, and the screen P2. The time t3 is determined by obtaining the difference from the input time at the beginning of the encoded data. That is, the time stamp value of the data packet storing the re-encoded moving image encoded data is the time of the data packet for the time set according to the increase in the amount of encoded data accompanying the re-encoding. It is updated so that the sending time becomes earlier.
[0115]
For example, when data packets are rewritten as shown in FIG. 5 (screen P2 in FIG. 6B corresponds to screen I-VOP6 in FIG. 5),
[0116]
In this way, if the transmission time stamp value for the head data packet of the divided moving image file is determined, the data encoded data that is re-encoded other than the head data packet is stored in the data packet. On the other hand, the time stamp value may be determined so that moving image encoded data is transmitted at a constant bit rate BR.
[0117]
That is, the transmission time stamp value T5 ′ stored in the
[0118]
Next, an example of the relationship between the moving image file and the physical data arrangement on the storage medium will be described, and it will be described that physical data rewriting is not required except for the division position in the division processing of the present invention. To do.
[0119]
FIG. 7 is a diagram showing an example of physical arrangement and management on a storage medium of moving image file data handled by the
[0120]
Referring to FIG. 7, moving image file data itself is an area unit (reference numerals 1 to 20 in FIG. 7) called a sector according to a physical format on
[0121]
In the data recorded in the disjoint sectors, management information called FAT (File Allocation Table) indicates in what order these sectors are connected to form a file. In the
[0122]
In addition, if the re-encoding accompanying the division editing process of the present invention causes the amount of moving image encoded data to increase and a new data packet needs to be created, and it cannot fit in the original sector, A new empty sector is used to write a data packet in the empty sector.
[0123]
The contents of the FAT are changed so that the sector that has been rewritten in this way is connected to the sector in which data has been newly written, the sector that has not been rewritten, and the like to form the divided moving image file. Therefore, physical rewriting is completely unnecessary for a sector in which a data packet that does not need to be changed in the division editing process is stored.
[0124]
In the above description, the case where the original moving image file itself is divided and edited and a new moving image file is created after the division has been described. However, the original moving image file is left as it is. The same applies to the case of newly creating a moving image file that is partially divided. In this case, data packets that do not need to be rewritten may be simply copied for each data packet or each sector in which the data packet is stored. Such processing of copying data can be easily executed by processing in the
[0125]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[0126]
【The invention's effect】
According to the image editing apparatus of the present invention, since the first screen after divided editing is re-encoded in the intra mode, the user can divide the moving image file at any position. As a result, since the division position can be determined according to the content of the moving image, the division editing can be performed at the user's desired position such as the moment when the user wants to see the scene, and the degree of editing freedom can be improved. . In this way, when the degree of freedom of editing increases, it becomes unnecessary to consider the convenience at the time of subsequent editing at the time of encoding, so the degree of freedom of selection of encoding parameters such as the insertion position and interval of the intra encoding screen is also increased. improves. In addition, when division editing is performed in order to delete an unnecessary portion of a moving image file, it can be divided and deleted in fine units, so that the utilization efficiency of the recording medium can be improved. The amount of processing necessary to enjoy these effects is re-encoding of only the first screen, and can be very small.
[0127]
According to the image editing apparatus of the present invention, the moving image file division process is not performed directly on the moving image encoded data, but is performed on a data packet according to a predetermined file format. Accordingly, since only the data packet storing the encoded data of the re-encoding target screen located at the divisional editing portion needs to be rewritten, the rewriting process for the entire file is not required, and the process can be executed easily and at high speed. As a result, for example, even when using a simple small device such as a camera, when editing a moving image file for a long time, or when using a storage medium with a slow access speed, the divided editing process can be easily performed in a short time. Can be performed. This effect is also enjoyed when a new moving image file is created by dividing the part of the original moving image file. That is, since only a simple copy process needs to be performed for a data packet that does not require rewriting, a moving image file divided by a very simple process can be newly created.
[0128]
Furthermore, since the time stamp value indicating the transmission time of the data packet is controlled in response to the increase in the data amount accompanying the re-encoding of the top screen, it is troublesome to insert stuffing while monitoring the information amount of the image data. By controlling the amount of decoder buffer at the time of reproduction without performing any data operation, it is possible to avoid the occurrence of overflow or underflow. The processing required for controlling the time stamp value is very simple, and flexible control can be executed.
[0129]
In addition, since the time stamp value is recorded in advance in the divided moving image file, when the moving image file is read and transmitted, processing such as fill bit insertion is unnecessary, and the processing can be executed easily. As a result, it is possible to realize an increase in the number of accommodated users who can simultaneously receive moving image files from the server and a reduction in processing amount required for the moving image distribution server.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining an outline of moving image data division processing in an image editing apparatus according to the present invention;
FIG. 2 is a schematic block diagram showing a configuration of an
FIG. 3 is a block diagram for explaining the configuration of a file
FIG. 4 is a diagram showing a configuration example of a moving image file handled by the image editing apparatus according to the present invention.
FIG. 5 is a diagram for explaining packet reconfiguration at the time of divided editing processing;
6 is a diagram illustrating a method for setting a time stamp value by a time stamp value update circuit. FIG.
FIG. 7 is a diagram showing an example of physical arrangement and management on a storage medium of moving image file data handled by the image editing apparatus of the present invention.
FIG. 8 is a diagram for explaining prediction processing between screens in encoding moving image data.
FIG. 9 is a diagram for explaining rewriting of a data packet in a file when moving image data is divided in a conventional image editing apparatus.
10 is a schematic block diagram illustrating a configuration of a conventional
[Explanation of symbols]
25 file division processing unit, 29 packet decomposition unit, 30 moving image data decoding unit, 31 divided screen re-encoding unit, 32 packet reconstruction unit, 33 moving image division control unit, 34 time stamp value configuration circuit.
Claims (11)
前記動画像符号化データを復号して動画像データを出力するための復号処理手段と、
前記データパケットの分割編集処理を制御する分割編集制御手段と、
前記分割編集後に先頭となる動画像の画面である先頭画面に対応する前記動画像データを前記復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して前記動画像符号化データを出力する分割画面再符号化手段と、
前記分割編集処理後のデータパケットのうちの、前記再符号化された動画像符号化データが格納されるデータパケットについて該データパケットの送出時刻を示すタイムスタンプ値を前記再符号化された動画像符号化データのデータ量に応じて更新する一方で、前記再符号化に関連しない動画像符号化データから構成されるデータパケットについては前記タイムスタンプ値を更新しないタイムスタンプ値更新手段と、
前記動画像符号化データと、前記タイムスタンプ値とを結合して、データパケットを生成するパケット再構成手段とを備える、画像編集装置。An image editing apparatus for dividing and editing a moving image file composed of a plurality of data packets for storing moving image encoded data,
Decoding processing means for decoding the moving image encoded data and outputting moving image data;
Split edit control means for controlling split edit processing of the data packet;
Receiving the moving image data corresponding to the first screen, which is the first moving image screen after the division editing, from the decoding processing means, re-encoding in a mode that does not use prediction from the previous screen in terms of time Split screen re-encoding means for outputting moving image encoded data;
Of the data packets after the division editing process, for the data packet in which the re-encoded moving image encoded data is stored, a time stamp value indicating a transmission time of the data packet is used as the re-encoded moving image. A time stamp value updating means for updating the time stamp value for data packets composed of moving image encoded data not related to the re-encoding while updating according to the data amount of the encoded data ;
An image editing apparatus comprising: a packet reconstruction unit that combines the moving image encoded data and the time stamp value to generate a data packet.
前記データ切換回路は、前記分割編集制御手段に制御されて、前記分割画面再符号化手段の出力する動画像符号化データおよび前記復号処理手段で復号される前の動画像符号化データのいずれか一方を前記パケット再構成手段に与える、請求項１記載の画像編集装置。A data switching circuit disposed between the divided screen re-encoding unit and the packet reconfiguration unit;
The data switching circuit is controlled by the divided editing control means, and is one of moving image encoded data output from the divided screen re-encoding means and moving image encoded data before being decoded by the decoding processing means. The image editing apparatus according to claim 1, wherein one is supplied to the packet reconstruction unit.
前記動画像符号化データを復号して動画像データを出力するための復号処理手段と、
前記データパケットの分割編集処理を制御する分割編集制御手段と、
前記分割編集後に先頭となる動画像の画面である先頭画面に対応する前記動画像データを前記復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して前記動画像符号化データを出力する分割画面再符号化手段と、
前記動画像符号化データと、再生時におけるデータパケットの送出時刻を示すタイムスタンプ値とを結合して、前記分割編集処理後のデータパケットを生成するパケット再構成手段とを備え、
前記タイムスタンプ値は、前記分割編集処理後のデータパケットのうちの、前記再符号化された動画像符号化データが格納されるデータパケットでは前記再符号化された動画像符号化データのデータ量に応じて更新される一方で、前記再符号化に関連しない動画像符号化データから構成されるデータパケットについては非更新とされ、
前記画像編集装置は、
複数のセクタに分割された記憶媒体を有するファイル記憶部と、
前記複数のセクタに格納されたデータから前記動画像ファイルを構成するための管理情報を制御するファイル管理部と、
前記ファイル記憶部にデータを書込むためのファイル書込部とをさらに備え、
前記ファイル書込部は、前記分割編集処理に伴って必要となる、前記動画像符号化データに関するデータ書換を前記セクタ単位ごとに実行し、
前記データ書換が不要である前記セクタの格納データは、前記分割編集処理の前と同じ内容に維持される、画像編集装置。An image editing apparatus for dividing and editing a moving image file composed of a plurality of data packets for storing moving image encoded data,
Decoding processing means for decoding the moving image encoded data and outputting moving image data;
Split edit control means for controlling split edit processing of the data packet;
Receiving the moving image data corresponding to the first screen, which is the first moving image screen after the division editing, from the decoding processing means, re-encoding in a mode that does not use prediction from the previous screen in terms of time Split screen re-encoding means for outputting moving image encoded data;
A packet reconstructing unit that combines the moving image encoded data and a time stamp value indicating a transmission time of the data packet at the time of reproduction, and generates a data packet after the division editing process ;
The time stamp value is a data amount of the re-encoded video encoded data in the data packet storing the re-encoded video encoded data among the data packets after the division editing process. Is updated according to the above, while the data packet composed of moving image encoded data not related to the re-encoding is not updated,
The image editing device includes:
A file storage unit having a storage medium divided into a plurality of sectors;
A file management unit that controls management information for configuring the moving image file from data stored in the plurality of sectors;
Anda file writing unit for writing data to the file storage unit,
The file writing unit executes data rewriting on the moving image encoded data required for the division editing processing for each sector unit,
The image editing apparatus, wherein the data stored in the sector that does not require data rewriting is maintained in the same content as before the division editing process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000042697A JP3976979B2 (en) | 2000-02-21 | 2000-02-21 | Image editing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000042697A JP3976979B2 (en) | 2000-02-21 | 2000-02-21 | Image editing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001238169A JP2001238169A (en) | 2001-08-31 |
| JP3976979B2 true JP3976979B2 (en) | 2007-09-19 |
Family
ID=18565737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000042697A Expired - Fee Related JP3976979B2 (en) | 2000-02-21 | 2000-02-21 | Image editing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3976979B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3578069B2 (en) | 2000-09-13 | 2004-10-20 | 日本電気株式会社 | Long-term image / sound compression apparatus and method |
| JP3855862B2 (en) * | 2002-04-01 | 2006-12-13 | ソニー株式会社 | Editing method and apparatus |
| EP1689178A4 (en) * | 2003-11-04 | 2009-04-15 | Sharp Kk | Resume reproduction system |
| JP2005165870A (en) * | 2003-12-04 | 2005-06-23 | Tsubasa System Co Ltd | E-mail client program |
| JP2005346800A (en) | 2004-06-02 | 2005-12-15 | Funai Electric Co Ltd | Recording and reproducing controller |
| WO2007043256A1 (en) | 2005-10-12 | 2007-04-19 | Nec Corporation | Moving image conversion method, moving image conversion device, moving image conversion system, server device, and program |
| JP2008010110A (en) * | 2006-06-30 | 2008-01-17 | Sony Corp | File dividing apparatus, file dividing method, and file dividing program |
| JP4779921B2 (en) * | 2006-10-05 | 2011-09-28 | ソニー株式会社 | Data processing apparatus, data processing method, and computer program |
| JP4539755B2 (en) * | 2008-04-11 | 2010-09-08 | ソニー株式会社 | Information processing system, information processing method, and program |
-
2000
- 2000-02-21 JP JP2000042697A patent/JP3976979B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001238169A (en) | 2001-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100429745B1 (en) | Time-varying image editing method, time-varying image editing device, and time-varying image reproducing device | |
| KR100821575B1 (en) | Method and apparatus for editing digital video recordings, and recordings made by such methods | |
| US6807363B1 (en) | Digital moving picture data player system having a time-based access list | |
| JP4833367B2 (en) | Recording apparatus, recording method, reproducing apparatus, and reproducing method | |
| JP4684319B2 (en) | Data recording method, data editing method, data decoding method, apparatus therefor, and recording medium | |
| JP3976979B2 (en) | Image editing device | |
| JP2010022003A (en) | Moving image file reproduction device, moving image file reproduction method, and program | |
| JP2008167061A (en) | Encoding device and encoding method | |
| JPH10243342A (en) | Method and device for editing video file, method for cutting off segment from video file, method and device for copying segment from video file, method and device for sticking video file segment, and computer readable medium | |
| JP4251219B2 (en) | Editing apparatus and editing method | |
| JP2008028793A (en) | Stream edit method and stream editor | |
| JP2005117660A (en) | Information storage medium with av data containing non-multiplexed streams recorded thereon, and method and apparatus for reproducing the same | |
| TW579652B (en) | Changing a playback speed for video presentation recorded in a field structure format | |
| JP4040343B2 (en) | Moving image processing device | |
| US9025931B2 (en) | Recording apparatus, recording method, and program | |
| JP3876943B2 (en) | Stream editing apparatus and method, and stream decoding apparatus and method | |
| JP2004120099A (en) | Information processing apparatus and method, program, and recording medium | |
| JP4289403B2 (en) | Editing apparatus and editing method | |
| Kelly et al. | Virtual editing of MPEG-2 streams | |
| JP2008262609A (en) | Information processor and information processing method, program storing medium, and program | |
| JP2004228679A (en) | Image processor, image processing method, and program | |
| JP2008066852A (en) | Information processor and information processing method, recording medium, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040810 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050119 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050124 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |