JP4709100B2

JP4709100B2 - 動画像編集装置及びその制御方法、並びにプログラム

Info

Publication number: JP4709100B2
Application number: JP2006233994A
Authority: JP
Inventors: 新樹松田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-08-30
Filing date: 2006-08-30
Publication date: 2011-06-22
Anticipated expiration: 2026-08-30
Also published as: JP2008060812A; US8139920B2; US20120207450A1; US20080056664A1; US8861934B2

Description

本発明は、動画像編集装置及びその制御方法、並びにプログラムに関する。

デジタルビデオカメラや動画撮影機能付きデジタルカメラの普及により、一般家庭や業務にて動画データを扱う機会が増加している。これに伴い、動画データを編集保存する動画編集処理への関心も高まっており、さまざまな動画編集アプリケーションが提供されている。

MicroＳoft社のムービーメーカー（商標）やAdobe社のPremiere（商標）に代表される動画編集アプリケーションには、複数の素材データの一部を任意につなぎ合わせて単一の動画データを生成する機能を提供しているものが多数ある。このような動画編集アプリケーションでは、複数の素材データから保存データを生成する際に、すべての素材データを復号して所定の動画像フォーマットに符号化し直すことで保存データの生成を実現している。

しかしながら、この編集保存方法では全ての素材データを復号化及び再符号化する必要があるため、保存データの生成に多くの時間が掛かるとともに、編集を繰り返すたびに画質が劣化してしまうという問題があった。

この問題を解決する技術として、スマートレンダリングと呼ばれる編集保存方法が利用されることがある。スマートレンダリングは、保存フォーマットが素材データの動画像フォーマットと一致する場合は、復号及び再符号化を行わず、素材データをそのまま保存データに流用するという技術である。

この編集保存方法によれば、編集結果の保存に要する時間のうち大部分を占める復号及び再符号化に掛かる時間を削減することができる。また、スマートレンダリングでは、素材データを再符号化する必要がないことから、同一の動画像信号を繰り返し編集しても画質が劣化することがないという利点がある。

スマートレンダリングを利用した動画編集技術として、特許文献１に記載されたものが開示されている。この先行技術は、動画編集装置において、素材データに保存フォーマットと一致しないものが存在する場合にも、スマートレンダリングを適用するための技術である。以下、図９を用いてこの先行技術を説明する。

図９は、ＭＰＥＧ形式の動画データを出力する動画編集装置の全体像を示している。

図９において、動画編集装置は、ＡＶＩ形式及びＭＰＥＧ（Moving Picture ExpertＳGroup）形式で圧縮符号化された素材データをそれぞれ復号するための復号手段であるＡＶＩインポータ（デコーダ）９０２及びＭＰＥＧインポータ９０３を備える。

また、これらのインポータにより復号された複数の素材データの一部又は全部を任意につなぎ合わせて、編集した編集データを生成するデータ編集手段であるビデオ編集制御プログラム９０１を備える。

また、ビデオ編集プログラム９０１により編集された編集データに対応する素材データを目的のＭＰＥＧ形式に符号化した出力動画データを生成して出力するＭＰＥＧコンパイラ（エンコーダ）９０４を備える。

この動画編集装置では、編集データを構成する複数の部分データが、目的のＭＰＥＧ形式と同一フォーマットである場合、ＭＰＥＧコンパイラ９０４は、当該部分データに対応する素材データを復号せずにそのまま使用して出力の動画像データを生成する。
特開２００４−１０４３６１号公報

上記従来技術では、保存フォーマットと一致しない素材データのみを復号し、得られたベースバンドデータを保存フォーマットに変換した後に、残りの素材データと結合するという方法で、高度なスマートレンダリングを実現している。上記従来技術において、フォーマットとはＭｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧといった符号化方式、及びビットレートや画像サイズを指している。

しかしながら、上記従来技術では、素材データを保存フォーマットに変換する際の、再生時間の変化に関しては言及されていない。動画像データでは、編集保存可能な最小の時間単位がある。例えば、Ｍｏｔｉｏｎ−ＪＰＥＧにおけるフレームや、ＭＰＥＧにおけるＧＯＰ（Group Ofpicture）がこれに当たる。

このように、動画像データは、フレームレートや符号化方式によって最小時間単位が異なる。そのため、素材フォーマットと保存フォーマットが異なる場合には、フォーマット変換によって素材データの再生時間から保存フォーマットでの最小時間単位に丸められることになる。

例えば、２９.９７ｆｐｓのＭｏｔｉｏｎ−ＪＰＥＧを素材データとし、３０ｆｐｓのＭｏｔｉｏｎ−ＪＰＥＧの保存データとして変換する場合を考える。この場合、保存データのフレームレートが素材データのフレームレートの整数倍でないため、変換することにより３０ｆｐｓに丸められて再生時間に差分が発生する。

特に、多数の素材データを単一の保存データに編集保存する場合には、この差分が素材データごとに発生するため、保存データでは差分が蓄積して素材データ本来の再生時間から大幅にずれてしまうという問題が発生する。

本発明の目的は、最小時間単位が保存フォーマットと一致しない素材データを編集する場合であっても、再生時間の変化を最少とするスマートレンダリング方式を実現することができる動画像編集装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、請求項１記載の動画像編集装置は、素材データのフォーマットを変換する変換手段と、前記変換後の素材データを保存データに結合する結合手段と、前記変換前の素材データの再生時間を累計する累計手段と、前記変換前の素材データの再生時間の累計結果を、前記変換後の素材データの再生時間と前記保存データの再生時間の合計と比較する比較手段と、前記比較の結果、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果よりも、所定の時間単位以上長いとき、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果以上かつ、これらの差が前記所定の時間単位未満になるように、前記変換後の素材データの再生時間と前記保存データの再生時間の合計を修正する修正手段と、を備え、前記結合手段は、前記修正された再生時間分を差し引いた前記変換後の素材データを前記保存データに結合することを特徴とする。

請求項５記載の動画像編集装置の制御方法は、素材データのフォーマットを変換する変換ステップと、前記変換後の素材データを保存データに結合する結合ステップと、前記変換前の素材データの再生時間を累計する累計ステップと、前記変換前の素材データの再生時間の累計結果を、前記変換後の素材データの再生時間と前記保存データの再生時間の合計と比較する比較ステップと、前記比較の結果、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果よりも、所定の時間単位以上長いとき、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果以上かつ、これらの差が前記所定の時間単位未満になるように、前記変換後の素材データの再生時間と前記保存データの再生時間の合計を修正する修正ステップと、を備え、前記結合ステップでは、前記修正された再生時間分を差し引いた前記変換後の素材データを前記保存データに結合することを特徴とする。

コンピュータに、素材データのフォーマットを変換する変換ステップと、前記変換後の素材データを保存データに結合する結合ステップと、前記変換前の素材データの再生時間を累計する累計ステップと、前記変換前の素材データの再生時間の累計結果を、前記変換後の素材データの再生時間と前記保存データの再生時間の合計と比較する比較ステップと、前記比較の結果、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果よりも、所定の時間単位以上長いとき、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果以上かつ、これらの差が前記所定の時間単位未満になるように、前記変換後の素材データの再生時間と前記保存データの再生時間の合計を修正する修正ステップとを実行させるプログラムであり、前記結合ステップでは、前記修正された再生時間分を差し引いた前記変換後の素材データを前記保存データに結合することを特徴とする。

本発明によれば、修正された再生時間分を差し引いた変換後の素材データを保存データに結合するので、最小時間単位が保存フォーマットと一致しない素材データを編集する場合であっても、再生時間の変化を最少とするスマートレンダリング方式を実現することができる。

以下、本発明の実施の形態を面を参照しながら詳細に説明する。尚、以下に説明する実の施形態は、本発明の実現手段としての一例であり、本発明が適用されるシステムの構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本発明の実施の形態に係る動画像編集装置のハードウェア構成を概略的に示す図である。

図１において、動画像編集装置は、ＰＣ（パーソナルコンピュータ）で構成される。

演算処理装置（ＣＰＵ）１０１は、編集保存処理の動作を制御する。ハードディスクドライブ１０２は、実行プログラムや符号化された動画像データなどのデジタルデータが読み取り可能な形式で記録される。メモリデバイス１０３は、ハードディスクドライブ１０２に記録されたプログラムコードや対象画像データがロードされる。

操作部１０４は、キーボードやマウスなどからなり、転送操作の入力部である。この入力をＣＰＵ１０１が検知し、メモリデバイス１０３にロードされたプログラムに通達されて処理が行われる。

表示部（ディスプレイ）１０５は、ＣＲＴディスプレイや液晶パネルなどであり、転送の進捗及び復号された動画像信号が表示される。外部記憶媒体ドライブ１０６は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの外部記憶媒体を読み出すためのものである。上記各ユニットは内部バス１０７で接続される。

本実施の形態では、ハードディスクドライブ１０２に記録された動画像データを使用するが、動画像データが外部記憶媒体に記録されている場合は、外部記憶媒体ドライブ１０６を介して実行する形態でもよい。また同様に、ネットワークを介して動画像データをロードする形態においても本発明は適用される。

また、本実施の形態では、保存データの形式をフレーム間相関のないＭｏｔｉｏｎ−ＪＰＥＧとする。しかし、ＭＰＥＧ等フレーム間相関のある保存データ形式においても、Ｍｏｔｉｏｎ−ＪＰＥＧにおけるフレームをＧＯＰ等の編集保存可能な最小時間単位とすることで、本発明は適用される。
（第１の実施の形態）
図２は、本発明の第１の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。

図２において、編集対象である素材データ２０１は、複数入力することができる。複数の素材データを入力する場合には、各素材データ２０１を逐次入力する。素材フォーマット取得手段２０２は、素材データ２０１の動画像フォーマットを素材データごとに取得する。

素材フォーマット取得手段２０２で取得する動画像フォーマットは、符号化方式、画像サイズ、フレームレート及び音声の符号化方式、音声のビットレート、音声のチャンネル数、音声のサンプリングレートである。

フォーマット判定手段２０３は、素材フォーマット取得手段２０２で取得した素材フォーマットと保存フォーマットが完全に一致するか否かを判定する。フォーマット変換手段２０４は、フォーマット判定手段２０３の判定結果を参照して、素材データ２０１を保存フォーマットの動画像データに変換し出力する。

結合手段２０５は、フォーマット変換手段２０４から出力された動画像データを順次結合して保存結果データ２０６を生成する。

次に、図３及び図４を用いて、図２におけるフォーマット判定手段２０３について説明する。フォーマット判定手段２０３では、映像部分と音声部分についてそれぞれフォーマット判定を行う。

尚、図３及び図４では、１つの素材データに対するフォーマット判定の流れについて記述しており、複数の素材データを扱う場合には、この処理が素材データの数だけ繰り返して行われることになる。

図３は、図２におけるフォーマット判定手段によって実行される映像部分フォーマット判定処理の手順を示すフローチャートである。

図３において、ステップＳ３０１では、素材データの映像部分の符号化方式が保存フォーマットと一致するか否かを判定する。ステップＳ３０２及びステップＳ３０３も同様で、素材データの映像部分に関して、画像サイズ及びフレームレートが保存フォーマットと一致するか否かを判定する。

ステップＳ３０１、Ｓ３０２、Ｓ３０３のいずれかで一致しないと判定された場合、処理はステップＳ３０５に進み、映像フォーマットは不一致と判定される。逆に、全てのステップで一致すると判定された場合はステップＳ３０４に進み、映像フォーマットは一致と判定される。そして、処理を終了する。

図４は、図２におけるフォーマット判定手段によって実行される音声部分フォーマット判定処理の手順を示すフローチャートである。

図４において、ステップＳ４０１では、素材データの音声部分の符号化方式が保存フォーマットと一致するか否かを判定する。ステップＳ４０２、Ｓ４０３、Ｓ４０４も同様に、素材データの音声部分に関してビットレート、チャンネル数、サンプリングレートが保存フォーマットと一致するか否かを判定する。

ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４のいずれかで一致しないと判定された場合、処理はステップＳ４０６に進み、音声フォーマットが不一致と判定される。逆に、全てのステップで一致すると判定された場合はステップＳ４０５に進み、音声フォーマットは一致と判定される。そして、処理を終了する。

次に、図２におけるフォーマット変換手段２０４について述べる。フォーマット変換手段２０４では、フォーマット判定手段２０３の判定結果に従って、素材データの映像部分と音声部分を個別に処理する。映像部分と音声部分に対する処理の流れはほぼ同じであるため、映像部分の処理のみを図５を用いて詳しく説明する。

図５では、素材データの１つが入力され、保存フォーマットへ変換される流れについて記述しており、複数の素材データを扱う場合には、この処理が素材データの数だけ繰り返して行われることになる。

図５は、図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その１）。

図５において、ステップ５０１では、素材データから映像部分だけを抽出する。引き続いて、ステップＳ５０２では、フォーマット判定手段１０３の判定結果を用いて処理を分岐する。

素材データの映像部分のフォーマットが保存フォーマットと一致しないと判定された場合には、処理をステップＳ５０３に進め、そうでなければ処理をステップＳ５０６に進める。

ステップＳ５０３では、ステップＳ５０１にて抽出した映像部分のデータを復号し、ベースバンドデータを生成する。ステップＳ５０４では、ステップＳ５０３にて生成されたベースバンドデータを保存フォーマットに合わせて符号化する。ここで、合わせるべきフォーマットの種類は既に述べた通り、符号化方式、画像サイズ、フレームレートである。

ステップＳ５０４の符号化において、素材データと異なるフレームレートで符号化する場合に、最小時間単位が変化して素材データと再生時間の異なる動画像データが生成されることがある。この場合は、最後のフレームを２度繰り返した動画像データを生成することで、素材データの再生時間以上の再生時間を持つ動画像データを生成する。

ステップＳ５０５では、ステップＳ５０４での符号化結果を、フォーマット変換結果として出力する。また、ステップＳ５０６では、素材データの映像部分そのものをフォーマット変換結果として出力する。そして、処理を終了する。

以上の手順により、素材データの映像部分のフォーマットが保存フォーマットと一致する場合には、素材データの映像部分そのものを出力することができ、そうでない場合も、復号及び符号化を行うことにより保存フォーマットの動画像データを生成して出力する。

尚、ステップＳ５０３及びＳ５０６では、素材データの任意の一部又は全体に対して処理することができる。また、音声部分に対しても、同様の処理を別途行う。ただし、音声部分の本来の最小時間単位は映像部分の最小単位よりも細かいが、映像部分の保存フォーマットの最小時間単位に合わせて処理を行う。

これにより、音声部分と映像部分の再生時間を同一にすることができ、素材データとの再生時間の差を１フレーム未満に収めることができる。

次に、図２における結合手段２０５について述べる。結合手段２０５は、フォーマット変換手段２０４から出力される各素材データの映像部分のフォーマット変換結果と音声部分のフォーマット変換結果を結合して保存データを生成する。

前述の通り、フォーマット変換結果は素材データと比べて再生時間が変化している可能性があるため、結合手段２０５では、その差分を検出して保存データ全体と素材データ全体との差分が１フレーム未満となるように調整する。

図６は、図２における結合手段によって実行されるフォーマット結合処理の手順を示すフローチャートである。

図６において、ステップＳ６０１では、保存データをオープンする。ステップＳ６０２及びステップＳ６０３では、素材データと保存データの合計再生時間を０に初期化する。これら合計再生時間は、素材データと結合手段２０５によって生成される保存データの再生時間の差分を検出するために用いる。

ステップＳ６０４及びステップＳ６１４は、ステップＳ６０５からステップＳ６１３までを素材データ数だけ繰り返して処理することを示している。ステップＳ６０５では、素材データの再生時間を取得する。素材データの一部のみを保存対象とする場合は、保存対象となる部分の再生時間を取得する。

ステップＳ６０６では、ステップＳ６０５で取得した素材データの再生時間を、素材データの合計再生時間に足し合わせる。ステップＳ６０７では、フォーマット変換手段２０４から出力されるフォーマット変換結果の再生時間を取得する。ステップＳ６０８では、ステップＳ６０７で取得したフォーマット変換結果の再生時間を、保存データの合計時間に足し合わせる。

ステップＳ６０９では、ステップＳ６０６で更新した素材データの合計再生時間と、ステップＳ６０８で更新した保存データの合計再生時間を比較する。比較の結果、保存データの合計再生時間の方が１フレーム以上長いと判定された場合には、処理をステップＳ６１０に進める。逆に、差が１フレーム未満であると判定された場合には、処理をステップＳ６１２に進める。

ステップＳ６１０では、保存データの合計再生時間を、素材データの合計時間以上で、かつ差が１フレーム未満になるよう修正する。更に、続くステップＳ６１１では、フォーマット変換結果から結合対象とする部分を設定する。

ここでは、実際に保存する対象をステップＳ６１０での修正内容と合致させるために、フォーマット変換結果のうち、ステップＳ６１０で修正した再生時間分を後部から差し引いた残りを結合対象部分として設定する。

ステップＳ６１２では、フォーマット変換結果全体を、結合対象部分として設定する。ステップＳ６１３では、ステップＳ６１１又はステップＳ６１２にて設定された結合対象部分を保存データとして保存する。ここまでの処理を素材データ数だけ繰り返し行い、最後にステップＳ６１５にて保存データをクローズして、処理を終了する。

結合手段２０５では、以上の処理順序に従って保存処理を行うことで、複数の素材ファイルをフォーマット変換した結果を結合しても素材データとの再生時間の差を１フレーム未満に収めることができる。

以上の処理を順次行うことにより、最小時間単位が保存フォーマットと一致しない素材データを編集する場合であっても、再生時間の変化を最少とするスマートレンダリングを提供することができる。
（第２の実施の形態）
本実施の形態についても、編集対象となる動画データの形式をフレーム間相関のないＭｏｔｉｏｎＪＰＥＧとする。

図７は、本発明の第２の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。

図７において、編集対象である素材データ７０１、複数入力することができる。複数の素材データ７０１を入力する場合には、各素材データを逐次入力する。素材フォーマット取得手段７０２は、素材データ７０１の動画像フォーマットを素材データごとに取得する。素材フォーマット取得手段７０２で取得する動画像フォーマットは、符号化方式、画像サイズ、フレームレート及び音声の符号化方式、音声のビットレート、音声のチャンネル数、音声のサンプリングレートである。

効果指示手段７０７は、素材フォーマットの任意の一部又は全体に対して映像効果及び音声効果の付加を指示することができる。この指示は、映像効果と音声効果について個別に行うが、付加する最小の時間単位は双方とも映像部分の最小時間単位に準ずる。画像効果には、回転効果、部分拡大効果、明度及びコントラストの調整効果が挙げられる。音声効果には、フェードイン、フェードアウトが挙げられる。

フォーマット判定手段７０３は、素材フォーマット取得手段７０２で取得した素材フォーマットと保存フォーマットが完全に一致するか、更に、効果指示手段７０７によって効果指示がなされているかを判定する。この判定は、素材データの映像部分と音声部分について個別に行う。

フォーマット変換手段７０４は、フォーマット判定手段７０３の判定結果を参照して、素材データ７０１に対して効果指示手段７０７にて指示された映像効果及び音声効果を反映し、保存フォーマットの動画像に変換し出力する。結合手段７０５は、フォーマット変換手段７０４から出力された動画像データを順次結合して保存結果データ７０６を生成する。

フォーマット判定手段７０３は、映像部分と音声部分についてそれぞれフォーマット判定を行うためのものであり、その機能及び動作は第１の実施の形態にて述べたフォーマット判定手段２０３と同一である。

次に、フォーマット変換手段７０４について説明する。フォーマット変換手段７０４では、フォーマット判定手段７０３の判定結果及び効果指示手段７０７の指示内容に従って、素材データの映像部分と音声部分を個別に処理する。

映像部分と音声部分に対する処理の流れはほぼ同じであるため、映像部分の処理のみを図８を用いて詳しく説明する。図８では、素材データの１つが入力され、保存フォーマットへ変換される流れについて記述しており、複数の素材データを扱う場合には、この処理が素材データの数だけ繰り返して行われることになる。

図８は、図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その２）。

図８において、ステップ８０１では、素材データから映像部分だけを抽出する。引き続いて、ステップＳ８０２からステップＳ８１２では、効果指示手段７０７による効果指示の内容に従ってフォーマット変換結果の生成を繰り返す。この繰り返しでは、効果指示手段７０７によって効果付加部と非付加部として時間的に分割された素材データの各部分に対して、フォーマット変換を順次行う。

例えば、効果指示手段７０７によって、ある素材データの前半部のみに効果指示がされている場合、フォーマット変換手段７０４は、前半部、後半部の順でフォーマット変換結果を出力する。また、ある素材データの中程の一部のみに効果指示がなされている場合、フォーマット変換手段７０４は、前部、中部、後部の順でフォーマット変換結果を出力する。

ステップ８０３では、処理対象の素材データの全体又は一部分に対して映像効果が付加されているか否かを判定する。映像効果が付加されている場合には、処理をステップＳ８０６に進め、そうでなければ処理をステップＳ８０４に進める。

ステップＳ８０６では、分割された素材データの映像部分のデータを復号し、ベースバンドデータを生成する。ステップＳ８０７では、ステップＳ８０６にて生成されたベースバンドデータに対して、映像効果を反映する。

ステップＳ８０８では、映像効果を反映した結果を保存フォーマットに合わせて符号化する。ここで、合わせるべきフォーマットの種類は既に述べた通り、符号化方式、画像サイズ、フレームレートである。

ステップＳ８０８の符号化において、保存フォーマットによっては素材データと異なるフレームレートで符号化を行う場合に、最小時間単位が変化することで再生時間が素材データと異なる動画像データが生成されることがある。

この場合は、最後のフレームを２度繰り返した動画像データを生成することで、素材データの再生時間以上の再生時間を持つ動画像データを生成する。ステップＳ８０９では、ステップＳ８０８にて生成した符号化結果をフォーマット変換結果として出力する。これを素材データの分割数だけ繰り返し（ステップＳ８１３）、処理を終了する。

ステップＳ８０４では、フォーマット判定手段７０３の判定結果を用いて処理を分岐する。素材データの映像部分のフォーマットが保存フォーマットと一致する判定された場合には、処理をステップＳ８０５に進め、そうでなければ処理をステップＳ８１０に進める。

ステップＳ８１０では、分割された素材データの映像部分のデータを復号し、ベースバンドデータを生成する。ステップＳ８１１では、ステップＳ８１０による復号結果を保存フォーマットに合わせて符号化する。

ステップＳ８１０における処理は、ステップＳ８０８の符号化処理と同一であり、必要に応じて再生時間の調整も行う。ステップＳ８１２では、ステップＳ８１１にて生成した符号化結果をフォーマット変換結果として出力する。これを素材データの分割数だけ繰り返し（ステップＳ８１３）、処理を終了する。

また、ステップＳ８０５では、素材データの映像部分そのものをフォーマット変換結果として出力する。これを素材データの分割数だけ繰り返し（ステップＳ８１３）、処理を終了する。

以上の手順により、素材データの映像部分のフォーマットが保存フォーマットと一致する場合には素材データの映像部分そのものを出力し、そうでない場合も復号及び符号化を行うことにより保存フォーマットの動画像データを生成して出力することができる。

更に、付加された画像効果も反映することができる。尚、音声部分に対しても、同様の処理を別途行うことで素材データとの再生時間の差を１フレーム未満に収めることができる。

ただし、音声部分の最小時間単位は映像部分の最小単位よりも細かいが、映像部分の保存フォーマットの最小時間単位に合わせて処理を行うことで、音声部分と映像部分の再生時間を同一にすることができる。

結合手段７０５は、フォーマット変換手段７０４から出力される各素材データの映像部分のフォーマット変換結果と音声部分のフォーマット変換結果を結合して保存データを生成する。その機能及び動作は、第１の実施の形態にて述べた結合手段２０５と同一である。

以上の処理を順次行うことにより、編集作業によって映像効果や音声効果が付加されていた場合においても、再生時間の変化を最少とするスマートレンダリングを提供することができる。

また、本発明の目的は、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム又は装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。又は、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

本発明の実施の形態に係る動画像編集装置のハードウェア構成を概略的に示す図である。本発明の第１の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。図２におけるフォーマット判定手段によって実行される映像部分フォーマット判定処理の手順を示すフローチャートである。図２におけるフォーマット判定手段によって実行される音声部分フォーマット判定処理の手順を示すフローチャートである。図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その１）。図２における結合手段によって実行されるフォーマット結合処理の手順を示すフローチャートである。本発明の第２の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その２）。従来例に係る動画再生装置の構成を概略的に示す図である。

符号の説明

２０１、７０１素材データ
２０２、７０２素材フォーマット取得手段
２０３、７０３フォーマット判定手段
２０４、７０４フォーマット変換手段
２０５、７０５結合手段
２０６、７０６保存結果データ
７０７効果指示手段

Claims

素材データのフォーマットを変換する変換手段と、
前記変換後の素材データを保存データに結合する結合手段と、
前記変換前の素材データの再生時間を累計する累計手段と、
前記変換前の素材データの再生時間の累計結果を、前記変換後の素材データの再生時間と前記保存データの再生時間の合計と比較する比較手段と、
前記比較の結果、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果よりも、所定の時間単位以上長いとき、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果以上かつ、これらの差が前記所定の時間単位未満になるように、前記変換後の素材データの再生時間と前記保存データの再生時間の合計を修正する修正手段と、
を備え、
前記結合手段は、前記修正された再生時間分を差し引いた前記変換後の素材データを前記保存データに結合することを特徴とする動画像編集装置。
前記変換手段は、前記変換前の素材データと前記変換後の素材データの再生時間が異なる場合、前記変換後の素材データの所定のフレームを繰り返して前記変換後の素材データを生成し直すことを特徴とする請求項１記載の動画像編集装置。
前記変換手段は、前記素材データに映像効果が付加されているとき、前記素材データの映像部分を復号してから映像効果を反映し、反映結果のフォーマットを変換することを特徴とする請求項１又は２記載の動画像編集装置。
前記素材データの映像部分の時間単位とオーディオ部分の時間単位とが異なる場合に、長い方の時間単位を用いることを特徴とする請求項１乃至３のいずれか１項に記載の動画像編集装置。
素材データのフォーマットを変換する変換ステップと、
前記変換後の素材データを保存データに結合する結合ステップと、
前記変換前の素材データの再生時間を累計する累計ステップと、
前記変換前の素材データの再生時間の累計結果を、前記変換後の素材データの再生時間と前記保存データの再生時間の合計と比較する比較ステップと、
前記比較の結果、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果よりも、所定の時間単位以上長いとき、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果以上かつ、これらの差が前記所定の時間単位未満になるように、前記変換後の素材データの再生時間と前記保存データの再生時間の合計を修正する修正ステップと、
を備え、
前記結合ステップでは、前記修正された再生時間分を差し引いた前記変換後の素材データを前記保存データに結合することを特徴とする動画像編集装置の制御方法。
コンピュータに、
素材データのフォーマットを変換する変換ステップと、
前記変換後の素材データを保存データに結合する結合ステップと、
前記変換前の素材データの再生時間を累計する累計ステップと、
前記変換前の素材データの再生時間の累計結果を、前記変換後の素材データの再生時間と前記保存データの再生時間の合計と比較する比較ステップと、
前記比較の結果、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果よりも、所定の時間単位以上長いとき、前記変換後の素材データの再生時間と前記保存データの再生時間の合計が前記変換前の素材データの再生時間の累計結果以上かつ、これらの差が前記所定の時間単位未満になるように、前記変換後の素材データの再生時間と前記保存データの再生時間の合計を修正する修正ステップとを実行させ、
前記結合ステップでは、前記修正された再生時間分を差し引いた前記変換後の素材データを前記保存データに結合することを特徴とするプログラム。