JP4673543B2 - データ処理装置、及びデータ編集方法 - Google Patents

Description

本発明は、動画データなどの破損部分を処理する破損データ処理装置及び破損データ処理機能を備えた編集装置に関する。

近年、音声及び映像（以下、これらを合わせて「動画データ」と称する。）を媒体に記録するデジタルビデオカメラなどの撮像装置が普及してきている。さらに、デジタルビデオカメラにより撮影された動画データを、ユーザがパーソナルコンピュータ（ＰＣ）などにインストールされた動画データ編集用アプリケーションソフトウェアにより、手動で編集を行う。

図５に、一般的な記録データ構造例を示す。例えば、映像と音楽とのそれぞれのデータに関して、撮影時に記録と一時停止とを繰り返すことにより、時間軸上において区画されるシーンＡと、シーンＢと、シーンＣとが時間的に連続して形成されている（図５（ａ））。或いは、図５（ｂ）に示すように、それぞれのシーンの切れ目におけるトランジション（画面を転換する際の効果、前の画像と次の画像を切り替える場合に、徐々に切り替えたり、本のページをめくるように切り替えたりする技術）を設けることにより、シーンの切れ目の不自然さを隠蔽することができる。この技術は、自動的に編集を行う自動編集システム（例えば、特許文献１参照）に記載されている。また、後述する特許文献２に記載されている方法もある。

特開２００３−３７８０７号公報 特開平７−２７２４１５号公報

ところで、図６（ａ）に示すように何らかの原因により撮影データが破損し、訂正もできない場合もある。図の例では、シーンＢに破損がある。図６（ｂ）を参照して、このような場合の一対処方法について説明する。図６（ｂ）は図６（ａ）における破損部分（シーンＢ）に該当するシーンを削除し、切り離されたシーンＡとシーンＣとの間の不自然さを解消するためにシーンＡとシーンＣとの間にトランジションを挿入した構成を示す図である。このように、破損データを含むシーンＢ全体を削除し削除したつなぎ目部分にトランジションを挿入すると、シーンＢのデータを全て破棄するため、情報量が大幅に減ってしまうという問題がある。このシーンＢが思い出のシーンであった場合には特に問題が大きい。

次に、特許文献２に記載されている技術について図７（ａ）から図７（ｃ）までを参照しつつ説明を行う。図７（ａ）は、シーンＢに含まれる映像データと音声データとのうち映像データに破損がある場合を示す図である。この場合に、図７（ｂ）に示すように、シーンＡとシーンＢとの境界と、シーンＢとシーンＣの境界とにトランジションを挿入する。次いで、シーンＢのうち破損部分を含む部分のみを削除し、シーンＢのうちのシーンＢ１とシーンＢ２（これらの間に破損部分がある場合）とを残して再生する（図７（ｃ））。ここで、シーンＢ１はシーンＢのエラー直前までのシーンであり、シーンＢ２はエラー直後からのシーンである。しかしながら、図７に示す方法によると、再生時において破損部分を特定する必要があるため、再生側機器にエラーの検出処理を行う機能を設ける必要があり、またエラー部分のつなぎ目（Ｂ１とＢ２の間）にはトランジションのような特殊効果を挿入できないため、不自然な場面展開となる場合がある。

本発明の目的は、エラーデータを含む場合に、簡単な処理のみで、かつ、不自然さを残すことなく、エラー部分の除去を行う技術を提供することである。

本発明の一観点によれば、複数の撮影シーンを記録した撮影データを処理するデータ処理装置であって、撮影済みのデータにおける除去対象データを除去した後のデータ除去領域を、複数の前記撮影シーンにおける境界領域と同様の領域として定義する処理を行うデータ処理部を有することを特徴とするデータ処理装置が提供される。

また、複数の撮影シーンを時系列的に記録した撮影データを処理するデータ処理装置であって、撮影済みのデータにおける除去対象データ領域を時間的にスキップさせ、該スキップさせた領域を、複数の前記撮影シーンにおける境界領域と同様の領域として定義する処理を行うデータ処理部を有することを特徴とするデータ処理装置が提供される。

前記データ処理部は、前記データ除去領域又は前記スキップさせた領域に対して、前記定義に基づいてデータ処理を行う。

これにより、特別な処理を追加することなく、除去後のデータ領域に関して自然なデータを生成することができる。

本発明の他の観点によれば、複数の撮影シーンを記録した撮影データを編集する処理を開始するステップと、前記撮影データ中におけるエラーデータを検出するステップと、
エラーデータが検出された場合には、前記エラーデータを除去し、除去した後のエラーデータ除去領域を複数の前記撮影シーンにおける境界領域と同様の領域として定義する処理を行うステップとを有することを特徴とするデータ編集方法が提供される。

本明細書において、動画データとは、例えばデジタルビデオカメラで撮影した、例えば映像データと音声データとを含む時系列に沿ったデータを指す。但し、媒体に記録された種々のデータを含む広い概念である。また、撮影データ中の破損箇所とは、訂正が不可能であるデータを含む領域又は意識的に除去したい領域などを含む。

以下、本発明を実施するための最良の形態について図面を参照しつつ説明を行う。まず、本発明の第１の実施の形態によるエラー除去技術について説明する。図１（ａ）から図１（ｃ）までは、本実施の形態によるエラー除去技術の詳細を示す図である。図１（ａ）に示すように、連続するシーンＡ〜Ｃまでのうち、シーンＡとシーンＣとの間のシーンＢの映像データと音声データとにエラーがある場合に、本実施の形態では、撮影後に撮影データの編集を行う際にエラーを検出し、その上で編集処理、例えば自動編集処理を行う。

基本的な考え方としては、ハードディスクやメモリなどを利用したビデオカメラを用いた場合において、撮影したデータを編集する際に、「撮影時の書き込みのミス」、「保存中のデータの破損」などに起因して、編集に必要な情報が取得できなかった場合に、これを読み出しエラー発生と考え、この必要な情報が取得できなかった部分を、シーンの変わり目と擬制しその旨を定義する。すなわち、この部分に関しては、一時停止操作とその後の空録画操作を行った場合と同様の空データ領域を生成することができる。そして、図１（ｂ）及び図１（ｃ）に示すように、この部分にシーンの変わり目（シーンＡ−シーンＢ、シーンＢ−シーンＣ）と同様に編集処理によりトランジションを挿入する。

破損部分もシーンの変わり目と同様に取り扱うことにより、この部分もスムーズに繋げることができ、かつ、必要最低限のシーンデータのみが空データ領域となるため、破損による他の領域への影響を最小限にすることができる。編集結果にはエラーが含まれないため、再生側においてエラー処理を行う必要がないという利点もある。

次に、本発明の第２の実施の形態によるエラー除去技術について図２、図３を参照しつつ説明を行う。本実施の形態によるエラー除去技術は、動画データのうち映像データ又は音声データのいずれか一方にのみデータの破損があった場合の処理方法に関する。図２（ａ）から図２（ｃ）までは、シーンＢの映像データの一部に破損がある様子を示す図である。このような場合には、上記第１の実施の形態の場合と同様の考え方を、破損が検出された方のデータに対して適用する。すなわち、図２（ａ）に示すように、シーンＢの映像データ中に破損が見つかった場合には、シーンＢ中の破損部分を除去し、その両側のデータＢ１、Ｂ２を残す。そして、シーンＡとシーンＣの境界にトランジションを挿入するとともに、シーンＢ１とシーンＢ２との間に例えば特殊効果シーンを挿入する。この場合、音声データに破損はないため、音声をそのまま再生する。尚、特殊効果シーンとして、破損部分の前後のシーンを例えばスローで再生し、時間調整を行うことでつなぎ目部分も自然に再生させることができる。

図３（ａ）から図３（ｃ）までは、シーンＢの音声データの一部に破損がある様子を示す図である。このような場合には、上記第１の実施の形態の場合と同様の考え方を、破損の検出された方のデータに適用する。すなわち、図３（ａ）に示すように、シーンＢの音声データ中に破損が見つかった場合には、シーンＢ中の破損部分を除去し、その両側のデータを残す。そして、シーンＡとシーンＣの境界にトランジションを挿入するとともに、破損部分は除去し、そこにフェードイン、無音部、フェードアウト部を挿入する。この場合、映像データに破損はないため、映像をそのまま再生する。このようにすれば、つなぎ目部分も自然に再生させることができる。

図４は、本発明の各実施の形態によるエラー除去処理の流れを示すフローチャート図である。図４に示すように、まず、ステップＳ１において動画データの編集を開始し（Ｓ１）、ステップＳ２でエラー検出処理を行う。エラー検出処理の結果、エラーが検出されなかった場合には、ステップＳ３に進み、動画データの編集処理を継続する。ステップＳ４で編集処理が終了したか否かを監視し、終了すればステップＳ５において編集を終了する。ステップＳ４で編集を終了させない場合には、ステップＳ２に戻る。

ステップＳ２において、エラーが検出されるとステップＳ６に進み、ステップＳ６においてエラー種別を判定する。エラー種別が映像及び音声の両方であれば、ステップＳ８に進みエラー部分を除去し、シーンを除去した部分で分割する。ステップＳ９において、除去部分にトランジションを挿入し、分割されたシーンをつなぐ。

ステップＳ６においてエラー種別を判定し、エラー種別が映像のみであれば、ステップＳ１１に進みエラー部分を除去し、シーンを除去した部分で分割する。ステップＳ１２において、除去部分に特殊効果を挿入し、分割されたシーンをつなぐ。ステップＳ６においてエラー種別を判定し、エラー種別が音声のみであれば、ステップＳ１４に進みエラー部分を除去し、シーンを除去した部分で分割する。ステップＳ１５において、除去部分に無声の音声を入れ、その前後にフェードイン部とフェードアウト部とを挿入する。その後、ステップＳ３に戻る。

尚、上記処理は、例えば操作手順に関するガイダンスをユーザに対して提示し、撮影データとガイダンスデータとを対応させて保存することにより、編集作業を容易に行える新しいガイダンス機能付きビデオカメラにより撮影し、撮影データをガイダンスを利用して自動的に編集する自動編集システムに適用すると、撮影と自動編集とが関連付けされているためより一層効果的である。

以上、本発明に関して実施の形態に沿って説明を行ったが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。例えば、実施の形態において説明した手順をコンピュータに実行させるためのプログラムも発明の範疇に入るものとする。また、データ処理装置を編集装置に内蔵させても良いし、着脱可能に構成しても良い。

本発明は、ビデオカメラをデジタルスチルカメラや通常のカメラ、携帯電話やＰＤＡなどの携帯端末に置き換えることも可能である。また、ＶＴＲやＤＶＤレコーダーなどにも応用可能である。

図１（ａ）から図１（ｃ）までは、本発明の実施の形態によるエラー除去技術の詳細を示す図である。 図２（ａ）から図２（ｃ）までは、シーンＢの映像データの一部に破損がある様子を示す図である。 図３（ａ）から図３（ｃ）までは、シーンＢの音声データの一部に破損がある様子を示す図である。 本発明の各実施の形態によるエラー除去処理の流れを示すフローチャート図である。 図５（ａ）、（ｂ）は、一般的な記録データ構造例を示す。 図６（ａ）から図６（ｃ）までは、撮影データが破損し、訂正ができない場合にシーン間にトランジションを挿入したデータ構成例を示す図である。 図７（ａ）は、映像データと音声データとのうち映像データに破損がある場合を示す図であり、図７（ｂ）は、シーンの境界とにトランジションを挿入したデータ構成例であり、図７（ｃ）は、破損部分を含む部分のみを削除した例を示す図である。

Claims (6)

1. 複数の撮影シーンを記録した撮影済みのデータを処理するデータ処理装置であって、
   撮影済みのデータにおけるデータの破損部分を除去したデータ除去領域に、一時停止操作とその後の空録画操作を行った場合と同様の空データ領域を生成するデータ処理部を有することを特徴とするデータ処理装置において、
   前記データ処理部は、前記データ除去領域に対して、前記空データ領域を生成するデータ処理を行い、
   前記撮影済みのデータが、少なくとも第１の撮影データと該第１の撮影データとは異なる形式の第２の撮影データとを含む場合であって、
   前記第１の撮影データが映像データであり、前記第２の撮影データが音声データである場合に、前記映像データにのみデータの破損部分が検出された場合に、前記破損部分に対して、前記映像データのうち前記データの破損部分の前後のデータの再生速度を小さくすることにより、時間調整を行った特殊効果シーンを挿入するように制御を行うことを特徴とするデータ処理装置。
2. 前記撮影済みのデータが、少なくとも第１の撮影データと該第１の撮影データとは異なる形式の第２の撮影データとを含む場合であって、前記第１の撮影データと前記第２の撮影データとのいずれか一方のみにデータの破損部分が検出された場合に、検出された方のデータのみに対して空データ領域を生成するデータ処理を行うことを特徴とする請求項１に記載のデータ処理装置。
3. 前記第１の撮影データが映像データであり、前記第２の撮影データが音声データである場合に、前記音声データにのみデータの破損部分が検出された場合に、前記破損部分を除去し、そこにフェードイン部、無音部、フェードアウト部を挿入する制御を行うことを特徴とする請求項１又は２に記載のデータ処理装置。
4. 撮影済みデータを編集するデータ編集装置であって、
   請求項１から３までのいずれか１項に記載のデータ処理装置を備えたデータ編集装置。
5. 複数の撮影シーンを記録した撮影データを編集する処理を開始するステップと、
   撮影済みのデータ中におけるデータの破損部分を検出するステップと、
   データの破損部分が検出された場合には、前記データの破損部分を除去し、除去した領域に一時停止操作とその後の空録画操作を行った場合と同様の空データ領域を生成する処理を行うステップと、を有し、
   前記データ除去領域に対して、前記空データ領域を生成するデータ処理を行うステップと、
   前記第１の撮影データが映像データであり、前記第２の撮影データが音声データである場合に、前記映像データにのみデータの破損部分が検出された場合に、前記破損部分に対して、前記映像データのうち前記データの破損部分の前後のデータの再生速度を小さくすることにより、時間調整を行った特殊効果シーンを挿入するように制御を行うことを特徴とするデータ編集方法。
6. さらに、検出されたエラー内容の種別を判定するステップを含み、
   判定されたエラー種別に応じて、エラーの内容の種別が映像及び音声の両方であれば、データの破損部分を除去し、シーンを除去した部分で分割し、除去した部分にトランジションを挿入して分割されたシーンをつなぎ、
   エラー種別が映像のみであれば、エラー部分を除去し、シーンを除去した部分で分割し、除去部分に特殊効果を挿入し、分割されたシーンをつなぎ、
   エラー種別が音声のみであれば、データの破損部分を除去し、シーンを除去した部分で分割し、除去部分に無声の音声を入れ、その前後にフェードイン部とフェードアウト部とを挿入することを特徴とする請求項５に記載のデータ編集方法。

Images