JP4760786B2 - 映像音声符号化データ編集装置 - Google Patents

Description

本発明は映像音声符号化データ編集装置に関する。

従来の技術では、複数の記録済みビデオカメラデータを再生する際に、それぞれ独立に再生して表示する方式がある。また、複数の映像音声復号化データを同時に１画面内に表示する場合、基準となる同期信号を記録装置に配信し、記録装置側では配信された同期信号を元に互いに同じ時間の中で記録する。（例えば、特許文献１参照）
特開平８-２１４２５５号公報（第１頁、図１）

上記従来技術では、複数の記録済みビデオカメラデータを再生する際に、各ビデオカメラに基準となる同期信号を配信する必要があり、さまざまなビデオカメラに対して共通仕様としなければならず、現状出回っているビデオカメラでは対応していない。従って、異なるビデオカメラで記録した複数の動画データを同時再生しようとした場合、表示に時刻的なずれが発生する。

上記課題は、一例として特許請求の範囲記載の構成により解決される。

本発明によれば、データの適切な再生動作を実現できる。

以下、本発明の実施の形態を、図面を用いて説明する。

図１及び図２は、本実施例を具体化するシステムの典型的な一例である。

本実施の形態は、結婚式披露宴において、外部映像音声記録機器１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅを用いて、同一または異なる時刻に、同一または異なる場所で各々独立に撮影された記録データ（映像音声符号化データ）の時刻差を補正するシステムに関するものである。

図２の編集機器１１は、外部映像音声記録機器１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅを順次接続し、記録データ（映像音声符号化データ）を取込み、各映像音声符号化データに対する時刻情報及び復号化音声情報及び復号化音声レベル情報を抽出し、復号化音声レベル情報のパタン一致比較による各復号化音声情報の時刻差抽出を行ない、時刻差を元に前記時刻情報を補正した映像音声符号化データを生成し、編集機器１１が有する記録メディア（一例としてＨＤＤ、光ディスク、半導体メモリ）に記録するブロックである。また、記録された映像音声符号化データをモニタ１２に出力し、表示させるブロックである。複数の映像音声符号化データをモニタ１２に表示させても良い。図２０は、２種類の映像音声符号化データを同時にモニタに表示した一例である。

また、図４は、図１のシステムの基本的な構成図である。
３種類の映像音声符号化情報３００を順次入力し、蓄積部２０７に蓄積する。３種類の映像音声符号化情報を３００ａ、３００ｂ、３００ｃとする。蓄積部２０７の一例としてハードディスクや半導体メモリ、光ディスク等がある。
最初に時刻基準となる映像音声符号化情報３００ａを蓄積部２０７から読み出し、映像音声復号化部２０１にて復号化処理を行ない、時刻情報３０２（以後３０２ａとする）と音声復号化情報３０３（以後３０３ａとする）を抽出して編集部２０２に供給する。時刻情報３０２は、映像音声復号化情報の開始時刻または終了時刻を示す情報である。

編集部では、時刻基準となる映像音声符号化情報３００ａに対する時刻情報３０２ａ及び音声復号化情報３０３ａを保持する。引き続き時刻基準となる映像音声符号化情報３００ａとの比較対照となる映像音声符号化情報３００ｂを蓄積部２０７から読み出し、映像音声復号化部２０１にて復号化処理を行ない、時刻情報３０２（以後３０２ｂとする）と音声復号化情報３０３（以後３０３ｂとする）を抽出して編集部２０２に供給する。編集部２０２では、前記時刻情報３０２ａと３０２ｂを元に、記録時刻が重複している範囲に対して音声復号化情報３０３ａと３０３ｂとのパタン一致比較を行ない、映像音声符号化情報３００ａと３００ｂの時刻差情報を抽出する。編集部２０２は時刻差情報を元に、時刻基準となる映像音声符号化情報３００ａとの時刻差分だけ映像音声符号化情報３００ｂの時刻情報を変更し、時刻基準となる映像音声符号化情報３００ａと時刻的に一致した映像音声符号化情報３０６（以後３０６ｂとする）を生成して、蓄積部２０２に供給する。蓄積部２０７は、映像音声符号化情報３０６ｂを蓄積する。その際に、元のデータである映像音声符号化情報３００ｂは破棄しても良い。

メニュー生成部２０３は、時刻情報３０２ａ、３０２ｂ及び時刻差情報を元に、メニュー画面情報を生成するブロックである。音声映像出力部２０４は、蓄積部２０７から読み出した映像音声符号化情報３００を元に映像音声復号化部にて復号化処理を行なった映像復号化情報をモニタ２０５に表示し、また音声復号化情報をスピーカ２０６に出力するブロックである。

映像音声符号化情報３００ｃに関しては、映像音声符号化情報３００ｂと同様の処理を行なうことで、時刻基準となる映像音声符号化情報３００ａと時刻的に一致した映像音声符号化情報３０６（以後３０６ｃとする）を生成することが可能である。

図５は、図４における編集部２０２の詳細な一例である。映像音声符号化情報３０６ｂ生成時を例に説明する。時刻情報３０２ａ、３０２ｂを比較して、同一時刻範囲のデータ範囲指定部２０７にて、音声復号化情報３０３ａ、３０３ｂの同一時刻範囲全てまたは一部の切り出しを行なう。切出した音声復号化情報４００（以後、音声復号化情報３０３ａ、３０３ｂに対応する情報をそれぞれ４００ａ、４００ｂとする）を帯域通過フィルタ２０８に入力する。帯域通過フィルタ２０８では、音声復号化情報４００ａ、４００ｂの一部周波数帯域のみ抽出し、レベル閾値フィルタ２０９に入力する。ここで帯域通過フィルタ２０８において抽出された音声復号化情報を、音声復号化情報４０１（以後、音声復号化情報３０３ａ、３０３ｂに対応する情報をそれぞれ４０１ａ、４０１ｂとする）とする。レベル閾値フィルタでは、音声復号化情報４０１ａ、４０１ｂのうち、所定のレベルに限定して抽出するブロックであり、抽出後の音声復号化情報４０２（以後、音声復号化情報３０３ａ、３０３ｂに対応する情報をそれぞれ４０２ａ、４０２ｂとする）を抽出情報保持部２１０に一時的に記録する。パタンマッチング部２１１は、抽出情報保持部２１０に記録された音声復号化情報４０３（以後、音声復号化情報３０３ａ、３０３ｂに対応する情報をそれぞれ４０３ａ、４０３ｂとする）を読み出し、パタンマッチング処理を行い、映像音声符号化情報３００ａと３００ｂの時刻差分情報３０４（以後、音声復号化情報３０３ａに対する３０３ｂの時刻差分情報を３０４ｂとする）を抽出する。時刻差分情報３０４ｂが示す時刻差分だけ、映像音声符号化情報３００ｂの時刻情報を変更し、変更後の映像音声符号化情報３０６ｂを蓄積部２０７に蓄積する。この際に変更前の映像音声符号化情報３００ｂは蓄積部２０７から削除しても良い。また、メニュー生成部２０３から供給されるメニュー情報３０５、時刻差分情報３０４ｂ、３０４ｃ、映像音声符号化情報３００ａ、３００ｂ、３００ｃを元に、映像音声符号化データ群３０６を生成しても良い。映像音声符号化データ群３０６として、ＤＶＤ−ＶＲ規格や、ＢＤ規格等に沿ったデータ群がある。

メニュー部は、時刻差分情報３０４と時刻情報３０２を元にメニュー画情報を生成するブロックである。メニュー画の一例を図３に示す。図では、５種類の映像音声符号化情報３００ａ、３００ｂ、３００ｃ、３００ｄ、３００ｅに対するメニュー例である。タイトルＡ、Ｂ、Ｃ、Ｄ、Ｅが、それぞれ映像音声符号化情報３００ａ、３００ｂ、３００ｃ、３００ｄ、３００ｅに対応しており、横軸が時間となっている。生成したメニュー情報３０５は編集部２０２に供給される。

図２１は、メニュー画の別の一例である。本例では、横軸に時間をとっており、各映像音声符号化データの先頭の一部を動画サムネイル６０１ａ、６０１ｂとして表示することを特徴としている。

図６は、図４における編集部２０２の詳細な別の一例である。パタンマッチング行なう２種類の映像音声符号化情報３００ａ、３００ｂに対する前処理を一度に並列実行することが出来る。

図７は、映像音声符号化情報３００ａ、３００ｂ、３００ｃに対する音声復号化情報３０３ａ、３０３ｂ、３０３ｃのレベル図の一例を示した図である。レベル図２０ａ、２０ｂ、２０ｃは、横軸を時間、縦軸を音レベルとして、音声復号化情報３０３ａ、３０３ｂ、３０３ｃを図示したものである。また図中に、開始時刻２１ａ、２１ｂ、２１ｃ、終了時刻２２ａ、２２ｂ、２２ｃ、音レベルの触れが大きい時刻２３ａ、２３ｂ、２３ｃを示している。音レベルのパタン一致検出を行なうことで、前記音レベルの触れが大きい時刻２３ａ、２３ｂ、２３ｃが同一時刻であると判定し、音声復号化情報３０３ａに対する音声復号化情報３０３ｂ、３０３ｃの時刻差（時刻２３ａ−時刻２３ｂ）、（時刻２３ａ−時刻２３ｃ）を抽出する。

図８ａ、図８ｂは、同一時刻における音声レベルが異なる一例を示している。図９ａ、図９ｂは、図８ａ、図８ｂで示される映像音声符号化情報３００ａ、３００ｂを元に帯域通過フィルタ２０８で抽出した映像音声符号化情報４０１ａ、４０１ｂの一例を示している。この例では、特定の周波数帯域で比較すると、類似パタンになっており、その後のパタン一致検出の精度向上を図ることが出来る。

図１０ａ、図１０ｂは、図９ａ、図９ｂで示す映像音声符号化情報４０１ａ、４０１ｂを元に、レベル閾値フィルタ２０９で抽出した映像音声符号化情報４０２ａ、４０２ｂの一例を示している。この例では、特徴がある範囲を特定し、その後のパタン一致比較範囲を狭めることで、パタン一致比較処理軽減を図ることが出来る。

図１１は、電源ＯＮからメディアへの映像音声符号化データ群３０６記録までのフローの一例である。電源ＯＮ６０後、編集メニュー選択６１において、メニュー画選択６２、タイトル入力６３、サブタイトル入力６４、編集６５、メディア書込６８のいずれかを選択する。

図３は、図１１のフローを用いた編集を行なうことで作成するメニュー画の一例である。メニュー画選択６２では、準備された複数のメニュー画テンプレートの中から作成したいメニュー画を選択する。選択後、作成中のメニュー画に反映させる。タイトル入力６３では、あらかじめ準備されたタイトルの中からの選択、または編集者がタイトルを文字入力する。選択または入力後、作成中のメニュー画に反映させる。サブタイトル入力６４では、あらかじめ準備されたサブタイトルの中からの選択、または編集者がサブタイトルを文字入力する。選択または入力後、作成中のメニュー画に反映させる。その後、記録装置から映像音声符号化データを入力し、記録部に取込む。記録装置の一例として、ビデオカメラや携帯電話がある。また、取込時に開始時刻及び終了時刻を抽出し、作成中のメニュー画に反映させる。編集６５は、サブタイトル毎に、先頭のサブタイトルに対応する映像音声符号化データとの時刻差を抽出し、先頭のサブタイトルに対応する映像音声符号化データ以外のサブタイトルに対応する映像音声符号化データの時刻情報を補正し、先頭のサブタイトルに対応する映像音声符号化データと時刻的に同期した映像音声符号化データに変換する。メディア書込み６８では、編集前または編集後の映像音声符号化データ及び、生成したメニュー情報をメディアに書き込む。

図１２は、図１１で示す編集６５の詳細を示す一例である。時刻ズレ検出７０後、時刻補正７２を実施し、先頭のサブタイトルに対応する映像音声符号化データと時刻的に同期した映像音声符号化データに変換するほかに、GOP構造解析を行い、同一GOP構造となるように再符号化処理またはデータ分割処理を行い、記録メディアの規格に準拠した映像音声符号化データを作成し、作成情報を用いて記録メディアの規格に準拠した記録メディアを作成してもよい。記録メディアの一例として、ＤＶＤ−Ｖｉｄｅｏ規格のマルチアングルがある。また、記録メディアに準拠したメニュー情報を作成することで、メニュー画の記録メディアへの書き込みも可能である。

図１３は、図１２で示す時刻ズレ検出７０の詳細な一例を示す図である。

図１４は、取込み６６の詳細な一例を示す図である。

図１５は、メニュー画の別の一例である。タイトルＣに対応する映像音声符号化データが、複数日に渡り記録されており、更に同日中に複数記録データが存在する場合において、作成中のメニュー画中に全ての映像音声符号化データ状況を表示している。ここでは、このうち特定の映像音声符号化データ１０３ｃ１を選択し、決定ボタン１０５を選択すると、図１６で示す作成中のメニュー画に表示画が変わる。

図１７は、連続再生用のメニュー画の一例を示した図である。連続再生１０７ａは、記録時間が長いものを優先的に選択することを特徴とする。連続再生１０７ｂは、記録開始されたものに優先的に切替、記録終了時には、それ以降記録時間が存在するものの中で、その直前に再生していたものを選択することを特徴としている。連続再生１０７ｃは、最初に開始したものを最優先とし、その後は記録が長いものを優先的に選択することを特徴とする。

図１８は、同一時刻に３種類の映像音声符号化データが存在する状況において、通常５００ａを再生中に、特定のボタンを押した場合、同一時刻で記録されている２種類の映像音声符号化データを動画サムネイル５０１ｂ、５０２ｂにて表示している表示画面を示したものである。図１９は、図１９で示す動画サムネイルのうち、動画サムネイル５０１ｂを選択した場合に表示される表示画面を示している。

以上、複数の記録済みビデオカメラデータを編集または記録する映像音声符号化データ編集装置において、各データの時刻差を検出し、データの時刻情報を補正することを可能とするシステム、方法及び機器に関する本発明の好適な実施例について説明した。また、補正後の映像音声符号化データを再生し、複数同時にモニタに表示することを可能とするシステム、方法及び機器に関する本発明の好適な実施例について説明した。

本発明によれば、少なくとも２種類の映像音声符号化データの復号化処理を行ない、各映像音声符号化データに対する時刻情報及び復号化音声情報及び復号化音声レベル情報を抽出し、復号化音声レベル情報のパタン一致比較による各復号化音声情報の時刻差抽出を行ない、時刻差を元に前記時刻情報を補正した映像音声符号化データを生成することで、時刻的に同期の取れた映像音声符号化データを生成し、時刻的に同期の取れた同時表示を実現するシステム、方法及び機器の提供を可能とする。

図４に示す映像音声符号化データ編集装置２００周辺環境の一例を示す 図４に示す映像音声符号化データ編集装置２００を用いた周辺環境の一例を示す 本実施例を具体化するシステムのメニュー画の一例である 本実施例を具体化するシステムの典型的な一例である 図４に示す映像音声符号化データ編集装置２００における編集部２０２の一例である 図４に示す映像音声符号化データ編集装置２００における編集部２０２の別の一例である 図５に示す編集部２０２における音声復号化情報３０３のレベル図の一例である 図５に示す編集部２０２における音声復号化情報３０３のレベル図の別の一例である 図５に示す編集部２０２における音声復号化情報４０１のレベル図の別の一例である 図５に示す編集部２０２における音声復号化情報４０２のレベル図の別の一例である 本実施例を具体化するシステムフローの典型的な一例である 図１１に示す編集６５の詳細な一例である。 図１２に示す時刻ズレ検出７０の詳細な一例である。 図１１に示す取り込み６６の詳細な一例である。 本実施例を具体化するシステムのメニュー画の別の一例である 本実施例を具体化するシステムのメニュー画の別の一例である 本実施例を具体化するシステムのメニュー画の別の一例である 本実施例を具体化するシステムの表示画の一例である。 本実施例を具体化するシステムの表示画の別の一例である。 本実施例を具体化するシステムの表示画の別の一例である。 本実施例を具体化するシステムのメニュー画の別の一例である

符号の説明

２０１ 映像音声復号化部
２０２ 編集部
２０３ メニュー生成部
２０４ 映像音声出力部
２０５ モニタ
２０６ スピーカ
２０７ 蓄積部
３００ 映像音声符号化データ
３０１ 映像音声符号化データ
３０２ 時刻情報
３０３ 音声復号化情報
３０４ 時刻差分情報
３０５ メニュー情報
３０６ 映像音声符号化情報
３０７ 映像出力データ
３０８ 音声出力データ
３０９ 映像データ及び音声データ

Claims (20)

1. 複数の記録済み動画データを処理して編集する編集装置において、
   前記複数の記録済み動画データを蓄積する蓄積部と、
   前記蓄積部に蓄積された記録の開始時刻が異なる複数の記録済み動画データを当該動画データの音声情報の抽出周波数成分から所定のレベルを抽出して得た音声レベル情報を用いて時刻的に同期の取れた動画データになるよう処理し、一の動画データをモニタに表示させるとともに、対応する時刻に二以上の動画データが存在する状況において前記処理された他の動画データを動画サムネイルとして前記モニタに表示するように制御する情報を生成する編集部を備え、
   前記編集部は、前記制御する情報と前記複数の記録済み動画データを記録メディアに記録することを特徴とする編集装置。
2. 複数の記録済み動画データを処理して再生する編集装置において、
   前記複数の記録済み動画データを蓄積する蓄積部と、
   前記蓄積部に蓄積された前記複数の記録済み動画データであって、記録の開始時刻が異なる複数の記録済み動画データを当該動画データの音声情報の抽出周波数成分から所定のレベルを抽出して得た音声レベル情報を用いて時刻的に同期の取れた動画データになるよう処理する編集部と、
   前記編集部により処理された動画データをモニタに出力して表示させる出力部とを備えることを特徴とする編集装置。
3. 前記編集部は、前記複数の記録済み動画データの時刻差を抽出し、前記時刻差を元に前記複数の記録済み動画データから、時刻的に同期の取れた動画データになるよう前記制御する情報を生成することを特徴とする請求項１に記載の編集装置。
4. 前記編集部は、前記複数の記録済み動画データの時刻差を抽出し、前記時刻差を元に前記複数の記録済み動画データから、時刻的に同期の取れた動画データになるよう処理することを特徴とする請求項２に記載の編集装置。
5. 前記時刻差を、前記複数の記録済み動画データの記録時刻が重複している範囲において抽出することを特徴とする請求項３または請求項４に記載の編集装置。
6. 前記編集部は、前記動画データの音声情報から所定の周波数成分を抽出する帯域通過フィルタを有することを特徴とする請求項１または請求項２記載の編集装置。
7. 前記編集部は、前記動画データの音声情報の抽出周波数成分から所定のレベルを抽出するレベル閾値フィルタを有することを特徴とする請求項１または請求項２記載の編集装置。
8. 前記編集部は、前記時刻的に同期の取れた動画データについてＧＯＰ構造解析を行い、同一ＧＯＰ構造となるように再符号化処理またはデータ分割処理を行うことを特徴とする請求項１または請求項２に記載の編集装置。
9. 前記複数の記録済み動画データの時刻情報と時刻差情報により、メニュー情報を生成するメニュー生成部をさらに備えることを特徴とする請求項１または請求項２に記載の編集装置。
10. 前記出力部は、前記編集部により処理された一の動画データを前記モニタに表示させるとともに、前記編集部により処理された他の動画データを動画サムネイルとして前記モニタに表示させ、前記動画サムネイルが選択された場合、前記一の動画データに変えて、選択された前記動画サムネイルが示す前記他の動画データを出力し、前記モニタに表示させることを特徴とする請求項２に記載の編集装置。
11. 複数の記録済み動画データを処理して編集する編集方法において、
    前記複数の記録済み動画データを蓄積する蓄積ステップと、
    前記蓄積ステップにおいて蓄積された記録の開始時刻が異なる複数の記録済み動画データを当該動画データの音声情報の抽出周波数成分から所定のレベルを抽出して得た音声レベル情報を用いて時刻的に同期の取れた動画データになるよう処理し、一の動画データをモニタに表示させるとともに、対応する時刻に二以上の動画データが存在する状況において前記編集部により処理された他の動画データを動画サムネイルとして前記モニタに表示するように制御する情報を生成する編集ステップと、
    前記制御する情報と前記複数の記録済み動画データを記録メディアに記録する記録ステップを備えることを特徴とする編集方法。
12. 複数の記録済み動画データを処理して再生する編集方法において、
    前記複数の記録済み動画データを蓄積する蓄積ステップと、
    前記蓄積ステップによって蓄積された前記複数の記録済み動画データであって、記録の開始時刻が異なる複数の記録済み動画データを当該動画データの音声情報の抽出周波数成分から所定のレベルを抽出して得た音声レベル情報を用いて時刻的に同期の取れた動画データになるよう処理する編集ステップと、
    前記編集ステップにより処理された動画データをモニタに出力して表示させる出力ステップとを備えることを特徴とする編集方法。
13. 前記編集ステップは、前記複数の記録済み動画データの時刻差を抽出し、前記時刻差を元に前記複数の記録済み動画データから、時刻的に同期の取れた動画データになるよう前記制御する情報を生成することを特徴とする請求項１１に記載の編集方法。
14. 前記編集ステップは、前記複数の記録済み動画データの時刻差を抽出し、前記時刻差を元に前記複数の記録済み動画データから、時刻的に同期の取れた動画データになるよう処理することを特徴とする請求項１２に記載の編集方法。
15. 前記時刻差を、前記複数の記録済み動画データの記録時刻が重複している範囲において抽出することを特徴とする請求項１３または請求項１４に記載の編集方法。
16. 前記編集ステップは、前記時刻的に同期の取れた動画データについてＧＯＰ構造解析を行い、同一ＧＯＰ構造となるように再符号化処理またはデータ分割処理を行うことを特徴とする請求項１１または請求項１２に記載の編集方法。
17. 前記複数の記録済み動画データの時刻情報と時刻差情報により、メニュー情報を生成するメニュー生成手段をさらに備えることを特徴とする請求項１１または請求項１２に記載の編集方法。
18. 前記出力方法は、前記編集ステップにより処理された一の動画データを前記モニタに表示させるとともに、前記編集ステップにより処理された他の動画データを動画サムネイルとして前記モニタに表示させ、前記動画サムネイルが選択された場合、前記一の動画データに変えて、選択された前記動画サムネイルが示す前記他の動画データを出力し、前記モニタに表示させることを特徴とする請求項１８乃至２１に記載の編集方法装置。
19. 複数の記録済み動画データを処理して編集する編集装置であって、
    複数の動画データの音声情報の抽出周波数成分から所定のレベルを抽出して得た音声レベル情報を用いて、前記複数の動画データの時刻差を抽出する抽出部と、
    前記時刻差を元に前記複数の動画データから、時刻的に同期の取れた動画データを生成する編集部と、
    前記時刻的に同期の取れた一つの動画データを表示部に出力し、かつ他の動画データを動画サムネイルとして前記表示部に出力している場合、前記動画サムネイルが選択されたとき、前記表示部に表示されている前記一つの動画データから前記動画サムネイルが示す前記他の動画データに切り替わって表示されるように出力する出力部を有することを特徴とする編集装置。
20. 複数の記録済み動画データを処理して再生する編集方法であって、
    複数の動画データの音声情報の抽出周波数成分から所定のレベルを抽出して得た音声レベル情報を用いて、前記複数の動画データの時刻差を抽出する抽出ステップと、
    前記時刻差を元に前記複数の動画データから、時刻的に同期の取れた動画データを生成する編集ステップと、
    前記時刻的に同期の取れた一つの動画データを表示部に出力し、かつ他の動画データを動画サムネイルとして前記表示部に出力している場合、前記動画サムネイルが選択されたとき、前記表示部に表示されている前記一つの動画データから前記動画サムネイルが示す前記他の動画データに切り替わって表示されるように出力する出力部を有することを特徴とする編集方法。

Images