JPH05265481A - 自然動画における音声編集装置 - Google Patents

Abstract

(57)【要約】 【目的】 フレーム間にわたる音声の編集が容易になる
自然動画における音声編集装置を提供する。 【構成】 音声信号から一語の開始となるトリガー信号
を得るトリガー検出部と、前記音声信号から一語の終了
となる無信号を検出するポーズ検出部と、前記トリガー
信号及びポーズ信号の時刻やメモリアドレスを記憶する
制御部と、前記トリガー信号からポーズ信号までのフレ
ーム数をカウントするフレームカウンタとを備え、前記
音声信号から前記トリガー検出部とポーズ検出部で検出
した一語の音声データを一つのまとまりとして音声スペ
クトルを得、この音声スペクトルを加工処理した後、前
記制御部で記憶したメモリアドレスに戻し、かつ前記フ
レームカウンタでカウントしたフレーム間にわたり、音
声データと画像データとを復元する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自然動画をデジタル処
理により画像情報に対応して音声情報を編集処理する自
然動画における音声編集装置に関するものである。

【０００２】

【従来の技術】近年、記憶素子の大容量化とパーソナル
コンピュータの処理速度の向上にともない、テレビジョ
ン画像等のフルモーション、フルカラーの自然動画を１
フレーム（１／３０秒）あるいは１フィールド（１／６
０秒）を単位として記録し、１コマ（１フレームまたは
２フィールドからなる１画面または１フィールド）毎
に、コンピュータ上で修正、変更、合成あるいは創作等
を行う画像処理技術が飛躍的に進歩している。このよう
な画像処理により、想像的な映像をアニメーションでな
く創作でき、個人的な娯楽の分野等で応用されつつあ
る。

【０００３】図６は従来例の音声編集装置の構成を説明
するブロック図であり、音声編集装置は、各部を制御す
る制御部３１と、音声信号をデジタル音声データに変換
するＡ／Ｄコンバータ３２と、自然動画のフレームまた
はフィールド用同期信号を検出する同期信号検出部３３
と、取込まれた音声データを記録する第１メモリ３４
と、音声データにフーリエ変換を施し音声スペクトルを
得るフーリエ変換部３５と、音声スペクトルを記録する
第２メモリ３６と、１フレームの画像と対応する音声ス
ペクトルを画面表示する表示器３７と、音声スペクトル
を画面表示上で加工処理するジョイスティク３８やキー
ボード３９と、加工処理された音声スペクトルに逆フー
リエ変換を施して音声データを得る逆フーリエ変換部４
０と、編集した音声データと対応する画像を記録する記
録メディア４１とを備えている。

【０００４】図７は従来例の音声編集処理を説明するフ
ローチャートであり、まず、制御部３１からデータ取込
の指示が与えられ、ここで同期信号検出部３３はフレー
ム用同期信号の有無を判別し、第１メモリ３４へは１フ
レーム分の音声信号（音声データ）が取込まれる（ＳＴ
３１〜ＳＴ３３）。次に、制御部３１の指示のもとにフ
ーリエ変換部３５に音声データが転送され、ここでフー
リエ変換されて音声スペクトルが得られ、この音声スペ
クトルが第２メモリ３６に転送されて記録される（ＳＴ
３３、ＳＴ３４）。続いて、図８の画面表示例に示すよ
うに、１フレーム分の画像と第２メモリ３６の音声スペ
クトルの内容とが表示器３７に表示され、この画面表示
上において、ジョイスティク３８やキーボード３９を用
いて、トーンを変えたり音声を変えたり等の音声スペク
トルの加工処理を行う（ＳＴ３５、ＳＴ３６）。次に、
加工処理した音声スペクトルを逆フーリエ変換部４０で
変換して時間軸上の音声データとして第１メモリ３４へ
戻し、続いてこの第１メモリ３４の内容を対応する画像
データとともに記録メディア４１に記録する（ＳＴ３７
〜ＳＴ３９）。

【０００５】

【発明が解決しようとする課題】音付き自然動画におい
て、画像（映像）信号の各フレームと音声信号の関係を
時間軸で表示すると、図９のように示される。ここで音
声信号は、ケース１に示すように、各フレームで音声信
号の一語が終了していることもあるが、例えば、ゆっく
り喋ったり、間をおいて話たりした場合には、ケース２
に示すように、数フレーム間にわたって一語が存在する
ことがある。従来の音声編集装置では、上述のようにフ
レーム毎に同期をとって音声スペクトルを加工処理して
いたため、音声信号がケース２のように数フレーム間に
わたる場合には、各フレーム毎に加工処理し、フレーム
の継ぎ目に当たる部分の信号を調整していた。そのた
め、自然動画の編集処理の操作が煩雑になる問題点があ
った。

【０００６】そこで本発明は、フレーム間にわたる音声
の編集が容易になる自然動画における音声編集装置を提
供することを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、本発明の自然動画における音声編集装置は、自然動
画の音声信号をデジタル音声データとしてメモリに取込
み、この音声データをフーリエ変換により音声スペクト
ルを得、この音声スペクトルを画像データとともに表示
器に画面表示し、この画面表示上で加工処理をした音声
スペクトルを逆フーリエ変換により音声データを得、こ
の音声データを対応する画像データとともに記録メディ
アに記録する自然動画における音声編集装置において、
前記音声信号から一語の開始となるトリガー信号を得る
トリガー検出部と、前記音声信号から一語の終了となる
無信号を検出するポーズ検出部と、前記トリガー信号及
びポーズ信号の時刻やメモリアドレスを記憶する制御部
と、前記トリガー信号からポーズ信号までのフレーム数
をカウントするフレームカウンタとを備え、前記音声信
号から前記トリガー検出部とポーズ検出部で検出した一
語の音声データを一つのまとまりとして音声スペクトル
を得、この音声スペクトルを加工処理した後、前記制御
部で記憶したメモリアドレスに戻し、かつ前記フレーム
カウンタでカウントしたフレーム間にわたり、音声デー
タと画像データとを復元するものである。

【０００８】

【作用】本発明によれば、音声信号からトリガー検出部
とポーズ検出部で一語の始めと終わりを検出し、この一
語の音声データを一つのまとまりとして音声スペクトル
を得、この音声スペクトルを加工処理した後、制御部で
記憶したメモリアドレスに戻し、かつフレームカウンタ
でカウントしたフレーム間にわたり、音声データと画像
データとを復元することで、自然動画のフレーム間にわ
たる音声の編集が容易になる。

【０００９】

【実施例】以下、本発明を図示の一実施例により具体的
に説明する。図１は本発明実施例の自然動画における音
声編集装置の構成を説明するブロック図である。

【００１０】同図において、本実施例の音声編集装置
は、音付き自然動画をコンピュータによるデジタル処理
で編集を行うときの音声加工処理を施すための装置であ
り、中央処理装置等の各部を制御する制御部１１と、こ
の制御部１１にバスライン等によりそれぞれ接続され
た、音声信号をアナログ信号からデジタル信号に変換す
るためのＡ／Ｄコンバータ１２と、音声信号から設定値
以上の値を検出してトリガー信号を得るトリガー検出部
１３と、音声信号から一語の切れ目となる無信号のポー
ズ信号を検出するポーズ検出部１４と、Ａ／Ｄコンバー
タ１２で変換されたデジタル信号の音声データを記録す
る第１メモリ１５及び第３メモリ１６と、第１メモリ１
５に記録された音声データにフーリエ変換を施し音声ス
ペクトルを得るフーリエ変換部１７と、このフーリエ変
換部１７で得られた音声スペクトルを記録する第２メモ
リ１８と、自然動画のフレーム画像と第２メモリ１８に
記録された音声スペクトルの内容を表示する表示器１９
と、この表示されたフレーム画像や音声スペクトルを画
面表示上で加工処理するときの入力装置となるジョイス
ティク２０やキーボード２１と、加工処理された音声ス
ペクトルに逆フーリエ変換を施して音声データを得る逆
フーリエ変換部２２と、トリガー信号検出からポーズ信
号検出までのフレームまたはフィールド用同期信号をカ
ウントするフレームカウンタ２３と、編集済の逆フーリ
エ変換された音声データを画像データとともに記録する
光磁気ディスクやコンパクトディスク（ＣＤ）等の記録
メディア２４とから構成されている。

【００１１】次に、上記構成の音声編集装置による音声
編集処理を具体的に説明する。図２及び図３は本発明実
施例の音声編集処理を説明するフローチャートである。

【００１２】これらの図において、まず、オペレータに
よる所定の編集開始操作により、音声の編集処理をした
い部分につき、制御部１１から音声信号をデジタル信号
に変換してデータ取込みの指示が与えられる（ＳＴ１
１）。この場合、後に説明する終了フラッグが第１メモ
リ１５に設定されているかを判断することで、第１メモ
リ１５の処理が終了しているか否かを判断し（ＳＴ１
２）、終了しているときには第１メモリ１５へ音声信号
の取込みを開始し（ＳＴ１３）、終了していないときに
は第３メモリ１６へ音声信号の取込みを開始する（ＳＴ
１４）。この取込み開始と同時にトリガー検出部１３
は、動作を開始し、音声信号が所定の設定値以上になる
ときを検出してトリガー信号を出力する（ＳＴ１５）。
すなわち、図９のケース２に示すように、画像信号が１
フレーム目に対応する音声信号が所定の設定値以上にな
る一語の始めを示すＡ点でトリガー信号が出力される。
このトリガー信号により制御部１１は、そのトリガー検
出時刻と取込まれた音声信号のメモリ上のアドレスを記
憶する（ＳＴ１６）。次に、トリガー信号が検出される
と、フレームカウンタ２３が計数を開始し、音声信号か
らポーズ検出部１４によりポーズ信号が検出されるまで
フレーム／フィールド用同期信号に基づきフレーム数を
カウントする（ＳＴ１７、ＳＴ１８）。すなわち、図９
のケース２に示すように、画像信号が３フレーム目に対
応する音声信号が一定時間無信号となる一語の終わりに
なるＢ点でポーズ信号が出力され、その間のフレーム数
がカウントされる。次に、ポーズ信号が検出されたとき
には、制御部１１は、その検出時刻と取込まれた音声信
号のメモリ上のアドレスとフレームカウンタ２３により
カウントされたフレーム数とを記憶する（ＳＴ１９）。
次に、制御部１１は、トリガー信号が検出された時刻の
少し前とポーズ信号が検出された時刻の少し後のデータ
を加えた音声データを、第１メモリ１５からフーリエ変
換部１７へ転送指示し、ここでフーリエ変換を施して音
声スペクトルを得、続いてこの音声スペクトルを第２メ
モリ１８へ転送指示する（ＳＴ２０）。このとき、トリ
ガー検出部１３及びポーズ検出部１４はリセットされ
る。

【００１３】次に、制御部１１の指示のもとに表示器１
９には、ポーズ信号を検出したときのフレーム画像とト
リガー信号を検出したとき迄の画像を遡ったフレーム画
像のコマ表示、及び第２メモリ１８に記録された音声ス
ペクトルの表示が行われる（ＳＴ２１、ＳＴ２２）。こ
の表示例は、図４に示すように、画像のコマ表示が左側
半分に、また音声スペクトルが周波数軸上のパワー・ス
ペクトルとして右半分に表示される。この表示におい
て、音声信号が数フレームにわたる場合には、フレーム
カウンタ２３から逆算して関連ある全フレームが表示さ
れ、例えば、区切りのフレームの画像が大きくコマ表示
され、未処理フレームがその上に小さく表示される。次
に、表示器１９に表示された音声スペクトルに対して、
ジョイスティック２０やキーボード２１等の入力手段を
用いて制御部１１の指示のもとに所定の加工処理を施す
（ＳＴ２３）。

【００１４】図５は本発明実施例の音声加工処理の例を
説明する図である。同図の変更モード１に示すように、
例えば、音声情報の強度を変更したい場合には、矢印で
示すように周波数の分布位置を変更せずに、そのパワー
・スペクトルの値（振幅）を実線から点線のように大き
くしたり小さくすればよく、音声を変える場合には、任
意の周波数上にパワー・スペクトルの値を点線のように
追加すればよい。また、同図の変更モード２に示すよう
に、例えば、音程を変更したい場合には、周波数の分布
パターンを変えずに、実線から点線のように、周波数を
２倍、あるいは１／２倍にすれば、１オクターブ高い
音、あるいは低い音に変更できる。同図の変更モード３
に示すように、例えば、ハスキーな声やダミ声にしたい
場合には、点線のような側波帯を追加することで変更が
できる。さらに、全く別のデータに変換することもでき
る。

【００１５】次に、所定の加工処理された音声スペクト
ルは、逆フーリエ変換部２２において逆フーリエ変換が
施され（ＳＴ２４）、時間軸のデータとなった音声デー
タが得られる。この音声データは、制御部１１が記憶し
ているトリガー信号とポーズ信号の検出時刻や記録され
たアドレスに基づいて、第１メモリ１５の元の位置に戻
される（ＳＴ２５）。次に、制御部１１は、加工処理さ
れた第１メモリ１５のデータを、対応する画像データと
ともに、所定の記録メディア２４に記録指示する（ＳＴ
２６）。次に、記録メディア２４への正常な書込みが済
んだときには、第１メモリ１５は、その処理が終了した
ことを示すフラグが設定され（ＳＴ２７）、制御部１１
からの次の音声編集処理の指示を待つ。区切りのフレー
ムのときに一語が終了し、次の一語が開始するような場
合には、第１メモリ１５の処理が終了していないため、
制御部１１は次の一語を第３メモリ１６へ取込むよう指
示する（ＳＴ１１〜ＳＴ１４）。

【００１６】上記構成の自然動画における音声編集装置
によれば、音付き自然動画の音声における一語を捉える
ために、トリガー検出部１３でその音声信号から設定値
以上の値を検出してトリガー信号を得、ポーズ検出部１
４で音声信号から一語の終わりとして切れ目となるポー
ズ信号を検出し、それぞれのトリガー信号及びポーズ信
号の検出時刻または記録されるメモリのアドレスを制御
部１１が記憶し、Ａ／Ｄコンバータ１２でデジタル信号
となった音声データをフーリエ変換部１７で音声スペク
トルを得、その音声スペクトルに所定の加工処理を加え
た後、逆フーリエ変換部２２で時間軸上の音声データに
変換し、その加工処理を加えた音声データを、元の記憶
されていたメモリの同じアドレス上に戻し、同時にフレ
ームカウンタ２３でトリガ信号からポーズ信号までのフ
レーム数をカウントし、音声と画像をフレーム間にわた
って正確に復元している。従って、一語が数フレーム間
にわたる場合でも、従来のようにフレーム毎に加工処理
しフレームの継ぎ目に相当する部分の音声データの信号
を調整する必要がなくなり、フレーム間の音声の編集が
容易に行えるようになった。

【００１７】なお、上記実施例において、トリガー検出
部１３は、音声信号から設定値以上の値を検出してトリ
ガー信号を得る例を説明したが、図９のケース２に示す
ように、１フレーム目のＣ点に示す予め音声信号の所定
の位置をプリトリガー信号として設定することもでき
る。

【００１８】

【発明の効果】以上説明したように本発明によれば、自
然動画の音声信号をフーリエ変換で音声スペクトルを
得、この音声スペクトルを加工処理した後、逆フーリエ
変換で音声データに変換する音声編集装置において、ト
リガー検出部とポーズ検出部とを備えることで、音声信
号から直接一語の始めと終わりとなるトリガー信号とポ
ーズ信号を検出できるため、一語が数フレーム間にわた
る場合でも、フレーム毎に加工しフレームの継ぎ目に相
当する部分の音声データの信号を調整する必要がなくな
り、フレーム間の音声の編集が容易に行える効果があ
る。

【図面の簡単な説明】

【図１】本発明実施例の音声編集装置の構成を説明する
ブロック図である。

【図２】本発明実施例の音声編集処理を説明するフロー
チャートである。

【図３】本発明実施例の音声編集処理を説明するフロー
チャートである。

【図４】本発明実施例の表示器による表示例を説明する
図である。

【図５】本発明実施例の音声加工処理の例を説明する図
である。

【図６】従来例の音声編集装置の構成を説明するブロッ
ク図である。

【図７】従来例の音声編集処理を説明するフローチャー
トである。

【図８】従来例の表示器による表示例を説明する図であ
る。

【図９】自然動画における画像信号の各フレームと音声
信号の関係を時間軸で表示した図である。

【符号の説明】

１１ 制御部 １２ Ａ／Ｄコンバータ １３ トリガー検出部 １４ ポーズ検出部 １５ 第１メモリ １６ 第３メモリ １７ フーリエ変換部 １８ 第２メモリ １９ 表示器 ２０ ジョイスティク ２１ キーボード ２２ 逆フーリエ変換部 ２３ フレームカウンタ ２４ 記録メディア

Claims (1)

【特許請求の範囲】
1. 【請求項１】 自然動画の音声信号をデジタル音声デー
   タとしてメモリに取込み、この音声データをフーリエ変
   換により音声スペクトルを得、この音声スペクトルを画
   像データとともに表示器に画面表示し、この画面表示上
   で加工処理をした音声スペクトルを逆フーリエ変換によ
   り音声データを得、この音声データを対応する画像デー
   タとともに記録メディアに記録する自然動画における音
   声編集装置において、 前記音声信号から一語の開始となるトリガー信号を得る
   トリガー検出部と、前記音声信号から一語の終了となる
   無信号を検出するポーズ検出部と、前記トリガー信号及
   びポーズ信号の時刻やメモリアドレスを記憶する制御部
   と、前記トリガー信号からポーズ信号までのフレーム数
   をカウントするフレームカウンタとを備え、前記音声信
   号から前記トリガー検出部とポーズ検出部で検出した一
   語の音声データを一つのまとまりとして音声スペクトル
   を得、この音声スペクトルを加工処理した後、前記制御
   部で記憶したメモリアドレスに戻し、かつ前記フレーム
   カウンタでカウントしたフレーム間にわたり、音声デー
   タと画像データとを復元することを特徴とする自然動画
   における音声編集装置