JP3073942B2 - 音声処理方法、音声処理装置および記録再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、業務用ＶＴＲ装
置、６ｍｍテープレコーダ装置など、再生速度に比例し
て音程が変化した音声を出力する記録再生装置におい
て、記録された音声を任意の速度で再生する際に、再生
速度に対応した正規の音程を持つ音声を出力する音声処
理方法および記録再生装置に係わり、特にＶＴＲ装置に
適用するとき、好みの再生速度に即応し、かつ映像に同
期した高品質な音声を出力する音声処理方法、音声処理
装置および記録再生装置に関する。

【０００２】［発明の概要］ 本発明は、業務用ＶＴＲ装置などにおいて、スローモー
ション映像などを収録時と異なる速さで再生する場合、
再生速度に比例して音程が変化した音声が出力される
が、この音程が変化した音声を任意のサンプリング周波
数ｆi でＡＤ変換して得られた信号を正規の再生速度に
対する可変速度比ｒの逆倍数１／ｒのサンプリング周波
数ｆi ／ｒ（Ｈｚ）のデジタル信号に変換するととも
に、音声のタイミングを映像に同期させるため、サンプ
リング周波数ｆi ／ｒ（Ｈｚ）にサンプリング変換した
音声データを基本周期またはフレーム単位など、所定の
時間幅を有するブロック単位に分割して蓄積し、ＶＴＲ
装置からの入力データ時間長に等しくなるように、逐
次、ブロック単位での補間、または間引き操作を行なう
ことにより、ＶＴＲ装置を任意の速度で再生する際、そ
の速度の可変タイミングに即応し、かつ映像に同期して
音程が変化しない音声を出力する音声処理方法と、この
音声処理方法を実現する音声処理装置および記録再生装
置を提供するものである。

【０００３】

【従来の技術】一般に、磁気テープなどのアナログ記録
メディアに記録された音声を任意の速度で再生する場合
には、その再生速度に比例して音程も変化する。

【０００４】また、業務用ＶＴＲ装置については、近
年、映像・音声共にデジタル方式による記録が主流であ
るが、音声出力については、編集作業の効率化のため、
アナログ方式のＶＴＲ装置と同様に、再生速度に比例し
て音程が変化した音声を出力する。

【０００５】

【発明が解決しようとする課題】ところで、ＶＴＲ装置
については、従来から映像の可変速度再生を行なってい
るものの、可変速度再生の映像に同期しながら、音程を
正規の高さに補正するという機能を有するものは、これ
までになかった。

【０００６】また、音程を補正する手段に限定すれば、
カラオケ装置などで使われているピッチシフタ（ピッチ
チェンジャ）が知られているが、例えばこれを前記ＶＴ
Ｒ装置の音程補正に用いると、対象が人の声であると
き、あるいはその補正範囲が大きいとき、例えば１／２
倍速再生のように、１オクターブ下がった音声を元に戻
すときなどには、補正された音声に多くの歪感やエコー
感を伴うなど、音質に問題があった。

【０００７】これらのことから分かるように、音程の変
化を補正する際、放送品質を考慮した場合には、これま
で適当な装置が存在せず、放送などで使用するＶＴＲ装
置をスロー再生させるとき、意図的に音程の変化した非
現実的な音声を用いる場合を除き、映像の再生と同時
に、再生された音声を使うことができないという問題が
あった。

【０００８】本発明は上記の事情に鑑み、１／２倍速再
生または２倍再生したときのように、可変速度の実用的
な使用範囲内で、可変速度再生された、音程が変化した
音声を取り込んで、音声の明瞭さを保ちながら、映像と
高精度に同期させた状態で、±１オクターブ程度の範囲
で、音程を元に戻すことができる音声処理方法、音声処
理装置および記録再生装置を提供することを目的として
いる。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めに本発明は、請求項１では、記録媒体に音声信号を記
録したときの速度と異なる再生速度で、前記記録媒体上
の音声信号を再生する際に、再生された音声信号の音程
を調整する音声処理方法において、正規の再生速度に対
する可変速度比ｒで、前記記録媒体から再生された音声
信号をＡ／Ｄ変換して音声データにするときのサンプリ
ング周波数ｆi と、前記音声データをデジタル信号処理
した後にＤ／Ａ変換して音声信号にするときのサンプリ
ング周波数ｆo と、前記速度比ｒとが、ｆi ／ｆo ＝ｒ
を満たすときには、ｆi ＝ｒｆoとなるサンプリング周
波数ｆi を使用し、ｆi ／ｆo ≠ｒであるときには、サ
ンプリング周波数変換係数ｃを含むｆi ＝ｒｆo ／ｃと
なるサンプリング周波数ｆi を使用することを特徴とし
ている。

【００１０】請求項２では、記録媒体に音声信号を記録
したときの速度と異なる再生速度で、前記記録媒体上の
音声信号を再生する際に、再生された音声信号の音程を
調整する音声処理方法において、正規の再生速度に対す
る可変速度比ｒで、前記記録媒体から再生された音声信
号をＡ／Ｄ変換して音声データにするときのサンプリン
グ周波数ｆi と、前記音声データをデジタル信号処理し
た後にＤ／Ａ変換して音声信号にするときのサンプリン
グ周波数ｆo と、前記速度比ｒとが、ｆi ／ｆo ＝ｒを
満たすときには、ｆi ＝ｒｆo となるサンプリング周波
数ｆi を使用し、ｆi ／ｆo ≠ｒであるときには、サン
プリング周波数変換係数ｃを含むｆi ＝ｒｆo ／ｃとな
るサンプリング周波数ｆi を使用すると共に、当該サン
プリング周波数ｆi でＡ／Ｄ変換して得られた音声デー
タをデジタル信号処理する際、前記音声データの属性を
分析処理し、次にこの分析処理で得られた情報に基づ
き、前記音声データを所定の時間幅を有するブロック単
位に分割し、ブロック単位で逐次、補間処理または間引
き処理を行なって、データ長を逐次、１／ｒ倍にする一
連の処理を行なって出力音声データを作成した後、前記
サンプリング周波数ｆo で前記出力音声データをＤ／Ａ
変換して音声信号を生成することを特徴としている。

【００１１】請求項３では、請求項１または２に記載の
音声処理方法において、前記サンプリング周波数ｆi で
Ａ／Ｄ変換して得られた音声データをデジタル信号処理
する際、前記記録媒体から読み出される音声信号の時刻
情報と前記一連の処理を経て得られた出力音声データの
時刻情報とを監視し、前記音声信号と前記出力音声デー
タとの間に発生する時間のずれを補正することを特徴と
している。

【００１２】請求項４では、記録媒体に音声信号を記録
したときの速度と異なる再生速度で、前記記録媒体上の
音声信号を再生する際に、再生された音声信号の音程を
調整する音声処理装置において、前記記録媒体から再生
された音声信号をサンプリング周波数ｆi でＡ／Ｄ変換
するＡ／Ｄ変換手段と、Ａ／Ｄ変換して得られた音声デ
ータに対して属性に基づく分析処理を行なう分析処理手
段と、この分析処理で得られた情報に基づき、前記音声
データを所定の時間幅を有するブロック単位に分割する
ブロックデータ分割手段と、分割されたブロック単位で
逐次、補間処理または間引き処理を行なって、データ長
を１／ｒ倍（ｒ；正規の再生速度に対する可変速度比）
にする一連の処理を行なって出力音声データを作成する
出力音声データ作成手段と、作成された出力音声データ
をサンプリング周波数ｆo でＤ／Ａ変換して映像と同期
した音声を出力する音声出力手段と、前記Ａ／Ｄ変換す
るときのサンプリング周波数ｆi と、前記音声データを
Ｄ／Ａ変換して音声信号にするときのサンプリング周波
数ｆo と、前記速度比ｒとがｆi ／ｆo ＝ｒを満たすと
きには、ｆi ＝ｒｆo となるサンプリング周波数ｆi を
設定し、ｆi ／ｆo≠ｒであるときには、サンプリング
周波数変換係数ｃを含むｆi ＝ｒｆo ／ｃとなるサンプ
リング周波数ｆi を設定するサンプリング周波数設定手
段とを具備することを特徴としている。

【００１３】請求項５では、請求項４に記載の音声処理
装置において、前記出力音声データ作成手段は、前記記
録媒体から読み出される音声信号の時刻情報と前記一連
の処理を経て得られた出力音声データの時刻情報とを監
視し、前記音声信号と前記出力音声データとの間に発生
する時間のずれを補正する手段を含むことを特徴として
いる。

【００１４】請求項６の記録再生装置では、請求項４ま
たは５のいずれかに記載された音声処理装置を含むこと
を特徴としている。

【００１５】

【００１６】上記各請求項の構成によれば、記録媒体に
音声信号を記録したときの記録速度と異なる再生速度
で、前記記録媒体に記録されている音声信号を再生する
際、再生された音声信号の音程を調整する音声処理方法
において、正規の再生速度に対する可変速度比ｒで、前
記記録媒体から再生された音声信号をＡ／Ｄ変換して音
声データにするときのサンプリング周波数ｆi と、前記
音声データをデジタル信号処理した後、Ｄ／Ａ変換して
音声信号にするときのサンプリング周波数ｆo と、前記
速度比ｒとが所定の条件を満たすように、各サンプリン
グ周波数ｆi 、ｆo を設定する。これにより、１／２倍
速再生または２倍再生したときのように、可変速度の実
用的な使用範囲内で、可変速度再生された、音程が変化
した音声を取り込んで、音声の明瞭さを保ちながら、映
像と高精度に同期させた状態で、±１オクターブ程度の
範囲で、音程を元に戻す。

【００１７】また、従来から使用されている回路に対
し、少しの回路を付加するだけで回路を構成できる。

【００１８】

【発明の実施の形態】図１は本発明による音声処理方
法、音声処理装置および記録再生装置を使用した音声付
きＶＴＲ可変速度再生装置の概要を示すブロック図であ
る。

【００１９】この図に示す音声付きＶＴＲ可変速度再生
装置１は、ＶＴＲ可変速度再生部２と、Ａ／Ｄ変換部３
と、サンプリング周波数変換部４と、分析処理部５と、
ブロックデータ分割部６と、ブロックデータ蓄積部７
と、接続データ生成部８と、接続データ蓄積部９と、接
続順序生成部１０と、音声データ接続部１１と、Ｄ／Ａ
変換部１２とを備えており、ＶＴＲ可変速度再生部２を
制御して、録音時と異なる速度で音声信号を再生したと
き、サンプリング周波数変換部４によってＡ／Ｄ変換時
のサンプリング周波数ｆi （Ｈｚ）と、Ｄ／Ａ変換時の
サンプリング周波数ｆo （Ｈｚ）とをマッチングさせな
がら、ＶＴＲ可変速度再生部２の可変速度比ｒと、音声
の属性とに基づき、音声データを所定の時間幅を有する
ブロック単位に分割して逐次補間、または間引くことに
より、ＶＴＲ可変速度再生部２で可変速度再生された映
像信号に、音声の提示タイミングを同期させながら、音
程が変化しない高品質な音声を出力する。

【００２０】この際、録音時と異なる速度で再生された
音声信号をＡ／Ｄ変換し、デジタル信号処理によって音
程の補正と、データの時間長の伸縮とを行なった後、Ｄ
／Ａ変換して映像と同期した音声を出力する一連の過程
において、Ａ／Ｄ変換時のサンプリング周波数をｆi
（Ｈｚ）、Ｄ／Ａ変換時のサンプリング周波数をｆo
（Ｈｚ）、ＶＴＲ可変速度再生部２の可変速度比をｒと
すると、ｆi ／ｆo ＝ｒの関係を満たすように、サンプ
リング周波数ｆi 、ｆo を設定できる場合には、ｆi ＝
ｒｆo （Ｈｚ）となるサンプリング周波数ｆi で、音声
信号のＡ／Ｄ変換を行なう。またサンプリング周波数ｆ
i 、ｆo が任意の値に設定できず、ｆi ／ｆo ≠ｒの関
係になる場合には、Ａ／Ｄ変換部３の後段に設けられた
サンプリング周波数変換部４によって、サンプリング周
波数変換係数ｃ＝ｒｆo ／ｆi （Ｈｚ）でサンプリング
した状態の音声データに変換する。そして、音声の属性
に基づいて分析処理を施し、この分析処理で得られた情
報に基づき、前記音声データを所定の時間幅を有するブ
ロック単位に分割し、このブロック単位で、逐次補間、
または間引くことにより、データの時間長を逐次、１／
ｒ倍にする一連の処理を行なった後、サンプリング周波
数ｆo （Ｈｚ）でＤ／Ａ変換することにより、ＶＴＲ可
変速度再生部２の可変速度再生で得られた映像信号に、
音声の提示タイミングを同期させながら、音程が変化し
ない高品質な音声を出力する。

【００２１】ＶＴＲ可変速度再生部２は、ＶＴＲ装置に
記録された音声信号を任意の映像再生速度に合わせて取
り出すことができ、かつ可変再生速度したときには、正
規の再生速度に対する可変速度比ｒを電気的に出力する
ことができるＶＴＲ装置、または前記可変速度比ｒを視
覚的に表示する機能を持つ既存のＶＴＲ装置などによっ
て構成されており、通常の記録速度で記録した映像信
号、音声信号を指定された再生速度で再生し、これによ
って得られた映像信号（変速再生映像信号）をモニタ装
置などに出力しながら、この映像信号とともに再生され
た音声信号（変速再生音声信号）と、可変速度比情報
（可変速度比ｒを含む情報）とをＡ／Ｄ変換部３に供給
するとともに、前記変速再生映像信号の時刻情報と、前
記可変速度比情報とを接続順序生成部１０に供給する。
なお、この音声付きＶＴＲ可変速度再生装置１に要求さ
れる機能として、音声処理の機能のみが要求されている
ときには、ＶＴＲ可変速度再生部２として、ＶＴＲ装置
以外の装置、例えば６ｍｍのテープ音声再生装置など、
音声のみのメディア記録再生装置などを使用するように
しても良い。

【００２２】Ａ／Ｄ変換部３は、ＶＴＲ可変速度再生部
２から出力された音声信号（変速再生音声信号）を、Ｖ
ＴＲ可変速度再生部２から出力された可変速度比情報
（正規の再生速度に対する可変速度比ｒ）に応じたサン
プリング周波数ｆi でＡ／Ｄ変換し、これによって得ら
れた音声データをサンプリング周波数変換部４に供給す
る。

【００２３】この際、Ａ／Ｄ変換時のサンプリング周波
数ｆi と、Ｄ／Ａ変換時のサンプリング周波数ｆo と、
可変速度比ｒとがｆi ／ｆo ＝ｒの関係を満たすよう
に、各サンプリング周波数ｆi 、ｆo を設定できるとき
には、サンプリング周波数ｆi＝ｒｆo （Ｈｚ）で、Ｖ
ＴＲ可変速度再生部２から出力される音声信号（変速再
生音声信号）をＡ／Ｄ変換して音声データを生成する。
また各サンプリング周波数ｆi 、ｆo が固定値である場
合などのように、Ａ／Ｄ変換時のサンプリング周波数ｆ
i と、Ｄ／Ａ変換時のサンプリング周波数ｆo と、可変
速度比ｒとがｆi／ｆo ≠ｒであるときには、所定のサ
ンプリング周波数ｆi （Ｈｚ）で、ＶＴＲ可変速度再生
部２から出力される音声信号（変速再生音声信号）をＡ
／Ｄ変換して音声データを生成し、これによって得られ
た音声データをサンプリング周波数変換部４に供給す
る。

【００２４】サンプリング周波数変換部４は、Ａ／Ｄ変
換部３から出力される音声データがｆi ／ｆo ＝ｒの関
係を満たすようにＡ／Ｄ変換された音声データであると
きには、サンプリング周波数変換係数ｃとして、ｃ＝１
を生成する。またＡ／Ｄ変換部３から出力される音声デ
ータがｆi ／ｆo ≠ｒの関係でＡ／Ｄ変換された音声デ
ータであるときには、サンプリング周波数変換係数ｃと
して、ｃ＝ｒｆo ／ｆi を生成する。これらサンプリン
グ周波数変換係数ｃに基づき、Ａ／Ｄ変換部３から出力
される音声データのサンプリング周波数を変換して、サ
ンプリング周波数ｆi でＡ／Ｄ変換された音声データ
を、正規の再生速度で再生したときと同じサンプリング
周波数ｆo （Ｈｚ）でＡ／Ｄ変換したのに相当する音声
データに変換し、これを分析処理部５と、ブロックデー
タ分割部６とに供給する。

【００２５】分析処理部５は、サンプリング周波数変換
部４から出力される音声データ（サンプリング周波数ｆ
o （Ｈｚ）でＡ／Ｄ変換したのに相当する音声データ）
を取り込む入力処理、この入力処理で得られた音声デー
タのサンプリングレートを下げて（本実施の形態では、
４ｋＨｚ）、以降の処理量を低減させるデシメーション
処理、Ａ／Ｄ変換部３から出力される音声データおよび
前記デシメーション処理で得られた音声データを分析し
て、有声音、無声音、無音に区分する属性分析処理、こ
の属性分析処理で得られた有声音、無声音、無音毎に、
自己相関分析を行なって周期性を検出し、この検出結果
に基づき、音声データを分割するのに必要なブロック長
を決定するブロック長決定処理を順次に行ない、これに
よって得られた分割情報（有声音、無声音、無音毎のブ
ロック長を示す情報）をブロックデータ分割部６に供給
する。

【００２６】この場合、前記属性分析処理では、サンプ
リング周波数変換部４から出力される音声データについ
て、３０ｍｓ前後の窓幅を使用して、データの自乗和を
計算し、５ｍｓ前後の間隔で、音声データのパワー値Ｐ
を算出するとともに、このパワー値Ｐと、予め設定され
ているしきい値Ｐmin とを比較し、「Ｐ＜Ｐmin 」を満
たす部分を無音区間と判定し、「Ｐmin ≦Ｐ」を満たす
部分を有声音区間と判別する。この後、サンプリング周
波数変換部４から出力される音声データに対して、ゼロ
交差分析、前記デシメーション処理で得られた音声デー
タに対する自己相関分析などを行ない、これらの各分析
結果と、パワー値Ｐとに基づき、音声データのうち、
「Ｐmin ≦Ｐ」を満たす部分が声帯の振動を伴う音声区
間（有声音区間）であるか、声帯の振動を伴わない音声
区間（無声区間）であるかを判定する。なお、サンプリ
ング周波数変換部４から出力される音声データの各属性
として、雑音や音楽などの背景音という属性も考えられ
るが、一般的には、雑音や背景音の信号と、音声信号と
を正しく自動判別することが困難なことから、雑音、背
景音も有声音、無声音のいずれかに分類される。

【００２７】また、前記ブロック長決定処理では、前記
属性分析処理で有声音区間と判定されたデータについ
て、有声音のピッチ周期が分布している１．２５ｍｓ〜
２８．０ｍｓ程度の広い範囲にわたり、長さが異なる複
数の窓幅を使用して自己相関分析を行なって、できるだ
け正確なピッチ周期（声帯の振動周期である基本周期）
を検出し、この検出結果に基づき、各ピッチ周期が各々
のブロック長となるようにブロック長を決定する。また
前記属性分析処理で無声音区間、無音区間とされたもの
については、１０ｍｓ以内の周期性を検出し、この検出
結果に基づき、ブロック長を決定し、これら有声音区
間、無音声区間、無音区間の各ブロック長を分割情報と
してブロックデータ分割部６に供給する。

【００２８】ブロックデータ分割部６は、分析処理部５
から出力される分割情報で示される有声音区間のブロッ
ク長、無声音区間のブロック長に基づき、サンプリング
周波数変換部４から出力される音声データを分割し、こ
の分割処理によって得られたブロック単位の音声データ
と、この音声データのブロック長とをブロックデータ蓄
積部７と、接続データ生成部８とに供給する。

【００２９】ブロックデータ蓄積部７は、リングバッフ
ァを備えており、ブロックデータ分割部６から出力され
る音声データ（ブロック単位の音声データ）と、この音
声データのブロック長とを取り込み、これを前記リング
バッファに一時記憶しながら、一時記憶している各ブロ
ック長を適宜、読み出し、これを接続順序生成部１０に
供給するとともに、一時記憶しているブロック単位の音
声データを適宜、読み出し、これを音声データ接続部１
１に供給する。

【００３０】また、接続データ生成部８は、ブロックデ
ータ分割部６から出力されるブロック単位の音声データ
を取り込みながら、図２に示すように、直線的に変化す
る窓Ａ、Ｂを使用して、当該ブロックに含まれる音声デ
ータの開始部分、当該ブロックの直後または２つ後にあ
るブロックに対応する音声データの開始部分とを切り出
した後、これらを重複加算して接続データを生成し、こ
れを接続データ蓄積部９に供給する。

【００３１】この場合、例えば、音声付きＶＴＲ可変速
度再生装置１の再生速度が「ゆっくり」に設定されてい
れば、ブロックデータ分割部６から出力されるブロック
単位の音声データを取り込み、各ブロック毎に、当該ブ
ロックの開始部分にある音声データに対し、時間長ｄ
（ｍｓ）の間に直線的に変化する窓Ａを使用した窓掛け
を行なうとともに、当該ブロック直後にあるブロックの
開始部分にある音声データに対し、時間長ｄ（ｍｓ）の
間に直線的に変化する窓Ｂを使用した窓掛けを行なった
後、直後ブロックの開始部分と、当該ブロックの開始部
分とを重複加算して、時間長ｄ（ｍｓ）の接続データを
生成し、これを接続データ蓄積部９に供給する。また、
音声付きＶＴＲ可変速度再生装置１の再生速度が「速
く」に設定されていれば、ブロックデータ分割部６から
出力されるブロック単位の音声データを取り込み、各ブ
ロック毎に、当該ブロックの開始部分にある音声データ
に対し、時間長ｄ（ｍｓ）の間に直線的に変化する窓Ａ
を使用した窓掛けを行なうとともに、当該ブロックの２
つ後にあるブロックの開始部分にある音声データに対
し、時間長ｄ（ｍｓ）の間に直線的に変化する窓Ｂを使
用した窓掛けを行なった後、直後ブロックの開始部分
と、当該ブロックの開始部分とを重複加算して、時間長
ｄ（ｍｓ）の接続データを生成し、これを接続データ蓄
積部９に供給する。この際、時間長ｄとしては、「５
（ｍｓ）」〜「当該ブロック、直後のブロック、２つ後
にあるブロックの各ブロック長のうち、短い方」の範囲
内にある値を任意に選択することができるが、時間長ｄ
を短くした方が接続データ蓄積部９のバッファ容量を少
なくすることができる。

【００３２】接続データ蓄積部９は、リングバッファを
備えており、接続データ生成部８から出力される接続デ
ータを取り込み、これを前記リングバッファに一時記憶
しながら、一時記憶している各接続データを適宜、読み
出し、これを音声データ接続部１１に供給する。

【００３３】また、接続順序生成部１０は、ＶＴＲ可変
速度再生部２から出力された可変速度比情報と変速再生
映像の時間情報とに基づき、変速再生映像の出力タイミ
ングと音声の出力タイミングとを一致させるのに必要な
時間的な伸縮倍率を算出し、これを一時記憶する書き換
え可能なメモリと、予め設定されている所定の時間間
隔、例えば５０〜１００ｍｓ前後の時間間隔で、前記書
き換え可能なメモリに記憶されている時間的な伸縮倍率
を読み出すとともに、この伸縮倍率、ブロックデータ蓄
積部７から出力される各ブロック長、音声データ接続部
１１から出力される既接続情報に基づき、ブロック単位
の各音声データと、ブロック単位の各接続データとの接
続順序、すなわちＶＴＲ可変速度再生部２から出力され
た可変速度情報で指定された変速再生映像の出力タイミ
ングと音声の出力タイミングとを一致させるのに必要な
接続順序を時々刻々、生成する接続順序決定部とを備え
ている。

【００３４】この場合、接続順序生成部１０の前記接続
順序決定部において、変速再生映像の出力タイミング
と、音声の出力タイミングとを一致させる方法として
は、ＶＴＲ可変速度再生部２から出力された可変速度比
情報で示される可変速度比ｒの逆倍数１／ｒを計算し、
これを分析処理部５で得られた分割情報（分割されたブ
ロックの伸縮倍率）とし、この伸縮倍率に基づき、時間
的な伸縮操作を行ない、ＶＴＲ可変速度再生部２から出
力される変速再生映像に対し、高精度に同期させるため
に、音声データ接続部１１から出力される既接続情報
と、ＶＴＲ可変速度再生部２から出力される変速再生映
像の時刻情報（データ長やＣＴＬなどの情報）を監視
し、これらのずれが積算されないように、伸縮倍率を適
宜、修正するという方法を使用する。

【００３５】また、接続順序生成部１０の前記接続順序
決定部において、時間情報監視を行なう方法としては、
図３に示すように、入力データ長監視部２１によってブ
ロックデータ蓄積部７から出力されるブロック単位の長
さを常に計算して、入力データ長ｌｅｎｇ＿ｉｎを求め
ながら、出力データ目標長演算部２２によって前記入力
データ長ｌｅｎｇ＿ｉｎと、ＶＴＲ可変速度再生部２か
ら出力される可変速度比ｒとに基づき、伸縮倍率（逆倍
率）１／ｒを計算して出力データ目標長ｔａｒｇｅｔ
（ｔａｒｇｅｔ＝ｌｅｎｇ＿ｉｎ／ｒ）を求めるととも
に、出力データ長監視部２３によって音声データ接続部
１１から出力される既接続情報に基づき、出力データ長
ｌｅｎｇ＿ｏｕｔを求めた後、比較部２４によってこれ
ら出力データ目標長ｔａｒｇｅｔと、出力データ長ｌｅ
ｎｇ＿ｏｕｔとの差ｔ（ｔ＝ｔａｒｇｅｔ−ｌｅｎｇ＿
ｏｕｔ）を求め、これを音声データ接続部１１に供給す
るという方法を使用する。

【００３６】さらに、接続順序生成部１０の前記接続順
序決定部において、接続順序の生成方法としては、図
４、図５の模式図に示す方法を使用する。

【００３７】まず、音声付きＶＴＲ可変速度再生装置１
が操作されて、再生速度が「ゆっくり」に設定されてい
る場合には、有声音区間、無声音区間、無音区間が順
次、入れ替わって出現する音声信号が入力されている状
態で、音声データ接続部１１から出力される既接続情報
に基づき、音声データの属性が入れ替わったことが検知
されたり、ＶＴＲ可変速度再生部２の再生速度が変更さ
れて、同じ属性であっても、音声データの伸縮倍率が変
更されていることが検知されたとき、接続順序の生成工
程の開始条件が整ったと判定し、図４の（Ａ）に示すよ
うに、このときの時刻を開始時刻Ｔ0 に決定する。

【００３８】この後、この開始時刻Ｔ0 を基準として、
ブロックデータ蓄積部７から音声データ接続部１１に対
し、既に出力された音声データのブロック長を全て加算
した入力総和Ｓi を求めるとともに、図４の（Ａ）に示
すように、既に接続された音声データのブロック長を全
て加算した出力総和Ｓo を求めた後、これら入力総和Ｓ
i と、出力総和Ｓo と、目的の伸縮倍率Ｒ（Ｒ＝１／
ｒ：但し、Ｒ≧１．０）と、最後に接続された音声デー
タのブロック長Ｌとが次の（１）式に示す条件を満たす
ようなタイミングで、 Ｌ／２＜Ｒ・Ｓi −Ｓo …（１） 接続データ蓄積部９から出力される接続データのうち、
最後に接続されたブロックに対応する接続データを置
換、挿入した後、最後に接続されたブロックのうち、接
続データの生成に用いた部分より後ろの部分を再度、繰
り返して接続し、このブロックデータの後に、残りのブ
ロックを順次、接続することを示す接続順序を生成し、
これを音声データ接続部１１に供給する。

【００３９】これにより、図４の（Ａ）、（Ｂ）に示す
例では、１つ目のブロックから８つ目のブロックまでを
順次、接続した時点で、前記（１）式に示す条件が満た
されることから、８つ目のブロックの後ろに、このブロ
ック（８つ目のブロック）に対応する接続データを置
換、挿入して、８つ目のブロックのうち、接続データの
生成に用いた部分より後ろの部分を繰り返し接続する。
なお、この図４に示す例では、４つ目のブロックが既に
一度、繰り返し接続されている。

【００４０】また、音声付きＶＴＲ可変速度再生装置１
が操作されて、再生速度が「速く」に設定されている場
合には、次の（２）式に示す条件が成り立つタイミング
で、 Ｌ／２＜Ｓo −Ｒ・Ｓi …（２） 接続データ蓄積部９から出力される接続データのうち、
最後に接続されるべきブロックに対応する接続データを
間引き、その直後のブロックにおいて、当該間引かれた
ブロックの直前と直後の接続データの生成に用いた部分
より後ろの部分を接続し、このブロックの後ろに、残り
のブロックを順次、接続することを示す接続順序を生成
し、これを音声データ接続部１１に供給する。

【００４１】これにより、図５の（Ａ）、（Ｂ）に示す
接続例では、１つ目のブロックから８つ目のブロックま
でを順次、接続した時点で、（２）式に示す条件が満た
されることから、８つ目のブロックの次に接続されるべ
き９つ目のブロックが間引かれて、１０つ目のブロック
のうち、接続データの生成に用いた部分より後ろの部分
が接続される。なお、この図５に示す例では、４つ目の
ブロックが既に一度、間引かれている。

【００４２】また、音声データ接続部１１は、既に接続
した音声データなどの接続内容（既接続情報）を接続順
序生成部１０に供給しながら、この接続順序生成部１０
から出力される差ｔがゼロになるように伸縮倍率を適応
的に修正しながら、接続順序生成部１０から出力される
接続順序に基づき、ブロックデータ蓄積部７から出力さ
れるブロック単位の音声データと、接続データ蓄積部９
から出力される接続データとを接続し、これよって得ら
れた一連の音声データを一時的にバッファリングしなが
ら、Ｄ／Ａ変換部１２に供給する。

【００４３】Ｄ／Ａ変換部１２は、音声データを記憶し
てＦＩＦＯ形式で出力するメモリと、所定のサンプリン
グレートで前記メモリから音声データを読み出し、これ
をＤ／Ａ変換して音声信号を生成するＤ／Ａ変換回路を
備えており、音声データ接続部１１から出力される一連
の音声データを取り込んで、これをバッファリングしな
がらＤ／Ａ変換して音声信号を生成し、これを出力す
る。

【００４４】このように、この実施の形態では、ＶＴＲ
可変速度再生部２を制御して、録音時と異なる速度で音
声信号を再生したとき、サンプリング周波数変換部４に
よってＡ／Ｄ変換時のサンプリング周波数ｆi （Ｈｚ）
と、Ｄ／Ａ変換時のサンプリング周波数ｆo （Ｈｚ）と
をマッチングさせながら、ＶＴＲ可変速度再生部２の可
変速度比ｒと、音声の属性とに基づき、音声データを所
定の時間幅を有するブロック単位に分割して逐次補間、
または間引くことにより、ＶＴＲ可変速度再生部２で可
変速度再生された映像信号に、音声の提示タイミングを
同期させながら、音程が変化しない高品質な音声を出力
させるようにしている。このため、１／２倍速再生また
は２倍再生したときのように、可変速度の実用的な使用
範囲内で、可変速度再生された、音程が変化した音声を
取り込んで、音声の明瞭さを保ちながら、映像と高精度
に同期させた状態で、±１オクターブ程度の範囲で、音
程を元に戻すことができる（請求項１、５の効果）。

【００４５】また、この実施の形態では、正規の再生速
度に対する可変速度比ｒで、前記記録媒体から再生され
た音声信号をサンプリング周波数ｆi で、Ａ／Ｄ変換し
て得られた音声データをデジタル信号処理する際、前記
音声データの属性を分析処理し、次にこの分析処理で得
られた情報に基づき、前記音声データを所定の時間幅を
有するブロック単位に分割し、ブロック単位で逐次、補
間処理または間引き処理を行なって、データ長を逐次、
１／ｒ倍にする一連の処理を行なって音声データを作成
した後、前記サンプリング周波数ｆo で前記出力音声デ
ータをＤ／Ａ変換して音声信号を生成するようにしてい
る。このため、１／２倍速再生または２倍再生したとき
のように、可変速度の実用的な使用範囲内で、可変速度
再生された、音程が変化した音声を取り込んで、音声の
明瞭さを保ちながら、映像と高精度に同期させた状態
で、音声の接続部分を最適化させつつ、±１オクターブ
程度の範囲で、音程を元に戻すことができる（請求項
２、５の効果）。

【００４６】さらに、この実施の形態では、ＶＴＲ可変
速度再生部２から出力される音声信号の可変速度比ｒ
と、この音声信号をＡ／Ｄ変換するときに使用するサン
プリング周波数ｆi と、音声データをＤ／Ａ変換すると
きに使用するサンプリング周波数ｆo とが、 ｆi ／ｆo ＝ｒ を満たすときには、 ｆi ＝ｒｆo となるサンプリング周波数ｆi を使用し、また前記各サ
ンプリング周波数ｆi 、ｆo と、前記可変速度比ｒと
が、 ｆi ／ｆo ≠ｒ であるときには、サンプリング周波数変換係数ｃを含
む、 ｆi ＝ｒｆo ／ｃ となるサンプリング周波数ｆi を使用するようにしてい
る。Ａ／Ｄ変換部３と、ブロックデータ分割部６（分析
処理部５）との間に、サンプリング周波数変換部４を挿
入するという、従来から使用されている回路に対し、少
しの回路を付加するだけで、１／２倍速再生または２倍
再生したときのように、可変速度の実用的な使用範囲内
で、可変速度再生された、音程が変化した音声を取り込
んで、音声の明瞭さを保ちながら、映像と高精度に同期
させた状態で、音声の接続部分を最適化させつつ、±１
オクターブ程度の範囲で、音程を元に戻すことができる
（請求項３、５の効果）。

【００４７】さらに、この実施の形態では、ＶＴＲ可変
速度再生部２から出力される音声信号をサンプリング周
波数ｆi で、Ａ／Ｄ変換して得られた音声データをデジ
タル信号処理する際、接続順序生成部１０を構成する入
力データ長監視部２１によってブロックデータ蓄積部７
から出力されるブロック単位の長さを常に計算して、入
力データ長ｌｅｎｇ＿ｉｎを求めながら、出力データ目
標長演算部２２によって前記入力データ長ｌｅｎｇ＿ｉ
ｎと、ＶＴＲ可変速度再生部２から出力される可変速度
比ｒとに基づき、伸縮倍率（逆倍率）１／ｒを計算して
出力データ目標長ｔａｒｇｅｔ（ｔａｒｇｅｔ＝ｌｅｎ
ｇ＿ｉｎ／ｒ）を求めるとともに、出力データ長監視部
２３によって音声データ接続部１１から出力される既接
続情報に基づき、出力データ長ｌｅｎｇ＿ｏｕｔを求め
た後、比較部２４によってこれら出力データ目標長ｔａ
ｒｇｅｔと、出力データ長ｌｅｎｇ＿ｏｕｔとの差ｔ
（ｔ＝ｔａｒｇｅｔ−ｌｅｎｇ＿ｏｕｔ）を求め、これ
を音声データ接続部１１に供給して、この差ｔをゼロに
するように伸縮倍率を調整するようにしている。このた
め、１／２倍速再生または２倍再生したときのように、
可変速度の実用的な使用範囲内で、可変速度再生され
た、音程が変化した音声を取り込んで、音声の明瞭さを
保ちながら、音声と映像とのずれを完全に補正して、映
像と高精度に同期させた状態で、音声の接続部分を最適
化させつつ、±１オクターブ程度の範囲で、音程を元に
戻すことができる（請求項４、５の効果）。

【００４８】なお、上述した実施の形態においては、接
続順序生成部１０によって出力データ目標長ｔａｒｇｅ
ｔと、出力データ長ｌｅｎｇ＿ｏｕｔとの差ｔ（ｔ＝ｔ
ａｒｇｅｔ−ｌｅｎｇ＿ｏｕｔ）を求め、音声データ接
続部１１において、前記差ｔがゼロになるように、伸縮
倍率を適応的に修正制御させるようにしているが、ＶＴ
Ｒ可変速度再生部２から出力される時刻情報を音声デー
タ接続部１１に直接、フィードバックして、映像のタイ
ミングと、音声のタイミングとの一致がとれるように、
伸縮倍率を制御するようにしても良い。

【００４９】また、上述した実施の形態では、Ａ／Ｄ変
換部３で使用するサンプリング周波数ｆi と、Ｄ／Ａ変
換部１２のサンプリング周波数ｆo と、可変速度比ｒと
が所定の関係となるように、各サンプリング周波数ｆi
の周波数を決定するようにしているが、この際地上ＴＶ
放送または衛星放送Ａモードの周波数帯域幅（１５ｋＨ
ｚ）を確保するために、Ｄ／Ａ変換のサンプリング周波
数ｆo を３２ｋＨｚに固定するようにしても良い。同様
に、ＶＴＲ可変速度再生装置の再生速度にかかわらず、
出力音声の周波数帯域幅を一定にするためにも、Ｄ／Ａ
変換のサンプリング周波数ｆo を固定することが望まし
い。

【００５０】さらに、上述した実施の形態では、音声部
分だけに対し、伸縮処理、音程調整処理などの処理を行
なっているので、本発明の主要部を使用して、業務用Ｖ
ＴＲ装置の統一フォーマットによる制御用インタフェー
スを構成し、この制御用インタフェースを既存の業務用
ＶＴＲ装置に外付けして、上述した音程の復元処理を行
なうようにしても良い。

【００５１】これによって、現在、使用されているＶＴ
Ｒ装置の記録再生方式、例えばハイビジョン方式、ＮＴ
ＳＣ方式などを使用しているＶＴＲ装置でも、またどの
ような機種、例えばＨＤＤ−１０００、Ｄ５−ＶＴＲな
どの機種でも、上述した実施の形態の効果を得ることが
できる。

【００５２】

【発明の効果】以上説明したように本発明によれば、１
／２倍速再生または２倍再生したときのように、可変速
度の実用的な使用範囲内で、可変速度再生された、音程
が変化した音声を取り込んで、音声の明瞭さを保ちなが
ら、映像と高精度に同期させた状態で、音声の接続部分
を最適化させつつ、かつ±１オクターブ程度の範囲で、
音程を元に戻すことができる。

【００５３】また、従来から使用されている回路に対
し、少しの回路を付加するだけの簡単な構成で装置を実
現することが可能となる。

【図面の簡単な説明】

【図１】本発明による音声処理方法、音声処理装置およ
び記録再生装置を使用した音声付きＶＴＲ可変速度再生
装置の概要を示すブロック図である。

【図２】図１に示す接続データ生成部の接続データ生成
動作例を示す模式図である。

【図３】図１に示す接続順序生成部内にある時間情報監
視動作部分の詳細な回路構成例を示すブロック図であ
る。

【図４】図１に示す音声付きＶＴＲ可変速度再生装置を
「ゆっくり」にしたときにおける、接続順序生成部のブ
ロック接続指示動作例を示す模式図である。

【図５】図１に示す音声付きＶＴＲ可変速度再生装置を
「速く」にしたときにおける、接続順序生成部のブロッ
ク接続指示動作例を示す模式図である。

【符号の説明】

１：音声付きＶＴＲ可変速度再生装置（記録再生装置） ２：ＶＴＲ可変速度再生部 ３：Ａ／Ｄ変換部 ４：サンプリング周波数変換部 ５：分析処理部 ６：ブロックデータ分割部 ７：ブロックデータ蓄積部 ８：接続データ生成部 ９：接続データ蓄積部 １０：接続順序生成部 １１：音声データ接続部 １２：Ｄ／Ａ変換部 ２１：入力データ長監視部 ２２：出力データ目標長演算部 ２３：出力データ長監視部 ２４：比較部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−103704（ＪＰ，Ａ) 特開 平６−259093（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G11B 20/10

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 記録媒体に音声信号を記録したときの速
   度と異なる再生速度で、前記記録媒体上の音声信号を再
   生する際に、再生された音声信号の音程を調整する音声
   処理方法において、 正規の再生速度に対する可変速度比ｒで、前記記録媒体
   から再生された音声信号をＡ／Ｄ変換して音声データに
   するときのサンプリング周波数ｆi と、前記音声データ
   をデジタル信号処理した後にＤ／Ａ変換して音声信号に
   するときのサンプリング周波数ｆo と、前記速度比ｒと
   が、 ｆi ／ｆo ＝ｒ を満たすときには、 ｆi ＝ｒｆo となるサンプリング周波数ｆi を使用し、 ｆi ／ｆo ≠ｒ であるときには、サンプリング周波数変換係数ｃを含む ｆi ＝ｒｆo ／ｃ となるサンプリング周波数ｆi を使用する、 ことを特徴とする音声処理方法。
2. 【請求項２】 記録媒体に音声信号を記録したときの速
   度と異なる再生速度で、前記記録媒体上の音声信号を再
   生する際に、再生された音声信号の音程を調整する音声
   処理方法において、 正規の再生速度に対する可変速度比ｒで、前記記録媒体
   から再生された音声信号をＡ／Ｄ変換して音声データに
   するときのサンプリング周波数ｆi と、前記音声データ
   をデジタル信号処理した後にＤ／Ａ変換して音声信号に
   するときのサンプリング周波数ｆo と、前記速度比ｒと
   が、 ｆi ／ｆo ＝ｒ を満たすときには、 ｆi ＝ｒｆo となるサンプリング周波数ｆi を使用し、 ｆi ／ｆo ≠ｒ であるときには、サンプリング周波数変換係数ｃを含む ｆi ＝ｒｆo ／ｃ となるサンプリング周波数ｆi を使用すると共に、 当該サンプリング周波数ｆi でＡ／Ｄ変換して得られた
   音声データをデジタル信号処理する際、 前記音声データの属性を分析処理し、次にこの分析処理
   で得られた情報に基づき、前記音声データを所定の時間
   幅を有するブロック単位に分割し、ブロック単位で逐
   次、補間処理または間引き処理を行なって、データ長を
   逐次、１／ｒ倍にする一連の処理を行なって出力音声デ
   ータを作成した後、 前記サンプリング周波数ｆo で前記出力音声データをＤ
   ／Ａ変換して音声信号を生成する、 ことを特徴とする音声処理方法。
3. 【請求項３】 請求項１または２に記載の音声処理方法
   において、 前記サンプリング周波数ｆi でＡ／Ｄ変換して得られた
   音声データをデジタル信号処理する際、 前記記録媒体から読み出される音声信号の時刻情報と前
   記一連の処理を経て得られた出力音声データの時刻情報
   とを監視し、前記音声信号と前記出力音声データとの間
   に発生する時間のずれを補正する、 ことを特徴とする音声処理方法。
4. 【請求項４】 記録媒体に音声信号を記録したときの速
   度と異なる再生速度で、前記記録媒体上の音声信号を再
   生する際に、再生された音声信号の音程を調整する音声
   処理装置において、 前記記録媒体から再生された音声信号をサンプリング周
   波数ｆi でＡ／Ｄ変換するＡ／Ｄ変換手段と、 Ａ／Ｄ変換して得られた音声データに対して属性に基づ
   く分析処理を行なう分析処理手段と、 この分析処理で得られた情報に基づき、前記音声データ
   を所定の時間幅を有するブロック単位に分割するブロッ
   クデータ分割手段と、 分割されたブロック単位で逐次、補間処理または間引き
   処理を行なって、データ長を１／ｒ倍（ｒ；正規の再生
   速度に対する可変速度比）にする一連の処理を行なって
   出力音声データを作成する出力音声データ作成手段と、 作成された出力音声データをサンプリング周波数ｆo で
   Ｄ／Ａ変換して映像と同期した音声を出力する音声出力
   手段と、 前記Ａ／Ｄ変換するときのサンプリング周波数ｆi と、
   前記音声データをＤ／Ａ変換して音声信号にするときの
   サンプリング周波数ｆo と、前記速度比ｒとがｆi ／ｆ
   o ＝ｒを満たすときには、ｆi ＝ｒｆo となるサンプリ
   ング周波数ｆiを設定し、ｆi ／ｆo ≠ｒであるときに
   は、サンプリング周波数変換係数ｃを含むｆi ＝ｒｆo
   ／ｃとなるサンプリング周波数ｆi を設定するサンプリ
   ング周波数設定手段と、 を具備することを特徴とする音声処理装置。
5. 【請求項５】 請求項４に記載の音声処理装置におい
   て、 前記出力音声データ作成手段は、前記記録媒体から読み
   出される音声信号の時刻情報と前記一連の処理を経て得
   られた出力音声データの時刻情報とを監視し、前記音声
   信号と前記出力音声データとの間に発生する時間のずれ
   を補正する手段を含むことを特徴とする音声処理装置。
6. 【請求項６】 請求項４または５のいずれかに記載され
   た音声処理装置を含むことを特徴とする記録再生装置。