WO1998041976A1 - Procede et dispositif permettant de modifier la vitesse des sons vocaux - Google Patents

Description

明 細 書 話速変換方 法お よ びそ の 装置 技術分野

本発 明 は 、 テ レ ビ ジ ョ ン 、 ラ ジ オ 、 テ ー プ レ コ ー ダ、 ビデオ テー プ レ コ ー ダ、 あ る い は ビデオデ ィ ス ク プ レ一 ャ な ど 、 各種 の 映像機器 、 音響機器、 医療機器な ど で使 用 さ れ る 話速変換方法お よ びそ の 装置 に 関 し 、 特 に 発話 者 の音声 を 加工 し て 、 受聴者 の 受聴能力 に 音声ス ピー ド を フ ィ ッ ト さ せた話速変換音声 を 得 る 話速変換方法お よ びそ の 装置 に 関す る 。 背景技術

一般 に 、 例 え ば一方 の者 （発話者） の話 を 、 他方 の者 (受聴者） が 聞 く 場合 に お い て 、 加齢や何 ら か の 障害 な ど に よ っ て 、 受聴者 の 音声識別 臨界速度 （音 声 を 正確 に 識別 で き る 最大 の話速） な ど の 受聴能 力 が低下す る と 、 当 該受聴者 は通常 の速 さ の 音声や早 口 で話 さ れ る 音声 を 識別す る こ と が困難 に な る こ と が多 い 。 こ の よ う な 場合 通常 い わ ゆ る 補聴器 に よ っ て 上記受聴者 の 受聴能力 を 補 う よ う に し て レ る 。

と こ ろ が 、 こ の よ う な 受聴能 力 の 低下 も し く は聴 力 障 害 を 持 つ 人 の た め の 従来 の 補聴器 は 、 単 に 周 波数特性 の 改善 、 利得制御 な ど に よ っ て聴覚 系 の外耳 、 中 耳 の 伝達 特性 の み を 補償す る も の で あ る た め 、 主 と し て 、 聴覚 中 枢 の 劣化 が関与す る 音 声 の 識別能 力 の 低下 を 補償す る こ と がで き な い と い う 問 題 が あ っ た 。

こ の よ う な こ と か ら 、 最近 は 、 発話者 の 音 声 を 加工 し て 、 ほ ぼ リ ア ル タ ィ ム で受聴者 の 受聴能 力 に 音声 ス ピ ー ド を フ イ ッ ト さ せて補聴 を 行な う 話速制御型 の補聴装置 が考 え ら れて い る

こ の 話速制御型 の補聴装置で は、 発話者 の音声 を 時間 的 に 伸長す る 処理 を 行な い 、 こ の 伸長処理 で得 ら れた 音 声 を 出 力 ッ フ ァ メ モ リ に 逐次 、 蓄積 し て 出 力 す る こ と に よ り 、 発話者 の 話速 を 変化 （遅 く ） さ せ 、 受聴者 の 受 聴能 力 の 低下 を 補償す る 。

し か し な が ら 、 上述 し た従来 の 話速制御型 の補聴器 に お い て は 、 次 に述ベ る よ う な 問題が あ っ た 。

ま ず 、 従来 の 話速制御型 の補聴器 は、 上述 し た よ う に 入力 さ れた音声デ一 夕 を 伸長処理 し た後、 こ の伸長処理 で得 ら れた 音声デ一 夕 を 出 力 バ ッ フ ァ メ モ リ に逐次 、 蓄 積 し て か ら 出 力 す る た め 、 例 え ば受聴途 中 で話速 を 、 よ り 遅 く し た い 場合や元 に 戻 し た い 場合 で も 、 出 力 バ ッ フ ァ メ モ リ に 蓄積 さ れて い る 音声デー タ を 全て 出 力 し て し ま ラ ま で 、 話速 を元 に 戻す こ と がで き な い 。

こ の た め 、 受聴途 中 で話速 を 戻す 際 、 現在 の 話速 が元 に 戻 る ま で 、 か な り 長 い タ イ ム デ ィ レ ー が発 生 し て し ま

•5 と い う 問題 が あ つ た 。

ま た 、 こ の よ う な従来 の 話速制御型 の補聴器 は 、 上述 し た よ う な 受聴能 力 が低下 し た 受聴者 の み な ら ず、 通常 の 受聴能 力 を 有す る 受聴者 、 例 え ば外 国語 を 聴取す る よ う な 場合 に お い て も 、 そ の 受聴能 力 を 補 う た め に 、 話速 を 変化 （遅 く ） さ せ る 用 途 に も 使用 で き る 。 し か し 、 こ の 場合 に も 上記 同様 に 、 受聴途 中 で話速 を 変更す る 際 、 タ イ ム デ ィ レ ー が発 生 し て し ま う と レゝ ぅ 問題があ っ た 。

本発 明 は上記 の事情 に 鑑み 、 受聴者 の操作 に応 じ て 、 出 力 音声 の話速 を 瞬時 に 追従 さ せ る こ と がで き 、 こ れ に よ っ て受聴者側 の使 い勝手 を 大 幅 に 向 上 さ せ る こ と がで き る 話速変換方法お よ びそ の 装置 を 提供す る こ と を 目 的 と し て い る 。 発 明 の 開 示

上記 目 的 を 達成す る た め 、 請求 の 範 囲 第 1 項 に 記載 の 発 明 は 、 入 力 さ れた 音声 デ— 夕 に対 し て 、 属性 に 基づ く 分析処理 を 施 し 、 こ の 分析処理で得 ら れた情報 に 基づ い て 前記音声デ一 々 所定 の 時 間 幅 を 有す る ブ ロ ッ ク 単位 に分割 し 、 こ れ を ブ ロ ッ ク 音声デ一 夕 と し て蓄積 し 、 前 記音声デー タ の 時 間 的な 伸長 を 実現す る た め に 、 隣 り 合 ぅ ブ ロ ッ ク 音 声デー 夕 間 に お い て 置換 ま た は挿入すべ き 接続デ― タ を 各 プ ロ ッ ク 毎 に 生成 し て蓄積 し 、 受聴者 の 操作 に 応 じ た 任意 の 音 声 ス ピ 一 ド に 対応す る 出 力 音声デ 一 夕 を 生成す る た め の ブ ロ ッ ク 接続順序 を 生成 し 、 こ の 接続順序 に し た ifi つ て 、 既 に ブ ロ ッ ク 単位 に 分割 さ れて 蓄積 さ れて い る ブ 口 ッ ク 音 声デー タ お よ び接続 う 夕 を 順次 、 接続 し て 出 力 音声 デ一 夕 を 生成す る こ と を 特徴 と す る 。

こ れ に よ り 、 受聴者 の 操作 に応 じ て 、 出 力 音声 の 話速 を 瞬時 に 追従 さ せ、 受聴者側 の使 い勝手 を 大幅 に 向 上 さ せ る 。

請求 の 範囲第 2 項 に 記載 の発 明 は、 請求 の範囲第 1 項 に 記載 の発 明 に お い て 、 前記接続デー タ は、 各 ブ ロ ッ ク 毎 に 、 当 該 ブ ロ ッ ク の 開 始部分 に あ る 音声デ一 夕 、 直後 ブ ロ ッ ク の 開始部分 に あ る 音声デー タ に対 し 、 所定時 間 長 の 間 に 所定線 を 有す る 2 つ の 窓 を使用 し てそれぞれ窓 掛 け を 行な っ た後、 直後 ブ ロ ッ ク の 開始部分 と 、 当 該 ブ ロ ッ ク の 開 始部分 と を 重複加算す る こ と に よ り 、 生成 さ れ る こ と を 特徴 と す る 。

ま た 、 上記 目 的 を達成す る た め 、 請求 の 範 囲第 3 項 に 記載 の 発 明 は、 入 力 さ れた音声デー タ に対 し て 、 属性 に 基づ く 分析処理 を行 な う 分析処理部 と 、 こ の 分析処理部 の分析結果 に応 じ て 音声 デー タ を 所定 の 時間 幅 を 有す る ブ ロ ッ ク 単位 に 分割す る ブ ロ ッ ク デー タ 分割部 と 、 こ の ブ ロ ッ ク デー タ 分割部で分割 さ れた デー タ を ブ ロ ッ ク 音 声デー タ と し て蓄積す る ブ ロ ッ ク デー タ 蓄積部 と 、 前記 ブ ロ ッ ク デー タ 分割部で得 ら れた 各 ブ ロ ッ ク 音声デー タ を 使用 し て 隣 り 合 う ブ ロ ッ ク 音 声デー タ 間 に お い て置換 ま た は挿入可能 な接続デー タ を 生成す る 接続デー タ 生成 部 と 、 こ の 接続デー タ 生成部で 生成 さ れた 接続デ一 夕 を 蓄積す る 接続デー タ 蓄積部 と 、 設定 さ れた 音 声ス ピ ー ド に対応す る 条件 に 基づき 、 前記 ブ 口 ッ ク 音声 テ 一 夕 と BIJ 記接続 夕 と の 接続順序 を 生成す る 接続順序生成部 と の 接続順序生成部で得 ら れた 接続順序 に 基づき 、 前記 ブ □ ッ ク デ一 夕 蓄積部 に 蓄積 さ れて い る ブ ロ ッ ク 音声デ

つ

― 夕 と 刖 BC接続デ一 夕 蓄積部 に 蓄積 さ れて い る 接続デー 夕 と を 順次 、 接続 し て 一連 の 音声デー タ を 生成す る 音声 一 夕 接続部 と 、 を 備 え た こ と を特徴 と す る

請求 の 範 囲第 4 項 に 記載 の 発 明 は、 請求 の 範 囲第 3 項 に記載 の 発 明 に お い て 、 HU 己接続デー 夕 生成部 は 、 各 ブ Π ッ ク 毎 に 該 ブ ロ ッ ク の 開 始部分 に あ る 音声デー タ 後 ブ D ッ ク の 開始部分 に あ る 音声デ— 夕 に 対 し 、 所定 時 間長 の 間 に 所定線 を有す る 2 つ の 窓 を 使用 し て窓掛 け を 行な つ た後 、 直後 ブ ロ ッ ク の 開 始部分 と 、 当 該 ブ ロ ッ ク の 開 始部分 と を 重複加算す る こ と に よ り 、 前記接続デ 一 夕 を 生成す る こ と を 特徴 と す る 。

請求 の 範 囲第 5 項 に 記載 の 発 明 は 、 請求 の 範 囲第 3 項

つ

記載 の 発 明 に お い て 、 刖 目 d接続順序生成部 は 、 各属性 の 時 間 的な 伸長倍率 を 記憶す る 書 き 換 え 可能な メ モ リ と 、 所定 の 時 間 間 隔で 、 HU § 書 き 換 え 可能 な メ モ リ に 記 さ れて い る 各属性毎 の 時 間 的 な 伸長倍率 を 読み 出 す と と も に れ ら の 各伸長倍率 、 ブ ロ ッ ヮ っ 夕 蓄積部か ら 出 力 さ れ る ブ □ ッ ク 長 、 及び音声デ — 夕 接続部か ら 出 力 さ れ る 既接続情報 に 基づ き 、 前記 フ ロ ッ ク 音声デー タ と 前記接続つ 夕 と の接続順序 を 、 時 々 亥 IJ 々 、 生 成す る 接続順序決定処理部 と 、 を ½ え る こ と を 特徴 と す る 。 こ れ に よ り 、 受聴者 の 操作 に 応 じ て 、 出 力 音声 の 話速 を 瞬時 に 追従 さ せ 、 受聴者側 の 使 い 勝手 を 大 幅 に 向 上 さ せ る 。 図面 の簡単な 説 明

図 1 は 、 本発 明 に よ る 話速変換方法お よ びそ の 装置 の 実施 の形態 と な る 話速変換装置 の 一例 を 示す プ ロ ッ ク 図 で あ る 。

図 2 は 、 図 1 に示す接続デー タ 生成部で行 わ れ る 接続 デー タ の 生成過程例 を 示す模式 図 で あ る 。

図 3 は 、 図 1 に 示す接続順序生成部で行わ れ る 接続順 序 の 生成過程例 を 示す模式 図 で あ る 。 発 明 を 実施す る た め の最 良 の 形態

図 1 は、 本発 明 に よ る 話速変換装置 の実施 の 形態 を 示 す ブ ロ ッ ク 図 で あ る

こ の 図 に 示す話速変換装置 1 は、 入 力 さ れ た音声信号

、、、

ア ン タ リレ の 音声デ一 夕 に 変換す る A / D 変換部 2 と 、 音声デ一 夕 の 属性 を 分析す る 分析処理部 3 と 、 音声デー 夕 を ブ □ ッ ク 単位 に 分割 し て ブ ロ ッ ク 音声デー タ を 生成 す る ブ □ ッ ク デー タ 分割部 4 と 、 プ ロ ッ ク 音 声デー タ を 蓄積す る ブ 口 ッ ク テ 一 夕 蓄積部 5 と 、 ブ ロ ッ ク 音 声デー 夕 を接 jC 9 る 際 に必要な 接続デ一 夕 を 生成す る 接続デ一 夕 生成部 6 と 、 接続デー タ を 蓄積す る 接続デー タ 蓄積部 7 と 、 ブ 口 ッ ク 音声 デー タ と 接続デー 夕 と の 接続順序 を 生 成す る 接続順序生成部 8 と 、 接続順序 に 基 づき 、 各 ブ ロ ッ ク 音 声デー タ と 各接続デ一 夕 と を 接続 し て一連 の 音 声デー タ を 生成す る 音声デー タ 接続部 9 と 、 一連 の 音 声 デー タ を 音声信号 に 変換す る D Z A 変換部 1 0 と を備 え て い る 。

そ し て 、 こ の 話速変換装置 1 は 、 発話者 に よ っ て 入 力 さ れた 音声デー タ に対 し て 、 属性 に 基づ く 分析処理 を 施 し 、 こ の 分析処理で得 ら れた分析情報 に応 じ て 、 音声デ

— 夕 を 所定 の 時間幅 を 有す る ブ ロ ッ ク 単位 に 分割 し て蓄 積す る と と も に 、 音声デー 夕 の 時間 的 な伸長 を 実現す る た め に 、 隣 り 合 う ブ ロ ッ ク 音声デー 夕 間 に お い て置換 ま た は挿入すべ き 音声デ一 夕 を 各 ブ ロ ッ ク 毎 に 生成 し て蓄 積す る 。 ま た 、 受聴者 の 操作 に応 じ た任意 の 音声 ス ピ ー ド に 対応す る 出 力 音 声デー 夕 を 生成す る た め の ブ ロ ッ ク 接続順序 を 生成 し 、 こ の 接続順序 に し た 力 S つ て 、 既 に ブ □ ッ ク 単位 に 分割 さ れて 蓄積 さ れて い る 音声 デー タ （ ブ ロ ッ ク 音声デー タ ) お よ び既 に 蓄積 さ れて い る 接続部 の 置換 · 揷入音声デ一 夕 （接続デー タ ) を 順次 、 接続 し て 出 力 音 声デ ― 々 を 生成す る こ と に よ り 、 受聴者 の 操作 に 応 じ て 、 出 力 音声 の 話速 を 瞬時 に 追従 さ せ る

A / D 変換部 2 は 、 入 力 さ れた音 声信号 を 所定 の サ ン プ リ ン グ レ一 卜 （例 え ば、 3 2 k H z ) でサ ン プ リ ン グ し て 、 A / D 変換す る A Z D 変換回 路 と 、 こ の A / D 変 換 回路 か ら 出 力 さ れ る デ ジ タ ル の音 尸 タ を 取 り 込 ん で記憶す る と と ち に 、 F I F 0 形式で 出 力 す る F I F 〇 メ モ リ と を 備 え てお り 、 入 力 端子 に 入 力 さ れた 発話者側 の音声信号 、 例 え ばマ イ ク ロ ホ ン 、 テ レ ビ ジ ョ ン 、 ラ ジ ォ あ る はそ の他 の 映像機器 、 音響機器な ど の ア ナ ロ グ音 声 出 力 端子か ら 出 力 さ れ る 音声信号な ど の音 声信号 を取 り 込 ん で 、 A / D 変換 し 、 こ れ に よ つ て得 ら れた音声デ 一 夕 を バ ッ フ ァ リ ン グ し な が ら 、 分析処理部 3 と 、 プ ロ ッ ク デー タ 分割部 4 と に 供給す る 。

分析処理部 3 は 、 A Z D 変換部 2 か ら 出 力 さ れ る 音声 デ一 夕 を 取 り 込む入 力 処理 、 こ の 入 力 処理で得 ら れた音 声デ一 夕 のサ ン プ リ ン グ レ ー ト を 4 k H z ま で落 と し て 以後 の処理量 を 低減 さ せ る デ シ メ 一 シ ヨ ン処理 、 A ノ D 変換部 2 か ら 出 力 さ れ る 音声デー タ お よ び前記デ シ メ ー シ ヨ ン処理 で得 ら れた音声 デー タ を 分析 し て 、 有声音 、 無声音 、 無音 に 区分す る 属性分析処理 、 こ の 属性分析処 理で得 ら れた 有 声音 、 無声音 、 無音毎 に 、 自 己相 関分析 を 行な っ て 周 期性 を検出 し 、 こ の検 出 結果 に 基づき 、 音 声デー タ を 分割す る の に 必要な ブ ロ ッ ク 長 （ ブ ロ ッ ク 単 位 の繰 り 返 し に 起 因す る 声 の 高 さ の変化 、 例 え ば低 い 声 に な る な ど の 不都合 を 防止す る の に 必要な ブ ロ ッ ク 長） を 決定す る ブ ロ ッ ク 長決定処理 、 を 順次行な い 、 こ れ に よ っ て 得 ら れた 分割情報 （有声音 、 無声音 、 無音毎 の ブ ロ ッ ク 長） を ブ ロ ッ ク デー タ 分割部 4 に 供給す る 。

こ の 場合 、 前記属性分析処理 で は 、 A Z D 変換部 2 か ら 出 力 さ れ る 音声デー タ に つ い て 、 3 0 m s 前後 の 窓幅 を 使用 し て 、 デー タ の 自 乗和 を 計算 し 、 5 m s 前後 の 間 隔で 、 音 声 デ一 夕 の パ ワ ー 値 P を 算 出 す る と と も に 、 こ の ノ \° ヮ 一 値 P と 、 予 め 設定 さ れて い る し き い 値 P _m i _n と を 比較 し 、 " P < P _m i _π " を 満 た す部分 を 無音 区 間 と 判定 し 、 " P _m i _π ≤ Ρ " を 満 たす部分 を 有 声音 区 間 、 無声音 区 間 と 判定 す る 。 こ の後 、 A Z D 変換部 2 か ら 出 力 さ れ る 音声デー タ に 対 し 、 ゼ ロ 交差分析 、 前記デ シ メ 一 シ ョ ン処理で得 ら れた音声デー タ に対す る 自 己相 関 分析な ど を 行な い 、 こ れ ら の 各分析結果 と 、 パ ワ ー値 P と に 基づき 、 音声デ一 夕 の う ち 、 " P _{m ; n} ≤ P " を 満 たす部分が声帯 の振動 を 伴 う 音声 区 間 （有 声音 区 間 ） で あ る か 、 声帯 の振動 を伴わ な い 音声 区 間 （無声音 区 間） で あ る か を 判 定す る 。 な お 、 A Z D 変換部 2 か ら 出 力 さ れ る 音声デー タ の 各属性 と し て 、 雑音や 音楽な ど の 背景音 と い う 属性 も 考 え ら れ る が、 一般的 に は 、 雑音や 背 景音 の 信号 と 音声信号 と を 正確 に 自 動判 別す る こ と が 難 し い こ と か ら 、 雑音 、 背 景音 も 有声音 、 無声音 、 無音 の い ずれか に 分類す る 。

ま た 、 前記 ブ ロ ッ ク 長決定処理で は 、 前記属性分析処 理で有 声音 区 間 と 判 定 さ れ た音 声デー タ に つ い て は 、 有 声音 の ピ ッ チ周 期 が分布 し て い る 1 . 2 5 m s 〜 2 8 . 0 m s 程度 の広 い 範 囲 に わ た り 、 長短異な る 窓幅 の 自 己 相 関分析 を 行 な っ て 、 で き る だ け正確な ピ ッ チ周期 （ 声 帯 の 振動周 期 で あ る ピ ッ チ周 期 ） を検 出 し 、 こ の検 出 結 果 に 基づき 、 各 ピ ッ チ周 期 が各 々 の ブ ロ ッ ク 長 と な る よ う に ブ ロ ッ ク 長 を 決定 し 、 ま た 前記属性分析処理で 無 声 音 区 間 、 無音 区 間 と 判 定 さ れた 区 間 に つ い て は、 1 0 m S 以 内 の 周 期性 を検 出 し 、 こ の検 出 結果 に 基づき ブ ロ ッ ク 長 を 決定 し 、 こ れ ら 有 声音 区 間 、 無声音 区 間 、 無音 区 間 の 各 ブ ロ ッ ク 長 を 分割情報 と し て ブ ロ ッ ク デー タ 分割 部 4 に 供給す る 。

ブ □ ッ ク デー タ 分割部 4 は 、 分析処理部 3 か ら 出 力 さ れ る 分割情報で示 さ れ る 有声音 区 間 の ブ ロ ッ ク 長 、 無声 音 区 間 の の ブ ロ ッ ク 長 、 無音 区間 の ブ ロ ッ ク 長 に基づき A / D 変換部 2 力 ら 出 力 さ れ る 音声デー タ を 分割 し 、 こ の 分割処理 に よ っ て得 ら れた ブ ロ ッ ク 単位 の 音声デー タ ( ブ □ ッ ク 音声デー 夕 ） と 、 こ の音声デー タ の ブ ロ ッ ク 長 と 、 を ブ ロ ッ ク デ— 夕 蓄積部 5 お よ び接続デー タ 生成 部 6 に 供給す る 。

ブ ロ ッ ク う タ 蓄積部 5 は、 リ ン グバ ッ フ ァ を 備 え て お り 、 ブ 口 ツ ク ^ 夕 分割部 4 か ら 出 力 さ れ る ブ ロ ッ ク 音声デー タ ( ブ ロ ッ ク 単位 の 音声デ一 夕 ） と 、 こ の 音声 つ 夕 の ブ ロ ッ ク 長 と を 取 り 込み、 こ れ ら を 前記 リ ン グ ハ、 ッ フ ァ に 一時 TS、 し な が ら 、 一時記憶 し て い る 各 プ ロ ッ ク 長 を 適宜、 読み 出 し 、 こ れ を 接続順序生成部 8 に 供 給す る と と も に 、 一時記憶 し て い る ブ ロ ッ ク 音声デー タ 宜 、 読 み 出 し 、 こ れ を 音声デー タ 接続部 9 に 供給す る 。

ま た 、 接続デー タ 生 成部 6 は 、 ブ ロ ッ ク デー タ 分割部 4 か ら 出 力 さ れ る ブ ロ ッ ク 音声デ一 夕 を 取 り 込 み 、 各 ブ ロ ッ ク 毎 に 、 図 2 に 示す如 く 、 当 該 ブ ロ ッ ク の 開 始部分 に あ る 音 声テ 一 夕 、 直後 ブ Π ッ ク の 開 始部分 に あ る 音声 つ 夕 に 対 し 、 時 間長 d ( m s ) の 間 に 直線 的 に 変化す る A 窓 、 B 窓 を 使用 し て窓掛 け を 行な つ た 後 、 直後 ブ 口 ッ ク の 開始部分 と 、 当 該 ブ Π ッ ク の 開始部分 と を 重複加

■、、

算 し 、 時 間長 d ( m s ) の接続つ— タ を 生成 し 、 こ れ を 接続デー タ 蓄積部 7 に 供給す る 。 時 間長 d と し て は 、 [ 0 . 5 ( m s ) ] 〜 [ 当 該 ま た は直後 の ブ 口 ッ ク の ブ o ッ ク 長 の う ち 短 い 方 ] の 値が選択で き る が 、 短 い 方が 接続デー タ 蓄積部 7 の バ ッ フ ァ の 容量が少 な く てすむ 。 ま た 、 接続デー タ 蓄積部 7 は 、 U ン グバ ッ フ ァ を 備 え て お り 、 接 n 1— 夕 生成部 6 か ら 出 力 さ れ る 接続デー タ を取 り 込み 、 こ れ を 前記 リ ン グハ、 ッ フ ァ に 一時 憶 し な

_

が ら 、 ~ '時 Pし fe し て い る 各接続つ 夕 を 適宜読み 出 し 、 こ れ を 音声デー タ 接続部 9 に 供給す る 。 ま た 、 接続順序生成部 8 は 、 受聴者 に よ つ て 丁 ジ 夕 リレ な ど の デ ジ 夕 ル - τ

ボ リ ュ 一 ム 器が操作 さ れて入力 さ れ た 、 各属性毎 の 時 間 的な 伸長倍率 を 記憶す る 書 き換 え 可 能な メ モ リ と 、 予 め 設定 さ れて い る 所定 の 時 間 間 隔 、 例 え ば 1 0 0 m s 刖 後 の 時 間 間 隔で 、 刖 記書 き 換 え 可能 な メ モ リ に 記憶 さ れて い る 各属性毎 の 時間 的な 伸長倍率 を み 出 す と と も に 、 こ れ ら の 各伸長倍率 、 ブ 口 ッ ク デー 夕 蓄積部 5 か ら 出 力 さ れ る 各 ブ ρ ッ ク 長お よ び音 ¹ 7 夕 接続部 9 か ら 出 力 さ れ る 既接続情報 に 基づ き 、 各 ブ ロ ッ ク 単位 の 音声デ一 夕 と 、 各 ブ ッ ク 単位 の 接続デー タ と の 接続 ^頓序 （受聴者が設定 し た所望 の 話速 を 実現す る の に必要な接続順序） を時々 刻 々 、 生成す る 接続順序決 定処理部 と を備え て い る 。

そ し て 、 有声音区 間、 無声音区間、 無音区間が順次、 入れ替わ つ て 出現す る音声信号が入力 さ れて い る 状態で 図 3 に示す如 く 音声デー タ 接続部 9 か ら 出 力 さ れる 既接 続情報で、 ブ ロ ッ ク 音声デー タ の属性が切 り 替わ つ た こ と が検知 さ れた り 、 同 じ属性の ブ ロ ッ ク 音声デー タ が接 続さ れ続けて いて も 、 前記書き換え可能な メ モ リ か ら 読 み出 し た前記プ ロ ッ ク 音声デー タ の伸長倍率が変更 さ れ て い る こ と が検知 さ れた と き 、 接続順序の 生成工程の 開 始条件が整っ た と 判定 さ れ、 こ の と き の時刻が時刻 T 。 に決定 さ れる 。

こ の後 、 こ の時刻 T 。 を 開始時刻 と し て、 ブ ロ ッ ク デ 一 夕 蓄積部 5 か ら 音声デ 一 夕 接続部 9 に対 し て既 に 出 力 さ れた話速変更前の ブ ロ ッ ク 音声デー タ の ブ ロ ッ ク 長 を全て加算 し た総和 を " S i " 、 既 に接続 さ れた ブ ロ ッ ク 音声デ— 夕 の プ ロ ッ ク 長 を全て加算 し た総和 を " S

。 " と し 、 目 的の伸長倍率 を " r " (但 し 、 r ≥ 1 . 0 ) と し 、 最後 に接続さ れた ブ ロ ッ ク 音声デ一 夕 の プ ロ ッ ク 長 を " L " と し 、 次式 に示す条件が成 り 立つ 夕 イ ミ ン グで、

L 2 < S S [ 1 ] 接続デー 夕 蓄積部 7 か ら 出 力 さ れる 接続デー タ の う ち 、 最後 に接続 さ れた ブ ロ ッ ク に対応す る 接続デ一 夕 を置換 挿入 し た後、 最後 に接続 さ れた ブ ロ ッ ク の う ち 接続デー 夕 生成 に 用 い た 部分 よ り 後 ろ の 部分 を 再度 、 繰 り 返 し て 接続 し 、 こ の ブ ロ ッ ク の 後 に 、 残 り の ブ ロ ッ ク を 順次 、 接続す る こ と を 示す接 z順序 を 生成 し 、 こ れ を 音声デー 夕 接続部 9 に 供給す る 。

こ れ に よ り 、 図 3 に 示す例 で は、 プ ロ ッ ク （ 1 ) か ら ブ ロ ッ ク ( 8 ) ま で を順次 、 接続 し た 時点で 、 [ 1 ] 式 に示す条件が満た さ れ る こ と 力ゝ ら 、 ブ ロ ッ ク （ 8 ) の後 に 、 こ の ブ ロ ッ ク ·（ 8 ) に 対応す る 接続デー タ が置換、 挿入 さ れて 、 ブ ロ ッ ク （ 8 ) の う ち 接続デー タ 生成 に 用 い た部分 よ り 後 ろ の部分が繰 り 返 し 接続 さ れ る 。 な お 、 こ の 図 3 に 示す例 で は、 ブ ロ ッ ク （ 4 ) が既 に 一度 、 繰 り 返 し 接続 さ れて い る 。

音声 デ一 夕 接続部 9 は 、 既 に接 fee し /こ ブ 口 ッ ク 音声デ 一 夕 な ど の接続 内容 を既接続情報 と し て 、 接続順序生成 部 8 に 供給 し な が ら 、 接 hz順序 生成部 8 か ら 出 力 さ れ る 接続順序 に基づ き 、 ブ 口 ッ ク デ一 夕 蓄積部 5 か ら 出 力 さ れ る ブ 口 ッ ク 音声デ一 夕 と 、 接続デー タ 蓄積部 7 力ゝ ら 出 力 さ れ る 接続デー タ と を 接 し て の音声デー タ を 生成 し 、 こ れ に よ つ て得 ら れた ー連 の 音声 デー 夕 を パ' ッ フ ア リ ン グ し な 力 S ら 、 D / Α 変換部 1 0 に 供給す る 。

、、

D / A 変換部 1 0 は 、 音 尸 つ 夕 を 記憶 し て F I F O 形式で 出 力 す る メ モ U と 、 所定 のサ ン プ リ ン グ レ ー 卜 (例 え ば、 3 2 k H z ) で ffj 記 メ モ リ か ら 音 声了 ― タ g み 出 し て 、 こ れ を D / A 変換 し て音声 に す る D / A 変換 回路 と を 備 え て お り 、 音 声デ一 夕 接続部 9 力ゝ ら 出 力 さ れ 一連 の音声デー 夕 を 取 り 込 ん で 、 こ れ を ノ ' ッ フ ア リ ン グ し な が ら 、 D Z A 変換 し 、 こ れ に よ っ て得 ら れ た音声信号 を 出 力 端子か ら 出 力 す る 。

こ の よ う に 、 こ の 実施 の 形態で は、 受聴者 の操作 に 応 じ た任意 の話速 を 示す話速変換制御 ' -iト主w報 に 基づき 、 予 め 蓄積 さ れて い る ブ ロ ッ ク 音声テ一 夕 と 、 接続デ一 夕 と の 順序 を 制御 し な が ら 、 出 力 音声 を 形成す る よ う に し て い る の で 、 受聴者が手動操作 に よ っ て話速 を変化 さ せた と さ に も 、 即座 に所望話速 の 音声 を 出 力 す る こ と がで き 、 こ れ に よ っ て話速 を 途 中 で変 え ら れた と き 、 受聴者側 に 時間遅れ を 感 じ さ せな い よ う に す る こ と がで さ る 。

こ の 結果 、 本発 明 に よ BiS速変換装置 1 を 、 テ レ ビ ジ ョ ン 、 ラ ジ ォ 、 テ一 プ レ Π一ダ、 ビデォ テー プ レ コ ー ダ

立

ビデォデ イ ス ク プ レ ー ヤ な ど の 映像機 35 、 曰 響機器 、 医 療機器な ど に適用 す る だ けで 、 発話者 の 音 声 を 力 Πェ し て 受聴者 の 受聴能 力 に 音声 ス ピ一 ド を フ イ ツ 卜 さ せ る 際 、 受聴者 の 操作 に 応 じ て 、 出 力 音声 の 話速 を 即座 に 変化 さ せ る こ と がで さ る 。

ま た 、 上述 し た実施 の 形態で は 、 接続デ一 夕 生成部 6 に お い て 、 図 2 に 示す如 く 直線的 に変化す る A 窓 、 B 窓 を 使用 し 、 各 ブ ロ ッ ク 音 声デ一 夕 の 開始部分 に 窓掛 け を 行な う よ う に し て い る が 、 余弦 曲線な ど の 窓 を 使用 し て 各 ブ ロ ッ ク 音声 デ一 夕 の 開 始部分 に 窓掛 け を 行な う よ う に し て も 良 い 。 ま た 、 接続デー タ 蓄積部 7 の バ ッ フ ァ 容 量が十分 大 き け れ ば、 窓掛 け は 各 ブ ロ ッ ク 音 声デ一 夕 の 開始部分だけでな く 、 ブ ロ ッ ク 長全体 に対 し て行 う こ と がで き る 。

ま た 、 上述 し た実施の形態で は、 接続順序生成部 8 に お い て 、 図 3 に示す如 く ブ ロ ッ ク 音声デー タ （ 4 ) 、 ( 8 ) の接続デー タ と 同 ブ ロ ッ ク 音声デ一 夕 の後半部分 を 1 回だけ、 繰 り 返すよ う に し て い る が、 伸長倍率 " r " が " r 〉 2 " で あ る と き に は、 同一の ブ ロ ッ ク 音 声デー タ を 2 回以上、 繰 り 返すよ う に し て も 良 い 。

産業上の利用 可能性

以上説明 し た よ う に本発明 に よれば、 受聴者の操作 に 応 じ て 、 出力音声の話速 を瞬時 に追従 さ せる こ と がで き こ れ に よ つ て受聴者側の使い勝手 を大幅 に 向上 さ せ る こ と がで き る 。

Claims

5冃 求 の 範

1 . 入 力 さ れた 音 声デー タ に対 し て 、 属性 に 基づ く 分 析処理 を 施 し 、

こ の 分析処理 で得 ら れた 情報 に 基づい て前記音声デー 夕 を所定 の 時 間幅 を 有す る ブ ロ ッ ク 単位 に 分割 し 、

こ れ を ブ ロ ッ ク 音声デー タ と し て蓄積 し

前記音声デー タ の 時間 的な伸長 を 実現す る た め に 、 隣 り 合 う ブ ロ ッ ク 音声デー タ 間 に お い て置換 ま た は挿入す べ き 接続デー タ を 各 ブ ロ ッ ク 毎 に 生成 し て蓄積 し 、

受聴者 の操作 に応 じ た任意 の音声ス ピー ド に対応す る 出 力 音声デ一 夕 を 生成す る た め の ブ ロ ッ ク 接続順序 を 生 成 し 、

こ の 接続順序 に し た が っ て 、 既 に プ ロ ッ ク 単位 に 分割 さ れて蓄積 さ れて い る ブ ロ ッ ク 音声デー タ お よ び接続デ 一 夕 を 順次 、 接続 し て 出 力 音声デ一 夕 を 生成す る こ と を 特徴 と す る 話速変換方法。

2 . 前記接続デー タ は 、 各 ブ ロ ッ ク 毎 に 、 当 該 ブ ロ ッ ク の 開 始部分 に あ る 音 声デー タ 、 直後 ブ ロ ッ ク の 開 始部 分 に あ る 音 声 デー タ に 対 し 、 所定時間長 の 間 に 所定線 を 有す る 2 つ の 窓 を 使用 し て それぞれ窓掛 け を 行 な っ た後 直後 ブ ロ ッ ク の 開 始部分 と 、 当 該 ブ ロ ッ ク の 開 始部分 と を 重複 加算す る こ と に よ り 、 生成 さ れ る こ と を 特徴 と す る 話速変換方法。

3 . 入 力 さ れ た音 声デー タ に対 し て 、 属性 に 基づ く 分 析処理 を 行 な う 分析処理部 と 、

こ の 分析処理部 の 分析結果 に応 じ て音声デー タ を 所定 の 時間 幅 を 有す る ブ ロ ッ ク 単位 に分割す る ブ ロ ッ ク デ一 夕 分割部 と 、

こ の ブ ロ ッ ク デー タ 分割部で分割 さ れた デ一 夕 を プ ロ ッ ク 音声デー タ と し て蓄積す る ブ ロ ッ ク デー タ 蓄積部 と 前記 ブ ロ ッ ク デー タ 分割部で得 ら れた 各 ブ ロ ッ ク 音声 デー タ を 使用 し て 隣 り 合 う ブ ロ ッ ク 音 声デー タ 間 に お い て置換 ま た は挿入可能な 接続デー タ を 生成す る 接続デー 夕 生成部 と 、

こ の 接続デー タ 生成部で生成 さ れた 接続デー タ を 蓄積 す る 接続デー タ 蓄積部 と 、

設定 さ れた 音 声ス ピ ー ド に 対応す る 条件 に 基づき 、 前 記 ブ ロ ッ ク 音 声デー タ と 前記接続デー タ と の 接続順序 を 生成す る 接続順序生成部 と 、

こ の接続順序生成部で得 ら れた接続順序 に 基づき 、 前 記 ブ ロ ッ ク デー タ 蓄積部 に 蓄積 さ れて い る ブ ロ ッ ク 音声 デー タ と 前記接続デー タ 蓄積部 に蓄積 さ れて い る 接続デ — 夕 と を 順次 、 接続 し て 一連 の 音声デー タ を 生成す る 音 声デー タ 接続部 と 、

を 備 え た こ と を特徴 と す る 話速変換装置 。

4 . 前記接続デ一 夕 生成部 は 、 各 ブ ロ ッ ク 毎 に 、 当 該 ブ ロ ッ ク の 開 始部分 に あ る 音声デ一 夕 、 直後 ブ ロ ッ ク の 開始部分 に あ る 音 声 デ一 夕 に対 し 、 所定時 間 長 の 間 に 所 定線 を 有す る 2 つ の 窓 を 使用 し て窓掛 け を 行 な っ た 後 、 直後 ブ ロ ッ ク の 開始部分 と 、 当 該 ブ ロ ッ ク の 開始部分 と を 重複加算す る こ と に よ り 、 前記接続デ一 夕 を 生成す る こ と を 特徴 と す る 話速変換装置。

5 . 前記接続順序生成部 は、

各属性毎 の 時間的 な伸長倍率 を 記憶す る 書 き 換え 可能 な メ モ リ と 、

所定 の 時 間 間 隔で 、 前記書 き 換 え 可能な メ モ リ に 記憶 さ れて い る 各属性毎 の 時間 的な伸長倍率 を 読み 出す と と も に 、 こ れ ら の 各伸長倍率、 ブ ロ ッ ク デー タ 蓄積部か ら 出 力 さ れ る ブ ロ ッ ク 長、 及 び音声デー タ 接続部か ら 出 力 さ れ る 既接続情報 に 基づ き 、 前記 ブ ロ ッ ク 音声 デー タ と 前記接続デー タ と の 接続順序 を 、 時 々 刻 々 、 生成す る 接 続順序決定処理部 と 、

を備 え る こ と を 特徴 と す る 話速変換装置。