JP4666485B2

JP4666485B2 - 音声信号のセグメント境界整合方式

Info

Publication number: JP4666485B2
Application number: JP2005237428A
Authority: JP
Inventors: 修杉本; 亮一川田; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-08-18
Filing date: 2005-08-18
Publication date: 2011-04-06
Anticipated expiration: 2025-08-18
Also published as: JP2007052244A

Description

本発明は音声信号のセグメント境界整合方式に関し、伝送路上の任意の２地点（例えば、送信地点と受信地点）における伝送遅延などを補償し、両者の特徴量の比較を可能とするための音声信号のセグメント境界整合方式に関する。

デジタルテレビ伝送の映像信号の品質評価のためのフレーム情報の同期を目的とした方式として、下記特許文献１のように、各フレームの映像データと再生時刻の対応を表した情報（タイムコード）伝送信号中に重畳し、この情報を伝送することにより２系統の信号同期を得る方式がある。デジタル伝送の場合、映像と音声を多重して、同期を保ったまま伝送することが可能であるため、音声信号についても同様の手段により２系統の信号同期が可能である。

さらに、特許文献１の方式の画質評価・監視への応用法として、下記非特許文献２に示す勧告がある。非特許文献２では、各フレームの映像データから抽出された音声特徴量データとフレーム再生時刻、または各フレームに一意に割り振られるタイムコードとの関係を示した情報を別途データ回線で送出する形式を示している。
特開２００３−２３４７２６号公報 ITU-T勧告J.220 "Framework for remote monitoring of transmitted picture Signal-to-Noise ratio using spread-spectrum and orthogonal transform" (J.SSOT)

しかし、前記特許文献１の時刻情報は、本来映像情報の同期のために提供されているものであるため、音声信号が映像信号と多重されていない場合には、これを利用することができない。また、そもそもタイムコードを参照できるのは、業務用放送機器向けのデジタル映像信号を伝送している場合のみであり、アナログ信号や民生用の音声信号についてはタイムコードを利用することができない。そのような場合には、音声信号のみで２系統の同期を実現する必要があり、従来技術の適用範囲は限定的であった。

また、一般に音声特徴量は、音声信号をある有限個のサンプル毎のセグメントに分割し、セグメント内の各サンプル値を計算することにより導出されるが、音声信号では、映像信号のフレーム同期信号のような、データ集合の境界を示すような信号が供給されない。そのため、図５のように、同一時刻における２系統の音声信号の間には波形のずれＹが生じてしまい、セグメントの境界の整合を取ることができないという問題が存在する。

一般に、特徴量抽出型の音声品質監視では、２系統間の音声特徴量はセグメントの境界の整合が得られるという前提があり（一例として、特願２００４−３４８４８３号「音声障害検出装置」）、不整合が生じている状態では、音声品質評価の精度が著しく低下することが知られているが、同期信号なしにセグメント境界の整合を高精度に取る手法は従来まで存在しなかった。

本発明の目的は、前記した従来技術に鑑み、２系統間の音声のセグメント境界を整合するセグメント境界整合方式を提供することにある。

前記した目的を達成するために、本発明は、伝送路上の任意の２地点における２系統の音声信号を任意のサンプル数のセグメントに分割し、該２系統の音声信号から各特徴点を検出する手段と、該各特徴点のセグメント境界からの各相対位置を伝送する手段と、該伝送された前記２系統の各相対位置の差分から該２系統の信号遅延差を推定し、その遅延差に基づきセグメント境界の移動量を通知する手段を有する監視端末と、該通知された前記セグメント境界の移動量だけセグメント境界を移動させて前記２系統のセグメント境界を一致させる遅延調整部とを具備した点に第１の特徴がある。

また、本発明は、前記音声信号の特徴点として、所与のサンプル長の区間の移動平均信号の、セグメント内のピーク位置を用いる点に第２の特徴がある。

本発明によれば、タイムコードを付与したり、２系統間で同期のとれた映像信号との多重を前提とすることなく、２系統の音声信号間でセグメント整合を取ることができるようになる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の全体構成を示すブロック図である。

今、送信音声１がエンコーダ２で符号化され、伝送路３を経て受信側に送られ、受信側のデコーダ４で復号されて受信音声になる系を想定する。図のＡ点の音声信号を系統Ａ，Ｂ点の音声信号を系統Ｂとすると、系統Ａの音声信号は、遅延調整部１１を経て特徴量抽出部１２および特徴点検出部１３に導かれ、該特徴量抽出部１２においてセグメント毎の特徴量ａを抽出され、また特徴点検出部１３において特徴点ｂを検出される。一方、系統Ｂの音声信号は、特徴量抽出部１４および特徴点検出部１５に導かれ、該特徴量抽出部１３においてセグメント毎の特徴量ｃを抽出され、また特徴点検出部１５において特徴点ｄを検出される。前記特徴量ａ、ｃ、および特徴点ｂ、ｄは、監視端末６に送られる。

ここに、系統Ａと系統Ｂのセグメント境界は、系統Ａの特徴量抽出部１２および特徴点検出部１３、ならびに系統Ｂの特徴量抽出部１４および特徴点検出部１５において、それぞれ任意に設定されるものである。ただし、セグメント長は後述のＬサンプル（Ｌは正の整数）からなり、系統ＡとＢのセグメント長は等しい。

前記したように、一般に音声特徴量ａ、ｃは、音声信号をある有限個のサンプル毎のセグメントに分割し、セグメント内の各サンプル値を計算することにより導出されるが、音声信号では、映像信号のフレーム同期信号のような、データ集合の境界を示すような信号が供給されない。そのため、同一時刻における２系統の音声信号の間には波形のずれが生じてしまい、セグメントの境界の整合を取ることができない。

図２は、該監視端末６の詳細を示すブロック図であり、前記特徴量ａ、ｃが入力する音声信号の劣化を計算する劣化尺度計算部２１、特徴点ｂ、ｄが入力する特徴点位置差分導出部２２、およびセグメント境界移動量通知部２３から構成されている。該セグメント境界移動量通知部２３からは、セグメント境界移動量ｅが前記遅延調整部１１に送られる。

遅延調整部１１は、該セグメント境界移動量ｅを基に、セグメント位置を補正する。この補正により、系統ＡおよびＢのセグメント位置が一致するので、系統ＡおよびＢの特徴量抽出部１２，１４から抽出された特徴量ａ、ｃは、同じセグメントの特徴量となり、監視端末６は送信音声１に対する受信音声５の劣化度を正しく計算することができるようになる。なお、該遅延調整部１１は、系統Ａでなく、系統Ｂに設けても良い。

次に、前記特徴点検出部１３、１５および特徴点位置差分導出部２２の機能を説明する。系統Ａ、Ｂの音声信号は、非可逆の圧縮符号化などにより劣化していることが予想されるため、各系統で検出する特徴点ｂ，ｄは、こうした伝送中の劣化が発生したとしても保存されるようなものを選ぶ必要がある。

本発明では、移動平均処理を行った音声信号のピーク位置を特徴点として検出する。検出の手順を、以下に示す。

ステップＳ１；下記の(1)式により、音声信号a(n)に対し、Ｔ_Ａサンプルの移動平均処理を行う。この移動平均処理を１サンプル刻みでＴ_Ａずつシフトさせて行くと、次々とａ_ａｖｇ（ｎ）が求まる（図３参照）。

ステップＳ２；ａ_ａｖｇ(n)をＬサンプルごとのセグメントに分割する。さらに、下記の(2)式のp(n)によって定義される系列がセグメントｓ内で最大になる位置をピーク位置ｎ_ｐｅａｋ(s)とする。

p(n)はａ_ａｖｇ(n)の時間ｎからＴ_Ａサンプル分の積分値を意味している。これは、セグメント内に複数のピーク位置がある場合、より近傍のレベルが高い区間をピーク位置として選択するための処理である。また、ピーク位置ｎ_ｐｅａｋ(s)は、情報量を有限長に収めるという観点から、セグメント境界からの相対位置で記述する。例えば、図４に示すように、系統Ａの音声信号のセグメントｓ１，ｓ２，ｓ３，・・内で最大になる位置をピーク位置ｎ_{ｐｅａｋＡ}(s１)、ｎ_{ｐｅａｋＡ}(s２)、ｎ_{ｐｅａｋＡ}(s３)、・・・とし、系統Ｂの音声信号の同セグメント内で最大になる位置をピーク位置ｎ_{ｐｅａｋＢ}(s１)、ｎ_{ｐｅａｋＢ}(s２)、ｎ_{ｐｅａｋＢ}(s３)、・・・とする。これらのピーク位置は、監視端末に伝送される。

ステップＳ３；監視端末において、ピーク位置ｎ_ｐｅａｋ(s)を送信側と受信側で比較する。一般に、２系統間の信号の歪みが大きい場合には、ピーク位置の差が一定にならない場合がある。そこで、過去Ｓ_ｄセグメントのピーク位置の差（ｎ_{ｐｅａｋＡ}(s)−ｎ_{ｐｅａｋＢ}(s)）の分布をとり、最頻値を与えるものを当該セグメントのずれ量とする。なお、セグメントのずれ量がセグメント幅Ｌを超えるような場合には、検出されたずれ量に対し、法Ｌのもとの剰余を求め、これを最終的なずれ量（即ち、セグメント整合のために調整すべき遅延量）と決定する。

ステップＳ４；以上を全てのセグメントごとに行い、常時送受信間のずれ量を検出する。

このずれ量は、セグメント境界移動量ｅ（図１、図２参照）として、遅延調整部１１に送られる。該遅延調整部１１は、このずれ量だけ系統Ａのセグメント境界を移動すれば、系統Ａのセグメント境界は系統Ｂのセグメント境界と一致することになる。

なお、ステップＳ３により求められるセグメント境界からのずれ量はセグメント毎に求められるが、図１の伝送路３における圧縮符号化の劣化度が大きい場合などには、ずれ量を誤検出する可能性がある。そのため、過去のセグメントで検出したずれ量の系列の内の最頻値を最終的な遅延差として決定すると、単一のセグメントの誤検出を回避することが可能になる。

以上のように、本発明によれば、タイムコードを付与したり、２系統間で同期のとれた映像信号との多重を前提とすることなく、２系統の音声信号間でセグメント整合を取ることができるようになる。また、これにより、高精度な自動音声品質監視を実現できるようになる。

本発明の一実施形態の構成を示すブロック図である。監視端末の詳細な構成を示すブロック図である。音声信号に対するＴ_Ａサンプルの移動平均処理の説明図である。系統Ａ、Ｂそれぞれのセグメント境界からの、それぞれの音声信号の特徴点の相対位置の説明図である。セグメント境界整合の説明図である。

符号の説明

６・・・監視端末、１１・・・遅延調整部、１２、１４・・・特徴量抽出部、１３、１５・・・特徴点検出部、２１・・・劣化尺度計算部、２２・・・特徴点位置差分導出部、２３・・・セグメント境界移動量通知部。

Claims

伝送路上の任意の２地点における２系統の音声信号を任意のサンプル数のセグメントに分割し、該２系統の音声信号から各特徴点を検出する手段と、
該各特徴点のセグメント境界からの各相対位置を伝送する手段と、
該伝送された前記２系統の各相対位置の差分から該２系統の信号遅延差を推定し、その遅延差に基づきセグメント境界の移動量を通知する手段を有する監視端末と、
該通知された前記セグメント境界の移動量だけセグメント境界を移動させて前記２系統のセグメント境界を一致させる遅延調整部とを具備したことを特徴とする音声信号のセグメント境界整合方式。
請求項１に記載の音声信号のセグメント境界整合方式において、
前記音声信号の特徴点として、所与のサンプル長の区間の移動平均信号の、セグメント内のピーク位置を用いることを特徴とする音声信号のセグメント境界整合方式。
請求項１に記載の音声信号のセグメント境界整合方式において、
前記監視端末は、過去のセグメントで検出した前記２系統の信号遅延差の系列の内の最頻値を、最終的な遅延差とすることを特徴とする音声信号のセグメント境界整合方式。