JP7384220B2

JP7384220B2 - スレッド同期装置、スレッド同期方法、およびプログラム

Info

Publication number: JP7384220B2
Application number: JP2021562413A
Authority: JP
Inventors: 清彰松井; 義和山口
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2023-11-21
Anticipated expiration: 2039-12-06
Also published as: WO2021111611A1; US20220391265A1; JPWO2021111611A1

Description

この発明は、複数のスレッドを同期実行する技術に関する。

ある一つの入力に対し、複数のスレッド間で同期を取りながら処理を行いたい場合がある。例えば、複数の話者間での対話音声を音声認識する場合、その対話音声を話者毎のチャンネルに分け、各チャンネルを異なるスレッドで処理させることがある。このとき、発話の前後関係を保つために、全スレッド間で処理位置を合わせる必要がある。また、例えば、特許文献１には、マルチチャネルのオーディオデータをダウンミックスする際に同期ワードを用いてスピーカ配置情報を得る技術が記載されている。

特開２０１８－１１６３１３号公報

通常、同期処理を行う場合、あるタイミングで進んでいるスレッドが遅れているスレッドの処理を待ち、遅れが解消された段階で処理を再開する、という手法が用いられている。しかしながら、この手法では、システム全体の実行速度が、最も遅いスレッドによって決まってしまうため、例えばＣＰＵ使用率の上昇やスループットの低下等の要因により、いずれかのスレッドの実行速度が低下した場合、システム全体の実行速度が遅くなるという問題があった。

この発明の目的は、上記のような技術的課題に鑑みて、特定のスレッドの実行速度が低下した場合に、複数のスレッド間の同期を維持しつつ、システム全体の処理精度への影響を抑えながら、当該スレッドの実行速度を動的に回復することができる技術を提供することである。

上記の課題を解決するために、この発明の一態様のスレッド同期装置は、時系列データを複数に分割して並列処理するための複数のスレッドを同期するスレッド同期装置であって、スレッドは、処理精度と実行速度がトレードオフとなる環境変数が個別に設定されており、スレッドそれぞれの実行速度を算出する実行速度算出部と、スレッドの実行速度に応じて環境変数を更新する環境変数更新部と、を含む。

この発明によれば、特定のスレッドの実行速度が低下した場合に、複数のスレッド間の同期を維持しつつ、システム全体の処理精度への影響を抑えながら、当該スレッドの実行速度を動的に回復することができる。

図１は、スレッド同期装置の機能構成を例示する図である。図２は、スレッド同期方法の処理手順を例示する図である。図３は、コンピュータの機能構成を例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

［実施形態］
実施形態のスレッド同期装置１０は、図１に例示するように、Ｎ次元の時系列データを入力とし、入力された時系列データに対して、Ｎ個のスレッドを同期しながら所定の処理を並列に実行し、その処理結果を出力する信号処理装置である。スレッド同期装置１０は、Ｎ個のスレッド１－１，…，１－Ｎ（ただし、Ｎ≧２）、実行速度算出部２、および環境変数更新部３を備える。このスレッド同期装置１０が、図２に例示する各ステップの処理を行うことにより実施形態のスレッド同期方法が実現される。

スレッド同期装置１０は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。スレッド同期装置１０は、例えば、中央演算処理装置の制御のもとで各処理を実行する。スレッド同期装置１０に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。スレッド同期装置１０の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

スレッド同期装置１０には、処理精度と実行速度のトレードオフとなる環境変数が設定されている。環境変数は各スレッド１－１，…，１－Ｎに対して個別に定義されている。以下、ｉ（＝１，…，Ｎ）番目のスレッドの環境変数をＥｎｖ_ｉと記述する。環境変数は、入力された時系列データに対する処理内容により異なる。例えば、後述する音声認識処理の場合であれば、仮説探索において上位の仮説を保持する数を環境変数として用いることができる。

図２を参照して、実施形態のスレッド同期装置１０が実行するスレッド同期方法の処理手続きを説明する。

ステップＳ１において、実行速度算出部２は、各スレッド１－１，…，１－Ｎの実行速度を算出する。実行速度の算出はどのような方法でもよいが、例えば、処理したデータの時間長を処理に要した時間で除算した値を用いればよい。実行速度の算出は、スレッド側で行っても、実行速度算出部側で行ってもよい。前者の場合、各スレッドで計算された実行速度を実行速度算出部２へ送信する。後者の場合、各スレッドから実行速度の計算に必要な情報（例えば、処理データの時間長および処理に要した時間）を実行速度算出部２へ送信し、実行速度算出部２が各スレッドの実行速度を計算する。以下、ｉ（＝１，…，Ｎ）番目のスレッドの実行速度をＲＴＦ_ｉと記述する。実行速度算出部２は、算出した各スレッド１－１，…，１－Ｎの実行速度ＲＴＦ_１，…，ＲＴＦ_Ｎを環境変数更新部３へ出力する。

ステップＳ２において、環境変数更新部３は、実行速度算出部２から各スレッド１－１，…，１－Ｎの実行速度ＲＴＦ_１，…，ＲＴＦ_Ｎを受け取り、各ｉについて、実行速度ＲＴＦ_ｉに応じてスレッド１－ｉの環境変数Ｅｎｖ_ｉを更新する。

以下に、環境変数を更新する際の具体的なアルゴリズムを示す。
==========================================
# value from data
Real Time Factor of each thread: RTF₁ ～ RTF_N
Amount of processed data: N₁ ～ N_N
The maximum value of processed sample: N_MAX = max_1≦n≦NN_n
# parameter
Threshold of RTF: Thr_RTF
Threshold of processed sample: Thr_sample
The maximum value of Env: Env_MAX
The minimum value of Env: Env_min
Change ratio: ratio
==========================================
# main
1: for i in 1 to N:
2: if (count_i > T_cooltime):
3: if ((RTF_i> Thr_RTF) and (|N_MAX-N_i| > Thr_sample)):
4: if (Env_i/ratio ≧ Env_min):
5: Env_i = Env_i/ratio
6: else:
7: if (Env_i*ratio ≦ Env_MAX):
8: Env_i = Env_i*ratio
9: count_i = 0
10: else:
11: count_i += 1
==========================================

上記アルゴリズムについて解説する。RTF₁ ～ RTF_Nはそれぞれスレッド１－１，…，１－Ｎの実行速度（Real Time Factor: RTF）である。N₁～ N_Nはそれぞれスレッド１－１，…，１－Ｎの処理サンプル数である。N_MAXは最も処理が進んでいるスレッドの処理サンプル数である。まず、各スレッドの「実行速度（RTF_i）」と「最も処理が進んでいるスレッドの処理サンプル数N_MAXと自スレッドの処理サンプル数N_iとの差（|N_MAX-N_i|）」がそれぞれ閾値（Thr_RTF, Thr_sample）を超えているか否かを判定する（３行目）。各閾値Thr_RTF, Thr_sampleは予め設定されているものとする。いずれかが閾値を超えていれば、所定の比率ratioで除算して、該当スレッドの環境変数Env_iを減少させる（５行目）。ただし、更新後の値は環境変数の下限値Env_minを下回ることはできない（４行目）。逆に、いずれも閾値以下であれば、所定の比率ratioで乗算して、環境変数Env_iを増加させる（８行目）。ただし、更新後の値は環境変数の上限値Env_maxを超えることはできない（７行目）。環境変数の過剰な変動を抑制するため、一度上記の操作を行った場合、所定の時間T_cooltimeが経過するまでは、環境変数の変更を行わないように制御する（２行目）。なお、上記アルゴリズムでは所定の比率ratioが１を超える値であることを前提とし、除算と乗算により値を更新するものとしたが、段階的に値を減少または増加することができれば、どのように更新してもよい。

［実施例］
本発明は、Ｎ次元からなる時系列データに対する認識処理全般に応用することができる。認識タスクにおいては、最も取り得る可能性の高い仮説を探索するが、処理の効率化のため、考えられ得るすべての仮説ではなく、上位のいくつかの仮説に限って探索の対象とするのが一般的である。このとき、「仮説をいくつ保持するか」を環境変数として保持するのが一般的である。これを「処理精度と実行速度のトレードオフとなる環境変数」として使用することができる。

以下に、実施例の一つとして、音声認識タスクを挙げる。

会議音声やコールセンタにおける顧客とオペレータの会話のような多チャンネル音声の連続認識を行うとき、音声データをチャンネル単位に分割し、チャンネル間の同期を取りながら同時に認識を行いたい場合がある。この場合、一般的には、時系列順に数十ミリ秒毎のフレームを切り取り、順番に処理していく。このとき、各スレッドの実行速度の差が、チャンネル間の処理速度の差として生じる。音声認識における仮説探索においては、上位の仮説をどれだけ保持するかを表すビーム幅を環境変数として持つことができる。このビーム幅を、音声認識の「処理精度と実行速度のトレードオフとなる環境変数」として扱うことができる。このように条件を置くことで、本発明を音声認識タスクに適用することができる。

本発明では、処理精度と実行速度のトレードオフとなる環境変数を段階的に変更しつつ、その影響を監視することで、システムの処理精度に対する影響を最小限に留めつつ、スレッドの実行速度を同期することができる。また、遅れていたスレッドの実行速度が改善され、スレッド間の実行速度に差がなくなった場合、処理精度を維持する観点から、環境変数を段階的に復元させることができる。これにより、特定スレッドの実行速度が低下した場合に、複数スレッド間の同期を維持しつつ、当該スレッドの処理精度への影響を最小限に抑えながら、当該スレッドの実行速度を動的に回復することができる。

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図３に示すコンピュータの記憶部１０２０に読み込ませ、制御部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims

時系列データを複数に分割して並列処理するための複数のスレッドを同期するスレッド同期装置であって、
前記スレッドは、音声信号のチャネル毎に音声認識を行うものであり、処理精度と実行速度がトレードオフとなる環境変数が個別に設定されており、
前記環境変数は、音声認識の仮説探索において上位の仮説を保持する数を設定するものであり、値が大きいほど処理精度が高くなり、値が小さいほど実行速度が高くなるものであり、
前記スレッドそれぞれの実行速度を算出する実行速度算出部と、
前記スレッドの実行速度に応じて前記環境変数を更新する環境変数更新部と、
を含み、
前記環境変数更新部は、
前記スレッドそれぞれについて、前記実行速度が最も大きいスレッドと当該スレッドとの実行速度の差を算出し、その実行速度の差が所定の閾値を超える場合、当該スレッドの前記環境変数を予め定めた１より大きい比率で除算して更新し、その実行速度の差が前記閾値以下である場合、当該スレッドの前記環境変数を前記比率で乗算して更新するものであり、
前記更新した後は、所定の時間を経過するまでは、新たな更新を行わない、
スレッド同期装置。
時系列データを複数に分割して並列処理するための複数のスレッドを同期するスレッド同期方法であって、
前記スレッドは、音声信号のチャネル毎に音声認識を行うものであり、処理精度と実行速度がトレードオフとなる環境変数が個別に設定されており、
前記環境変数は、音声認識の仮説探索において上位の仮説を保持する数を設定するものであり、値が大きいほど処理精度が高くなり、値が小さいほど実行速度が高くなるものであり、
実行速度算出部が、前記スレッドそれぞれの実行速度を算出し、
環境変数更新部が、前記スレッドの実行速度に応じて前記環境変数を更新する、
前記更新は、
前記スレッドそれぞれについて、前記実行速度が最も大きいスレッドと当該スレッドとの実行速度の差を算出し、その実行速度の差が所定の閾値を超える場合、当該スレッドの前記環境変数を予め定めた１より大きい比率で除算して更新し、その実行速度の差が前記閾値以下である場合、当該スレッドの前記環境変数を前記比率で乗算して更新するものであり、
前記更新した後は、所定の時間を経過するまでは、新たな更新を行わない、
スレッド同期方法。
請求項１に記載のスレッド同期装置としてコンピュータを機能させるためのプログラム。