JP6526083B2 - 源信号分離のためのシステム及び方法 - Google Patents

源信号分離のためのシステム及び方法 Download PDF

Info

Publication number
JP6526083B2
JP6526083B2 JP2017043560A JP2017043560A JP6526083B2 JP 6526083 B2 JP6526083 B2 JP 6526083B2 JP 2017043560 A JP2017043560 A JP 2017043560A JP 2017043560 A JP2017043560 A JP 2017043560A JP 6526083 B2 JP6526083 B2 JP 6526083B2
Authority
JP
Japan
Prior art keywords
signal
frequency
window
data
oscillator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017043560A
Other languages
English (en)
Other versions
JP2017102488A (ja
Inventor
ケヴィン エム ショート
ケヴィン エム ショート
ブライアン ティー ホーン
ブライアン ティー ホーン
Original Assignee
エックスモス インコーポレイテッド
エックスモス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エックスモス インコーポレイテッド, エックスモス インコーポレイテッド filed Critical エックスモス インコーポレイテッド
Publication of JP2017102488A publication Critical patent/JP2017102488A/ja
Application granted granted Critical
Publication of JP6526083B2 publication Critical patent/JP6526083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/74Multi-channel systems specially adapted for direction-finding, i.e. having a single antenna system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/288Coherent receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/288Coherent receivers
    • G01S7/2883Coherent receivers using FFT processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • G06F16/636Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00ICT programming tools or database systems specially adapted for bioinformatics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00ICT programming tools or database systems specially adapted for bioinformatics
    • G16B50/30Data warehousing; Computing architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025Phonemes, fenemes or fenones being the recognition units

Description

(関連出願の相互参照)
本出願は、引用により全体が本明細書に組み込まれる、2013年1月7日出願の米国仮特許出願連番第61/749,606号明細書、2013年3月14日出願の米国仮特許出願連番第61/785,029号明細書、及び2012年5月4日出願の米国仮特許出願連番第61/642,805号明細書の利益を主張する。
(技術分野)
本発明は、信号処理のための方法及びシステムに関し、より具体的には、信号を異なる成分に分離するための方法及びシステムに関する。
信号分離(SS)は、発生源から生じた何れかのデジタル信号を個々の構成要素に分離することであり、これによってこれらの要素を部分的に又は全体的に分解、分離、抽出、拡張、又は分離して再構成することができる。SSは、聴覚データ及び/又は視覚データ又は画像を含む、あらゆる形態のデータに対して実行することができる。SSは、主成分分析、特異値分解、空間パターン分析、独立成分分析(ICA)、コンピュータ聴覚情景分析(CASA)又は何れかの他のこのような技術を含む、複数の発生源依存方式を使用して実行することができる。
従来のSSは通常、リアルタイム又は準リアルタイムの性能を達成するために膨大な処理量を必要とし、よって、所与の信号内の信号源を効率的に識別及び分離できないことが多い。従って、リアルタイム又は準リアルタイムの信号分離を提供するようなシステムを作動させるためのシステム及びアルゴリズムに対する必要性が存在する。
本明細書で開示される様々な実施形態によるSSのための方法及びシステムは、信号源不可知である。オリジナル信号の性質は、一般的に、生成方法又は装置に関して無関係である。SSシステム及び方法を適用することができる信号源は、限定ではないが、音声、オーディオ、ビデオ、写真、イメージング(医療を含む)、通信、光学/光、無線、RADAR、ソナー、センサ及び震源を含む。本明細書で説明する方法及びシステムは、信号分離のための信号源不可知システム及び方法のセットを含むことができる。これらは、信号の構成部分を数学的に記述するための高分解能信号処理の方法、「コヒーレント」(すなわち同じ信号源から発生する)である信号の一部分を識別するための追跡及び区分方法、及び任意選択的にはオリジナル信号フォーマットで選択された部分を再結合し、及び/又はこれらの部分を発話認識システムのような他のアプリケーションに直接これらを送信するための方法を含む。
例示的で非限定的な実施形態によれば、信号を処理する方法は、複数の源信号発生器から形成されオリジナルドメインで表現された信号を取り出す段階と、信号を代替のドメインにおける複数の構成要素の数学的表現に分解する段階と、複数の構成要素を分析して構成要素の少なくとも1つのサブセットを複数の源信号発生器のうちの少なくとも1つに関連付ける段階と、関連付けに基づいて構成要素の少なくとも1つのサブセットを分離する段階と、オリジナルドメイン、代替のドメイン及び別のドメインのうちの少なくとも1つで出力信号を生成するように構成要素の少なくとも1つのサブセットを再構成する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを含む入力信号を受信し、信号ストリームから、第1の窓付きデータセットと、該第1の窓付きデータセットの開始よりも時間的に遅延して開始する第2の窓付きデータセットとを作成する段階と、第1の窓付きデータセット及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、増幅変調及び周波数変調のうちの少なくとも1つに適合する周波数ドメイン高分解能窓を選択する段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する1又はそれ以上の発振器ピークから構成される少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信し、信号ストリームから、第1の窓付きデータセットと、該第1の窓付きデータセットの開始よりも時間的に遅延して開始する第2の窓付きデータセットとを作成する段階と、第1の窓付きデータセット及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓の成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、シングレット変換処理において格納された高分解能周波数ドメイン窓のセットをサンプリングして、元の信号発振器の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能周波数ドメイン窓を選択するようにする段階と、周波数ドメインにおいてFM作成及びAM作成のうちの少なくとも1つに必要とされるパラメータを格納する段階と、を含み、FM作成のためのパラメータが、振幅、位相、基準周波数、及び変調速度を含み、AM作成のためのパラメータが、振幅、位相、周波数、及び振幅エンベロープ情報を含み、本方法が更に、FM変調発振器ピーク及びAM変調発振器ピークのうちの少なくとも1つに対して、発振器がデータサンプル窓内のあるポイントにてターンオン又はオフできる何れかの過渡作用を含む周波数スペクトルを再作成する段階を含む。
例示的で非限定的な別の実施形態によれば、信号を処理する方法は、ある程度まで互いに干渉する可能性がある複数の信号ストリームを受信して、入力サンプル窓の第1のセットと、該入力サンプル窓の第1のセットの開始よりも時間的に遅延して開始する入力サンプル窓の第2のセットとを作成する段階と、入力サンプル窓の両方を時間ドメインから周波数ドメインデータに変換し、結果として得られる周波数ドメインが基本変換分解能を有するようにする段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2データセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、高分解能窓のセットをサンプリングし、適切な因数によって適切に乗算されたときに、元の信号成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して、元の信号内の単一信号発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、雑音又は干渉信号に関連付けられる可能性があるトラックレットを排除する段階と、トラックレットの少なくとも1つの分類を選択する段階と、トラックレットの選択された分類から信号を再構成する段階と、選択した分類を使用して所望のフォーマットで出力を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、信号を処理する方法は、複数の源信号発生器から形成され、オリジナルドメインで表現されるオリジナル信号を取り出す段階と、信号を代替のドメインにおける複数の構成要素の数学的表現に分解する段階と、複数の構成要素を分析して、構成要素の少なくとも1つのサブセットを複数の源信号発生器のうちの少なくとも1つに関連付ける段階と、関連付けに基づいて構成要素を分離する段階と、オリジナル入力信号のフォーマットで出力信号として使用するため、少なくとも1つの所望の信号源に対応するオリジナル入力信号の構成要素を保存する段階と、を含む。
例示的で非限定的な別の実施形態によれば、信号を処理する方法は、複数の源信号発生器から形成されオリジナル変換ドメインで表現された信号を取り出す段階と、信号を代替のドメインにおける複数の構成要素の数学的表現に変換する段階と、結合された代替ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、オリジナル変換ドメインの分解能よりも高い分解能で構成要素特性を推定する段階と、複数の構成要素を分析して、構成要素の少なくとも1つのサブセットを複数の源信号発生器のうちの少なくとも1つに関連付ける段階と、関連付けに基づいて構成要素の少なくとも1つのサブセットを分離する段階と、構成要素の少なくとも1つのサブセットを再構成して、オリジナルドメイン、代替のドメイン及び別のドメインのうちの少なくとも1つで少なくとも1つの所望の源信号発生器からの出力を含む出力信号を生成する段階と、を含む。
例示的で非限定的な別の実施形態によれば、入力信号の成分を分離する方法は、ある程度まで互いに干渉する複数の源信号から形成されオリジナルドメインで表現された入力信号を取り出す段階と、信号を代替のドメインにおける複数の構成要素の表現に分解する段階と、分解した信号を、位相、周波数、振幅、及び方向情報の表現を可能にする統一ドメインデータ構造で表現する段階と、複数の構成要素を分析して、構成要素の少なくとも1つのサブセットを複数の源信号発生器のうちの少なくとも1つに関連付ける段階と、を含み、該分析段階が、統一ドメイン方向推定値を使用して関連付けを支援することを含み、本方法が更に、関連付けに基づいて構成要素の少なくとも1つのサブセットを分離する段階と、所望のフォーマットで少なくとも1つの所望の源信号発生器からの出力を含む出力信号を生成するよう構成要素の少なくとも1つのサブセットを再構成する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、信号ストリームから、第1の窓と、該第1の窓の開始よりも時間的に遅延して開始する第2の窓とを作成する段階と、窓の少なくとも1つを周波数ドメインに変換して、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓の成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、シングレット変換処理において格納された高分解能周波数ドメイン窓のセットをサンプリングして、元の信号発振器の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能周波数ドメイン窓を選択するようにする段階と、周波数ドメインにおいてFM作成及びAM作成のうちの少なくとも1つに必要とされるパラメータを格納する段階と、を含み、FM作成のためのパラメータが、振幅、位相、基準周波数、及び変調速度を含み、AM作成のためのパラメータが、振幅、位相、周波数、及び振幅エンベロープ情報を含み、本方法が更に、FM変調発振器ピーク及びAM変調発振器ピークのうちの少なくとも1つに対して、発振器がデータサンプル窓内のあるポイントにてターンオン又はオフすることができる何れかの過渡作用を含む周波数スペクトルを再作成する段階を含む。
例示的で非限定的な別の実施形態によれば、信号変調を検出するための方法は、安定発振器に適用して変調発振器を生成することができる、実部及び虚部を有する変調複素演算子のセットを提供する段階と、発振器に対する変調効果を相殺できるプルバック演算子として既知の演算子の追加セットを提供する段階と、信号が時間ドメインから周波数ドメインに変換されたときに変調効果の少なくとも一部が相殺されるように変調信号にプルバック演算子を適用する段階と、初期サンプル窓の変換と比較できる状態に戻すために時間遅延サンプル窓において変調効果が相殺されるように、時間遅延サンプル窓データセットにプルバック演算子を適用する段階と、変換された初期のサンプル窓データとプルバック時間遅延サンプル窓データとを比較して、変調された信号の周波数変調に対する元の基準周波数を明らかにする超分解能変換表現を導き出す段階と、を含む。
例示的で非限定的な別の実施形態によれば、信号を処理する方法は、ある程度まで互いに干渉する複数の信号ストリームを受信して、入力サンプル窓の第1のセットと、該入力サンプル窓の第1のセットの開始よりも時間的に遅延して開始する入力サンプル窓の第2のセットとを作成する段階と、入力サンプル窓の第1及び第2のセットを時間ドメインから周波数ドメインに変換し、結果として得られた周波数ドメインデータが基本変換分解能を有するようにする段階と、周波数ドメインデータに対して可変長の窓サイズを使用した複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2データセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、格納された高分解能窓のセットをサンプリングして、複数の発振器ピークを含む元の信号成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する第1の窓長の高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、雑音又は干渉信号に関連付けられる可能性があるトラックレットを排除する段階と、トラックレットの少なくとも1つの分類を選択する段階と、CSPEにおいて分析された第1の窓長とは任意選択的に異なる所望の長さの窓を使用して、トラックレットの選択された分類から信号を再構成する段階と、選択された分類を使用して所望のフォーマットで出力を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、信号を処理する方法は、時間ドメイン信号ストリームを受信して、第1の窓と、該第1の窓の開始よりも時間的に遅延して開始する第2の窓とを作成する段階と、第1の窓及び第2の窓を周波数ドメインに変換して、基本変換分解能を有する結果として得られる周波数ドメインデータを格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で窓付きデータの成分周波数を推定する段階と、成分周波数を使用して、格納された周波数ドメイン高分解能窓のセットをサンプリングして、複数の発振器ピークを含む元の信号成分の変調に適合できる周波数ドメイン高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、発振器ピークが関連付けられるトラックレットの挙動からの情報を使用して、発振器の変調の推定値の提供を助ける段階と、を含む。
例示的で非限定的な別の実施形態によれば、信号を処理する方法は、データの一連の窓において超分解能周波数情報を分析する段階と、超分解能周波数情報をデータの窓に対する対応する位相情報と組み合わせる段階と、データの窓にわたる信号の展開をモデル化して、時間的に前進した又は時間的に後れた窓に対する信号の周波数又は位相を予測する段階と、信号周波数又は位相の何れかの組み合わせを使用して、モデル予測に含まれない周波数及び位相の何れかのセットに対する予想値を予測する段階と、を含む。
例示的で非限定的な別の実施形態によれば、信号を処理して、信号の分解された要素を再結合してオリジナル信号のロスレス表現を生成できるような数学的分解を生成するようにする方法は、短時間安定発振器、周波数変調発振器、及び振幅変調発振器を使用して作成された発振器ピークの総和を使用して、データ窓において信号のモデルを作成する段階と、所望の程度の精度が達成されるまで及び残りの全てが十分に小さな残余信号であるようにオリジナル信号から各モデル化信号要素を取り除く段階と、正確に再生できるように残余信号を符号化する段階と、オリジナル信号の正確なロスレス再構成に再結合できるように、符号化された残余信号と共にデータのモデル化に使用された発振器ピークのパラメータを格納する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、信号ストリームから、第1の窓と、該第1の窓の開始よりも時間的に遅延して開始する第2の窓とを作成する段階と、第1の窓及び第2の窓を周波数ドメインに変換して、結果として得られたデータを基本変換分解能を有する周波数ドメインとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で窓付きデータの成分周波数を推定する段階と、成分周波数を使用して、格納された周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する周波数ドメイン高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して、単一源から発生する元の信号分類トラックレット内の単一発振器源から発生する1又はそれ以上の発振器ピークから構成される少なくとも1つのトラックレットを識別する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、複数の信号ストリームを受信して、入力サンプル窓の第1のセットと、該入力サンプルの第1のセットの開始よりも時間的に遅延して開始する入力サンプル窓の第2のセットとを複数の信号ストリームの1つに各々が対応するように作成する段階と、第1及び第2の入力サンプル窓を周波数ドメインに変換して、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータセットに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で入力サンプル窓の成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、格納された高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する1又はそれ以上の発振器ピークから構成される少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、第1の窓と、該第1の窓の開始よりも時間的に遅延して開始する第2の窓とを作成する段階と、第1及び第2の窓を周波数ドメインに変換して、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓の成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、格納された高分解能周波数ドメイン窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能周波数ドメイン窓を選択するようにし、格納された窓付きデータセットのうちの少なくとも1つから推定された成分の作用を除去する段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、複数の信号ストリームを受信して、第1の窓と、該第1の窓の開始よりも時間的に遅延して開始する第2の窓とを複数の信号ストリームの1つに各々が対応するように作成する段階と、第1及び第2の窓を周波数ドメインに変換し、基本変換分解能を有する結果として得られた周波数ドメインデータを格納する段階と、周波数ドメインデータの第1のセット及び第2のセットを各々が含む複数のチャネルを統一ドメイン表現で表現し、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、2つの時間分離サンプル窓の間で測定された位相回転を使用してより高い分解能で実際の元の周波数を検出することを含めて、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、格納された高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、オリジナル信号を含む時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを、第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、オリジナル信号の選択された部分を出力信号として再生する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、該信号ストリームから、時間ドメインにおける(分析窓によって乗算される)入力サンプルの第1のセットを含む第1の窓と、時間ドメインにおける(分析窓によって乗算される)入力サンプルの第2のセットを含む第2の窓とを入力サンプルの第2のセットの開始が入力サンプルの第1のセットの開始より時間的に遅延するように作成する段階と、第1及び第2入力サンプル窓を周波数ドメインに変換して、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、コンピュータアクセス可能な形式で格納された数学的表現形式で出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを、第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、発話処理システムで使用するように適合された特徴ベクトルの形式で出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを、第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、オリジナル信号の選択された部分を出力信号として再生する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのデータを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、コンピュータアクセス可能な形式で格納された数学的表現形式で出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓データセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、発話処理システムで使用するように適合された特徴ベクトルの形式で出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓データセット及び第2の窓データセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、元の信号内の単一源から発生するトラックレットを分類する段階と、オリジナル信号の選択された部分を出力信号として再生する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓データセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、元の信号内の単一源から発生するトラックレットを分類する段階と、コンピュータアクセス可能な形式で格納された数学的表現形式で出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、元の信号内の単一源から発生するトラックレットを分類する段階と、発話処理システムで使用するように適合された特徴ベクトルの形式で出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、周波数ドメインデータの第1のセットを含む第1の窓と第2のセットを含む第2の窓とを各々が備えた複数のチャネルを統一ドメイン表現で表現し、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、2つの時間分離サンプル窓の周波数ドメイン表現の間で測定された位相回転を使用してより高い分解能で実際の元の周波数を検出することを含めて、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定する段階と、含む。
例示的で非限定的な別の実施形態によれば、時間ドメインオーディオ信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメインビデオ信号を処理する方法は、デジタル画像又はビデオフレームの行又は列をスキャンすることによって作成できるような時間ドメイン信号ストリームを受信して、分析窓によって任意選択的に乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓データセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓データセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、信号の発振器成分の挙動を予測するためにCSPEからの情報を使用する追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓データセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓データセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、複数の信号ストリームを受信して、複数の信号ストリームのうちの1つに各々が対応する入力サンプル窓の第1及び第2のセットを入力サンプルの第2のセットの開始が入力サンプルの第1のセットの開始よりも時間的に遅延するように作成する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、格納された高分解能窓のセットをサンプリングして、元の信号成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定し、窓付きデータセットでの1又はそれ以上の発振器ピークにおける推定された周波数変調を決定する段階と、複数の周波数変調プルバック演算子(FMPO)をサンプルデータに適用する段階と、非線形補間、線形補間、及び外挿のうちの少なくとも1つを結果として得られたデータに適用して、元の信号成分の周波数変調の改良された推定値を提供する段階と、改良された推定値を更に修正された高分解能窓付きデータセットに格納する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択し、元の信号を複数の別個の発生源のうちの1つに各々が対応する複数の信号成分に分離する段階と、複数の信号成分を最良に表す単一の統合信号を再構成する段階と、統合信号を出力として提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別し、元の信号を複数の別個の発生源のうちの1つに各々が対応する複数の信号成分に分離する段階と、複数の信号成分を最良に表す単一の統合信号を再構成する段階と、統合信号を出力として提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓付きデータセットを周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能で第1及び第2の窓付きデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、周波数ドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類し、元の信号を複数の別個の発生源のうちの1つに各々が対応する複数の信号成分に分離する段階と、所望の特徴を最良に保存する単一の統合信号を再構成する段階と、統合信号を出力として提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、分析窓によって乗算された信号ストリームからのサンプルを含む第1の窓付きデータセット及び第2の窓付きデータセットを第2の窓の開始が第1の窓の開始よりも時間的に遅延するように作成する段階と、第1及び第2の窓を周波数ドメインに変換し、結果として得られたデータを基本変換分解能を有する周波数ドメインデータとして格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、シングレット変換処理で格納された高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号成分の振幅、位相、振幅変調及び周波数変調に適合する高分解能窓を選択するようにし、格納された窓付きデータセットのうちの少なくとも1つから推定された成分の作用を除去する段階と、信号の発振器成分の挙動を予測するためにCSPEからの情報を使用する追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、トラックレットの選択、削除及び関連付けのうちの少なくとも1つを可能にするグラフィカルユーザインタフェースにおいて表示される複数のトラックレットの視覚的表示の支援を受けて、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階とを含み、入力サンプルの第1及び第2のセットを変換する段階が、離散フーリエ変換(DFT)及び高速フーリエ変換(FFT)、並びに何れかの関連の変換のうちの少なくとも1つを使用して入力サンプルの第1及び第2のセットを周波数ドメインに変換する段階を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、複数の信号ストリームを受信して、複数の信号ストリームの1つに各々が対応する入力サンプル窓の第1及び第2のセットを入力サンプル時間の第2のセットの開始が入力サンプルの第1のセットの開始より遅れるように作成する段階を含み、入力サンプルの第1及び第2のセットを変換する段階が、離散フーリエ変換(DFT)及び高速フーリエ変換(FFT)のうちの少なくとも1つを使用して入力サンプルの第1及び第2のセットを周波数ドメインに変換する段階を含み、更に、分析窓によって入力サンプルの第1のセット及び入力サンプルの第2のセットを乗算する段階と、第1及び第2入力サンプル窓を周波数ドメインに変換する段階と、振幅効果及び周波数効果のうちの少なくとも1つを加えることによって変換された窓を修正する段階と、結果として得られた修正された窓付きデータセットを格納する段階とを含み、本方法が更に、周波数ドメインデータの第1のセット及び第2のセットを各々が含む複数のチャネルを統一ドメイン表現で表現し、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、2つの時間分離サンプル窓の間で測定された位相回転を使用してより高い分解能で実際の元の周波数を検出することを含めて、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、シングレット変換処理で格納された高分解能窓のセットをサンプリングして、元の信号成分の振幅、位相、振幅変調及び周波数変調に適合する高分解能窓を選択するようにし、格納された窓付きデータセットのうちの少なくとも1つから推定された成分の作用を除去する段階と、信号の発振器成分の挙動を予測するためにCSPEからの情報を使用する追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、トラックレットの選択、削除及び関連付けのうちの少なくとも1つを可能にするグラフィカルユーザインタフェースにおいて表示される複数のトラックレットの視覚表示の支援を受けて、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、時間ドメイン信号ストリームを受信して、信号ストリームから、時間ドメインにおける入力サンプルの第1のセット及び時間ドメインにおける入力サンプルの第2のセットを入力サンプルの第2のセットの開始が入力サンプルの第1のセットの開始よりに時間的遅延するように作成する段階と、分析窓によって入力サンプルのセットを乗算する段階と、第1及び第2入力サンプル窓を周波数ドメインに変換して、分析のために結果として得られた変換された窓付きデータセットを格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、格納された高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、格納された高分解能窓付きデータセットにおいて推定された周波数変調を決定する段階と、複数の周波数変調プルバック演算子(FMPO)をサンプルデータに適用する段階と、非線形補間、線形補間、及び外挿のうちの少なくとも1つを結果として得られたデータに適用して、元の信号成分の周波数変調の改良された推定値を提供し、改良された推定値を更に修正された高分解能窓付きデータセットに格納する段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、出力信号を提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、時間ドメイン信号を処理する方法は、複数の信号ストリームを受信して、複数の信号ストリームの1つに各々が対応する入力サンプル窓の第1及び第2のセットを入力サンプル時間の第2のセットの開始が入力サンプルの第1のセットの開始より遅れるように作成する段階を含み、入力サンプルの第1及び第2のセットを変換する段階が、離散フーリエ変換(DFT)及び高速フーリエ変換(FFT)又は離散コサイン変換もしくは別の関連する変換のうちの少なくとも1つを使用して入力サンプルの第1及び第2のセットを周波数ドメインに変換する段階を含み、更に、分析窓によって入力サンプルの第1のセット及び入力サンプルの第2のセットを乗算する段階と、第1及び第2入力サンプル窓を周波数ドメインに変換する段階と、振幅効果及び周波数効果のうちの少なくとも1つを加えることによって変換された窓を修正する段階と、結果として得られた修正された窓付きデータセットを格納する段階とを含み、本方法が更に、周波数ドメインデータの第1のセット及び第2のセットを各々が含む複数のチャネルを統一ドメイン表現で表現し、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、2つの時間分離サンプル窓の間で測定された位相回転を使用してより高い分解能で実際の元の周波数を検出することを含めて、周波数ドメインデータの基本変換分解能よりも高い分解能で周波数ドメインデータの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、シングレット変換処理で格納された高分解能窓のセットをサンプリングして、元の信号成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにし、格納された窓付きデータセットのうちの少なくとも1つから推定された成分の作用を除去する段階と、信号の発振器成分の挙動を予測するためにCSPEからの情報を使用する追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、トラックレットの選択、削除及び関連付けのうちの少なくとも1つを可能にするグラフィカルユーザインタフェースにおいて表示される複数のトラックレットの視覚表示の支援を受けて、単一源から発生するトラックレットを分類して、元の信号を複数の別個の発生源のうちの1つに各々が対応する複数の信号成分に分離する段階と、任意選択的に複数の信号成分を最良に表す単一の統合信号を再構成する段階と、(任意選択的に)統合された信号を出力として提供する段階と、を含む。
例示的で非限定的な別の実施形態によれば、信号を処理する方法は、相当量の周囲雑音又は干渉信号を各々が含む複数の信号ストリームを受信して、複数の信号ストリームのうちの1つに各々が対応する入力サンプル窓の第1及び第2のセットを入力サンプルの第2のセットの開始が入力サンプルの第1のセットの開始よりも時間的に遅延するように作成する段階と、分析窓によって第1及び第2サンプル窓を乗算する段階と、第1及び第2入力サンプル窓を周波数ドメインに変換して、結果として得られたデータを格納する段階と、周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも高い分解能でデータセットの成分周波数を推定する段階と、CSPEにて推定された成分周波数を使用して、格納された高分解能窓のセットをサンプリングして、元の信号成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する高分解能窓を選択するようにする段階と、追跡アルゴリズムを使用して、元の信号内の単一発振器源から発生する発振器ピークの少なくとも1つのトラックレットを識別する段階と、単一源から発生するトラックレットを分類する段階と、雑音又は干渉信号に関連付けられる可能性が高いトラックレットを排除する段階と、トラックレットの少なくとも1つの分類を選択する段階と、トラックレットの選択された分類から信号を再構成する段階と、信号を出力として提供する段階と、を含む。
必ずしも縮尺通りではない図において、複数の図を通して同じ参照符号は実質的に同じ構成要素を記述することができる。異なる添字を有する同じ参照符号は、実質的に同様の構成要素の異なる事例を表すことができる。図面は一般的に限定ではなく例証に過ぎず、本明細書で検討される特定の実施形態を例示している。
例示的で非限定的な実施形態による信号抽出処理を示す図である。 例示的で非限定的な実施形態による信号抽出処理のステップを示す図である。 例示的で非限定的な実施形態による、単一チャネル事前プロセッサを使用して源信号を事前処理する方法を示す図である。 例示的で非限定的な実施形態による、単一チャネル事前プロセッサを使用して源信号を事前処理して信号内の周波数変調を検出する方法を示す図である。 例示的で非限定的な実施形態による単一チャネル超分解能アルゴリズムを示す図である。 例示的で非限定的な実施形態による、信号成分のセットの抽出を可能にするような高精度周波数及びAM及びFM変調推定値を生成する方法を示す図である。 例示的で非限定的な実施形態による、統一ドメイン超分解能のための方法の1つの実施例を示す図である。 例示的で非限定的な実施形態による、振幅及び周波数変調検出を備えた統一ドメイン超分解能のための方法の1つの実施例を示す図である。 例示的で非限定的な実施形態による、FFTスペクトルのグラフ表示の図である。 例示的で非限定的な実施形態による、AM/FM検出のための高分解能窓を作成する方法の1つの実施例を示す図である。 例示的で非限定的な実施形態による、周波数変調検出のための方法の1つの実施例を示す図である。 例示的で非限定的な実施形態による、変調検出決定木を示す図である。 例示的で非限定的な実施形態による、信号成分追跡器によって実行される方法の1つの実施例を示す図である。 例示的で非限定的な実施形態による、周波数及び位相予測を使用することができる信号成分追跡器によって実行される方法の1つの実施例を示す図である。 例示的で非限定的な実施形態による、タブレット又は携帯電話制御のためのコンピュータで生成されるインタフェースを示す図である。 例示的で非限定的な実施形態による、トラックエディタを示す図である。 例示的で非限定的な実施形態による、トラックエディタのサブ選択を示す図である。 例示的で非限定的な実施形態による、トラックエディタデータ視覚化器を示す図である。
図1は、源信号分離のための方法100の例示的で非限定的な実施形態を示す。一例において、代表的な入力信号は、源信号(SS)SSが源不可知であるようなシステムへの入力としてオーディオ信号/音声を含むSSとすることができ、あらゆるタイプの源信号に対して使用することができる。他の代表的な入力信号は、限定ではないが、周囲の音声、オーディオ、ビデオ、発話、画像、通信、地球物理、SONAR、RADAR、熱、光学/光、医療、及び音楽信号を含むことができる。方法100は、組み合わせて又は部分的に使用して、SSを分析し、SSをその構成要素に分離して、次いで全体として又は部分的にSS信号を再構成することができる1又はそれ以上のステップを含むことができる。
図1に示されるように、方法100は、ステップ102において、信号を処理して信号分離を行うために信号を選択するよう構成することができる。一例において、分析のために連続的サンプル(時間的なサンプルの窓を表すことができる「窓」又は「サンプル窓」と本明細書では呼ばれる)を選択することができる。典型的には、小さな時間遅延を間に有して複数の窓を選択することができる。更にステップ104において、方法100は、図1に示される窓B1のような分析窓によってSSを(すなわち、連続サンプルの形式で)乗算するよう構成することができる。分析窓はまた、本明細書ではテーパーと呼ぶことができる。
ステップ108において、HRW C1のような高分解能窓(HRW)を作成することができる。更に、信号準備に使用される分析窓の複製を高分解能周波数ドメインに変換して発振器ピーク分析のために格納することができる。任意選択的には、振幅及び周波数変調効果が加えられたHRWのセットを格納することができる。ステップ110において、周波数ドメインへの変換及び複素スペクトル位相展開(CSPE)高分解能周波数推定を実行することができる。一例において、時間ドメイン窓は、高速フーリエ変換(FFT)、離散フーリエ変換(DFT)、離散コサイン変換(DCT)又は他の関連する変換などの変換を介して周波数ドメインに変換される。このような変換によって作成される周波数推定の精度は、従来では、入力サンプルの数によって制限される可能性がある。CSPE変換は、これらの制限を克服して、高精度な周波数推定値のセットを提供する。特に、CSPE計算は、2つの時間分離サンプル窓の変換の間に測定された位相回転を使用して、実際の元の周波数を検出する。
ステップ112において、方法100は、シングレット変換処理を介して発振器ピークパラメータを識別するよう構成することができる。具体的には、高分解能窓(HRW)は、CSPE計算によって提供される高精度周波数推定値を使用して元の信号成分の振幅、位相、振幅変調及び周波数変調を推定するために最も正確な適合を有するHRWを選択するようにサンプルされる。これにより、幾つかの実施形態では、近くの発振器の推定値がより正確になるように、この成分の影響を取り除くことができる。シングレット変換処理を逆にして、オリジナル周波数ドメイン信号の一部又は全部を再生することができる。ステップ114において、方法100は、追跡及び分類を実行するよう構成することができる。一例において、追跡を実行して、楽器又は人の声によって生成される単一の高調波のように、追跡アルゴリズムを使用して単一の発振器から発生し得る発振器ピークを識別することができる。単一源から発生していると判定された発振器ピークのセットは、トラックレットと呼ばれる。一例において、分類を実行し、単一源から発生するトラックレットを識別することができる。例えば、このような分類は、単一の楽器又は人の声の複数の高調波を含む可能性がある。単一源から発生していると判定されたトラックレットのセットは、コヒーレントグループと呼ばれる。
ステップ118において、シングレット変換処理後の何れかの段階で発振器ピークを出力することができる。更に、追跡及び分類段階で収集された情報を使用して、要求される発振器ピークのセットを選択することができる。一例において、シングレット変換処理を使用して、一部又は全部の発振器ピークをオリジナル信号フォーマットの一部又は全部に正確に変換することができる。別の実施例において、一部又は全部の発振器ピークは、発話認識システムへの入力として使用することができる特徴ベクトルのような別のフォーマットに変換することができ、又は数学関数を介して直接、異なる出力フォーマットに変換することができる。上記のステップを使用して、あらゆる種類の信号を分析、分離及び再構成することができる。このシステムの出力は、オリジナル信号と同じ形式とすることができ、又は次の分析のためのオリジナル信号の数学的表現形式にすることができる。
本明細書において詳細な説明で使用される「周波数−位相予測」は、発振器ピークから構成されるトラックレットの周波数及び位相展開を予測する方法である。本明細書で使用される「特徴ベクトル」は、信号から測定されたデータセットである。更に、発話認識システムへの入力として、共通の特徴ベクトルが使用される。本明細書で使用される「窓付き変換」は、スペクトルピークを様々に形成するために、「テーパー」又は窓関数(例えば、ハニング、ハミング、ボックスカー、トライアングル、バートレット、ブラックマン、チェビシェフ、ガウスなど)によってオリジナルサンプル窓を事前乗算することを指す。本明細書で使用される「短い」とは、一般に、所与の状況に適切なサンプルの有限数を示し、短時間フーリエ変換(STFT)のようなサンプルレートに応じて数千又は数百のサンプルを含むことができる。例えば、オーディオCDは、1秒当たりに44100サンプルを含み、よって、2048サンプルの短い窓は僅か1秒の約1/20である。本明細書で使用される「トラックレット」は、追跡器が同じ発振器からのものと判定された異なるフレームからの発振器ピークのセットを示す。本明細書で使用される「マハラノビスの距離」は、不確実性尺度を考慮に入れた2つの多次元ポイント間の距離を測定するための当該技術分野で公知のアルゴリズムを示す。このアルゴリズムは、一般的に、追跡アプリケーションにおいて、トラックレット及び測定を結合しなければならない又は同じ源又は同じトラックレットに割り当てなくてはならない可能性を決定するのに使用される。本明細書で使用される「トラックレット関連付け」は、どの新しい測定を既存のトラックレットに結合しなくてはならないかを決定するための方法を示す。本明細書で使用される「グリーディ関連付け」は、トラックレット関連付けを実行するための当該技術分野で公知のアルゴリズムを示す。本明細書で使用される「区分化」は、トラックレットを別個のグループに分けるための方法を示す。一般的にこれらのグループは、人の会話のような別個の音声エミッタに対応することになる。本明細書で使用される「ユニオンファインド(union find)」は、区分化のための当該技術分野で公知のアルゴリズムである。本明細書で使用される「コヒーレントグループ」は、人の会話のような同じ信号発生器からのものであると判定されたトラックレットのセットを示す。本明細書で使用される「メル周波数複素係数」は、発話認識システムへの入力として一般的に使用される公知の種類の特徴要素である。
1又はそれ以上の実施形態によれば、本明細書で開示されるSSのための方法及びシステムは、複数の信号要素への源信号の分離を促進することができる。本明細書で記載される方法及びシステムを全体的に又は一部分使用して、源信号における個々の要素を分離及び増強することができる。本システム及び方法は、一般にあらゆる信号源に適用して、信号分離を達成することができる。
1又はそれ以上の実施形態によれば、SSのための方法及びシステムは、信号分離及び増強を実行するために部分的に又は組み合わせて使用することができる一連のアルゴリズムの実行を助けることができる。一連のアルゴリズムは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせで実施することができる。
1又はそれ以上の実施形態によれば、SSのための方法及びシステムは、シングルチャネル又はマルチチャネルとすることができる事前プロセッサ、及びシングルチャネル又はマルチチャネルとすることができる超分解能モジュールに構成することができる。1又はそれ以上の実施形態によれば、SSのための方法は、短時間安定正弦波発振のための方法、短時間線形周波数変調方法、時間変化振幅変調方法、振幅及び周波数変調結合方法、及びシングレット表現法を含む、複素スペクトル位相展開に基づくことができる方法体系を含むことができる。本明細書で使用されるFM−CSPEは、周波数変調信号に適用されるCSPE方法体系の中の特定の方法を示す。同様に、AM−CSPEは、振幅変調信号に適用されるCSPE方法体系の中の特定の方法を示す。
本明細書で記載されるSSのための方法及びシステムは、以下の利点の1又はそれ以上を提供することができる。例えば、本方法及びシステムは、源信号から干渉要素を別個に抽出するのを助けることができ、望ましくない要素を源信号から取り除くことができる。一例において、SSのための本方法及びシステムを使用して、目標要素に悪影響を与えることなく源信号の目標要素を抽出又は分離することができる。別の実施例において、測定処理の畳み込み効果(「スミアリング」又は「不確実性原理」としても知られる)に関わらず、同じ周波数範囲内の重なり合った信号要素を独立して抽出し増強することができる。本明細書で記載されるSSのための方法及びシステムは、現在の処理技術に対して本明細書で開示されるSSのための方法及びシステムの処理技術の精度が向上したことに起因して、源信号の詳細分析の提供を可能にすることができる。
1又はそれ以上の実施形態によれば、SSのための方法及びシステムは、信号成分追跡器を含むよう構成することができ、該信号成分追跡器は、時間的に及び/又は高調波によって、及び/又は他の類似性特徴によって信号成分を分類してコヒーレント源を識別する方法を実行するよう構成することができる。1又はそれ以上の実施形態によれば、SSのための方法及びシステムは、コヒーレント構造集約器及びコヒーレント構造選択器/分離器を含むよう構成することができ、これによって、コヒーレント構造選択器/分離器は、抽出、分離、増強、及び/又は再合成のためのコヒーレント構造を識別する方法を実施するよう構成することができる。1又はそれ以上の実施形態によれば、本方法及びシステムは、複数の信号チャネルを単一の数学的構造に結合するため、及び統一ドメインで作用するよう設計されたあるバージョンのCSPE法を利用するために、統一ドメイン変換及び統一ドメイン複素スペクトル位相展開(CSPE)を含むよう構成することができる。SSのための方法及びシステムは、発振器ピークのセットからの周波数ドメイン信号の生成を助けることができる再合成モジュールを含むよう構成することができる。再合成モジュールは、シングルチャネル又はマルチチャネルモジュールを使用して実施することができる。
1又はそれ以上の実施形態によれば、SSシステムは、マルチチャネル事前プロセッサ、マルチチャネル超分解能モジュール、追跡器/集約器/選択器/分離器、及びマルチチャネル再合成モジュールを含むよう構成することができる。1又はそれ以上の実施形態によれば、SSのための方法は、複素スペクトル位相展開(CSPE)、シングレット表現法、統一ドメイン変換、統一ドメイン複素スペクトル位相展開、信号成分追跡、コヒーレント構造集約、コヒーレント構造分離、時間ドメインにおけるコヒーレント構造再構成、周囲信号リミックス又は再構成及び他の動作のような動作のうちの1又はそれ以上を含むよう構成することができる。
CSPE動作は、高速フーリエ変換(FFT)又は離散フーリエ変換(DFT)の精度限界を克服する方法を示すことができる。CSPE動作は、幾つかの実施形態においては21.5Hzからおよそ0.1HzのFFTベースのスペクトル処理の精度を改善することができる。幾つかの実施形態では、精度は0.1Hzよりもより良好にすることができる。1又はそれ以上の実施形態によれば、CSPE動作は、短時間安定正弦波発振方法、短時間線形周波数変調方法、時間変化振幅変調方法、及び振幅及び周波数変調結合方法を含むよう構成することができる。
シングレット表現法は、短時間安定又は準安定発振器を周波数ドメイン信号に投影することができ又は周波数ドメイン信号から抽出することができる方法を示す。一例において、発振器は、限定ではないが、正弦波発振、何れかの持続時間の短時間安定発振、準安定発振、又はこのような発振器の有限和によって所望の精度の程度に作成できる信号を含む、何れかの発振源を示すことができる。シングレット変換又はシングレット表現は、他の信号要素による干渉の程度を示すことができる発振器のスミアリング特性に関する情報と共に、発振器の振幅、位相及び(超分解能)周波数に関する情報を含むことができる。更に、シングレット表現は、オリジナルFFT又はDFTの所与の周波数ビンにおける干渉のデシベル数の関数としてスミアリング及び干渉特性に関する情報を含むことができる。幾つかの実施形態では、シングレット表現は、(超分解能)周波数変調、振幅変調及び周波数−振幅変調結合特性に関する情報を含むことができる。
統一ドメイン変換は、複数の信号チャネルを単一の数学的構造に結合する方法を指すことができ、統一ドメイン複素スペクトル位相展開は、統一ドメインにおいて作用するよう設計されたあるバージョンのCSPE方法を指すことができる。信号成分追跡は、コヒーレント源を識別するために時間において及び/又は高調波により、及び/又は他の類似性特性により信号成分を分類する方法を示すことができる。コヒーレント構造分離は、抽出、分離、増強、及び/又は再合成のためのコヒーレント構造を識別する方法を示すことができ、コヒーレント構造再構成は、選択された発振器ピークから構成される周波数ドメイン又は時間ドメイン信号を作成するための方法を示すことができる。周囲信号リミックス又は再構成は、オリジナル信号(又はオリジナル信号の増幅又は減衰バージョン)を時間ドメインにおけるコヒーレント構造再構成によって作成された信号に加えて特定の望ましい特性を有する信号を生成する方法を示すことができる。一例において、出力は、時間ドメインにおけるコヒーレント構造再構成、周囲信号リミックス又は再構成、特徴ベクトル作成及び数学的表現から他の出力フォーマットへの自動翻訳を含むことができる。
図2は、源信号202を複数の要素に分離するよう構成することができるSSシステム200の実施形態を示す。1又はそれ以上の実施形態によれば、SSシステム200は、シングルチャネル事前プロセッサ204、シングルチャネル超分解能モジュール208、マルチチャネル事前プロセッサ210、マルチチャネル超分解能モジュール212、追跡器/集約器/選択器/分離器214、シングルチャネル再合成モジュール220、及びマルチチャネル再合成モジュール222などの1又はそれ以上の構成要素を含むよう構成することができる。これらの構成要素は、ハードウェア、ソフトウェア、又はフィールドプログラマブルゲートアレイ(FPGA)のようなプログラマブルハードウェアで実装することができる。
シングルチャネル事前プロセッサ204は、シングルチャネル超分解能モジュールによって処理することができるシングルチャネル時間ドメイン信号の事前処理(例えば準備)を助けることができる。シングルチャネル超分解能モジュール208は、シングルチャネル事前プロセッサによって準備された信号における発振器ピークのセットの検出を助けることができる。マルチチャネル事前プロセッサ210は、マルチチャネル超分解能モジュール212によって処理することができるマルチチャネル時間ドメイン信号の事前処理(例えば準備)を助けることができる。マルチチャネル超分解能モジュール212は、マルチチャネル事前プロセッサによって準備された信号における発振器ピークのセットの検出を助けることができる。1又はそれ以上の実施形態では、本システムの単一の構成要素として動作するようにシングルチャネル又はマルチチャネル事前プロセッサを結合することができる。
追跡器/集約器/選択器/分離器(「TASS」)214は、発振器ピークのサブセットを分類、分離、及び/又は選択するよう構成することができる。シングルチャネル再合成モジュール220は、発振器ピークのセットから周波数ドメイン信号を生成するよう構成することができる。マルチチャネル再合成モジュール222は、何れかの数のチャネルを含む、発振器ピークのセットからマルチチャネル周波数ドメイン信号を生成するよう構成することができる。1又はそれ以上の実施形態では、再合成は、シングルチャネルモジュール又はマルチチャネルモジュールによって生成されると説明できるが、これらは、本システムの単一の構成要素として動作するように結合されてもよい。
1又はそれ以上の実施形態によれば、システム200は、限定ではないが、オーディオ、ビデオ、写真、医用イメージング、セルラー、通信、レーダー、ソナー、及び地震信号処理システムを含む、特定用途用にカスタマイズされた、ハードウェア、ソフトウェア又はこれらの組み合わせで実装される様々な形式のアルゴリズムを利用又は含むよう構成することができる。図2に示すように、信号202を受信することができる。信号202は、周囲音のようなライブ映像、又は雑音環境の記録のような事前記録データに関連付けられたデータを含むことができる。受信した信号202は、シングルチャネル信号又はマルチチャネル信号として分類することができる。信号202がモノオーディオ信号のようなシングルチャネルのデータを有する場合には、信号202に関連付けられるデータは、シングルチャネル事前プロセッサ204によって周波数ドメインに変換することができる。更に、シングルチャネル超分解能モジュール208を使用して、周波数ドメイン信号において1又はそれ以上の発振器ピークを識別することができる。
反対に、信号がステレオオーディオ信号のようなマルチチャネルのデータを有する場合には、マルチチャネルプロセッサ210を使用して信号202を周波数ドメインに変換することができる。更に、周波数ドメイン信号を統一ドメイン超分解能モジュール212に伝送することができ、ここで周波数データの統一ドメイン変換を実行して、統一ドメイン周波数データの(超分解能)発振器ピークを識別することができる。
1又はそれ以上の実施形態によれば、TASSモジュール214を利用して、ピークを分類することによって離散的な信号源を識別し、発振器ピークを集約して要求される離散源を分離することができる。TASSモジュール214は、集約された発振器ピークから1又はそれ以上のコヒーレントグループを選択するよう構成することができる。従って、ピークの1又はそれ以上のコヒーレントグループを分離して、1又はそれ以上のフォーマットの出力として1又はそれ以上のチャネルに配信することができる。
1又はそれ以上の実施形態によれば、図2に示す構成要素を使用して出力信号を再合成することができる。限定ではなく一例として、源信号202が、元はシングルチャネル信号である場合には、シングルチャネル再合成モジュール220を使用して発振器ピークを再合成信号218に変換することができる。再合成信号218はまた、本明細書においてシングルチャネル再合成モジュール220を使用して生成されたシングルチャネル信号と呼ぶことができる。同様に、源信号202が、元はマルチチャネル信号である場合には、マルチチャネル再合成モジュール222を使用して再合成信号218を生成するように発振器ピークを変換することができる。再合成信号218はまた、マルチチャネル再合成モジュール222を使用して生成された場合に本明細書でマルチチャネル信号と呼ぶことができる。例示のように、信号情報は、分析パラメータの小型形式で出力することができ;及び/又は信号は、分析パラメータからの数学的変換又は分析パラメータの再解釈によって達成できるような別のフォーマットに直接出力することができる。他の実施形態では、信号情報は、特徴ベクトルとして出力することができ、該特徴ベクトルは、発話認識器又はスピーカ識別システムのような別のアプリケーションに直接渡すことができる。
1又はそれ以上の実施形態によれば、シングルチャネル事前プロセッサ204は、シングルチャネル超分解能モジュール208を使用したシングルチャネルCSPE超分解能技術による処理のためのシングルチャネル時間ドメイン信号データの準備を助けるよう構成することができる。シングルチャネル事前プロセッサ204への入力は、ライブ映像又は記録ファイルとすることができるシングルチャネル時間ドメイン信号である。一例において、マルチチャネルデータストリームは、マルチチャネルデータストリームの少なくとも1より多いチャネルを処理するよう構成することができるマルチチャネル事前プロセッサ210によって処理される。
従来の信号分析システムは、一般に、DFT又はFFT又は離散コサイン変換(DCT)又は関連の変換を使用して、信号分析及び増強のために時間ドメイン信号データを周波数ドメインに変換する。本明細書で開示されるSSのための方法及びシステムで利用される技術は、基本構成要素として2つ(又はそれ以上)のFFTを使用した信号202の事前処理を助けるように構成することができ、ここで第2(又はそれ以上の)のFFTへの時間ドメイン入力は、第1のFFTへの入力に対して遅延した時間であるサンプルのセットである。
図3は、シングルチャネル事前プロセッサ204を使用して信号202を事前処理するための方法300の例示的な実施形態を示す。例示されるように、ステップ302において、時間ドメイン信号ストリームをシングルチャネル事前プロセッサ204によって受信することができる。ステップ304において、信号202のような入力信号のn連続サンプルでサンプル窓を満たすことができる。ステップ308において、サンプル窓A及びサンプル窓Bのような2つのサンプル窓を作成することができる。一例において、サンプル窓Aのサイズ及びサンプル窓Aのサンプルの数は、パラメータファイルにおいてユーザが指定することができる次のサンプル窓及び前のサンプル窓と重ねることができ、又はソフトウェア又はハードウェア実施構成の一部として設定することができる。一例において、サンプル窓Bは、本明細書ではサンプル窓A及びBが時間的にオフセットすることができ且つサンプル窓Bがサンプル窓Aより遅延することができるような時間遅延サンプル窓と呼ぶことができる。
ステップ310において、分析窓(本明細書ではテーパーと呼ばれる)は、サンプル窓A及びサンプル窓Bに適用し、テーパーサンプル窓A及びテーパーサンプル窓Bをそれぞれ作成するようにすることができる。一例において、分析窓は、アダマール積を使用して適用することができ、これによって2つのベクトルが項別にペアワイズで乗算される。アダマール/シャー積は、ベクトル、行列、又は一般的にアレイで定義することができる数学的演算である。2つのこのようなオブジェクトが同じ形状(及びひいては同じ位置における同じ数の要素)を有することができる場合には、アダマール/シャー積は、ベクトル、行列、又はアレイそれぞれにおける対応するエントリの要素別の積として定義される。この演算は、例えば、マトラブプログラミング言語では“.*”によって指示される演算子であるよう定義され、以下の文脈では、以下の式における“.*”又は演算子“ ”として表される。一例として、2つのベクトルが、
及び
として定義される場合、アダマール/シャー積は、ベクトル
となる。別の実施例では、分析窓は、ハニング窓、ハミング窓、ウェルチ窓、ブラックマン窓、バートレット窓、矩形/ボックスカー窓、又は他の標準的な窓関数、又は固有の設計の他の類似の分析窓のような標準的窓関数であるように選択することができる。ステップ312において、テーパーサンプル窓A及びBは、DFT又はFFT又は離散コサイン変換(DCT)又は関連の変換を使用して周波数ドメインに変換することができる。結果として、FDAT(A)及びFDAT(B)は、複素形式になるように変換時に生成することができる。
図4は、周波数変調検出が要求されるときに、シングルチャネル事前プロセッサ204を使用して信号202を事前処理するための方法400の例示的な実施形態を示す。例示のように、ステップ402において、シングルチャネル事前プロセッサ204によって時間ドメイン信号ストリームを受信することができる。ステップ404において、サンプル窓を信号202のような入力信号の連続サンプルで満たすことができる。ステップ408において、サンプル窓A、サンプル窓B、サンプル窓(B_アップ)及びサンプル窓(B_ダウン)のような4つのサンプル窓を作成することができる。一例において、サンプル窓(B_アップ)及びサンプル窓(B_ダウン)は、(B)窓と同じサンプルを含むことができるが、異なるように処理することもできる。一例において、サンプル窓Aのサイズ及びサンプル窓Aにおけるサンプルの数は、パラメータファイルにおいてユーザが指定できる次のサンプル窓及び前のサンプル窓に重ねることができ、或いは、ソフトウェア又はハードウェア実施構成の一部として設定することができる。一例において、本明細書ではサンプル窓Bは、サンプル窓A及びBが時間的にオフセットでき且つサンプル窓Bがサンプル窓Aよりも遅延することができるような時間遅延サンプル窓と呼ぶことができる。
ステップ410において、分析窓(本明細書ではテーパーと呼ばれる)をサンプル窓A及びサンプル窓Bに適用し、テーパーサンプル窓A及びテーパーサンプル窓Bをそれぞれ作成するようにすることができる。ステップ412において、変調プルバック演算子をサンプル窓(B_アップ)及びサンプル窓(B_ダウン)に適用し、信号202における周波数変調検出を達成することができるテーパー窓を作成するようにすることができる。一例において、信号202における周波数変調検出は、サンプル変調プルバック演算子とサンプル窓(B_アップ)及びサンプル窓(B_ダウン)のような他のサンプルとの間のアダマール積を介して達成することができる。例えば、サンプル窓(B_アップ)は、正の周波数変調の検出のため変調プルバック演算子と共に使用することができ、サンプル窓(B_ダウン)は、負の周波数変調の検出のため変調プルバック演算子と共に使用することができる。ステップ414において、DFT又はFFTを使用して4つのテーパーサンプル窓全てを周波数ドメインに変換することができる。この結果、FDAT(A)、FDAT(B)、FDAT(B_アップ)及びFDAT(B_ダウン)が複素スペクトルの形式で作成される。
前述の方法(例えば、方法300及び400)は更に、FDAT(A)からFDAT(B)への複素スペクトルの展開を分析する段階と、複素スペクトルの各ピーク近くの複素スペクトルのローカル位相展開を決定する段階と、を含むことができる。結果として得られる位相変化を用いて、FET又はDFTよりも細かい超分解能スケールで、観察された複素スペクトル位相展開を生成した元の周波数を決定することができる。元の周波数の計算は、CSPE方法を介して利用可能な超分解能の1つの実施例である。更に、方法400は、FDAT(A)からFDAT(B_ダウン)へ、及びFDAT(A)からFDAT(B_アップ)への複素スペクトルの展開を分析して、信号202における周波数変調の存在を検出するようなダウン変調及びアップ変調の特性を検出する段階を含むことができる。
本方法は更に、検出された元の周波数の各々に対して複素スペクトルにおける近くのポイントの複素スペクトル位相展開挙動を試験する段階を含むことができる。この試験は、複素スペクトルにおける近くのポイントの挙動が複素スペクトルのピークの近くで観察される挙動に一致するかどうかを判定するのを助けることができる。このような手法は、適正に動作したピークを保持し、矛盾するピークを排除するように適用することができる。同様に、各個別の変調する元の周波数に対して、本方法は、複素スペクトルにおける近くのポイントの複素スペクトル位相展開挙動を試験して、これらがピークの近くの観察される変調挙動と一致する方式で展開するかどうかを決定する段階を含むことができる。
本方法は更に、各一致したピークに対して測定されたFFT又はDFT複素スペクトルを生成した元の信号成分の振幅及び位相を決定するためにデコンボリューション分析を行う段階を含むことができる。更に、測定されたFFT又はDFT複素スペクトルを生成した元の信号成分の各一致した変調ピークに対する基準周波数、振幅、位相、及び変調速度を決定することができる。基準周波数は、一般に、時間ドメインサンプルのフレームの始め又は中間に設定される。
シングルチャネル事前プロセッサ204によって実行される前述の方法は、シングルチャネルCSPE超分解能法によって処理することができる少なくとも2つの周波数ドメインデータセットを作成する。説明するように、第2のセットに入力された時間ドメインは、少数のサンプルによる第1のセットに入力された時間ドメインよりも遅延し、これは僅かな時間遅延に対応する。各入力は、分析窓と乗算して、次いで、DFT又はFFTによって周波数ドメインに変換される。事前プロセッサの周波数ドメイン出力は、以下ではFDAT(A)及びFDAT(B)と呼ばれる。更に、周波数変調検出が要求される場合には、FDAT(B_アップ)及びFDAT(B_ダウン)のような2つの付加的な周波数ドメインデータセットを作成することができる。FDAT(B_アップ)及びFDAT(B_ダウン)は、周波数ドメインへの変換前に変調プルバック演算子が適用されるサンプル窓(B)に包含された時間遅延サンプルの周波数ドメイン表現である。FDAT(B_アップ)は、正の周波数変調プルバック演算子が適用され、FDAT(B_ダウン)は、負の周波数変調プルバック演算子が適用されている。
従って、例示的で非限定的な実施形態による入力、方法及び上述の出力を介して、事前プロセッサは、信号ストリームを受信して周波数ドメインのデータセットを作成し、次に、時間ドメインの入力サンプルの第1のセット及び時間ドメインの入力サンプルの少なくとも第2のセットを作成する。入力サンプル時間の第2のセットの開始は、入力サンプルの第1のセットの開始よりも遅れ、従って、2つの窓を作成して、そのうちの1つの開始は、他方に対して時間的に遅延する。次いで、入力サンプルの第1及び第2のセットは、周波数ドメインに変換され、複素周波数スペクトルを含む周波数ドメインデータが、入力サンプルの第1のセット及び第2のセットの各々に対して出力される。幾つかの実施形態では、入力サンプルの第1及び第2のセットが、DFT及びFFT又は他の変換の少なくとも1つを使用して周波数スペクトルに変換される。更に他の実施形態では、周波数変調を検出するための任意選択的な変換を時間遅延窓に適用することができる。幾つかの実施形態では、テーパー又は窓関数を時間ドメインの窓に適用することができる。
幾つかの実施形態では、適用される変換は、複素ドメインデータを出力することができない。例えば、離散コサイン変換(DCT)の適用は、複素ドメインにはない実部データの出力を生じる傾向がある。
明らかなように、記載される事前処理方法は、(i)CSPEを実行するのを可能にする窓間の時間ラグの概念を導入し、(ii)周波数変調検出を実行するために一般的に適用される様々なタイプの変換を利用することができる。「時間ラグ」とは、重なり合う方式で第1の窓の開始及び終了よりも後で第2の窓が開始及び終了することを意味する。この時間ラグは、情報を格納する人間の脳の能力を擬似している。
1又はそれ以上の実施形態によれば、シングルチャネル超分解能モジュール208は、高周波数精度を取得してシングレット表現法を可能にして使用し、信号202のようなオリジナル信号の成分を抽出するよう構成することができる。シングルチャネル超分解能モジュール208は、信号202からの成分の抽出を助けるために以下の入力を使用するよう構成することができる。シングルチャネル超分解能モジュール208は、シングルチャネル事前プロセッサ204によって生成された周波数ドメインデータの少なくとも2つのセット(FDAT(A)及びFDAT(B))、テーパー関数をサンプル窓A及びサンプル窓Bに加えている間に使用することができる1又はそれ以上のパラメータ、DFT又はFFT変換よりも遙かに細かい分解能の窓関数の変換の超分解能分析、及び同様のものなどの入力情報を必要とすることができる。この情報は、窓関数の機能的形式が推測的に公知であるので事前にコンピュータ計算することができ、一般的に何れかの所望の精度にまで分析することができる。更に、シングルチャネル超分解能モジュール208は、信号202における周波数変調の検出のためにシングルチャネル事前プロセッサ204によって生成される周波数ドメインデータの2つの付加的なセットFDAT(B_アップ)及びFDAT(B_ダウン)を要求することができる。任意選択的に、シングルチャネル超分解能モジュール208は、振幅変調及び周波数/振幅結合変調の検出及び特徴付けのための付加的な超分解能分析窓を使用することができる。
図5は、信号成分のセットの抽出を可能にするために高精度周波数推定値を生成する方法500を示す。シングルチャネル超分解能モジュール208は、周波数ドメインデータの2つのセット(FDAT(A)及びFDAT(B))及び分析窓を含むことができる入力502を利用するよう構成することができる。ステップ504において、シングルチャネル超分解能モジュール208は、複素スペクトル位相展開を計算して、次の信号抽出のための高分解能周波数を生成するように構成することができる。ステップ508において、複素スペクトル(FDAT(A)又はFDAT(B))における発振器ピークが識別されて、発振器ピークのリスト510を生成するようにする。発振器ピークは、周波数ドメインへの発振器の投影として定義することができ、処理過程におけるある段階の極大値として識別することができる。
一例において、ステップ512において、発振器ピークを選択するために、識別された極大値の各々に対して複素スペクトル(FDAT(A)又はFDAT(B))における近くのポイントのCSPE挙動を試験することができる。この試験は、複素スペクトルにおける近くのポイントの挙動が複素スペクトルにおけるピークの近くの観察される挙動と一致するかどうかを判定するのを助けることができる。このような手法は、適正に動作したピークを保持し、矛盾するピークを排除するように適用することができる。同様に、各個別の変調する元の周波数に対して、複素スペクトルにおける近くのポイントのCSPE挙動を試験して、ピークの近くの観察される変調挙動と一致する方式で展開するかどうかを決定することができる。一例において、ピーク排除基準を適用して、発振器のメインローブによって生成された目標最大値を発振器の望ましくない雑音又はサイドローブのような他の現象によって生成された非目標最大値から区別することができる。更に、多種多様な選択基準による目標最大値の抽出を優先させることができる。多種多様な選択基準は、限定ではないが、大きさ選択、周波数選択、心理音響的知覚モデルに基づく選択、或いは高調波又は適切な高調波関係を示す周波数成分の識別に基づく選択を含むことができる。
ステップ514において、出力を生成するために1又はそれ以上のシングレット表現法を使用することができる。1又はそれ以上のシングレット表現法は、ステップ520において、発振器ピーク518の振幅、位相、及び任意選択的に振幅及び周波数変調を決定する段階を含むことができる。更に、1又はそれ以上のシングレット表現法は、更新された発振器ピークの生成522及びステップ524のスペクトルデータの更新を含むことができる。本方法は、FDAT(A)及びFDAT(B)から発振器ピークの寄与分を取り除く段階を含むことができ、これは、AM変調及びFM変調発振器ピークを含む何れかのタイプの発振器ピークに対して行うことができる。寄与分の除去は、FDAT(A)又はFDAT(B)における最大値の領域を超えて拡張し、存在する他の信号成分に対する発振器のスミア干渉効果を取り出すことができる。このようなタイプの除去処理は、前の処理ステップの超分解能分析によって可能とすることができる非ローカル計算である。更に、シングレット表現法は、ナイキスト周波数を介し及びDC(ゼロモード)周波数を介した信号成分のエイリアシングの一貫した処理を含むことができる。
ステップ528において、処理が完了したかどうかに関して判定される。すなわち、処理の完了の判定は、適切な数の目標最大値が識別されたかどうか、信号成分が追跡及び/又はコヒーレントグループへの集約及び/又は分離及び選択及び/又は再合成の準備ができているかどうかを含むことができる。シングルチャネル超分解能モジュール208は、処理が完了していないと判定された場合に、スペクトルデータ530を使用して処理ステップを繰り返すよう構成することができる。方法500は、処理が完了したと判定された場合にはステップ532に進み、532において発振器ピーク534が出力され、例えばユーザに表示される。
図6は、信号成分のセットの抽出を可能にするために、高精度周波数並びにAM及びFM変調推定値を生成する方法600を示す。方法600は、方法500によって要求されるようなデータセットと比較したときに、周波数ドメインデータの2つの付加的なセットFDAT(B_アップ)及びFDAT(B_ダウン)を必要とすることができる。周波数ドメインデータの付加的なセットは、オリジナル信号202内のAM及び/又は周波数変調の検出を可能にすることができる。ステップ602において、方法600は、FDAT(A)、FDAT(B)、FDAT(B_アップ)及びFDAT(B_ダウン)のような複素スペクトルデータに対してCPSEを実行することができる。ステップ604において、発振器ピークリストを作成することができ、608において、方法500の508及び512においてそれぞれ開示された技術を使用して発振器ピークが選択される。ステップ610において、方法600は、信号202から成分を抽出するために1又はそれ以上のシングレット表現技術を含むよう構成することができる。これらの技術は更に、高度シングレット適合処理に関して本明細書で開示される。方法600は、ステップ612に進むことができ、ここで処理の完了に関する判定が行われる。完了すると、ステップ614において、方法600は発振器ピークを出力することができる。
従って、入力を取り出して本明細書で記載される方法を実行する特定の例示的で非限定的な実施形態によれば、プロセッサは、所与の又は「基本的な」変換分解能を各々が有する周波数ドメインデータの第1のセット及び第2のセットを受信し、本明細書で更に記載するように周波数ドメインデータに対して複素スペクトル位相展開(CSPE)を実行して、基本変換分解能よりも通常は高い極めて高精度の分解能で成分周波数を推定する。本明細書で使用される「変換分解能」は、変換方法のインヒーレントな分解能の限界を示し、例えば、DFT又はFFTが1秒当たりQサンプルでサンプルされたデータから取られたNポイントサンプル窓で計算される場合、DFT又はFFTは、半分が正(又は正スピニング)の周波数ビンに対応し半分が負(又は負スピニング)の周波数ビンに対応する(当業者には公知の標準的な規則によって定義される)N周波数ビンを提示することになり、この方法で検出できる最も適正にサンプルされた信号はQ/2の周波数であり、これはN/2正周波数ビンに分割され、1ビン当たりQ/Nヘルツのインヒーレントな「変換分解能」を結果として生じる。他の変換技術の何れかに対して類似の計算を行い、対応する「変換分解能」を決定することができる。幾つかの実施形態では、周波数ドメインデータにおいて1又はそれ以上の発振器ピークを識別する段階と、識別された発振器ピークの少なくとも1つの近くの少なくとも1つのポイントのCSPE挙動を試験して適正に動作した及び/又は短期安定発振ピークを判定する段階と、識別された発振器ピークの抽出を実行する段階と、を含むピーク選択を更に実行することができる。更に他の実施形態では、各識別された発振器ピークの振幅及び位相を判定し、シングレット変換/シングレット表現を実行して高分解能スペースから低分解能スペースにマップすることができる。更に他の実施形態では、シングレット表現を更に実行し、周波数ドメインデータから各識別された発振器ピークの寄与分を取り除くことができる。
上記及び本明細書で使用される「所与の」、「オリジナル」又は「基本的な」変換分解能は、FFTのような変換の分解能であり、周波数ドメインデータの入力データセットを提供するのに使用され、すなわち、変換のインヒーレントな分解能が、CSPEの基本構成要素として使用される。CSPE変換自体の付加的な詳細を以下に示す。
CSPEは、標準的DFT又はFFTのような従来の変換によって生成されるよりも高精度の周波数の推定値を計算する。従来のFFT及びDFT方法は、周波数推定値が周波数ビンの中心に位置付けられると仮定するが、1又はそれ以上の実施形態によるCSPEは、時間の経過に伴って信号の複素位相の回転を測定して、周波数ビン内のその位置の高分解能推定値を生成する。本開示全体を通じたCSPEへの言及は、周波数ビン内の極めて高い分解能での複素位相の回転のような信号の特性を推定するためにこの機能を含むことを理解されたい。1又はそれ以上の実施形態によれば、本明細書で開示されるCSPE方法は、超分解能周波数信号分析を提供することができる。一般的に、N個のサンプルが、信号、例えば、.wavフォーマットの音楽ファイルからのデジタルサンプル信号、又は何れかのセンサデバイスに付属することができるアナログ−デジタルコンバータの出力、或いは黒−白又はRGBフォーマットの画像のスキャンライン、及びその他から取得される。信号のN個のサンプル(例えば、サンプル1,...,N)に対して、離散フーリエ変換(DFT)又は高速フーリエ変換(FFT)のようなフーリエ変換が実行される。同様にN個のサンプルは、信号の時間遅延スナップショット(例えば、時間遅延τに対するサンプルτ+1,...,τ+N)から取得され、これらの時間遅延サンプルにフーリエ変換が適用される。次いで、オリジナルサンプルと時間遅延サンプルとの間の複素フーリエ変換の位相展開が分析される。特に、変換の共役積が取得され(乗算は、乗算が第1変換ベクトルの要素及び第2変換ベクトルの複素共役に対して項別に行われる場合にシャー又はアダマール積である)、次いでこの共役積の角度が取得される。この積及び角度情報を使用して、多数の有利な応用を実現することができる。例えば、角度を変換と比較して、信号の正確な元の周波数を決定できるように期間の分数乗算を求めることができる。位相展開を用いて、オリジナル変換によって可能なものよりも高い分解能で正確な信号周波数を決定すると、補正された信号パワー値を計算することが可能になる。更に、フーリエ変換の周波数ビンにおけるパワーは、とりわけ周波数を補正するために再割り当てすることができる。この場合、近くの周波数ビンにスミアされた信号パワーは、正確な源信号周波数に再割り当てされる。
CSPEアルゴリズムは、信号202の周波数スペクトルにおける発振成分の検出を可能にし、一般的に、変換において存在できる周波数に改良された分解能を提供することができる。上述したように、計算はDFT又はFFTによって行うことができる。しかしながら、連続変換及びハードウェアベースの変換を含む、他の変換を使用してもよい。
以下の実施例において示されるように、信号s(t)が与えられると、同じ信号のデジタルサンプルバージョン
が定義される。信号のN個のサンプルが取られた場合、信号のDFTは、DFT行列を最初に定義することによって計算することができる。
に対して、行列は次式のように記述できる。
行列の各列は、Nポイントサンプル窓にわたって整数期間を発振している複素正弦関数である。1又はそれ以上の実施形態によれば、指数の符号を変えることができ、CSPEの定義では、複素共役を第1項又は第2項の何れかに置くことができる。
N個のサンプルの所与のブロックに対して、次式を定義する。
及び一般的には、
信号のDFTは以下のようにコンピュータ計算することができる。
上述したように、CSPEは、Nポイントの初期サンプルとNポイントの時間遅延サンプルとの間の信号成分の位相展開を分析することができる。時間遅延をΔ及び
及び
の複素共役の積によって指定することができることで、CSPEは、積の角度として(シャー積又はアダマール積としても公知のマトラブの“.*”演算子に等しい、ビン単位ベースで取られた)定義することができる。
ここでε演算子は、積がシャー又はアダマール積のように要素別ベースで取られることを示しており、Σ演算子は、積から生じた複素エントリの角度が取られることを示す。
正弦関数データにおけるこの例示的な処理を例示するために、期間p=q+δを有する複素正弦関数形式の信号を取り、ここでqは整数、TMは1より小さな大きさの分数偏差、すなわち
である。複素正弦関数のサンプルは、次式のように記述することができる。
1つのサンプルのシフトを取った場合には、CSPEにおいてΔ=1であり、
これを書き換えて以下を得ることができる。
変換の共役積(この場合も要素毎ベースで取られる)を求め、以下の結果が得られる。
CSPEはこの積の角度を取り、次式を見つけることによって得られる。
これを標準的DFT計算の情報と比較した場合、周波数ビンは、
の整数倍数であり、よってCSPE計算は、
の整数倍数で現れる信号の代わりに、信号は実際にはq+δによって与えられる分数倍数であると判定される情報を提供する。この結果は、考慮中の周波数ドメインとは関係なく、CSPEは、どのような周波数ドメインのビンが考慮されようとも元の周波数の正確な決定を可能にすることができる。同じ信号のDFTを探す際に、信号は、周波数ビンq−1、q、又はq+1の最大パワーを有することになり、
である場合、信号パワーは、ビンの範囲外の周波数ビンにまでリークすることになる。他方、CSPEは、DFTの周波数ビンにおけるパワーを信号パワーを生成した正確な元の周波数に再割り当てすることができる。1又はそれ以上の実施形態によれば、Ω行列の定義である右の列は、「負周波数」の複素正弦関数として解釈されることが多く、以下のことによる。
同様に、最後から2列目は次式に等しい。
本明細書の説明において使用される用語「負周波数成分」は、このようにして再解釈することができる列への信号の投影を示すことができる(当該技術分野で使用される標準的規則に従う)。
1又はそれ以上の実施形態によれば、本明細書の方法400及び500で使用される発振器ピーク選択処理は、発振器のメインローブ効果である周波数ドメインスペクトルにおける最大値の識別、及び周波数ドメインデータから発振器ピークを抽出する最適順序の決定を助けることができる。一例において、発振器ピーク選択処理は、FDAT(A)に格納された複素周波数データを振幅に変換することを含むことができる。FDAT(A)の要素の振幅は、その要素の複素値の絶対値である。FDAT(A)の要素の振幅は、本明細書ではスペクトル振幅(A)と呼ぶことができる。
発振器ピーク選択処理は、スペクトル振幅(A)における極大値を識別する段階を含むことができる。一例において、位置nにおける要素は、位置nにおける振幅が位置n−1における要素の振幅及び位置n+1における要素の振幅よりも大きい場合に極大値である。更に、発振器ピークとして本明細書で呼ばれる発振器のメインローブ効果を識別するために極大値を試験することができる。例えば、極大値の振幅を最小閾値に対して試験することができる。別の実施例において、極大値の位置に対応するCSPE周波数の近接性が当該位置に対応するFFT周波数ビンの中心に対して決定される。CSPE周波数が十分近似していない場合、これは、極大値が発振器のサイドローブ効果であること、又は雑音誘導ピークであることを表すことができる。しかしながら、極大値の振幅が特定の閾値よりも大きい場合、極大値は、早期の試験であるかに関係なく、有意なピークであるとみなすことができ、発振器のグループから構成することができる。
発振器ピーク選択処理は、FDAT(A)及びFDAT(B)から発振器ピークを抽出する順序を決定する段階を含むことができる。より高い優先順位ピークは、所与の応用に適切な選択基準を使用して選択され、すなわち、例えば、特定のタイプのより高い順序のピークは通常、所与の状況において雑音ではなく要求される信号のより顕著な特徴である。ピークは、他の技術の中でも、大きさ選択、心理音響的知覚モデル(発話認識又は発話フィルタリングのための信号抽出の場合など)、トラック持続時間、トラックオンセット時間、高調波関連付け、適切な高調波関連付け又は所与の応用に適切な何れかの他の基準によって選択することができる。
1又はそれ以上の実施形態によれば、CSPE高分解能分析は、音色様信号成分を適切に定義された周波数を有する構造化(例えばライン)スペクトルに変換するよう構成することができ、雑音様の信号帯域は、一般的には構造形態を示さない。従って、信号は、音色様及び雑音様成分に実質的に分離することができる。発振器ピークを選択するために、実施形態において、一連のステップを利用することができる。例えば、第1に、CSPE分析は、検出された各個別の元の周波数に対する複素スペクトルにおける近くのポイントの複素スペクトル位相展開挙動を試験して、これらが、複素スペクトルにおけるピークの近くの観察される挙動と一致するように展開するかどうかを判定することができる。更なる基準を適用して、適切に動作するピークを保持し、適切に動作しない(例えば矛盾した)ピークを排除することができる。
一例において、CSPE分析は、各一致した適切に動作するピークに対するデコンボリューション分析を行い、測定されたFFT又はDFT複素スペクトルを生成した元の信号成分の振幅及び位相を決定するように構成することができる。高分解能周波数分析から取得されたデータを使用して、重要性の順序で信号成分に優先順位を付けることができ、例えば、雑音環境における発話信号の認識の場合の優先順位は、知覚的重要性又は明瞭度への影響に基づくことができる。心理音響的知覚モデル(PPM)を統一ドメインにおいて提供することができ、これによってデータの各チャネルに対する独立したコンピュータ計算を別個に計算する必要がなくなり、統一ドメインPPMは、マルチチャネルデータの特定の成分に優先順位を与えるのに使用できる情報を提供することができる。一例において、統一ドメインPPMを使用して、指定された方向又は方向の範囲から来る信号を重要視することができる。従って、信号のスペクトル、空間及び時間的態様の効果を1つのアルゴリズムに組み入れる統一心理音響的知覚モデル(UPPM)が提供される。このアルゴリズムは、ハードウェアで具現化するか、又はソフトウェア内に実装することができる。
1又はそれ以上の実施形態によれば、UPPMコンピュータ計算は、3つのステップに分けることができる。第1のステップは、音色様の信号成分と雑音様の信号成分を区別することができる高分解能信号分析を含むことができる。第2のステップは、周波数、音圧力レベル、及び空間位置に基づく信号成分のコヒーレンシーグループの計算を含むことができ、各コヒーレンシーグループは、強調することができる「明瞭度の単位」を提供する。更に、コヒーレンシーグループの干渉及び分離を計算及び投影し、統一ドメインにおけるコヒーレンシー表面を作成することができる。一例において、コヒーレンシー表面を利用して、空間場全体にわたり定義される表面を作成することができる。更に、ステレオオーディオ信号、左及び右チャネルの統一ドメインからの変換によって、コヒーレンシー曲線を得ることができる。従って、従来のシングルチャネル処理技術を信号に対して依然として実行することができる。何れの時点においても、マルチチャネル信号を統一ドメインに変換して戻すことができ、又は統一ドメインの信号を信号処理の目的のためにマルチチャネル信号(又はシングルチャネル信号)に変換することができる。
1又はそれ以上の実施形態によれば、シングレット表現方法は、周波数ドメインデータから発振器のパラメータを識別することができる動作セットを含むことができ、又は発振器のパラメータを使用して周波数ドメインデータを生成することができる。1又はそれ以上の実施形態によるシングレット変換処理における様々なステップは、周波数ドメインにおける発振器の投影の正規化形状を計算する段階を含むことができる。更にステップは、計算されたスペクトルを周波数データのセットに当てはめて低周波数発振器の振幅及び位相を計算することによって、発振器の大きさ及び位相を計算する段階を含むことができ、DCを介してエイリアシングすることによって起こる干渉効果を考慮に入れる。更に、ステップは、周波数ドメインデータに発振器の周波数ドメイン表現を加算するか、又は周波数ドメインデータから発振器の周波数ドメイン表現を減算する段階を含むことができ、ナイキスト及びDCを介したエイリアシングを考慮に入れる。1又はそれ以上の実施形態によれば、複素分析方法を利用して、単一のFFT窓内の発振器ピークの周波数及び振幅変調を更に特徴付けることができる。これらの複素アルゴリズムは、本明細書で更に詳細に検討される。
1又はそれ以上の実施形態によれば、周波数ドメインにおける発振器の投影の正規化形状は、シングルチャネル事前プロセッサ204で使用された分析窓の高分解能周波数ドメインバージョンを含む入力、及びCSPEによって作成された発振器ピークの高精度周波数推定値を使用して計算することができる。シングルチャネル事前プロセッサ204で使用される分析窓の高分解能周波数ドメインバージョンはまた、本明細書でFWINとも呼ばれる場合がある。FWINは、テーパーをサンプル窓A及びサンプル窓Bに適用するためにシングルチャネル事前プロセッサ204にて使用される分析窓の高分解能バージョンの周波数ドメイン表現である。FWINは、オリジナル分析よりも16又は32倍長くすることができる。この倍数は、「アップサンプル」レートと呼ばれる。他の実施形態では、分析窓の高分解能バージョンは、数学的関数表現によって正確に認知することができる。
発振器の周波数がFFTビンの中心にあると判定された場合、発振器の投影形状は、FWINのダウンサンプルバージョンに一致し、最初にその中心でFWINからポインタを選択して、次いでアップサンプルレートの間隔でポイントを選択することによって作成することができる。周波数がFFTビンの中心にない場合、発振器の形状は、このポイントから周波数が僅かにオフセットされたFWINのサブセットに対応することができる。1又はそれ以上の実施形態によれば、周波数ドメインへの発振器の投影の形状は、この位置に対応するFFTビンの中心とCSPE周波数との間の周波数の距離を計算する段階を含むことができる方法を使用して作成することができる。本方法は更に、FWINの中心に上記で計算されたオフセットを加えた周波数にてFWINから第1サンプルを選択する段階を含むことができる。本方法は、アップサンプルレートに基づく事前に決められた間隔でFWINからサンプルを選ぶ計算ステップを含むことができる。例えば、計算されたオフセットがFWINにおける5ビンに相当する場合、アップサンプルレートは16であり、FWINの中心ビンは32769に対応し、次いで選択されたFWINビンは、[...,3741,32757,32773,32789,32805...]とすることができる。一例において、選択できるビンの数は、システムのユーザ定義パラメータに依存することができる。このステップの出力は、FWINから選択された複素サンプルのセットであり、これらの複素サンプルは、本明細書では発振器ピーク標準化スペクトルと呼ぶことができる。これらのサンプルは、不正確な振幅及び位相を有する可能性がある。
1又はそれ以上の実施形態によれば、FWINから選択された複素サンプルの正確な振幅及び位相は、発振器のピーク形状の決定に応じて計算することができる。一例において、振幅及び位相計算は、一般的にはFDAT(A)に格納された周波数ドメインデータのセットに発振器の形状を適合させることによって達成することができ、この位相はまた、本明細書では適合振幅位相と呼ぶことができ、発振器ピーク標準化スペクトル、CSPEによって計算された発振器ピークの高精度周波数、及び周波数ドメインデータのセット、一般的にはFDAT(A)を必要とすることができる。更に本方法は、スペクトルデータに適合する大きさ及び位相回転を求めて、サンプル正規化スペクトルを新しい大きさ及び位相で乗算する段階を含むことができる。
信号成分の周波数の推定に基づいて、信号の測定されたスペクトルへの当該信号成分の寄与の正確な近似を決定することができる。1又はそれ以上の実施形態によれば、これは、周波数ビンの中間にセンタリングされていない信号に適用されたときに離散フーリエ変換の特性から得られる。この処理は、コンボリューション(畳み込み)及び窓の特性から得られる。他の実施形態では、分析窓の高分解能バージョンが数学的関数表現として正確に既知とすることができる場合、畳み込み特性は連続方式で計算することができる。
1又はそれ以上の実施形態によれば、信号が分析されるときに、サンプルの有限数を選択することができ、変換をコンピュータ計算することができる。限定ではなく一例として、DFTを信号に適用することができる。しかしながら、類似の特性を有し当該技術分野に精通した研究者に公知の他の変換を信号に適用することができる。データの窓の変換は、一般的に窓ステップが先行し、この場合、窓関数W(t)は、データS(t)で乗算される。W(t)は分析窓と呼ばれるものとする(後で、データの窓を同じ又は異なる合成窓を使用してリアセンブリすることができる)。データは時間ドメインの窓で乗算されるので、畳み込み定理は、W(t)*S(t)の積の周波数ドメイン表現が、変換の畳み込み
及び
を示すことを表しており、ここで、これらはそれぞれにW(t)及びS(t)の変換であることを示している。周波数f0で大きさM0の信号成分が存在することを高分解能スペクトル分析が明らかにした場合、畳み込み定理は、本質的に式
の項を所与とすると、分析窓に似た形状のf0にセンタリングされた寄与の存在を意味している。離散フーリエ変換によって計算されたスペクトルのような離散スペクトルでは、スペクトルのサンプルバージョンをもたらすポイントの有限格子が存在する。従って、上述のf0にセンタリングされた寄与は、スペクトルにおける非ゼロの最低周波数の整数倍である有限格子ポイントでサンプルされる。同等に、1秒当たりRサンプルのサンプルレートで適切にサンプルされたデータのNポイントに対して離散フーリエ変換が計算される場合、取り込まれる最高周波数は、R/2Hzのナイキスト周波数であり、N/2独立周波数ビンが存在することになる。これは、(R/2Hz)/(N/2ビン)=R/NHz/ビンの最低サンプル周波数を提供する。更に、離散フーリエ変換における他の全ての周波数は、R/Nの整数倍数である。
分析窓付き変換
と離散フーリエ変換のような離散変換の周波数格子にサンプルされているスペクトル値との間の関係に起因して、f0に最も近い格子ポイント上の測定されたサンプル値と共に、
の認識を使用して、大きさの優良な推定値M0を計算することができる。この値を計算するために、f0(fgrid)に最も近い周波数格子ポイントが識別され、差分
が計算され、当該格子ポイントでの信号の変換の大きさの値Mgridが計算される。次に以下の関係式から真の大きさを計算することができる。
一例において、
が、分析窓の変換の最大の大きさを意味するように取り出され、一般的に1に正規化される。また、分析窓の変換は一般的に対称であり、よって、
の符号は一般的には問題ではない。これらの関係は、基本的な畳み込み関係の操作によって当業者によって例外的な窓関数に適応させることができる。固定分解能を
の認識と仮定すると、
は、2倍、4倍、8倍、16倍、32倍、又は64倍、又はDFTにおける周波数格子の分解能より細かいN倍である微細スケール格子でサンプルすることができる。この場合、差分値
が、微細スケール格子に対応することができる周波数ビンの最も近い分数まで計算される。例えば、微細スケール格子が変換のオリジナル周波数格子よりも16倍細かい場合、
は、オリジナル周波数格子の1/16まで計算される。望ましい細粒度分解能は、特定の応用に依存し、当業者によって選択することができる。
1又はそれ以上の実施形態によれば、真の信号の位相は、真の信号の周波数及び大きさの推定に基づいて調整することができ、離散的な周波数スペクトルによって提示される位相と信号を整合できるようにすることができる。よって、
が大きさMgridと関連付けられる位相角度を表し、

の位相角度を表す場合、分析窓は、
に等しい量だけ回転しなくてはならない。これが行われると、信号成分に関する情報の全ては、f0、M0、及び
の値によって取り込まれる。結果として、信号成分の再構成は、分析窓
の表現、周波数f0への表現のシフト、角度
の分析窓の回転、及び大きさM0による分析窓の乗算を必要とする(分析窓は1に等しい最大大きさを有すると仮定し、そうでなければ窓をスケールする倍数だけ大きさM0に乗算する)。適合振幅及び位相の出力は、発振器ピークの真の振幅及び位相、及び発振器ピークのスケールスペクトルを含む。
1又はそれ以上の実施形態によれば、発振器のピーク形状の判定に応じて、低周波数発振器に対して正確な振幅及び位相を計算することができる。低周波数発振器のこのような事例では、DCを介したエイリアシングの効果は、当該発振器の複素共役投影に干渉する可能性がある。この干渉に起因して、従来の技術を使用して発振器の真の振幅及び位相を測定することは難しい。1又はそれ以上の実施形態に従って本明細書に提示される方法は、低周波数発振器の真の振幅及び位相を計算する問題を解決する新しい手法を表している。一例において、本方法は、低周波数発振器ピークの正規化されたスペクトル、CSPEによって計算された低周波数発振器ピークの高精度周波数、及び周波数ドメインデータのセット、一般的には低周波数発振器の真の振幅及び位相を決定するためのFDAT(A)を含むことができる入力を使用する段階を含むことができる。特定の実施形態において、本方法は、反復ステップを含むことができ、ここでCSPE周波数値は、発振器のスペクトルに対する改善された一致を達成するある範囲の値によって変化する。
信号処理アプリケーションにおいて、データのサンプル速度が遅い場合には、高周波数でのエイリアシング問題が現れることがある。極めて低い周波数において干渉もまた存在し、本明細書ではDC問題による干渉と呼ばれる。この問題は、信号を分析するために有限サンプル窓が使用される場合に生じる。サンプリングに使用される窓関数は、密接に包含されるが、何れかの実現可能な有限時間窓関数の存在において問題が発生することがある。問題を明確に提示するために、周波数f0の信号が存在し、DC又は0Hz周波数状態に近いと仮定する。このような信号が有限時間窓W(t)にわたってサンプルされる場合、上述のように、信号の周波数スペクトルは、
として示される窓関数のフーリエ変換によって、周波数f0のデルタ関数の周波数ドメインにおける畳み込みに等しい。離散的式では、結果が離散変換における周波数の格子、例えば、高速フーリエ変換(FFT)の周波数格子に投影される。窓関数の変換が無限に狭くはないので、スペクトルは、f0を含む周波数ビン以外の周波数ビンへのパワースピリングを有する。実際には、窓関数の変換は、全周波数を通じて拡張され、よって、信号パワーの一部がスペクトル全体を通して分散され、パワーのスピルオーバから近くの周波数ビンの劣化を引き起こす。窓関数に応じて、
がゼロに低下する速度が変化するが、実際に使用される大部分の窓、例えばハニング窓、ハミング窓、ボックスカー窓、パルゼン窓及び当業者に公知の多くの他の窓に対して、f0を包含するビンを超える有意なスピルオーバが存在する。このスピルオーバ又はスミアリング効果は、信号のスペクトル全体を通して重要であり、2つの信号成分の周波数が近い場合、スピルオーバからの干渉が有意になる可能性がある。しかしながら、何れの低周波数信号もDCの片側で鏡像として複素共役ペアを有するので、DCビンの近くで問題がより重大になる。これらの複素共役信号は、「負周波数」成分とみなされる場合が多いが、低周波数信号に対して、ペアリングが強力な干渉効果を保証する。しかしながら、周波数の優良な推定が達成できる場合には、ペアリングの複素共役性質は、真の元の信号を明らかにして干渉を補正するよう干渉問題の解決を可能にする。本明細書で記載される方法は、畳み込み方法の問題に対処する。本方法は、f0でのスペクトル、及び
として示される「正周波数」成分からの寄与の反映としてのf0での測定されたスペクトル値、並びに鏡像又は「負周波数」成分からの寄与
を考慮する段階を含むことができる。
寄与が、
での負周波数から生じるので、
での寄与は、分析窓の共役
から取られる。
がf0でセンタリングされるように定義されると仮定すると、負周波数成分からの寄与は、
の中心から距離
に来る。結果的に、周波数f0の高分解能周波数が得られた場合、正及び負周波数から
で測定されたスペクトル値への寄与分を決定することができる。本方法は、
及び
位置の両方で0になるよう位相を設定する段階を含むことができる。この位置で設定されると、
及び
に対する値は完全に既知であり、よって差分
が得られる。更に、位相が0であるときには、
及び
位置の信号成分は実部であり、よって負周波数からの複素共役スペクトルは、正周波数におけるスペクトルと同じ相対的位相位置にある。しかしながら、位相が0とは異なってくると、相対的位相値は、反対の方向に回転しなくてはならず、よって、
での位相がφに設定された場合には、
における位相は、−φに設定して複素共役ペアリングを維持しなくてはならない。これは、ゼロ位相方向において、寄与
及び
は、
の相対的位相差を有するが、
での位相方向がφに設定された場合、
での位相方向は逆回転して、−φに設定され、寄与
は同じ量だけ逆回転しなくてはならないことを意味する。従って、何れかの位相方向において、所与の周波数での総寄与は、
及び
の回転及び逆回転バージョンの結合であり、これらの総和は楕円を辿る。
及び
が回転して整列するときに楕円の主軸が生じるので、これは、回転角度が
であり、回転及び逆回転バージョン総和が
になったとき生じる。結果として、回転及び逆回転が位相角度の平均である角度にて項を整列状態にしたときに主角度が生じる。主軸はπ/2ラジアンの更なる回転の後に発生するので、主軸の位置も同様に決定することができる。従って、短軸に対する回転及び逆回転バージョンの総和は、
となる。
本方法は更に、角度方向を直接的な方式で決定できるように、楕円のパラメータ化を容易にする段階を含むことができる。最初に、x軸に主軸を有し、大きさMの楕円を考えて、Sを短軸の大きさとする。楕円は、
によって、及び楕円上の何れかのポイントを選択できるτに対する値を指定することによってパラメータ化することができる。
により楕円上のポイントが得られた場合、曲座標におけるポイントの角度位置
(これはDC問題を介した干渉に対する位相角度に相当するので)は、関係式
から見出すことができる。このパラメータ化の形式がDC問題を介した干渉に適用されると、
及び
の回転及び逆回転和によって形成された楕円は、主軸及び短軸がx及びy軸と整列するように回転され、次いで、測定されたスペクトルを調べて、結果として得られたスペクトル成分によって示される実際の角度を決定する。測定されたスペクトルから得られた角度は、Ωで表記される。主軸が
にあるので、角度Ωでの結果をもたらすのに更なる回転が必要とされ、従って、
を決定する必要があり、一例において、以下の関係式を使用して得られる。
結果として次式が提供される。
本方法は更に、上記の関係式が周波数の認識及びスペクトルにおける
位置及び
位置での複素共役関係のみから決定されることを認知する段階を含むことができる。分析は全て、窓関数の変換の相対的な大きさから決定された。相対的大きさは、信号が振幅値で乗算されたときでも同じ比率で残ることになる。従って、真の測定されたスペクトルの再生は、スペクトルから真の振幅値を選択することを必要とし、次いで、回転及び逆回転寄与の総和が測定されたスペクトル値によって示される振幅に等しくなるようにリスケールすることができる。最終的結果は、
での信号の真の振幅の高精度な測定であり、スペクトルが
に位置付けられた窓関数
及びその鏡像の、
に置かれた複素共役ペア
によって再構成されたときに、DCビンを介した干渉を含む結果として得られる総和は、真の測定された信号スペクトルの高精度再構成となる。
上記の分析は、スペクトルにおける
及び
位置での干渉に焦点を当てており、影響される周波数の何れかにおいても類似の分析を行い、等価の結果を得ることができる。
及び
位置での分析は例証に過ぎず、信号がそこに集中するという理由からであり、実際に通常、最も高い信号対雑音比及び最良の精度結果をもたらす。低周波数発振器に対する適合振幅及び位相の出力は、低周波数発振器ピークの真の振幅及び位相、及び低周波数発振器ピークのスケールスペクトルである。
1又はそれ以上の実施例において、
の推定値が十分に正確ではない可能性があると判定される場合がある。これらの場合、ある範囲の周波数にわたって
の値を変えて、要求精度に達するまで処理を継続して繰り返すことができ、このことは、本明細書で次の段落において更に詳細に検討する。
1又はそれ以上の実施形態によれば、低周波方法を使用して適合される一部又は全ての発振器ピークは、試験されて誤差が補正される。低周波発振器ピーク誤差を試験して補正する方法は、適合したスペクトルから発振器ピークを減算し、残余スペクトルを計算する段階を含むことができる。当該発振器ピークの中心に近い残余スペクトルが、閾値を上回る場合には、本方法は、オリジナルスペクトルの何れかの側である周期でCSPE周波数を修正し、低周波数振幅及び位相計算を繰り返す段階を含むことができる。従って、本方法は、最少残余誤差を有する発振器ピークを使用することを含むことができる。この段落で説明した方法は、周波数及び振幅変調検出の処理で使用することができる。
1又はそれ以上の実施形態によれば、DC又はナイキストにわたる発振器エイリアシングによる干渉は、ピークの誤った識別又はピークの再合成を防ぐため、周波数データから発振器ピークを除くか又は周波数データに発振器ピークを加える際に考慮しなければならない。一例において、このことは、一次加算又は減算に加えて、DC又はナイキストを通じてラップする部分の複素共役を加算又は減算する方法を実施することにより達成することができる。一例において、本方法は、CSPEによって計算された発振器ピークの高分解能周波数、発振器ピークのスケールスペクトル、及び発振器ピーク加算及び減算を実行するための周波数ドメインデータのセットを含むことができる入力を使用する段階を含むことができる。本方法は、発振器ピークがDC周波数又はナイキスト周波数の何れかによって二分されるような状況になった場合に、周波数ドメインデータにおける発振器ピークの位置を識別して、発振器ピークを主領域と末尾領域とに分割する段階を含むことができる。末尾領域は、DCと、−ナイキスト(負ナイキスト)(ここで、発明者らは、複素FFTにおける周波数の半分が正指定される(又は正スピニングの)周波数であり、周波数の半分が負指定される(又は負スピニングの)周波数であるという規定を採用する)との間の負周波数にある部分である。
一例において、本方法は、ピークの誤識別又はピークの再合成を防ぐために加算動作が実行される場合に、主領域を入力周波数ドメインデータに加算し、末尾領域の複素共役を入力周波数ドメインデータに加算する段階を含むことができる。或いは、本方法は、ピークの誤識別又はピークの再合成を防ぐために、入力周波数ドメインデータから主領域を減算し、入力周波数ドメインデータから末尾領域の複素共役を減算する段階を含むことができる。本方法は、このステップへの入力として受信された周波数ドメインデータの修正されたセットを出力することができる。
1又はそれ以上の実施形態によれば、シングルチャネル超分解能方法の出力は、個々の発振器成分を記述するパラメータセットを含むことができる。各セットは、シングルチャネル再合成方法において当該発振器を正確に再構成するのに使用される情報を含むことができる。好ましい実施形態では、情報は、発振器成分に対応する周波数、振幅、及び位相に関係した情報を含むことができる。
一例において、マルチチャネル事前プロセッサ210は、1又はそれ以上の実施形態に従って、マルチチャネルCSPE超分解能技術によって処理することができるマルチチャネル時間ドメイン信号データを準備するように構成することができる。一例において、入力として、マルチチャネル時間ドメイン信号をマルチチャネル事前プロセッサ210に送ることができる。入力は、ライブ映像又は記録ファイルとすることができる。別の実施例において、シングルチャネルデータストリームは、シングルチャネル事前プロセッサによって処理することができる。
マルチチャネル事前プロセッサ210は、204においてシングルチャネル事前プロセッサに対して前述されたのと同じ方法に従うように構成することができるが、本方法は、データの複数のチャネルに対して繰り返すことができる。一例において、マルチチャネル事前プロセッサ210は、1又はそれ以上の実施形態に従って入力信号の各チャネルに対する方法を実行することができる。本方法は、当該チャネルに対する入力信号のn連続サンプルでサンプル窓を満たす段階を含むことができる。一例において、連続サンプル窓は、サンプル窓が次のサンプル窓及び前のサンプル窓と重なるサンプル窓のサイズ及びサンプルの数をパラメータファイルにおいてユーザが指定できるよう、互いに重なり合うように構成することができる。重なり合うサンプル窓のサイズ及び数は、ソフトウェア又はハードウェア実施構成の一部として設定することができる。例示の目的で、サンプル窓は、以下ではサンプル窓(A)と呼ばれるように定義することができる。
本方法は更に、第2の時間遅延サンプル窓を作成する段階を含むことができる。例示の目的で、第2のサンプル窓は、以下ではサンプル窓(B)と呼ぶことができる。サンプル窓A及びサンプル窓Bは、サンプル窓Bがサンプル窓Aよりも遅延するように時間的にオフセットさせることができる。サンプル窓(B)はサンプル窓(A)よりも遅延する。本方法は更に、周波数変調検出が要求された場合に、2つよりも多い時間遅延サンプル窓を作成する段階を含むことができる。付加的なサンプル窓は、サンプル窓Bと同じサンプルを包含できるが、付加的な窓は異なるように処理することができる。例示の目的で、付加的な窓は、以下では(B_アップ)及び(B_ダウン)と呼ぶことができる。周波数変調の検出は、「変調プルバック演算子」を(B_アップ)及び(B_ダウン)サンプル窓に適用する段階を含むことができる。これは、アダマール積により達成することができる。例えば、(B_アップ)サンプル窓に対して、正周波数変調のための変調プルバック演算子を使用することができる。更に、(B_ダウン)サンプル窓に対して、負周波数変調のための変調プルバック演算子を使用することができる。本方法は更に、分析窓、又はテーパーをサンプル窓A及びサンプル窓Bの両方に別個に適用する段階を含むことができる。これは、前述のようにアダマール積を介して達成することができる。一例において、周波数変調検出は、分析窓を(B_アップ)及び(B_ダウン)サンプル窓に適用する段階を含むことができる。本方法は更に、DFT又はFFTを使用してテーパーサンプル窓A及びテーパーサンプル窓Bの両方を周波数ドメインに変換する段階を含むことができる。例示の目的で、周波数ドメイン出力は、以下では、FDAT_チャネル_X(A)及びFDAT_チャネル_X(B)と呼ぶことができ、ここでXはチャネルの識別子である。更に、周波数変調検出が要求される場合、(B_アップ)及び(B_ダウン)サンプル窓に対して前述したのと同じ処理を使用して、FDAT_チャネル_X(B_アップ)及びFDAT_チャネル_X(B_ダウン)窓を作成することができる。
一例において、マルチチャネル事前プロセッサ210の出力は、1フレーム当たりデータの2つのセットを含むことができ、各データセットは、高速フーリエ変換(FFT)技術又は何れかの他の関連の周波数変換技術を介して周波数ドメインに変換することができる。各チャネルに対して、第2のセットは、僅かな時間遅延に対応する少数のサンプルだけ第1のセットよりも遅延させることができる。本明細書の例示の目的で、これらのデータセットは、FDAT_チャネル_0(A)、FDAT_チャネル_0(B)...FDAT_チャネル_N(A)、及びFDAT_チャネル_N(B)と呼ぶことができる。一例において、周波数変調検出が要求される場合、2つの付加的な周波数ドメインデータセットを各チャネルに対して作成することができる。これらは、例示的に、以下ではFDAT_チャネル_X(B_アップ)及びFDAT_チャネル_X(B_ダウン)と呼ぶことができる。FDAT_チャネル_X(B_アップ)及びFDAT_チャネル_X(B_ダウン)は、サンプル窓Bに包含することができ且つ周波数ドメインへの変換の前に変調プルバック演算子を加えることができる、時間遅延サンプルの周波数ドメイン表現とすることができる。FDAT_チャネル_X(B_アップ)には、正周波数変調プルバック演算子を適用させることができ、FDAT_チャネル_X_(B_ダウン)には、負周波数変調プルバック演算子を適用させることができる。
例示的で非限定的な実施形態によれば、事前プロセッサは、複数の信号ストリームを受信して周波数ドメインでデータのセットを作成することができる。周波数ドメインデータは、複数のサンプル窓又は「データセット」を含むことができる。説明の目的で、「サンプル窓」は、オリジナル時間連続データから取ることができるnサンプルの窓を示すことができる。次いで、複数の周波数ドメインデータセットの各々を使用して、第2データセット時間の開始が第1データセットの開始よりも遅延することができる、第1データセット及び第2データセットを作成することができ、複数のサンプルデータセットの各々を周波数ドメインに変換して、第1及び第2データセットの各々に対する複素周波数スペクトルとして出力することができる。幾つかの実施例において、各対応する第1データセット/窓及び第2データセット/窓は、FFT、DCT、又は何れかの他のこのような変換のような従来の変換を使用することによって周波数スペクトルに変換することができる。
一例において、マルチチャネル超分解能モジュールを定義することができる。マルチチャネル超分解能モジュールは、高周波数精度を取得して、シングレット変換の使用を可能にし、オリジナル信号の成分を抽出するよう構成することができる。一例において、マルチチャネル超分解能モジュールの入力は、マルチチャネル事前プロセッサ210からの各チャネルに対する周波数ドメインデータの2つのセットを含むことができる。データセットは、以下ではFDAT_チャネル_0(A)及びFDAT_チャネル_0(B)...FDAT_チャネル_N(A)、及びFDAT_チャネル_N(B)と呼ぶことができ、ここでチャネルは、チャネル_0からチャネル_Nとして指定され、周波数データは、非時間遅延データに対して(A)及び時間遅延データに対して(B)として指定される。
入力は更に、テーパーをサンプル窓A及びサンプル窓Bに適用する際に使用される分析窓を記述するパラメータを含むことができる。一例において、周波数変調が要求される場合、入力は更に、シングルチャネル事前プロセッサによって生成される、周波数ドメインデータの2つの付加的なセット、データFDAT(B_アップ)及びデータFDAT(B_ダウン)を含むことができる。一例において、入力は更に、周波数及び振幅変調の検出及び特徴付けのための任意選択的な付加的超分解能分析窓を含むことができる。
図7は、統一ドメイン超分解能のための方法700を示す。本方法は、例証として、定常音色、雑音様の要素、過渡事象、及び変調周波数のような離散的オブジェクトに分解することによって、統一ドメインにおける信号分解を実行する段階を示す。1又はそれ以上の実施形態による方法700は、シングルチャネル超分解能方法の拡張とすることができる。
本方法は、702において、複数の入力チャネルから取得された複素スペクトル位相展開周波数に対して統一ドメイン変換及び統一ドメイン複素スペクトル位相展開(CSPE)を実行する段階を含むことができる。入力チャネルは、前述されたチャネルFDAT_チャネル_0(A)、FDAT_チャネル_0(B)...FDAT_チャネル_N(A)、及びFDAT_チャネル_N(B)のような、マルチチャネル超分解能モジュールへのチャネル入力を含むことができる。方法700は更に、シングレット変換方法を使用して、DAT_チャネル_0(A)、FDAT_チャネル_0(B)...FDAT_チャネル_N(A)、FDAT_チャネル_N(B)から発振器ピークの寄与分を取り除く段階を含むことができる。これは、704において、変換されたチャネルデータから発振器ピークのリストを作成することによって行うことができる。更に、708において、発振器ピークのリストからピーク選択処理を使用して発振器ピークを選択することができる。ピーク選択処理は、発振器ピークを識別する段階を含むことができる。ピーク選択処理は更に、ピーク排除基準を適用して、発振器のメインローブによって生成された目標最大値を、望ましくない雑音又は発振器のサイドローブのような他の現象によって生成された非目標最大値と区別する段階を含むことができる。次いで、目標最大値は、分離の大きさ及び周波数、心理音響的モデルのアプリケーション、又はピーク選択を優先させるのに使用できる追跡器状態情報を含む、複数の因子に基づいて優先順位付けすることができる。方法700は更に、710において、シングレット変換方法を使用して各チャネルにおける発振器ピークの振幅及び位相を識別する段階を含むことができる。発振器ピークの情報は、処理から出力するために保存することができる。方法700は更に、710において、処理を完了できるかどうかの判定を行う段階を含むことができる。処理が完了した場合、712において、以前に保存された発振器ピーク情報を方法700の実行の出力として提供することができる。或いは、712において発振器ピークの識別処理が完了していないと判定された場合、方法700を繰り返すことができる。
一例において、方法700は更に、追跡及び/又はフィルタリング及び/又は再合成のために信号成分を準備する段階を含むことができる。代替の実施形態では、統一ドメイン超分解能のための方法は、振幅及び周波数変調検出と共に使用することができる。図8は、方法700に含まれるステップとは別に、802において付加的な振幅及び周波数変調検出を組み入れた方法800を示す。802において、振幅及び/又は周波数変調検出が要求された場合、高度適合処理を伴う技術が使用される。
方法700で前述されたように選択することができる発振器ピークの周波数及び/又は振幅変調を識別するのに使用することができる。
1又はそれ以上の実施形態によるスペクトルデータの統一ドメイン表現は、以下の説明で述べる技術を使用して計算することができる。
統一ドメインは、データのシングルチャネルとしてマルチチャネル信号の表現とすることができる。マルチチャネル信号を統一ドメインに変換するロスレス変換が存在することができる。この結果、統一ドメインにおける信号は、個々のチャネルを別々に処理するのではなく、全体として処理することができる。一例において、信号が統一ドメインに変換される場合でも、信号位置に関係付けられる大きさ、周波数及び空間成分に関する信号の情報の全てを保存することができる。信号の変換は、統一ドメインの信号をサラウンド音声信号、又はRGB信号のステレオ信号のようなマルチチャネル信号に戻すことができるような可逆的技術とすることができる。一例において、統一ドメイン変換は、単一の大きさの成分を特殊ユニタリ群SU(N)(ここでNは、オリジナルデータ信号におけるチャネルの数を表す)からの行列で乗算される表現に変換できるような特徴を含むことができる。
一例において、マルチチャネル信号ストリームを統一ドメインのシングルチャネル信号ストリームに変換できる場合に、統一ドメイン(UD)に変換する処理を開始することができる。この変換は、変換(transformation)を利用して実行することができる。変換は、情報を単一の「信号」に入れながら、各チャネルの信号成分の大きさ、周波数、内部位相、及び空間位置に関する情報を保持する段階を含むことができる。更に変換は、データサンプルの単一の1次元ストリームではなく、行列のストリームを使用する段階を含むことができる。UD変換は、UD表現がNチャネルに対する複素特殊ユニタリ群の要素(SU(N))で乗算された単一の大きさ成分を含む可逆的技術とすることができる。幾つかの実施例において、UD行列は、ユニタリ群U(n)から取ることができる。SU(N)群は、多くの方法で表現することができる。マルチチャネル信号を変換する目的で、複素行列の構造を利用することができる。一例において、ステレオ入力はUDで表現することができる。ステレオは、N=2であるように2つのチャネルを含むので、従って、統一ドメインにおける表現は、2x2複素行列で乗算された単一の大きさ成分として提供することができる。より詳細には、マルチチャネルオーディオストリームの変換は、次式のように表すことができる。
ここで、大きさは周波数の関数とすることができ、Nは入力チャネルの数を表すことができ、Uは統一ドメインを表す。
従来の2チャネルオーディオストリーム(左/右のような)では、次式のような表現となる。
この表現は、2つのチャネルのオーディオストリームとUDの行列のストリームとしての表現との間の1対1マッピングを含むことができ、変換は可逆性とすることができる。1つのドメインで行われる何れかの操作も、他のドメインにおける等価の対応するものを有することができる。当業者であれば、有利であると証明される統一ドメインにおける信号に対して、幾つかの処理技術を実行できることは理解できる。例えば、信号に適用される処理は、処理が統一ドメインにおいて一度実行すればよいので迅速に実行することができ、そうでなければ処理は、各サブチャネルに対して別々に実行する必要がある。更に、統一ドメイン操作は、同時にチャネルの全てに対して動作するという利点を有し、従って、付加的な同期処理を実行する必要もなく、チャネルの同期状態が保持される。
例示的な非限定的実施例によれば、プロセッサは、変換分解能を有する周波数ドメインデータの第1のセット及び第2のセットを各々が含む、複数のチャネルを受信するよう構成することができる。複数のチャネルは、統一ドメイン表現に結合することができ、複素スペクトル位相展開(CSPE)は、統一ドメイン表現に対して実行し、基本変換分解能よりも高い分解能又は精度で成分周波数を推定することができる。このような実施例において、CSPEが複数のチャネルを統一ドメインの表現に変化させるときに上述の数学的処理を均一に適用することができる。例えば、右及び左チャネルの代わりに、CSPEは、入力されたチャネルの全てを含む単一行列形式表現にすることができる。
他の実施例において、統一ドメイン表現において1又はそれ以上の発振器ピークを識別する段階及び少なくとも1つの識別された発振器ピークの近くの少なくとも1つのポイントのCSPE動作を試験して適正に動作したピークを保持する段階を含む、ピーク選択を実行する段階を更に行うことができる。次にこれらの識別されたピークは、優先順位付け方式で抽出することができる。他の実施例において、各識別された発振器ピークの振幅及び位相を識別するためにシングレット表現を実行することができる。更に別の実施例において、統一ドメイン表現から各識別された発振器ピークの寄与分を取り除くためにシングレット表現を実行することができる。
一例において、統一ドメインCPSE方法を定義することができる。一例において、方法は、高分解能周波数分析の実行を含むことができる、統一ドメインにおける信号に対する処理ステップを実行する段階を含むことができる。高分解能周波数分析は、前述の1次元CSPE変換の拡張とすることができる。1次元の場合と同様に、統一ドメインにおける信号の成分の位相展開は、Nポイントの初期サンプルとNポイントの時間遅延サンプルとの間で分析することができる。この比較から、信号成分が実際に現れる空間位置を表す分数倍数を取得することができる。この結果、信号に対する正確な元の周波数及び推定される空間位置を決定することができる。サンプル信号内に存在する元の周波数を補正するために、高分解能周波数分析を取得するのに利用される変換の周波数ビンに信号パワーを再割り当てするよう情報を利用することができる。
1又はそれ以上の実施例によれば、統一ドメインの信号を操作するのに利用することができる1つの処理は、高分解能周波数分析とすることができ、当該処理は、複素スペクトル位相展開(CSPE)方法の行列ベースのバージョンとして実施することができる。この結果、特定の実施例において、変換は、例えば、約46ms窓で分析されるCDサンプルレートで安定した信号に対して0.01Hzの大きさの信号精度を与えることができる。特定の他の実施例において、0.01Hz、0.01Hz又はより細かい精度の信号精度を結果として生じることができる。CSPE高分解能分析は、音色様の信号成分を適正に定義された周波数を有する線スペクトルに変換することができ、他方、雑音様の信号帯域は構造を持たない。従って、信号は、音色様及び雑音様成分に実質的に分離することができる。サンプルデータのフレームに過渡信号成分又は振幅又は周波数変調信号成分があるかどうかを検出又は試験して、周波数の高調波分類を集約するような、更なる処理を利用することができる。当業者であれば、信号(例えば、全オーディオ信号)全体に又は信号の一部分に対して処理を実行できることは理解できる。従って、窓ステップは処理の何れのポイントにも提供することができる。例えば、データのフレームは、マルチチャネルデータストリームから直接、又は統一ドメインのデータから取り出すことができる。
一例において、UD変換は、2つのチャネルを有するステレオ音楽のための音楽、又は複数のチャネルを有するサラウンドサウンド音楽に存在することができるような、複数のチャネルで同時にデータを分析する方法を提供することができる。類似の実施例において、赤、青及び緑チャネルを有するRGBフォーマットなどのデータの複数のチャネルから構成されることになる画像及びビデオデータを考慮することができる。従って、マルチチャネル信号は、特殊ユニタリ群SU(n)から取り出される行列のベクトルにで乗算される周波数ドメインの1次元の大きさベクトルの形式で表すことができる。従って、統一ドメインの信号へのマルチチャネル信号の特定の変換は、以下のよう行うことができる。
1つの例示的な実施例において、入力データは、左及び右に指定されたデータの2つのチャネルを含むステレオ音楽とすることができ、得られる結果は、次元2の特殊ユニタリ群SU(2)からの行列のベクトルで乗算された大きさベクトルとすることができる。ステレオ音から結果として得られる大きさベクトルへの上述の変換を達成するための変換処理は、複数のステップを含むことができる。第1ステップは、音楽データの窓を選択し、これを離散フーリエ変換(DFT)などの変換を使用して周波数ドメインに変換する段階を含むことができる。ステップの実行の結果として、離散的周波数ビンの信号の表現を取得することができる。一例において、データの窓においてN個のサンプルを選択することができる。この結果、N個の周波数ビンを取得することができる。或いは、周波数ビンの数を変えることができる、当業者に公知の変換の変形形態が存在することができる。
周波数ドメイン変換は、(一般的に)複素周波数情報の2チャネルを生じることができる。従って、各周波数ビンは、2要素を有する複素ベクトルとしてみなすことができる。次にこれらの要素を、グループSU(2)から取り出された複素行列で乗算し、単一の大きさの成分を結果として得ることができる。この大きさ成分は、ステレオ音楽の表現として行列と共に格納することができる。
一例において、変換処理は、次式のように数学的に表すことができる。

周波数ドメインに変換するために、以下の数学的演算を実行することができる。

グループ要素は複数の方法で表すことができる。例えば、2チャネルのデータに対するSU(2)行列に対して、以下に提示された形式で表すことができる。
一例において、周波数ドメインベクトルの成分を有する角度は、以下のように識別することができる。
のjth複素成分を、
として指定し、
のjthの複素成分を、
として指定する。次に複素周波数成分は、
及び
を設定することによって、jthの周波数ビンに対するSU(2)行列の要素(KS注記:これは、挿入されたギャップ又は分離又はキャリッジリターンを有さないSU(2)として現れなければならない)で識別することができ、位相変数は、同じ
及び
値にすることができる。SU(2)行列がjth周波数ビンに対する周波数成分の2ベクトルで乗算された場合、得られる結果は、以下のような単一の大きさベクトルとすることができる。
SU(2)行列は、ユニタリであるのが好ましく、また、逆行列を持つことができ、その結果、情報の全てを大きさベクトル及びU行列に包含することができる。従って、オリジナルに存在した情報の全てを包含することができる2つのチャネルデータに対する新しい表現を提供することができる。
1又はそれ以上の実施例において、データが統一ドメイン表現で表されると、以前に表された2つの独立した音楽チャネル、すなわち右及び左周波数は、SU(2)からの複素行列で乗算された単一の大きさベクトルとして統一ドメインで表現することができる。変換は容易に反転することができ、好都合な方法で前後に変えることができる。
上述の1又はそれ以上の実施例において、マルチチャネル信号の処理に使用できる大部分の信号処理動作は、統一ドメインでコンピュータ計算することができる。よって、1つのアプリケーションでは、フロントエンド処理が複素スペクトル位相展開(CSPE)の計算を使用することができる。統一CSPEは、データの窓を統一ドメインに変換することによって計算することができる。当該窓に対する表現は、
と呼ぶことができる。更に、統一ドメインへのデータの時間シフト窓は、
として表すことができる。次に、統一CSPEは、
の計算を必要とすることができ、ここで演算子は、周波数ビンの全てにわたって行列の構成要素毎の積(シャー積又はアダマール積としても公知)をとるように構成され、*は、複素共役が取られたことを示す。統一ドメインにおけるCSPEの再マップされた周波数を取得するために、統一CSPEにおける複素エントリの引数を計算することができる。
一例において、統一ドメインでコンピュータ計算することができるように、従来の信号処理関数を有利に再定式化することができる。一例において、統一ドメインと周波数ドメイン又は時間ドメインにおけるデータの通常の表現との間の数学的等価性が存在することができる。統一CSPEにおける周波数の再マッピングと結合されたときに、信号成分を空間位置及び内部位相関係を有するものと考えることができる。これは、入力データが右及び左チャネルを有するステレオオーディオである場合に、フィールドスパニングにわっってリスナーへのアプローチ角度を作動させるためにステレオオーディオの空間効果を関連付けることによって行うことができる。この点に関して、σの所与の値で生じることができる信号成分は、統一ドメイン表現の大きさ値から得られた大きさ成分によって与えられる大きさを有する、ステレオフィールドにおける角度
で発生するとみなすことができる。更に、2チャネルの内部位相角は、当該信号成分に割り当てられた、
φ1
及び
φ2
値に保持することができる。
一例において、左及び右チャネルの音楽を周波数f0及びf1を有する2つの成分から構成することができる。成分を統一ドメインに変換して統一CSPEによって処理できる場合、これらの信号は、
のように、その大きさ、空間位置、及び内部位相に関連付けることができ、第2信号に対して、関連付けは、
次に、コヒーレンシー表面の決定は、空間成分を有するように適応させることができる。
例えば、f0のような信号成分が、マスキング関数G(f0;f)によって与えられる近くの周波数に対して1次元マスキング効果を有することになる場合、このマスキング効果は統一ドメインに拡張することができ、コヒーレンシー表面関数は、信号成分間の角度分離に関係付けられる空間成分をピックアップすることになり、このことの1つの実施形態をコヒーレンシー関数
として表することができ、ここで正弦関数は空間成分を表す。同様に、コヒーレンシー関数は、あらゆる信号成分に対して導き出すことができ、データの空間場全体にわたって定義されるグローバルコヒーレンシー表面は、例えば、空間場における所与のポイントでのコヒーレンシー関数の総和、又は空間場における所与のポイントでのコヒーレンシー関数の最大値、又は空間場におけるあるポイントでのコヒーレンシー関数の平均値、又は空間場におけるあるポイントでのコヒーレンシー関数についての幾つかの他の選択規則の何れかを用いることによって見出すことができる。更に、正弦関数以外の他の空間関数、並びに空間方向に迅速に低下する関数又は空間方向に緩慢に低下する関数を利用することができる。
一例において、統一ドメインへの変換の処理、高分解能統一CSPE情報の計算、及び統一ドメインにおけるコヒーレンシー表面の計算は、マルチチャネル信号を構成する成分の全てを一緒に考慮して、これらを一貫した方法で処理する可能性をもたらすことができる。代替の実施例において、信号処理アルゴリズムの適用性の他の改良形態及び実施例を実施することができる。例えば、CSPE超分解能アルゴリズムは、単に単一の信号成分に適用するよりもより一般的に適用することができる。従って、CSPEアルゴリズムを用いて、信号周波数の間に幾らかの分離が存在する場合に多くの信号成分を分解することができる。マルチ信号が存在する場合、周波数の超分解能は、個々の信号成分によって占有される可能性があるスペクトル周波数ビンの近くで最も正確とすることができ、信号中心から離れたスペクトル領域は、一般に、最も近い優勢信号周波数に再マップすることができる。例えば、3つの正弦波から構成される信号では、信号は、周波数ビンの中心には存在しない。この実施例において、アルゴリズムは、良好な精度を有する真の元の周波数を成功裏に再計算するよう構成することができる。図9は、この処理のグラフ表現である(910を参照)。オリジナルFFTスペクトルが線911として示され、再マップスペクトルが線912として示されており、再マップスペクトルは事実上直線スペクトルである。この実施例において、正確な周波数(周波数ビン数)は、28.7965317、51.3764239、及び65.56498312であり、推定周波数は、28.7960955、51.3771794、及び65.5644420である。これらのスペクトルが44100サンプル/秒のCDサンプリングレートでサンプルされた音楽から計算された場合、各周波数ビンの基本変換分解能は、約21.53Hz/ビンとなり、測定される信号は、誤差なく約±0.001ビンであり、±0.02153Hzに等しい。しかしながら、現実世界の音楽データは、クリーンで安定しているとは限らない。従って、コンピュータ計算された高分解能スペクトルの精度は、近くの干渉信号の存在、周波数の変調、及び広帯域スペクトルを有する雑音様の信号などによって影響を受ける可能性がある。このような実施例において、高分解能分析は、サンプル窓全体にわたって比較的安定とすることができる何れかの信号成分に対して0.1Hz程度の信号精度をもたらすことができる。ノラジョーンズによるトラックから取られたデータの窓に関する実施例が与えられると、再マップスペクトルが信号920で現れ、ここでオリジナル信号は線922であり、再マップ信号は線921である。アルゴリズムの代替の変形形態の一例において、類似の分解能を直線的に変調する信号成分に提供することができ、変調速度と共に、窓における初期信号周波数の高分解能推定値を戻す。これは、測定される量による変調を相殺する複素ベクトル(プルバック演算子)による乗算を含むようCSPEを変更することによって、影響を受ける可能性がある。これは、補足説明において論じられる周波数変調の段落で更に検討することができる。
実関数を複素関数とその複素共役関数との総和として表すことができる場合、複素信号に加えて実信号に対してもCSPE技術を利用することができる。例えば、期間
を有する実正弦波に対して、pが整数であり、
が1よりも小さい大きさの分数偏差であり、すなわち
であり、振幅「a」及び任意の位相では、実正弦波のサンプルは、以下のように複素正弦波の線形結合として記述することができる

及び1つのサンプルシフトは次式のようになる。
が定義される場合、ベクトルは次式のように記述することができる。
この実施例において、これらのベクトルのうちの各ベクトルのDFTは次式とすることができる。
CSPEは、シフト及びアンシフト変換の複素積
を使用してコンピュータ計算することができ、ここで積演算子は、ベクトルにおける要素別に取られた複素積として定義することができる。
積を展開して次式を得ることができる。
上記の式を簡約して、次式を生成することができる。
一例において、上記の簡約式は、「前方スピニング」又は「正周波数」複素正弦波及び「後方スピニング」又は「負周波数」複素正弦波に対するCSPEの総和と相互作用項とみなすことができる。総和における第1項と最後の項は、前述されたCSPE計算と同じとすることができるが、単一複素正弦波の代わりに、2つの複素正弦波の線形結合が存在することができる。更に、これらの2つの項からのCSPEへの寄与は、q+δ及び−(q+δ)それぞれにて位置付けられた高度に集中したピークを表すことができる。相互作用項は、適切に処理されない場合にはアルゴリズムの精度を低下させる可能性がある幾つかの特性を有することができる。以下に示すように、相互作用項によって導入されるバイアスは、データを窓関数化することによって最小にすることができる。更に、
次式のように簡約することができる。
は、例えば、周波数位置q+δにて集中したピークとすることができ、
は、周波数位置−(q+δ)にて集中したピークとすることができ、積は、要素別に基づいて取ることができる(よって、幾つかのケースに対して
)。
上述の例示的な状況で提供されるデータは、限定ではないが、ハニング窓、ハミング窓、又は矩形窓、又は何れかの他の標準的窓関数を含む分析窓を使用して分析することができる。更に、測定されるスペクトルは、真の(すなわち、デルタのような)正弦波スペクトルを分析窓によって畳み込みことにより見出すことができる。例えば、矩形窓(ボックスカー窓など)が使用される場合、近くのスペクトルビンへの漏れが有意となる可能性があり、有意な相互作用項を生成するのに十分な強度のものとすることができる。相互作用項は、干渉する大きさの2次項(すなわち、
ブラケットにおける項)を発生させることができる。有意な相互作用項の可能性を低減するために、当該技術分野で公知の別の分析窓を利用して、漏れがq+δ及び−(q+δ)の近傍に制限できるようにし、よって、
ケースは最も一般的な状況である。更に、CSPEが計算された後、角度情報を抽出することによって周波数を再割り当てすることができる。正の周波数(k>0のような場合)では、次式を求めることができる。
負の周波数に対して(k<0)、反対の値
を求めることができる。その結果、実信号の場合(
のときの事例とすることができるような)、正周波数におけるパワーの全てをq+δに再マップすることができ、負周波数におけるパワーの全てを−(q+δ)に再マップすることができる。このような結果は、周波数ビンとは実質的に無関係とすることができ、周波数の極めて正確な推定を可能にすることができる。
一例において、分析窓によって窓付きにされている実正弦波に対してCSPEを実行することができる。次いで、CSPEは、例えば、基本変換を窓付き変換であると定義することによって、窓掛けの効果を含むよう一般化することができる。例示の目的で、DFTをコンピュータ計算する前に、データを窓付きにすることができる。更に、例示的に検討する目的で、任意の分析窓A(t)及びそのサンプルバージョンAnを定義することができる。変換を前述したように実行することができる。更に、分析窓は、次式で示される関数で事前乗算することができる。
ここで添字Wは、窓付き変換を利用できることを示す。
従って、窓掛けの存在下で、次式を得ることができる。
変換は、漏れを近くの周波数ビンに最小化にし、更に干渉項をほとんどの場合で無視できる程度に低減するのを可能にすることができる。
幾つかの例示的で非限定的な実施形態によれば、信号処理のための統一ドメインモデル/超分解能モデルにおいて、非直交AM/FM要素間の相互作用を周波数変化信号において決定することができる。このような決定は「追跡器による認識」で行うことができ、その結果、相互作用追跡器は、AM及びFM成分間で一貫した決定を行うように発展しているときにトラックレットの履歴を探すように構成することができる。
一例において、高度適合処理を介して変調検出を実行するための方法を定義することができる。本方法の説明の目的で、従来のフーリエベースの分析方法に関して仮定することができる。この仮定では、従来のフーリエベースの分析が、あらゆる発振器ピークが一定の周波数及び振幅を有する単一の分析窓の時間中に安定した正弦波によって生成できるようにして作用することを記述することができる。しかしながら、多くのアプリケーションに対して、単一の分析窓内の周波数及び/又は振幅の変化を検出することが必要となる場合がある。このような検出は、以下で検討される技術の1又はそれ以上を組み合わせて或いは単独で考慮することによって行うことができる。
一例において、高分解能窓(HRW)作成を使用した振幅変調(AM)/周波数変調(FM)検出技術を定義することができる。本技術は、分析窓の高分解能周波数ドメインバージョンを時間ドメインサンプルに適用して、分析される発振器ピークを特徴付ける段階を含むシングレット変換処理を含むことができる。説明の目的で、分析窓の高分解能周波数ドメインバージョンは、(HRW)と呼ぶことができる。
一例において、シングレット変換処理を使用して、サンプル窓内の振幅及び/又は周波数が一定ではない可能性がある発振器ピークを特徴付けることができる。これを行うために、対応する振幅及び/又は周波数変調を有するHRWを分析のために使用することができる。振幅変調用に設計されたこのようなHRWは、以下では説明の目的で(AM HRW)と呼ぶことができる。例えば、サンプル窓の間に振幅が増加した正弦波の結果とすることができる発振器ピークを分析するために、HRWと比較することができ、この場合、HRWを作成するために使用される分析窓は、周波数ドメインへの変換の前に増加する同じ振幅で乗算することができる。同様の実施例において、周波数が変調されている発振器ピークを分析するために、周波数ドメインへの変換の前に対応する周波数変調速度に対する変調作成演算子と分析窓を乗算したHRWを使用することができる。このようなHRWは、以下では説明の目的で(FM HRW)と呼ぶことができる。
上述の検出技術を組み合わせて、振幅及び周波数変調の両方を有する正弦波の効果を分析することができる。このようなHRWは、以下では説明の目的で(AM/FM HRW)と呼ぶことができる。
図10は、高分解能AM/FM窓を作成するための方法の1つの実施例を示す。方法1000は、窓関数1002によって示されるように、オリジナル分析窓の複製によって高分解能窓作成の処理を開始する段階を含む。方法1000は更に、1008において、振幅変調の分析用の窓1012を作成するために、アダマール積などを使用して要求される振幅変調1004で分析窓1002を乗算する段階を含むことができる。方法1000は更に、1014において、周波数変調の分析用の窓1018を作成するために、適切な変調量を有する周波数変調作成演算子1010で窓1012を乗算する段階を含むことができる。周波数変調作成演算子(FMCO)は、周波数が安定している正弦波を周波数で変調される正弦波に変換するよう構成することができる。方法1000は更に、1020において、窓1018を要求長さにパッドする段階を含むことができる。好ましい実施例において、要求長さは、サンプル窓のオリジナルの長さの16又は32倍とすることができる。更に、1020において、FFT又はDFTを実行し、分析を周波数ドメインに変換することができる。変換は、図10の実施例に示すように、高分解能窓(A)1022をもたらすことができる。
方法1000はまた、時間シフトAM窓1024及び/又は時間シフトFM窓1030を使用することにより、ステップ1008から1020を繰り返すことによって実行することができ、該時間シフトAM窓1024及び/又は時間シフトFM窓1030は、事前プロセッサでサンプル時間遅延高分解能窓(B)1034を準備する場合に使用される時間遅延に対して適切なシフト係数だけAM窓1004及びFM窓1010をシフトすることによって得ることができる。
振幅変調(AM)検出のための方法の一例において、振幅変調は、シングレット変換方法を使用して様々なAM HRWを比較することによって検出することができ、該AM HRWの各々は、時間ドメインに適用された異なるAMエンベロープを有することができる。AM HRWは、同様の振幅変調を有する正弦波から作成された発振器ピークに最も近い周波数ドメインの形状のものとすることができる。従って、オリジナル信号の振幅変調は、最少残余誤差を有するAM HRWを選択することによって検出することができる。
図11は、周波数変調検出のための方法1100の実施例を示す。方法1100は、1134において、事前プロセッサにおけるオリジナル時間ドメインオーディオサンプル1102を使用して、2つの付加的な(B)窓、周波数ドメインサンプル窓(B_アップ)1110、及び周波数ドメインサンプル窓(B_ダウン)1112を作成する段階を含む。付加的な窓は、1134cにおいて、正変調用の周波数変調プルバック演算子(FMPO)を1つの(B)窓に適用することにより作成することができ、この窓を(B_アップ)窓1110と呼ぶ。これは、アダマール積を介して達成することができる。同様に、方法1030は、周波数変調作成演算子の作成を可能にする。同様に、方法1100は、1134dにおいて、負変調用の周波数変調プルバック演算子(FMPO)を他の(B)窓に適用する段階を含むことができ、これを(B_ダウン)窓1112と呼ぶ。これもまた、アダマール積を介して達成することができる。方法1100は更に、1138(a−c)において、シングルチャネル超分解能モジュールの説明で記述したように3つの複素スペクトル位相展開(CSPE)を実行する段階、すなわち、1138aにおいて(A)窓及び(B)窓の非変調CSPEと、1138bにおいて(A)窓及び(B_アップ)窓のアップ変調CSPEと、1138cにおいて(A)窓及び(B_ダウン)窓のダウン変調CSPEとを実行する段階を含むことができる。特定の非限定的な実施例によれば、入力を受けて以下に説明する方法を実行する際に、プロセッサは、所与の又は「基本的な」変換分解能を各々が有する周波数ドメインデータの第1のセット及び第2のセットを受信するよう構成することができ、また、極めて高精度の分解能で成分周波数を推定するために周波数ドメインデータに対して本明細書で更に説明する複素スペクトル位相展開(CSPE)を実行するよう構成することができ、これによって典型的には基本変換分解能よりも高精度となる。本明細書で使用される「変換分解能」は、変換方法のインヒーレントな分解能限界を指すことができ、例えば、DFT又はFFTが1秒当たりQサンプルでサンプルされたデータから取られるNポイントサンプル窓で計算される場合、DFT又はFFTは、半分が正(又は正スピニング)の周波数ビンに対応し、半分が負(又は負スピニング)の周波数ビンに対応する、N周波数ビンを示すことができる(当該技術分野で公知の標準的な規則によって定義することができる)。この方法で検出することができる最高の適正サンプル信号は、N/2正周波数ビンに分割することができるQ/2の周波数を含むことができ、1ビン当たりQ/Nヘルツのインヒーレントな「変換分解能」を生じる。類似の計算を他の変換技術の何れに対しても行い、対応する「変換分解能」を決定することができる。幾つかの実施例において、周波数ドメインデータにおける1又はそれ以上の発振器ピークを識別する段階、識別された発振器ピークの少なくとも1つの近くの少なくとも1つのポイントのCSPE挙動を試験して、適正に動作した及び/又は短期安定の発振器ピークを決定する段階、及び識別された発振器ピークの抽出を実行する段階を含むピーク選択を更に実行することができる。他の実施例において、更に、各識別された発振器ピークの振幅及び位相を決定することができ、シングレット変換/シングレット表現を実行して高分解能スペースから低分解能スペースにマップすることができる。他の実施例において、シングレット表現を実行し、周波数ドメインデータから各識別された発振器ピークの寄与分を取り除くことができる。
上記及び本明細書で使用される「所与の」、「オリジナル」又は「基本的」変換分解能とは、FFTのような変換の分解能であり、周波数ドメインデータの入力データセット、すなわち、CSPEの基本構成要素として使用される変換のインヒーレントな分解能を提供するのに使用することができる。CSPE変換に関する付加的な詳細内容は、以下の説明で記述する。
一例において、1138a−1138cにおいてCSPEを実行する段階は、3つのCSPE窓、すなわち、CSPE窓1114、CSPE_アップ変調窓1118、及びCSPE_ダウン変調窓1120の生成を生じることができる。発振器ピークが選択されると、CSPE、CSPE_アップ及びCSPE_ダウンにおけるピークの周りのエリアの「平坦度」を分析することができる。正周波数変調を有する信号は、CSPE_アップにおけるピークの周りに平坦なエリアを有することができ、負周波数変調を有する信号は、CSPE_ダウンにおけるピークの周りに平坦なエリアを有することができ、周波数変調の比較的低い量を有する信号は、CSPEにおけるピークの周りに平坦なエリアを有することができる。説明の目的で、「平坦度」は、発振器ピークの近くの周波数ビンが近くの一定値にマップされるように、推定周波数のプロット(又はその等価の尺度、すなわち、A及びB窓に対する変換の複素スペースにおける有効回転)を意味することができる。方法1100は更に、1140(a−c)において、CSPE窓1114、CSPE_アップ窓1118及びCSPE_ダウン窓1120からピークの左及び右の値を減算して、周波数変調のCSPE1122における幅、CSPE_アップ1124における幅及びCSPE_ダウン1128における幅をそれぞれ識別する段階を含むことができる。周波数変調が検出された場合、1140において計算された値、すなわち値1120−1124を1142において使用して、周波数変調の正確な量を補間することができる。結果として、1130において、指示された変調速度を取得することができる。1144において、指示された変調速度1130をFM HRWと共に更に使用して、発振器ピークを分析及び取り除き、畳み込み分析1148のために更に使用することができる高分解能周波数ドメインサンプル1132を取得することができる。
一例において、FM検出のための方法を詳細に説明する。複素スペクトル位相展開方法は、以前に導入された短期安定正弦波よりも複雑な信号に適用することができるように拡張することができる。この実施例において、CSPEに関する変形形態を導入し、ある範囲の周波数にわたってスイープする可能性がある信号に適用することができ、スイープ周波数を定義することができる主要な元のパラメータを良好な精度で求めることができる。
連続に線形スエプトサイン(掃引正弦波)信号を定義するための例示的な手法は、次式の通りとすることができる。
ここで、f0はルート周波数とすることができ、δ/2は周波数変調速度とすることができ、φ0は信号の初期位相とすることができる。信号を離散的にサンプルすることができる場合は、スエプトサイン信号の好都合な式は、次式とすることができる。
ここで
は、0,1,2、...、N−1で表記されたサンプルのベクトルを意味するものとして定義することができ、
は、サンプルベクトルとそれ自体とのアダマール/シャー積とすることができる。説明の目的で、ベクトルとそれ自体とのアダマール/シャー積は、以下、以下の説明における
として短縮することができる。演算子
は、以下ではアダマール/シャー積と定義することができる。本開示の精神及び範囲から逸脱することなく、丸括弧の中の最初の2つの項は
として結合することができるが、これはまた、結合しない形式で記述することが好都合な場合がある。上記の表記法は、正弦波の複素指数形式(当業者には「分析信号」と呼ばれることもある)を示すことができるが、複素指数の実部又は虚部を取ることによってサイン又はコサイン形式に変換することができる。一例において、ベクトル
は、スエプトサイン信号からNポイントの(複素化)サンプルを表すことができ、ベクトルに含まれる最後のサンプルを示すために添字を付加することができ、その結果、一例において、表記
を使用して、このサンプルのベクトルがサンプルN−1で終わることを表すことができる(ただし、N個の総サンプルがベクトルに含まれることを意味する)。結果として、この表記を使用して、Nサンプルの次の可能なグループを以下のように表すことができる。
基本的な説明で検討したCSPE方法の精神及び範囲に沿って、N個のサンプルの1グループからN個のサンプルの後のグループへの信号の展開を分析することができる。一例において、これは、
が1サンプル展開演算子であると定義されるよう信号を進めることができる展開演算子を定義することにより達成することができる(これを複数回適用することで、信号を1よりも多いサンプルだけ進めることができる)。
これにより
は長さNのベクトルを表すことができ、ここで、各エントリは値
とすることができる。次に、結合及びリファクタリングによって、
であることが認められる。これは、指数におけるベクトル項の以下の再構成によって分かる。
ここで最後のステップは、一般項から続くことができる。
従って、次式が認められる。
一例において、CSPE方法の基本前提が、信号の時間的前進(又は、幾つかのアプリケーションでは、空間的前進)のスナップショットを信号のオリジナルのスナップショットと比較して、信号の数学的再構成に使用できる元のパラメータを明らかにすることができる項を分離することであるので、展開演算子を指定する能力は重要とすることができる。前述したように、「周波数」f0は、サンプルのグループにおける最初の瞬間で保持することができ、変調をN個のサンプルの窓の中心にある瞬時「周波数」に対して考慮できるように問題を再定式化することは更に好都合とすることができる。f0を信号の時間期間とみなすことでより正確になることができ、また、式
の正弦波信号がN個のサンプルにおいて厳密にf0期間を通過できるので、引用符は「周波数」の周りに置かれているが、f0を周波数と呼ぶのは一般的であり、当業者であれば、使用する文脈に基づいて正確な意味を判断することができる。この実施例において、変調は、初期周波数f0から離れてスイープすることができ、このことは、N個のサンプルのグループにおける初期瞬間周波数をf0と設定した場合に観測することができる。変調をN個のサンプルのグループの中心で生じることができる瞬間周波数に関する変調とみなすことができるように、変調問題を再定式化することができる。この中心定式化は好都合であり、よって以下で更に検討する。
一例において、変調信号の作成は、安定正弦波から開始することができ、N個のサンプルにわたるQ期間は、次式のように取ることができる。
更に、(中心)周波数変調作成演算子(FMCO)を次式のように定義することができる。
FMCOをサンプル正弦波
に適用できる場合、得られる結果は、変調信号
とすることができる(ここでは信号展開を調べるのに使用されるN+1ポイントで定義される)。
ここでyは、Nポイントサンプル窓におけるQ期間に対応する瞬間中心周波数を有する線形変調信号とすることができる。
上述の例示的な実施形態では、線形周波数変調は、
である場合に、信号が全ての連続した非重なり合いNポイントサンプル窓の1期間の増加を示すことができるように作成することができる。従って、周波数が連続して線形的に増加できることを理解することができるが、定義された式構造は、第1のNサンプルにおけるQ全発振を有する信号に導くことができ(その結果、全発振を全2π間隔にわたる通路であると定義することができ)、次のNサンプルにおいて、信号は、Q+1全発振を示すことができ、その次のNサンプルにおいて、信号は、Q+2全発振を提示することができ、以下同様である。
一例において、変調パラメータ
である場合、上記の式は、N個のサンプルのあらゆる後続の窓(重なり合わない)において2期間の増加を与えることができる。代替の実施例において、窓が50%重なり合う場合、これは、次の50%重なり合う窓の各々に1期間の増加を与えることができ、よって、信号がサンプル1からNにわたってQ全発振を示す場合には、サンプルN/2+1からN/2+Nの50%重なり合う窓に対して、信号はQ+1全発振を示すことができ、次の50%重なり合うサンプルの窓N+1から2Nでは、信号はQ+2全発振を示すことができる。
同様の実施例において、
である変調パラメータを取ることができる場合、信号は、N個のサンプルの全ての次の窓(重なり合わない)におけるP期間の増加を示すことができる。この実施例において、信号周波数の式は、周波数と期間との間の通常変換を介してQ(期間)の値に関係付けることができる。信号は、分析窓の中心での瞬間周波数が窓のQ期間を作成できる周波数に等しくなるように定義することができる。変調は、当該中心周波数の周りとすることができる。短期安定正弦波のためのCSPEに類似の方法を開発してこの方法を変調周波数に拡張するために、周波数変調プルバック演算子(FMPO)を開発し、このFMPOと時間前進信号のアダマール/シャー積からの結果として得られる信号の周波数変換が、第1信号の変換からの位相回転でしかないように時間前進(又は場合によっては空間シフト)データに基づいて作動するようにする必要がある。
一例において、FMPOを以下に示すように定義することができる。
この実施例において、虚数単位iの符号は、アッププルバック演算又はダウンプルバック演算の何れが要求されるかに応じて正又は負を選択することができる。信号を変調するためのCSPE技術は、次式のようになる。
この結果の導出は、以下の式から生じることができ、ここで、
における指数を考慮することができ、係数
は導出のために無視することができる。
ここで、上記の第1行から第2行への変換は、以下の一般項を考慮することによって見出すことができる。
上記の実施例において、要素を全てまとめることで、
の結果を得ることができ、変調CSPEに対する上記の結果が続く。結果として、変調CSPEの角度を計算することができ、更に、
で乗算することによって正規化することができる場合、得られる結果は正に
となり、この結果は、単一の変調信号が存在する場合に何れの周波数ビンにおいても見出すことができる。実際には、他の干渉信号が存在する可能性があるが、得られる結果は、変調信号に関連付けられるスペクトルピークの周りの領域において依然として成り立つことができる。結果として、この計算は周波数ドメインにおける局所演算をもたらすことができ、これはより堅牢にすることができると結論付けることができる。当業者がQ及びδを分離する場合、上述の範囲内で説明される変調信号作成技術を使用して変調信号を正確に再生することができる。
δの正しい値を決定する例示的な方法において、変調速度のセットに対する変調CSPEの計算及び結果として得られる計算から、δの正しい値への外挿及び補間を実行することができる。外挿は、変調速度の幾つかの値に対するCSPE及び変調CSPEを計算した後に再マップされたスペクトルピークの幅を測定することによって行うことができる。次いで、変調速度の正しい値を使用して、ゼロに近い幅のスペクトルピークを生成することができ、スペクトルピークの幅は、変調速度に伴ってほぼ直線的に変化することができるので、補間又は外挿を使用してゼロに近い幅ピークを生成できる変調速度の値を推定することができる。これは、存在することができ異なる変調速度を有することができる幾つかの異なる信号成分に対する独立した変調パラメータ(すなわち、δ値)の計算を可能にするという利点を有することができる。第2の手法は、反復方式を使用して最適変調速度に収束させるものとすることができる。何れかの場合にも、要求される結果は、あらゆる周波数ビンのパワーを取り、
の局所的に測定された値にてこれを再プロットすることから生じるデルタ関数のようなスペクトルが存在することによって検出することができる。このことは、δの正しい値が使用されるときにスペクトルをデルタ関数に低減するのを助けることができる。幾つかの異なる変調信号が存在することができる場合、スペクトルピークpkに関連付けられる信号が変調速度δkを有することができる場合、及びその結果、変調CSPEがδkで置き換えられたδによって計算することができる場合には、ピークpkの周りで局所的に結果として得られるスペクトルは、デルタ関数と同じとすることができる。従って、外挿/補間の何れかを介して、又は反復を介して、直線的に変調する信号に対する中心周波数値(Qに対応する)又は変調速度を分離することが可能となる。
一例において、結合AM/FM検出の方法を定義することができる。これまで検討した振幅及び周波数変調検出のための方法を使用すると、周波数変調又は振幅変調の両方ではなく何れかを検出することができる。様々な決定木、混合AM/FM検出あり及びなし、及び追跡器支援変調検出を含む、これらの技術をコヒーレントフレームワークに統合する幾つかの方法が存在することができる。例示的な決定木を以下の説明において検討することができる。
例示的な信号処理方法において、周波数変調及び振幅変調は、区別可能ではないか、又は混合されているとすることができる。本方法は、変調を複素平面にマップする段階を含むことができるので、これによって半径方向の変化を振幅変調とみなすことができ、角度変化を周波数変調とみなすことができ、共分散行列を追跡方法に出力することができる。次に、追跡器が経時的に計算された情報を使用して、変調のどの部分が振幅変調としてより良好に又は効果的に特徴付けられるか、及びどの部分が周波数変調としてより良好に又は効果的に特徴付けられるかを決定することができる。
図12は、AM/FM検出を結合するのに使用できる決定木1200を使用した方法の1つの実施例を示す。決定木法1200は、1204において、CPSEツイストを使用してCPSE周波数スペクトル1202に対する変調源を識別する段階を含むことができる。方法1200は更に、識別ステップ1204から取得された変調推定1208を使用して図12に示された3つの例示的な処理の1つを実行する段階を含むことができる。第1の実施例において、変調推定1208は、AM1210によって占有されている信号を提供することができる。第2の実施例において、変調推定1208は、混合AM/FM1212を有する信号を提供することができ、第3の実施例において、変調推定1208は、FM1214によって占有されている信号を提供することができる。決定木法1200は、1218及び1220において、AM1210によって占有されている信号及び混合AM/FM1212を有する信号のそれぞれに窓種試験を実行する段階を含むことができる。方法1200はまた、一例において、1222においてFM1214によって占有されている信号に対してFM速度を補間する段階を含むことができる。次に方法1200は、1224及び/又は1228において、窓種試験1218−1220を実行した後で取得された窓から利用可能な窓を選択する段階を含むことができる。一例において、本方法は、1222で実行された補間の後に1230において正しいFM窓を選択する段階を含むことができる。
方法1200は更に、1232−1234において、窓サブセットを取得する段階、及び/又は1238において、1224−1230で実行されたステップに基づいて最も近いFM窓を取得する段階を含むことができる。本方法は更に、1240において、すなわち1240a及び1240bにおいて、窓サブセット1232−1234に対する窓パラメータを補間して、1242において推定窓パラメータ1242a及び推定窓パラメータ1242bのような推定窓パラメータを取得する段階を含むことができる。方法1200は更に、1244において推定窓パラメータ1242に対して畳み込み分析を実行する段階を含むことができる。更に方法1200は、1248において、畳み込み分析1244の結果及び/又は最も近いFM窓1238に対する残余誤差1248を識別する段階を含むことができる。誤差に基づいて、方法1200は、1250において、最良の適合窓、変調、振幅及び位相を選択する段階を含み、選択の結果を推定信号パラメータ1252として提供することができる。最も単純な形式で、方法1200は、非変調正弦波に対する適合誤差を計算するステップ、様々なAM HRWに対する適合誤差を計算するステップ、最も近い利用可能なFM HRWに対する適合誤差を計算するステップ、及び最少残余誤差をもたらすことができるHRW及び適合パラメータを選択するステップを含むものとして繰り返すことができる。
上記のステップは、従来のFFTベースの分析よりも効率的に変調効果を検出できるが、AM及びFM両方の検出を同時に可能にするより高度な決定木を使用することができる。一例において、高度な決定木は、上述した1又はそれ以上のFM検出方法の何れかを使用して明白な周波数変調を計算する段階を含むことができる。周波数変調は、以下の本明細書では「表示変調速度」と呼ぶことができる。高度な決定木は更に、表示変調速度が範囲外又はゼロに近いかどうかを判定する段階を含むことができる。表示変調速度が範囲外又はゼロに近い場合、変調は振幅効果によって占有されている可能性がある。従って、前述された複数のAM検出方法の何れかを使用する変調速度の分析のために振幅変調窓を使用することができる。
高度な決定木の実施例において、表示変調速度が特定の範囲内である場合、信号は、振幅及び周波数変調の両方の影響を受ける可能性がある。従って、高度な決定木は、AM/FM HRWのセットを選択する段階を含むことができる。一例において、振幅変調は、CSPE平坦度の計算結果をスキューする可能性がある。例えば、1つの窓当たりに2期間の正周波数変調を有する正弦波は、2.0の表示変調速度を生成することができるが、同じ正弦波が振幅で増加する場合、2.18の表示変調速度を生成する場合がある。これらの効果は、事前判定することができ、較正テーブルの作成が必要となる場合がある。
1又はそれ以上の実施例によれば、振幅変調及び周波数変調を区別可能でないか又は混合されている状況が存在することができる。これらの場合、前のサンプル窓における当該発振器の挙動の認識を使用して、真の変調を識別することができる。例えば、発振器ピークが周波数の低下をしているデータのトラックレットに属する場合、周波数は降下し続ける可能性がある。幾つかの実施例において、ピーク検出処理は、このような推測を行えるように追跡器の状態を知覚できるようにする。他の実施例において、ピーク検出処理は、追跡器によって確定させることができる曖昧情報を出力することができる。更に、幾つかの実施例において、ピーク検出器は、追跡情報を使用して、最も可能性のあるAM/FMの組み合わせから始めてAM/FM検出決定木の幾つかのステップを利用することができる。
1又はそれ以上の実施例によれば、前述されたマルチチャネル超分解能方法は、個々の発振器成分を記述するパラメータのセット及び各チャネルに対するそれらの関係を出力として有することができる。パラメータのセットでは、各パラメータは、統一ドメイン再合成方法などの使用によって、発振器を正確に再構成するのに必要とされる情報を包含することができる。好ましい実施例において、この情報は、一般的に、周波数、振幅、統一ドメインシグマ、振幅変調、周波数変調、及び各チャネルにおける発振器の位相、並びに適用することができる何れかの適切な振幅又は周波数変調パラメータを包含することができる。統一ドメインシグマは、各チャネルから導き出される信号の一部を表す。
例示的で非限定的な実施形態によれば、AM及びFM変調は、短持続時間窓において検出され、AM及びFM特性に対する超分解能を達成することができる。他の実施形態では、本明細書で説明した1又はそれ以上の周波数変調プルバック演算子をサンプルデータの少なくとも1つのセットに適用することができる。
例示的で非限定的な実施形態によれば、サンプル窓における周波数変調を検出することができる。複数の周波数変調プルバック演算子(FMPO)は、補間、線形補間、外挿及び反復の1又はそれ以上を受けた結果を有するサンプルデータの少なくとも1つのセットに適用されて、実際の変調速度の改良された推定値を提供することができる。幾つかの実施例において、複数のFMPOが、「アップ」、「ダウン」及び「ニュートラル」演算のうちの少なくとも2つを含むことができる。
上述のCSPEの修正において、特定の例示的な実施形態によれば、「ハミング窓」又は他の標準的窓関数又は「テーパー」のようなサンプル窓を使用することができるが、FM入力信号を処理する場合、以下では非公式に「ツイストベクトル」と呼ぶことができる別のベクトル(FMPO−周波数変調プルバック演算子)を挿入することができる。典型的には、FM信号は、時間遅延バージョンを受信したときに周波数の移動をすることができる。更に、AM信号は、堅固な回転子のように時間が展開する傾向があるが、標準的なCSPEで使用される分析窓の効果の場合とは異なり、AM変調の場合、AM窓はデータの一部とすることができる。従って、AM窓の「剛性回転子」の回転を検出したときには、時間遅延バージョンのAM窓におけるシフトを可能にしなくてはならない。周波数変調の場合では、FMPOの適用は、周波数及び角度回転をそこから検出できる剛性回転子のように展開できるものにFM周波数を切り換えることができる。次いで、FM変調及び周波数変調表現のための基準「ルート」又は「アンカー」ポイントを導き出すことができる。
他の例示的で非限定的な実施形態によれば、AM及びFM変調を短期窓で検出して、AM及びFM時間窓に対する超分解能を達成することができる。次に、複素スペクトル位相展開(CSPE)を周波数ドメインデータに対して実行し、基本変換分解能よりも高いとすることができる分解能及び/又は精度で成分周波数を推定することができる。
一例において、AM信号の振幅効果を、遅延サンプル窓に対してサンプルの第1スナップショット又は窓で異なるものにすることができる。振幅効果がどのように変化するかを考慮に入れることで、CSPEからの元の信号の導出を可能にすることができる。逆に、上述のように、FM信号に対して、FMPOを使用して元のFM挙動を導き出すことができる。AM信号に対して、振幅効果の展開を考慮することができる。
一例において、振幅変調窓を作成する段階は、安定信号を取り出す段階、振幅効果を適用する段階、及び得られた結果を高分解能FFTにかける段階を含むことができる。限定ではないが、振幅エンベロープが上方向に傾斜するAM効果、振幅エンベロープが下方向に傾斜するAM効果、振幅エンベロープがデータサンプルの任意のポイントにて開始又は停止するAM効果、振幅エンベロープが、上向き又は下向きの傾斜又は1つのAMエンベロープ状態から別のAMエンベロープ状態へのレベルオフ又は円滑遷移を含むことができる効果の組み合わせを有することができる場合のAM効果、及びこれらの状態の何れかの組み合わせを含む、様々な振幅変調効果を引き続き考慮することによって、適用される効果の何れが周波数スペクトルの所与の成分に最良に適合できるかを判定することができる一連の高分解能発振器ピークを導き出すことができる。
幾つかの実施例において、複数の振幅効果を事前にコンピュータ計算し、分析窓で乗算することができる。次に、これらの振幅効果は、高分解能FFT又は他の変換を介して周波数ドメインに変換することができ、また、信号内に検出されたスペクトルピークと比較して、スペクトルピークの観察される構造に関連付けることができる振幅変調効果を決定することができる。これらのAM効果の実施例は、限定ではないが、振幅エンベロープが上方向に傾斜するAM効果、振幅エンベロープが下方向に傾斜するAM効果、振幅エンベロープがデータサンプルの任意のポイントにて開始又は停止するAM効果、振幅エンベロープが、上向き又は下向きの傾斜又は1つのAMエンベロープ状態から別のエンベロープ状態へのレベルオフ又は円滑遷移を含む効果の組み合わせを有するAM効果、及びこれらの状態の何れかの組み合わせを含むことができる。
例示的で非限定的な別の実施形態によれば、実施可能な既知の振幅効果のライブラリ内で一般に知られている振幅効果のような複数の振幅効果を、高分解能変換/FFTを適用させることができる基準信号に適用することができる。信号の複素スペクトル位相展開表現内で、どの振幅効果のセットが元の信号/安定発振器に適用されたときに元の信号の実際の発振器ピークに最良の適合をもたらすかを判定するために、一部の振幅効果によって修正された元の信号の発振器ピークを分析することができる。発話か人工音かどうかのような信号に関連して知られる情報を使用して、どの振幅効果が元の信号の経時的な振幅変化を最も良好に表すことができるかを決定する際の助けを提供することができる。
例示的で非限定的な実施形態によれば、過渡信号要素(オンセット及び停止)は、超分解能信号処理法においてAM信号として扱うことができる。オンセット及び停止に加えて、限定ではないが、上昇、下降、又は一般的エンベロープを含む他の過渡信号要素をそのように処理することができる。数学的には、雑音の短時間持続がサンプル窓時間よりも短い場合、短時間にわたって発生する鋭い雑音は、一部のスケール上で過渡事象とみなすことができる。十分に短い事象は、極めて鋭いエンベロープを有する傾向があり、エンベロープ自体がAM効果に似ている可能性がある。結果として、本方法は、幾つかの実施例において、AM信号効果として顕在化する過渡信号要素を処理するよう構成することができる。
1又はそれ以上の実施例によれば、以下では信号成分追跡器214と呼ばれる図2に示された信号成分追跡器/集約器/選択器/分離器214を説明する。1又はそれ以上の実施例による信号成分追跡器214の機能は、次の再合成のために発振器ピークを分類及び抽出こと、又は出力フォーマットの1つに出力することとすることができる。
図13は、信号成分追跡器によって実行される方法1300の1つの実施例を示す。信号成分追跡器は、シングルチャネル超分解能モジュール又は統一ドメイン超分解能モジュールの何れかによって構成された信号発振器ピークのセットを受信するよう構成できる入力モジュールを含むことができる。信号発振器ピークは、追跡方法による所与の構造及び編成とすることができる。発振器ピークは、発振器ピークのセットに編成することができ、セットの各メンバは、同じ発振器によって発生したものと判定することができる(「トラックレット」)。方法1300は、1304において、入力モジュール1302によって提供された入力を使用して、周波数、大きさ、統一ドメインシグマ、及び他の属性を含むことができる関連付け基準を用いて「トラックレット」を関連付け、同じ発振器からのピークを識別する段階を含むことができる。方法1300は更に、1308において、「トラックレット」をその高調波関係を使用して関連付けて、同じ発生源によって作成されたトラックレットのセットを識別し、これらのトラックレットを1又はそれ以上の「コヒーレントグループ」に分類する段階を含むことができる。トラックレットの分類は、当該技術分野で公知の複数の追跡アルゴリズムの何れかを使用して実行することができる。更に、方法1300は、1310において、コヒーレントグループを選択する段階、及び1312において、コヒーレントグループを分離して再合成のためフィルタリングされた発振器ピーク行列1314を提供する段階を含むことができる。
一例において、当該技術分野で公知の追跡アルゴリズムは、マルチ仮説追跡(MHT)方法を含むことができる。本方法は、正確な関連付けを確認することができるデータが受信されるまで、複数の実施可能なデータ関連付けを保存する段階を含むことができる。幾つかの他の実施例において、追跡アルゴリズムは、他の公知のアルゴリズムを使用して、トラックレットをGreedy、Munkres、又はJVCのような発振器ピークに関連付けることができる。アルゴリズムでは、カルマンフィルタを適用して、限定ではないが、周波数及び振幅を含む複数次元でトラックレットの動きを予測することができる。更に、ユニオンファインドのような同じ発生源から発生するトラックレットを識別する問題に対して、公知の分類アルゴリズムを適用することができる。例えば、信号源の高調波パターンを使用して個々の信号源を識別することによって機能するトラックフィンガープリントアルゴリズムを使用することができる。
従って、例示的で非限定的な実施形態によれば、信号処理方法は、超分解能分析及び、発振器の時間展開の表現を形成するトラックレットの周波数グループへの信号の分類、及び分類アルゴリズムを介してデータをトラックレットのコヒーレントグループに集約して信号内の周波数のコヒーレントグループを識別する段階を含むことができる。トラックレットへの分類は、カルマンフィルタ、グリーディ関連付けのような追跡アルゴリズム又は当業者に公知の他の何れかのこのようなアルゴリズムを使用して実行され、信号源が時間を介して展開するときに往来することができる短期安定発振器を識別することができる。データは更に、限定ではないが、ユニオンファインドのような公知のトラック分類アルゴリズムの組み合わせを使用してトラックレットのコヒーレントグループに分割することができる。
幾つかの実施例において、分析を使用して信号要素をトラックレットに集約することができる。
幾つかの実施例において、区分化を使用して信号要素をコヒーレントグループに集約することができる。
幾つかの実施例において、トラックレットに包含される発振器ピークの周波数及び振幅の測定された展開を使用して、AM及びFM効果を検出及び/又は補正することができる。
幾つかの実施例において、トラックレット又はコヒーレントグループの周波数及び振幅の展開を使用して、発話又は非発話を識別することができる。例えば、発話は時間の経過に伴って周波数を通して曲線を描く傾向があるが、非発話は、時間的に展開するときに周波数が平坦であることが多い。
幾つかの実施例において、人間に対して、発振器ピーク、トラックレット及びコヒーレント高調波グループを見るためのインタフェースを提示することができる。
幾つかの実施例において、人間は、本システムがどの発振器ピーク、トラックレット及び高調波グループを出力又は強調することができるかを判定するのを助けることができる。
幾つかの実施例において、本システムは、どの発振器ピーク、トラックレット及び高調波グループを保持すべきであるかに関して、人間の選択から学習することができる。
幾つかの実施例において、本システムは、個々のスピーカ又は信号源の発生パターンを学習することができる。これらのパターンは、高調波分離、周波数及び/又は振幅の変化の速度、又は発振器ピークに含まれる可能性がある他の何れかのデータの集約を含むことができる。
幾つかの実施例において、発振器ピーク検出、追跡及び分類処理をオーディオ信号用に使用することができる。
幾つかの実施例において、発振器ピーク検出、追跡及び分類処理は、限定ではないが、RADAR、SONAR、LIDAR、及び音声/オーディオセンサ、ビデオセンサ、及び振動センサを含む、あらゆる信号用に使用することができる。
幾つかの実施例において、トラックレットを使用してコヒーレントグループを形成することができる。コヒーレントグループを形成する処理は、追跡における「区分化」と呼ばれる。例えば、音源において、各トラックレットが高調波を示すことができる。トラックレットは、典型的には、周波数、到達時間及び方向(すなわち、統一ドメインのシグマに関係付けられる)を通じて移動することができ、トラックレットに沿った振幅で変化することができる。これらの形状は、検出されるAM又はFM効果を表す。本明細書で使用される「分類」は、互いに移動することができ且つ1つのコヒーレント源に由来することができるトラックレットの中から高調波を見出す試みを指すことができる。視覚的に見たときに、以下に説明するように、音声信号の時間周波数表現における掃引曲線は、典型的には発話を示すことができ、平坦な水平線は、多くの場合、車の警報音のような人工的雑音を示すことができる。結果として、人工的な音に対して自然に発生する音を、例えば区分化における形状及びタイプによって分離することができる。分離はまた、分析処理において計算することができる何れかの他のパラメータに基づくことができる。結果として、自動化アルゴリズムを利用して、所与のアプリケーションに望ましいように人工的音を排除し又は増強することができる。例示的で非限定的な実施形態によれば、視覚表現を編集して所望のトラックレット又はコヒーレントグループに属し且つ視覚的要素の編集からのフィードバックに基づいて信号の要素をスコアリングする信号を識別するために、複数の潜在的にコヒーレントなトラックレットとして信号を見るためのユーザインタフェースを提供することができる。他の実施形態では、個人からの発話などに基づく音声信号は、個人によって生成される信号に対応するトラックレットの分類を容易にすることができるパラメータを識別するために導入することができる。このようにして、スピーカのパターンにおける学習を実行し、当該スピーカに対して設定された特性的特徴が導き出されるようにすることができる。別の実施形態では、個人によって発生された発話は、発生源/個人の既知の署名又は「フィンガープリント」の特徴である統一ドメインパラメータに基づく発生源の「フィンガープリント」に基づいて識別することができる。他の実施形態では、発生源信号は、本開示の範囲内で説明される他のタイプの何れかの信号とすることができる。
公知の追跡アルゴリズムに加えて、追跡器は、新しいアルゴリズムを利用して出力品質を向上させることができる。例えば、位相予測アルゴリズムを使用して、2つのピークが同じ音声源から発生した可能性を予測することができる。一例において、位相予測を使用してピーク補正を実行することができる。
図14は、位相予測を使用することができる信号成分追跡器214によって実行される例示的な方法1400を示す。方法1400は、図13に関して検討した関連付け基準に加えて、「トラックレット」を関連付けるための基準として位相予測を使用することができる。幾つかの実施例において、周波数−位相予測の出力により、追跡器は、発振器ピークに関連付けられるパラメータを再計算することができるようになる。幾つかの実施例において、近接度を使用してピーク補正を実行することができる。例えば、追跡器は、2つの発振器ピークが干渉していることを計算することができ、トラック状態情報を使用して当該干渉を補正することができる。次いで、出力を提供するための発振器ピークを選択することができる。
一例において、ピーク選択の方法は、限定ではないが、統一ドメインシグマ、周波数、及び振幅のようなパラメータを使用してピークを評価する段階、統一ドメインシグマ、周波数、及び振幅のようなパラメータを使用してピークが属するトラックレットを評価する段階、統一ドメインシグマ、周波数、及び振幅のようなパラメータを使用してピークが属することができるコヒーレントグループを評価する段階、高調波「フィンガープリント」を使用してピークが属することができるコヒーレントグループが要求されるスピーカに一致するかどうか評価する段階、周波数−位相予測を使用してトラックレットが「直接経路」源であるように見えるかどうかを識別する段階を含むことができ、トラックレット又はコヒーレントグループのパラメータを評価する際、又は統一ドメインシグマを位相情報と結合することによって距離を推定する際に、ピーク予測試験に合格できないピークのパラメータを予め考慮しておくことができる。
前述したように、トラックレットは、1つの発生源高調波から発生したと判定できる発振器ピークの分類として定義することができる。一例において、トラックレット形成処理は、シングルサンプル窓から抽出された発振器ピークのセットを含む入力に基づいて実行することができる。次いで、トラックレットは、多くの異なる公知のトラック関連付け方法及びアルゴリズムを使用して形成することができる。アルゴリズムは、前方のトラックレットを予測できる方法、トラックレットと1つのデータ(この場合、発振器ピーク)との間の関連付けコストをコンピュータ計算できる方法、及び割り当ての最適セットを選択できる方法を包含することができる。例証として、トラックレット予測アルゴリズムは、限定ではないが、線形予測、及びカルマンフィルタ予測を含むことができる。幾つかの実施例において、コスト推定アルゴリズムは、限定ではないが、マハラノビス距離のような統計的距離計算、及び周波数及び振幅の差のような単純距離計算を含むことができる。更に一例において、割り当てアルゴリズムは、限定ではないが、Greedy関連付け、Munkres関連付け、及びJVC関連付けを含むことができる。
トラックレット形成処理の出力は、トラックレットに形成された発振器ピークのセットを含むことができる。
前述したように、幾つかの実施例において、コヒーレントグループを形成することが望ましい場合がある。コヒーレントグループは、同じ音声源によって生成されたと判定できるトラックレットのセットとすることができる。
例示的で非限定的な実施形態によれば、信号処理方法は、超分解能分析、信号要素を時間的なスナップショットからの周波数トラックレットに割り当てる段階(時間的なスナップショットは、初期時間に始まり最終時間で終わるデータのサンプル窓を使用して、これを分析窓で乗算し、これを周波数ドメインに変換することを示すことができる)、すなわち、データを追跡アルゴリズムによってトラックレットに編成して信号内の周波数トラックレットを識別する段階、並びに周波数、到達の角度、振幅、及びトラックの振幅の傾斜の少なくとも1つを使用して、トラックレットをコヒーレントグループに分類するのを助ける段階を含むことができる。
前述したように、幾つかの実施例において、コヒーレントグループを形成することが望ましい場合がある。コヒーレントグループは、同じ音声源によって生成されたと判定されたトラックレットのセットとすることができる。一例において、コヒーレントグループは、入力としてトラックレットのセットを受信することができる処理によって形成することができる。次に、トラックレットのセットは、互いに素であるセットに区分することができる。トラックレットのセットを互いに素のセットに区分するための幾つかの公知のアルゴリズムが存在する。例えば、ユニオンファインドアルゴリズムを利用することができる。アルゴリズムの大部分において、コスト関数を計算し、2つのトラックレットが同じ発生源からである可能性をコンピュータ計算することが必要となる場合がある。これらのコスト関数は、限定ではないが、周波数、振幅、統一ドメインシグマ、及び位相を含む発振器ピークのシングレット表現に格納された特徴の何れかを使用することができる。これらのコスト関数は、スピーカの高調波構造の認識に頼ることができる。コヒーレントグループ形成処理の実行の結果として、出力として、コヒーレントグループに形成されたトラックレットのセットを生成することができる。
例示的で非限定的な実施形態によれば、統一ドメイン方向推定値をトラックレットの出力されたセットと共に使用して、関心のあるトラックレットを識別することができる。
幾つかの実施形態では、発振器が時間及び周波数を介して展開するときの位相の展開を予測することが望ましいとすることができる。予測された位相の認識は、限定ではないが、ピークを特定のトラックレットに関連付けなくてはならない可能性のスコアリング、干渉信号からの結果の検出及び/又は修復、脱落又は損失信号の検出及び/又は修復、直接経路対非直接経路信号の検出、圧縮アルゴリズム、及びトラックレットのコヒーレントグループへの関連付けを含む、上記の説明において検討した活動を含む処理の幾つかの段階で使用することができる。
一例において、信号の基本的なモデルは、一般的複素形式
の実数への投影として取ることができる。更に、実施例として、短期間にわたって振幅項を一定のままにすることができると仮定され、すなわち、
であり、信号の変化の速度は、θの変化の速度に関連付けることができ、これは、瞬間周波数に関係付けることができる。これにより、
が得られ、θの変化の速度は瞬間周波数を含むことができるので、これにより、時間的に展開することができる信号の周波数及び位相を関係付ける方法が得られる。実際に、測定されたデータに基づいてパラメータを推定することができ、高分解能分析は、瞬間周波数の正確な推定、及びひいては将来の周波数及び位相値の正確な予測を可能にすることができる。
周波数位相予測のためのアルゴリズムは、位相及び瞬間周波数を関係付ける微分方程式
で始めることができ、十分に短い時間窓にわたって、
は、定数プラス線形項として近似することができ(また、当業者にとっては、高位項まで容易に展開を続けることができ)、
が得られる。
実施例は更に、データから周波数を推定する段階を含むことができ、これは、変換のCSPEファミリーから超分解能分析を使用して行うことができる。代替の実施例において、所与のサンプルデータ窓、すなわちi番目の窓に対する周波数推定値は、窓の中心において最も正確であると仮定することができ、以下
と呼ぶことができる。周波数推定値に対する最良の位置は、限定ではないが、ゼロ交差速度をチェックする段階、周波数推定値に適合させた後に残余誤差を調べる段階などを含む、様々な他の方法によって取得することができる。j番目の窓に対する超分解能周波数推定値は、
で与えられることができ、サンプルデータ窓jの中央にて最も正確であると仮定することができる(又は様々な他の方法によって再度位置付けられる)。従って、超分解能周波数推定値及び推定値が位置付けられる関連時間を取得することができる。微分方程式が周波数推定値に一致する可能性がある境界条件を仮定して解くことができる場合には、1次近似は、次式を含むことができる。
ここで、Tは2つの周波数推定値の間の時間とすることができる(好ましい実施形態では、2つのサンプルデータ窓の間の時間シフトとして取ることができる)。正味の結果は、位相を時間の関数として導き出すことができるものとすることができ、次式が得られる。
ここでθ0は、信号の初期位相とすることができる。ここで提示される手法は、超分解能周波数推定値と共に使用する場合に極めて正確であることを示すことができる。
幾つかの実施例において、トラックレットの位相を異なる時間に対して予測することができる。予測と新しい発振器ピークの測定された位相との差を使用して、新しいピークをトラックレットに組み入れなくてはならない可能性をスコアすることができる。
幾つかの実施例において、2つのトラックレットが干渉していると判定することができる場合、各トラックレットの予測された周波数及び位相を使用して、結合された信号パワーが干渉トラックレットに再度割り当てされるように干渉領域を修復することができる。
幾つかの実施例において、トラクレットが所与のフレームにおける紛失データであると判定することができる場合、予測される周波数、振幅、位相、変調タイプ、到達の方向、及び追跡された発振器ピークに含めることができる他の何れかの特性を使用して、推定された発振器ピークを挿入することができる。
幾つかの実施例において、トラックレットの予測される位相と実際の位相との差を使用して、直接経路で又は間接経路を介してセンサに移動するかどうかを判定することができる。
例示的で非限定的な別の実施形態によれば、信号表現の周波数/位相は、超分解能、信号内のコヒーレント信号要素の統一ドメインモデルに基づいて予測することができ、その結果、信号要素は、この予測に基づいて処理することができる。例えば、あらゆる他のフレームの予測を使用して、予測されたフレームの処理のスキップを可能にすることができる。結果として、例えば、フレーム2、4、6及び8を予測するためには、フレーム1、3、5、7を処理するだけでよい。この実施例において、フレーム2の予測を実行し、更にフレーム2がどのようなものであるかを明らかにする推定を行うことができ、従って、精度測定をもたらすことができる。このようにして、例えば、2つのスペクトルピークが一列に並んでどれだけ近接して生成されたかを判定することができる。位置合わせが特定の許容範囲を上回る場合、フレーム2を再計算して、許容可能及び事前に定められた誤差範囲内に確実になるようにすることができる。位置合わせが許容範囲内である場合、更なる予測は必要ではない。
上述したように、例示的で非限定的な実施形態によれば、信号内のコヒーレント信号要素の超分解能統一ドメインモデルに基づいて、信号表現の周波数/位相を予測することができる。結果として得られるモデルは、周波数、振幅、位相、及び時間を介した信号要素の展開の予測を可能にするのに十分に正確とすることができる。結果として、一部のデータが失われている可能性がある場合、信号要素トラック/トラックレットにギャップを越えさせるようにすることができる。トラックレット交差の場合、予測される値を利用して、元のトラックレットの挙動及び方向を判定することができる。1つの実施形態において、信号におけるギャップの予測補間を前方及び後方の両方で実行することができ、失われた又は不明瞭なデータの無矛盾の推定値を決定することができる。1つの実施形態において、これは、携帯電話ネットワーク上で実施することができ、欠落したパケットの作用を改善することができる。
他の実施例において、信号表現の周波数及び/又は位相は、信号内のコヒーレント信号要素の超分解能統一ドメインモデル、及び予測に基づく他の要素との信号要素の分類に基づいて予測することができる。信号の測定は通常、ランダムよりも正確である方法で時間的に前方の予測を可能にするのに十分に正確である。簡単に言えば、トラックレットがどこに進み、次いで、これらの特性を有するこのようなトラックレットに関する観察がいつ行われたかを予測することができ、観察される現象が実際には前に遭遇した信号要素に関連付けられることを導き出すことができる。
例示的で非限定的な別の実施形態によれば、信号表現の周波数/位相は、信号内のコヒーレント信号要素の超分解能統一ドメインモデルに基づいて予測することができ、その結果、予測に基づいて信号要素を処理することができる。例えば、あらゆる他のフレームの予測を使用して、予測されたフレームの処理のスキップを可能にすることができる。結果として、例えば、フレーム2、4、6及び8を予測するためにフレーム1、3、5、7を処理するだけでよい。この実施例において、フレーム2の予測を行い、フレーム2がどのようなものであるかを明らかにする迅速な推定を行うことができ、従って、精度測定をもたらすことができる。このようにして、例えば、2つのスペクトルピークが一列に並んでどれだけ近接して生成されたかを判定することができる。位置合わせが特定の許容範囲を上回る場合、フレーム2を再計算して、許容可能及び事前に定められた誤差範囲内に確実になるようにすることができる。他方、位置合わせが許容誤差内である場合、更なる予測は必要ではない。
幾つかの実施例において、信号表現の周波数/位相は、信号内のコヒーレント信号要素の超分解能統一ドメインモデルに基づいて予測することができ、予測に基づく不完全な信号表現を完成させるためのデータを提供するのに使用することができる。
幾つかの実施形態では、信号内のコヒーレント信号要素の超分解能統一ドメインモデルに基づく信号表現の周波数/位相を予測し、これを用いて予測に基づく信号要素を処理することができ、ここで信号要素の処理は、予測を使用して信号表現の圧縮を容易にする段階を含むことができる。上記のように、あらゆるフレームを処理する必要がなく、数学的表現で保持される情報をオリジナルデータよりも遙かに少ないビットで表すことができる(すなわち必然的に圧縮することができる)。
発振器ピーク検出段階は、追跡及び/又は分類段階の現在の状態からの情報を使用して、その処理決定を導くことができる。技術は更に、以下に説明されるように発振器ピーク選択のトラック知覚適合及び優先順位付けによる干渉の低減を含むことができる。
例示的な技術において、トラック知覚適合を介した干渉の低減を実施することができる。2つの発振器ピークがほとんど同じ周波数上にある場合、これらは干渉する可能性があり、区別可能ではない場合がある。2つのトラックレットが、所与のフレームにおける周波数で交差する軌道上にあると検出された場合、予測された周波数及び振幅を使用して、2つの発振器ピークを生成することができ、この場合、本システムは、両方の発振器の総和であるシングルピークだけを検出することができる。
別の例示的な技術において、発振器ピーク選択の優先順位付けを行うことができる。コンピュータ計算上のリソース限界、又は性能又はバッテリ寿命或いは幾つかの他の特徴を最適化する要求に起因して、本システムは、検出されるよりも少ない発振器ピークを適合することができる。本システムは、トラックレット及び/又はグループ状態情報を使用して、適合される発振器ピークをピックアップすることができる。例えば、音声処理において、関心のあるスピーカが無矛盾の高調波分離を示す場合、本システムは最初に、既存のパターンに適合できる発振器ピークを見出すことを試みることができる。同様に、信号成分の重要度の心理音響的尺度を使用して、処理すべき発振器ピークを優先順位付けすることができる。
別の例示的な技術において、雑音環境からの所望信号の抽出又は雑音環境における所望信号の増強−追跡及び分類アルゴリズムを適合されるデータの測定パラメータの何れかと共に使用して、雑音から抽出されるべき又は雑音よりも増強すべきトラックレット又はコヒーレントグループを決定することができる。
例示的で非限定的な実施形態によれば、不明瞭度尺度又は確実度尺度を追跡器によってトラックレットに割り当てることができる。この不明瞭度尺度は、カルマンフィルタ、ベイズ判定処理、スコアリング関数又は類似の処理で使用することができ、これによって、確実度/不明瞭度尺度を用いて、抽出又は増強しなくてはならないトラックレット又はコヒーレントグループを決定するようにする。更に他の実施形態では、複数のトラックレットの交差は、交差ポイントの処理を助けるのに使用されるトラックレット方向の予測によって識別することができる。例えば、音声処理において、トラックレットが実際に交差したときに、1つの周波数での1つの統合された音声を観測することができる。この実施例において、統合された音声は、交差ポイントで取り出して、自己無撞着とすることができるようにトラックレットの各々に割り当てることができる。
一例において、出力は、入力側で受信されていたピークのサブセットを含むことができる。場合によっては、これらは、周波数位相予測補正の場合のように修正することができる。
ある範囲の技術を使用して、関連する発振器ピーク及びトラックレットを識別することができる。一例において、プロセッサは、複数の発振器ピークを受信することができ、再合成のための複数の発振器ピークのうちの1又はそれ以上を選択することができる。
代替の実施例において、発振器ピークをスコアリングして、どれが出力に望ましいかを決定することができる。発振器ピークは、到達の時間、周波数、位相、振幅、及び統一ドメイン方向の少なくとも1つを使用してスコアリングすることができる。
代替の実施例において、トラックレットをスコアリングして、出力のためにどれが望ましいかを決定することができる。トラックレットは、到達の時間、周波数、位相、振幅、統一ドメイン方向、これらの特性の何れかの変化、及びこれらの特性の何れか1つの変化の予測可能性の少なくとも1つを使用してスコアリングすることができる。
代替の実施例において、トラックレットのコヒーレントグループをスコアリングして、どれが出力に望ましいかを決定することができる。コヒーレントグループは、到達の時間、周波数、位相、振幅、統一ドメイン方向、並びにこれらの特性の何れかの変化、及びこれらの特性の何れか1つの変化の予測可能性、及び人の既知の高調波周波数パターンのような既知の高調波構造との一致のうちの少なくとも1つを使用してスコアリングすることができる。
代替の実施例において、ピーク、トラックレット、又はコヒーレントグループスコアを使用して、出力にこれを割り当てるか、又は出力からこれを排除することができる。
代替の実施例において、ピーク、トラックレット、又はコヒーレントグループのスコアを使用して、出力におけるその振幅を修正し、これによってその影響を低減又は増幅することができる。
代替の実施例において、ピーク、トラックレット、又はコヒーレントグループスコアを発話認識器のような別のシステムに伝送し、その推定処理を助けることができる。
代替の実施例において、オリジナル信号を出力のための再構成された信号と結合することができる。オリジナル又は再構成信号の何れかを結合の前に減少又は増幅することができる。
代替の実施例において、背景雑音、他の干渉信号、又は望ましくない特性を有する何れかの他の信号のような要素を排除又は縮小することができる。
代替の実施例において、背景を不明瞭にする可能性がある一次信号を取り除くことによって背景雑音、二次又は他の干渉信号のような要素を明瞭にすることができる。
幾つかの実施例において、図2に示すような信号チャネル再合成モジュール220を1又はそれ以上の実施例に従って使用して、単一の出力チャネルにおける目標発振器ピークの周波数ドメイン表現を作成することができる。一例において、選択された発振器ピークは、シングルチャネル再合成を使用して周波数又は時間ドメイン信号に変換することができる。幾つかの用途では、このような発振器ピークをシステムの出力とすることができる。
シングルチャネル再合成モジュール220への入力は、シングルチャネルにおけるこれらの発振器ピークの周波数ドメイン表現を作成するのに使用できるパラメータを含む発振器ピークのセットとすることができる。1又はそれ以上の実施例において、発振器ピークは、一般的に、限定ではないが、周波数、振幅及び位相を含むパラメータの何れかを包含することができる。更に、サンプル窓(A)及びサンプル窓(B)と共に使用される分析窓のパラメータは、シングルチャネル事前プロセッサで判定されたものとすることができる。
幾つかの実施例において、シングルチャネル再合成モジュール220は、入力にて受信した各発振器ピークを使用して周波数ドメインデータ予測を計算する方法を実行するよう構成することができる。本方法は、シングルチャネル事前プロセッサにおいてサンプル窓(A)及びサンプル窓(B)をテーパーするのに使用される分析窓の高分解能周波数ドメインバージョンをサンプリングすることによって、発振器の正規化された周波数ドメイン表現を作成する段階を含むことができる。発振器ピークの振幅及び位相でこの発振器の正規化された周波数ドメイン表現を乗算する。本方法は更に、発振器ピークに対応する周波数ドメインデータが計算されると、以前に作成されたスペクトルを合計する段階を含むことができる。一例において、時間ドメインデータが要求される場合、周波数出力を時間ドメインに変換することができる逆FFT(iFFT)を実行することができる。
幾つかの実施例において、出力における望ましい特性を提供するために、ある量の背景信号が必要となる場合がある。本明細書で使用される方法の利点は、出力信号の位相を高精度で保持できることである。結果として、オリジナル信号におけるサンプルの位相は、抽出され再合成された信号の位相に一致することができる。一部の状況では、背景信号の追加は、望ましい特性を有する結果をもたらすことができる。これは、オリジナル信号又はオリジナル信号の減衰又は増幅バージョンにミキシングする段階を含む、様々な技術によって達成することができる。幾つかの実施例において、圧縮形式のシングレット表現のようなオリジナル信号のシングレット表現を使用することが望ましく、これによってオリジナル信号は、抽出された信号とリミックスする前に再構成することができる。
シングルチャネル再合成モジュール220によって実行された方法に基づいて、発振器ピークの選択されたセットに対応するオリジナル信号の部分を正確に表す周波数ドメイン又は時間ドメインデータのセットは、シングルチャネル再合成モジュール220からの出力として取得することができる。
幾つかの実施例において、図2に示すようなマルチチャネル再合成モジュール222を1又はそれ以上の実施例に従って使用して、マルチチャネル出力における目標ピークの周波数ドメイン表現を作成することができる。マルチチャネル再合成モジュール222は、選択された発振器ピークを周波数又は時間ドメイン信号に変換するよう構成することができる。幾つかの実施例において、このような発振器ピークを本システムの出力とすることができる。
マルチチャネル再合成モジュール222は、マルチチャネルにおける発振器ピークの周波数ドメイン表現を作成するために使用されるパラメータ、及びマルチチャネル事前プロセッサ210でサンプル窓(A)及びサンプル窓(B)と共に使用される分析窓のパラメータを含む発振器ピークのセットを入力として受信するよう構成することができる。一例において、発振器ピークは、周波数、振幅、統一ドメインシグマ、及び各チャネルにおける発振器ピークの位相を包含することができる。
マルチチャネル再合成モジュール222は、各発振器ピークが各チャネルに対するその周波数ドメインデータ予測を計算するための方法を実行するよう構成することができる。本方法は、統一ドメインシグマ及び入力振幅を使用して当該ピークに対する当該チャネルの振幅を計算する段階を含むことができる。本方法は更に、シングルチャネル事前プロセッサにおけるサンプル窓(A)及びサンプル窓(B)と共に使用される分析窓の高分解能周波数ドメインバージョンをサンプリングすることによって発振器の正規化された周波数ドメイン表現を作成する段階を含むことができる。ステップ1において計算された振幅及び入力で受信された当該チャネルに対する発振器ピークの位相によって、この発振器の正規化された周波数ドメイン表現を乗算する。本方法は更に、発振器ピークに対応する周波数ドメインデータが計算されると、前のステップで作成されたスペクトルを合計する段階を含むことができる。一例において、チャネルXに対する周波数ドメインは、全ての発振器ピークに対するチャネルXの計算された周波数ドメインスペクトルの全ての総和とすることができる。時間ドメインデータが必要とされる場合、逆FFT(iFFT)を実行して、周波数出力を時間ドメインに変換することができる。
一例において、畳み込みモデルを使用して、及び安定周波数信号、FMピーク、及びAMピークを含む複数の信号要素又は特性の各々を構築するための別個の方法を使用して、再合成信号を信号処理モデルに構築することができる。周波数、振幅、周波数変調及び振幅変調を含む発振器ピークパラメータを再計算して、以下のような異なる窓位置(時間的に僅かに遅れる)又は窓長さに存在することができるパラメータを予測することができる。
一例において、再合成のために、発振器ピーク検出のために使用していたものとは異なる窓の長さを選択することができる。これは、本システムが発振器ピーク検出のために使用していたものよりもより最適な窓長さを再合成のために使用するのを可能にする。
一例において、サンプル窓の長さは、必要に応じて調節することができる。特定の条件下では、異なる長さのサンプル窓を使用するよう最適にすることができる。これは、検出された発振器ピークのパラメータを比較のために調節できることに起因して、実施することができる。例えば、強い周波数変調の期間中は、より頻繁にサンプルすることが有利とすることができる。
幾つかの実施例において、フレームを再合成内でシフトすることができる。例えば、0から1024データポイントを使用して、信号の第1スナップショットを取り出すことができる。次に、データポイント512から始まり、データポイント1536に進み、窓の半分の長さだけシフトすることができる。より小さなスケールの変化が望ましいとすることができ、より少ないデータポイントだけシフトすることが望ましいとすることができる(256ずつシフトする)場合、再度シフトして、各信号要素が密接にカバーされる。再合成時には、中央セグメントだけを使用することができ(256から768及び512から1024)、フレーム内での前方予測を小さなフレームを作るために行うことができる。例えば、ビデオ入力信号を処理してワイドスクリーンフォーマットから旧式のテレビジョンにビデオを送信する場合、オンザフライで動作を変更して、品質を損なうことなく且つフレームの複雑な操作を実施する必要もなく、TV画像の中心部を再生し縁部を除去することができるようにする。
マルチチャネル再合成モジュール222によって実行される方法に基づいて、選択されたピークに対応するオリジナル信号から周波数ドメインの部分を正確に表すことができる周波数又は時間ドメインのデータの窓は、マルチチャネル再合成モジュール222からの出力として取得することができる。
本明細書で記載される信号分離(SS)技術は、送信、格納、分析又は操作の何れかのための収集機構(マイクロフォン、カメラ、ラジオ受信機、ビデオカメラ、トランスデューサ、又は他の受信機などを含む)を介して信号を送信又は取り込むことができる何れのシステムにも適用することができる。信号は、続いて(限定ではないが):受信機間で送信(例えば、RF送信)され、音声通話の送信などのためのオーディオフォーマットで配信、写真又はビデオの送信のような画像又はビデオフォーマットで配信され、発話からテキストへの変換のようなテキストフォーマットで表示され、又はレーダーディスプレイ又は超音波のような画像として解釈及びレンダリングすることができる。
幾つかの実施形態では、SS技術は、デジタル信号処理を伴う1又はそれ以上の処理及び/又はシステムに導入することができる。デジタル信号処理は、一般的に、情報信号を修正又は改良するための情報信号の数学的操作として定義され、一連の数又は記号による離散的な時間、離散的な周波数、又は他の離散的なドメイン信号の表現、及びこれらの信号の処理によって特徴付けることができる。SS技術が恩恵をもたらすことができるサンプルデジタル信号処理分野は、限定ではないが、オーディオ処理及び圧縮、発話処理及び認識、RF送信、生体測定分析、ソナー及びレーダー、センサアレイ、超音波試験、スペクトル推定、統計分析、デジタル画像、デジタル及びセルラー通信、制御システム、生物医学、医用イメージング、及び地震データを含むことができる。デジタル信号処理は、連続した現実世界のアナログ信号を測定、フィルタリング及び/又は圧縮するのに適用することができる。処理は、典型的には、信号をアナログからデジタル形式に変換してサンプリングし、次いで、アナログ信号を数字のデジタルストリームに変えることができるアナログ−デジタルコンバータを使用してデジタル化することによって開始することができる。典型的には、分析及び送信後、要求される出力信号は、デジタル−アナログコンバータ(DAC)を必要とする別のアナログ出力信号とすることができる。
幾つかの実施形態では、SS技術は、限定ではないが、汎用コンピュータ及びGPU;専用シングル及びマルチコアプロセッサ(デジタル信号プロセッサなど);特定用途集積回路(ASIC)のような専用のハードウェア;フィールドプログラマブルゲートアレイ(FPGA);デジタル信号コントローラ;及びストリームプロセッサの1又はそれ以上で実施することができる。更に、本明細書で記載されるSS技術は、ファームウェア、組み込み型ソフトウェア、ソフトウェアプラットフォーム、独立型ソフトウェアアプリケーション、及び/又はネットワーク又はクラウドに基づくアプリケーション/サービスとして実施することができる。このような実施構成は、限定ではないが、コンピュータ;携帯電話又はスマートフォン;タブレット;又は他の通信;オーディオ、ビデオ、センサ、レーダー、ソナー又は医療用イメージングデバイス又はシステム;又はデジタル信号処理が性能又は一般的有用性を向上させることができる他の何れかのシステム又はデバイスに適用することができる。
幾つかの実施形態では、本明細書で記載される信号分離技術は、対象物の距離、高度、方向、速度又は他の特性を決定する方法として無線波に頼るレーダーベースの対象物検出及び追跡システムにおいて利用することができる。レーダーシステムは、その経路における何れかの対象物から反射される無線波(又はマイクロ波)のパルスを送信する処理を組み入れ、その後、波のエネルギーの一部を受信機に戻すことができる。レーダーの幾つかの例示的な用途は、限定ではないが、一般的なイメージング、防空及び対ミサイルシステム、航空管制、関心のある地形、船舶及び他の海洋ベースのポイントを位置特定する海洋システム、航空機衝突防止システム、海洋監視システム、大気圏外監視及びランデブーシステム、気象追跡及びモニタリング、高度測量及び飛行制御システム、誘導ミサイル目標位置特定システム、地形マッピング、検出及び位置特定システム、石油及びガス発見及び掘削システム、及び地質観察のための地中探知レーダーを含むことができる。
幾つかの実施形態では、SS技術をレーダーシステムに適用して、処理内の何れかのポイントにおける「雑音」、「干渉」、及び/又は「クラッター」を軽減し、これによって最終用途アプリケーションに送られる最終データの品質を高めることができる。SS技術は、何れかの他の補正アルゴリズム及びシステムから独立して、又はパルス−ドップラー、移動目標指示、自動利得制御(「AGC」)、3Dマッピングイメージングアプリケーション、及び/又は水平、垂直、線形及び円形極性形成などのシステムの1又はそれ以上と共に導入することができる。距離が大きくなるにつれて反射信号は急激に減少し、よって雑音がレーダー距離限界を発生させ、所望の信号のパワーが低くなる程、この信号を雑音から区別するのがより困難になる。レーダーシステムは、望ましくない信号、すなわちパッシブ信号及びアクティブ信号の両方を解消して、関心のある実際の目標に集中するよう構成しなくてはならない。望ましくない信号の解消は、レーダーシステムの信号対雑音比(「SNR」)を定義して、所望の目標信号のレベルを背景雑音又は干渉のレベルと比較することができる。
例示的な実施形態において、SS技術の導入は、レーダーシステムのSNRを増大させることができ、これにより、周囲の雑音信号、干渉及びクラッターからの実際の目標の分離の改善もたらすことができる。一例において、雑音及び干渉は、全ての電子部品によって発生する可能性がある信号のランダム変動の内部発生源;レーダー受信機において受信された所望のエコー信号に重畳されたランダム変動;及び/又は関心のある目標を囲む背景の熱放射のような外部発生源を含む、因子の何れかによって引き起こされる可能性がある。更に、クラッターは、関心のない目標からレーダーオペレータに戻された無線周波数エコーによって起こる可能性がある。このような目標は、自然物体(雨、鳥など);大気乱流及び他の大気効果(電離層反射など);人工物体(建物など);及び/又はチャフなどのレーダー対策手段を含むことができる。一部のクラッターはまた、レーダー送受信機とアンテナとの間の長いレーダー導波管によって引き起こされる可能性がある。本明細書で記載されるSS法及び技術は、上記及び他の干渉信号から効果的に干渉を軽減する役割を果たすことができる。SS技術は、周波数帯域、スキャンタイプ、利用されるディスプレイプロセッサ及びシステム、及び/又は最終用途及びリンクに関係なく、全ての形式のレーダー信号、装置及びイメージングソフトウェア及びハードウェアに適用することができる。本技術はまた、電磁スペクトルの他の部分を使用する他のシステムにも適用することができる。このようなシステムの1つの実施例は、電波ではなくレーザーからの可視光を使用する「LIDAR」とすることができる。更に、本技術は、RF機能(例えば、レーダー、通信、及び電子戦)をその機能の性能において拡張、識別、分離、隠ぺい又は他の操作を可能にするスケーラブル多機能RFシステムのような他の無線周波ベースの(RF)システムに適用することができる。
例示的で非限定的な実施形態によれば、本明細書で前述した技術の何れかの処理又は組み合わせを使用して生成された源分離信号は、(i)オーディオファイル;及び/又は(ii)オーディオ信号成分;及び/又は(iii)発話特徴ベクトルとして提示される出力を生成することができ、これらの全ては、独立して又は組み合わせて、発話認識エンジン又は生体測定音声識別システムへの入力としての役割を果たすことができる。幾つかの実施形態では、本明細書で記載される信号分離技術は、話し言葉をテキストに翻訳する、音声翻訳を介して自動化システムを制御する、又は話し言葉を自動化処理を介して声以外の他の出力に変換するのに使用できる発話認識システムにおいて利用することができる。発話及び音声認識を改善するためのSSの導入は、認識を改善するのに使用される他の何れかのアルゴリズム及びシステムに関係なく、又はこのようなシステムの1又はそれ以上と共に適用することができる。更に、SSは、デジタル信号に変換して発話認識のために処理されることになるデジタルに変換される前に、アナログ信号に再変換することができるオリジナル音声源信号に、又は発話認識処理の直前にデジタルフォーマットに変換することができるオーディオ信号などに適用することができる。
発話認識は、「自動発話認識」(「ASR」)、「コンピュータ発話認識」、及び/又は「発話対テキスト」と呼ぶことができる。これらのシステムは、「スピーカ依存」システムの場合などでは、トレーニングを使用することができ、又はスピーカによる訓練をトレーニングを使用しなくてもよい(「スピーカ独立」システムと呼ばれる)。音声認識は、一般に、言っていることとは対照的に、話している人の身元を突き止めることを指している。スピーカの認識は、スピーカ依存システムにおける発話の翻訳業務を簡素化することができ、又はセキュリティ処理の一部として話し手の身元を認証又は検証するのに使用することができる。幾つかの実施形態において、発話認識にSSを適用する段階は、アナログ音声信号をデジタルオーディオに変換し、次いで認識された発話に変換することを含むことができる。一例において、デジタルオーディオをより良い音響的表現に変換する段階、発話認識器が予想される音素を認識するような規則を適用する段階、及び発話された音素を判定してこの音素を言葉に変換する段階を含むことができる処理を介して、変換を実行することができる。デジタルオーディオフォーマットは、チャネル数(モノラル対ステレオなど)、ビットレート、及び/又は他の特性の点で変更することができる。
発話認識はまた、発話波形から特徴ベクトルを抽出する段階を含むことができる。抽出は、最初に窓付き高速フーリエ変換(FFT)を使用してデジタルオーディオを「周波数ドメイン」に変換することによって達成することができ、結果として得られる出力はスペクトルグラフが生成するものと類似している。このドメインでは、所与のサンプルレートに対する音声の周波数成分を使用して、当該サンプルに対する周波数成分の振幅のグラフを生成することができる。特徴ベクトルは、あらゆる短期間隔において発話信号の窓からコンピュータ計算することができ、発声は、これらの特徴ベクトルのシーケンスとして表すことができる。
幾つかの実施形態において、自動化発話認識器エンジンは、人間の声によって生成された異なるタイプの音声に相関付けられる何千ものこのようなグラフのデータベースを含むことができ、当該サンプルで生成されたグラフはデータベースと照合され、音声を記述する数字を生成することができる。所与の発話特徴ベクトルに対する最も可能性のある単語列は、2つのタイプの知識源、すなわち音響知識と言語知識とを使用して発見される。発話認識エンジンは、発話音声の音響的特徴に対して「隠れマルコフモデル」(HMM)と呼ばれる数学的技術を使用することができ、言語知識を表現するために確率言語モデルを使用することができる。幾つかの実施例において、大きな背景雑音又は他の周囲環境音のような干渉源は、信号源の誤解釈をもたらすことが多く、ユーザが高品質マイクロフォンを備えた静かな部屋にいる場合に有するのとは異なるベクトルを認識器に判定させることになる。従来では、背景雑音及び変動性の問題は、どの音素が話されたかを見つけ出すために統計モデルを使用して対処されてきたが、強い干渉では、得られる結果は一般的に不十分である。SS技術を発話認識処理に適用する1つの実施形態において、認識処理の初期ステップへのSSの導入は、これにより発話波形から特徴ベクトルが抽出され、他の手法よりも遙かに高い信頼性を有した音素及び発話を求める堅牢性を極めて向上させることができる。SSの適用は、特徴ベクトルをデジタルオーディオ信号から抽出するときの周囲雑音様の干渉の影響を大幅に低減することができる。SS処理された信号は、音声認識/識別に対して高い精度を提供することができ、オンボード処理(携帯電話、タブレット及び他のパーソナルデバイスセキュリティ特徴と同様に)又は制御されたアクセスデバイス又はエリア(制限されたアクセス施設、建物、金庫室又は他の安全な場所)におけるリンクされたネットワーク又はクラウドの何れかを使用して、何れかの既存の音声認識又は音声セキュリティシステムに導入することができる。音声/スピーカ認識では、同様の処理を使用して、関心のある話し手の特徴ベクトルを抽出することができるが、これらのベクトルは、話し手が元々作成した発話のモデル/ライブラリと比較及び対比させて、類似性スコアを生成することができる。SS技術は、音声認識に導入され、限定ではないが、デジタル信号に変換されて、発話認識のために処理されることになるデジタルに再度変換される前にアナログ信号に再変換されるオリジナル音声源信号への適用、又は音声認識処理の直前にデジタルに変換されたオーディオ信号への適用を含む、本方法の何れかを介して改善された特徴ベクトルを提供することによる背景雑音又は競合する会話のような干渉を軽減することによって、スコアリングの堅牢性を増強することができる。本明細書で記載されるSS方法及びシステムは、独立した処理技術又は既存のソフトウェアプログラムへのアドオンとして、音声/発話認識を使用した何れかのPC、携帯電話、タブレット、又は他のシステムにおけるハードウェア又はソフトウェアとして実施することができる。
例示的で非限定的な実施形態によれば、信号要素の表現は、信号のモデルにおいて構築することができる。信号は、個々の話し手に対応するトラック及び/又はトラックレットに分解及び分類することができ、分解された信号は特徴ベクトルに変換されて、発話認識エンジンで使用されるように適合される。このような実施形態において、特定の話し手(例えば、電話の所有者)に向けたバイアスを構築及び導入し、環境における他の全ての音声よりも優先してその話し手の発話を自動的に引き出して増強するようにすることができる。
別の実施形態において、発話特徴又は発話ベクトルと呼ぶことができる信号要素の表現は、信号の源信号分離モデルにおいて構築することができる。すなわち、信号は、個々の話し手に対応する発話特徴ベクトルに分解され、分解された表現を発話認識エンジン又は生体測定音声識別システムへの入力として使用することができる。
例示的で非限定的な実施形態によれば、システムは、源信号分離の協働/分散コンピュータ計算に携わる近接プロセッサを備えた、マイクロフォンのような音声収集デバイスを含む。一部の実施形態において、アルゴリズムは、携帯電話、スマートフォン、タブレット又は他の移動デバイスで使用できるよう処理負荷が少ないものであるように拡張可能である。幾つかの実施形態において、処理の一部は、モバイルデバイス上で行い、次いで結果と共に遠隔プロセッサ又はサーバに配信又は送信されて、モバイルデバイスに戻すようにすることができる。
幾つかの実施形態において、SS技術を補聴器のアプリケーションに使用することができる。補聴器は、音の増幅及びフィルタリングを助けて、聴力低下/難聴の人が音を理解できるようにする何らかの医療デバイスである。補聴器は、音を電気信号に変換することができるマイクロフォン(指向性又は無指向性)からなり、この電気信号がデジタル信号プロセッサによって処理されて、目標とする音を増強し、望ましくない背景雑音を最小にすることができる。結果として得られる目標音は、患者の三半規管内でスピーカを介して増幅及び中継される。患者の制御装置は、音量、雑音低減、及び様々な環境設定のために使用することができる。このデバイスのためのマイクロフォン、DSP及び制御装置は、補聴器自体の上又は内部に、或いは外部制御デバイス又は携帯電話に位置付けることができる。
幾つかの実施形態において、本明細書で記載される源信号分離のための方法は、限定ではないが、目標音の増幅、単一の人の発話又は音源への集中化、混み合ったレストランで他の音を遮断/最小化しながらテーブルの会話のような限定領域への集中化、及び/又はユーザが所望の会話又は音源を聴取しないこと及び/又はそのユーザの理解を妨げることを選択できる背景又は他の周囲雑音を最小限又は排除することを目的とした何らかの設計の補聴器デバイスにおいて具現化することができる。これらのSS法は、限定ではないが、耳掛け式補聴器、カナル式補聴器、オープンカナル式補聴器、クローズカナル式補聴器、気導式補聴器、骨伝導式/埋め込み型骨導式補聴器、眼鏡式補聴器、外部デバイスリンク式補聴器、携帯電話ベースの補聴器、PDAベース補聴器、iPad(登録商標)/タブレットベース補聴器、PCベース補聴器、及び人工内耳を含む、何れかの聴覚支援デバイスにわたって利用することができる。SS技術はまた、FDA調整補聴器及び店頭販売の処方箋なしの音声増幅デバイスの両方を含む聴覚支援デバイスに適用することができる。
幾つかの実施形態において、本明細書で記載されるSS法はまた、携帯電話、テレビジョン、ラジオ、PC、クラウド、タブレット及び他の聴覚支援リンクデバイスにリンクさせることができる。1つの例示的な実施形態は、ユーザの放送を理解する能力に悪影響を与える可能性がある他の背景又は周囲雑音を最小限に又は遮断しながらユーザが放送を理解することを可能にするテレビジョンへのリンクとすることができる。同様に、このア用途の類似の実施形態は、ユーザが電話を受けている場所での周囲又は背景雑音と、回線の向こう側で発信者によって送信された望ましくない背景雑音の両方を最小に又は排除するよう処理された携帯電話伝送の増幅を含むことができる。
幾つかの実施形態において、本明細書で記載されるSS法は、何れかの聴覚支援デバイス上に位置付けられ又は組み込まれた、或いは聴覚支援処理デバイスの外部に位置付けられて無線、赤外線(IR)、Bluetooth(登録商標)、有線又は他の伝送法を介して当該デバイスに送信される何れかのマイクロフォン(ステレオ又はモノラル、指向性又は無指向性)又はマイクロフォンアレイと連携することを意図することができる。例示的な実施形態は、携帯電話又はタブレットリンクの補聴器とすることができ、この場合、音は、これらのデバイスに記録され、これらを耳に送信して放送することができる。同様に、目標音源を記録するためのマイクロフォンは、ユーザの眼鏡に位置付けられ、又は、衣服もしくは宝飾品類に埋め込まれ、ユーザの首の周りに装着され、ボタン、帽子又は他の衣服もしくはファッションアクセサリに埋め込むことができる。限定ではないが、上記の実施例を含むマイクロフォン設計は、目標音を処理デバイスに送信することができ、ここで本明細書で記載されるSS方法及びシステムは、これらの音を処理するよう構成することができる。アルゴリズム処理は、独立DSP上で、又は組み込み式ファームウェアを介してデバイスのCPUで行うことができる。これらの処理プラットフォームの配備は、デバイス自体、外部制御ユニット、タブレット、PC、PDA、携帯電話又はクラウドを介した送信又はセルラー又は無線ネットワークを通じて中央サーバに戻る伝送上とすることができる。相互的補聴器又はアレイマイクロフォンシステムに記録された信号は、デバイス間で、又はリアルタイム又は準リアルタイム処理のため、限定では無く上述のものを含む外部処理ユニットに送信することができる。
一部の実施形態において、本明細書で記載されるSS技術によって処理された信号は、ユーザの耳の中又はその近くのスピーカを介して、又は直接感覚神経処理のための神経又は骨刺激デバイスを介して再生されることになる出力信号に再合成することができる。中継のためのスピーカべースのデバイスは、オープンカナル式及びクローズカナル式システム、ヘッドフォン、電話デバイス、携帯電話、Bluetooth(登録商標)及び他のスピーカベースのデバイスを含む。再合成信号は、同じデバイス(耳掛け式補聴器など)取り込まれ、又は外部処理ユニット(タブレット、携帯電話、PC又は他の携帯式プロセッサなど)から出力スピーカデバイスに送信することができ、単一の再処理入力、或いは、複数の記録デバイスからの多くの同時記録及び混合入力の組み合わせとすることができる。SS処理を使用する聴覚支援技術は、臨床プログラムパラメータ又はユーザ制御パラメータを特徴付けて、デバイス処理を特定の環境に対して調節することができる。臨床パラメータの例示的な実施形態は、距離ベースSS及び背景雑音低減設定であり、初期フィッティングの際にプログラムすることができ又は電話又はPC/ウェブインタフェース再プログラミングを介して後で調節することができる。ユーザに基づく制御の例示的な実施形態は、オンボードデバイスダイヤル、外部制御ユニット、又はPC/携帯電話/タブレットベースのアプリケーションを含むことができ、これらは、ユーザが、背景雑音への目標発話の混合、目標発話増幅レベル、リアルタイム又は準リアルタイムの送信の利用、目標音源を収集したい場合のエリア又は方向を管理する距離及びベクトルベースの制御装置、TV、携帯電話、ラジオ、音声制御システム又は直接インタフェースのための他のPCベースのデバイスにタップする能力を制御するのを可能にすることができる。ユーザはまた、レストラン又は近くの会話などの様々なモードにデバイスを設定する能力を有し、或いは、目標発話に対する遅延リードインと中継音の明瞭度又は自然性と間のトレードオフを決定できるように再生のためのリードイン時間を制御することができる。
例示的で非限定的な実施形態によれば、システムは、マイクロフォンのような音声収集デバイス、又は源信号分離の協働/分散コンピュータ計算に携わるための近接プロセッサを有する通信のための音声送信デバイス(例えば、Bluetooth(登録商標)又は他の送信プロトコルを使用する)を含む。幾つかの実施形態において、アルゴリズムは、補聴器上で使用できるよう処理負荷が少ないものであるように拡張可能である。幾つかの実施形態において、一部の処理は、補聴器に転送される結果と共にプロセッサによってリモートサーバに配信することができる。
1つの変形形態では、携帯電話は、より多くの処理を実行できるサーバにデータを送信することができる。場合によっては、補聴器が実際により多くの処理能力を必要とし、リモートサーバに送信することができない場合、補聴器はユーザのポケットの中の電話のような近接デバイスに送信することができる。電話は、ローカルスーパーブースター又は外部処理システムのように機能することができる。このような例では、補聴器は、定義されたモードに遷移し、追加のコンピュータ計算パワーを使用して処理を携帯電話にオフロードし、処理能力の向上を達成することができる。1つの実施例において、制御装置は、実際の携帯電話又はコンピュータタブレット上に配置することができ、これによって例えば、レストランにおいて着席している人が携帯電話をテーブルに置いて、画面をタップし、又はスライダ制御部を動かして、テーブルに着席している人達の方向で処理及び源信号分離を調整するようにすることができる。これに応答して、アルゴリズムは、テーブルに居る人達の会話の増強を助けるよう動作する。図15は、タブレット又は携帯電話制御のためのこのようなコンピュータ生成インタフェースの例示的で非限定的表現を示す。
別の実施形態において、周囲雑音又は望ましくない背景雑音は、入力源信号から除去されている分解源信号を生成することができ、次いで、これを低雑音レベルの周囲又は背景雑音と再結合し、結合された信号を出力することができる。幾つかの実施形態において、ユーザは、再導入された周囲雑音の雑音レベルを動的に又は静的に変更することができる。
幾つかの実施形態において、本明細書で記載されるSS技術は、電話アプリケーションで使用することができる。セルラーネットワークでの移動電話通話では、オーディオが組み込まれたマイクロフォンを介して取り込まれ、続いて、アナログからデジタル信号に変換される(通常は「A−D」変換と呼ばれる)。次に、結果として得られるデジタル信号が、セルラーネットワークを介して圧縮又は非圧縮形式で最終端末に送信され、これによってオーディオ出力として送信される。伝送処理に沿ったあらゆる場所又は送信のエンドポイントにて、デジタル信号はアナログ信号に戻される。一般的には、送信するために電話(携帯電話、スピーカフォン、VoIP電話及び同様のものなど)によって取り込まれたオーディオは、オーディオファイルの変換も送信も妨げることのない周囲雑音又は他の干渉を包含する可能性があるが、意図された受信機への出力ファイルの一般的品質に影響を与える可能性がある。例えば、移動電話のマイクロフォンは、話し手の音声をピックアップすることができるが、関心のある発信者近くで発生した他の会話の雑音を取り込む可能性もあり、これが変換されて通話の受信者に送信される場合がある。オーディオが変換されて受信者に送信された場合、聴取者は、干渉雑音も送信された状態で話し手を理解するのが困難になる可能性がある。一般に、雑音及びエコーキャンセルのような特定のアルゴリズムが取り込みポイント(移動電話におけるなど)にて適用され、この場合、信号は送信のために変換することができるが、適用されるアルゴリズムは、従来的には、雑音/干渉作用の一部を軽減するに過ぎず、受信相手は、送信者の知覚可能性を妨げる恐れのある干渉環境雑音を受信する可能性が依然としてある。
本明細書で記載される源信号分離の方法は、限定ではないが、目標音の増幅及び/又は、望ましくない送信が、呼出側、関心のある話し手及び/又は会話に関するユーザの理解に干渉することに起因して、受信相手が聴取及び/又は送信することを望まない背景又は他の周囲雑音を最小限にし又は排除しながら、電話会議で話している携帯電話又は電話のユーザ又は関心のある人に焦点を合わせる目的で、何れかの電話アプリケーションに導入することができる。
これらのSS法は、電話アプリケーションの受信者に対する源信号取り込み、変換、送信及び/又は配信/出力の何れかのポイントの間に導入及び適用することができる。SS法は、通話中に常に適用されるよう統合することができ、或いは、送信者又は受信者が通話中に干渉源の軽減を提供するためにSS法の導入を要求することを可能にする制御機構と共に導入することができる。SSシステム及び方法は、ファームウェア、組み込み式ソフトウェア、独立型ソフトウェアアプリケーション又はプラットフォーム、或いは付加的なソフトウェア機能又は特徴として組み込むことができ、これらは、単独で、或いは雑音低減、通話明瞭化及び/又は他の性能利益のため他のアルゴリズムと共に使用される(携帯電話又はネットワークなど)収集、送信又は配信ポイントから実施することができる。
幾つかの実施形態において、SSアプリケーションは、車両音声制御システムにおいて使用することができ、これは、ロードノイズ、外部環境雑音、ラジオ雑音、HVAC雑音、意図しない車室内雑音及びそれに伴う乗員雑音など又は類似の干渉音源の何れかと混合された目標オーディオコマンドの要素を処理する問題に対処することができる。本明細書で記載されるSS法は、車内音声応答システムと共に使用して、正確な音声応答処理システムの処理、自動車制御及び車両セキュリティのために望ましくない又は干渉する背景雑音から目標コマンドを抽出し増幅することができる。本明細書で記載されるSS法は、音声応答システムによって処理することができる発話又は抽出された発話特徴を使用することを介して、音声コマンドシステムと対話することができる。処理システムは、車両ベースPCにおけるオンボードに含まれ、又は車両外部の中央処理サーバに送信することができる。このようなシステムによって制御される音声応答コマンドの例示的な実施形態は、限定ではないが、車載ナビゲーション、HVAC、窓、ラジオ、座席機能、ワイパー、自動ドアロック及び制御、サンルーフ制御などの自動システム制御装置、並びに携帯電話統合及びiPad、タブレット、mp3、オーディオ及び娯楽デバイス制御のようなサードパーティ統合デバイス制御を含むことができる。SSシステムはまた、携帯電話に、或いは、車両中央オーディオ処理システムを通過することができる送信及び受信信号の両方を処理するBluetooth(登録商標)及び他のヘッドセットシステムにリンクすることができる。SS法の付加的な配備は、車両制御及びセキュリティのためのオンボード音声生体認証とすることができる。本明細書で記載されるSSシステム及び方法によって取り込まれた発話特徴要素は、各個人ユーザに固有の正確な発話特徴の抽出を可能にすることができる。この制御機能の代表的な配備は、限定ではないが、ドライバ/ユーザ割り当ての車両ロック及びアラーム制御、ドライバエンジンスタート及び停止制御(オンボードで又は携帯電話のような外部制御デバイスを介して起動される)、ナビゲーションシステムのドライバ及び/又は特定のユーザ制御、及び非必須の車両制御システムを含むことができる。
本明細書で記載されるSSシステムは、車室内に組み込まれた、又はBluetooth(登録商標)ヘッドセット又は他のハンズフリー携帯電話制御デバイスのような外部システムへのリンクを介して単一のマイクロフォン(ステレオ又はモノラル、指向性又は無指向性)又はマイクフォンのアレイによって可能にすることができる。本システムは、音声制御システムが、ドライバの座席、ドライバと乗員の両方の座席、又は指定された生体認証署名を有する個人に対しての指示だけを受け付けることができるように、ユーザによって配備及びプログラムすることができる。また、後部座席の個人が後部HVACシステム又は後部娯楽システムを制御できるように、別個の制御装置を追加することができる。幾つかの実施形態において、ドライブ又は付加的なパーティ音声生体認証制御装置は、システムの使用を介して、又は本明細書で記載されるSS法を使用して別のデバイスからのダウンロードされるユーザ音声生体認証プロファイルを介してプログラムすることができる。
幾つかの実施形態において、本明細書で記載されるSS法は、限定ではないが、超音波、MRI、CTスキャン、PETスキャン、X線、SPECT、ガンマカメライメージング、原子核イメージング、光音響イメージング、胸部サーモグラフィ、及び光学コヒーレンス断層撮影を含む、静的イメージング又は時系列イメージング信号分析を使用する一連の医用イメージングアプリケーションに配備することができる。本明細書で記載されるSS法の適用は、目標画像の分解能の改善及び上述及び他の医用イメージングシステムにおいてイメージング機器によって発生する雑音の低減を可能にすることができる。本明細書で記載されるSS方法及びシステムの例示的な実施形態は、分解能を増強して超音波プローブの重なり合った要素によって生じる雑音を低減するための医用超音波システムにおける用途を含むことができる。SSアルゴリズムは、自立型超音波システム、PCベースシステム、タブレットシステム、スマートフォンアプリ、PDA、及び手持ち式システムに組み込むことができる。SSアルゴリズムは、デバイス内部CPU、ソフトウェア、又はデバイスにロードされたアプリを実行できるファームウェアとして、或いは、制御ボックス又は超音波プローブ自体に組み込まれたDSP又は他のチップとして組み込むことができる。改善された超音波のためのSS方法及びシステムは、プローブの個々の要素によって収集されたデータの事前又は事後合計を組み込むことができる。本明細書で記載されるSS方法及びシステムは、目標生体組織における差違を補償するためにビーム角度及び信号強度における調節と適合するように事前及び/又は事後ビーム形成を使用することができる。
幾つかの実施形態において、本明細書で記載されるSS方法及びシステムは、限定ではないが、2D超音波、3D超音波、4D超音波、組織ドップラー、流量ドップラー組織緊張分析、弾力性分析及び他のアプリケーションを含む、何れかの形式の超音波(音波又はエコーなど)イメージングソフトウェア又はアドオンイメージング分析プログラムと共に使用することができる。SSソフトウェアは、診断及び手術アプリケーションの両方を含む全ての臨床診療にわたって適用することができる。SS拡張超音波画像の実施形態は、超音波支援生体検査、超音波支援カテーテル配置、エコー心臓内科、心臓内科及び心臓病手術アプリケーション、整形外科及び整形外科手術アプリケーション、イメージング及び手術の両方を含む超音波及び他の産科及び婦人科アプリケーション、泌尿器科アプリケーション、胃腸アプリケーション、軟組織アプリケーション、頭部、頸部及び頭蓋アプリケーションを含むことができる。本明細書で記載される主要な超音波アプリケーションは、限定ではないが、複合材料、構造、及び地質調査の超音波分析を含む、獣医及び産業アプリケーションのための超音波ハードウェア及びイメージングソフトウェアプログラムの両方と共に使用することができる。
幾つかの実施形態において、SS技術は、音声ナビゲーション及び測距(ソナー)に関係付けられるアプリケーション、並びに水中音響アプリケーションに使用することができる。ソナーは、音伝播を使用して、水面上又は水面下で物体をナビゲートし、通信及び/又は検出する。目標物質によって生成された音を「聴く」ことができるパッシブソナー技術に基づくアプリケーション;及び音のパルスを放出してエコーを聴くことができるアクティブソナー技術に基づくアプリケーションを含むことができる2つのタイプのソナーベースアプリケーションが存在することができる。ソナーは、水中での「目標」の音響位置付け及びエコー特性の測定の手段として使用することができ、限定ではないが、潜水艦ナビゲーション、魚雷及び地雷誘導、地下水調査及びマッピング、エコー測深、パイプライン調査、波測定、及び関心のある目標の進路、測距、軌道及び速度の決定(目標移動分析などを使用した)を含むアプリケーションで使用することができる。
幾つかの実施形態において、本明細書で記載されるSS方法及びシステムは、モノスタティック、バイスタティック又はマルチスタティック構成で動作することができる音声送信機及び受信機を使用できる何れかの形式のアクティブソナーを用いて信号品質を高めるのに使用することができ、音響周波数は、極めて低い周波数(超低周波)から極めて高い周波数(超音波)まで変化することができる。ソナーは、一定周波数又は可変周波数の「チャープ」の信号生成器、パワー増幅器及び電気音響トランスデューサ/アレイを使用して一般的に電気的に生成された音のパルスを利用することができる(受信時にパルス圧縮を可能にする)。SSはまた、要求されるサーチ角度を対象範囲に含むように掃引することができるビームに音響パワーを集中させるように使用できるビーム形成器と共に組み込むことができる。場合によっては、爆薬を化学的に使用する、又はエアガンを使用する、又はプラズマ音源を使用するなどの他の手段によって音響パルスを作成することができる。
幾つかの実施形態において、本明細書で記載されるSS方法及びシステムは、何れのパルスも送信することなく通常は「聴く」ことができ、一般的に大規模ソニックデータベースに照合して検出した音を比較することによって検出した音源を識別するための様々な技術を有する何れかの形式のパッシブソナーによって信号品質を高めるのに使用することができる。パッシブソナーの使用によって、目標放射雑音レベルが十分に高い場合、目標を識別することができる。しかしながら、幾つかの実施例において、動作は、水の体積弾性率、密度、温度、溶解不純物(通常は塩分)、及び均一な水圧によって決定される音速の変動の影響を受ける可能性がある。
本明細書で記載される1又はそれ以上の実施形態において、本明細書で記載されるSS法は、アクティブ及びパッシブソナーシステムの全ての形式に適用されて、音の変動に対処し、並びに音又はエコーが受信されたときに分析の処理内の何れかのポイントでの雑音、干渉、及び/又はクラッターを軽減し、これによって最終用途アプリケーションに送られる最終データの品質を向上させることができる。これは、何れかの他の補正アルゴリズム及びシステムにも関係なく、又はビーム形成及び狭ビーム伝送などのこのようなシステムの1又はそれ以上と共に受信、送信又はディスプレイシステムのソフトウェア又はハードウェア構成要素に導入することができる。幾つかの実施例において、所望の目標エコー又はシグニチャに干渉する雑音源は、波及び船舶輸送から乱気流及び海洋生物に及ぶ可能性がある。更に、水を通る受信機の動きは、速度依存の低周波数雑音を起こす可能性がある。アクティブソナーが使用される場合、海中の小物体から並びに海底及び海面から散乱が発生する可能性がある。アクティブ及びパッシブソナーに加えて、SS技術は、限定ではないが、合成アパーチャソナー及びパラメトリック及び非線形ソナーを含む他のソナーに基づくシステムに恩恵を与えるために適用することができる。本明細書で記載されるSS方法及びシステムはまた、水面下でメッセージを送信及び受信するのに使用できる水面下音響通信を含む、水力音響システムに導入することができる。このような通信を利用する幾つかの方法が存在することができるが、最も一般的な方法は、水中聴音器を使用するものを含むことができる。水面下通信は、限定ではないが、マルチパス伝播;チャネルの時間変動;小さな利用可能帯域;及び強力な信号減衰を含む、多くの要因に起因して困難となる可能性があり、これらはSSによって対処することができる。
幾つかの実施形態において、本明細書で記載されるSSシステム及び方法は、マイクロフォン依存システムにおいて使用することができる。携帯電話及び他の電話システム、ヘッドセット、スピーカフォン及び一般的なマイクロフォンベースのシステム(単独で又はセルラーもしくは他の電話ネットワークと共に使用される)と同様のものは、デバイスユーザの受信、処理及び送信に関する意図しない作用、並びに送信/記録時に存在する意図しない背景雑音及び周囲雑音を有する可能性がある。現行のシステムは、話し手を圧倒する可能性があり且つ受信機/ユーザが意図した送信/記録を理解するのが困難ななる可能性がある他の周囲雑音又は干渉雑音から目標ユーザを分離することができない場合がある。この問題の代表的な実施例は、飛行制御システムを介した航空機雑音の伝送、携帯電話ヘッドセットを介した空港でのPAアナウンスの放送、電話会議スピーカシステムを介した室内雑音送信、「ドライブスルー」注文システムを介した自動車雑音及び屋外雑音送信、又はコーチのヘッドセットを通じた観衆雑音送信を含むことができる。
本明細書で記載されるSSシステム及び方法は、送信/記録デバイスにおけるマイクロフォンによって取り込まれた望ましくない/意図されない周囲/背景雑音に対するユーザの品質/知覚を改善する目的で、このようなマイクロフォン依存デバイスに組み込むことができる。SS法は、各デバイスが特定の話し手、或いは近接デバイスユーザのような定義された限定エリア/半径から発生し遠距離場雑音を遮断する音源だけを送信することができるように、最適化することができる。これは、SS方法及びシステムを使用して、目標とする話し手からであり意図されない背景雑音からではない音を抽出し選択的に送信/記録することによって達成することができる。
このようなシステムの例示的な実施形態は、本明細書で記載されるSSシステム及び方法をBluetooth(登録商標)ヘッドセットに付加することを含むことができる。SS技術は、既存のプロセッサに付加された専用DSP又はファームウェアとしてヘッドセットに追加することができる。SS技術は、結果として得られる信号を送信又は記録する前に、デバイスのマイクロフォン(指向性又は無指向性)によって取り込まれた信号を処理して、意図されない雑音から目標音源を抽出することができる。このことは、記録デバイス又は送信システムが抽出された音源だけを記録でき、従って、当該音源の品質及び明瞭度を確実に高めることができる。一連の処理におけるこの新しいステップは、単独の特徴要素として使用することができ、或いは、他のオーディオ処理及び拡張アルゴリズムと組み合わせて使用することができる。本明細書で記載されるSSシステム及び方法の別の例示的な実施形態は、マイクロフォンベースの記録において使用することができる。1つのチャネルでは目標音源を抽出して記録することができ、他方、別のチャネルでは背景雑音を記録することができる。次いで、各チャネルをリミックスして、最適な/所望の音効果及び品質にすることができる。
例示的で非限定的な実施形態によれば、システムは、源信号分離の協働/分散コンピュータ計算に携わる近接プロセッサを備えた、マイクロフォンのような音声収集デバイス、又は通信(例えば、Bluetooth(登録商標)又は別の通信プロトコルを使用した)のための音声送信デバイスを含む。幾つかの実施形態において、一部の処理は、通信システムを介して返信され送信される結果と共にプロセッサによってリモートサーバに配信することができる。
別の実施形態において、目標入力信号とは別個の周囲雑音又は背景雑音は、入力源信号から除去されて分解された源信号を生成することができ、次いで、これをより低い又は低減提示レベルの周囲又は背景雑音と再結合して、結合信号を出力することができる。幾つかの実施形態において、ユーザは、再導入された周囲雑音の提示レベルを動的に又は静的に変えることができる。
幾つかの実施形態において、本明細書で記載されるSSシステム及び方法は、音声制御テレビジョン及び他の対話型デバイスベースのアプリケーションに使用することができる。TV、ビデオゲーム、娯楽システム及び他の対話型デバイスのための音声認識及び音声駆動コマンドシステムの普及は、干渉雑音、意図しない話し手の割り込みコマンド、及びコマンド認識及び応答に影響を与える背景雑音の問題によって制限されてきた。本明細書で記載されるSS法は、正確な音声認識及び応答を保証する目的で何らかのこのような娯楽デバイスに組み込むことができる。更に、このようなデバイスは、本明細書で記載されるSS法を適用することができる(前の段落で詳述された)ものと類似した発話及び音声認識のネットワーク依存の解決策にリンクされ、又はこれを利用することができる。本明細書で記載されるSSシステム及び方法の例示的な実施形態は、テレビジョン機能のための音声応答/音声制御装置においてSSの使用を含むことができる。SSによって、本システムが、システムにおいて事前プログラムすることができる特定の話し手又はリモート制御装置又は他の類似のデバイスに話し掛ける未知の話し手に焦点を合わせることを可能にすることができる。スピーカの音声コマンドは、全てのデバイス特徴、並びに限定ではないが、ケーブルTVボックス、DVRシステム、衛星システム、DVDプレーヤ、統合サウンドシステム、PC、ビデオゲームシステム/コンソール、インターネット接続性、クラウド接続性、ビデオ会議システム、VOIP/インターネット電話システム、及び他の類似のデバイスを含む、関連デバイスの特徴を制御するよう構成することができる。幾つかの実施例において、TV音声応答制御装置は、限定ではないが、テレビジョン組み込み型マイクロフォン/スピーカ、専用遠隔制御マイクロフォン/スピーカ、外部マイクロフォン/スピーカシステム、携帯電話、タブレット、PC、ビデオゲームシステム及びヘッドセットを含む、何れかのマイクロフォン又はスピーカ/マイクロフォン結合システムによって駆動することができる。このような実施例において、制御特徴要素は、指向性/無指向性マイクロフォンを使用することができ、及び/又はIR、Bluetooth(登録商標)、WiFi、RF又はシステムとの有線リンクを使用することができる。このようなシステムは、双方向対話、すなわち音声駆動クエリーの受け付け及び応答を可能にすることができ、ビデオ会議、ウェブ会議、VOIP、及びウェブに基づく電話会議のためのインタフェースとして機能することができる。本明細書で記載される音声制御TVのためのSS方法及びシステムは、受信した発話を再合成することができ、又は再合成しない場合もある。雑音環境では、受信した発話は、発話認識エンジン又は音声応答システムを駆動する目的で本明細書で説明したSS数学モデルに基づいて発話特徴又は発話ベクトルとして処理することができる。再合成された発話によって、背景雑音の可変レベルを再度組み込むことができる。本システムは、1又は複数の目標音声に応答するように訓練することができる。幾つかの実施形態において、スピーカ認識訓練は、デバイスの初期化の際にデバイス使用又は発話の引用を介して生成することができる。
幾つかの実施形態において、本明細書で記載されるSS方法及びシステムは、電源監視に関係するアプリケーションで使用することができる。電源は、例えば、幾つかのアプリケーションにおいて平均しておよそ50Hzの連続した低レベル雑音を発生する。電力需要の変動により、この雑音レベルの僅かな変動を引き起こす可能性がある。例えば、電力需要の増大は、雑音レベルを低下させることができるが、需要レベルの低下は、反対の作用を有する可能性がある。電力需要の変動は、何らかの記録に相関付けることができる固有の時間/日付シグニチャを提供する機能を送電網に与えることができる。本明細書で記載されるSSシステム及び方法を用いて、電気配電網を監視し、監視システムの高精度な時間連続シグニチャを作成することができる。このシグニチャは、何れかの記録デバイス(オーディオ又はビデオ)又は源信号タイプ(アナログ又はデジタル)から導き出すことができる。低レベルオーディオ信号は、本システム全体にわたって一貫したものとすることができ、信号分析は、発電所、特定の機械又は何れかの他の場所で行うことができる。本明細書で記載されるSSシステム及び方法は、何れかのライブ映像又は記録から電源供給の信号影響を抽出して、電気配電網の高精度時間連続シグニチャを提供するよう構成することができる。このシグニチャは、リアルタイムで又は準リアルタイムで監視され、或いは後で分析することができる。このシステムの例示的な実施形態は、SSを使用して、差し迫った電圧低下、出力スパイク、停電又は電源の寸断を予測することができる。これは、低レベル雑音対履歴規格/予測子における変化を分析することによって、グリッド全体レベルで、個別の現場で、又は個々のデバイスで行うことができる。記録デバイスは、上記の場所、機械又はデバイスの何れかで周囲雑音を記録することができ、その結果、SS法は、他の雑音から目標電気雑音を分離することになる。SS方法及びシステムは、雑音レベルが何れかの問題をもたらす場合に、電力雑音の測定値を生成して、差し迫った事象の警報を送信するように構成することができる。警報は、デバイス自体で発生させるか、又はネットワーク、無線を介して、又はクラウドを介して、何れかの監視デバイス、PC、タブレット、携帯電話又は何れかの他のデバイスに送信することができる。
本システムの別の例示的な実施形態は、フォレンジックな音声分析に関連付けることができる。この実施形態は、記録が作成された日付及び時刻の識別及び検証を含むことができる。本明細書で記載されるSS方法及びシステムを使用して、記録から電気システム雑音を抽出し、当該信号の高精度数学的表現を生成することができる。当該信号は、電気配電網からの既知の記録に相関付けて、記録が作成された正確な時刻及び日付を決定することができる。このような認証及び/又は検証は、証拠に認められてこのような記録が確実に不当にならないように記録を検証するのに必要とすることができる。分析は、何れかのタイプの記録(オーディオ又はビデオ、デジタル又はアナログなど)、ファイルフォーマット、又は記録の持続時間に対して行うことができる。
適合ユーザインタフェースは、ユーザが、処理の再合成段階のため追跡、分類、及びピーク選択を観測してこれと対話できるようにする。ユーザインタフェースは、「オフライン」で使用して格納されたデータを観測し修正することができ、又は「オンライン」で使用して、処理構成要素に命令してリアルタイムでデータと対話することができる。ユーザインタフェースを使用して、データを分析し、成分パラメータを修正することができる。ユーザインタフェースは、ユーザ対話から最適成分パラメータを検出することができる。例えば、再合成のためのデータのユーザ選択が与えられると、適合ユーザインタフェースは、類似のデータを検出するための処理パラメータを計算することができる。
例示的で非限定的な実施形態によれば、ユーザインタフェースは、トラック、すなわち、視覚的表現をトラック、トラックレット及び/又はコヒーレントグループを備えた信号データの追加、除去又は分類の少なくとも1つに編集するための複数の潜在的にコヒーレントなトラックレット及び/又はコヒーレントグループとして信号を観測するために提供される。
別の実施形態において、ユーザインタフェースを利用して、トラック;複数の潜在的にコヒーレントなトラックレット;及び/又はコヒーレントグループとして信号を観測することができ、ユーザは、トラック、トレックレット;及び/又はコヒーレントグループをクリックすることができ、当該トラック、トラックレット及び/又はコヒーレントグループに関連付けられるデータが提示されることになる。別の実施形態において、ユーザインタフェースは、トラック;複数の潜在的にコヒーレントなトラックレット;及び/又はコヒーレントグループとして信号を観測するために利用することができ、ユーザは、当該トラック、トラックレット、及び/又はグループに関する特性データを含む入力に基づいて、インタフェース内でトラック及び/又はトラックレットを検索及び見出すことができる。別の実施形態において、ユーザは、オンザフライでスコアリング関数を変更して、トラック、グループ、及び/又はトラックレットに関連付けられるデータを修正することができる。
図16を参照すると、上記の実施形態及び説明に従って実施することができるトラックエディタの例示的な実施形態が示されている。図示のように、トラックエディタは、発振器ピークから構成される複数のトラックレットを表示する。様々な例示的で非限定的な実施形態において、発振器ピークは、トラックIDに応じて色付けすることができる。更に他の実施形態において、発振器ピークは、コヒーレントグループIDに応じて色付けすることができる。他の実施形態において、発振器ピークは、再合成のために選択されるか否かに応じて色付けするか又は透明に設定することができる。他の実施形態において、発振器ピークは、何れかの他の発振器ピークパラメータに応じて色付けすることができる。他の実施形態において、発振器ピークは、振幅、背景電力に対する振幅に従って、又は等しいサイズでスケール調整することができる。
図17を参照すると、トラックエディタGUIの例示的で非限定的な実施形態が示されている。例示的で非限定的な実施形態によれば、ユーザは、トラックエディタGUIに表示されたデータを選択して、該選択したデータに対する動作を実行することができる。1つの実施形態において、データは、ボックス又は投げ縄などで描かれるエリアによって選択することができる。他の実施形態において、ユーザは、トラックレットの何れかのピークをクリックすることなどによって、トラックレット毎にデータを選択することができる。他の実施形態において、ユーザは、コヒーレントグループの何れかのピークをクリックすることなどによって、コヒーレントグループ毎にデータを選択することができる。更に別の実施形態において、ユーザは、何れかのピークをクリックすることなどによって発振器ピーク毎にデータを選択することができる。
選択されると、ユーザは、データに対して実行されることになる動作を選択することができる。例えば、ユーザは、別の図にデータを描くことができ、ここで発振器ピーク統計値、到達方向、時間ドメインオーディオ、スペクトログラムデータ及び同様のものが視覚的にレンダリングされる。幾つかの実施形態において、ユーザは、「ターンオン/ターンオフ」選択肢などを介して再合成のための選択ピークを含むかどうかをシステムに指示することができる。
図18を参照すると、上述したようにユーザ選択データを表示するためのデータ視覚化器の例示的な実施形態が示されている。
様々な実施形態によるSS方法及びシステムは、ソフトウェア、ハードウェア、ファームウェア、又はこれらの何れかの組み合わせで実施することができる。処理は、好ましくは、様々なコンピュータ装備デバイス(パーソナルコンピュータ、移動電話、イメージングデバイス、補聴器、対話型音声応答システム、電話会議システム、オーディオ記録デバイス、車載音声起動システム、ディクテーションシステム、及び通信システムなど)上で実行される1又はそれ以上のコンピュータプログラムに実装することができる。このようなデバイスは、とりわけ、コンピュータプロセッサ(汎用及び専用マイクロプロセッサなど)、及びプロセッサ及び入力/出力デバイスによって可読の記憶媒体を含むことができる。各コンピュータプログラムは、デバイスのランダムアクセスメモリに常駐するコードモジュール内の命令のセット(プログラムコード)とすることができる。コンピュータプロセッサによって要求されるまで、命令セットは、場合によっては、別のコンピュータメモリ(半導体メモリデバイス、ハードディスクドライブ、又は光学ディスクのようなリムーバブルメモリデバイス、外部ハードドライブ、メモリカード、又はフラッシュドライブ)に格納でき、又は別のコンピュータデバイス上に格納されてインターネット又は他のネットワークを介してダウンロードすることができる。
以上、幾つかの例示的な実施形態を説明してきたが、様々な変更、修正、及び改良が、当業者には容易に想起されることは理解できる。このような変更、修正、及び改良は、本開示の一部を形成することを意図することができ、本開示の精神及び範囲内にあるものとすることができる。本明細書に提示される幾つかの実施例は、機能又は構造的要素の特定の組み合わせを包含するが、これらの機能及び要素は、本開示に従って他の方法で組み合わせて同じ又は異なる目的を達成することができる点を理解されたい。詳細には、1つの実施形態に関して検討された動作、要素、及び特徴は、他の実施形態における類似の又は他の役割から除外されるものではない。更に、本明細書で記載される要素及び構成要素は更に、付加的な構成要素に分割され又は互いに結合されて、同じ機能を実行するための幾つかの構成要素を形成することができる。
幾つかの実施形態だけが図示され説明されたが、添付の請求項に記載される精神及び範囲から逸脱することなく、これらの実施形態に対して多くの変更及び修正を行い得ることは、当業者には明らかであろう。本明細書に引用された国内外を含む全ての特許出願及び特許、並びに他の全ての公表物は、法的に認められる全ての範囲までその全体が本明細書に組み込まれる。
本明細書で記載される方法及びシステムは、プロセッサ上でコンピュータソフトウェア、プログラムコード、及び/又は命令を実行する機械を通じて部分的に又は全体的に配備することができる。本明細書で記載される様々な実施形態は、機械上での方法として、又は機械の一部もしくは機械に関連するシステム又は装置として、或いは、機械の1又はそれ以上で実行されるコンピュータ可読媒体において具現化されたコンピュータプログラム製品として実施することができる。実施形態において、プロセッサは、サーバ、クラウドサーバ、クライアント、ネットワークインフラストラクチャ、移動コンピュータプラットフォーム、固定コンピュータプラットフォーム、又は他のコンピュータプラットフォームの一部とすることができる。プロセッサは、プログラム命令、コード、バイナリ命令及びその他を実行することができるコンピュータ又は処理デバイスの何れかのタイプとすることができる。プロセッサは、信号プロセッサ、デジタルプロセッサ、組み込みプロセッサ、マイクロプロセッサ又はコプロセッサのような何れかの変形形態(数学コプロセッサ、グラフィックコプロセッサ、通信コプロセッサ及びその他)及び格納されたプログラムコード又はプログラム命令の実行を直接的又は間接的に容易にすることができる同様のものとすることができ、或いはこれらを含むことができる。更に、プロセッサは、マルチプログラム、スレッド、及びコードの実行を可能にすることができる。スレッドは、プロセッサの性能を高め、アプリケーションの同時処理を容易にするよう同時に実行することができる。実施構成として、本明細書で記載される方法、プログラムコード、プログラム命令及び同様のものは、1又はそれ以上のスレッドにおいて実装することができる。スレッドは、関連付けられる優先順位を割り当てることができる他のスレッドを生成することができ、プロセッサは、優先順位又はプログラムコードにおいて提供される命令に基づく何れかの他の順序に基づいて、これらのスレッドを実行することができる。プロセッサ、又はプロセッサを利用する何れかの機械は、本明細書及びその他で説明された方法、コード、命令及びプログラムを格納するメモリを含むことができる。プロセッサは、本明細書及びその他で説明された方法、コード、及び命令を格納することができる記憶媒体にインタフェースを介してアクセスすることができる。コンピュータ又は処理デバイスによって実行することができる方法、プログラム、コード、プログラム命令又は他のタイプの命令を格納するためのプロセッサに関連付けられた記憶媒体は、限定ではないが、CD−ROM、DVD、メモリ、ハードディスク、フラッシュドライブ、RAM、ROM、キャッシュ及び同様のもののうちの1又はそれ以上を含むことができる。
プロセッサは、マルチプロセッサの速度及び性能を拡張することができる1又はそれ以上のコアを含むことができる。実施形態において、処理は、デュアルコアプロセッサ、クアドコアプロセッサ、他のチップレベルマルチプロセッサ、及び2又はそれ以上の独立コア(ダイと呼ばれる)を組み合わせたものとすることができる。
本明細書で記載される方法及びシステムは、サーバ、クライアント、ファイアウォール、ゲートウエイ、ハブ、ルータ、又は他のこのようなコンピュータ及び/又はネットワーキングハードウェア上でコンピュータソフトウェアを実行する機械を介して一部又は全体的に配備することができる。ソフトウェアプログラムは、ファイルサーバ、プリントサーバ、ドメインサーバ、インターネットサーバ、イントラネットサーバ、クラウドサーバ、及び二次サーバ、ホストサーバ、分散サーバ及び同様のもののような他の変形形態を含むことができるサーバに関連付けることができる。サーバは、メモリ、プロセッサ、コンピュータ可読媒体、記憶媒体、ポート(物理的及び仮想)、通信デバイス、及び有線又は無線媒体を介して他のサーバ、クライアント、機械、及びデバイスにアクセスすることができるインタフェース及びその他のうちの1又はそれ以上を含むことができる。本明細書及びその他で説明する方法、プログラム、又はコードは、サーバによって実行することができる。更に、本出願で説明する方法の実行に必要な他のデバイスは、サーバに関連付けられるインフラストラクチャの一部として考えることができる。
サーバは、限定ではないが、クライアント、他のサーバ、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ、ソーシャルネットワーク、及びその他を含む、他のデバイスへのインタフェースを提供することができる。更に、この結合及び/又は接続は、ネットワーク全体にわたるプログラムのリモート実行を容易にすることができる。これらのデバイスの一部又は全部のネットワーキングは、本開示の範囲から逸脱することなく1又はそれ以上の位置でのプログラム又は方法の並行処理を容易にすることができる。更に、インタフェースを介してサーバに付属したデバイスの何れもが、方法、プログラム、コード及び/又は命令を格納することができる少なくとも1つの記憶媒体を含むことができる。セントラルリポジトリは、異なるデバイス上で実行されるプログラム命令を提供することができる。この実施構成では、リモートのリポジトリが、プログラムコード、命令、及びプログラムのための記憶媒体として機能することができる。
ソフトウェアプログラムは、ファイルクライアント、プリントクライアント、ドメインクライアント、インターネットクライアント、イントラネットクライアント、並びに二次クライアント、ホストクライアント、分散クライアント及び同様のもののような他の変形形態を含むことができるクライアントに関連付けることができる。クライアントは、メモリ、プロセッサ、コンピュータ可読媒体、記憶媒体、ポート(物理的及び仮想)、通信デバイス、及び有線又は無線媒体を介して、他のクライアント、サーバ、機械、及びデバイスにアクセスできるインタフェースなどのうちの1又はそれ以上を含むことができる。本明細書及びその他で記載される方法、プログラム、又はコードは、クライアントによって実行することができる。更に、本出願で説明される方法の実行に必要な他のデバイスは、クライアントに関連付けられるインフラストラクチャの一部として考えることができる。
クライアントは、限定ではないが、サーバ、他のクライアント、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ及びその他を含む他のデバイスへのインタフェースを提供することができる。更に、この結合及び/又は接続は、ネットワーク全体にわたるプログラムのリモート実行を容易にすることができる。これらのデバイスの一部又は全部のネットワーキングは、本開示の範囲から逸脱することなく1又はそれ以上の位置でのプログラム又は方法の並行処理を容易にすることができる。更に、インタフェースを介してクライアントに付属したデバイスの何れもが、方法、プログラム、アプリケーション、コード及び/又は命令を格納することができる少なくとも1つの記憶媒体を含むことができる。セントラルリポジトリは、異なるデバイス上で実行されるプログラム命令を提供することができる。この実施構成では、リモートリポジトリが、プログラムコード、命令、及びプログラムのための記憶媒体として機能することができる。
本明細書で記載される方法及びシステムは、ネットワークインフラストラクチャを介して一部又は全体的に配備することができる。ネットワークインフラストラクチャは、コンピュータデバイス、サーバ、ルータ、ハブ、ファイアウォール、クライアント、パーソナルコンピュータ、通信デバイス、及びルーティングデバイス及び他のアクティブ及びパッシブデバイス、当該技術分野で公知のモジュール及び/又はコンポーネントのような要素を含むことができる。ネットワークインフラストラクチャに関連付けられる1又は複数のコンピュータ及び/又は非コンピュータデバイスは、他の構成要素とは別に、フラッシュメモリ、バッファ、スタック、RAM、ROM、及び同様のもののような記憶媒体を含むことができる。本明細書及びその他で説明する処理、方法、プログラムコード、命令は、ネットワークインフラストラクチャ要素の1又はそれ以上によって実行することができる。本明細書で記載される方法及びシステムは、サービス型ソフトウェア(SAAS)、プラットフォーム・アズ・ア・サービス(PaaS)、及び/又はインフラストラクチャ・アズ・ア・サービス(IaaS)の特徴を包含するものを含む、何れかのタイプのプライベート、コミュニティ、又はハイブリッドクラウドコンピューティングネットワーク又はクラウドコンピューティング環境と共に使用するよう適合することができる。
本明細書及びその他で説明する方法、プログラムコード、及び命令は、マルチセルを有するセルラーネットワーク上で実施することができる。セルラーネットワークは、周波数分割多重アクセス(FDMA)ネットワーク又はコード分割多重アクセス(CDMA)ネットワークの何れかとすることができる。セルラーネットワークは、移動デバイス、セルサイト、基地局、リピータ、アンテナ、タワー、及び同様のものを含むことができる。セルネットワークは、GSM(登録商標)、GPRS、3G、EVDO、メッシュ、又は他のネットワークタイプとすることができる。
本明細書及びその他で説明する方法、プログラムコード、及び命令は、移動デバイス上で又は移動デバイスを介して実行することができる。移動デバイスは、ナビゲーションデバイス、携帯電話、移動電話、移動携帯情報端末、ラップトップ、パームトップ、ネットブック、ページャ、電子書籍リーダ、音楽プレーヤ及び同様のものを含むことができる。これらのデバイスは、他の構成要素とは別に、フラッシュメモリ、バッファ、RAM、ROM及び1又はそれ以上のコンピュータデバイスのような記憶媒体を含むことができる。移動デバイスに関連付けられるコンピュータデバイスは、格納されているプログラムコード、方法、及び命令の実行を可能にすることができる。或いは、移動デバイスは、他のデバイスと協働して命令を実行するよう構成することができる。移動デバイスは、サーバに接続されプログラムコードを実行するよう構成された基地局と通信することができる。移動デバイスは、ピアツーピアネットワーク、メッシュネットワーク、又は他の通信ネットワークで通信することができる。プログラムコードは、サーバに関連付けられた記憶媒体上に格納され、サーバ内に組み込まれたコンピュータデバイスによって実行することができる。基地局は、コンピュータデバイス及び記憶媒体を含むことができる。記憶デバイスは、基地局に関連付けられるコンピュータデバイスによって実行されるプログラムコード及び命令を格納することができる。
コンピュータソフトウェア、プログラムコード、及び/又は命令は、機械可読媒体に格納及び/又はアクセスすることができ、該機械可読媒体は、コンピュータ構成要素、デバイス、及び、ある時間の間隔でコンピュータ計算するために使用されるデジタルデータを保存する記録媒体;ランダムアクセスメモリ(RAM)として公知の半導体記憶装置;光学ディスク、ハードディスクのような磁気記憶装置の形式、テープ、ドラム、カード及び他のタイプのような永久記憶装置のための一般的な大容量記憶装置;プロセッサレジスタ、キャッシュメモリ、揮発性メモリ、不揮発性メモリ;CD、DVDのような光学記憶装置;フラッシュメモリ(USBスティック又はキーなど)、フロッピー(登録商標)ディスク、磁気テープ、紙テープ、パンチカード、独立型RAMディスク、Zipドライブ、取り外し可能大容量記憶装置、オフライン、及び同様のもののような取り外し可能媒体;動的メモリ、静的メモリ、読出し/書込み記憶装置、可変記憶装置、読出し専用、ランダムアクセス、シーケンシャルアクセス、位置アドレス指定可能、ファイルアドレス指定可能、コンテンツアドレス指定可能、ネットワーク接続憶装置、記憶エリアネットワーク、バーコード、磁気インク、及び同様のもののような他のコンピュータメモリを含むことができる。
本明細書で記載される方法及びシステムは、物理的及び/又は無形品目を1つの状態から別の状態に変換することができる。本明細書で記載される方法及びシステムは、物理的及び/又は無形品目を表すデータを1つの状態から別の状態に変換することができる。
図面全体を通してフローチャート及びブロック図に含まれる説明され図示された要素は、要素間の論理的境界を示唆する。しかしながら、ソフトウェア又はハードウェアエンジニアリングの実施によれば、図示の要素及びその機能は、モノリシックソフトウェア構造として、又は独立型ソフトウェアモジュールとして、或いは外部ルーチン、コード、サービスなど、又はこれらの何れかの組み合わせを利用するモジュールとして、格納されているプログラム命令を実行することができるプロセッサを有する機械上にコンピュータ実行可能媒体を介して実装することができ、全てのこのような実施構成は、本開示の範囲内とすることができる。このような機械の実施例は、限定ではないが、携帯情報端末、ラップトップ、パーソナルコンピュータ、移動電話、他の可搬式コンピュータデバイス、医療用機器、有線又は無線通信デバイス、トランスデューサ、チップ、計算機、衛星、タブレットPC、電子書籍、ガジェット、電子デバイス、人工知能を有するデバイス、コンピュータデバイス、ネットワーキング機器、サーバ、ルータ及び同様のものを含むことができる。更に、フローチャート及びブロック図に示された要素又は何れかの他の論理的構成要素は、プログラム命令を実行することができる機械上に実装することができる。従って、前述の図面及び説明は、開示されるシステムの機能的な態様を記載しているが、これらの機能的な態様を実施するためのソフトウェアの特定の構成は、明示的に記載されるか又は文脈から明らかでない限り、これらの説明から推測するべきではない。同様に、上記に識別され説明された様々なステップを変更できること、及びステップの順序は本明細書に開示される技術の特定の応用に適応させることができることは、理解されるであろう。全てのこのような変形及び修正は、本開示の範囲内にあるものとする。同様に、様々なステップに対する順序の図示及び/又は説明は、特定の用途によって要求されない限り、又は明示的に記載されるか又は文脈から明らかでない限り、これらのステップに対する実行の特定の順序が必須であるものと理解すべきではない。
上述の方法及び/又は処理、及びこれらに関連付けられるステップは、ハードウェア、ソフトウェア、又は、特定の応用に対して適切なハードウェアとソフトウェアの何れかの組み合わせにおいて実施することができる。ハードウェアは、汎用コンピュータ及び/又は専用コンピュータデバイス又は特定コンピュータデバイス、或いは特定のコンピュータデバイスの特定の態様もしくは構成要素を含むことができる。処理は、内部及び/又は外部メモリと共に、1又はそれ以上のマイクロプロセッサ、マイクロコントローラ、組み込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ又は他のプログラマブルデバイスで実現することができる。処理は、これに加えて又は代替として、特定用途集積回路、プログラマブルゲートアレイ、プログラマブルアレイ論理、又は電子信号を処理するように構成することができる何れか他のデバイス又はデバイスの組み合わせで具現化することができる。更に、処理の1又はそれ以上が機械可読媒体上で実行できるコンピュータ実行可能コードとして実現できることは理解されるであろう。
コンピュータ実行可能コードは、Cなどの構造化プログラミング言語、C++のようなオブジェクト指向プログラミング言語、又は上記のデバイスのうちの1つで実行するために格納、コンパイル又は翻訳することができる他の何れかの高レベル又は低レベルプログラミング言語(アセンブリ言語、ハードウェア記述言語、及びデータベースプログラミング言語及び技術を含む)、並びにプロセッサ、プロセッサアーキテクチャ、又は異なるハードウェア及びソフトウェアの組み合わせ、或いはプログラム命令を実行できる何れかの他の機械の異種の組み合わせを使用して作成することができる。
従って、1つの態様において、上述の方法及びその組み合わせは、1又はそれ以上のコンピュータデバイスで実行されたときにそのステップを実行するコンピュータ実行可能コードにおいて具現化することができる。別の態様では、本方法は、そのステップを実行するシステムにおいて具現化することができ、また、幾つかの方法でデバイス全体にわたって分散することができ、或いは、機能の全てを専用の独立デバイス又は他のハードウェアに統合することができる。別の態様では、上述の処理に関連付けられるステップを実行するための手段は、上述のハードウェア及び/又はソフトウェアの何れかを含むことができる。全てのこのような並び換え及び組み合わせは、本開示の範囲内にあるものとする。
本開示は、図示され詳細に説明された好ましい実施形態に関して開示したが、ここでの様々な修正及び改良は、当業者には容易に明らかになるであろう。従って、本開示の精神及び範囲は、上記の実施例によって限定されず、法的に許容される広範な意味で理解すべきである。
本開示の説明の文脈における用語「a(1つの)」及び「an(1つの)」及び「the(その)」及び類似の指示対象の使用(特に添付の請求項における)は、別途指示されていない限り、又は文脈によって明確に否定されていない限り、単数と複数の両方を含むものと解釈すべきである。用語「comprising(含む)」、「having(有する)」、「including(含む)」、及び「cotaining(包含する)」は、別途指示されていない限り、オープンエンドの用語として解釈すべきである(すなわち、「限定ではないが、含む」を意味する)。本明細書における値の範囲の記述は、本明細書に別途指示されていない限り、範囲内に含まれる各別個の値をそれぞれに示す簡易的方法として機能するものとし、各別個の値は、本明細書で個々に記載されるかのように本明細書に組み込まれる。本明細書で記載される全ての方法は、本明細書において別途指示されない限り、又は文脈によって他に明確に否定されない限り、何らかの適切な順序で実行することができる。本明細書で提供される何れか及び全ての実施例、又は例示的な表現(例えば、「のような」)の使用は、単に、本開示を明確にするためのものであり、別途請求項に記載されない限り、本開示の範囲を限定するものではない。本明細書における表現は、本開示の実施に必須のものとして請求項に記載されていない何れかの要素を示すものと解釈すべきではない。
本明細書により、当業者は、現在最良のものと考えられるものを実施及び利用することが可能となるが、当業者であれば、本明細書における特定の実施形態、方法、及び実施例の変形形態、結合、及び等価物の存在を理解し認識するであろう。従って、本開示は、上述の実施形態、方法、及び実施例によって限定されるべきではなく、本開示の範囲及び精神内にある全ての実施形態及び方法によって限定されるべきである。
本明細書で参照される全ての文書は、引用により本明細書に組み込まれる。
100 源信号分離のための方法
102入力:時間ドメイン信号
104 分析窓で乗算する。
108 分析窓を高分解能周波数ドメインに変換する。付加的なHRWを使用して周波数及び振幅変調を検出することができる。
110 CSPE:極めて高い分解能の周波数ドメインに変換する。HRWをサンプルする。
112 シングレット変換処理:格納されたHRWを有する畳み込みを使用して、成分周波数、振幅、位相、振幅変調、及び周波数変調を検出する
114 追跡及び分類
118 (1)時間ドメイン信号(2)特徴ベクトルとしての発振器ピークの何れかの部分

Claims (20)

  1. オリジナルドメイン信号を処理する方法であって、
    オリジナルドメイン信号を含む入力信号を受信し、前記信号から、第1の窓付きデータセットと、該第1の窓付きデータセットの開始よりも時間的に遅延して開始する第2の窓付きデータセットとを作成する段階と、
    前記第1の窓付きデータセット及び前記第2の窓付きデータセットを周波数ドメインに変換し、前記結果として得られたデータをオリジナルドメインとは異なる第2のドメイン内に格納する段階と、
    前記第2のドメイン内のデータに対して複素スペクトル位相展開(CSPE)を実行して、前記第1及び第2の窓付きデータセットの成分周波数を推定する段階と、
    前記CSPEにて推定された前記成分周波数を使用して、第2のドメイン高分解能窓のセットをサンプリングして、少なくとも1つの発振器ピークを含む元の信号の成分の振幅、位相、振幅変調及び周波数変調のうちの少なくとも1つに適合する第2のドメイン高分解能窓から成る数学的表現を選択するようにする段階と、
    前記オリジナル信号の前記数学的表現から、オーディオファイル、1つ以上のオーディオ信号成分、及び1以上の発話ベクトルの内の少なくとも1つとして、出力信号を発生する段階と、
    前記出力信号を外部システムに出力する段階と、
    を含む方法。
  2. 前記外部システムが、発話認識エンジン、音声識別システム、発話生体認証、及び音声コマンド制御システムの1つ又はそれ以上からなる群から選択される請求項1記載の方法。
  3. 前記外部システムが、前記出力信号の一部を形成する1つ以上の話し言葉をテキストに変換するように作動する請求項1記載の方法。
  4. 前記外部システムが、前記出力信号の一部を形成する1つ以上の話し言葉を少なくとも1つの制御コマンドに変換する請求項1記載の方法。
  5. 前記入力信号が、デジタルフォーマットからアナログフォーマットに前に変換されたアナログフォーマットである、請求項1に記載の方法。
  6. 前記入力信号が、アナログフォーマットからデジタルフォーマットに前に変換されたデジタルフォーマットである、請求項1に記載の方法。
  7. 前記出力信号が、音声識別/生体署名/発話フィンガープリントアプリケーション、又は固有ユーザ識別及び/又は特定ユーザ向けコマンド及び制御のためのシステムにおいて、使用される請求項1に記載の方法。
  8. 前記外部システムが、遠隔サーバ及びオンボード処理システムの内の少なくとも1つからなる、請求項1に記載の方法。
  9. 前記出力信号が、1つ以上の音声コマンドからなる、請求項1に記載の方法。
  10. 前記音声コマンドが、音声応答システム、自動発話認識、音声テキスト変換、1つ以上のシステム、デバイス、又はアプリケーションのコマンド及び制御、及び安全なアクセスの内の少なくとも1の利用を容易にする、請求項に記載の方法。
  11. 音声コマンドが、中央処理システム、ローカルエリア処理システム、オンボードデバイス制御、外部サーバ、及び携帯電話、携帯音楽プレーヤ、パーソナルコンピュータ、及び携帯式制御デバイスからなるグループから選択される携帯式制御デバイスの1つ以上を介して処理される、請求項9記載の方法。
  12. 前記音声コマンドが、コンピュータデバイス、モバイルコンピュータデバイス、家庭娯楽システム、HVACシステム、電話通信システム、家庭器具、拡散マイクロフォン捕捉システム、調光システム、温度制御、電気制御、ビルディング安全システム、自動化窓、自動化窓カバー、自動ドアアクセス、及び出力ベースの電子制御システム、から成るグループから選択される構成要素に向けられている、請求項9記載の方法。
  13. 前記コマンド及び制御システムが特定ユーザ向けである、請求項9記載の方法。
  14. 前記音声コマンドが、音声識別システム、生体認証システム、及びフィンガープリントシステムの内の少なくとも1つによって処理され、セキュリティ応用、物理的アクセス又は入口点、セキュリティシステム、デバイスシステムへのアクセス、及びソフトウェア又はシステムアプリケーションのためのアクセスの内の1つ以上を制御する、請求項9記載の方法。
  15. 前記音声コマンドが、機械、ロボット、器具、コンピュータデバイス、ドライビィング又はナビゲーションシステム、推進システム、ロボット組み立てシステム、遠隔操縦される道具又は機械、自動車制御、航空機制御、列車又は地下鉄制御、ボートナビゲーションシステム及びユーザインタフェース制御の内の少なくとも1つの操作に使用される、請求項9記載の方法。
  16. 前記外部システムが、トレーニングされたユーザ音声指示、音声生体認証、プッシュボタン制御、及びローカルエリアマイクロフォンピックアップによって、起動される、請求項1記載の方法。
  17. スピーカがマイクロフォンに近いことが確定している時に、前記外部システムが、特定の機能を管理及び開始する、請求項1記載の方法。
  18. 前記外部システムが、可搬型であるか、複数のデバイス制御ポイント及び複数のユーザと共に作動するようにプログラムされているかの少なくとも一方である、請求項1記載の方法。
  19. 前記入力信号が、個別に作動するか又はアレイ構成の1つ以上のマイクロフォンによって、捉えられる、請求項1記載の方法。
  20. 前記マイクロフォン、及びストリーミング娯楽システムからの入力の少なくとも1つが、1入力である基準信号を生成するために使用される、請求項19記載の方法。
JP2017043560A 2012-05-04 2017-03-08 源信号分離のためのシステム及び方法 Active JP6526083B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261642805P 2012-05-04 2012-05-04
US61/642,805 2012-05-04
US201361749606P 2013-01-07 2013-01-07
US61/749,606 2013-01-07
US201361785029P 2013-03-14 2013-03-14
US61/785,029 2013-03-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015510491A Division JP6109927B2 (ja) 2012-05-04 2013-05-03 源信号分離のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2017102488A JP2017102488A (ja) 2017-06-08
JP6526083B2 true JP6526083B2 (ja) 2019-06-05

Family

ID=49514924

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015510491A Active JP6109927B2 (ja) 2012-05-04 2013-05-03 源信号分離のためのシステム及び方法
JP2017043560A Active JP6526083B2 (ja) 2012-05-04 2017-03-08 源信号分離のためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015510491A Active JP6109927B2 (ja) 2012-05-04 2013-05-03 源信号分離のためのシステム及び方法

Country Status (6)

Country Link
US (4) US8694306B1 (ja)
EP (1) EP2845191B1 (ja)
JP (2) JP6109927B2 (ja)
KR (1) KR102118411B1 (ja)
HK (1) HK1207919A1 (ja)
WO (1) WO2013166439A1 (ja)

Families Citing this family (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100904533B1 (ko) * 2008-01-11 2009-06-25 엘지전자 주식회사 전송 타이밍 조절 방법, 연속적인 패킷 전송 방법 및 이동통신 단말
JP5375400B2 (ja) * 2009-07-22 2013-12-25 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
US9116226B2 (en) * 2010-10-07 2015-08-25 Siemens Medical Solutions Usa, Inc. Ultrasound image performance determination
KR20120071851A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 통신 시스템에서 신호 도래 방향 추정 장치 및 방법
US9064497B2 (en) * 2012-02-22 2015-06-23 Htc Corporation Method and apparatus for audio intelligibility enhancement and computing apparatus
US9159313B2 (en) * 2012-04-03 2015-10-13 Sony Corporation Playback control apparatus, playback control method, and medium for playing a program including segments generated using speech synthesis and segments not generated using speech synthesis
EP2845191B1 (en) 2012-05-04 2019-03-13 Xmos Inc. Systems and methods for source signal separation
US10497381B2 (en) 2012-05-04 2019-12-03 Xmos Inc. Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
CN102752058B (zh) * 2012-06-16 2013-10-16 天地融科技股份有限公司 音频数据传输系统、音频数据传输装置及电子签名工具
US10371732B2 (en) * 2012-10-26 2019-08-06 Keysight Technologies, Inc. Method and system for performing real-time spectral analysis of non-stationary signal
US10204638B2 (en) * 2013-03-12 2019-02-12 Aaware, Inc. Integrated sensor-array processor
WO2014145960A2 (en) 2013-03-15 2014-09-18 Short Kevin M Method and system for generating advanced feature discrimination vectors for use in speech recognition
WO2014186534A1 (en) 2013-05-17 2014-11-20 Ninepoint Medical, Inc. Frequency-domain optical coherence tomography with extended field-of-view and reduction of aliasing artifacts
US9788128B2 (en) * 2013-06-14 2017-10-10 Gn Hearing A/S Hearing instrument with off-line speech messages
US9306722B2 (en) * 2013-07-02 2016-04-05 Cisco Technology, Inc. Tracking radar frequency enabling more channels
US10168305B2 (en) * 2013-10-17 2019-01-01 Battelle Memorial Institute Container screening system and method
JP6148163B2 (ja) * 2013-11-29 2017-06-14 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
US9429647B2 (en) * 2013-12-04 2016-08-30 Aruba Networks, Inc. Classifying wireless signals
US9319156B2 (en) * 2013-12-04 2016-04-19 Aruba Networks, Inc. Analyzing a particular wireless signal based on characteristics of other wireless signals
US10304221B2 (en) * 2014-01-31 2019-05-28 Intermountain Intellectual Asset Management, Llc Visualization techniques for disparate temporal population data
WO2015123658A1 (en) 2014-02-14 2015-08-20 Sonic Blocks, Inc. Modular quick-connect a/v system and methods thereof
CN106537502B (zh) * 2014-03-31 2019-10-15 索尼公司 用于生成音频内容的方法和装置
WO2015157458A1 (en) 2014-04-09 2015-10-15 Kaonyx Labs, LLC Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
RU2654789C2 (ru) * 2014-05-30 2018-05-22 Общество С Ограниченной Ответственностью "Яндекс" Способ (варианты) и электронное устройство (варианты) обработки речевого запроса пользователя
US9769858B2 (en) 2014-05-30 2017-09-19 Apple Inc. Seamless connectivity between hearing aid and multiple devices
US9355640B2 (en) * 2014-06-04 2016-05-31 Google Inc. Invoking action responsive to co-presence determination
EP3153880B1 (en) * 2014-06-09 2021-12-01 Nec Corporation Target detection device
KR101641645B1 (ko) * 2014-06-11 2016-07-22 전자부품연구원 오디오 소스 분리 방법 및 이를 적용한 오디오 시스템
US20170142178A1 (en) * 2014-07-18 2017-05-18 Sony Semiconductor Solutions Corporation Server device, information processing method for server device, and program
US9525944B2 (en) * 2014-08-05 2016-12-20 The Boeing Company Apparatus and method for an active and programmable acoustic metamaterial
US10630306B2 (en) * 2014-09-10 2020-04-21 Advantest Corporation Method and system for spectral leakage removal in DAC testing
US9678015B2 (en) 2014-09-26 2017-06-13 Frito-Lay North America, Inc. Method for elemental analysis of a snack food product in a dynamic production line
US20160300583A1 (en) * 2014-10-29 2016-10-13 Mediatek Inc. Audio sample rate control method applied to audio front-end and related non-transitory machine readable medium
US9779752B2 (en) 2014-10-31 2017-10-03 At&T Intellectual Property I, L.P. Acoustic enhancement by leveraging metadata to mitigate the impact of noisy environments
JP6114249B2 (ja) * 2014-11-20 2017-04-12 ヤマハ株式会社 情報送信装置および情報送信方法
JP2016111472A (ja) * 2014-12-04 2016-06-20 株式会社リコー 画像形成装置、音声録音方法及び音声録音プログラム
CN105989851B (zh) 2015-02-15 2021-05-07 杜比实验室特许公司 音频源分离
US11187685B2 (en) * 2015-02-16 2021-11-30 Shimadzu Corporation Noise level estimation method, measurement data processing device, and program for processing measurement data
US9865278B2 (en) * 2015-03-10 2018-01-09 JVC Kenwood Corporation Audio signal processing device, audio signal processing method, and audio signal processing program
KR101658001B1 (ko) * 2015-03-18 2016-09-21 서강대학교산학협력단 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법
US10991362B2 (en) * 2015-03-18 2021-04-27 Industry-University Cooperation Foundation Sogang University Online target-speech extraction method based on auxiliary function for robust automatic speech recognition
US10657958B2 (en) * 2015-03-18 2020-05-19 Sogang University Research Foundation Online target-speech extraction method for robust automatic speech recognition
US11694707B2 (en) 2015-03-18 2023-07-04 Industry-University Cooperation Foundation Sogang University Online target-speech extraction method based on auxiliary function for robust automatic speech recognition
US9837100B2 (en) * 2015-05-05 2017-12-05 Getgo, Inc. Ambient sound rendering for online meetings
US10839309B2 (en) * 2015-06-04 2020-11-17 Accusonus, Inc. Data training in multi-sensor setups
GB2581032B (en) * 2015-06-22 2020-11-04 Time Machine Capital Ltd System and method for onset detection in a digital signal
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
NO347634B1 (en) * 2015-07-24 2024-02-05 Halliburton Energy Services Inc Frequency hopping sounder signal for channel mapping and equalizer initialization
JP6959917B2 (ja) * 2015-08-07 2021-11-05 シーラス ロジック インターナショナル セミコンダクター リミテッド 音響装置における再生管理のためのイベント検出
CN105245497B (zh) * 2015-08-31 2019-01-04 刘申宁 一种身份认证方法及装置
US9541537B1 (en) * 2015-09-24 2017-01-10 Frito-Lay North America, Inc. Quantitative texture measurement apparatus and method
US10969316B2 (en) 2015-09-24 2021-04-06 Frito-Lay North America, Inc. Quantitative in-situ texture measurement apparatus and method
US10070661B2 (en) 2015-09-24 2018-09-11 Frito-Lay North America, Inc. Feedback control of food texture system and method
US10598648B2 (en) 2015-09-24 2020-03-24 Frito-Lay North America, Inc. Quantitative texture measurement apparatus and method
US11243190B2 (en) 2015-09-24 2022-02-08 Frito-Lay North America, Inc. Quantitative liquid texture measurement method
US10107785B2 (en) 2015-09-24 2018-10-23 Frito-Lay North America, Inc. Quantitative liquid texture measurement apparatus and method
US9674808B1 (en) * 2015-10-21 2017-06-06 Mbit Wireless, Inc. Method and apparatus for early frequency synchronization in LTE wireless communication systems
US10037750B2 (en) * 2016-02-17 2018-07-31 RMXHTZ, Inc. Systems and methods for analyzing components of audio tracks
WO2017155968A1 (en) * 2016-03-07 2017-09-14 3M Innovative Properties Company Intelligent safety monitoring and analytics system for personal protective equipment
US10318813B1 (en) * 2016-03-11 2019-06-11 Gracenote, Inc. Digital video fingerprinting using motion segmentation
US9846228B2 (en) 2016-04-07 2017-12-19 Uhnder, Inc. Software defined automotive radar systems
US10261179B2 (en) 2016-04-07 2019-04-16 Uhnder, Inc. Software defined automotive radar
US9689967B1 (en) 2016-04-07 2017-06-27 Uhnder, Inc. Adaptive transmission and interference cancellation for MIMO radar
TWI577966B (zh) * 2016-04-11 2017-04-11 財團法人國家實驗研究院 複合式水文監測系統
US9791564B1 (en) 2016-04-25 2017-10-17 Uhnder, Inc. Adaptive filtering for FMCW interference mitigation in PMCW radar systems
US10573959B2 (en) 2016-04-25 2020-02-25 Uhnder, Inc. Vehicle radar system using shaped antenna patterns
US9772397B1 (en) 2016-04-25 2017-09-26 Uhnder, Inc. PMCW-PMCW interference mitigation
US9806914B1 (en) 2016-04-25 2017-10-31 Uhnder, Inc. Successive signal interference mitigation
WO2017187243A1 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Vehicular radar sensing system utilizing high rate true random number generator
US9599702B1 (en) 2016-04-25 2017-03-21 Uhnder, Inc. On-demand multi-scan micro doppler for vehicle
US9791551B1 (en) 2016-04-25 2017-10-17 Uhnder, Inc. Vehicular radar system with self-interference cancellation
US9954955B2 (en) 2016-04-25 2018-04-24 Uhnder, Inc. Vehicle radar system with a shared radar and communication system
WO2017187304A2 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Digital frequency modulated continuous wave radar using handcrafted constant envelope modulation
US9869752B1 (en) 2016-04-25 2018-01-16 Ocean Acoustical Services And Instrumentation Systems, Inc. System and method for autonomous joint detection-classification and tracking of acoustic signals of interest
EP3239981B1 (en) * 2016-04-26 2018-12-12 Nokia Technologies Oy Methods, apparatuses and computer programs relating to modification of a characteristic associated with a separated audio signal
IL245366A0 (en) * 2016-05-01 2016-08-31 Technion Res & Dev Foundation A multi-input and multi-output radar system (mimo) and a method for using it
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US11327475B2 (en) 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US11366455B2 (en) 2016-05-09 2022-06-21 Strong Force Iot Portfolio 2016, Llc Methods and systems for optimization of data collection and storage using 3rd party data from a data marketplace in an industrial internet of things environment
US11373672B2 (en) 2016-06-14 2022-06-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
US11237546B2 (en) 2016-06-15 2022-02-01 Strong Force loT Portfolio 2016, LLC Method and system of modifying a data collection trajectory for vehicles
US10817719B2 (en) * 2016-06-16 2020-10-27 Nec Corporation Signal processing device, signal processing method, and computer-readable recording medium
US9753121B1 (en) 2016-06-20 2017-09-05 Uhnder, Inc. Power control for improved near-far performance of radar systems
US10598783B2 (en) 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
US9949020B1 (en) 2016-08-12 2018-04-17 Ocean Acoustical Services and Instrumentation System System and method for including soundscapes in online mapping utilities
JP6672114B2 (ja) * 2016-09-13 2020-03-25 本田技研工業株式会社 会話メンバー最適化装置、会話メンバー最適化方法およびプログラム
WO2018051288A1 (en) 2016-09-16 2018-03-22 Uhnder, Inc. Virtual radar configuration for 2d array
US10783430B2 (en) 2016-09-26 2020-09-22 The Boeing Company Signal removal to examine a spectrum of another signal
US10191506B2 (en) * 2016-09-29 2019-01-29 Enel X North America, Inc. Demand response dispatch prediction system including automated validation, estimation, and editing rules configuration engine
US10445312B1 (en) * 2016-10-14 2019-10-15 Google Llc Systems and methods for extracting signal differences from sparse data sets
US10429817B2 (en) * 2016-12-19 2019-10-01 Honeywell International Inc. Voice control of components of a facility
US10726835B2 (en) * 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
US10297255B2 (en) 2017-01-23 2019-05-21 Bank Of America Corporation Data processing system with machine learning engine to provide automated collaboration assistance functions
US10972297B2 (en) 2017-01-23 2021-04-06 Bank Of America Corporation Data processing system with machine learning engine to provide automated collaboration assistance functions
IL250253B (en) 2017-01-24 2021-10-31 Arbe Robotics Ltd A method for separating targets and echoes from noise, in radar signals
CA3052082A1 (en) * 2017-02-06 2018-08-09 The University Of British Columbia Apparatus and method for monitoring loss of soil cover
US11454697B2 (en) 2017-02-10 2022-09-27 Uhnder, Inc. Increasing performance of a receive pipeline of a radar with memory optimization
WO2018146634A1 (en) 2017-02-10 2018-08-16 Uhnder, Inc. Increasing performance of a receive pipeline of a radar with memory optimization
WO2018146530A1 (en) 2017-02-10 2018-08-16 Uhnder, Inc. Reduced complexity fft-based correlation for automotive radar
US10304473B2 (en) * 2017-03-15 2019-05-28 Guardian Glass, LLC Speech privacy system and/or associated method
US10539397B2 (en) * 2017-04-12 2020-01-21 Wilcox Industries Corp. Modular underwater torpedo system
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
EP3634238B1 (en) * 2017-05-19 2021-03-03 Mayo Foundation for Medical Education and Research System and method for visualization of tissue microvasculature using ultrasound
KR101968158B1 (ko) * 2017-05-29 2019-08-13 주식회사 에스원 유효 신호 분리 장치 및 방법
US10627482B2 (en) * 2017-06-27 2020-04-21 Honeywell International Inc. Apparatus and method of quadrature detection using one mixer without oversampling in a receiver
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
EP3438978B1 (en) * 2017-08-02 2023-12-27 Rohde & Schwarz GmbH & Co. KG Signal assessment system and signal assessment method
US11397428B2 (en) 2017-08-02 2022-07-26 Strong Force Iot Portfolio 2016, Llc Self-organizing systems and methods for data collection
US10942196B2 (en) * 2017-08-14 2021-03-09 Google Llc Systems and methods of motion detection using dynamic thresholds and data filtering
US11125873B1 (en) * 2017-09-20 2021-09-21 Fortem Technologies, Inc. Using radar sensors for collision avoidance
US11079462B2 (en) * 2017-10-24 2021-08-03 International Business Machines Corporation Facilitation of efficient signal source location employing a coarse algorithm and high-resolution computation
WO2019082988A1 (ja) * 2017-10-25 2019-05-02 日本電気株式会社 生体認証装置、生体認証システム、生体認証方法、および記録媒体
US10921422B2 (en) * 2017-10-25 2021-02-16 The Boeing Company Below-noise after transmit (BAT) Chirp Radar
IL255982A (en) 2017-11-29 2018-01-31 Arbe Robotics Ltd Detection, mitigation and prevention of mutual interference between fixed water radars in vehicles
DE102017221576A1 (de) * 2017-11-30 2019-06-06 Robert Bosch Gmbh Verfahren zur Mittelung von pulsierenden Messgrößen
US10690773B2 (en) * 2017-12-07 2020-06-23 Velodyne Lidar, Inc. Systems and methods for efficient multi-return light detectors
US11105890B2 (en) 2017-12-14 2021-08-31 Uhnder, Inc. Frequency modulated signal cancellation in variable power mode for radar applications
CN109959934B (zh) * 2017-12-26 2023-02-17 中国船舶重工集团公司七五〇试验场 一种多波束高分辨探测水下沉埋目标的方法
EP3514554B1 (en) * 2018-01-19 2022-03-09 Socionext Inc. Evaluation circuitry
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
CN110149636B (zh) * 2018-02-13 2021-08-13 上海华为技术有限公司 信号接收方法、装置及设备
US10856755B2 (en) * 2018-03-06 2020-12-08 Ricoh Company, Ltd. Intelligent parameterization of time-frequency analysis of encephalography signals
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10158961B1 (en) 2018-03-29 2018-12-18 Cae Inc. Method and system for calibrating a sound signal in a playback audio system
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11002819B2 (en) 2018-04-24 2021-05-11 The Boeing Company Angular resolution of targets using separate radar receivers
DE102018206689A1 (de) * 2018-04-30 2019-10-31 Sivantos Pte. Ltd. Verfahren zur Rauschunterdrückung in einem Audiosignal
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
IL259190A (en) 2018-05-07 2018-06-28 Arbe Robotics Ltd System and method for frequency hopping MIMO FMCW imaging radar
US11013007B2 (en) * 2018-05-17 2021-05-18 Qualcomm Incorporated Early transmit beam switching
US10594530B2 (en) * 2018-05-29 2020-03-17 Qualcomm Incorporated Techniques for successive peak reduction crest factor reduction
CN108900259B (zh) * 2018-06-21 2020-04-10 厦门大学 一种基于多核处理器的在线水声通信算法测试装置
US10175350B1 (en) * 2018-06-28 2019-01-08 University Of South Florida Systems and methods for detecting buried objects
IL260696A (en) 2018-07-19 2019-01-31 Arbe Robotics Ltd Method and device for structured self-testing of radio frequencies in a radar system
IL260694A (en) 2018-07-19 2019-01-31 Arbe Robotics Ltd Method and device for two-stage signal processing in a radar system
IL260695A (en) 2018-07-19 2019-01-31 Arbe Robotics Ltd Method and device for eliminating waiting times in a radar system
CN108828509B (zh) * 2018-08-06 2022-01-11 电子科技大学 一种多平台多辐射源承载关系判定方法
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
IL261636A (en) 2018-09-05 2018-10-31 Arbe Robotics Ltd Deflected MIMO antenna array for vehicle imaging radars
US10784918B2 (en) 2018-09-14 2020-09-22 Discrete Partners, Inc Discrete spectrum transceiver
KR102128006B1 (ko) 2018-09-14 2020-06-29 국방과학연구소 능동 펄스 식별 장치 및 방법
JP7052877B2 (ja) * 2018-09-21 2022-04-12 日本電気株式会社 情報処理装置、情報処理方法、プログラム
RU2680735C1 (ru) * 2018-10-15 2019-02-26 Акционерное общество "Концерн "Созвездие" Способ разделения речи и пауз путем анализа значений фаз частотных составляющих шума и сигнала
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11474225B2 (en) 2018-11-09 2022-10-18 Uhnder, Inc. Pulse digital mimo radar system
US11017782B2 (en) 2018-11-14 2021-05-25 XMOS Ltd. Speaker classification
RU2688841C1 (ru) * 2018-12-07 2019-05-22 Федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет (СПбГУ)" Способ идентификации фракций термической разгонки нефти
US11121785B2 (en) 2019-01-10 2021-09-14 Exfo Inc. Detection and tracking of interferers in a RF spectrum with multi-lane processing
US10735109B1 (en) 2019-01-11 2020-08-04 Exfo Inc. Automated analysis of RF spectrum
WO2020157844A1 (ja) * 2019-01-30 2020-08-06 三菱電機株式会社 計測装置、計測方法及び計測プログラム
WO2020183392A1 (en) 2019-03-12 2020-09-17 Uhnder, Inc. Method and apparatus for mitigation of low frequency noise in radar systems
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
CN110400575A (zh) * 2019-07-24 2019-11-01 腾讯科技(深圳)有限公司 通道间特征提取方法、音频分离方法和装置、计算设备
US20220319526A1 (en) * 2019-08-30 2022-10-06 Dolby Laboratories Licensing Corporation Channel identification of multi-channel audio signals
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
CN110609263B (zh) * 2019-10-29 2022-11-04 电子科技大学 一种同时计算脉冲激光雷达目标回波时延和频偏的方法
CN111210815B (zh) * 2019-11-28 2023-01-06 赵铭 一种用于语音命令词识别的深度神经网络构建方法和识别方法及装置
US11540234B2 (en) 2019-12-05 2022-12-27 Exfo Inc. Automated narrow peak interference severity estimation
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
CN111134637B (zh) * 2019-12-06 2023-04-07 深圳绿米联创科技有限公司 信号处理方法、装置、电子设备及存储介质
IL271269A (en) 2019-12-09 2021-06-30 Arbe Robotics Ltd Radom for a planar antenna for car radar
CN111308426B (zh) * 2019-12-10 2023-09-29 哈尔滨工程大学 一种适用于单天线接收机的低信噪比周期调频信号检测与分离方法
US11899126B2 (en) 2020-01-13 2024-02-13 Uhnder, Inc. Method and system for multi-chip operation of radar systems
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN111610512B (zh) * 2020-06-01 2022-08-09 桂林电子科技大学 一种基于稀疏贝叶斯学习的频控阵雷达离网目标定位方法
CN111766583B (zh) * 2020-07-28 2022-04-22 哈尔滨工业大学 一种基于实测数据的人体安检仪成像方法
CN112232369B (zh) * 2020-09-16 2022-10-28 南京理工大学 基于卷积神经网络的抗箔条干扰方法
US11323176B2 (en) * 2020-10-01 2022-05-03 Viavi Solutions Inc Modular cell site installation, testing, measurement, and maintenance tool
US11327158B1 (en) * 2020-10-19 2022-05-10 Aeva, Inc. Techniques to compensate for mirror Doppler spreading in coherent LiDAR systems using matched filtering
KR102492212B1 (ko) * 2020-10-19 2023-01-27 주식회사 딥히어링 음성 데이터의 품질 향상 방법, 및 이를 이용하는 장치
CN112557781A (zh) * 2020-10-21 2021-03-26 广东电网有限责任公司广州供电局 一种适用于校准器的宽频域信号测量方法
IL278587A (en) * 2020-11-09 2022-06-01 Arbe Robotics Ltd Estimating an efficient direction of arrival using a low degree approximation
CN112614484B (zh) * 2020-11-23 2022-05-20 北京百度网讯科技有限公司 特征信息挖掘方法、装置及电子设备
CN112319505B (zh) * 2020-11-26 2022-05-03 东风商用车有限公司 自动驾驶换道判断方法、装置、设备及存储介质
CN112731817B (zh) * 2020-12-22 2023-07-21 北京清雷科技有限公司 家电设备的控制设备及方法、移动通信设备
TWI774231B (zh) * 2021-02-05 2022-08-11 瑞昱半導體股份有限公司 聲音輸入輸出系統及噪音消除電路
CN113281707B (zh) * 2021-05-26 2022-10-21 上海电力大学 一种强噪声下基于加窗lasso的声源定位方法
CN113536223B (zh) * 2021-06-18 2023-07-25 中山大学 一种基于频域分解法的欠采样下结构模态识别方法及系统
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
IL285296B2 (en) * 2021-08-01 2023-09-01 Elbit Systems Ew And Sigint Elisra Ltd A system and method for separating and de-spacing radio signals
CN114136565B (zh) * 2021-10-22 2022-08-09 中南大学 一种多振源系统的故障诊断系统及方法
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
WO2023148955A1 (ja) * 2022-02-07 2023-08-10 日本電信電話株式会社 時間窓生成装置、方法及びプログラム
CN114966296B (zh) * 2022-08-01 2022-12-02 锦浪科技股份有限公司 一种振荡源定位方法及装置
CN115408887B (zh) * 2022-10-31 2023-01-10 交通运输部天津水运工程科学研究所 一种近海电厂取水卷吸机制数值模拟与评估方法
CN116593971A (zh) * 2023-07-13 2023-08-15 南京誉葆科技股份有限公司 一种瞬时频率特征的雷达信号调制识别方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4559605A (en) 1983-09-16 1985-12-17 The Boeing Company Method and apparatus for random array beamforming
US6535666B1 (en) * 1995-06-02 2003-03-18 Trw Inc. Method and apparatus for separating signals transmitted over a waveguide
ATE250801T1 (de) 1996-03-08 2003-10-15 Motorola Inc Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch
KR100341044B1 (ko) 1997-12-08 2002-07-13 다니구찌 이찌로오, 기타오카 다카시 음성 신호 가공 방법 및 음성 신호 가공 장치
US6381571B1 (en) * 1998-05-01 2002-04-30 Texas Instruments Incorporated Sequential determination of utterance log-spectral mean by maximum a posteriori probability estimation
US7082391B1 (en) 1998-07-14 2006-07-25 Intel Corporation Automatic speech recognition
US6253175B1 (en) 1998-11-30 2001-06-26 International Business Machines Corporation Wavelet-based energy binning cepstal features for automatic speech recognition
US6879952B2 (en) * 2000-04-26 2005-04-12 Microsoft Corporation Sound source separation using convolutional mixing and a priori sound source knowledge
JP3784640B2 (ja) 2000-12-01 2006-06-14 三菱電機株式会社 波源検出装置及び波源検出方法
US6950796B2 (en) 2001-11-05 2005-09-27 Motorola, Inc. Speech recognition by dynamical noise model adaptation
US7383178B2 (en) * 2002-12-11 2008-06-03 Softmax, Inc. System and method for speech processing using independent component analysis under stability constraints
GB0229473D0 (en) * 2002-12-18 2003-01-22 Qinetiq Ltd Signal separation system and method
KR100486736B1 (ko) * 2003-03-31 2005-05-03 삼성전자주식회사 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치
JP4496379B2 (ja) * 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
WO2005059830A1 (en) * 2003-12-19 2005-06-30 Creative Technology Ltd Method and system to process a digital image
US7729912B1 (en) 2003-12-23 2010-06-01 At&T Intellectual Property Ii, L.P. System and method for latency reduction for automatic speech recognition using partial multi-pass results
EP1718179A2 (en) 2004-01-16 2006-11-08 GHZ TR Corporation Methods and apparatus for automotive radar sensors
JP2005229453A (ja) 2004-02-16 2005-08-25 Motorola Inc 伝搬モデルをチューニングする方法および装置
US7454333B2 (en) * 2004-09-13 2008-11-18 Mitsubishi Electric Research Lab, Inc. Separating multiple audio signals recorded as a single mixed signal
WO2006128144A2 (en) 2005-05-26 2006-11-30 Groove Mobile, Inc. Systems and methods for high resolution signal analysis
US7457756B1 (en) 2005-06-09 2008-11-25 The United States Of America As Represented By The Director Of The National Security Agency Method of generating time-frequency signal representation preserving phase information
WO2007118583A1 (en) 2006-04-13 2007-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decorrelator
DE602006010323D1 (de) * 2006-04-13 2009-12-24 Fraunhofer Ges Forschung Audiosignaldekorrelator
US7787819B2 (en) 2006-08-25 2010-08-31 Space Systems / Loral, Inc. Ground-based beamforming for satellite communications systems
EP1926321A1 (en) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
US20080228470A1 (en) * 2007-02-21 2008-09-18 Atsuo Hiroe Signal separating device, signal separating method, and computer program
US20110035215A1 (en) 2007-08-28 2011-02-10 Haim Sompolinsky Method, device and system for speech recognition
JP5294603B2 (ja) * 2007-10-03 2013-09-18 日本電信電話株式会社 音響信号推定装置、音響信号合成装置、音響信号推定合成装置、音響信号推定方法、音響信号合成方法、音響信号推定合成方法、これらの方法を用いたプログラム、及び記録媒体
JP4599420B2 (ja) 2008-02-29 2010-12-15 株式会社東芝 特徴量抽出装置
JP5272920B2 (ja) 2009-06-23 2013-08-28 富士通株式会社 信号処理装置、信号処理方法、および信号処理プログラム
EP2681691A4 (en) * 2011-03-03 2015-06-03 Cypher Llc SYSTEM FOR AUTONOMOUS DETECTION AND SEPARATION OF COMMON ELEMENTS IN DATA, AND METHODS AND DEVICES RELATED THERETO
EP2845191B1 (en) 2012-05-04 2019-03-13 Xmos Inc. Systems and methods for source signal separation
US10497381B2 (en) 2012-05-04 2019-12-03 Xmos Inc. Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
US9514738B2 (en) 2012-11-13 2016-12-06 Yoichi Ando Method and device for recognizing speech
WO2014145960A2 (en) 2013-03-15 2014-09-18 Short Kevin M Method and system for generating advanced feature discrimination vectors for use in speech recognition
JP5941487B2 (ja) 2014-02-25 2016-06-29 住友ゴム工業株式会社 タイヤのパンク修理キット
WO2015157458A1 (en) 2014-04-09 2015-10-15 Kaonyx Labs, LLC Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation

Also Published As

Publication number Publication date
KR102118411B1 (ko) 2020-06-03
US20160071528A9 (en) 2016-03-10
US20140079248A1 (en) 2014-03-20
KR20150021508A (ko) 2015-03-02
EP2845191B1 (en) 2019-03-13
US9443535B2 (en) 2016-09-13
US20140316771A1 (en) 2014-10-23
US8694306B1 (en) 2014-04-08
JP2017102488A (ja) 2017-06-08
US9495975B2 (en) 2016-11-15
EP2845191A4 (en) 2016-04-13
US20140163991A1 (en) 2014-06-12
HK1207919A1 (en) 2016-02-12
JP2015524076A (ja) 2015-08-20
US10957336B2 (en) 2021-03-23
US20170004844A1 (en) 2017-01-05
WO2013166439A1 (en) 2013-11-07
JP6109927B2 (ja) 2017-04-05
EP2845191A1 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
JP6526083B2 (ja) 源信号分離のためのシステム及び方法
US10978088B2 (en) Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
JP6526049B2 (ja) 源信号分離における改良された測定、エンティティ及びパラメータ推定、及び経路伝播効果測定及び軽減のための方法及びシステム
JP2017516131A5 (ja)
JP4157581B2 (ja) 音声認識装置
US10735887B1 (en) Spatial audio array processing system and method
CN109597022A (zh) 声源方位角运算、定位目标音频的方法、装置和设备
Gao et al. Echowhisper: Exploring an acoustic-based silent speech interface for smartphone users
Choi et al. Active-beacon-based driver sound separation system for autonomous vehicle applications
EP3841569A1 (en) System and method for acoustic speaker localization
Sun et al. Indoor multiple sound source localization using a novel data selection scheme
TW201506915A (zh) 針對空間中多音源進行萃取出單一音源的方法及裝置
Habib et al. Auditory inspired methods for localization of multiple concurrent speakers
Rindel Evaluation of room acoustic qualities and defects by use of auralization
US20220086592A1 (en) Spatial audio array processing system and method
US20230230580A1 (en) Data augmentation system and method for multi-microphone systems
US20230230582A1 (en) Data augmentation system and method for multi-microphone systems
Dehghan Firoozabadi et al. Subband processing‐based approach for the localisation of two simultaneous speakers
JPWO2020066542A1 (ja) 音響オブジェクト抽出装置及び音響オブジェクト抽出方法
Vigeant et al. Differences in directional sound source behavior and perception between assorted computer room models
Habib Auditory inspired methods for multiple speaker localization and tracking using a circular microphone array

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170406

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190507

R150 Certificate of patent or registration of utility model

Ref document number: 6526083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250