JP4481729B2 - 2次元前方ネットワークに独立成分解析アルゴリズムを用いる音楽/音声分離装置及びその方法 - Google Patents

2次元前方ネットワークに独立成分解析アルゴリズムを用いる音楽/音声分離装置及びその方法 Download PDF

Info

Publication number
JP4481729B2
JP4481729B2 JP2004163722A JP2004163722A JP4481729B2 JP 4481729 B2 JP4481729 B2 JP 4481729B2 JP 2004163722 A JP2004163722 A JP 2004163722A JP 2004163722 A JP2004163722 A JP 2004163722A JP 4481729 B2 JP4481729 B2 JP 4481729B2
Authority
JP
Japan
Prior art keywords
signal
multiplication
multiplication coefficient
music
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004163722A
Other languages
English (en)
Other versions
JP2004361957A (ja
Inventor
趙南翊
崔▲峻▼源
具亨一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2004361957A publication Critical patent/JP2004361957A/ja
Application granted granted Critical
Publication of JP4481729B2 publication Critical patent/JP4481729B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/02Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/046Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for differentiation between music and non-music signals, based on the identification of musical parameters, e.g. based on tempo detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)

Description

本発明は、カラオケ機に係り、特に音響再生器から出力される信号から音声信号を除去する音楽/音声分離装置及びその方法に関する。
カラオケ機能を有するカラオケ機は歌の練習や余興の手段として一般的である。カラオケ機から出力される音楽に合わせて歌を歌う人は、それ自体を楽しんだり拍子に合わせて歌の演習をする。このようなカラオケ機は、通常一定のカラオケ曲を保存するメモリを用いて、ユーザが保存されたカラオケ曲のうち一曲を選択して再生させる。したがって、カラオケ機が再生できるカラオケ曲の数は、メモリの記憶容量によって制限され、カラオケ機の購入費用も非常に高い。
CD再生器、DVD再生器、カセットテープ再生器などがCD、DVD、オーディオカセットテープなどを再生させる時、音声(ボーカルパート)を除去して音楽(伴奏又は演奏)だけを出力させれば、容易にカラオケ機能が具現される。また、FMオーディオ放送出力で音声を除去して音楽のみ出力させる場合にも同様である。これにより、ユーザは自分の所有しているCD、DVD、オーディオカセットテープなどの再生やFMオーディオ放送から容易にカラオケ曲を選択することができる。
CD再生器、DVD再生器、カセットテープ再生器等で出力される音響信号やFMオーディオ放送から出力される音響信号には音楽信号と音声信号とが混合されている。このような混合された信号から音声信号だけを除去する技術はまだ十分ではない状態である。音楽信号と音声信号とが混合されている音響信号から音声信号だけを除去する一般的な方法では、音響信号を周波数領域に変換した後、音声信号が存在する特定帯域を除去する。この時、周波数領域への変換方法としては、FFT(Fast Fourier Transform)あるいは副帯域フィルタリング(subband filtering)のような方法がある。このような周波数変換方法で音声信号だけを除去する一例が、特許文献1に開示されている。
しかし、数kHzまでの周波数を有する音声信号の帯域には音楽信号成分も含まれているため、このような音声信号帯域を除去する場合音楽信号の一定部分も損失されるので、出力される音楽の音質が悪いという問題点がある。このような損失を減らすために音声信号のピッチ周波数を検出して、ピッチが存在する周波数部分を除去する方法がある。しかし、このような方法においても、音楽信号の影響によって音声信号のピッチを検出するのが容易でなく、検出されたピッチに対する信頼性も低下する問題点がある。
米国特許第5375188号明細書
本発明が解決しようとする技術的課題は、音楽信号と音声信号とが混合されている音響信号に対して、2次元前方ネットワークを構成し、センサーの録音位置差による信号の混合過程を推定する独立成分解析アルゴリズムを利用して相互独立的に録音されている音声信号と音楽信号とを短い収束収束時間の間に分離できる音楽/音声分離装置を提供することである。
本発明が解決しようとする他の技術的課題は、音楽信号と音声信号とが混合されている音響信号に対して、2次元前方ネットワークを構成し、センサーの録音位置差による信号の混合過程を推定する独立成分解析アルゴリズムを利用して相互独立的に録音されている音声信号と音楽信号とを短い収束時間の間に分離できる音楽/音声分離方法を提供することである。
前記技術的課題を達成するための本発明に係る音楽/音声分離装置は、独立成分解析部、音楽信号選択部、フィルタ部、及びマルチプレクサ部を備えることを特徴とする。前記独立成分解析部は、第1出力信号及び第2出力信号を入力されて現在の第1乗算係数、第2乗算係数、第3乗算係数、及び第4乗算係数を出力する。前記音楽信号選択部は、前記第2乗算係数の最上位ビット及び前記第3乗算係数の最上位ビットに応答してマルチプレクサ制御信号を出力する 。前記フィルタ部は、音響信号を構成するRチャンネル信号及びLチャンネル信号がそれぞれ入力され、前記第1出力信号及び前記第2出力信号を生成する。前記マルチプレクサは、前記マルチプレクサ制御信号の論理状態に対応して前記第1出力信号または前記第2出力信号を選択的に出力する。
前記マルチプレクサ制御信号を出力する段階は、前記第2乗算係数の最上位ビットの第2論理状態(論理ハイ状態)に対応して第1論理状態(論理ロー状態)を有し、前記第3乗算係数の最上位ビットの第2論理状態に対応して第2論理状態を有する前記マルチプレクサ制御信号を出力し、
前記第1出力信号及び前記第2出力信号を生成する段階は、音響信号を構成する前記Rチャンネル信号及び前記Lチャンネル信号を各々入力されて、前記Rチャンネル信号及び前記Lチャンネル信号を各々前記第1乗算係数及び前記第3乗算係数を乗じて生成した両信号を加算して前記第1出力信号を発生させ、前記Rチャンネル信号及び前記Lチャンネル信号の各々を前記第2乗算係数及び前記第4乗算係数を乗じて生成した両信号を加算して前記第2出力信号を発生させる。
前記フィルタ部は、前記Rチャンネル信号に前記第1乗算係数を乗算して出力する第1乗算器と、前記Rチャンネル信号に前記第2乗算係数を乗算して出力する第2乗算器と、前記Lチャンネル信号に前記第3乗算係数を乗算して出力する第3乗算器と、前記Lチャンネル信号に前記第4乗算係数を乗算して出力する第4乗算器と、前記第1乗算器の出力信号と前記第3乗算器の出力信号とを加算して前記第1出力信号を出力する第1加算器と、前記第2乗算器の出力信号と前記第4乗算器の出力信号とを加算して前記第2出力信号を出力する第2加算器とを含んでいる。
前記技術的課題を達成するための本発明に係る音楽/音声分離方法は、所定独立成分解析器で音楽信号及び音声信号を構成する第1出力信号及び第2出力信号を受信して現在の第1乗算係数、第2乗算係数、第3乗算係数、及び第4乗算係数を出力する段階と、前記第2乗算係数の最上位ビット及び前記第3乗算係数の最上位ビットに応答してマルチプレクサ制御信号を出力する段階と、音響信号を構成するRチャンネル信号及びLチャンネル信号をそれぞれ受信して、前記第1出力信号及び前記第2出力信号を生成する段階と、前記マルチプレクサ制御信号の論理状態に対応して前記第1出力信号または前記第2出力信号を選択的に出力する段階とを備え
前記技術的課題を達成するための本発明に係る音楽/音声分離方法は、所定独立成分解析器で音楽信号及び音声信号を構成する第1出力信号及び第2出力信号を受信して現在の第1乗算係数、第2乗算係数、第3乗算係数、及び第4乗算係数を出力する段階と、前記第2乗算係数の最上位ビット及び前記第3乗算係数の最上位ビットに応答してマルチプレクサ制御信号を出力する段階と、音響信号を構成するRチャンネル信号及びLチャンネル信号をそれぞれ受信して、前記第1出力信号及び前記第2出力信号を生成する段階と、前記マルチプレクサ制御信号の論理状態に対応して前記第1出力信号または前記第2出力信号を選択的に出力する段階とを備えることを特徴とする。
前記第1出力信号及び前記第2出力信号の生成段階は、前記Rチャンネル信号に前記第1乗算係数を乗算して第1乗算信号を出力する段階と、前記Rチャンネル信号に前記第2乗算係数を乗算して第2乗算信号を出力する段階と、前記Lチャンネル信号に前記第3乗算係数を乗算して第3乗算信号を出力する段階と、前記Lチャンネル信号に前記第4乗算係数を乗算して第4乗算信号を出力する段階と、前記第1乗算信号と前記第3乗算信号を加算して前記第1出力信号を出力する段階と、前記第2乗算信号と前記第4乗算信号を加算して前記第2出力信号を出力する段階とを備えることを特徴とする。
本発明に係る音楽/音声分離装置は、音楽信号と音声信号とが混合された音響信号に対して、2次元前方ネットワークの構成とセンサーの録音位置差による信号の混合過程を推定する独立成分解析アルゴリズムを利用して相互独立的に録音されている音声信号と音楽信号とを短い収束時間で分離できる。したがって、ユーザは自分の所有しているCD、DVD、オーディオカセットテープやFMオーディオ放送から容易にカラオケ曲を選択してリアルタイムで向上した音質の音楽が聞け、これによってその音楽自体を楽しんだり拍子に合わせて歌の演習ができる。また、このような音楽/音声分離装置における独立成分解析アルゴリズムは簡単であり、アルゴリズムの実行時間が短いため、DSP(digital signal processor)チップやマイクロプロセッサー等で容易に具現しうる。
本発明とその動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには本発明の望ましい実施形態を例示する添付図面及び添付図面に記載された内容を参照されたい。
以下、添付した図面に基づき、本発明の望ましい実施の形態を説明することにより本発明を詳細に説明する。各図面に示された同じ参照符号は同じ部材を示す。
図1は本発明の一実施の形態による音楽/音声分離装置100のブロック図である。
図1を参照すれば、本発明の一実施の形態による音楽/音声分離装置100は、独立成分解析部110、音楽信号選択部120、フィルタ部130、及びマルチプレクサ140を備える。
前記独立成分解析部110は、音楽信号及び音声信号で構成される出力信号MAS1、MAS2が入力されて独立成分解析アルゴリズムを利用して計算した現在の第1乗算係数W11、第2乗算係数W21、第3乗算係数W12、及び第4乗算係数W22を出力する。前記独立成分解析アルゴリズムは、複数のセンサーから取得して混合した音響信号から本来の音楽信号及び音声信号に分離する一つの方法であって、混合される前の信号が確率的に独立的であるという特性に着眼して、推定される音楽信号及び音声信号間の独立性が最大になるように混合音響信号から本来の信号にさらに復元させる方法である。このような独立成分解析アルゴリズムに対する具体的な説明は下記の通りである。
前記音楽信号選択部120は、前記第2乗算係数W21の最上位ビットの第2論理状態(論理ハイ状態)に対応して第1論理状態(論理ロー状態)を有し、前記第3乗算係数W12の最上位ビットの第2論理状態に対応して第2論理状態を有するマルチプレクサ制御信号を出力する。前記第2乗算係数W21及び前記第3乗算係数W12の最上位ビット(most significant bit:MSB)は正負を表す符号表示ビットであって、それが第2論理状態である場合、前記第2乗算係数W21または前記第3乗算係数W12は負の値を有する。この時、負の値を有する前記第2乗算係数Wn21または前記第3乗算係数W12の乗算で生成されたフィルタ部130の第1出力信号MAS1または第2出力信号MAS2が音楽信号と推定される信号である。これは経験的に得られた結果である。
前記フィルタ部130は、音響信号を構成するRチャンネル信号RAS及びLチャンネル信号LASを各々入力されて、前記Rチャンネル信号RAS及び前記Lチャンネル信号LASを各々第1乗算係数W11及び第3乗算係数W12で処理した両信号を加算して前記出力信号MAS1、MAS2のうち第1出力信号MAS1を発生させ、前記Rチャンネル信号RAS及び前記Lチャンネル信号LASの各々を第2乗算係数W21及び第4乗算係数W22で処理した2信号を加算して前記出力信号MAS1、MAS2のうち第2出力信号MAS2を発生させる。前記Rチャンネル信号RAS及び前記Lチャンネル信号LASのそれぞれは、CD再生器、DVD再生器、オーディオカセットテープ再生器、またはFMオーディオ放送受信機を含むオーディオシステムから出力されるステレオ形式の2チャンネルデジタル信号であって、これらは区別せずに交換できる。
前記マルチプレクサ140は、前記マルチプレクサ制御信号の論理状態に対応して前記第1出力信号MAS1または前記第2出力信号MAS2を選択的に出力する。例えば、前記第2乗算係数W21が負の値である場合、前記マルチプレクサ制御信号は第1論理状態であり、前記マルチプレクサ140は前記第2出力信号MAS2を出力する。また、前記第3乗算係数W12が負の値である場合、前記マルチプレクサ制御信号は第2論理状態であり、前記マルチプレクサ140は前記第1出力信号MAS1を出力する。前記マルチプレクサ140から出力される信号は、音声信号が除去されて音楽信号と推定された信号なので、スピーカーに出力される場合にユーザは音楽のみを聞ける。
前記フィルタ部130は、図1に示したように、第1乗算器131、第2乗算器133、第3乗算器135、第4乗算器137、第1加算器138、及び第2加算器139を備える。
前記第1乗算器131は、前記Rチャンネル信号RASに前記第1乗算係数W11を乗算して出力する。
前記第2乗算器133は、前記Rチャンネル信号RASに前記第2乗算係数W21を乗算して出力する。
前記第3乗算器135は、前記Lチャンネル信号LASに前記第3乗算係数W12を乗算して出力する。
前記第4乗算器137は、前記Lチャンネル信号LASに前記第4乗算係数W22を乗算して出力する。
前記第1加算器138は、前記第1乗算器131の出力信号と前記第3乗算器135の出力信号とを加算して前記出力信号MAS1、MAS2のうち第1出力信号MAS1を出力する。
前記第2加算器139は、前記第2乗算器133の出力信号と前記第4乗算器137の出力信号とを加算して前記出力信号MAS1、MAS2のうち第2出力信号MAS2を出力する。
以下、図1の独立成分解析部110で行われる独立成分解析アルゴリズム計算についてさらに詳細に説明する。
図2は独立成分解析アルゴリズム計算動作を説明するフローチャート200である。
図2を参照すれば、図1のように、2次元前方ネットワークで構成されたフィルタ部130に供給する4つの乗算係数W11、W21、W12、W22を調節する独立成分解析アルゴリズムの計算フローチャート200が示されている。この時の独立成分解析アルゴリズムは、下記式1のように、音楽信号及び音声信号で構成されるフィルタ部130の出力信号MAS1、MAS2からなる行列uを変数とする非線形関数tanh(u)の関係式で実現される。
=Wn−1+(I−2tanh(u)u)Wn−1 (1)
(ここで、Wnは現在の4つの乗算係数で構成された2次元行列、Wn−1は以前の4つの乗算係数で構成された2次元行列、Iは2次元単位行列、uは前記出力信号で構成された2次元カラム行列、uTはuを変換したロー行列である。)
式1において、Wが現在の4つの乗算係数W11、W21、W12、及びW22を有する2次元行列で表示された場合、式2の通りである。同様に、式1において、Wn−1が以前の4つの乗算係数Wn−111、Wn−121、Wn−112、及びWn−122を有する2次元行列で表示された場合、式3の通りである。Iは2次元単位行列であるので、式4の通りである。uは前記出力信号MAS1、MAS2で構成された2次元カラム行列であるので、式5の通りである。uはuをロー行列に変換させた行列で、式6の通りである。式2及び5により、図1の説明で記述された、現在の前記第1乗算係数W11、前記第2乗算係数W21、前記第3乗算係数 12、及び前記第4乗算係数W22の各々は、行列Wを構成する要素のW11、W21、W12、及びW22であり、前記出力信号MAS1、MAS2の前記第1出力信号MAS1及び前記第2出力信号MAS2の各々は行列uを構成する要素のu1及びu2であることがわかる。
Figure 0004481729
Figure 0004481729
Figure 0004481729
Figure 0004481729
Figure 0004481729
一方、図1の独立成分解析部110が前記独立成分解析アルゴリズムを行う過程は、まず、音楽/音声分離装置100がパワーオンになれば、装置をリセットし(S211)、リセット時に初期状態を認識して(例えばn=1)(S213)、初期値で設定されている4つの乗算係数W11、W21、W12、及びW22を受信する(S215)。また、独立成分解析部110は式1に含まれたIとuを受信する(S217)。
次に、独立成分解析部110は、式1を計算して(S219)、W11、W21、W12、及びW22を出力する(S221)。独立成分解析部110は、パワーオフにならない限り続けて(S223〜S225)、直前の4つの乗算係数Wn−111、Wn−121、Wn−112、及びWn−122から式1を計算して(S219)、現在の4つの乗算係数W11、W21、W12、及びW22を出力する(S221)。
このような独立成分解析アルゴリズムは短い収束時間に行われる。したがって、多様なオーディオシステムに図1のような音楽/音声分離装置100を装着し、前述のように独立成分解析アルゴリズムを通じて推定された音楽信号だけをスピーカーに出力させる場合に、ユーザはリアルタイムで向上した音質の音楽を聞ける。
前述したように、本発明の一実施の形態による音楽/音声分離装置100は、音楽信号及び音声信号で構成される出力信号MAS1、MAS2を入力されて独立成分解析アルゴリズムを利用して計算した現在の第1乗算係数W11、第2乗算係数W21、第3乗算係数 12、及び第4乗算係数W22を出力する独立成分解析部110を備え、前記第1乗算係数W11、前記第2乗算係数W21、前記第3乗算係数W12、及び前記第4乗算係数W22によって入力される音響信号を処理することにより、音楽信号と音声信号とを推定し、音声信号を除去した音楽信号だけを抽出できる。
以上のように、図面と明細書から最適な実施形態が開示された。ここで特定の用語が使われたが、これは単に本発明を具体的に説明するための目的として使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他の実施形態が可能であることは理解できる。したがって、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想により決定されるべきである。
本発明に係る音楽/音声分離装置及びその方法はカラオケに使われる。
本発明の一実施の形態による音楽/音声分離装置のブロック図である。 独立成分解析アルゴリズム計算動作を説明するフローチャートである。
符号の説明
100 音楽/音声分離装置
110 独立成分解析部
120 音楽信号選択部
130 フィルタ部
140 マルチプレクサ
131、133、135、137 第1〜4乗算器
138、139 第1及び2加算器

Claims (14)

  1. 第1出力信号及び第2出力信号が入力されて現在の第1乗算係数、第2乗算係数、第3乗算係数、及び第4乗算係数を出力する独立成分解析部と、
    前記第2乗算係数の最上位ビット及び前記第3乗算係数の最上位ビットに応答してマルチプレクサ制御信号を出力する音楽信号選択部と、
    音響信号を構成するRチャンネル信号及びLチャンネル信号がそれぞれ入力され、前記第1出力信号及び前記第2出力信号を生成するフィルタ部と、
    前記マルチプレクサ制御信号の論理状態に対応して前記第1出力信号または前記第2出力信号を選択的に出力するマルチプレクサと、を備え、
    前記音楽信号選択部は、前記第2乗算係数の最上位ビットの第2論理状態(論理ハイ状態)に対応して第1論理状態(論理ロー状態)を有し、前記第3乗算係数の最上位ビットの第2論理状態に対応して第2論理状態を有する前記マルチプレクサ制御信号を出力し、
    前記フィルタ部は、音響信号を構成する前記Rチャンネル信号及び前記Lチャンネル信号を各々入力されて、前記Rチャンネル信号及び前記Lチャンネル信号を各々前記第1乗算係数及び前記第3乗算係数を乗じて生成した両信号を加算して前記第1出力信号を発生させ、前記Rチャンネル信号及び前記Lチャンネル信号の各々を前記第2乗算係数及び前記第4乗算係数を乗じて生成した両信号を加算して前記第2出力信号を発生させることを特徴とする音楽/音声分離装置。
  2. 前記フィルタ部は、
    前記Rチャンネル信号に前記第1乗算係数を乗算して出力する第1乗算器と、
    前記Rチャンネル信号に前記第2乗算係数を乗算して出力する第2乗算器と、
    前記Lチャンネル信号に前記第3乗算係数を乗算して出力する第3乗算器と、
    前記Lチャンネル信号に前記第4乗算係数を乗算して出力する第4乗算器と、
    前記第1乗算器の出力信号と前記第3乗算器の出力信号とを加算して前記第1出力信号を出力する第1加算器と、
    前記第2乗算器の出力信号と前記第4乗算器の出力信号とを加算して前記第2出力信号を出力する第2加算器と、を備えることを特徴とする請求項1に記載の音楽/音声分離装置。
  3. 前記独立成分解析部は、
    2次元行列を計算する数式
    =Wn−1+(I−2tanh(u)u)Wn−1
    (ここで、Wは現在の4つの乗算係数で構成された2次元行列、Wn−1は以前の4つの乗算係数で構成された2次元行列、Iは2次元単位行列、uは前記第1出力信号及び前記第2出力信号で構成された2次元カラム行列、uはuを変換したロー行列)
    から現在の前記第1乗算係数、前記第2乗算係数、前記第3乗算係数、及び前記第4乗算係数を計算することを特徴とする請求項1に記載の音楽/音声分離装置。
  4. 現在の前記第1乗算係数、前記第2乗算係数、前記第3乗算係数、及び前記第4乗算係数は、
    それぞれ行列Wを構成する要素であるW11、W21、W12、及びW22であり、以前の前記第1乗算係数、前記第2乗算係数、前記第3乗算係数、及び前記第4乗算係数は、それぞれ行列Wn-1を構成する要素であるWn-111、Wn-121、Wn-112、及びWn-122であり、前記第1出力信号及び前記第2出力信号はそれぞれ行列uを構成する要素のu1及びu2であることを特徴とする請求項3に記載の音楽/音声分離装置。
  5. 前記Rチャンネル信号及び前記Lチャンネル信号のそれぞれは、
    区別せずに交換できることを特徴とする請求項1に記載の音楽/音声分離装置。
  6. 前記Rチャンネル信号及び前記Lチャンネル信号は、
    オーディオシステムから出力されるステレオ2チャンネルデジタル信号であることを特徴とする請求項1に記載の音楽/音声分離装置。
  7. 前記オーディオシステムは、
    CD再生器、DVD再生器、オーディオカセットテープ再生器、またはFMオーディオ放送受信機のうち何れか一つであることを特徴とする請求項6に記載の音楽/音声分離装置。
  8. 所定独立成分解析器で音楽信号及び音声信号を構成する第1出力信号及び第2出力信号を受信して現在の第1乗算係数、第2乗算係数、第3乗算係数、及び第4乗算係数を出力する段階と、
    前記第2乗算係数の最上位ビット及び前記第3乗算係数の最上位ビットに応答してマルチプレクサ制御信号を出力する段階と、
    音響信号を構成するRチャンネル信号及びLチャンネル信号を受信して、前記第1出力信号及び前記第2出力信号を生成する段階と、
    前記マルチプレクサ制御信号の論理状態に対応して前記第1出力信号または前記第2出力信号を選択的に出力する段階と、を備え、
    前記マルチプレクサ制御信号を出力する段階は、前記第2乗算係数の最上位ビットの第2論理状態(論理ハイ状態)に対応して第1論理状態(論理ロー状態)を有し、前記第3乗算係数の最上位ビットの第2論理状態に対応して第2論理状態を有する前記マルチプレクサ制御信号を出力し、
    前記第1出力信号及び前記第2出力信号を生成する段階は、音響信号を構成する前記Rチャンネル信号及び前記Lチャンネル信号を各々入力されて、前記Rチャンネル信号及び前記Lチャンネル信号を各々前記第1乗算係数及び前記第3乗算係数を乗じて生成した両信号を加算して前記第1出力信号を発生させ、前記Rチャンネル信号及び前記Lチャンネル信号の各々を前記第2乗算係数及び前記第4乗算係数を乗じて生成した両信号を加算して前記第2出力信号を発生させることを特徴とする音楽/音声分離方法。
  9. 前記第1出力信号及び前記第2出力信号生成段階は、
    前記Rチャンネル信号に前記第1乗算係数を乗算して第1乗算信号を出力する段階と、
    前記Rチャンネル信号に前記第2乗算係数を乗算して第2乗算信号を出力する段階と、
    前記Lチャンネル信号に前記第3乗算係数を乗算して第3乗算信号を出力する段階と、
    前記Lチャンネル信号に前記第4乗算係数を乗算して第4乗算信号を出力する段階と、
    前記第1乗算信号と前記第3乗算信号を加算して前記第1出力信号を出力する段階と、
    前記第2乗算信号と前記第4乗算信号を加算して前記第2出力信号を出力する段階と、を備えることを特徴とする請求項8に記載の音楽/音声分離方法。
  10. 前記独立成分解析器は、
    2次元行列を計算する数式
    =Wn−1+(I−2tanh(u)u)Wn−1
    (ここで、Wは現在の4つの乗算係数で構成された2次元行列、Wn−1は以前の4つの乗算係数で構成された2次元行列、Iは2次元単位行列、uは前記出力信号で構成された2次元カラム行列、uはuを変換したロー行列)
    から現在の前記第1乗算係数、前記第2乗算係数、前記第3乗算係数、及び前記第4乗算係数を計算することを特徴とする請求項8に記載の音楽/音声分離方法。
  11. 現在の前記第1乗算係数、前記第2乗算係数、前記第3乗算係数、及び前記第4乗算係数は、
    それぞれ行列Wを構成する要素であるW11、W21、W12、及びW22であり、以前の前記第1乗算係数、前記第2乗算係数、前記第3乗算係数、及び前記第4乗算係数は、それぞれ行列Wn-1を構成する要素であるWn-111、Wn-121、Wn-112、及びWn-122であり、前記第1出力信号及び前記第2出力信号はそれぞれ行列uを構成する要素のu1及びu2であることを特徴とする請求項10に記載の音楽/音声分離方法。
  12. 前記Rチャンネル信号及び前記Lチャンネル信号のそれぞれは、
    区別せずに交換できることを特徴とする請求項8に記載の音楽/音声分離方法。
  13. 前記Rチャンネル信号及び前記Lチャンネル信号は、
    オーディオシステムから出力されるステレオ2チャンネルデジタル信号であることを特徴とする請求項8に記載の音楽/音声分離方法。
  14. 前記オーディオシステムは、
    CD再生器、DVD再生器、オーディオカセットテープ再生器、またはFMオーディオ放送受信機のうち何れか一つであることを特徴とする請求項13に記載の音楽/音声分離方法。
JP2004163722A 2003-06-02 2004-06-01 2次元前方ネットワークに独立成分解析アルゴリズムを用いる音楽/音声分離装置及びその方法 Expired - Lifetime JP4481729B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030035304A KR100555499B1 (ko) 2003-06-02 2003-06-02 2차 전방향 네트워크에 독립 해석 알고리즘을 이용하는반주/보이스 분리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
JP2004361957A JP2004361957A (ja) 2004-12-24
JP4481729B2 true JP4481729B2 (ja) 2010-06-16

Family

ID=34056782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004163722A Expired - Lifetime JP4481729B2 (ja) 2003-06-02 2004-06-01 2次元前方ネットワークに独立成分解析アルゴリズムを用いる音楽/音声分離装置及びその方法

Country Status (5)

Country Link
US (1) US7122732B2 (ja)
JP (1) JP4481729B2 (ja)
KR (1) KR100555499B1 (ja)
CN (1) CN100587805C (ja)
TW (1) TWI287789B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409375B2 (en) * 2005-05-23 2008-08-05 Knowmtech, Llc Plasticity-induced self organizing nanotechnology for the extraction of independent components from a data stream
FI119133B (fi) * 2005-04-28 2008-07-31 Elekta Ab Menetelmä ja laite häiriön poistamiseksi sähkömagneettisesta monikanavamittauksesta
FR2891651B1 (fr) * 2005-10-05 2007-11-09 Sagem Comm Systeme de karaoke pour l'affichage du texte correspondant a la partie vocale d'un flux audiovisuel sur un ecran d'un systeme audiovisuel
CN101345047B (zh) * 2007-07-12 2012-09-05 英业达股份有限公司 人声自动校正的混音系统及其混音方法
US7928307B2 (en) * 2008-11-03 2011-04-19 Qnx Software Systems Co. Karaoke system
CN101577117B (zh) * 2009-03-12 2012-04-11 无锡中星微电子有限公司 伴奏音乐提取方法及装置
KR101615262B1 (ko) 2009-08-12 2016-04-26 삼성전자주식회사 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
CN104134444B (zh) * 2014-07-11 2017-03-15 福建星网视易信息系统有限公司 一种基于mmse的歌曲去伴奏方法和装置
CN104269174B (zh) * 2014-10-24 2018-02-09 北京音之邦文化科技有限公司 一种音频信号的处理方法及装置
CN105869617A (zh) * 2016-03-25 2016-08-17 北京海尔集成电路设计有限公司 一种基于中国数字音频广播的卡拉ok装置
CN110232931B (zh) * 2019-06-18 2022-03-22 广州酷狗计算机科技有限公司 音频信号的处理方法、装置、计算设备及存储介质
US11501752B2 (en) 2021-01-20 2022-11-15 International Business Machines Corporation Enhanced reproduction of speech on a computing system

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3204034A (en) * 1962-04-26 1965-08-31 Arthur H Ballard Orthogonal polynomial multiplex transmission systems
US4587620A (en) * 1981-05-09 1986-05-06 Nippon Gakki Seizo Kabushiki Kaisha Noise elimination device
US5210366A (en) * 1991-06-10 1993-05-11 Sykes Jr Richard O Method and device for detecting and separating voices in a complex musical composition
US5340317A (en) * 1991-07-09 1994-08-23 Freeman Michael J Real-time interactive conversational apparatus
US5353376A (en) * 1992-03-20 1994-10-04 Texas Instruments Incorporated System and method for improved speech acquisition for hands-free voice telecommunication in a noisy environment
US5377302A (en) * 1992-09-01 1994-12-27 Monowave Corporation L.P. System for recognizing speech
US5649234A (en) * 1994-07-07 1997-07-15 Time Warner Interactive Group, Inc. Method and apparatus for encoding graphical cues on a compact disc synchronized with the lyrics of a song to be played back
JP2882364B2 (ja) * 1996-06-14 1999-04-12 日本電気株式会社 雑音消去方法及び雑音消去装置
JP3496411B2 (ja) * 1996-10-30 2004-02-09 ソニー株式会社 情報符号化方法及び復号化装置
KR100231449B1 (ko) 1996-11-29 1999-11-15 전주범 오디오신호의 음성 및 배경음악 분리회로
JP3152292B2 (ja) * 1997-04-15 2001-04-03 日本電気株式会社 多チャネルエコー除去方法及び装置
US5898119A (en) * 1997-06-02 1999-04-27 Mitac, Inc. Method and apparatus for generating musical accompaniment signals, and method and device for generating a video output in a musical accompaniment apparatus
US6144937A (en) * 1997-07-23 2000-11-07 Texas Instruments Incorporated Noise suppression of speech by signal processing including applying a transform to time domain input sequences of digital signals representing audio information
JP3890692B2 (ja) * 1997-08-29 2007-03-07 ソニー株式会社 情報処理装置及び情報配信システム
US6038535A (en) * 1998-03-23 2000-03-14 Motorola, Inc. Speech classifier and method using delay elements
JP3351352B2 (ja) * 1998-09-24 2002-11-25 ヤマハ株式会社 映像切換装置
WO2000046789A1 (fr) * 1999-02-05 2000-08-10 Fujitsu Limited Detecteur de la presence d'un son et procede de detection de la presence et/ou de l'absence d'un son
CN1327572A (zh) * 1999-08-18 2001-12-19 索尼公司 音频信号的记录媒体和记录媒体的记录装置及再生装置
US7072833B2 (en) * 2000-06-02 2006-07-04 Canon Kabushiki Kaisha Speech processing system
US6985858B2 (en) * 2001-03-20 2006-01-10 Microsoft Corporation Method and apparatus for removing noise from feature vectors
KR100429896B1 (ko) * 2001-11-22 2004-05-03 한국전자통신연구원 잡음 환경에서의 음성신호 검출방법 및 그 장치

Also Published As

Publication number Publication date
JP2004361957A (ja) 2004-12-24
KR100555499B1 (ko) 2006-03-03
TW200514039A (en) 2005-04-16
KR20040103683A (ko) 2004-12-09
US7122732B2 (en) 2006-10-17
US20050056140A1 (en) 2005-03-17
CN1573920A (zh) 2005-02-02
TWI287789B (en) 2007-10-01
CN100587805C (zh) 2010-02-03

Similar Documents

Publication Publication Date Title
US5719344A (en) Method and system for karaoke scoring
CN101842834B (zh) 包括语音信号处理在内的生成多声道信号的设备和方法
US6405163B1 (en) Process for removing voice from stereo recordings
JP4481729B2 (ja) 2次元前方ネットワークに独立成分解析アルゴリズムを用いる音楽/音声分離装置及びその方法
JP2001518267A (ja) オーディオチャンネルミキシング
EP1964442B1 (en) Apparatus and method for synthesizing three output channels using two input channels
US20050286725A1 (en) Pseudo-stereo signal making apparatus
JP2010288262A (ja) 信号処理装置
KR100574942B1 (ko) 최소 자승 알고리즘을 이용하는 신호 분리 장치 및 그 방법
US7760886B2 (en) Apparatus and method for synthesizing three output channels using two input channels
JP3560087B2 (ja) 音信号処理装置およびサラウンド再生方法
JP5268581B2 (ja) 低域補完装置
JP2011035584A (ja) 音響装置、位相補正方法、位相補正プログラム及び記録媒体
US20080225680A1 (en) Data reproduction apparatus and data reproduction method
KR100667814B1 (ko) 전기 기타의 톤 및 이펙터 기능을 갖는 휴대용 오디오 재생장치
JPH05165398A (ja) カラオケ装置
JP5899865B2 (ja) 音響信号加工装置及びプログラム
JP2008060725A (ja) 音像定位強調再生方法、及びその装置とそのプログラムと、その記憶媒体
JP2000148165A (ja) カラオケ装置
JP2001085962A (ja) 音響機器におけるイコライザ設定装置
JPS59204400A (ja) 楽音分離装置
RU2384973C1 (ru) Устройство и способ синтезирования трех выходных каналов, используя два входных канала
JPH06130979A (ja) カラオケ装置
CN115942224A (zh) 声场扩展方法和系统、电子设备
Eisenberg et al. Granular Resynthesis for Sound Unmixing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070529

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080207

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091130

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4481729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250