JP3896400B2 - デジタル信号を記憶要素に記録する方法及びシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、通話内容（ｃａｌｌ）を圧縮した形で記憶要素に記憶させることのできる方法と、その方法を実現するシステムとに関する。
【０００２】
【従来の技術】
独立のテープレコーダー等を電話装置に接続してその装置での通話を記録することが知られている。その様な方法は、移動通信装置に使用する場合には、入りオーディオ信号及び送出オーディオ信号を結合させて１つのオーディオ信号としてテープレコーダーに記録させるミクサが、テープレコーダーの他に必要になるので、やっかいである。更に、ＧＳＭシステム等のデジタル移動通信システムでは、オーディオ信号を記録する前にデジタルフォーマットからアナログフォーマットに変換しなければならないので、記録されるべきオーディオ信号のノイズレベルが高くなる。この様な通話記録方法は数個の別々の装置を必要とし、高価であり、実用的ではない。
【０００３】
一度に１通話方向の音をデジタルフォーマットで移動通信装置のメモリに記録することが知られている。その様なシステムがフィンランド特許公報第９１４５７号と、対応イギリス特許公報ＧＢ２２５４９８６号とに開示されている。この特許公報は、音声を絶え間なしに記録する方法を開示している。その方法では、音声は始めにＡ／Ｄ変換器によってデジタルフォーマットに変換され、フレームに符号化される。音声を含むフレームは、音声活性検出器（ｖｏｉｃｅ ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｏｒ）が音声の絶え間（ポーズ）を検出するまでメモリに記録される。ポーズスタートマークとそのポーズの長さとが、次の音声フレームが記録される前にメモリに記録される。この様な方法によると、オーディオ信号はポーズ時には記録されないので、音声を非常に効率よく記録することができる。音声を再生するとき、記録されたフレームが再生手段に送られ、ポーズマークが現れるとシステムは次のフレームを送る前に、記録されたポーズ長さ情報に対応する時間にわたって待機する。前記特許公報に開示されている方法は、一度に１つの音源の音（例えば、自動電話応答機の応答メッセージ）を記録できるに過ぎないという欠点がある。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、通話の両当事者の音声をメモリ手段に記録する方法を提供することである。本発明の他の目的は、通話の当事者の音声を効率よく記憶媒体に記録し、記憶媒体の容量を節約する方法を提供することである。本発明の更なる目的は、上記の目的を実現するために僅かな計算能力を必要とするに過ぎない方法を提供することである。
【０００５】
【課題を解決するための手段】
これらの目的は、１つ又はそれ以上あってもよい音声活性検出器が音声を検出するときのみオーディオ信号で形成される各フレームを記録し、前記の１つ又はそれ以上の音声活性検出器が音声を検出するときにのみ２つ又はそれ以上の音源からの信号で形成される各フレーム同士を結合させてその合成信号を表す各フレームを記録することによって、達成される。
【０００６】
本発明の方法は、独立の方法請求項の特徴部において特定されていることを特徴とする。本発明は、更に、独立のシステム請求項の特徴部において特定されていることを特徴とするシステムにも向けられている。各従属請求項は更に本発明の更に有利な実施例を記述している。
【０００７】
本発明のシステムでは、オーディオ信号中に音声が検出されるときに限ってそのオーディオ信号の各サンプルが記録される。本発明のシステムは、少なくとも１つのオーディオ信号の各サンプルで音声が検出されるときにオーディオ信号の各サンプル同士を結合させることによって、記録に必要なメモリ容量を節約する。本発明は、また２つ以上のオーディオ信号の各サンプルに音声が検出されるときだけ信号結合即ち混合（ミキシング）を実行するので、必要な平均計算能力及び電力消費量をも少なくするものである。
【０００８】
添付図面とともに好ましい実施例を参照して本発明を詳しく説明する。
【０００９】
【発明の実施の形態】
本発明の好ましい実施例の方法ではオーディオ信号はある長さの各サンプル内に記録される。記録されるべき各サンプルは、送信されるオーディオ信号及び受信されるオーディオ信号のための音声活性検出器の出力に応じて形成される。受信された信号と送信される信号との両方に音声が検出されるならば、該サンプルは、例えば加算（ｓｕｍｍｉｎｇ）により作られるこれらの信号の結合（ｃｏｍｂｉｎａｔｉｏｎ）で形成される。もし音声が一方の信号にのみ検出されるならば、該サンプルはその信号のみで形成される。或いは、この場合にも各サンプル同士を結合させ、無音の信号のサンプルをゼロサンプルと、即ち無音に対応する１個又はそれ以上のゼロ又は他の値を含むサンプルと、置き換えることができる。もしそれらの信号のいずれにも音声が検出されなければ、それらの信号のいずれも記録されない。そのとき無音期間のスタートマークがメモリ手段に記録され、その無音期間の長さが測定され、無音状態が終わったとき、無音長情報が記録される。
【００１０】
この特許出願では、“音声（ｖｏｉｃｅ）”という用語は、音声の通常の定義に加えて、暗騒音（ｂａｃｋｇｒｏｕｎｄ ｎｏｉｓｅ）を除いて、オーディオ信号に現れる可能性のあるあらゆる種類の音をも意味する。
【００１１】
図１は本発明のシステムの１実施例の動作のフローチャートを示す。この例は、２者間での普通の通話（ｃａｌｌ）の記録を示す。ユーザーは、例えば、移動電話のボタンを押し或いは他の公知の方法で記録開始コマンドを発することによって通話記録を開始する（１００）。次に、システムは入りオーディオ信号のサンプルと、ユーザーが話す送出オーディオ信号のサンプルとを得る（１０１）。次いでシステムはユーザーが、例えば、一定のボタンを押し或いは他の公知の方法を使用することによって記録停止コマンドを発したか否かをチェックする（１０２）。通常、記録の始まりの時にはそうではないので、システムは次に両方のオーディオ信号の音声活性検出器（ｖｏｉｃｅ ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｏｒ）の出力の値をチェックする（１０３）。もし信号が音声を含んでいることを両方の検出器が示すならば、システムは、受信された入りオーディオ信号のサンプルとユーザーが話した送出オーディオ信号のサンプルとの両方に基づいて記憶要素に送られるべきサンプルを作成する（１１０）。本発明の方法では、従来技術の如何なる方法を使用して２つの信号サンプルを結合させることも可能であり、本発明は特定の結合方法の使用には限定されない。このようにして作成されたサンプルは、必要な記録用メモリを減少させるために符号化され（１１３）、そして記憶要素に送られ（１１５）、その後にステップ１０１に戻る。本発明の方法はＡ法則符号化（A-law coding）を使用することができる。しかし、本発明はＡ法則符号化の使用に限定されるものではなく、本発明の方法及びシステムは、例えばＧＳＭシステムで使用されている方法などの、従来技術の他の符号化及び圧縮方法も使用することができる。ＧＳＭシステムで使用される符号化方法及びＧＳＭシステムのアーキテクチャは例えば下記の文献で解説されている：
"The GSM System for Mobile Communications （移動通信用のＧＳＭシステム）" by Michel Mouly and Marie-Bernadette Pautet, published by the authors, ISBN 2-9507190-0-7, Palaiseau 1992, 701pp.
【００１２】
もしステップ１０３で両方の検出器が音声を検出しなければ、システムは次に入りオーディオ信号の音声活性検出器が音声を検出するか否かをチェックする（１０４）。もし入り信号で音声が検出されれば、入りオーディオ信号のサンプルが記録されるべきサンプルとしてセットされる（１１１）。記録されるべきサンプルはＡ法則符号器で符号化され（１１３）、そして記憶要素に送られ（１１５）、その後にステップ１０１に戻る。
【００１３】
もしステップ１０４で入りオーディオ信号の音声活性検出器が音声を検出しなかったならば、システムは次に送出オーディオ信号の音声活性検出器が音声を検出するか否かをチェックする（１０５）。もし送出信号で音声が検出されれば、送出音声サンプルが記録されるべきサンプルとしてセットされる（１１２）。記録されるべきサンプルはＡ法則符号器で符号化され（１１３）、そして記憶要素に送られ（１１５）、その後にステップ１０１に戻る。
【００１４】
もしステップ１０５で送出オーディオ信号の音声活性検出器が音声を検出しなかったならば、無音スタートマークが記憶要素に送られる（１０６）。次に、システムは入りオーディオ信号のサンプルとユーザーが話した送出オーディオ信号のサンプルとを得て（１０７）、そして無音の長さを測定するカウンタの値を１だけインクリメントする（１１６）。もしステップ１０７で取り出されたサンプルに音声が検出されなければ、システムはステップ１０７に戻って次のサンプルを取り出す。少なくとも１つのオーディオ信号のサンプルに音声が検出されるまで各ステップ１０７、１１６及び１０８が反復され、その後にシステムは無音の長さを記憶要素に記録し（１０９）、無音の長さを測定するカウンタをリセットし（明確にするためにこのステップは図１には示されていない）、ステップ１０２に戻る。
【００１５】
ユーザーが記録停止コマンドを発し、記録用に留保されているメモリが使い尽くされ、通話が切られ、接続が切断され、或いは例えば記録のために設定されている所定のタイムリミットに達するまで、上記の処理手順（シーケンス）が反復される。
【００１６】
前の例では、何らかの理由で接続が切れたり、或いは相手又はユーザーが通話を打ち切ったときに記録が終了される。けれども、これは本発明を限定することを意図したものではない。本発明の他の有利な実施例では、その様な事象の後も、ユーザーが例えば移動通信手段のキーパッドなどのユーザーインターフェースを介して対応するコマンドを発することによって記録を終了させるまでは、記録が続けられる。この実施例では、切られた或いは接続が切断された通話は相手の沈黙と同様に好ましく記録に影響を及ぼす。例えば、ユーザーの音声信号のみが記録され、或いはユーザーの音声信号が無音に対応する信号と混合（ミックス）される。この実施例には、通話が切れた後にユーザーが最後のコメントを記録に付け加えることができるという利点がある。
【００１７】
システムは、有利にはステップ１１６で、カウンタの値が実施例の構成に依存する一定の限度を超えていないことをチェックする。例えば、ＧＳＭ移動局では、オーディオ信号は１３ビットで表されるので、ステップ１１３でのＡ法則符号化の後、記憶要素に記録されるべく符号化されたサンプルを、記憶要素のワードに有利な長さである８ビットで表すことができる。また無音の長さのためのカウンタも８ビットの要素であるのが有利であり、その場合にはその要素は最大で２５５個の無音サンプルをカウントすることができる。カウンタが最大値に達すると、システムは例えば、記憶要素にカウンタの最大値と新しい無音スタートマークとを送ってカウンタをリセットして始めからカウントを開始させることができる。
【００１８】
ステップ１１３において、Ａ法則符号化の代わりに、例えばμ法則符号化（μ-law coding）、適応差動パルス符号変調（ＡＤＰＣＭ）或いはＧＳＭＦＲ符号化などの、他の公知の信号圧縮方法を使用することができる。ステップ１１３で使用される符号化要素は、例えば、移動局で無線経路に送られるオーディオ信号を符号化するために使用される符号化要素、或いは記録用に特別に設計された独立の符号化要素であることができる。
【００１９】
図２は、例えばＧＳＭ移動局で使用することのできる本発明の好ましい実施例のブロック図である。受信部２００は入り伝送信号を受信し、ＧＳＭ基地局信号の各フレームに含まれているオーディオ信号を１３ビットのデジタルサンプルに変換し、これらのサンプルは入りオーディオ信号の音声活性検出器２０６とデジタル信号処理装置（ＤＳＰ）２１０とに送られる。移動局のユーザーがマイクロホン２０２に向かって話した音声はＡ／Ｄ変換器２０４でデジタルサンプルに変換され、送出オーディオ信号の音声活性検出器２０８とデジタル信号処理装置２１０とに送られる。各検出器２０６、２０８の出力側は機能的にデジタル信号処理装置２１０に接続されている。図１に示されているフローチャートのいろいろなブロックは、デジタル信号処理装置２１０においてプログラムとして実現されることができる。デジタル信号処理装置２１０は、入りオーディオ信号の各サンプルから、送出オーディオ信号の各サンプルから、或いはその両方から、記録されるべき各サンプルを作成し、記録される各サンプルをＡ法則符号器２１４を介して記憶要素（メモリ要素）２１２に送る。デジタル信号処理装置２１０は、無音ポーズの長さも計算し、無音ポーズ・スタートマークと測定された長さとを符号器２１４で符号化せずに記憶要素２１２に送る（２１６）。図を明確にするために、図２は、移動通信手段の、本発明の実施例を説明するために必要な部分だけを示している。
【００２０】
図２に示されている例では、２つの入りオーディオ信号が２つの別々の音声活性検出器２０６、２０８によって監視される。記録されるべきオーディオ信号が３つ以上あってもよい。また、音声活性検出器或いはそれと同等のオーディオ信号監視要素を２つ以上のオーディオ信号を監視するようにセットすることができる。その様な音声活性検出器又はそれと同等のオーディオ信号監視要素もデジタル信号処理装置２１０においてプログラムとして実現されることができる。一方、普通のデジタル信号処理装置２１０の代わりに、システムは、少なくとも１つのオーディオ信号監視要素によって制御されて、２つ以上のオーディオ信号に音声が検出されるときにはオーディオ信号の各サンプルを混合（ミックス）し、１つのオーディオ信号のみのサンプルに音声が検出されるときにはその１つのオーディオ信号の各サンプルだけをその出力にコピーするようになっている特別のミクサ要素２１０を備えてもよい。記録された通話の再生を同様に行うことができる。再生中、音声活性検出器は移動局のユーザーが話すか否かを監視することができる。もしユーザーが話せば、その音声信号はミクサ要素で再生される信号と混合される。もしユーザーが話さなければ、ミクサ要素は、再生される信号をその出力にコピーし、或るいは再生される信号をゼロ信号と、即ち無音に対応するゼロ又はその他の値を有する信号と、混合することができる。
【００２１】
例えば、符号化されたオーディオ信号サンプルを記憶要素２１２から取り出し、同時にそのサンプル内に無音スタートマークがあるか否かを監視するようにして、記録された通話の再生を行うこともできる。符号化されているオーディオ信号サンプルはＡ法則復号器で復号され、その後にそれらのサンプルは所望の信号入力に、例えばＡ／Ｄ変換器を介してスピーカー又は外付け増幅器システムに、或いは移動局の送信部を介して通話の相手方に、送られる。もしサンプルに無音スタートマークが該サンプル内で検出されたならば、無音長情報が記憶要素から読み出され、記憶要素２１２からの各サンプルの読み出しはその無音の持続時間の間中断される。
【００２２】
図３は、通話の２当事者の各音声が記録される場合の本発明の好ましい実施例の動作の状態図である。その動作を図３に示されるような４状態・状態図として表すことができる。図３の状態図を、例えば図２に示されている実施例の動作を描くために使用することができる。その各状態は下記の通りである：
３１ 移動局のユーザーが移動局に向かって話す、
３２ 無音、両当事者が沈黙している、
３３ 他方の当事者が話している、及び、
３４ 両当事者が話している。
【００２３】
状態３１では、移動局のユーザーだけが話していて、移動局のユーザーの音声の各サンプルが記憶要素に記録される。状態３２では、信号サンプルは全く記録されず、システムはポーズの長さを測定する。状態３３では、他方の当事者が話していて、他方の当事者の音声の各サンプルが記憶要素に記録される。状態３４では、両当事者が話していて、両当事者のオーディオ信号の各サンプルが結合され、その結合された各サンプルが記憶要素に記録される。
【００２４】
遷移３０１は、移動局のユーザーが話し始めるときに起こる。システムは、これを、移動局のユーザーの音声を監視している音声活性検出器の活性化（ａｃｔｉｖａｔｉｏｎ）と解釈する。このときシステムは無音期間の長さを記憶要素に記録する。
【００２５】
遷移３０２は、移動局のユーザーが話すのをやめたときに起こる。システムは、これを移動局のユーザーの音声を監視している音声活性検出器の非活性化（ｄｅａｃｔｉｖａｔｉｏｎ）と解釈する。このときシステムは無音期間スタートマークを記憶要素に記録する。
【００２６】
遷移３０３は、通話の両当事者が話すのをやめたときに起こる。システムは、これを、両音声活性検出器の非活性化と解釈する。このときシステムは無音期間スタートマークを記憶要素に記録する。
【００２７】
遷移３０４は、両当事者が話し始めるときに起こる。システムは、これを両音声活性検出器の活性化と解釈する。このときシステムは記憶要素に無音期間の長さを記録する。
【００２８】
遷移３０５は、他方の当事者が話しをしているときに移動局のユーザーが話すのをやめたときに起こる。システムは、これを、移動局のユーザーの音声を監視している音声活性検出器の非活性化と解釈する。
【００２９】
遷移３０６は、他方の当事者が話しをしているときに移動局のユーザーが話し始めるときに起こる。システムは、これを、移動局のユーザーの音声を監視している音声活性検出器の活性化と解釈する。
【００３０】
遷移３０７は、移動局のユーザーが話しをしているときに他方の当事者が話し始めるときに起こる。システムは、これを、他方の当事者の音声を監視している音声活性検出器の活性化と解釈する。
【００３１】
遷移３０８は、移動局のユーザーが話しているときに他方の当事者が話すのをやめたときに起こる。システムは、これを、他方の当事者の音声を監視している音声活性検出器の非活性化と解釈する。
【００３２】
遷移３０９は、移動局のユーザーが話し始めるのと同時に他方の当事者が話すのをやめたときに起こる。システムは、これを、他方の当事者の音声を監視している音声活性検出器の非活性化と移動局のユーザーの音声を監視している検出器の活性化と解釈する。
【００３３】
遷移３１０は、移動局のユーザーが話すのをやめるのと同時に他方の当事者が話し始めたときに起こる。システムは、これを、他方の当事者の音声を監視している音声活性検出器の活性化と移動局のユーザーの音声を監視している検出器の非活性化と解釈する。
【００３４】
遷移３１１は、他方の当事者が話し始めたときに起こる。システムは、これを、他方の当事者の音声を監視している音声活性検出器の活性化と解釈する。システムは、このとき、無音期間の長さを記憶要素に記録する。
【００３５】
遷移３１２は、他方の当事者が話すのをやめたときに起こる。システムは、これを、他方の当事者の音声を監視している音声活性検出器の非活性化と解釈する。このときシステムは無音期間スタートマークを記憶要素に記録する。
【００３６】
本発明の方法は、２当事者の音声の記録に限定されるものではなくて、幾人かの当事者とのいわゆる会議通話（ｃｏｎｆｅｒｅｎｃｅ ｃａｌｌ）を記録するためにも本発明の方法を使用することができる。３つ以上の別々のオーディオ信号を記録するために本発明のシステムを使用することができ、その場合にはシステムは、記録されるべき各オーディオ信号あたりに１つずつの音声活性検出器を有し、記録されるべきサンプルは、音声が検出されるオーディオ信号の各サンプルから上記のように作成される。
【００３７】
本発明の方法では、信号の混合に必要とされるデジタル信号処理装置の信号混合及び計算能力は通話の当事者が同時に話しているときに限って必要となるに過ぎないので、必要な計算能力とシステムが消費する電力とを節約することができる。更に、通話を記録するために移動局のアナログ部に別のアナログミクサを付け加える必要はない。
【００３８】
本発明のシステムの機能の殆どは、移動局に通常設けられているデジタル信号処理装置においてプログラムとして実現され得るものであるので、本発明のシステムを現行の移動局に付加するのは容易である。或る移動局モデルは本発明のシステムが必要とする記憶容量を既に持っており、また、必要な記憶容量を記憶回路の現在の価格で付加するのは高価ではない。
【００３９】
本発明の種々の実施例は上記の実例に限定されるものではなくて、特許請求の範囲に規定された範囲内で修正され得るものであることは当業者にとっては明らかなことである。
【００４０】
特許請求の範囲の欄において、”信号”という用語は、場合によっては例えば、無音のポーズ、はっきり聞こえる暗騒音、或いは音声や音楽などを含む音源の出力信号を意味する。特許請求の範囲の欄において、”音声”という用語は、音声（ｖｏｉｃｅ）の普通の定義に加えて、記録されるべき信号中の、暗騒音とは異なる音楽や機械の音響などの他の音も意味する。
【図面の簡単な説明】
【図１】本発明のシステムの動作のフローチャートを示す図である。
【図２】本発明の好ましい実施例のブロック図である。
【図３】本発明の好ましい実施例の動作の状態図である。
【符号の説明】
２００…受信部
２０２…マイクロホン
２０４…Ａ／Ｄ変換器
２０６，２０８…音声活性検出器
２１０…ミクサ要素（デジタル信号処理装置）
２１２…記憶要素
２１４…符号器（符号化要素）

Claims (4)

1. 情報ビットを含む一定の持続時間の各サンプルから成る少なくとも２つのデジタル信号を記録するためのシステムにおいて、
   少なくとも１つの信号のサンプル内で音声が検出されるならば、前記の各信号サンプルの少なくとも一部を記録のために結合するミクサ要素（２１０）と、
   該ミクサ要素（２１０）の出力側に接続され、該ミクサ要素（２１０）の出力側から到来する前記の結合された信号サンプルを、該信号サンプルの記録に必要な記憶容量を少なくするように、符号化する符号化要素（２１４）と、
   該符号化要素（２１４）の出力側に接続され、前記の符号化された信号サンプルを記録するとともに、無音期間スタートマークおよびその無音期間の長さに関する情報を該ミクサ要素（２１０）から直接記録する記憶要素（２１２）とから成り、
   ここに前記ミクサ要素（２１０）、前記符号化要素（２１４）および前記記憶要素（２１２）は移動局に設けられることを特徴とするシステム。
2. 該システムは、少なくとも１つの前記信号を監視するようにされている少なくとも１つの監視要素（２０６）も備えており、前記ミクサ要素（２１０）は、前記の少なくとも１つの監視要素（２０６）が前記１つの信号のみのサンプル内で音声を検出するときには、その１つの信号のサンプルのみをその出力にコピーするようにされていることを特徴とする、請求項１に記載のシステム。
3. 該システムは、少なくとも１つの前記信号を監視するようにされている少なくとも１つの監視要素（２０６）も備えており、前記ミクサ要素（２１０）は、前記の少なくとも１つの監視要素（２０６）が前記１つの信号のみのサンプル内で音声を検出するとき、少なくとも２つの前記信号の各サンプルを結合させて、その結合された信号サンプルをその出力に出すようにされていることを特徴とする、請求項１に記載のシステム。
4. 前記ミクサ要素（２１０）は、前記の少なくとも１つの監視要素（２０６）が音声を検出しない信号サンプルの値を、前記結合の前に、無音に対応する値に設定するようにされていることを特徴とする、請求項３に記載のシステム。

Images