JP7137033B1 - Communication terminal and communication method - Google Patents
Communication terminal and communication method Download PDFInfo
- Publication number
- JP7137033B1 JP7137033B1 JP2022047600A JP2022047600A JP7137033B1 JP 7137033 B1 JP7137033 B1 JP 7137033B1 JP 2022047600 A JP2022047600 A JP 2022047600A JP 2022047600 A JP2022047600 A JP 2022047600A JP 7137033 B1 JP7137033 B1 JP 7137033B1
- Authority
- JP
- Japan
- Prior art keywords
- communication
- user
- audio data
- terminal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 341
- 238000000034 method Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims description 43
- 238000000926 separation method Methods 0.000 claims description 12
- 238000012880 independent component analysis Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010420 art technique Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
Abstract
【課題】音声を授受する通信において、端末間が近接することによって話者の音声に重畳した他者の音声を低減させるようにする。【解決手段】通話先の通話先端末と第1ネットワークを用いて通信する第1通信部と、周囲の音声を集音して第1音声データに変換する集音部と、第2ネットワークを用いて当該通信端末から所定の距離の範囲内で通話している第2ユーザの第2ユーザ端末と無線通信し、第2ユーザ端末で集音された音声に基づく第2音声データを受信する第2通信部と、第1音声データに混入した第2ユーザの音声に基づく第1混入データを低減させる音声処理部とを備える、通信端末。【選択図】図2The object of the present invention is to reduce the voice of another person superimposed on the voice of a speaker due to proximity between terminals in communication for transmitting and receiving voice. A first communication unit that communicates with a destination terminal of a call destination using a first network, a sound collection unit that collects ambient sound and converts it into first sound data, and a second network. wirelessly communicates with a second user terminal of a second user who is making a call within a predetermined distance from the communication terminal, and receives second audio data based on audio collected by the second user terminal A communication terminal, comprising: a communication unit; and a voice processing unit that reduces first mixed data based on a second user's voice mixed in first voice data. [Selection drawing] Fig. 2
Description
本発明は、通信端末及び通信方法に関する。 The present invention relates to a communication terminal and communication method.
ネットワークを介して音声を授受する通信において、近接する端末間で発生するハウリングやエコーを低減させる技術が知られている(例えば、特許文献1を参照)。
BACKGROUND ART Techniques for reducing howling and echoes that occur between adjacent terminals in communication that transmits and receives voice over a network are known (see
しかしながら、端末間が近接すると、一の端末が集音する音声には、一の端末の話者の音声に加えて、他の端末で通話する他者の音声が混入してしまうことがある。この場合、一の端末の通話先の聴者は、音声が聞きづらくなってしまうことがある。ハウリングやエコーを低減させる技術では、このように話者の音声に混入した音声を低減することは困難であった。 However, when the terminals are close to each other, the voice collected by one terminal may include the voice of the speaker of the one terminal and the voice of another person who is talking on another terminal. In this case, it may be difficult for a listener at the destination of the call to hear the voice. Techniques for reducing howling and echo have found it difficult to reduce such voice mixed in with the speaker's voice.
そこで、本発明はこれらの点に鑑みてなされたものであり、音声を授受する通信において、端末間が近接することによって話者の音声に重畳した他者の音声を低減させるようにすることを目的とする。 Therefore, the present invention has been made in view of these points. aim.
本発明の第1の態様においては、第1ユーザが操作する通信端末であって、通話先の通話先端末と第1ネットワークを用いて通信する第1通信部と、周囲の音声を集音して第1音声データに変換する集音部と、前記第1ネットワークとは異なる第2ネットワークを用いて当該通信端末から所定の距離の範囲内で通話している第2ユーザの第2ユーザ端末と無線通信し、前記第2ユーザ端末で集音された音声に基づく第2音声データを受信する第2通信部と、前記集音部が変換した前記第1音声データと、前記第2通信部が受信した前記第2音声データとに基づいて、前記第1音声データに混入した前記第2ユーザの音声に基づく第1混入データを低減させる音声処理部とを備え、前記第1通信部は、前記音声処理部が前記第1音声データから前記第1混入データを低減させた通信データを通話先の前記通話先端末に送信する、通信端末を提供する。 In a first aspect of the present invention, a communication terminal operated by a first user includes a first communication unit that communicates with a called terminal of a called party using a first network, and collects surrounding sounds. and a second user terminal of a second user who is talking within a predetermined distance from the communication terminal using a second network different from the first network. A second communication unit that wirelessly communicates and receives second audio data based on sound collected by the second user terminal, the first audio data converted by the sound collection unit, and the second communication unit a voice processing unit that reduces first mixed data based on the second user's voice mixed in the first voice data based on the received second voice data, wherein the first communication unit reduces the A communication terminal is provided in which a voice processing unit transmits communication data obtained by reducing the first mixed data from the first voice data to the destination terminal of the destination.
前記音声処理部は、前記第1音声データが示す前記第1ユーザの音声の音量と前記第2ユーザの音声の音量との比と、前記第2音声データが示す前記第1ユーザの音声の音量と前記第2ユーザの音声の音量との比とが異なることに基づいて前記第1音声データ及び前記第2音声データを独立成分分析することにより、2つの分離音声データを生成する分離生成部と、前記2つの分離音声データのうち一方の分離音声データと前記第1音声データとの時間系列における相関係数と、前記2つの分離音声データのうち他方の分離音声データと前記第1音声データとの時間系列における相関係数とを比較して、相関係数が大きい方の音声データを前記通信データとして選択する選択部とを有し、前記2つの分離音声データは、前記第1混入データを前記第1音声データから低減させた第1分離音声データと、前記第2音声データに混入した前記第1ユーザの音声に基づく第2混入データを前記第2音声データから低減させた第2分離音声データとを含んでもよい。 The audio processing unit controls the ratio between the volume of the first user's voice indicated by the first audio data and the volume of the second user's voice indicated by the first audio data, and the volume of the first user's voice indicated by the second audio data. and a separation generating unit that generates two separated voice data by performing independent component analysis on the first voice data and the second voice data based on the fact that the ratio between the volume of the voice of the second user and the volume of the voice of the second user is different , a correlation coefficient in a time series between one of the two separated audio data and the first audio data, and the other of the two separated audio data and the first audio data. a selection unit that compares the correlation coefficients in the time series of the First separated audio data reduced from the first audio data, and second separated audio obtained by reducing second mixed data based on the first user's voice mixed in the second audio data from the second audio data data.
前記第1音声データの時間軸のタイミングと前記第2音声データの時間軸のタイミングとを近づけるように調節するタイミング調節部を更に備え、前記音声処理部は、前記タイミング調節部が調節した前記第1音声データを用いて前記第1音声データから前記第1混入データを低減させてもよい。 It further comprises a timing adjustment unit that adjusts the timing of the time axis of the first audio data and the timing of the time axis of the second audio data so as to be close to each other, and the audio processing unit adjusts the timing adjusted by the timing adjustment unit. The first mixed data may be reduced from the first audio data using one audio data.
前記タイミング調節部は、前記第1音声データに付加されたタイムスタンプ情報と、前記第2音声データに付加されたタイムスタンプ情報とを比較することにより、タイミングの調節量を決定してもよい。 The timing adjustment unit may determine the timing adjustment amount by comparing time stamp information added to the first audio data and time stamp information added to the second audio data.
前記第2通信部は、前記第1通信部が通信を開始する場合又は、前記第1通信部の通信中において、前記第2ユーザ端末から送信された報知信号を受信したことに基づいて、前記第2ユーザ端末と無線接続してもよい。 When the first communication unit starts communication or during communication of the first communication unit, the second communication unit receives a notification signal transmitted from the second user terminal, the A wireless connection may be made with the second user terminal.
前記報知信号は、BLEのアドバタイズ信号であり、前記第2通信部は、前記アドバタイズ信号を受信したことに基づいて前記第2ユーザ端末とBLE接続し、前記第1通信部が通信を終了したことに応じて、前記第2ユーザ端末とのBLE接続を解除してもよい。 The notification signal is a BLE advertising signal, the second communication unit establishes a BLE connection with the second user terminal based on the reception of the advertising signal, and the first communication unit terminates the communication. , the BLE connection with the second user terminal may be released.
前記第2通信部は、前記第1通信部が通信を終了させたことに応じて、前記第2ユーザ端末とのペアリングの設定を解除してもよい。 The second communication unit may cancel the pairing setting with the second user terminal in response to the communication being terminated by the first communication unit.
前記第2通信部が受信した前記報知信号の受信強度が閾値を超えた場合、前記第2ユーザ端末が存在することを表示部に表示させる表示制御部と、前記第1ユーザによる操作に基づく、前記第2ユーザ端末と接続するか否かの情報を取得する取得部とを更に備え、前記第2通信部は、前記取得部が前記第2ユーザ端末と接続することを示す情報を取得したことに応じて、前記第2ユーザ端末と無線接続してもよい。 When the reception strength of the notification signal received by the second communication unit exceeds a threshold, a display control unit that displays on the display unit that the second user terminal exists, and based on the operation by the first user, an acquisition unit configured to acquire information indicating whether or not to connect to the second user terminal, wherein the second communication unit acquires information indicating that the acquisition unit connects to the second user terminal; wirelessly connected to the second user terminal.
前記第2通信部が前記第2ユーザ端末を含む他の端末と自動で無線接続することを示す設定情報を記憶する記憶部を更に備え、前記第2通信部は、自動で無線接続することを示す前記設定情報を前記記憶部が記憶している場合、受信した前記報知信号の受信強度が閾値を超えたことに応じて、前記第2ユーザ端末と無線接続してもよい。 Further comprising a storage unit for storing setting information indicating that the second communication unit automatically establishes a wireless connection with another terminal including the second user terminal, wherein the second communication unit automatically establishes the wireless connection. When the storage unit stores the setting information indicating the setting information, wireless connection with the second user terminal may be established in response to the reception strength of the received annunciation signal exceeding a threshold.
前記第2通信部は、前記第2ユーザ端末と無線通信している場合に、受信した前記報知信号の受信強度が閾値以下になったことに応じて、前記第2ユーザ端末との無線接続を解除してもよい。 The second communication unit, when wirelessly communicating with the second user terminal, establishes a wireless connection with the second user terminal in response to a reception strength of the received annunciation signal becoming equal to or less than a threshold. may be released.
前記第2通信部は、前記第1通信部が通信を開始する場合、報知信号の送信を開始してもよい。 The second communication unit may start transmitting a notification signal when the first communication unit starts communication.
前記第2通信部は、当該通信端末において、前記第1通信部が通信をするためのアプリケーションが実行された場合、又は、前記アプリケーションの動作がバックグラウンドから復帰した場合に、報知信号の送信を開始してもよい。 The second communication unit transmits a notification signal when an application for communication by the first communication unit is executed in the communication terminal, or when the operation of the application returns from the background. may start.
前記第2通信部は、前記第1通信部が通信を終了したことに応じて、報知信号の送信を終了してもよい。 The second communication unit may end transmission of the notification signal in response to the end of communication by the first communication unit.
本発明の第2の態様においては、第1ユーザが操作する通信端末が通話先の通話先端末と第1ネットワークを用いて通信する通信方法であって、周囲の音声を集音して第1音声データに変換するステップと、前記第1ネットワークとは異なる第2ネットワークを用いて当該通信端末から所定の距離の範囲内で通話している第2ユーザの第2ユーザ端末と無線通信し、前記第2ユーザ端末で集音された音声に基づく第2音声データを受信するステップと、前記第1音声データと、受信した前記第2音声データとに基づいて、前記第1音声データに混入した前記第2ユーザの音声に基づく第1混入データを低減させるステップと、前記第1音声データから前記第1混入データを低減させた通信データを通話先の前記通話先端末に送信するステップとを有する、通信方法を提供する。 A second aspect of the present invention is a communication method in which a communication terminal operated by a first user communicates with a called terminal of a called party using a first network, wherein surrounding sounds are collected and converting into voice data; wirelessly communicating with a second user terminal of a second user who is talking within a predetermined distance from the communication terminal using a second network different from the first network; a step of receiving second audio data based on audio collected by a second user terminal; and mixing the first audio data with the first audio data based on the first audio data and the received second audio data. reducing first mixed data based on the voice of a second user; and transmitting communication data obtained by reducing the first mixed data from the first voice data to the called party terminal of the called party, Provide a method of communication.
本発明によれば、音声を授受する通信において、端末間が近接することによって話者の音声に重畳した他者の音声を低減できるという効果を奏する。 Advantageous Effects of Invention According to the present invention, it is possible to reduce the voice of another person superimposed on the voice of the speaker due to the proximity of the terminals in the communication of sending and receiving voice.
<通信システムSの一例>
図1は、本実施形態に係る通信システムSの一例を示す。通信システムSは、ユーザが操作する端末により、第1ネットワーク(図1のN1)を用いて音声通信するシステムである。図1の例は、第1ユーザ11が通信端末100を用いて通話先の通話先端末と通信し、第2ユーザ12が第2ユーザ端末20を用いて通話先の通話先端末と通信する例を示す(図1の(1))。ここで、第1ユーザ11の通話先の通話先端末を第3ユーザ端末30とし、第3ユーザ端末30の操作者を第3ユーザ13とする。同様に、第2ユーザ12の通話先の通話先端末を第4ユーザ端末40とし、第4ユーザ端末40の操作者を第4ユーザ14とする。
<Example of communication system S>
FIG. 1 shows an example of a communication system S according to this embodiment. The communication system S is a system for voice communication using a first network (N1 in FIG. 1) by a terminal operated by a user. The example of FIG. 1 is an example in which the
ここで、通信端末100と第2ユーザ端末20とが近接していると、通信端末100が第2ユーザ12の音声を集音してしまうことがある。この場合、第3ユーザ13は、第1ユーザ11の音声に第2ユーザの音声が雑音として混入した音声を聞くことになり、第1ユーザ11の音声が聞きづらくなってしまう。図1に示す例において、第1ユーザ11が「よろしくお願いします」と話した際に、第2ユーザが「今日はいい天気ですね」と話した場合に、第3ユーザ13には、「よろしくお願いします」の音声に「今日はいい天気ですね」という音声が重なって聞こえることになる。
Here, when the
この状態においては、第2ユーザ端末20も第1ユーザ11の音声を集音してしまう。この場合、第4ユーザ14は、第2ユーザの音声に第1ユーザ11の音声が雑音として混入した音声を聞くことになり、第2ユーザの音声が聞きづらくなってしまう。図1に示す例において、第4ユーザ14には、「今日はいい天気ですね」の音声に「よろしくお願いします」という音声が重なって聞こえることになる。
In this state, the
そこで、通信システムSにおいては、通信端末100が第2ユーザ端末20と第2ネットワーク(図1のN2)を用いて通信し(図1の(2))、第2ユーザ端末20で集音した音声信号を取得する。通信端末100は、通信端末100の話者である第1ユーザ11の音声信号から他者である第2ユーザ12の音声に基づく信号成分を低減させるように動作する。同様に、第2ユーザ端末20が通信端末100と第2ネットワークを用いて通信し(図1の(2))、通信端末100で集音した音声信号を取得し、第2ユーザ12の音声信号から第1ユーザ11の音声に基づく信号成分を低減させるように動作してもよい。このような通信システムSの通信端末100について、次に説明する。なお、第2ユーザ端末20も通信端末100と同様の構成であり、第2ユーザ12の音声信号から第1ユーザ11の音声に基づく信号成分を低減させるように動作することが望ましい。
Therefore, in the communication system S, the
<通信端末100の構成例>
図2は、本実施形態に係る通信端末100の構成例を示す。通信端末100は、第1ユーザ11が操作する端末である。通信端末100は、マイクとスピーカ、イヤフォン、又はヘッドフォン等とを有し、通話をするための通信機能を有する端末であればよい。通信端末100は、例えば、スマートフォン等の携帯端末、PC等の情報処理装置、ヘッドセット、VRゴーグル等である。通信端末100は、第1通信部110と、集音部120と、音声出力部130と、表示部140と、第2通信部150と、タイミング調節部160と、記憶部170と、制御部180とを備える。
<Configuration example of
FIG. 2 shows a configuration example of the
第1通信部110は、通話先の通話先端末と第1ネットワークを用いて通信し、音声信号を授受する。第1ネットワークは、例えば、電話通信網、インターネット、ローカルネットワーク等である。
The
集音部120は、周囲の音声を集音して第1音声データに変換する。集音部120は、マイク等である。音声出力部130は、音声データを音声に変換して出力する。音声出力部130は、例えば、スピーカ、イヤフォン、ヘッドフォン等である。
The
表示部140は、ユーザから入力された情報、通信端末100の動作状況、通信端末100の動作及び動作結果等を表示する表示デバイスである。表示部140は、ユーザからの指示等が入力される入力デバイス141として動作してもよい。図2は、タッチパネル等のように、表示部140と入力デバイス141とが一体となっている例を示す。これに代えて、表示部140と入力デバイス141は、別個のデバイスであってもよい。
The
第2通信部150は、第1ネットワークとは異なる第2ネットワークを用いて第2ユーザ端末20と無線通信する。第2ユーザ端末20は、当該通信端末100から所定の距離の範囲内で通話している第2ユーザ12が操作する端末である。第2ネットワークは、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)等を利用したネットワークである。第2通信部150は、第2ユーザ端末20で集音された音声に基づく第2音声データを受信する。
The
ここで、所定の距離の範囲は、第2ユーザ12の音声を集音部120が集音してしまう程度の範囲である。言い換えると、通信端末100と第2ユーザ端末20とが所定の距離の範囲内に近づくと、集音部120が変換した第1音声データには、第2ユーザ12の音声に基づく第1混入データが混入することになる。また、この場合、第2通信部150が受信した第2音声データには、第1ユーザ11の音声に基づく第2混入データが混入することになる。
Here, the predetermined distance range is a range within which the sound of the
タイミング調節部160は、第1音声データの時間軸のタイミングと第2音声データの時間軸のタイミングとを近づけるように調節する。タイミング調節部160は、例えば、第2通信部150と制御部180との間に設けられている。また、タイミング調節部160は、集音部120と制御部180との間に更に設けられていてもよい。タイミング調節部160は、例えば、遅延素子、遅延回路、フリップフロップ、FIFO等を有し、第1音声データのタイミング及び/又は第2音声データのタイミングを調節して同期させる。
The
第1音声データ及び第2音声データには、時間軸のタイミングの基準となるタイムスタンプが付与されていることが望ましい。この場合、タイミング調節部160は、前記第1音声データに付加されたタイムスタンプ情報と、前記第2音声データに付加されたタイムスタンプ情報とを比較することにより、タイミングの調節量を決定する。
It is desirable that the first audio data and the second audio data are provided with time stamps that serve as timing references on the time axis. In this case, the
これに代えて、タイミング調節部160が調節する調節量は、第1音声データが制御部180に伝送するタイミングと第2音声データが制御部180に伝送するタイミングとを予め測定し、伝送タイミングの差から予め定めてもよい。タイミング調節部160は、タイミングを調節した第1音声データ及び第2音声データを制御部180に供給する。
Alternatively, the amount of adjustment to be adjusted by the
記憶部170は、通信端末100に設定された設定値の情報等を記憶する。また、記憶部170は、通信端末100が動作の過程で生成する(又は利用する)中間データ、算出結果、閾値、基準値、及びパラメータ等をそれぞれ記憶してもよい。また、記憶部170は、通信端末100内の各部の要求に応じて、記憶したデータを要求元に供給してもよい。
The
記憶部170は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。また、記憶部170は、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)等の大容量記憶装置を含んでもよい。記憶部170は、例えば、CPU(Central Processing Unit)等のプロセッサが通信端末100の一部として機能する場合、CPUを機能させるOS(Operating System)、及びプログラム等の情報を格納してもよい。また、記憶部170は、プログラムの実行時に参照されるデータベースを含む種々の情報を格納してもよい。
The
制御部180は、通信端末100内の各部を制御する。例えば、制御部180は、音声データを処理して、処理した音声データを第1通信部110から第3ユーザ端末30に送信させる。また、制御部180は、第1通信部110が第3ユーザ端末30から受信した音声データを音声出力部130から音声として出力させる。
制御部180は、例えばCPU等のプロセッサである。制御部180は、取得部181、音声処理部183、及び表示制御部182を有する。言い換えると、CPUは、記憶部170に記憶されたプログラムを実行することにより、取得部181、表示制御部182、及び音声処理部183を有する制御部180として機能する。
The
取得部181は、第1ユーザ11の操作に基づく情報を取得する。取得部181は、例えば、ユーザが入力デバイス141に入力した情報を取得する。制御部180は、取得部181が取得した情報に対応して、各部を制御する。表示制御部182は、表示部140を制御して表示部に文字、画像等を表示させる。また、取得部181は、第1通信部110及び第2通信部150が受信した情報を取得する。更に、取得部181は、集音部120が変換した第1音声データを取得してもよい。
音声処理部183は、第1音声データと第2音声データとに基づいて、第1音声データに混入した第2ユーザ12の音声に基づく第1混入データを低減させる。音声処理部183は、タイミング調節部160がタイミングを調節した後の第1音声データを用いて第1音声データから第1混入データを低減させる。音声処理部183は、分離生成部184と、選択部185とを有する。
The
分離生成部184は、第1音声データ及び第2音声データを独立成分分析して、2つの分離音声データを生成する。2つの分離音声データは、第1分離音声データと第2分離音声データとを含む。第1分離音声データは、第1音声データから第1混入データを低減させた音声データであり、第2分離音声データは、第2音声データから第2混入データを低減させた音声データである。
The
分離生成部184が実行する独立成分分析は、第1音声データが示す第1ユーザ11の音声の音量と第2ユーザ12の音声の音量との比と、第2音声データが示す第1ユーザ11の音声の音量と第2ユーザ12の音声の音量との比とが異なることに基づいて、第1分離音声データ及び第2分離音声データを生成する手法である。
The independent component analysis performed by the
例えば、図1の例において、第1音声データは、第1ユーザ11の「よろしくお願いします」の音声に第2ユーザ12の「今日はいい天気ですね」の音声が雑音として混入した音声を示すデータである。第1ユーザ11は第2ユーザ12よりも集音部120に近いので、「よろしくお願いします」の音量は、「今日はいい天気ですね」の音量よりも大きくなる。
For example, in the example of FIG. 1, the first voice data is the voice of the
これに対して、第2音声データは、第2ユーザ12の「今日はいい天気ですね」の音声に第1ユーザ11の「よろしくお願いします」の音声が雑音として混入した音声を示すデータである。第2ユーザ12は第1ユーザ11よりも第2ユーザ端末20に近いので、「今日はいい天気ですね」の音量は、「よろしくお願いします」の音量よりも大きくなる。
On the other hand, the second voice data is data representing a voice in which the voice of the
独立成分分析は、このような第1音声データ及び第2音声データを用いて、第1音声データから「今日はいい天気ですね」の雑音を低減させた第1分離音声データと、第2音声データから「よろしくお願いします」の雑音を低減させた第2分離音声データとを生成する。このような独立成分分析は、既知の技術なので、ここでは詳細な説明を省略する。 In independent component analysis, using such first speech data and second speech data, the first separated speech data obtained by reducing the noise of "It's nice weather today" from the first speech data, and the second speech Second separated voice data with reduced noise of "Yoroshiku onegaishimasu" is generated from the data. Since such independent component analysis is a known technique, detailed description is omitted here.
分離生成部184は、このような独立成分分析によって生成した2つの音声データを出力する。なお、独立成分分析を用いた場合、2つの分離音声データを生成した時点では、どちらが第1分離音声データでどちらが第2分離音声データなのかを判別することができない。なお、通信端末100は、第1ユーザ11の音声に基づく音声データを第3ユーザ13の第3ユーザ端末30に送信するので、第1分離音声データが送信すべきデータとなる。
The
ここで、第1分離音声データ及び第1音声データは、両方とも第1ユーザ11の音声の音量が第2ユーザ12の音声の音量よりも大きく、第1ユーザ11の音声に基づく音声データが支配的なデータである。これに対して、第2分離音声データ及び第2音声データは、第2ユーザ12の音声に基づく音声データが支配的なデータとなる。したがって、第1分離音声データと第1音声データとの相関係数は、第2分離音声データと第1音声データとの相関係数よりも大きくなる傾向にある。
Here, in both the first separated audio data and the first audio data, the volume of the audio of the
そこで、選択部185は、分離生成部184が生成した2つの分離音声データのうち一方の分離音声データと第1音声データとの時間系列における相関係数と、2つの分離音声データのうち他方の分離音声データと第1音声データとの時間系列における相関係数とを算出して比較する。そして、選択部185は、第1音声データとの相関係数が大きい方の音声データを第1分離音声データと判定し、第3ユーザ端末30に送信すべき通信データとして選択する。
Therefore, the
これに代えて、又は、これに加えて、選択部185は、2つの分離音声データのうち一方の分離音声データと第2音声データとの時間系列における相関係数と、2つの分離音声データのうち他方の分離音声データと第2音声データとの時間系列における相関係数とを算出して比較してもよい。例えば、第1ユーザ11が声を出さず、第2ユーザ12が声を出している場合、2つの分離音声データと第1音声データとを用いて算出した異なる2つの相関係数は、ほとんど差がない値になってしまうことがある。
Alternatively, or in addition to this, the
しかし、この場合、第1分離音声データと第2音声データとの相関係数は、第2分離音声データと第2音声データとの相関係数よりも小さくなる傾向にある。そこで、選択部185は、第2音声データとの相関係数が小さい方の音声データを第1分離音声データと判定し、第3ユーザ端末30に送信すべき通信データとして選択する。
However, in this case, the correlation coefficient between the first separated audio data and the second audio data tends to be smaller than the correlation coefficient between the second separated audio data and the second audio data. Therefore, the
選択部185は、例えば、2つの分離音声データと第1音声データとの相関係数の差が所定の値未満の場合に、2つの分離音声データと第2音声データとの相関係数の比較結果を用いてもよい。これにより、選択部185は、2つの分離音声データからより正確に第1分離音声データを選択することができる。
For example, when the difference between the correlation coefficients of the two pieces of separated audio data and the first audio data is less than a predetermined value, the
なお、ここまでは音声の分離処理として独立成分分析を用いる方法について説明したが、別の方法を用いて音声分離処理を行うようにしてもよい。以下、別の方法の一例について説明する。音声処理部183は、第1音声データ又は第2音声データの位相を反転させ、第1音声データ及び/又は第2音声データに所定の係数を乗じてから、第1音声データ及び第2音声データの和を算出してもよい。第1音声データに含まれている第2ユーザ12の音声に基づく音声データの絶対値は、第1ユーザ11の音声に基づく音声データの絶対値よりも小さい傾向にある。また、第2音声データに含まれている第2ユーザ12の音声に基づく音声データの絶対値は、第1ユーザ11の音声に基づく音声データの絶対値よりも大きい傾向にある。
Although the method of using independent component analysis as the speech separation processing has been described so far, another method may be used to perform the speech separation processing. An example of another method will be described below. The
例えば、第2音声データに1未満の所定の係数を乗じることにより、第1音声データに含まれている第2ユーザ12の音声に基づく音声データの絶対値と、第2音声データに含まれている第2ユーザ12の音声に基づく音声データの絶対値とを同程度にすることができる。この場合、第2音声データに含まれている第1ユーザ11の音声に基づく音声データの絶対値は、第1音声データに含まれている第1ユーザ11の音声に基づく音声データの絶対値と比較して、ほとんど無視できる程度に小さくなる。
For example, by multiplying the second voice data by a predetermined coefficient less than 1, the absolute value of the voice data based on the voice of the
そこで、1未満の係数を乗じた第2音声データの位相を反転して第1音声データに加算する。これにより、第1音声データに含まれている第2ユーザ12の音声に基づく音声データを減少させることができる。これにより、音声処理部183は、第2音声データの位相を反転して第1音声データに加算した音声データを第3ユーザ端末30に送信すべき通信データとしてもよい。
Therefore, the phase of the second audio data multiplied by a coefficient of less than 1 is inverted and added to the first audio data. Thereby, the voice data based on the voice of the
以上により、通信端末100の第1通信部110は、音声処理部183が第1音声データから第1混入データを低減させた通信データ(第1分離音声データ)を通話先の通話先端末(第3ユーザ端末30)に送信できる。このような通信端末100を備える通信システムSの動作フローについて次に説明する。
As described above, the
<通信システムSの動作フローの第1例>
図3は、本実施形態に係る通信システムSの動作フローの第1例を示す。第1例の動作フローは、図1に示すように、第1ユーザ11と第3ユーザ13とが音声通信をし、第2ユーザ12と第4ユーザ14とが音声通信をする例を示す。そして、第1例の動作フローは、第1ユーザ11が通信端末100を操作して第3ユーザ13との通話を開始する例を示す。また、第2ユーザ端末20は通信端末100から所定の距離の範囲内にあり、第2ユーザ12の通話は既に開始されているものとする。
<First example of operation flow of communication system S>
FIG. 3 shows a first example of the operation flow of the communication system S according to this embodiment. The operation flow of the first example shows an example in which the
なお、それぞれのユーザの音声通信(例えば、第1通信部110による通信)の第1ネットワークは、インターネットを利用した通信ネットワークであり、通信端末100と第2ユーザ端末20との間の通信の第2ネットワークは、BLE(Bluetooth Low Energy)を利用した通信ネットワークとする。
Note that the first network for voice communication of each user (for example, communication by the first communication unit 110) is a communication network using the Internet, and the first network for communication between the
まず、通信端末100の入力デバイス141には、第1ユーザ11から第3ユーザ13と通話を開始するための指示が入力される(S61)。例えば、第1ユーザ11は、表示部140に電話帳のリストを表示させ、表示部140の第3ユーザ13の連絡先が表示している位置をタップする。これにより、取得部181は、第3ユーザ端末30に通話を開始することを示す指示を取得する。
First, an instruction for starting a call from the
次に、制御部180は、第2通信部150に報知信号を送信させる(S62)。報知信号は、ビーコン信号であり、例えば、BLEのアドバタイズ信号である。このように、第2通信部150は、第1通信部110が通信を開始する場合に、報知信号の送信を開始する。第2通信部150は、通話が終了するまで報知信号を定期的に送信する。
Next, the
第2ユーザ端末20は、既に通話のための通信を開始しているので、第2通信部150から送信された報知信号を受信する。また、第2ユーザ端末20は、通信端末100の第2通信部150と同様に、報知信号を定期的に送信する(S63)。これにより、通信端末100の第2通信部150は、第2ユーザ端末20から送信された報知信号を受信する。
Since the
次に、第2通信部150は、第2ユーザ端末20の報知信号を受信したことに応じて、BLEによる無線接続を要求する要求信号を第2ユーザ端末20に送信する(S64)。これにより、第2ユーザ端末20は、通信端末100の第2通信部150から送信された要求信号を受信する。同様に、第2ユーザ端末20は、無線接続を要求する要求信号を通信端末100に送信する(S65)。これにより、通信端末100の第2通信部150は、第2ユーザ端末20から送信された要求信号を受信する。
Next, the
次に、表示制御部182は、第2通信部150が受信した報知信号の受信強度が閾値を超えた場合、第2ユーザ端末20が存在することを表示部140に表示させる。なお、閾値は、例えば、第2ユーザ端末20が通信端末100から所定の距離の範囲内に位置した場合に、通信端末100が第2ユーザ端末20から受信した報知信号の受信強度と同程度の値である。
Next, the
ここで、表示制御部182は、第2ユーザ端末20と接続するか否かを問い合わせるメッセージを表示部140に更に表示させる(S66)。そして、入力デバイス141には第1ユーザ11からの操作に基づく第2ユーザ端末20と接続するか否かの回答を示す回答情報が入力され、取得部181は第1ユーザ11が入力した回答情報を取得する。
Here, the
制御部180は、取得部181が第2ユーザ端末20と接続することを示す回答情報を取得したことに応じて、第2通信部150と第2ユーザ端末20とを通信接続させる(S66:Yes)。これにより、第2通信部150は、第2ユーザ端末20と無線接続するように、第2ユーザ端末20の要求信号に対する応答信号を返信する(S67)。
The
同様に、第2ユーザ端末20は、第2ユーザ12に通信端末100と接続するか否かを問い合わせてもよい。図3の動作フローにおいて、第2ユーザ12は、通信端末100と接続することを示す回答情報を第2ユーザ端末20に入力した例を示す。これにより、第2ユーザ端末20は、通信端末100と無線接続するように、通信端末100の要求信号に対する応答信号を返信する(S68)。
Similarly, the
これにより、通信端末100と第2ユーザ端末20とのBLE接続が確立する(S69)。すなわち、第2ユーザ端末20とのペアリングの設定(第2ユーザ端末20を通信相手として登録し、暗号化通信が可能な状態となること)、及びBLEによる無線接続が確立する。なお、第1ユーザ11が接続しないことを示す回答情報を入力した場合(S66:No)、通信システムSは、S67からS69の動作を省略して次に進む。
This establishes a BLE connection between the
次に、制御部180は、第1ネットワークを用いて第1通信部110と第3ユーザ端末30とを接続させる。第1通信部110は、例えば、接続を要求する要求信号を第3ユーザ端末30に送信する(S70)。図3の動作フローにおいて、第3ユーザは、通信端末100との接続要求に応答した例を示す。これにより、通信端末100と第3ユーザ端末30との音声通信の接続が確立する(S71)。
Next, the
次に、集音部120は、第1ユーザ11の音声を集音して第1音声データに変換する(S72)。また、第2通信部150は、第2ユーザ端末20で集音された音声に基づく第2音声データを受信する(S73)。これにより、取得部181は、第1音声データ及び第2音声データを取得する。
Next, the
次に、音声処理部183は、第1音声データと、受信した第2音声データとに基づいて、第1音声データに混入した第2ユーザ12の音声に基づく第1混入データを低減させる(S74)。分離生成部184は、第1音声データ及び第2音声データを独立成分分析して、2つの分離音声データを生成する。そして、選択部185は、2つの分離音声データと第1音声データとの相関係数をそれぞれ算出し、相関係数が大きい方の音声データを第3ユーザ端末30に送信すべき通信データとして選択する。
Next, the
次に、制御部180は、選択部185が選択した通信データを第3ユーザ端末30に送信する(S75)。なお、S66において、ユーザにより第2ユーザ端末との接続が拒否された場合には(S66:No)、S73、S74の処理は省略され、S72で変換された第1音声データが第3ユーザ端末30に送信される。また、第1通信部110は、第3ユーザ端末30から送信された第3ユーザ13の音声データを受信する(S76)。音声出力部130は、受信した音声データを音声に変換して出力する。通信端末100は、S72からS76の動作を繰り返す。
Next, the
以上の本実施形態に係る通信システムSによれば、第1ユーザ11は、通信端末100と第2ユーザ端末20とが近接することによって第1ユーザ11の音声に混入した第2ユーザ12の音声を低減させつつ、第3ユーザと通話をすることができる。これにより、第3ユーザ13は、第1ユーザ11の音声が聞き取りやすくなる。
According to the communication system S according to the present embodiment described above, the
なお、第2ユーザ12が操作する第2ユーザ端末20も、通信端末100と同様の構成を備え、同様の動作をしてもよい。例えば、S73において、第2通信部150は、第1音声データを第2ユーザ端末20に送信する。この場合、第2ユーザ端末20においても、第1ユーザ11の音声に基づく第2混入データを低減できるので、第4ユーザ14は、第2ユーザ12の音声が聞き取りやすくなる。
The
また、第3ユーザ13が操作する第3ユーザ端末30も、通信端末100と同様の構成を備え、同様の動作をしてもよい。これにより、第3ユーザ端末30に他の端末が近接しても、第1ユーザ11が第3ユーザ13の音声を聞き取りにくくなることを低減できる。
Also, the
以上の本実施形態に係る通信システムSの動作フローにおいて、第2ユーザ12と第4ユーザ14との通話が既に開始していた例を説明したが、これに限定されることはない。例えば、第1ユーザ11の通話中に第2ユーザ12が通話を開始してもよい。この場合、第2通信部150は、第1通信部110が通信を開始する場合に代えて、第1通信部110の通信中において、第2ユーザ端末20から送信された報知信号を受信したことに基づいて、第2ユーザ端末20と無線接続する。このような場合の通信システムSの動作について次に説明する。
In the operation flow of the communication system S according to the present embodiment described above, an example in which a call between the
<通信システムSの動作フローの第2例>
図4は、本実施形態に係る通信システムSの動作フローの第2例を示す。第2例の通信システムSの動作フローにおいて、図3に示された第1例の通信システムSの動作フローの動作と略同一のものには同一の符号を付け、重複する説明を省略する。
<Second Example of Operation Flow of Communication System S>
FIG. 4 shows a second example of the operation flow of the communication system S according to this embodiment. In the operation flow of the communication system S of the second example, the same reference numerals are given to the operations that are substantially the same as those of the operation flow of the communication system S of the first example shown in FIG. 3, and overlapping explanations are omitted.
図4において、第1ユーザ11と第3ユーザ13との通話は既に開始されているものとする(S60)。第2ユーザ12による通話は開始されていないので、通信端末100は、集音部120が集音して出力した第1音声データを第1通信部110から第3ユーザ端末30に送信する。また、通信端末100は、第3ユーザ端末30から送信された音声信号を受信して音声出力部130から音声として出力する。
In FIG. 4, it is assumed that a call between the
通信端末100の第2通信部150は、このような通話中においても、定期的に報知信号を送信する(S62)。第2ユーザ端末20は、通話を開始する場合、報知信号の送信を開始する(S63)。次に、第2通信部150は、第2ユーザ端末20の報知信号を受信したことに応じて、無線接続を要求する要求信号を第2ユーザ端末20に送信する(S64)。同様に、第2ユーザ端末20は、無線接続を要求する要求信号を通信端末100に送信する(S65)。
The
表示制御部182は、第2通信部150が受信した報知信号の受信強度が閾値を超えた場合、第2ユーザ端末20が存在することと、第2ユーザ端末20と接続するか否かを問い合わせるメッセージを表示部140に表示させる(S66)。制御部180は、取得部181が第2ユーザ端末20と接続することを示す回答情報を取得したことに応じて(S66:Yes)、第2通信部150から応答信号を返信する(S67)。
When the reception strength of the notification signal received by the
同様に、第2ユーザ端末20は、第2ユーザ12に通信端末100と接続するか否かを問い合わせてもよい。図4の動作フローにおいて、第2ユーザ12は、通信端末100と接続することを示す回答情報を第2ユーザ端末20に入力した例を示す。これにより、第2ユーザ端末20は、通信端末100と無線接続するように、通信端末100の要求信号に対する応答信号を返信する(S68)。これにより、通信端末100と第2ユーザ端末20とのBLE接続が確立する(S69)。
Similarly, the
次に、通信端末100は、通話中の第3ユーザ端末30に送信する第1音声データに混入した第2ユーザ12の音声に基づく第1混入データを低減させる。通信端末100の動作は、図3のS72からS76と同様なので、ここでは説明を省略する。
Next, the
以上のように、本実施形態に係る通信システムSは、第1ユーザ11の通話中において、第2ユーザ12が通信端末100と近接する第2ユーザ端末20を用いて通話を開始し、第1ユーザ11の音声に第2ユーザ12の音声が混入しても、混入した音声を低減させつつ、第1ユーザ11と第3ユーザ13との通話を継続させることができる。これにより、第3ユーザ13は、第1ユーザ11の音声が聞き取りにくくなることを低減できる。
As described above, in the communication system S according to the present embodiment, during a call by the
以上の本実施形態に係る通信システムSの動作フローにおいて、通信端末100の所定の距離の範囲内に第2ユーザ端末20が位置している例を説明したが、これに限定されることはない。例えば、通信端末100の所定の距離の範囲内に複数の端末が位置してもよい。このような場合の通信システムSの動作について次に説明する。
In the operation flow of the communication system S according to the present embodiment, an example in which the
<通信システムSの動作フローの第3例>
図5は、本実施形態に係る通信システムSの動作フローの第3例を示す。第3例の通信システムSの動作フローにおいて、図3に示された第1例の通信システムSの動作フローの動作と略同一のものには同一の符号を付け、重複する説明を省略する。第3例の動作フローにおいて、通信端末100の所定の距離の範囲内に第2ユーザ端末20と第5ユーザ端末が位置している例を示す。また、第2ユーザ端末20と第5ユーザ端末とは、それぞれ通話を開始しているものとする。
<Third example of operation flow of communication system S>
FIG. 5 shows a third example of the operation flow of the communication system S according to this embodiment. In the operation flow of the communication system S of the third example, the same reference numerals are given to the operations that are substantially the same as those of the operation flow of the communication system S of the first example shown in FIG. 3, and overlapping explanations are omitted. In the operation flow of the third example, an example in which the
まず、通信端末100の入力デバイス141には、第1ユーザ11から第3ユーザ13の第3ユーザ端末30と通話を開始するための指示が入力される(S61)。取得部181がこのような指示を取得したことに応じて、制御部180は、第2通信部150に報知信号を送信させる(S62)。これにより、第2ユーザ端末20及び第5ユーザ端末は報知信号を受信する。また、第2ユーザ端末20及び第5ユーザ端末は、報知信号をそれぞれ送信する(S63、S63’)。これにより、通信端末100の第2通信部150は、第2ユーザ端末20及び第5ユーザ端末から送信された報知信号をそれぞれ受信する。
First, the
次に、第2通信部150は、第2ユーザ端末20の報知信号を受信したことに応じて、無線接続を要求する要求信号を第2ユーザ端末20に送信する(S64)。また、第2通信部150は、第5ユーザ端末の報知信号を受信したことに応じて、無線接続を要求する要求信号を第5ユーザ端末に送信する(S64’)。第2ユーザ端末20は、無線接続を要求する要求信号を通信端末100に送信する(S65)。同様に、第5ユーザ端末は、無線接続を要求する要求信号を通信端末100に送信する(S65’)。
Next, the
次に、表示制御部182は、第2通信部150が第2ユーザ端末20から受信した報知信号の受信強度が閾値を超えた場合、第2ユーザ端末20が存在することと、第2ユーザ端末20と接続するか否かを問い合わせるメッセージを表示部140に表示させる(S66)。同様に、表示制御部182は、第2通信部150が第5ユーザ端末から受信した報知信号の受信強度が閾値を超えた場合、第5ユーザ端末が存在することと、第5ユーザ端末と接続するか否かを問い合わせるメッセージを表示部140に表示させる。
Next, when the reception strength of the notification signal received by the
制御部180は、取得部181が第2ユーザ端末20と接続することを示す回答情報を取得したことに応じて(S66:Yes)、第2通信部150から応答信号を第2ユーザ端末20に返信する(S67)。同様に、制御部180は、取得部181が第5ユーザ端末と接続することを示す回答情報を取得したことに応じて、第2通信部150から応答信号を第5ユーザ端末に返信する(S67’)。なお、図5の例は、制御部180が第2ユーザ端末20及び第5ユーザ端末と接続することを示す回答情報を取得した例を簡易的に示している。制御部180は、上述のように、第2ユーザ端末20と接続するか否かの動作と、第5ユーザ端末と接続するか否かの動作とを別個に実行することが望ましい。
In response to the
図5の動作フローにおいて、第2ユーザ12及び第5ユーザは、通信端末100と接続することを示す回答情報をそれぞれが操作する端末に入力した例を示す。これにより、第2ユーザ端末20は、通信端末100と無線接続するように、通信端末100の要求信号に対する応答信号を返信する(S68)。また、第5ユーザ端末は、通信端末100と無線接続するように、通信端末100の要求信号に対する応答信号を返信する(S68’)。これにより、通信端末100及び第2ユーザ端末20のBLE接続と、通信端末100及び第5ユーザ端末のBLE接続とが確立する(S69)。
The operation flow of FIG. 5 shows an example in which the
次に、制御部180は、第1ネットワークを用いて第1通信部110と第3ユーザ端末30とを接続させる(S70、S71)。次に、通信端末100は、第1音声データに混入した第2ユーザ12の音声に基づく第1混入データと第5ユーザの音声に基づく混入データとを低減させる(S72、S73、S73’、S74)。なお、S66において、他のユーザ端末との接続が拒否された場合には(S66:No)、S73、S73’、S74の処理は省略される。
Next, the
なお、分離生成部184は、第1音声データと、第2音声データと、第5ユーザ端末から受信した音声データとを独立成分分析して、3つの分離音声データを生成する。そして、選択部185は、3つの分離音声データと第1音声データとの相関係数をそれぞれ算出し、相関係数が大きい方の音声データを第3ユーザ端末30に送信すべき通信データとして選択する。そして、第1通信部110は、選択部185が選択した通信データを第3ユーザ端末30に送信し(S75)、第3ユーザ端末30から送信された第3ユーザ13の音声データを受信する(S76)。
Note that the
以上のように、本実施形態に係る通信システムSは、通信端末100に複数の端末が近接して、複数のユーザの音声が第1ユーザ11の音声に混入しても、混入した音声を低減させつつ、第1ユーザ11と第3ユーザ13とを通話させることができる。これにより、第3ユーザ13は、第1ユーザ11の音声が聞き取りにくくなることを低減できる。
As described above, in the communication system S according to the present embodiment, even if a plurality of terminals are close to the
また、上記図3~図5の動作フローでは、報知信号を受信後に接続を要求する要求信号を受信した場合に、要求信号の送信元のユーザ端末と接続するか否かを問い合わせるメッセージを表示させる(S66)ものとして説明したが、当該メッセージの表示タイミングはこれに限らない。例えば、受信した報知信号の受信強度が閾値を超えた場合に、上記メッセージを表示し、ユーザによる操作に基づき接続することを示す回答情報を取得した場合に、報知信号の送信元のユーザ端末に対して、接続を要求する要求信号を送信するようにしてもよい。 Further, in the operational flow of FIGS. 3 to 5, when a request signal for requesting connection is received after receiving the notification signal, a message asking whether or not to connect to the user terminal that has sent the request signal is displayed. (S66) Although the explanation has been made assuming that this is the case, the display timing of the message is not limited to this. For example, when the reception strength of the received annunciation signal exceeds the threshold, the above message is displayed, and when response information indicating connection based on the user's operation is acquired, the user terminal that transmitted the annunciation signal Alternatively, a request signal requesting connection may be transmitted.
また、上記図3~図5の動作フローでは、通信端末100と第2ユーザ端末20(又は第5ユーザ端末)とが共に報知信号、接続を要求する要求信号、要求信号に対する応答信号を送信することでBLE接続が確立する例について説明したが、いずれか一方のみが上記各信号の送信を行うことでBLE接続が確立するようにしてもよい。例えば、通信端末100が報知信号を送信し、報知信号を受信した第2ユーザ端末20(又は第5ユーザ端末)が要求信号を送信し、通信端末100が応答信号を送信した場合にBLE接続を確立するようにしてもよい。
3 to 5, both the
<通信システムSの動作フローの第4例>
図6は、本実施形態に係る通信システムSの動作フローの第4例を示す。第4例の動作フローは、図3に示す第1例の動作フロー、図4に示す第2例の動作フロー等により、第1ユーザ11と第3ユーザ13とが通話をし、通話を終了させる場合の例を示す。
<Fourth example of operation flow of communication system S>
FIG. 6 shows a fourth example of the operation flow of the communication system S according to this embodiment. In the operation flow of the fourth example, the
まず、通信端末100の入力デバイス141には、第1ユーザ11から第3ユーザ13と通話を終了するための指示が入力される(S81)。取得部181がこのような指示を取得したことに応じて、制御部180は、第1通信部110と第3ユーザ端末30との通信を終了させる(S82)。
First, an instruction for ending the call from the
そして、制御部180は、第1通信部110が通信を終了したことに応じて、第2通信部150と第2ユーザ端末20とのBLE接続を解除させる。ここで、第2通信部150は、第1通信部110が通信を終了させたことに応じて、第2ユーザ端末20とのペアリングの設定を解除することが望ましい。
Then, the
例えば、第2通信部150は、BLE接続の切断を要求する要求信号を第2ユーザ端末20に送信する(S83)。そして、第2通信部150が第2ユーザ端末20から要求信号に対する応答信号を受信したこと(S84)に応じて、BLE接続が解除される(S85)。第2通信部150は、BLE接続を解除する際に、第2ユーザ端末20とのペアリング設定も解除する。通信端末100がペアリングを解除することにより、通信端末100において通話とは別の目的でBLE機能をONにした際に(例えば、イヤフォンと接続するためにBLEをONにする場合等)、第2ユーザ端末20との通信が自動的に接続されてしまうことを防止できる。
For example, the
第2通信部150は、第1通信部110が通信を終了したことに応じて、報知信号の送信を終了する(S86)。これにより、通信端末100の通話が終了する。なお、第4例の動作フローにおいて、通信端末100の通話を終了すると共に、第2通信部150と第2ユーザ端末20との接続を解除した例を説明したが、第2ユーザ端末20との接続解除の動作は、これに限定されることはない。例えば、第2ユーザ端末20が通信端末100から所定の距離の範囲外に移動した場合、通信端末100は、第2通信部150と第2ユーザ端末20との接続を解除してもよい。
The
例えば、第2通信部150は、第2ユーザ端末20と無線通信している場合に、第2ユーザ端末20から受信した報知信号の受信強度が閾値以下になったことに応じて、第2ユーザ端末20との無線接続を解除する。この場合においても、第2通信部150は、第2ユーザ端末20とのペアリングの設定を解除することが望ましい。
For example, when the
以上の本実施形態に係る通信システムSにおいて、第1ユーザ11と第3ユーザ13とが音声通信をし、第2ユーザ12と第4ユーザ14とが音声通信をする例を説明したが、これに限定されることはない。例えば、電話会議、TV会議、Web会議、多人数参加のゲーム等のように、第1ユーザ11及び第2ユーザ12が同じ人(例えば、第3ユーザ13)と通話する場合にも適用可能である。
In the communication system S according to the present embodiment, an example has been described in which the
この場合においても、通信端末100は、第1ユーザ11の第1音声データに混入した第1混入データを低減させた通信データを第3ユーザ端末30に送信する。また、第2ユーザ端末20も、第2ユーザ12の第2音声データに混入した第2混入データを低減させた通信データを第3ユーザ端末30に送信する。これにより、第3ユーザ端末30は、第1ユーザ11の音声と第2ユーザ12の音声をより明瞭に聞くことができる。
In this case as well, the
以上の本実施形態に係る通信端末100は、第2ユーザ端末20が通信端末100から所定の距離の範囲にあることを検知した場合に、第1ユーザ11に第2ユーザ端末20と無線接続するか否かを問い合わせる例を説明したが、これに限定されることはない。例えば、通信端末100は、第2ユーザ端末20が通信端末100から所定の距離の範囲にあることを検知した場合に、第1ユーザ11に問い合わせることなく、第2ユーザ端末20と無線接続するように設定されていてもよい。
The
このような設定を示す設定情報は、通信端末100に予め記憶されていることが望ましい。例えば、記憶部170は、第2通信部150が第2ユーザ端末20を含む他の端末と自動で無線接続するか否かを示す設定情報を記憶する。そして、第2通信部150は、自動で無線接続することを示す設定情報を記憶部170が記憶している場合、受信した報知信号の受信強度が閾値を超えたことに応じて、第2ユーザ端末20と無線接続する。例えば、会社内でWeb会議を行う場合等、第2ユーザ端末20が安全な端末であるとわかっている場合、自動で無線接続する設定をすることにより、通信端末100は、速やかに第2ユーザ端末20と無線接続することができる。
Setting information indicating such settings is preferably stored in
以上の本実施形態に係る通信端末100は、通話を開始する場合に、第2通信部150から報知信号を送信する例を説明したが、これに限定されることはない。例えば、第2通信部150は、当該通信端末100において、第1通信部110が通信をするためのアプリケーションが実行された場合、又は、アプリケーションの動作がバックグラウンドから復帰した場合に、報知信号の送信を開始してもよい。アプリケーションとは、例えば通話アプリケーションやWeb会議アプリケーションである。これにより、通信端末100は、所定の距離の範囲に他の端末が存在するか否かを速やかに検出することができる。
Although the
なお、本発明により、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。 The present invention makes it possible to contribute to Goal 9 of the Sustainable Development Goals (SDGs) led by the United Nations, "Industry and technological innovation."
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of the gist thereof. be. For example, all or part of the device can be functionally or physically distributed and integrated in arbitrary units. In addition, new embodiments resulting from arbitrary combinations of multiple embodiments are also included in the embodiments of the present invention. The effect of the new embodiment caused by the combination has the effect of the original embodiment.
11 第1ユーザ
12 第2ユーザ
13 第3ユーザ
14 第4ユーザ
20 第2ユーザ端末
30 第3ユーザ端末
40 第4ユーザ端末
100 通信端末
110 第1通信部
120 集音部
130 音声出力部
140 表示部
141 入力デバイス
150 第2通信部
160 タイミング調節部
170 記憶部
180 制御部
181 取得部
182 表示制御部
183 音声処理部
184 分離生成部
185 選択部
11
Claims (14)
通話先の通話先端末と第1ネットワークを用いて通信する第1通信部と、
周囲の音声を集音して第1音声データに変換する集音部と、
前記第1ネットワークとは異なる第2ネットワークを用いて当該通信端末から所定の距離の範囲内で通話している第2ユーザの第2ユーザ端末と無線通信し、前記第2ユーザ端末で集音された音声に基づく第2音声データを受信する第2通信部と、
前記集音部が変換した前記第1音声データと、前記第2通信部が受信した前記第2音声データとに基づいて、前記第1音声データに混入した前記第2ユーザの音声に基づく第1混入データを低減させる音声処理部と
を備え、
前記第1通信部は、前記音声処理部が前記第1音声データから前記第1混入データを低減させた通信データを通話先の前記通話先端末に送信する、
通信端末。 A communication terminal operated by a first user,
a first communication unit that communicates with a call destination terminal of a call destination using a first network;
a sound collecting unit that collects ambient sound and converts it into first sound data;
Wireless communication is performed with a second user terminal of a second user who is talking within a predetermined distance from the communication terminal using a second network different from the first network, and sound is collected by the second user terminal. a second communication unit configured to receive second audio data based on the audio generated;
Based on the first audio data converted by the sound collecting unit and the second audio data received by the second communication unit, a first sound based on the second user's voice mixed in the first audio data an audio processor that reduces mixed data; and
The first communication unit transmits communication data obtained by reducing the first mixed data from the first audio data by the audio processing unit to the destination terminal of the destination.
communication terminal.
前記第1音声データが示す前記第1ユーザの音声の音量と前記第2ユーザの音声の音量との比と、前記第2音声データが示す前記第1ユーザの音声の音量と前記第2ユーザの音声の音量との比とが異なることに基づいて前記第1音声データ及び前記第2音声データを独立成分分析することにより、2つの分離音声データを生成する分離生成部と、
前記2つの分離音声データのうち一方の分離音声データと前記第1音声データとの時間系列における相関係数と、前記2つの分離音声データのうち他方の分離音声データと前記第1音声データとの時間系列における相関係数とを比較して、相関係数が大きい方の音声データを前記通信データとして選択する選択部と
を有し、
前記2つの分離音声データは、前記第1混入データを前記第1音声データから低減させた第1分離音声データと、前記第2音声データに混入した前記第1ユーザの音声に基づく第2混入データを前記第2音声データから低減させた第2分離音声データとを含む、
請求項1に記載の通信端末。 The audio processing unit is
A ratio of the volume of the voice of the first user indicated by the first voice data and the volume of the voice of the second user, and the volume of the voice of the first user indicated by the second voice data and the volume of the voice of the second user a separation generating unit configured to generate two separated audio data by performing independent component analysis on the first audio data and the second audio data based on differences in the volume ratio of the audio;
A correlation coefficient in a time series between one of the two separated audio data and the first audio data, and a correlation coefficient between the other separated audio data of the two separated audio data and the first audio data. a selection unit that compares correlation coefficients in a time series and selects voice data with a larger correlation coefficient as the communication data,
The two separated audio data are first separated audio data obtained by reducing the first mixed data from the first audio data, and second mixed data based on the first user's voice mixed in the second audio data. from the second audio data, and
A communication terminal according to claim 1.
前記音声処理部は、前記タイミング調節部が調節した前記第1音声データを用いて前記第1音声データから前記第1混入データを低減させる、
請求項1又は2に記載の通信端末。 further comprising a timing adjusting unit that adjusts the timing of the time axis of the first audio data and the timing of the time axis of the second audio data so as to be close to each other;
The audio processing unit reduces the first mixed data from the first audio data using the first audio data adjusted by the timing adjustment unit.
The communication terminal according to claim 1 or 2.
前記第2通信部は、
前記アドバタイズ信号を受信したことに基づいて前記第2ユーザ端末とBLE接続し、
前記第1通信部が通信を終了したことに応じて、前記第2ユーザ端末とのBLE接続を解除する、
請求項5に記載の通信端末。 The notification signal is a BLE advertising signal,
The second communication unit is
making a BLE connection with the second user terminal based on receiving the advertising signal;
releasing the BLE connection with the second user terminal in response to the first communication unit having finished communication;
The communication terminal according to claim 5.
請求項6に記載の通信端末。 The second communication unit cancels the pairing setting with the second user terminal in response to the communication being terminated by the first communication unit.
A communication terminal according to claim 6.
前記第1ユーザによる操作に基づく、前記第2ユーザ端末と接続するか否かの情報を取得する取得部と
を更に備え、
前記第2通信部は、前記取得部が前記第2ユーザ端末と接続することを示す情報を取得したことに応じて、前記第2ユーザ端末と無線接続する、請求項5から7のいずれか一項に記載の通信端末。 a display control unit that causes a display unit to display that the second user terminal exists when the reception strength of the notification signal received by the second communication unit exceeds a threshold;
an acquisition unit that acquires information as to whether or not to connect to the second user terminal based on the operation by the first user,
8. The second communication unit wirelessly connects to the second user terminal in response to the acquisition unit acquiring information indicating connection to the second user terminal. The communication terminal described in the item.
前記第2通信部は、自動で無線接続することを示す前記設定情報を前記記憶部が記憶している場合、受信した前記報知信号の受信強度が閾値を超えたことに応じて、前記第2ユーザ端末と無線接続する、請求項8に記載の通信端末。 Further comprising a storage unit for storing setting information indicating that the second communication unit automatically establishes a wireless connection with another terminal including the second user terminal,
When the storage unit stores the setting information indicating automatic wireless connection, the second communication unit performs the second 9. A communication terminal according to claim 8, for wireless connection with a user terminal.
請求項11又は12に記載の通信端末。 The second communication unit ends transmission of the notification signal in response to the first communication unit ending communication.
A communication terminal according to claim 11 or 12.
周囲の音声を集音して第1音声データに変換するステップと、
前記第1ネットワークとは異なる第2ネットワークを用いて当該通信端末から所定の距離の範囲内で通話している第2ユーザの第2ユーザ端末と無線通信し、前記第2ユーザ端末で集音された音声に基づく第2音声データを受信するステップと、
前記第1音声データと、受信した前記第2音声データとに基づいて、前記第1音声データに混入した前記第2ユーザの音声に基づく第1混入データを低減させるステップと、
前記第1音声データから前記第1混入データを低減させた通信データを通話先の前記通話先端末に送信するステップと
を有する、通信方法。 A communication method in which a communication terminal operated by a first user communicates with a called terminal of a called party using a first network,
a step of collecting ambient sound and converting it into first sound data;
Wireless communication is performed with a second user terminal of a second user who is talking within a predetermined distance from the communication terminal using a second network different from the first network, and sound is collected by the second user terminal. receiving second audio data based on the audio generated;
reducing first mixed data based on the second user's voice mixed in the first audio data, based on the first audio data and the received second audio data;
and transmitting communication data obtained by reducing the first mixed data from the first audio data to the called terminal of the called party.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022047600A JP7137033B1 (en) | 2022-03-23 | 2022-03-23 | Communication terminal and communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022047600A JP7137033B1 (en) | 2022-03-23 | 2022-03-23 | Communication terminal and communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7137033B1 true JP7137033B1 (en) | 2022-09-13 |
JP2023141338A JP2023141338A (en) | 2023-10-05 |
Family
ID=83271757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022047600A Active JP7137033B1 (en) | 2022-03-23 | 2022-03-23 | Communication terminal and communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7137033B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015481A (en) * | 2006-06-08 | 2008-01-24 | Audio Technica Corp | Voice conference apparatus |
JP2010288114A (en) * | 2009-06-12 | 2010-12-24 | Nippon Telegr & Teleph Corp <Ntt> | Telephone conference device, and telephone conference system using the same |
JP2013211764A (en) * | 2012-03-30 | 2013-10-10 | Brother Ind Ltd | Audio controller, audio control method, and audio control program |
-
2022
- 2022-03-23 JP JP2022047600A patent/JP7137033B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015481A (en) * | 2006-06-08 | 2008-01-24 | Audio Technica Corp | Voice conference apparatus |
JP2010288114A (en) * | 2009-06-12 | 2010-12-24 | Nippon Telegr & Teleph Corp <Ntt> | Telephone conference device, and telephone conference system using the same |
JP2013211764A (en) * | 2012-03-30 | 2013-10-10 | Brother Ind Ltd | Audio controller, audio control method, and audio control program |
Also Published As
Publication number | Publication date |
---|---|
JP2023141338A (en) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7650168B2 (en) | Voice activated dialing for wireless headsets | |
KR100389521B1 (en) | Voice processing method, telephone using the same and relay station | |
EP3185520B1 (en) | Automatic prompt at call-end for disconnection of headset | |
JP2013167806A (en) | Information notification supporting device, information notification supporting method, and program | |
US20120045990A1 (en) | Intelligent Audio Routing for Incoming Calls | |
JP2011512694A (en) | Method for controlling communication between at least two users of a communication system | |
JP5973289B2 (en) | Portable terminal, voice control program, and voice control method | |
EP3217638B1 (en) | Transferring information from a sender to a recipient during a telephone call under noisy environment | |
US20240171953A1 (en) | Earphone communication method, earphone device and computer-readable storage medium | |
CN112822585A (en) | Audio playing method, device and system of in-ear earphone | |
CN110971681A (en) | Voice interaction method, intelligent loudspeaker box, background server and system | |
CN110933555A (en) | TWS noise reduction earphone and noise reduction method and device thereof | |
US20160112574A1 (en) | Audio conferencing system for office furniture | |
JP2022514325A (en) | Source separation and related methods in auditory devices | |
CN112367581B (en) | Earphone device, conversation system, equipment and device | |
JP7137033B1 (en) | Communication terminal and communication method | |
JP4983417B2 (en) | Telephone device having conversation speed conversion function and conversation speed conversion method | |
WO2018088002A1 (en) | Audio adjusting device, control program, electronic apparatus, and method for controlling audio adjusting device | |
JP5890289B2 (en) | Portable terminal, voice control program, and voice control method | |
CN112866855A (en) | Hearing aid method and system, earphone charging box and storage medium | |
JP5376688B2 (en) | Telephone device and call transfer method | |
US10354672B2 (en) | Determination device, determination method that determines process related to reproduction of speech signal | |
WO2018058875A1 (en) | Call switching method and system for terminal, terminal, and computer storage medium | |
JP2007013407A (en) | Sound image localization mobile communication system, mobile communication terminal equipment, radio base station device and sound image localization method on mobile communication terminal | |
WO2018207482A1 (en) | Utterance control device, electronic apparatus, program and control method for utterance control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220527 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7137033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |