JPWO2020022155A1 - 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体 - Google Patents

通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体 Download PDF

Info

Publication number
JPWO2020022155A1
JPWO2020022155A1 JP2020532320A JP2020532320A JPWO2020022155A1 JP WO2020022155 A1 JPWO2020022155 A1 JP WO2020022155A1 JP 2020532320 A JP2020532320 A JP 2020532320A JP 2020532320 A JP2020532320 A JP 2020532320A JP WO2020022155 A1 JPWO2020022155 A1 JP WO2020022155A1
Authority
JP
Japan
Prior art keywords
localization position
call
localization
voice
voice signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2020532320A
Other languages
English (en)
Inventor
健明 末永
健明 末永
永雄 服部
永雄 服部
大津 誠
誠 大津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2020022155A1 publication Critical patent/JPWO2020022155A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Stereophonic System (AREA)

Abstract

通話相手の数が増加しても、通話相手各々の音声信号に対応する音声をユーザが聞き分けやすいように出力する通話端末を提供する。通話端末は、音声信号取得部と、通話相手が追加された場合に、追加された通話相手の音声信号に対応する定位位置を、他の通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部と、音声信号再生部と、を備えている。

Description

本発明は、複数人との通話を行う、通話端末、通話システムおよび通話端末の制御方法に関する。また、本発明は、当該通話端末としてコンピュータを動作させるための通話プログラム、および、そのような通話プログラムが記録されている記録媒体にも関する。
本願は、2018年7月27日に、日本に出願された特願2018−141664に優先権を主張し、その内容をここに援用する。
昨今、スマートフォンなどに代表される情報端末の普及によって、各個人がインターネットを介して様々な情報を取得したり、コミュニケーションを行ったりすることが当たり前となっている。そのような情報端末としては、スマートフォンだけでなく、インターネット上の情報をテレビのインターフェースを介して享受できるスマートテレビや、音声によって当該情報を受け取ることができるスマートスピーカなどが開発されており、目的および用途に応じて使い分けされている。
また、情報端末を用いたコミュニケーション手段の1つとして通話がある。音声を主体とした対話形式のコミュニケーションである通話は、自然なコミュニケーションを実現することができ、現代においても頻繁に用いられている。換言すれば、上述した情報端末は、通話端末としても利用されている。
ところで、複数人との通話において、その通話内容を理解し、適切な通話を継続するには、通話相手を識別したり、通話時点での通話相手を把握したりすることが重要である。特許文献1および2では、音圧パンニングおよび周波数特性などを用いて、ユーザと通話する通話相手の音声信号に対応する音声を定位させる技術が開示されている。
特開平11−68977号公報 特開2004−274147号公報
しかしながら、特許文献1および2のような技術では、通話中に通話相手の数が増加する場合、必ずしも通話相手各々の音声信号に対応する音声をユーザに聞き分けやすいように出力できるわけではない。
本発明の一態様の目的は、通話相手の数が増加しても、通話相手各々の音声信号に対応する音声をユーザが聞き分けやすいように出力する通話端末およびその関連技術を提供することにある。
本発明の一態様に係る通話端末は、1以上の通話相手の各々の音声信号を受信する受信部と、前記通話相手が追加された場合に、追加された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部と、各音声信号に対応する音声が、前記定位位置決定部が決定した前記定位位置に定位するように当該音声を出力する音声出力部と、を備えている。
本発明の一態様に係る通話端末は、1以上の通話相手の各々の音声信号を受信する受信部と、前記通話相手が削除された場合に、削除された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部と、各音声信号に対応する音声が、前記定位位置決定部が決定した前記定位位置に定位するように当該音声を出力する音声出力部と、を備えている。
本発明の一態様に係る通話システムは、通話端末と、通話サーバとを備える通話システムであって、前記通話端末は、1以上の通話相手の各々の音声信号を受信し、前記通話システムは、前記通話端末に対して前記通話相手が追加された場合に、前記通話端末が受信した、追加された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部を備え、前記通話端末は、受信した各音声信号に対応する音声が、前記定位位置決定部が決定した定位位置に定位するように当該音声を出力する。
本発明の一態様に係る通話端末の制御方法は、通話端末が、1以上の通話相手の各々の音声信号を受信する受信工程と、前記通話相手が追加された場合に、追加された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定工程と、前記通話端末が、各音声信号に対応する音声が、前記定位位置決定工程において決定した前記定位位置に定位するように当該音声を出力する音声出力工程と、を含んでいる。
本発明の一態様によれば、通話相手の数が増加しても、通話相手各々の音声信号に対応する音声をユーザが聞き分けやすいように出力する通話端末およびその関連技術を提供することができる。
実施形態1に係る通話端末の要部構成を示すブロック図である。 実施形態1における通話相手の音声信号に対応する音声の定位可能範囲の一例を示す図である。 実施形態1における通話相手の音声信号に対応する定位位置の一例を示す図である。 実施形態1における通話相手の音声信号に対応する定位位置の一例を示す図である。 実施形態1における通話相手の音声信号に対応する定位位置の一例を示す図である。 実施形態1における通話相手の音声信号に対応する定位位置の一例を示す図である。 実施形態1に係る通話端末の制御処理の流れの一例を示すフローチャートである。 実施形態2に係る通話端末の要部構成を示すブロック図である。 実施形態2における通話相手の音声信号に対応する定位位置の一例を示す図である。 実施形態2に係る通話端末の制御処理の流れの一例を示すフローチャートである。 実施形態3に係る通話システムの要部構成を示すブロック図である。
本発明の各実施形態について、以下に詳細に説明する。ただし、これらの実施形態に記載される構成は、特に記載がない限り、本発明の範囲を当該構成のみに限定するものではない。
<実施形態1>
実施形態1に係る通話端末1および通話端末1の制御方法について、図1〜7を参照して以下に説明する。
〔通話端末1〕
図1は、実施形態1に係る通話端末1の要部構成を示すブロック図である。図1に示すように、通話端末1は、通話者数取得部101、音声信号取得部(受信部)102、制御部103、音声信号再生部(音声出力部)104、および記憶部105を備えている。
なお、通話端末1は、多人数(少なくとも3人)による通話を実現可能なように構成されている。また、通話端末1は、テレビ会議システムや、VR空間を介した通話システム等にも好適に利用することができる。以下、多人数による通話に参加する者を通話者と呼び、通話者のうち、通話端末1を操作する者をユーザ、それ以外の者を通話相手と呼ぶ。
[通話者数取得部101]
通話者数取得部101は、通話端末1の外部からユーザと通話する通話相手の数(通話者数)を取得する。本実施形態においては、通話者数は通話を行っている者のうち、ユーザ自身を除いた通話者(通話相手)の数である。例えば、あるユーザと1対1の通話を行っているのであれば通話者数は1であり、3者間の通話を行っている場合は、通話者数は2となる。
なお、通話者数取得部101は、通話者全ての通話端末に備えられていなくてもよい。例えば、ユーザの通話端末1を主端末とし、ユーザの通話端末1のみが通話者数取得部101を備えていてもよい。この場合、ユーザの通話端末1における通話者数取得部101が取得した通話者数の情報を他の通話者(通話相手)の通話端末に送信するようになっていてもよい。また、通話端末1が通話者数取得部101を備えていない場合、当該通話端末1は、通話者数取得部101の代わりに、通話者数取得部101を備えている通話端末1から通話者数の情報を受信するための通話者数受信部109(不図示)を備えていてもよい。これにより、システム全体の処理量を減らしながら効率的に通話者数を取得することができる。また、各通話者の通話端末の代わりに、サーバ110(不図示)が通話者数取得部を備えていてもよい。この場合、サーバ110の通話者数取得部が取得した通話者数の情報を各通話者の通話端末に送信するようになっていてもよい。これによっても、システム全体の処理量を減らしながら効率的に通話者数を取得することができる。
[音声信号取得部102]
音声信号取得部102は、1以上の通話相手の各々の音声信号を取得する。具体的には、音声信号取得部102は、通話者数取得部101が取得した通話者数分の音声信号を通話端末1の外部から取得する。
本実施形態においては、音声信号は、ユーザが通話を行う通話相手の音声に対応する音声信号であり、好ましくは、モノラル形式の音声信号である。音声信号取得部102は、何らかの圧縮方式によって圧縮された音声信号を取得するようになっていてもよい。この場合、音声信号取得部102は、取得した音声信号を適切な復号手法によって復号する。また、音声信号取得部102はモノラル以外の形式の音声信号、すなわち、2以上のチャネル数を持つ音声信号を取得するようになっていてもよい。この場合、音声信号取得部102は、取得した多チャンネルの音声信号を、モノラル信号へダウンミックスするようになっていてもよい。また、上述の圧縮された音声信号の復号およびモノラル信号へのダウンミックスは、後述する音声信号処理部108において行われてもよい。
[制御部103]
制御部103は、通話者数取得部101、音声信号取得部102、音声信号再生部104、および記憶部105を制御すると共に、これらの各部との間でデータを入出力する。制御部103は、例えば、所定のメモリに格納されたプログラムをCPU(Central Processing Unit)が実行することによって実現される。また、制御部103は、通話者数増減検知部106、定位位置決定部107および音声信号処理部108を備えている。
(通話者数増減検知部106)
通話者数増減検知部106は、通話者数の増減を検知する。具体的には、通話者数増減検知部106は、通話者数取得部101から通話者数の情報を取得し、当該通話者数が前回取得した通話者数に対して増加または減少しているかどうかを検知する。通話者数増減検知部106は、通話者数の増減の検知結果とともに、増減した通話者数および増減した通話相手の情報を定位位置決定部107に送る。
(定位位置決定部107)
定位位置決定部107は、通話相手が追加された場合に、追加された通話相手の音声信号に対応する定位位置を、他の通話相手の音声信号に対応する定位位置と重ならないように決定する。また、定位位置決定部107は、通話相手が削除された場合に、削除された通話相手の音声信号に対応する位置を、他の通話相手の音声信号に対応する定位位置と重ならないように決定する。また、定位位置決定部107は、通話者数の増減があった場合、通話者数増減検知部106から通話者数の増減があった旨の通知を受け取る。この場合、定位位置決定部107は、通話者数の増減に基づき、通話相手各々の音声信号に対応する定位位置が重ならないように当該定位位置を変更する。これにより、定位位置をサーバ110側が算出している場合でも、音声信号取得部102によって取得した音声信号を出力される音声の定位に反映させる場合に、通話端末1側で定位位置を決定することができる。また、通話相手の数が増減しても、通話相手各々の音声信号に対応する音声をユーザが聞き分けやすいように出力することができる。定位位置決定部107による通話相手の音声信号に対応する定位位置の決定方法の詳細については後述する。
(音声信号処理部108)
音声信号処理部108は、定位位置決定部107から得られる通話相手各々の音声信号に対応する定位位置と、音声信号取得部102から得られる通話相手各々の音声信号とに基づいて、音声信号再生部104から再生される音声を構築する。
ここで、音声信号処理部108が構築する音声は、定位位置決定部107によって決定された各通話相手の音声信号に対応する定位位置をユーザに知覚させることのできる音声である。当該音声を実現する方法は、音声信号再生部104の構成によって決まる。例えば、音声信号再生部104がヘッドホンまたはイヤホンである場合、音声信号処理部108は、頭部伝達関数(Head-Related Transfer Function; HRTF)を用いて実現したバイノーラル音声信号を構築する。これにより、音声信号処理部108は、ユーザに通話相手各々の音声信号に対応する音声の位置を知覚させる。一方で、音声信号再生部104がステレオスピーカである場合、音声信号処理部108は、上述の頭部伝達関数を用いたトランスオーラル音声信号を構築することでユーザに音声の位置を知覚させてもよい。また、音声信号処理部108は、VBAP(vector base amplitude panning)などの音圧パンニングを利用して音声信号を構築してもよい。
なお、上述の例では、音声信号処理部108が取得する通話相手各々の音声信号はモノラル信号であることを前提に説明している。ただし、音声信号取得部102から得られる特定の通話相手の音声信号がステレオ(2ch)以上の音声信号である場合、音声信号処理部108は、当該音声信号をモノラル信号にダウンミックスなどによって変換してもよい。
[音声信号再生部104]
音声信号再生部104は、各音声信号に対応する音声が、定位位置決定部107が決定した定位位置に定位するように当該音声を出力する。これにより、通話相手の数が増減しても、通話相手各々の音声信号に対応する音声をユーザが聞き分けやすいように出力することができる。また、音声信号再生部104は、制御部103によって音響効果処理が施された各音声信号を当該音声信号再生部104に接続されたスピーカ、ヘッドホン、またはイヤホンなどを介して再生する。これにより、音声信号再生部104は、好適に音声を出力し、ユーザに聞かせることができる。
[記憶部105]
記憶部105は、制御部103が用いる所定のデータを記憶するための二次記憶装置によって構成される。記憶部105は、例えば、磁気ディスク、光ディスク、またはフラッシュメモリとして実現される。具体的には、記憶部105は、HDD(Hard Disk Drive)、SSD(Solid State Drive)またはBD(Blu-Ray(登録商標) Disc)などとして実現される。制御部103は、必要に応じて記憶部105からデータを読み出したり、記憶部105にデータを記録したりすることができる。
〔定位位置決定部107の動作〕
次に、定位位置決定部107の動作について、以下、図2〜6を参照して、詳細に説明する。
[定位可能範囲の設定]
定位位置決定部107は、各音声信号に対応する音声の定位位置を決定する前に、各音声を定位することが可能な範囲である定位可能範囲を設定してもよい。これにより、より好適に各音声の定位位置を決定することができる。ただし、定位位置決定部107は、定位可能範囲を設定せずに、各音声の定位位置を決定してもよい。以下、定位位置決定部107による定位可能範囲の設定方法について、図2を参照して説明する。図2は実施形態1における定位可能範囲の一例を示す図である。
(定位可能範囲の設定例1)
一態様において、定位位置決定部107は、例えば図2の(A)に示すように、ユーザ201を中心とした円内(ユーザ201の周囲)のうち、定位可能範囲開始位置203と定位可能範囲終了位置204とに挟まれた定位可能範囲202aを設定してもよい。この場合、定位位置決定部107は、定位可能範囲202a内に、各音声の定位位置(例えば定位位置205)を決定する。
一態様において、通話端末1は、例えばキーボードまたはタッチパネルなど、ユーザ201から定位可能範囲の入力を受け付ける範囲入力部111(不図示)を備え、定位位置決定部107は、範囲入力部111に入力された範囲を、定位可能範囲として設定してもよい。例えば、範囲入力部111は、定位可能範囲開始位置203および定位可能範囲終了位置204の入力を受け付けるようになっており、定位位置決定部107は、定位可能範囲開始位置203および定位可能範囲終了位置204に挟まれた範囲を定位可能範囲202aとして設定する。
これにより、通話相手が少ない場合などには、定位可能範囲202aを限定して、通話中に注意を払うべき範囲を少なくしたり、通話相手が多い場合などには、定位可能範囲202aを広くして、各通話相手に由来する音声を聞き分けやすくしたりすることができる。
なお、定位可能範囲を規定するために用いるユーザ201を中心とした円の半径は特に限定されず、任意の距離に設定することができる。例えば、定位位置決定部107は、ユーザ201からキーボードまたはタッチパネルなどの任意の指示入力部112(不図示)を介してユーザ201から音声の定位位置までの距離を受け付けることで当該円の半径を決定してもよい。
(定位可能範囲の設定例2)
ユーザ201は、定位可能範囲開始位置203と定位可能範囲終了位置204とを同一であるように入力してもよい。また、ユーザ201は、定位可能範囲の入力を省略してもよい。これらの場合、定位位置決定部107は、図2の(B)に示すように、定位可能範囲を、ユーザ201を中心とした円の全体である定位可能範囲202bに設定してもよい。この場合、定位位置決定部107は、定位可能範囲202b内に、各音声の定位位置(例えば定位位置206)を決定する。
(定位可能範囲の設定例3)
上述の例では、定位可能範囲が連続した範囲である場合について説明したが、定位可能範囲は必ずしも連続した範囲である必要はない。定位位置決定部107は、例えば図2の(C)に示すように、定位可能範囲として、複数の不連続な定位可能範囲202cおよび202dを設定してもよい。
(定位可能範囲の設定例4)
一態様において、通話端末1は、通話端末1の周位の音を検知する検知部113(不図示)を備え、定位位置決定部107は、検知部113が検知した音の発生源を避けるように、各音声信号に対応する定位位置を決定してもよい。
例えば、検知部113が、ユーザ201の前方からテレビ音等の音を検知した場合、定位位置決定部107は、図2の(C)に示すように、定位可能範囲として、ユーザ201の前方を除く不連続な定位可能範囲202cおよび202dを設定し、定位可能範囲202cおよび202d内に、各音声の定位位置207〜209を決定する。これにより、定位位置決定部107は、検知部113が検知した音の発生源を避けるように、各音声信号に対応する定位位置を決定することができる。
これにより、例えばある方向からテレビ音等の音が発生している場合であっても、音の発生源とは異なる方向から通話相手由来の音声が聞こえるようにすることができる。これにより、通話相手各々由来の音声をユーザ201に聞き分けやすくすることができる。なお、音の発生源を避けて各音声の定位位置を決定する構成であれば、音の発生源を避けて定位可能範囲を設定する構成に限定されず、定位位置決定部107は、任意に設定された定位可能範囲内において、音の発生源を避けて各音声の定位位置を決定するようになっていてもよい。
(定位可能範囲の設定例5)
一態様において、定位位置決定部107は、音声信号再生部104が実際に出力音声を定位させることができる範囲に基づいて、定位可能範囲を設定してもよい。具体的には、定位位置決定部107は、音声信号再生部104の位置、または、音声信号再生部104の位置と音声信号処理部108の音声信号構築法とに基づいて、定位可能範囲を設定してもよい。
例えば図2の(D)に示すように、音声信号再生部104がステレオスピーカ210および211であり、音声信号処理部108の音声信号構築法がVBAPであるとする。この場合、音声信号再生部104が出力音声を定位することができる範囲は、ステレオスピーカ210とステレオスピーカ211との間となる。このとき、定位位置決定部107は、ユーザ201とステレオスピーカ210とを結ぶ線を定位可能範囲開始位置203に決定し、ユーザ201とステレオスピーカ211とを結ぶ線を定位可能範囲終了位置204に設定してもよい。
また、図2の(E)に示すように、音声信号再生部104が、ユーザ201を中心とした円上に隣接して配置された5.1chのマルチチャンネルスピーカ212〜214であり、音声信号処理部108の音声信号構築法がVBAPである場合には、音声信号再生部104は、ユーザ201から見て全方位の先に出力音声を定位することができる。このとき、定位位置決定部107は、定位可能範囲として、例えば図2の(B)に示す定位可能範囲202bを設定してもよい。
(定位可能範囲の設定例6)
上述の例では、定位位置決定部107は、定位可能範囲を予め設定しているが、本実施形態ではこれに限定されない。本実施形態では、定位位置決定部107は、通話中に定位可能範囲を設定したり変更(再設定)したりしてもよい。
例えば、通話端末1は、通話中に、指示入力部112を介してユーザ201から定位位置の変更指示を受け付け、定位位置決定部107は、変更指示に基づいて、各音声信号に対応する定位位置を変更してもよい。これにより、例えば、通話中、通話相手各々由来の音声が、定位位置の範囲が広すぎる、または、狭すぎるといった理由で、聞き取りにくい場合に、定位可能範囲の設定を変更することにより、通話相手各々由来の音声の定位位置を、より聞き分けやすい位置に変更することができる。
(定位可能範囲の設定例7)
上述の例では、定位位置決定部107は、ユーザ201を中心とした円内の少なくとも一部の範囲を定位可能範囲に設定しているが、本実施形態ではこれに限定されない。本実施形態では、定位位置決定部107は任意の範囲を定位可能範囲に決定することができ、一態様において、定位位置決定部107は、ユーザ201を中心とした半球上の少なくとも一部の範囲を定位可能範囲に設定してもよい。この場合、定位位置決定部107は、ユーザ201の上方を音声の定位位置に決定することができる。また一態様において、定位位置決定部107は、定位可能範囲として、ユーザ201を中心とした円の円周上の範囲を設定し、当該円周上に各音声の定位位置を決定するようにしてもよい。また一態様において、定位可能範囲は、円の以外の形状を有していてもよい。
[定位位置の決定]
次に、通話の開始直後であって、通話者数を初めて取得した場合における通話相手の音声信号に対応する定位位置の決定方法について、図3〜6を参照して説明する。
(定位位置の決定例1)
定位位置決定部107による各通話相手の音声信号に対応する音声(各通話相手由来の出力音声)の定位位置の決定方法の一例について図3を参照して説明する。なお、以下では、定位位置決定部107は、定位可能範囲202aを設定しているものとする。
通話相手の数が1である場合、定位位置決定部107は、図3の(A)に示すように、定位可能範囲202aのうち予め決定されている定位位置301を、通話相手由来の音声の定位位置として決定する。なお、定位位置301は、ユーザ201の正面の位置であるが、これに限定されず、定位位置決定部107が、他の位置に決定してもよいし、指示入力部112を介したユーザ201の指示に基づいて決定してもよい。
通話相手の数が2以上である場合、定位位置決定部107は、各通話相手由来の音声の定位位置が重ならないように当該音声の定位位置を決定する。詳細には、定位位置決定部107は、定位可能範囲202a内において、各通話相手由来の音声の定位位置を、互いに異なる位置に決定するものであり、好ましくは、各通話相手由来の音声が、ユーザ201に到来する方向が重ならないように、各通話相手由来の音声の定位位置を決定する。例えば、定位位置決定部107は、図3の(B)に示すように、定位可能範囲202aの両端に、各通話相手由来の音声の定位位置302および303を決定してもよい。
また、一態様において、定位可能範囲202aにおいて隣り合う定位位置同士の間隔が均一となるように、各音声信号に対応する定位位置を決定してもよい。例えば、定位位置決定部107は、図3の(C)および(D)に示すように、音声の定位可能範囲202aにおいて隣り合う2つの定位位置同士の間隔が均一となるように定位位置を決定する。例えば、通話相手の数が4である場合には、定位位置決定部107は、図3の(C)に示すように、4人の通話相手由来の音声の定位位置を、音声の定位可能範囲202aを両端および3等分する位置それぞれに決定する。また例えば、通話相手の数が5である場合には、定位位置決定部107は、図3の(D)に示すように、5人の通話相手由来の音声の定位位置を、音声の定位可能範囲202aを両端および4等分する位置それぞれに決定する。これにより、各通話相手由来の音声をより聞き分けやすくすることができる。
上述のように、定位位置決定部107が、通話相手の数に基づき、通話相手各々由来の音声の定位位置を決定することで、通話相手の数に応じて、通話相手各々の音声をユーザ201が聞き分けやすいように出力することができる。
(定位位置の決定例2)
定位位置決定部107による通話相手の音声信号に対応する音声(各通話相手由来の出力音声)の定位位置の決定方法の他の例について図4を参照して説明する。なお、以下では、定位位置決定部107は、定位可能範囲202bを設定しているものとする。
通話相手の数が1である場合、図4の(A)に示すように、定位位置決定部107は、定位可能範囲202bのうち、例えばユーザ201の正面の位置である予め決定されている定位位置401を定位位置として決定する。ただし、定位位置401の位置はこれに限定されない。
通話相手の数が2以上である場合、定位位置決定部107は、各通話相手由来の音声の定位位置が重ならないように当該音声の定位位置を決定する。詳細には、定位位置決定部107は、定位可能範囲202b内において、各通話相手由来の音声の定位位置を、互いに異なる位置に決定するものであり、好ましくは、各通話相手由来の音声が、ユーザ201に到来する方向が重ならないように、各通話相手由来の音声の定位位置を決定する。
また、一態様において、定位可能範囲202bにおいて隣り合う定位位置同士の間隔が均一となるように、各音声信号に対応する定位位置を決定してもよい。
例えば、定位位置決定部107は、図4の(B)および(C)に示すように、音声の定位可能範囲202bにおいて隣り合う2つの定位位置同士の間隔が均一となるように定位位置を決定する。例えば、通話相手が2人である場合には、定位位置決定部107は、図4の(B)に示すように、2人の通話相手由来の音声の定位位置を、音声の定位可能範囲202bを2等分した位置それぞれに決定する。例えば、通話相手が5人である場合には、定位位置決定部107は、図4の(C)に示すように、5人の通話相手由来の音声の定位位置を、音声の定位可能範囲202bを5等分した位置それぞれに決定する。これにより、各通話相手由来の音声をより聞き分けやすくすることができる。
また、定位位置決定部107は、定位可能範囲202bを数等分する際に、任意の分け方で等分することができる。例えば、通話者数が2であり、定位位置決定部107が定位可能範囲202bを2等分した位置に各通話相手由来の音声の定位位置を決定する際に、図4の(B)に示す定位位置402および403の代わりに、図4の(D)に示す定位位置409および410に決定してもよい。また、通話者数が5であり、定位位置決定部107が音声の定位可能範囲202bを5等分した位置に各通話相手由来の音声の定位位置を決定する際に、図4の(C)に示す定位位置404〜408の代わりに、図4の(E)に示す定位位置411〜415に決定してもよい。
(定位位置の決定例3)
定位位置決定部107による通話相手の音声信号に対応する音声(各通話相手由来の出力音声)の定位位置の決定方法の他の例について図5を参照して説明する。なお、以下では、定位位置決定部107は、定位可能範囲202cおよび202dを設定しているものとする。
通話相手の数が1である場合、定位位置決定部107は、定位可能範囲202cおよび202dのうちのいずれかにおける予め決定されている定位位置を、通話相手由来の音声の定位位置として決定する。例えば、図5の(A)に示すように、定位位置決定部107は、定位可能範囲202cのうち予め決定されている定位位置501を、通話相手由来の音声の定位位置として決定してもよい。
通話相手の数が2以上である場合、定位位置決定部107は、各通話相手由来の音声の定位位置が重ならないように当該音声の定位位置を決定する。この場合、定位位置決定部107は、定位可能範囲202cおよび定位可能範囲202dの両方に定位位置が分布するように定位位置を決定する。
例えば、通話相手の数が2である場合、定位位置決定部107は、図5の(B)に示すように、定位可能範囲202cおよび202dにそれぞれ1つの定位位置(定位可能範囲202cにおける定位位置502および定位可能範囲202dにおける定位位置503)を決定する。
また例えば、通話相手の数が3である場合、定位位置決定部107は、図5の(C)に示すように、定位可能範囲202c内に2つの定位位置(504および505)を決定し、定位可能範囲202d内に1つの定位位置(506)を決定してもよい。また、定位位置決定部107は、図5の(D)に示すように、定位可能範囲202c内に1つの定位位置(507)を決定し、定位可能範囲202d内に2つの定位位置(508および509)を決定してもよい。
また例えば、通話相手の数が5である場合、定位位置決定部107は、定位可能範囲202cおよび202dのそれぞれにおいて、隣り合う通話者の音声の定位位置同士の間隔が均一となるように定位位置を決定する。この場合、定位位置決定部107は、例えば、図5の(E)に示すように、定位可能範囲202c内に4つの定位位置510〜513を決定し、定位可能範囲202d内に1つの定位位置514を決定してもよい。また、定位位置決定部107は、図5の(F)に示すように、定位可能範囲202c内に3つの定位位置515〜517を決定し、定位可能範囲202d内に2つの定位位置518および519を決定してもよい。
このとき、定位位置決定部107は、図5の(E)および(F)に示すように、音声の定位可能範囲202cおよび202dの少なくとも一方において、隣り合う通話者の音声の定位位置同士の間隔が均一となるように各定位位置を決定することが好ましい。
このように、通話者数が3以上である場合、定位可能範囲202dおよび202dの少なくとも一方において、隣り合う通話者の音声の定位位置同士の間隔が均一となるように当該定位位置を決定することで、ユーザ201にとって聞き分けやすい位置に各通話者の音声を容易に定位させることができる。
(定位位置の決定例4)
上述の例では、定位位置決定部107は、通話相手の数が所定の数以上である場合に、定位可能範囲における各定位位置を、隣り合う定位位置同士の間隔が均一となるように決定している。ただし、定位位置決定部107は、隣り合う定位位置同士の間隔が均一となるように、各定位位置を決定しなくてもよい。
以下、図6を参照して、定位位置決定部107による通話者の音声の定位位置の決定方法の一例について説明する。図6は、実施形態1における音声の定位位置の一例を示す図である。
例えば、通話相手の数が5である場合に、定位位置決定部107は、図6の(A)に示すように、定位可能範囲202bを5等分してもよいが、図6の(B)に示すように、5等分しなくともよい。特に、定位可能範囲202bを境界線603によって前方領域601と後方領域602とに分けた場合、ユーザ201の音声の知覚は、前方に比べて後方からの音声に対して鈍いことがある。この場合、定位位置決定部107は、図6の(B)に示すように、後方領域602における定位位置607および608の間隔を、前方領域601における定位位置604〜606に比べて広くなるように決定することにより、より好適にユーザに対して各音声を出力することができる。
また、定位位置決定部107は、少なくとも各通話相手由来の音声の定位位置が、ユーザ201から見て所定の角度以上離れるように各定位位置を決定してもよい。所定の角度は特に限定されないが、1度、5度、10度、15度、20度、25度、30度等、適宜設定することができる。これによっても、ユーザ201にとって通話相手の音声が聞き取りやすい範囲に定位位置を決定することができる。
[定位位置の変更]
次に、通話者数が増減した場合における、定位位置決定部107による、通話相手由来の音声の定位位置の変更方法について説明する。上述したように、定位位置決定部107は、通話者数の増減に基づき、通話相手各々由来の音声の定位位置が重ならないように当該定位位置を変更する。
従来型の1対1を想定した通話では、当然のことながら片方の通話相手が通話を終了すると通話自体が終了する。一方、ユーザを含めた多人数の通話(多人数通話)では、いずれかの通話者(通話相手)が通話を終了しても、全体としての通話は残った通話者間で継続される。また、既に開始されている多人数通話に、新たに通話相手が加わることも考えられる。このように、多人数通話では、通話の最中に通話相手が増減することがある。この場合、映像を伴う音声による通話に比べて、映像を伴わない音声のみによる通話においては、通話相手の音声信号に対応する音声を聞き分けることが難しい。これに対し、上述のように、通話者数の増減に基づき、通話相手各々の音声信号に対応する定位位置が重ならないように当該定位位置を変更することで、通話者数が増減しても、通話相手各々の音声信号に対応する音声をユーザが聞き分けやすいように出力することができる。
<通話相手の増加(追加)時>
本実施形態では、通話者数増減検知部106が通話相手が増加(追加)されたことを検知した場合に、定位位置決定部107は、(i)追加された通話相手の音声信号に対応する定位位置を、他の通話相手(追加前の通話相手)の音声信号に対応する定位位置と重ならないように決定するとともに、(ii)当該他の通話相手の音声信号に対応する定位位置を、その相対位置関係(並び順)を維持しつつ、追加後の通話相手の数に応じて変更する。
例えば、一態様において、定位位置決定部107は、追加後の各通話相手の音声信号に対応する定位位置を、上述した定位位置の決定例1〜4と同様に決定する。このとき、追加前から存在する通話相手の音声信号に対応する定位位置同士の間では、相対位置関係(並び順)が維持されるようにする。具体例を挙げて説明すれば、以下の通りである。
例えば、図3の(C)に示すように通話相手の数が4の通話状態から、通話相手の数が5に増加したとする。増加前の通話相手は、通話相手A〜Dであり、通話相手Eが追加されたものとする。また、図3の(C)に示す定位位置304〜307は、それぞれ通話相手A〜Dの音声信号に対応する。
この場合、定位位置決定部107は、図3の(D)に示すように、通話相手A〜Dの音声信号に対応する定位位置を、それぞれ、定位位置308〜311に変更するとともに、通話相手Eの音声信号に対応する定位位置を、定位位置312に決定する。
ここで、定位位置308〜312は、定位位置の決定例1と同様に、定位可能範囲202aにおいて隣り合う定位位置同士の間隔が均一となるように決定されたものである。ただし、通話相手A〜Eの音声信号に対応する定位位置の決定方法はこれに限定されず、定位位置の決定例4のように、隣り合う定位位置同士の間隔が均一でなくともよい。いずれにせよ、定位位置308〜312は、追加後の通話相手の数に基づいて決定されるものである。
また、定位位置決定部107は、図3の(C)に示す通話相手各々の音声信号に対応する定位位置の相対位置関係を変更しないように定位位置を変更する。具体的には、定位位置決定部107は、定位位置304に定位していた音声が定位位置308に定位し、定位位置305に定位していた音声が定位位置309に定位し、定位位置306に定位していた音声が定位位置310に定位し、定位位置307に定位していた音声が定位位置311に定位するように定位位置をそれぞれ変更する。そして、新たに加わった通話相手の音声信号に対応する定位位置をユーザ201に対して右端の位置である定位位置312に決定する。
ただし、本実施形態はこれに限定されず、定位位置決定部107は、新たに加わった通話相手の音声信号に対応する定位位置をユーザ201に対して他の位置に決定してもよい。例えば、定位位置決定部107は、図3の(D)に示す定位位置308に新たに加わった通話相手の音声信号に対応する定位位置を決定してもよい。この場合、定位位置決定部107は、定位位置304に定位していた音声が定位位置309に定位し、定位位置305に定位していた音声が定位位置310に定位し、定位位置306に定位していた音声が定位位置311に定位し、定位位置307に定位していた音声が定位位置312に定位するように定位位置をそれぞれ変更する。これにより、上述の例と同様に、通話相手が追加される前の通話相手各々の音声信号に対応する定位位置の相対位置関係を維持することができる。
なお、上述の例では、通話相手の数が4と5との間で1つ増加した場合について説明しているが、本実施形態ではこれに限定されない。本実施形態では、通話相手の数は任意の数で増加してもよい。その場合も、定位位置決定部107は、上述の例と同様に、追加後の各通話相手の音声信号に対応する定位位置を、上述した定位位置の決定例1〜4と同様に決定するとともに、追加前から存在する通話相手の音声信号に対応する定位位置同士の間では、相対位置関係(並び順)が維持されるようにすればよい。
上述のように、通話相手が追加された場合に、(i)追加された通話相手の音声信号に対応する定位位置を、他の通話相手(追加前の通話相手)の音声信号に対応する定位位置と重ならないように決定するとともに、(ii)当該他の通話相手の音声信号に対応する定位位置を、その相対位置関係(並び順)を維持しつつ、追加後の通話相手の数に応じて変更することにより、(i)新たに追加された通話相手由来の音声をユーザが好適に聞き分けることができるとともに、(ii)元から存在する通話相手由来の音声の定位位置の相対位置関係(並び順)を維持することによって、ユーザが通話相手を誤認することを防ぐことができる。
<通話相手の減少(削除)時>
本実施形態では、通話者数増減検知部106が通話相手が減少(削除)されたことを検知した場合に、定位位置決定部107は、残存した通話相手の音声信号に対応する定位位置を、その相対位置関係(並び順)を維持しつつ、削除後の通話相手の数に応じて変更する。
例えば、一態様において、定位位置決定部107は、削除後の各通話相手の音声信号に対応する定位位置を、上述した定位位置の決定例1〜4と同様に決定する。このとき、残存した通話相手の音声信号に対応する定位位置同士の間では、相対位置関係(並び順)が維持されるようにする。具体例を挙げて説明すれば、以下の通りである。
例えば、図3の(D)に示すように通話者数が5の通話状態から、定位位置311に定位する音声を発する通話相手が通話を終了し、通話者数が4に減少したとする。この場合、定位位置決定部107は、通話相手の音声信号に対応する定位位置を図3の(C)に示す定位位置304〜307に変更する。ここで、定位位置決定部107は、図3の(D)に示す通話相手各々の音声信号に対応する定位位置の相対位置関係(並び順)を変更しないように定位位置を変更する。具体的には、定位位置決定部107は、定位位置308に定位していた音声が定位位置304に定位し、定位位置309に定位していた音声が定位位置305に定位し、定位位置310に定位していた音声が定位位置306に定位し、定位位置312に定位していた音声が定位位置307に定位するように定位位置をそれぞれ変更する。
なお、上述の例では、通話相手の数が5と4との間で1つ減少した場合について説明しているが、本実施形態ではこれに限定されない。本実施形態では、通話相手の数は任意の数で減少してもよい。その場合も、定位位置決定部107は、上述の例と同様に、削除後の各通話相手の音声信号に対応する定位位置を、上述した定位位置の決定例1〜4と同様に決定するとともに、残存する通話相手の音声信号に対応する定位位置同士の間では、相対位置関係(並び順)が維持されるようにすればよい。
上述のように、通話相手が削除された場合に、残存した通話相手の音声信号に対応する定位位置を、その相対位置関係(並び順)を維持しつつ、削除後の通話相手の数に応じて変更することにより、(i)残存した通話相手由来の音声同士をユーザが好適に聞き分けることができるとともに、(ii)ユーザが通話相手を誤認することを防ぐことができる。
<通話中における定位位置の変更>
定位位置決定部107は、通話中に、通話相手由来の音声の定位位置を変更してもよい。これにより、ユーザ201は、予め決定した音声の定位位置に定位した音声が聞き分けにくい場合であっても、指示入力部112を介して変更指示を入力するなどして、定位位置決定部107に、各通話相手に由来する音声の定位位置を後から変更させることができる。その結果、各通話相手に由来する音声の定位位置をユーザ201にとってより聞き分けやすい好適な位置に決定することができる。
また、指示入力部112を介した変更指示が定位位置の回転指示である場合、定位位置決定部107は、回転指示に基づいて、各通話相手由来の音声の定位位置を、ユーザ201(各音声の受聴者)を中心として回転させてもよい。
例えば、通話相手の数が2であり、定位位置決定部107が定位可能範囲を定位可能範囲202bに決定しているとする。この場合、定位位置決定部107は、ユーザ201の指示に基づき、図4の(B)に示す定位位置402および403から図4の(D)に示す定位位置409および410にユーザ201(各音声の受聴者)を中心に回転してもよい。そして、定位位置決定部107は、各通話相手由来の音声の定位位置を、回転後の定位位置409および410に決定してもよい。
また例えば、通話相手の数が5であり、定位位置決定部107が定位可能範囲を定位可能範囲202bに決定しているとする。この場合、定位位置決定部107は、ユーザ201の指示に基づき、図5の(C)に示す各通話相手由来の音声の定位位置404〜408を図5の(E)に示す定位位置411〜415にユーザ201(各音声の受聴者)を中心に回転してもよい。そして、定位位置決定部107は、各通話相手由来の音声の定位位置を、回転後の定位位置411〜415に決定してもよい。
これにより、例えば、通話相手と通話した際に、予め決定された音声の定位位置から聞こえる通話相手各々由来の音声が聞き分けにくい場合であっても、通話相手由来の音声の定位位置を、ユーザ201にとって通話者各々由来の音声をより聞き分けやすい位置に変更することができる。
〔通話端末1の制御処理〕
次に、図7を参照して、本実施形態に係る通話端末1の制御処理(通話端末の制御方法)の流れを説明する。図7は、実施形態1に係る通話端末1の制御処理の流れの一例を示すフローチャートである。
ステップS101において、通話者数取得部101は、通話端末1の外部から通話相手の数を取得する。また、音声信号取得部102は、1以上の通話相手各々の音声信号を取得する(受信工程)。
ステップS102において、通話者数増減検知部106は、通話者数取得部101から通話相手の数を取得し、当該通話相手の数が増減しているか否かを判定する。通話者数増減検知部106が、通話相手の数が増減していると判定した場合(ステップS102のYES)、ステップS106に進む。通話者数増減検知部106が、通話相手の数が増減していないと判定した場合(ステップS102のNO)、ステップS103に進む。
ステップS103において、定位位置決定部107が未だ各通話相手の音声信号に対応する定位位置を決定していない場合(ステップS103のNO)、ステップS104に進む。ステップS103において、定位位置決定部107が既に各通話相手の音声信号に対応する定位位置を決定している場合(ステップS103のYES)、現在の通話相手の音声信号に対応する定位位置を変更せずにステップS105に進む。
ステップS104において、定位位置決定部107は、通話相手の数に基づき、各通話相手の音声信号に対応する定位位置を決定する。例えば、通話相手の数が1である場合、定位位置決定部107は、当該通話相手の音声信号に対応する定位位置を、予め決定されている定位位置に決定する。また、通話相手の数が2以上である場合、定位位置決定部107は、各通話相手の音声信号に対応する定位位置を、他の通話相手の音声信号に対応する定位位置と重ならないように決定する(定位位置決定工程)。この場合、定位位置決定部107は、隣り合う通話相手の音声信号に対応する定位位置同士の間隔が均一となるように、当該定位位置を決定してもよい。その後、ステップS105に進む。
ステップS105において、音声信号再生部104は、各音声信号に対応する音声が、定位位置決定工程において決定した定位位置に定位するように当該音声を出力し、処理を終了する(音声出力工程)。
ステップS106において、定位位置決定部107は、通話相手の数の増減に基づき、各通話相手の音声信号に対応する定位位置を変更する(定位位置変更工程)。このとき、定位位置決定部107は、元から存在していた通話相手同士で、互いの音声信号の定位位置の相対位置関係(並び順)が変わらないように、各通話相手の音声信号の定位位置を変更する。
例えば、一態様において、定位位置決定部107は、通話相手が追加された場合、追加前の通話相手の音声信号に対応する定位位置の並び順を維持しつつ、追加後の通話相手の数に応じて、各音声信号に対応する定位位置を変更してもよい。また、一態様において、定位位置決定部107は、通話相手が削除された場合、残存した通話相手の音声信号に対応する定位位置の並び順を維持しつつ、削除後の通話相手の数に応じて、各音声信号に対応する定位位置を変更してもよい。
なお、定位位置決定部107が、増減後(追加後、または、削除後)の通話相手の数に応じて、各音声信号に対応する定位位置を変更する態様としては、例えば、各通話相手の音声信号に対応する定位位置同士の間隔が均一となるように、各定位位置を変更する態様が挙げられる。
以上により、通話相手の数が変化しても、各通話相手の音声信号に対応する定位位置の相対位置関係(並び順)が変化しないため、各通話相手由来の音声を好適に把握することができるとともに、増減後の通話相手の数に応じて、各音声信号に対応する定位位置を変更することにより、各通話相手由来の音声を聞きやすくすることができる。
(変形例)
一態様において、定位位置決定部107は、各通話相手の音声信号に対応する定位位置をどのように変更するかを決定するための演算を自ら行ってもよいし、演算自体は通話端末1にネットワークを介して接続されたサーバ110において行い、通話端末1がサーバ110による演算結果を受信し、定位位置決定部107が当該受信結果に基づいて各通話相手の音声信号に対応する定位位置を変更する構成であってもよい。
また、上述の例では、図7のステップS101およびステップS102に示すように、通話者数増減検知部106は、通話者数取得部101から通話相手の数を取得することにより、当該通話相手の数が増減しているか否かを判定しているが、本実施形態ではこれに限定されない。本実施形態では、通話相手の数の増減の判定を他の方法によって行ってもよい。例えば、通話者数増減検知部106は、ユーザ201が通話に参加したときのみ図7のステップS101に示すように通話者数取得部101から通話相手の数を取得し、通話相手の通話へのログイン、ログオフイベントに基づいて通話相手の数の増減を判定してもよい。
<実施形態2>
上述の実施形態1に係る通話端末1では、定位位置決定部107は、通話者数が増減する前の通話相手各々の音声信号に対応する定位位置の相対位置関係を変更しないように当該定位位置を変更している。ただし、定位位置決定部は、実施形態2に係る通話端末10の制御部1030における定位位置決定部1070のように、通話者数が増減する前の通話相手各々の絶対位置を変更しないように通話相手の音声信号に対応する定位位置を変更してもよい。
以下、実施形態2に係る通話端末10について図8〜10を参照して説明する。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を割愛する。
〔通話端末10〕
図8は、実施形態2に係る通話端末10の要部構成を示すブロック図である。
図8に示すように、通話端末10は、実施形態1に係る通話端末1の制御部103の代わりに制御部1030を備えている。この点以外は、通話端末10は、実施形態1に係る通話端末1と同様の構成である。
[制御部1030]
図8に示すように、制御部1030は、実施形態1における定位位置決定部107の代わりに、定位位置決定部1070を備えている。この点以外は、制御部1030は、実施形態1における制御部103と同様の構成である。
(定位位置決定部1070)
定位位置決定部1070は、通話者数の増減に基づき、通話者数が増減する前の通話相手各々の絶対位置を変更しないように通話相手の音声信号に対応する定位位置を変更する。
定位位置決定部1070は、通話相手が追加された場合、追加前の通話相手の音声信号に対応する定位位置を維持しつつ、追加前の通話相手の音声信号に対応する定位位置に応じて、追加された通話相手の音声信号に対応する定位位置を決定する。一態様において、定位位置決定部1070は、追加前の通話相手の音声信号に対応する定位位置によって埋められていない空き位置を特定し、特定した空き位置を、追加された通話相手の音声信号に対応する定位位置として決定する。
また、定位位置決定部1070は、通話相手が削除された場合、残存した通話相手の音声信号に対応する定位位置を維持する。例えば、通話を終了する通話相手がいる場合など、通話相手の数が減少する場合、定位位置決定部1070は、削除される通話相手の音声信号に対応する定位位置を空き状態にする。ここでは、空き状態とは、通話相手の音声信号に対応する音声が割り当てられていない状態のことを指す。
なお、定位位置決定部1070は、通話相手の数の上限および定位位置の候補位置を予め決定してもよい。この場合、定位位置決定部1070は、通話相手の数が上限を超える場合には、通話相手が増加した場合であっても、増加した通話相手の音声信号に対応する定位位置を決定せず、通話に参加させない。また、各通話相手の音声信号に対応する定位位置を、予め決定された定位位置の候補位置からのみ選択する。ただし、本発明はこれに限定されず、定位位置決定部1070は、通話相手の数の上限を設けなくともよく、定位位置を任意の位置に決定するようになっていてもよい。
〔定位位置の変更〕
以下に、通話相手の数が増減した場合における、定位位置決定部1070による通話相手の音声信号に対応する定位位置の変更方法について図9を参照して説明する。図9は実施形態2における通話相手の音声信号に対応する定位位置の一例を示す図である。以下、定位位置決定部1070が、通話者数の上限を5とし、図9に示す定位位置901〜905を、予め決定された定位位置の候補位置とする場合について説明する。
ここで、定位位置901〜905には、それぞれ識別子1〜5が割り当てられている。また、各通話相手に関する通話相手情報は、一例として、下記表1に示す構造を有する。すなわち、通話相手情報には、各通話相手を一意に識別するための通話相手の識別子と、当該通話相手の音声信号に対応する定位位置を示す定位位置の識別子とが含まれている。なお、定位位置が未定の場合には、定位位置の識別子は、未定を示す識別子であってもよい。
Figure 2020022155
通話相手の数が増減した場合、定位位置決定部1070は、通話者数増減検知部106から、通話相手の数が増減した旨の通知とともに、各通話相手の通話相手情報を受け取る。定位位置決定部1070は、この通話相手情報を処理することにより、各通話相手の音声信号に対応する定位位置を操作することができる。
図9において、例えば、定位位置901に対応する識別子1が割り当てられた通話相手が通話を終了し、通話相手の数が1だけ減少したとする。この場合、定位位置決定部1070は、定位位置901を空き状態とし、残りの通話相手の音声信号に対応する定位位置をそのままにする。また、定位位置901および903に対応する通話相手が既に通話に参加している状態で、新たに1人通話相手が参加し、通話相手の数が1だけ増加したとする。この場合、定位位置決定部1070は、現在空き状態となっている定位位置に対応する識別子の数の中で一番値の小さい識別子に対応する定位位置を新たに参加した通話相手の音声信号に対応する定位位置に決定する。具体的には、定位位置決定部1070は、現在空き状態となっている定位位置902、904および905に対応する識別子2、4および5のうち、一番値の小さな識別子2に対応する定位位置902に新たに参加した通話相手の音声信号に対応する定位位置を決定する。
上述のように、通話者数が増減する前の通話相手各々の絶対位置を変更しないように通話相手の音声信号に対応する定位位置を決定することによっても、通話相手各々の音声信号に対応する定位位置の位置関係の変化を最低限とすることができる。これにより、通話者数の増減前にユーザが認識していた各通話相手の音声信号に対応する定位位置の位置関係が大きく崩れるのを防ぐことができる。その結果、ユーザが通話相手を誤認識することを防ぐことができるため、通話相手の数が増減しても、通話相手各々の音声信号に対応する音声をユーザがより聞き分けやすいように出力することができる。また、通話相手の識別子などを用いて、通話者数の上限および定位位置を予め決定しておくことによって、通話者数が増減する前の通話相手各々の絶対位置を変更しないように通話相手の音声信号に対応する定位位置をより好適に変更することができる。
なお、上述の例では、定位位置決定部1070は、現在空き状態となっている定位位置に対応する識別子の数の中で一番値の小さい識別子に対応する定位位置を新たに参加した通話相手の音声信号に対応する定位位置に決定している。ただし、本実施形態では、定位位置決定部1070は、通話者数が増減する前の通話相手各々の絶対位置を変更しないように通話相手の音声信号に対応する定位位置を変更できる範囲で、任意の識別子に対応する定位位置を新たに参加した通話相手の音声信号に対応する定位位置に決定してもよい。
〔通話端末10の制御処理〕
次に、図10を参照して、本実施形態に係る通話端末10の制御処理(通話端末の制御方法)の流れを説明する。図10は、実施形態2に係る通話端末10の制御処理の流れの一例を示すフローチャートである。
ここで、ステップS201〜ステップS205は、実施形態1に係る通話端末1の制御処理のステップS101〜ステップS105と同じであるため、説明を省略する。
ステップS206において、定位位置決定部1070は、通話者数増減検知部106から通話相手情報を取得する。
ステップS207において、通話者数が増加する場合(ステップS207のYES)、すなわち、通話に新たに参加する通話相手がいる場合、ステップS208に進む。通話者数が増加しておらずに変化している場合(ステップS207のNO)、すなわち、通話を終了する通話相手がいて通話者数が減少する場合、ステップS209に進む。
ステップS208において、定位位置決定部1070は、新たに参加した通話相手の音声信号に対応する定位位置を、現在空き状態になっている定位位置のうち、新たに参加した通話相手に対応する識別子に対応する定位位置に決定する(定位位置変更工程)。
ステップS209において、定位位置決定部1070は、通話を終了した通話相手の音声信号に対応する定位位置を空き状態にする(定位位置変更工程)。
<実施形態3>
実施形態1に係る通話端末1の機能は、実施形態3に係る通話システム100によって実現されてもよい。
以下、実施形態3に係る通話システム100について図11を参照して説明する。なお、説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を割愛する。
〔通話システム100〕
図11は、実施形態3に係る通話システム100の要部構成を示すブロック図である。通話システム100は、通話端末200と、通話サーバ300とを備えている。また、通話サーバ300は、定位位置決定部107を備えている。
このように、通話システム100は、通話端末200が、実施形態1に係る通話端末1における定位位置決定部107を備える制御部103の代わりに、定位位置決定部107を備えていない制御部10300を備えており、定位位置決定部107を備える通話サーバ300をさらに備えている。
通話システム100は、通話端末200が、1以上の通話相手の各々の音声信号を受信し、通話システム100は、通話端末200に対して通話相手が追加された場合に、通話端末200が受信した、追加された通話相手の音声信号に対応する定位位置を、他の通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部107を備え、通話端末200は、受信した各音声信号に対応する音声が、定位位置決定部107が決定した定位位置に定位するように当該音声を出力する。
より具体的には、図11に示すように、通話システム100は、通話端末200の通話者数取得部101が通話相手の数を取得し、音声信号取得部102が通話相手各々の音声信号を取得する。通話端末200の通話者数増減検知部106は、通話者数取得部101から通話者数の情報を取得し、当該通話者数が前回取得した通話者数に対して増加または減少しているかどうかを検知する。通話サーバ300の定位位置決定部107は、通話端末200の通話者数増減検知部106の検知結果に基づき、通話相手が追加または削除された場合に、追加または削除された通話相手の音声信号に対応する定位位置を、他の通話相手の音声信号に対応する定位位置と重ならないように決定する。通話端末200の音声信号処理部108は、通話端末200の音声信号取得部102から得られる通話相手各々の音声信号と、通話サーバ300の定位位置決定部107から得られる各々の音声信号に対応する定位位置とに基づいて、音声信号再生部104から再生される音声を構築する。通話端末200の音声信号再生部104は、各音声信号に対応する音声が、通話サーバ300の定位位置決定部107が決定した定位位置に定位するように各音声を出力する。
このように、通話システム100は、全体として、実施形態1に係る通話端末1と同様に機能する。また、通話システム100によれば、定位位置決定部107の処理を通話サーバ300が行うことで、通話端末200の処理量を低減させることができる。
なお、上述の例では、通話システム100は、通話端末200の代わりに通話サーバ300が定位位置決定部107を備えている場合について説明したが、本実施形態ではこれに限定されない。本実施形態では、通話端末200は、少なくとも音声信号再生部104を備えていればよく、その他の部材を通話端末200の代わりに通話サーバ300が備えていてもよい。例えば、通話端末200の代わりに通話サーバ300が記憶部105、定位位置決定部107および制御部10300、すなわち、図1の記憶部105および制御部103を備えていたり、通話端末200の代わりに通話サーバ300が、制御部103および記憶部105に加え、通話者数取得部101および音声信号取得部102をさらに備えていたりしてもよい。この場合も、通話システム100は、通話端末200の処理量を減らしつつ、全体として、実施形態1に係る通話端末1と同様に機能することができる。
〔ソフトウェアによる実現例〕
通話端末1、10の制御ブロック(特に通話者数増減検知部106、定位位置決定部107、1070および音声信号再生部104)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、通話端末1、10は、各機能を実現するソフトウェアである通話プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記通話プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記通話プログラムを上記記録媒体から読み取って実行することにより、本実施形態の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記通話プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該通話プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記通話プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

Claims (11)

  1. 1以上の通話相手の各々の音声信号を受信する受信部と、
    前記通話相手が追加された場合に、追加された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部と、
    各音声信号に対応する音声が、前記定位位置決定部が決定した前記定位位置に定位するように当該音声を出力する音声出力部と、を備えていることを特徴とする通話端末。
  2. 1以上の通話相手の各々の音声信号を受信する受信部と、
    前記通話相手が削除された場合に、削除された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部と、
    各音声信号に対応する音声が、前記定位位置決定部が決定した前記定位位置に定位するように当該音声を出力する音声出力部と、を備えていることを特徴とする通話端末。
  3. 前記定位位置決定部は、前記通話相手が追加された場合、追加前の前記通話相手の音声信号に対応する定位位置の並び順を維持しつつ、追加後の前記通話相手の数に応じて、各音声信号に対応する定位位置を変更することを特徴とする請求項1または2に記載の通話端末。
  4. 前記定位位置決定部は、前記通話相手が削除された場合、残存した前記通話相手の音声信号に対応する定位位置の並び順を維持しつつ、削除後の前記通話相手の数に応じて、各音声信号に対応する定位位置を変更することを特徴とする請求項1〜3のいずれか1項に記載の通話端末。
  5. 前記定位位置決定部は、隣り合う前記定位位置同士の間隔が均一となるように、前記各音声信号に対応する定位位置を変更することを特徴とする請求項3または4に記載の通話端末。
  6. 前記定位位置決定部は、前記通話相手が追加された場合、追加前の前記通話相手の音声信号に対応する定位位置を維持しつつ、追加前の前記通話相手の音声信号に対応する定位位置に応じて、追加された前記通話相手の音声信号に対応する定位位置を決定することを特徴とする請求項1に記載の通話端末。
  7. 前記定位位置決定部は、前記通話相手が削除された場合、残存した前記通話相手の音声信号に対応する定位位置を維持することを特徴とする請求項1または6に記載の通話端末。
  8. 通話端末と、通話サーバとを備える通話システムであって、
    前記通話端末は、1以上の通話相手の各々の音声信号を受信し、
    前記通話システムは、前記通話端末に対して前記通話相手が追加された場合に、前記通話端末が受信した、追加された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定部を備え、
    前記通話端末は、受信した各音声信号に対応する音声が、前記定位位置決定部が決定した定位位置に定位するように当該音声を出力することを特徴とする通話システム。
  9. 通話端末の制御方法であって、
    前記通話端末が、1以上の通話相手の各々の音声信号を受信する受信工程と、
    前記通話相手が追加された場合に、追加された前記通話相手の音声信号に対応する定位位置を、他の前記通話相手の音声信号に対応する定位位置と重ならないように決定する定位位置決定工程と、
    前記通話端末が、各音声信号に対応する音声が、前記定位位置決定工程において決定した前記定位位置に定位するように当該音声を出力する音声出力工程と、を含むことを特徴とする通話端末の制御方法。
  10. 請求項1〜7のいずれか1項に記載の通話端末としてコンピュータを機能させるための通話プログラムであって、前記定位位置決定部として前記コンピュータを機能させるための通話プログラム。
  11. 請求項10に記載の通話プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2020532320A 2018-07-27 2019-07-17 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体 Ceased JPWO2020022155A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018141664 2018-07-27
JP2018141664 2018-07-27
PCT/JP2019/028142 WO2020022155A1 (ja) 2018-07-27 2019-07-17 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
JPWO2020022155A1 true JPWO2020022155A1 (ja) 2021-08-12

Family

ID=69180440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532320A Ceased JPWO2020022155A1 (ja) 2018-07-27 2019-07-17 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体

Country Status (3)

Country Link
US (1) US20210185175A1 (ja)
JP (1) JPWO2020022155A1 (ja)
WO (1) WO2020022155A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116494A (ja) * 2005-10-21 2007-05-10 Yamaha Corp 音声会議装置
JP2009033298A (ja) * 2007-07-25 2009-02-12 Nec Corp 通信システム及び通信端末
US20090111443A1 (en) * 2007-10-31 2009-04-30 Embarq Holdings Company Llc System and method for wireless conferencing
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042396A (ja) * 1996-07-23 1998-02-13 Sanyo Electric Co Ltd 音像制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116494A (ja) * 2005-10-21 2007-05-10 Yamaha Corp 音声会議装置
JP2009033298A (ja) * 2007-07-25 2009-02-12 Nec Corp 通信システム及び通信端末
US20090111443A1 (en) * 2007-10-31 2009-04-30 Embarq Holdings Company Llc System and method for wireless conferencing
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call
US20170272880A1 (en) * 2014-06-23 2017-09-21 Glen A. Norris Sound Localization for an Electronic Call

Also Published As

Publication number Publication date
WO2020022155A1 (ja) 2020-01-30
US20210185175A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
US20140226842A1 (en) Spatial audio processing apparatus
US9749474B2 (en) Matching reverberation in teleconferencing environments
US9961208B2 (en) Schemes for emphasizing talkers in a 2D or 3D conference scene
TWI604715B (zh) 電話會議音量調整方法及系統
US10111020B1 (en) Systems and methods for initiating action based on audio output device
US20210266694A1 (en) An Apparatus, System, Method and Computer Program for Providing Spatial Audio
JP2015136100A (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
US20220351737A1 (en) Using Non-Audio Data Embedded in an Audio Signal
WO2020022154A1 (ja) 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体
US11930350B2 (en) Rendering audio
CN113760219A (zh) 信息处理方法和装置
US20220095047A1 (en) Apparatus and associated methods for presentation of audio
JPWO2020022155A1 (ja) 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体
US11665271B2 (en) Controlling audio output
WO2021014990A1 (ja) 音声処理装置、音声処理方法、および記録媒体
US20230276187A1 (en) Spatial information enhanced audio for remote meeting participants
US11825283B2 (en) Audio feedback for user call status awareness
US11627429B2 (en) Providing spatial audio signals
WO2016009850A1 (ja) 音声信号再生装置、音声信号再生方法、プログラム、および、記録媒体
CN117931116A (zh) 音量调节方法、电子设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20220726