WO2020022154A1 - 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体 - Google Patents

通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体 Download PDF

Info

Publication number
WO2020022154A1
WO2020022154A1 PCT/JP2019/028141 JP2019028141W WO2020022154A1 WO 2020022154 A1 WO2020022154 A1 WO 2020022154A1 JP 2019028141 W JP2019028141 W JP 2019028141W WO 2020022154 A1 WO2020022154 A1 WO 2020022154A1
Authority
WO
WIPO (PCT)
Prior art keywords
localization
localization position
call
determination unit
unit
Prior art date
Application number
PCT/JP2019/028141
Other languages
English (en)
French (fr)
Inventor
健明 末永
永雄 服部
大津　誠
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2020532319A priority Critical patent/JPWO2020022154A1/ja
Priority to US17/263,538 priority patent/US20210185174A1/en
Publication of WO2020022154A1 publication Critical patent/WO2020022154A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42348—Location-based services which utilize the location information of a target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/30—Determination of the location of a subscriber

Definitions

  • calls using general call terminals are mainly assumed to be one-to-one calls.
  • One-to-many or many-to-many communication such as a video conference system is based on a dedicated system.
  • the multi-person call system described in Patent Literature 1 is based on a dedicated call server device.
  • a call terminal determines a receiving unit that receives an audio signal of each of one or more communication partners and a localization position corresponding to each of the audio signals received by the receiving unit so as not to overlap each other.
  • a localization position determination unit and an audio output unit that outputs the audio so that the audio corresponding to each audio signal is localized at the localization position determined by the localization position determination unit.
  • a call system is a call system including a call terminal and a call server, wherein the call terminal receives an audio signal of each of one or more call partners, and the call system includes:
  • the communication terminal further includes a localization position determination unit that determines a localization position corresponding to each audio signal received by the communication terminal so that the localization positions do not overlap each other, and the voice corresponding to each received audio signal is the localization position determination unit. Is output so that the sound is localized at the determined localization position.
  • the method for controlling a call terminal includes a receiving step in which the call terminal receives an audio signal of each of one or more communication partners; and a voice signal received by the call terminal in the receiving step.
  • FIG. 2 is a block diagram illustrating a main configuration of the call terminal according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a localizable range according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a sound localization position according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a sound localization position according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a sound localization position according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a sound localization position according to the first embodiment.
  • 5 is a flowchart illustrating an example of a flow of a control process of the call terminal according to the first embodiment.
  • FIG. 9 is a block diagram illustrating a main configuration of a call terminal according to a second embodiment.
  • FIG. 14 is a diagram illustrating an example of a localizable range according to the second embodiment.
  • 13 is a flowchart illustrating an example of a flow of a control process of the call terminal according to the second embodiment.
  • FIG. 11 is a block diagram illustrating a main configuration of a communication system according to a third embodiment.
  • the call terminal 1 is configured so that a call by a large number of people (at least three people) can be realized. Further, the call terminal 1 can be suitably used for a video conference system, a call system via a VR space, and the like.
  • a person who participates in a multi-person call is referred to as a caller, and among the callers, a person who operates the call terminal 1 is referred to as a user, and other persons are referred to as callers.
  • the number-of-talkers obtaining unit 101 obtains the number of parties to talk with the user from outside the calling terminal 1.
  • the number of callers indicates the number of callers excluding the user himself / herself among the callers participating in the call. For example, if the user is making a one-to-one call with a certain user, the number of the other party is one, and if the user is making a three-party call, the number of the other party is two.
  • the number-of-talkers acquisition unit 101 may calculate the number of callers by obtaining the number of callers participating in the call and subtracting 1 from the number.
  • the number-of-talkers acquisition unit 101 does not need to be provided in all the calling terminals of the callers.
  • the user's call terminal 1 may be the main terminal, and only the user's call terminal 1 may include the number-of-talkers acquisition unit 101.
  • the information on the number of callers acquired by the number-of-talkers acquisition unit 101 in the call terminal 1 of the user may be transmitted to the call terminal of another caller (the other party).
  • a server (not shown) may include a number-of-talkers acquisition unit instead of the calling terminal of each talker.
  • information on the number of callers obtained by the caller number obtaining unit of the server may be transmitted to the call terminal of each caller. This also makes it possible to efficiently obtain the number of callers while reducing the processing amount of the entire system.
  • the audio signal acquisition unit 102 acquires an audio signal of each of one or more communication partners. Specifically, the audio signal acquisition unit 102 acquires the audio signals for the number of callers acquired by the caller number acquisition unit 101 from outside the call terminal 1.
  • the audio signal is an audio signal corresponding to the audio of the other party with which the user talks, and is preferably a monaural audio signal.
  • the audio signal acquisition unit 102 may acquire an audio signal compressed by any compression method. In this case, the audio signal acquisition unit 102 decodes the acquired audio signal using an appropriate decoding technique.
  • the audio signal acquisition unit 102 may acquire an audio signal in a format other than monaural, that is, an audio signal having two or more channels. In this case, the audio signal acquisition unit 102 may down-mix the acquired multi-channel audio signal into a monaural signal.
  • Control unit 103 controls the number-of-talkers acquisition unit 101, the audio signal acquisition unit 102, the audio signal reproduction unit 104, and the storage unit 105, and inputs and outputs data to and from these units.
  • the control unit 103 is realized, for example, by a CPU (Central Processing Unit) executing a program stored in a predetermined memory. Further, the control unit 103 includes a localization position determination unit 106 and an audio signal processing unit 107.
  • CPU Central Processing Unit
  • the audio signal processing unit 107 is based on the audio signal of each communication partner obtained from the audio signal acquisition unit 102 and the localization position corresponding to each audio signal obtained from the localization position determination unit 106. Constructs (generates) the sound to be played back from.
  • the sound constructed by the sound signal processing unit 107 is a sound that allows the user to perceive a sense of localization based on the localization position determined by the localization position determination unit 106.
  • the audio signal processing unit 107 constructs a binaural audio signal realized using a head-related transfer function (HRTF).
  • HRTF head-related transfer function
  • the audio signal processing unit 107 constructs a transaural audio signal using the above-described head-related transfer function to perceive the user (listener) as having a sense of localization. May be. Further, the audio signal processing unit 107 may construct the audio signal using sound pressure panning such as VBAP (vector base amplitude panning).
  • sound pressure panning such as VBAP (vector base amplitude panning).
  • the audio signal reproduction unit (audio output unit) 104 outputs each audio so that the audio corresponding to each audio signal is localized at the localization position determined by the localization position determination unit 106.
  • the audio signal reproduction unit 104 reproduces each audio signal on which the sound effect processing has been performed by the control unit 103, via a speaker, headphones, earphones, or the like connected to the audio signal reproduction unit 104.
  • the audio signal reproducing unit 104 can output audio to be heard by the user (listener).
  • the audio signal reproducing unit 104 outputs the audio so that the voice of each of the communication partners is localized at the localization position determined by the localization position determination unit 106.
  • the storage unit 105 is configured by a secondary storage device for storing predetermined data used by the control unit 103.
  • the storage unit 105 is realized, for example, as a magnetic disk, an optical disk, or a flash memory.
  • the storage unit 105 is realized as a hard disk drive (HDD), a solid state drive (SSD), a Blu-Ray (registered trademark) Disc (BD), or the like.
  • the control unit 103 can read data from the storage unit 105 and record data in the storage unit 105 as needed.
  • the localization position determination unit 106 may set a localization possible range, which is a range in which each audio can be localized, before determining the localization position of the audio corresponding to each audio signal. Thereby, the localization position of each sound can be more suitably determined. However, the localization position determination unit 106 may determine the localization position of each sound without setting the localization possible range.
  • a method of setting the localizable range by the localization position determination unit 106 will be described with reference to FIG.
  • FIG. 2 is a diagram illustrating an example of a localizable range according to the first embodiment.
  • the localization position determination unit 106 determines the localization possible range start position 2030 and the localization possible range within a circle around the user 201 (around the user 201). A localizable range 202a sandwiched between the end position 204 and the end position 204 may be set. In this case, the localization position determination unit 106 determines the localization position (for example, the localization position 205) of each sound within the localization possible range 202a.
  • the call terminal 1 includes a range input unit 108 (not shown) that receives an input of a localizable range from the user 201, such as a keyboard or a touch panel, and the localization position determination unit 106 is input to the range input unit 108. May be set as the localizable range.
  • the range input unit 108 receives an input of a localizable range start position 203 and a localizable range end position 204, and the localization position determination unit 106 determines the localizable range start position 203 and the localizable range end position.
  • the range sandwiched between the frames 204 is set as the localizable range 202a.
  • the localizable range 202a is limited to reduce the area to be paid attention during a call, and when the number of callers is large, the localizable range 202a is increased. Thus, it is possible to make it easier to distinguish sounds originating from each of the other parties.
  • the radius of the circle centered on the user 201 used for defining the localizable range is not particularly limited, and can be set to an arbitrary distance.
  • the localization position determination unit 106 determines the radius of the circle by receiving the distance from the user 201 to the localization position of the voice from the user 201 via an arbitrary instruction input unit 109 (not shown) such as a keyboard or a touch panel. May be.
  • the user 201 may input the localizable range start position 203 and the localizable range end position 204 so as to be the same. Further, the user 201 may omit the input of the localizable range. In these cases, the localization position determination unit 106 may set the localizable range to the localizable range 202b that is the entire circle centered on the user 201, as shown in FIG. 2B. In this case, the localization position determination unit 106 determines the localization position (for example, the localization position 206) of each sound within the localization possible range 202b.
  • the localization position determination unit 106 sets the front of the user 201 as the localization possible range as illustrated in FIG.
  • the non-contiguous localizable ranges 202c and 202d are set, and the localization positions 207 to 209 of the respective voices are determined within the localizable ranges 202c and 202d. Accordingly, the localization position determination unit 106 can determine the localization position corresponding to each audio signal so as to avoid the sound source detected by the detection unit 110.
  • voice avoiding the sound source it is not limited to the structure which sets the localization possible range avoiding a sound source, and the localization position determination part 106 Within the set localization possible range, the localization position of each sound may be determined avoiding the sound source.
  • the localization position determination unit 106 may set the localization possible range based on the range in which the audio signal reproduction unit 104 can actually localize the output sound. Specifically, the localization position determination unit 106 sets the localization possible range based on the position of the audio signal reproduction unit 104 or the position of the audio signal reproduction unit 104 and the audio signal construction method of the audio signal processing unit 107. May be.
  • the audio signal reproduction unit 104 is the stereo speakers 210 and 211, and the audio signal construction method of the audio signal processor 107 is VBAP.
  • the range in which the audio signal reproduction unit 104 can localize the output audio is between the stereo speakers 210 and 211.
  • the localization position determination unit 106 determines the line connecting the user 201 and the stereo speaker 210 as the localization range start position 203, and sets the line connecting the user 201 and the stereo speaker 211 as the localization range end position 204. May be.
  • the audio signal reproducing unit 104 includes 5.1ch multi-channel speakers 212 to 214 arranged adjacent to each other on a circle centered on the user 201.
  • the audio signal reproduction unit 104 can localize the output audio in all directions as viewed from the user 201.
  • the localization position determination unit 106 may set the localization possible range 202b shown in FIG. 2B as the localization possible range.
  • the localization position determination unit 106 sets the localization possible range in advance, but the present embodiment is not limited to this. In the present embodiment, the localization position determination unit 106 may set or change (re-set) the localization possible range during a call.
  • the localization position determination unit 106 sets a range on the circumference of a circle centered on the user 201 as the localization possible range, and determines the localization position of each sound on the circumference. Is also good.
  • the localizable range may have a shape other than a circle.
  • Example 1 of determining the localization position An example of a method of determining the localization position of the sound (output sound from each communication partner) corresponding to the audio signal of each communication partner by the localization position determination unit 106 will be described with reference to FIG. In the following, it is assumed that the localization position determination unit 106 has set the localization possible range 202a.
  • the localization possible range 202b can be equally divided in an arbitrary manner. For example, when the number of callers is 2, and the localization position determination unit 106 determines the localization position of the voice from each communication partner at a position obtained by equally dividing the localizable range 202b into two parts, the position shown in FIG. 4B is used. Instead of the localization positions 402 and 403, the localization positions 409 and 410 shown in FIG. Also, when the number of callers is 5, and the localization position determination unit 106 determines the localization position of the voice originating from each communication partner at a position obtained by dividing the localization possible range 202b of the voice into five equal parts, FIG. Instead of the localization positions 404 to 408 shown in FIG. 4, the localization positions 411 to 415 shown in FIG.
  • Localization position determination example 3 Another example of the method of determining the localization position of the sound (output sound from each communication partner) corresponding to the voice signal of the communication partner by the localization position determination unit 106 will be described with reference to FIG. In the following, it is assumed that the localization position determination unit 106 has set the localization possible ranges 202c and 202d.
  • the localization position determination unit 106 determines the localization positions of the voices originating from the callers so that the localization positions of the voices do not overlap. In this case, the localization position determination unit 106 determines the localization position such that the localization positions are distributed in both the localization possible range 202c and the localization possible range 202d.
  • the localization position determination unit 106 sets one localization position (localization position in the localization possible range 202c) in each of the localization possible ranges 202c and 202d as shown in FIG. 502 and the localization position 503) in the localization possible range 202d are determined.
  • the localization position determination unit 106 determines the distance between the localization positions of the voices of the adjacent callers in at least one of the voice localization ranges 202c and 202d. It is preferable to determine each of the localization positions so that is uniform.
  • the localization position determination unit 106 may change the localization position of the voice from the other party during the call. Accordingly, the user 201 can input a change instruction through the instruction input unit 109 to the localization position determination unit 106 even when the sound localized at the predetermined localization position of the audio is difficult to distinguish.
  • the localization position of the voice originating from each call partner can be changed later. As a result, it is possible to determine the localization position of the voice originating from each communication partner to a suitable position that is easier for the user 201 to hear.
  • the localization position determination unit 106 determines the localization position of the voice from each communication partner based on the rotation instruction by the user 201 (each voice). May be rotated around the listener).
  • the localization position determination unit 106 determines each localization position in the localization possible range so that the interval between adjacent localization positions becomes uniform when the number of callers is equal to or greater than a predetermined number. ing. However, the localization position determination unit 106 does not have to determine each of the localization positions so that the intervals between adjacent localization positions are uniform.
  • FIG. 6 is a diagram illustrating an example of a sound localization position according to the first embodiment.
  • the localization position determination unit 106 may divide the localizable range 202b into five equal parts as shown in FIG. As shown in), it is not necessary to divide into five equal parts.
  • the localizable range 202b is divided into the front area 601 and the rear area 602 by the boundary line 603, the perception of the voice of the user 201 may be weaker for the voice from behind than for the front.
  • the localization position determination unit 106 sets the distance between the localization positions 607 and 608 in the rear area 602 to be wider than the localization positions 604 to 606 in the front area 601 as shown in FIG. By deciding, each voice can be output to the user more suitably.
  • FIG. 7 is a flowchart illustrating an example of a flow of a control process of the communication terminal 1 according to the first embodiment.
  • step S101 the number-of-talkers acquisition unit 101 acquires the number of callers from outside the call terminal 1.
  • the audio signal acquisition unit 102 acquires (receives) an audio signal of each of one or more communication partners (reception step, audio signal acquisition step). After that, it advances to step S102.
  • step S102 the localization position determination unit 106 determines whether the number of callers acquired by the caller number acquisition unit 101 is greater than one. If the number of callers is more than one (YES in step S102), the process proceeds to step S103. If the number of callers is 1 (NO in step S102), the process proceeds to step S104.
  • step S103 the localization position determination unit 106 determines the localization positions corresponding to the audio signals acquired in the audio signal acquisition step so as not to overlap each other (localization position determination step). At this time, preferably, the localization position determination unit 106 determines the localization positions such that the intervals between the localization positions of the sounds of the adjacent callers are uniform. Thereafter, the process proceeds to step S105.
  • step S104 the localization position determination unit 106 determines the localization position of the output voice from the communication partner to a predetermined position (localization position determination step). Thereafter, the process proceeds to step S105.
  • step S105 the audio signal processing unit 107 generates an output audio so that the audio corresponding to the audio signal of each communication partner is localized at the localization position determined in the localization position determination step, and is output from the audio signal reproduction unit 104. (Voice output step).
  • FIG. 8 is a block diagram illustrating a main configuration of the communication terminal 10 according to the second embodiment.
  • the call terminal 10 includes a control unit 1030 instead of the control unit 103 of the call terminal 1 according to the first embodiment. Except for this point, the call terminal 10 has the same configuration as the call terminal 1 according to the first embodiment.
  • control unit 1030 As illustrated in FIG. 8, the control unit 1030 includes a localization position determination unit 1060 instead of the localization position determination unit 106 in the first embodiment. Except for this point, the control unit 1030 has the same configuration as the control unit 103 in the first embodiment.
  • the localization range is determined so that the larger the number of callers, the larger the localization range, and the smaller the number of callers, the smaller the localization range. Since the range can be minimized and the localizable range becomes large when the number of callers is large, each localization position can be arranged so that many voices can be distinguished.
  • the localization position determination unit 1060 determines the localization position corresponding to each audio signal such that the intervals between adjacent localization positions are uniform and the intervals are maximum in the determined localization possible range. Thereby, the localization position determination unit 1060 can determine an appropriate localization position according to the number of callers obtained from the caller number acquisition unit 101.
  • FIG. 9 is a diagram illustrating an example of a localization range according to the second embodiment.
  • the localization position determination unit 1060 determines the localization possible range to be the localization possible range 902a that is a straight line in front of the user 201, as shown in FIG. Further, the localization position determination unit 1060 determines the localization position of the voice from the communication partner to the localization position 901 uniquely determined from the localization possible range 902a.
  • the localization position determination unit 1060 determines the localizable range to a localizable range 902b corresponding to the case where the number of callers is two, as shown in FIG. I do. Further, the localization position determination unit 1060 determines the localization positions 903 and 904 of the voices from the respective communication partners so that the intervals between the adjacent localization positions in the localization possible range 902b are uniform.
  • the localization position determination unit 1060 determines the localizable range to the localizable range 902c corresponding to the case where the number of callers is 5, as shown in FIG. 9C. . In addition, the localization position determination unit 1060 assigns the localization positions 905 to 909 obtained by dividing the localization range 902c into four equal parts so that the intervals between adjacent localization positions in the localization possible range 902c are uniform. Determine the localization position.
  • FIG. 10 is a flowchart illustrating an example of a flow of a control process of the communication terminal 10 according to the second embodiment.
  • step S203 the localization position determination unit 1060 determines the localization positions corresponding to the audio signals acquired in the audio signal acquisition step so as not to overlap each other. In addition, the localization position determination unit 1060 determines each of the localization positions so that the intervals between adjacent localization positions are uniform in the determined localization possible range (localization position determination step).
  • step S204 the audio signal reproduction unit 104 outputs the audio so that the audio corresponding to each audio signal is located at the localization position determined in the localization position determination step in step S203, and ends the processing (audio output). Process).
  • FIG. 11 is a block diagram illustrating a main configuration of the communication system 100 according to the third embodiment.
  • the call system 100 includes a call terminal 200 and a call server 300. Further, the call server 300 includes a localization position determination unit 106.
  • the communication terminal 200 includes the control unit 10300 not including the localization position determination unit 106 instead of the control unit 103 including the localization position determination unit 106 in the communication terminal 1 according to the first embodiment. And a call server 300 including a localization position determination unit 106.
  • the communication terminal 200 receives the voice signal of each of the one or more communication partners, and the communication system 100 determines that the localization positions corresponding to the voice signals received by the communication terminal 200 do not overlap each other.
  • the call terminal 200 outputs the voice so that the voice corresponding to each received audio signal is localized at the localization position determined by the localization position determination unit 106.
  • the number of callers 101 obtains the number of callers, and the voice signal obtainer 102 outputs the voice signal of each caller. get.
  • the localization position determination unit 106 of the call server 300 determines the localization positions corresponding to the audio signals acquired by the audio signal acquisition unit 102 of the communication terminal 200 so as not to overlap each other.
  • the voice signal processing unit 107 of the call terminal 200 corresponds to each voice signal of the call partner obtained from the voice signal acquisition unit 102 of the call terminal 200 and each voice signal obtained from the localization position determination unit 106 of the call server 300. Based on the localization position, the audio reproduced from the audio signal reproducing unit 104 is constructed (generated).
  • the audio signal reproducing unit 104 of the call terminal 200 outputs each sound such that the sound corresponding to each sound signal is located at the localization position determined by the localization position determination unit 106 of the call server 300.
  • the communication system 100 functions as a whole in the same manner as the communication terminal 1 according to the first embodiment. Further, according to the call system 100, the processing of the localization position determination unit 106 is performed by the call server 300, so that the processing amount of the call terminal 200 can be reduced.
  • the call terminal 200 only needs to include at least the audio signal reproducing unit 104, and other members may be included in the call server 300 instead of the call terminal 200.
  • the call server 300 instead of the call terminal 200, the call server 300 includes the storage unit 105, the localization position determination unit 106, and the control unit 10300, that is, the storage unit 105 and the control unit 103 in FIG.
  • the server 300 may further include a caller number acquiring unit 101 and a voice signal acquiring unit 102 in addition to the control unit 103 and the storage unit 105.
  • the communication system 100 can function similarly to the communication terminal 1 according to the first embodiment as a whole while reducing the processing amount of the communication terminal 200.
  • the call terminals 1 and 10 include a computer that executes a command of a call program that is software for realizing each function.
  • This computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium storing the communication program. Then, in the computer, the object of the present embodiment is achieved by the processor reading and executing the call program from the recording medium.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the recording medium include "temporary tangible media” such as ROM (Read Only Memory), tapes, disks, cards, semiconductor memories, and programmable logic circuits.
  • a RAM Random Access Memory
  • the call program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the call program.
  • a transmission medium a communication network, a broadcast wave, or the like
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the communication program is embodied by electronic transmission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)

Abstract

多人数による通話を好適に実現することができる通話端末およびその関連技術を提供する。通話端末は、１以上の通話相手の各々の音声信号を受信する音声信号取得部と、受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定部と、各音声信号に対応する音声が、定位位置決定部が決定した定位位置に定位するように音声を出力する音声信号再生部と、を備える。

Description

通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体
　本発明は、複数人との通話を行う、通話端末、通話システムおよび通話端末の制御方法に関する。また、本発明は、当該通話端末としてコンピュータを動作させるための通話プログラム、および、そのような通話プログラムが記録されている記録媒体にも関する。
　本願は、２０１８年７月２７日に、日本に出願された特願２０１８－１４１６６３に優先権を主張し、その内容をここに援用する。
　昨今、スマートフォンなどに代表される情報端末の普及によって、各個人がインターネットを介して様々な情報を取得したり、コミュニケーションを行ったりすることが当たり前となっている。そのような情報端末としては、スマートフォンだけでなく、インターネット上の情報をテレビのインターフェースを介して享受できるスマートテレビや、音声によって当該情報を受け取ることができるスマートスピーカなどが開発されており、目的および用途に応じて使い分けされている。
　また、情報端末を用いたコミュニケーション手段の１つとして通話がある。音声を主体とした対話形式のコミュニケーションである通話は、自然なコミュニケーションを実現することができ、現代においても頻繁に用いられている。換言すれば、上述した情報端末は、通話端末としても利用されている。
特開平１１-６８９７７号公報
　しかし、従来、一般的な通話端末による通話は、主に１対１の通話を想定している。テレビ会議システムなどの１対多または多対多の通話は、専用のシステムを前提としている。例えば、特許文献１に記載の多人数通話システムは、専用の通話サーバ装置を前提としている。
　本発明の一態様の主たる目的は、多人数による通話を好適に実現することができる通話端末およびその関連技術を提供することにある。
　本発明の一態様に係る通話端末は、１以上の通話相手の各々の音声信号を受信する受信部と、前記受信部で受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定部と、各音声信号に対応する音声が、前記定位位置決定部が決定した前記定位位置に定位するように当該音声を出力する音声出力部と、を備える。
　本発明の一態様に係る通話システムは、通話端末と、通話サーバとを備える通話システムであって、前記通話端末は、１以上の通話相手の各々の音声信号を受信し、前記通話システムは、前記通話端末が受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定部を備え、前記通話端末は、受信した各音声信号に対応する音声が、前記定位位置決定部が決定した定位位置に定位するように当該音声を出力する。
　本発明の一態様に係る通話端末の制御方法は、前記通話端末が、１以上の通話相手の各々の音声信号を受信する受信工程と、前記通話端末が、前記受信工程において受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定工程と、前記通話端末が、各音声信号に対応する音声が、前記定位位置決定工程において決定した前記定位位置に定位するように当該音声を出力する音声出力工程と、を含む。
　本発明の一態様によれば、通話端末によって多人数による通話を好適に実現することができる。
実施形態１に係る通話端末の要部構成を示すブロック図である。 実施形態１における定位可能範囲の一例を示す図である。 実施形態１における音声の定位位置の一例を示す図である。 実施形態１における音声の定位位置の一例を示す図である。 実施形態１における音声の定位位置の一例を示す図である。 実施形態１における音声の定位位置の一例を示す図である。 実施形態１に係る通話端末の制御処理の流れの一例を示すフローチャートである。 実施形態２に係る通話端末の要部構成を示すブロック図である。 実施形態２における定位可能範囲の一例を示す図である。 実施形態２に係る通話端末の制御処理の流れの一例を示すフローチャートである。 実施形態３に係る通話システムの要部構成を示すブロック図である。
　本発明の各実施形態について、以下に詳細に説明する。ただしこれらの実施形態に記載される構成は、特に記載がない限り、本発明の範囲を当該構成のみに限定するものではない。
　＜実施形態１＞
　実施形態１に係る通話端末１および通話端末１の制御方法について、図１～７を参照して以下に説明する。
　〔通話端末１〕
　図１は、実施形態１に係る通話端末１の要部構成を示すブロック図である。図１に示すように、通話端末１は、通話者数取得部１０１、音声信号取得部（受信部）１０２、制御部１０３、音声信号再生部（音声出力部）１０４、および記憶部１０５を備えている。
　なお、通話端末１は、多人数（少なくとも３人）による通話を実現可能なように構成されている。また、通話端末１は、テレビ会議システムや、ＶＲ空間を介した通話システム等にも好適に利用することができる。以下、多人数による通話に参加する者を通話者と呼び、通話者のうち、通話端末１を操作する者をユーザ、それ以外の者を通話相手と呼ぶ。
　［通話者数取得部１０１］
　通話者数取得部１０１は、通話端末１の外部からユーザと通話する通話相手の数を取得する。本実施形態においては、通話相手の数は通話に参加している通話者のうち、ユーザ自身を除いた通話者の人数を指す。例えば、あるユーザと１対１の通話を行っているのであれば通話相手の数は１であり、３者間の通話を行っている場合は、通話相手の数は２となる。なお、通話者数取得部１０１は、通話に参加する通話者の数を取得し、それから１を減算することで通話相手の数を算出してもよい。
　なお、通話者数取得部１０１は、通話者全ての通話端末に備えられていなくてもよい。例えば、ユーザの通話端末１を主端末とし、ユーザの通話端末１のみが通話者数取得部１０１を備えていてもよい。この場合、ユーザの通話端末１における通話者数取得部１０１が取得した通話者数の情報を他の通話者（通話相手）の通話端末に送信するようになっていてもよい。これにより、システム全体の処理量を減らしながら効率的に通話者数を取得することができる。また、各通話者の通話端末の代わりに、サーバ（不図示）が通話者数取得部を備えていてもよい。この場合、サーバの通話者数取得部が取得した通話者数の情報を各通話者の通話端末に送信するようになっていてもよい。これによっても、システム全体の処理量を減らしながら効率的に通話者数を取得することができる。
　［音声信号取得部１０２］
　音声信号取得部１０２は、１以上の通話相手各々の音声信号を取得する。具体的には、音声信号取得部１０２は、通話者数取得部１０１が取得した通話者数分の音声信号を通話端末１の外部から取得する。本実施形態においては、音声信号は、ユーザが通話を行う通話相手の音声に対応する音声信号であり、好ましくは、モノラル形式の音声信号である。音声信号取得部１０２は、何らかの圧縮方式によって圧縮された音声信号を取得するようになっていてもよい。この場合、音声信号取得部１０２は、取得した音声信号を適切な復号手法によって復号する。また、音声信号取得部１０２はモノラル以外の形式の音声信号、すなわち、２以上のチャネル数を持つ音声信号を取得するようになっていてもよい。この場合、音声信号取得部１０２は、取得した多チャンネルの音声信号を、モノラル信号へダウンミックスするようになっていてもよい。
　［制御部１０３］
　制御部１０３は、通話者数取得部１０１、音声信号取得部１０２、音声信号再生部１０４、および記憶部１０５を制御すると共に、これらの各部との間でデータを入出力する。制御部１０３は、例えば、所定のメモリに格納されたプログラムをＣＰＵ（Central Processing Unit）が実行することによって実現される。また、制御部１０３は、定位位置決定部１０６および音声信号処理部１０７を備えている。
　（定位位置決定部１０６）
　定位位置決定部１０６は、音声信号取得部１０２で取得した各音声信号に対応する定位位置を互いに重ならないように決定する。各音声信号に対応する定位位置とは、出力音声における各音声信号に対応する音声の定位位置を意味する。定位位置決定部１０６は、通話端末１から出力される出力音声において、１以上の通話相手各々の音声の定位位置が重ならないように、各定位位置を決定する。これにより、通話端末１は、通話相手各々に由来する音声をユーザが聞き分けやすいように出力することができる。定位位置決定部１０６による音声の定位位置の決定方法の詳細については後述する。
　（音声信号処理部１０７）
　音声信号処理部１０７は、音声信号取得部１０２から得られる通話相手各々の音声信号と、定位位置決定部１０６から得られる各々の音声信号に対応する定位位置とに基づいて、音声信号再生部１０４から再生される音声を構築（生成）する。
　ここで、音声信号処理部１０７が構築する音声は、定位位置決定部１０６によって決定された定位位置に基づく定位感をユーザに知覚させることのできる音声である。当該定位感を実現する方法は、音声信号再生部１０４の構成によって様々である。例えば、音声信号再生部１０４がヘッドホンまたはイヤホンである場合、音声信号処理部１０７は、頭部伝達関数（Head-Related Transfer Function; HRTF）を用いて実現したバイノーラル音声信号を構築する。これにより、音声信号処理部１０７は、ユーザ（受聴者）に定位感を知覚させる。一方で、音声信号再生部１０４がステレオスピーカである場合、音声信号処理部１０７は、上述の頭部伝達関数を用いたトランスオーラル音声信号を構築することでユーザ（受聴者）に定位感を知覚させてもよい。また、音声信号処理部１０７は、ＶＢＡＰ（vector base amplitude panning）などの音圧パンニングを利用して音声信号を構築してもよい。
　［音声信号再生部１０４］
　音声信号再生部（音声出力部）１０４は、各音声信号に対応する音声が、定位位置決定部１０６が決定した定位位置に定位するように各音声を出力する。一例として、音声信号再生部１０４は、制御部１０３によって音響効果処理が施された各音声信号を当該音声信号再生部１０４に接続されたスピーカ、ヘッドホン、またはイヤホンなどを介して再生する。これにより、音声信号再生部１０４は、音声を出力し、ユーザ(受聴者）に聞かせることができる。また、音声信号再生部１０４は、定位位置決定部１０６によって決定された定位位置に通話相手各々の音声が定位するように該音声を出力する。これにより、通話相手各々に由来する音声をユーザが聞き分けやすいように出力することができる。
　［記憶部１０５］
　記憶部１０５は、制御部１０３が用いる所定のデータを記憶するための二次記憶装置によって構成される。記憶部１０５は、例えば、磁気ディスク、光ディスク、またはフラッシュメモリとして実現される。具体的には、記憶部１０５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）またはＢＤ（Blu-Ray（登録商標） Disc）などとして実現される。制御部１０３は、必要に応じて記憶部１０５からデータを読み出したり、記憶部１０５にデータを記録したりすることができる。
　〔定位位置決定部１０６による定位位置の決定〕
　次に、定位位置決定部１０６による定位位置の決定方法について、以下、図２～６を参照して、詳細に説明する。
　［定位可能範囲の設定］
　定位位置決定部１０６は、各音声信号に対応する音声の定位位置を決定する前に、各音声を定位することが可能な範囲である定位可能範囲を設定してもよい。これにより、より好適に各音声の定位位置を決定することができる。ただし、定位位置決定部１０６は、定位可能範囲を設定せずに、各音声の定位位置を決定してもよい。以下、定位位置決定部１０６による定位可能範囲の設定方法について、図２を参照して説明する。図２は実施形態１における定位可能範囲の一例を示す図である。
　（定位可能範囲の設定例１）
　一態様において、定位位置決定部１０６は、例えば図２の（Ａ）に示すように、ユーザ２０１を中心とした円内（ユーザ２０１の周囲）のうち、定位可能範囲開始位置２０３０と定位可能範囲終了位置２０４とに挟まれた定位可能範囲２０２ａを設定してもよい。この場合、定位位置決定部１０６は、定位可能範囲２０２ａ内に、各音声の定位位置（例えば定位位置２０５）を決定する。
　一態様において、通話端末１は、例えばキーボードまたはタッチパネルなど、ユーザ２０１から定位可能範囲の入力を受け付ける範囲入力部１０８（不図示）を備え、定位位置決定部１０６は、範囲入力部１０８に入力された範囲を、定位可能範囲として設定してもよい。例えば、範囲入力部１０８は、定位可能範囲開始位置２０３および定位可能範囲終了位置２０４の入力を受け付けるようになっており、定位位置決定部１０６は、定位可能範囲開始位置２０３および定位可能範囲終了位置２０４に挟まれた範囲を定位可能範囲２０２ａとして設定する。
　これにより、通話相手が少ない場合などには、定位可能範囲２０２ａを限定して、通話中に注意を払うべき範囲を少なくしたり、通話相手が多い場合などには、定位可能範囲２０２ａを広くして、各通話相手に由来する音声を聞き分けやすくしたりすることができる。
　なお、定位可能範囲を規定するために用いるユーザ２０１を中心とした円の半径は特に限定されず、任意の距離に設定することができる。例えば、定位位置決定部１０６は、ユーザ２０１からキーボードまたはタッチパネルなどの任意の指示入力部１０９（不図示）を介してユーザ２０１から音声の定位位置までの距離を受け付けることで当該円の半径を決定してもよい。
　（定位可能範囲の設定例２）
　ユーザ２０１は、定位可能範囲開始位置２０３と定位可能範囲終了位置２０４とを同一であるように入力してもよい。また、ユーザ２０１は、定位可能範囲の入力を省略してもよい。これらの場合、定位位置決定部１０６は、図２の（Ｂ）に示すように、定位可能範囲を、ユーザ２０１を中心とした円の全体である定位可能範囲２０２ｂに設定してもよい。この場合、定位位置決定部１０６は、定位可能範囲２０２ｂ内に、各音声の定位位置（例えば定位位置２０６）を決定する。
　（定位可能範囲の設定例３）
　上述の例では、定位可能範囲が連続した範囲である場合について説明したが、定位可能範囲は必ずしも連続した範囲である必要はない。定位位置決定部１０６は、例えば図２の（Ｃ）に示すように、定位可能範囲として、複数の不連続な定位可能範囲２０２ｃおよび２０２ｄを設定してもよい。
　（定位可能範囲の設定例４）
　一態様において、通話端末１は、通話端末１の周位の音を検知する検知部１１０（不図示）を備え、定位位置決定部１０６は、検知部１１０が検知した音の発生源を避けるように、各音声信号に対応する定位位置を決定してもよい。
　例えば、検知部１１０が、ユーザ２０１の前方からテレビ音等の音を検知した場合、定位位置決定部１０６は、図２の（Ｃ）に示すように、定位可能範囲として、ユーザ２０１の前方を除く不連続な定位可能範囲２０２ｃおよび２０２ｄを設定し、定位可能範囲２０２ｃおよび２０２ｄ内に、各音声の定位位置２０７～２０９を決定する。これにより、定位位置決定部１０６は、検知部１１０が検知した音の発生源を避けるように、各音声信号に対応する定位位置を決定することができる。
　これにより、例えばある方向からテレビ音等の音が発生している場合であっても、音の発生源とは異なる方向から通話相手由来の音声が聞こえるようにすることができる。これにより、通話相手各々由来の音声をユーザ２０１に聞き分けやすくすることができる。なお、音の発生源を避けて各音声の定位位置を決定する構成であれば、音の発生源を避けて定位可能範囲を設定する構成に限定されず、定位位置決定部１０６は、任意に設定された定位可能範囲内において、音の発生源を避けて各音声の定位位置を決定するようになっていてもよい。
　（定位可能範囲の設定例５）
　一態様において、定位位置決定部１０６は、音声信号再生部１０４が実際に出力音声を定位させることができる範囲に基づいて、定位可能範囲を設定してもよい。具体的には、定位位置決定部１０６は、音声信号再生部１０４の位置、または、音声信号再生部１０４の位置と音声信号処理部１０７の音声信号構築法とに基づいて、定位可能範囲を設定してもよい。
　例えば図２の（Ｄ）に示すように、音声信号再生部１０４がステレオスピーカ２１０および２１１であり、音声信号処理部１０７の音声信号構築法がＶＢＡＰであるとする。この場合、音声信号再生部１０４が出力音声を定位することができる範囲は、ステレオスピーカ２１０とステレオスピーカ２１１との間となる。このとき、定位位置決定部１０６は、ユーザ２０１とステレオスピーカ２１０とを結ぶ線を定位可能範囲開始位置２０３に決定し、ユーザ２０１とステレオスピーカ２１１とを結ぶ線を定位可能範囲終了位置２０４に設定してもよい。
　また、図２の（Ｅ）に示すように、音声信号再生部１０４が、ユーザ２０１を中心とした円上に隣接して配置された５．１ｃｈのマルチチャンネルスピーカ２１２～２１４であり、音声信号処理部１０７の音声信号構築法がＶＢＡＰである場合には、音声信号再生部１０４は、ユーザ２０１から見て全方位の先に出力音声を定位することができる。このとき、定位位置決定部１０６は、定位可能範囲として、例えば図２の（Ｂ）に示す定位可能範囲２０２ｂを設定してもよい。
　（定位可能範囲の設定例６）
　上述の例では、定位位置決定部１０６は、定位可能範囲を予め設定しているが、本実施形態ではこれに限定されない。本実施形態では、定位位置決定部１０６は、通話中に定位可能範囲を設定したり変更（再設定）したりしてもよい。
　例えば、通話端末１は、通話中に、指示入力部１０９を介してユーザ２０１から定位位置の変更指示を受け付け、定位位置決定部１０６は、変更指示に基づいて、各音声信号に対応する定位位置を変更してもよい。これにより、例えば、通話中、通話相手各々由来の音声が、定位位置の範囲が広すぎる、または、狭すぎるといった理由で、聞き取りにくい場合に、定位可能範囲の設定を変更することにより、通話相手各々由来の音声の定位位置を、より聞き分けやすい位置に変更することができる。
　（定位可能範囲の設定例７）
　上述の例では、定位位置決定部１０６は、ユーザ２０１を中心とした円内の少なくとも一部の範囲を定位可能範囲に設定しているが、本実施形態ではこれに限定されない。本実施形態では、定位位置決定部１０６は任意の範囲を定位可能範囲に決定することができ、一態様において、定位位置決定部１０６は、ユーザ２０１を中心とした半球上の少なくとも一部の範囲を定位可能範囲に設定してもよい。この場合、定位位置決定部１０６は、ユーザ２０１の上方を音声の定位位置に決定することができる。また一態様において、定位位置決定部１０６は、定位可能範囲として、ユーザ２０１を中心とした円の円周上の範囲を設定し、当該円周上に各音声の定位位置を決定するようにしてもよい。また一態様において、定位可能範囲は、円の以外の形状を有していてもよい。
　［定位位置の決定］
　次に、通話相手由来の出力音声の定位位置の決定方法について、図３～６を参照して説明する。
　（定位位置の決定例１）
　定位位置決定部１０６による各通話相手の音声信号に対応する音声（各通話相手由来の出力音声）の定位位置の決定方法の一例について図３を参照して説明する。なお、以下では、定位位置決定部１０６は、定位可能範囲２０２ａを設定しているものとする。
　通話相手の数が１である場合、定位位置決定部１０６は、図３の（Ａ）に示すように、定位可能範囲２０２ａのうち予め決定されている定位位置３０１を、通話相手由来の音声の定位位置として決定する。なお、定位位置３０１は、ユーザ２０１の正面の位置であるが、これに限定されず、定位位置決定部１０６が、他の位置に決定してもよいし、指示入力部１０９を介したユーザ２０１の指示に基づいて決定してもよい。
　通話相手の数が２以上である場合、定位位置決定部１０６は、各通話相手由来の音声の定位位置が重ならないように当該音声の定位位置を決定する。詳細には、定位位置決定部１０６は、定位可能範囲２０２ａ内において、各通話相手由来の音声の定位位置を、互いに異なる位置に決定するものであり、好ましくは、各通話相手由来の音声が、ユーザ２０１に到来する方向が重ならないように、各通話相手由来の音声の定位位置を決定する。例えば、定位位置決定部１０６は、図３の（Ｂ）に示すように、定位可能範囲２０２ａの両端に、各通話相手由来の音声の定位位置３０２および３０３を決定してもよい。
　また、一態様において、定位可能範囲２０２ａにおいて隣り合う定位位置同士の間隔が均一となるように、各音声信号に対応する定位位置を決定してもよい。例えば、定位位置決定部１０６は、図３の（Ｃ）に示すように、音声の定位可能範囲２０２ａにおいて隣り合う２つの定位位置同士の間隔が均一となるように定位位置を決定する。すなわち、定位位置決定部１０６は、５人の通話相手由来の音声の定位位置を、音声の定位可能範囲２０２ａを４等分した位置それぞれに決定する。これにより、各通話相手由来の音声をより聞き分けやすくすることができる。
　上述のように、定位位置決定部１０６が、通話相手の数に基づき、通話相手各々由来の音声の定位位置を決定することで、通話相手の数に応じて、通話相手各々の音声をユーザ２０１が聞き分けやすいように出力することができる。
　（定位位置の決定例２）
　定位位置決定部１０６による通話相手の音声信号に対応する音声（各通話相手由来の出力音声）の定位位置の決定方法の他の例について図４を参照して説明する。なお、以下では、定位位置決定部１０６は、定位可能範囲２０２ｂを設定しているものとする。
　通話相手の数が１である場合、図４の（Ａ）に示すように、定位位置決定部１０６は、定位可能範囲２０２ｂのうち、例えばユーザ２０１の正面の位置である予め決定されている定位位置４０１を定位位置として決定する。ただし、定位位置４０１の位置はこれに限定されない。
　通話相手の数が２以上である場合、定位位置決定部１０６は、各通話相手由来の音声の定位位置が重ならないように当該音声の定位位置を決定する。詳細には、定位位置決定部１０６は、定位可能範囲２０２ｂ内において、各通話相手由来の音声の定位位置を、互いに異なる位置に決定するものであり、好ましくは、各通話相手由来の音声が、ユーザ２０１に到来する方向が重ならないように、各通話相手由来の音声の定位位置を決定する。
　また、一態様において、定位可能範囲２０２ｂにおいて隣り合う定位位置同士の間隔が均一となるように、各音声信号に対応する定位位置を決定してもよい。
　例えば、定位位置決定部１０６は、図４の（Ｂ）および（Ｃ）に示すように、音声の定位可能範囲２０２ｂにおいて隣り合う２つの定位位置同士の間隔が均一となるように定位位置を決定する。例えば、通話相手が２人である場合には、定位位置決定部１０６は、図４の（Ｂ）に示すように、２人の通話相手由来の音声の定位位置を、音声の定位可能範囲２０２ｂを２等分した位置それぞれに決定する。例えば、通話相手が５人である場合には、定位位置決定部１０６は、図４の（Ｃ）に示すように、５人の通話相手由来の音声の定位位置を、音声の定位可能範囲２０２ｂを５等分した位置それぞれに決定する。これにより、各通話相手由来の音声をより聞き分けやすくすることができる。
　また、定位位置決定部１０６は、定位可能範囲２０２ｂを数等分する際に、任意の分け方で等分することができる。例えば、通話者数が２であり、定位位置決定部１０６が定位可能範囲２０２ｂを２等分した位置に各通話相手由来の音声の定位位置を決定する際に、図４の（Ｂ）に示す定位位置４０２および４０３の代わりに、図４の（Ｄ）に示す定位位置４０９および４１０に決定してもよい。また、通話者数が５であり、定位位置決定部１０６が音声の定位可能範囲２０２ｂを５等分した位置に各通話相手由来の音声の定位位置を決定する際に、図４の（Ｃ）に示す定位位置４０４～４０８の代わりに、図４の（Ｅ）に示す定位位置４１１～４１５に決定してもよい。
　（定位位置の決定例３）
　定位位置決定部１０６による通話相手の音声信号に対応する音声（各通話相手由来の出力音声）の定位位置の決定方法の他の例について図５を参照して説明する。なお、以下では、定位位置決定部１０６は、定位可能範囲２０２ｃおよび２０２ｄを設定しているものとする。
　通話相手の数が１である場合、定位位置決定部１０６は、定位可能範囲２０２ｃおよび２０２ｄのうちのいずれかにおける予め決定されている定位位置を、通話相手由来の音声の定位位置として決定する。例えば、図５の（Ａ）に示すように、定位位置決定部１０６は、定位可能範囲２０２ｃのうち予め決定されている定位位置５０１を、通話相手由来の音声の定位位置として決定してもよい。
　通話相手の数が２以上である場合、定位位置決定部１０６は、各通話相手由来の音声の定位位置が重ならないように当該音声の定位位置を決定する。この場合、定位位置決定部１０６は、定位可能範囲２０２ｃおよび定位可能範囲２０２ｄの両方に定位位置が分布するように定位位置を決定する。
　例えば、通話相手の数が２である場合、定位位置決定部１０６は、図５の（Ｂ）に示すように、定位可能範囲２０２ｃおよび２０２ｄにそれぞれ１つの定位位置（定位可能範囲２０２ｃにおける定位位置５０２および定位可能範囲２０２ｄにおける定位位置５０３）を決定する。
　また例えば、通話相手の数が３である場合、定位位置決定部１０６は、図５の（Ｃ）に示すように、定位可能範囲２０２ｃ内に２つの定位位置（５０４および５０５）を決定し、定位可能範囲２０２ｄ内に１つの定位位置（５０６）を決定してもよい。また、定位位置決定部１０６は、図５の（Ｄ）に示すように、定位可能範囲２０２ｃ内に１つの定位位置（５０７）を決定し、定位可能範囲２０２ｄ内に２つの定位位置（５０８および５０９）を決定してもよい。
　また例えば、通話相手の数が５である場合、定位位置決定部１０６は、定位可能範囲２０２ｃおよび２０２ｄのそれぞれにおいて、隣り合う通話者の音声の定位位置同士の間隔が均一となるように定位位置を決定する。この場合、定位位置決定部１０６は、例えば、図５の（Ｅ）に示すように、定位可能範囲２０２ｃ内に４つの定位位置５１０～５１３を決定し、定位可能範囲２０２ｄ内に１つの定位位置５１４を決定してもよい。また、定位位置決定部１０６は、図５の（Ｆ）に示すように、定位可能範囲２０２ｃ内に３つの定位位置５１５～５１７を決定し、定位可能範囲２０２ｄ内に２つの定位位置５１８および５１９を決定してもよい。
　このとき、定位位置決定部１０６は、図５の（Ｅ）および（Ｆ）に示すように、音声の定位可能範囲２０２ｃおよび２０２ｄの少なくとも一方において、隣り合う通話者の音声の定位位置同士の間隔が均一となるように各定位位置を決定することが好ましい。
　このように、通話者数が３以上である場合、定位可能範囲２０２ｄおよび２０２ｄの少なくとも一方において、隣り合う通話者の音声の定位位置同士の間隔が均一となるように当該定位位置を決定することで、ユーザ２０１にとって聞き分けやすい位置に各通話者の音声を容易に定位させることができる。
　（定位位置の決定例４）
　定位位置決定部１０６は、通話中に、通話相手由来の音声の定位位置を変更してもよい。これにより、ユーザ２０１は、予め決定した音声の定位位置に定位した音声が聞き分けにくい場合であっても、指示入力部１０９を介して変更指示を入力するなどして、定位位置決定部１０６に、各通話相手に由来する音声の定位位置を後から変更させることができる。その結果、各通話相手に由来する音声の定位位置をユーザ２０１にとってより聞き分けやすい好適な位置に決定することができる。
　（定位位置の決定例５）
　また、指示入力部１０９を介した変更指示が定位位置の回転指示である場合、定位位置決定部１０６は、回転指示に基づいて、各通話相手由来の音声の定位位置を、ユーザ２０１（各音声の受聴者）を中心として回転させてもよい。
　例えば、通話相手の数が２であり、定位位置決定部１０６が定位可能範囲を定位可能範囲２０２ｂに決定しているとする。この場合、定位位置決定部１０６は、ユーザ２０１の指示に基づき、図４の（Ｂ）に示す定位位置４０２および４０３から図４の（Ｄ）に示す定位位置４０９および４１０にユーザ２０１（各音声の受聴者）を中心に回転してもよい。そして、定位位置決定部１０６は、各通話相手由来の音声の定位位置を、回転後の定位位置４０９および４１０に決定してもよい。
　また例えば、通話相手の数が５であり、定位位置決定部１０６が定位可能範囲を定位可能範囲２０２ｂに決定しているとする。この場合、定位位置決定部１０６は、ユーザ２０１の指示に基づき、図５の（Ｃ）に示す各通話相手由来の音声の定位位置４０４～４０８を図５の（Ｅ）に示す定位位置４１１～４１５にユーザ２０１（各音声の受聴者）を中心に回転してもよい。そして、定位位置決定部１０６は、各通話相手由来の音声の定位位置を、回転後の定位位置４１１～４１５に決定してもよい。
　これにより、例えば、通話相手と通話した際に、予め決定された音声の定位位置から聞こえる通話相手各々由来の音声が聞き分けにくい場合であっても、通話相手由来の音声の定位位置を、ユーザ２０１にとって通話者各々由来の音声をより聞き分けやすい位置に変更することができる。
　（定位位置の決定例６）
　上述の例では、定位位置決定部１０６は、通話相手の数が所定の数以上である場合に、定位可能範囲における各定位位置を、隣り合う定位位置同士の間隔が均一となるように決定している。ただし、定位位置決定部１０６は、隣り合う定位位置同士の間隔が均一となるように、各定位位置を決定しなくてもよい。
　以下、図６を参照して、定位位置決定部１０６による通話者の音声の定位位置の決定方法の一例について説明する。図６は、実施形態１における音声の定位位置の一例を示す図である。
　例えば、通話相手の数が５である場合に、定位位置決定部１０６は、図６の（Ａ）に示すように、定位可能範囲２０２ｂを５等分してもよいが、図６の（Ｂ）に示すように、５等分しなくともよい。特に、定位可能範囲２０２ｂを境界線６０３によって前方領域６０１と後方領域６０２とに分けた場合、ユーザ２０１の音声の知覚は、前方に比べて後方からの音声に対して鈍いことがある。この場合、定位位置決定部１０６は、図６の（Ｂ）に示すように、後方領域６０２における定位位置６０７および６０８の間隔を、前方領域６０１における定位位置６０４～６０６に比べて広くなるように決定することにより、より好適にユーザに対して各音声を出力することができる。
　また、定位位置決定部１０６は、少なくとも各通話相手由来の音声の定位位置が、ユーザ２０１から見て所定の角度以上離れるように各定位位置を決定してもよい。所定の角度は特に限定されないが、１度、５度、１０度、１５度、２０度、２５度、３０度等、適宜設定することができる。これによっても、ユーザ２０１にとって通話相手の音声が聞き取りやすい範囲に定位位置を決定することができる。
　〔通話端末１の制御処理〕
　次に、図７を参照して、本実施形態に係る通話端末１の制御処理（通話端末の制御方法）の流れを説明する。図７は、実施形態１に係る通話端末１の制御処理の流れの一例を示すフローチャートである。
　ステップＳ１０１において、通話者数取得部１０１は、通話端末１の外部から通話相手の数を取得する。また、音声信号取得部１０２は、１以上の通話相手の各々の音声信号を取得（受信）する（受信工程、音声信号取得工程）。その後、ステップＳ１０２に進む。
　ステップＳ１０２において、定位位置決定部１０６は、通話者数取得部１０１が取得した通話相手の数が１より多いかを判定する。通話相手の数が１より多い場合（ステップＳ１０２のＹＥＳ）、ステップＳ１０３に進む。通話相手の数が１である場合（ステップＳ１０２のＮＯ）、ステップＳ１０４に進む。
　ステップＳ１０３において、定位位置決定部１０６は、音声信号取得工程において取得した各音声信号に対応する定位位置を互いに重ならないように決定する（定位位置決定工程）。このとき、好ましくは、定位位置決定部１０６は、隣り合う通話者の音声の定位位置同士の間隔が均一となるように、当該定位位置を決定する。その後、ステップＳ１０５に進む。
　ステップＳ１０４において、定位位置決定部１０６は、通話相手由来の出力音声の定位位置を、予め決定されている位置に決定する（定位位置決定工程）。その後、ステップＳ１０５に進む。
　ステップＳ１０５において、音声信号処理部１０７は、各通話相手の音声信号に対応する音声が、定位位置決定工程において決定した定位位置に定位するように出力音声を生成し、音声信号再生部１０４から出力させる（音声出力工程）。
　以上の処理により、通話端末１によって多人数による通話を好適に実現することができる。
　＜実施形態２＞
　以下、実施形態２に係る通話端末１０について図８～１０を参照して説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を割愛する。
　〔通話端末１０〕
　図８は、実施形態２に係る通話端末１０の要部構成を示すブロック図である。
　図８に示すように、通話端末１０は、実施形態１に係る通話端末１の制御部１０３の代わりに制御部１０３０を備えている。この点以外は、通話端末１０は、実施形態１に係る通話端末１と同様の構成である。
　［制御部１０３０］
　図８に示すように、制御部１０３０は、実施形態１における定位位置決定部１０６の代わりに、定位位置決定部１０６０を備えている。この点以外は、制御部１０３０は、実施形態１における制御部１０３と同様の構成である。
　（定位位置決定部１０６０）
　定位位置決定部１０６０は、通話者数取得部１０１から得られる通話相手の数に基づき、各通話相手の音声信号に対応する定位位置を決定する。
　一態様において、定位位置決定部１０６０は、通話相手の数が多ければ多いほど定位可能範囲が大きくなるように定位可能範囲を決定する。例えば、記憶部１０５に、通話相手の数ごとに予め決定された定位可能範囲が記憶してあり、定位位置決定部１０６０は、記憶部１０５から通話相手の数に応じた定位可能範囲を読み出すことによって、定位可能範囲を決定してもよい。
　通話相手の数が多ければ多いほど定位可能範囲が大きくなるように定位可能範囲を決定することにより、通話相手の数が少ない場合には定位可能範囲が小さくなるため、通話中に注意を払うべき範囲を必要最小限に抑えることができ、通話相手の数が多い場合には定位可能範囲が大きくなるため、多数の音声を聞き分けられるように各定位位置を配置することができる。
　そして、定位位置決定部１０６０は、決定した定位可能範囲において、隣り合う定位位置同士の間隔が均一となり、かつ、当該間隔が最大となるように、各音声信号に対応する定位位置を決定する。これにより、定位位置決定部１０６０は、通話者数取得部１０１から得られる通話相手の数に応じた適切な定位位置を決定することができる。
　なお、本実施形態はこれに限定されず、定位位置決定部１０６０が、通話相手の数が多ければ多いほど定位位置同士の間隔が小さくなるように定位位置を決定してもよい。これによっても、定位位置決定部１０６０は、通話者数取得部１０１から得られる通話相手の数に応じた適切な定位位置を決定することができる。
　以下に、定位位置決定部１０６０による定位可能範囲および定位位置の決定方法の一例について、図９を参照して説明する。図９は実施形態２における定位可能範囲の一例を示す図である。
　通話相手の数が１である場合、図９の（Ａ）に示すように、定位位置決定部１０６０は、定位可能範囲を、ユーザ２０１の正面の直線である定位可能範囲９０２ａに決定する。また、定位位置決定部１０６０は、通話相手由来の音声の定位位置を定位可能範囲９０２ａから一意に定まる定位位置９０１に決定する。
　通話相手の数が２である場合、定位位置決定部１０６０は、図９の（Ｂ）に示すように、定位可能範囲を、通話者数が２である場合に対応する定位可能範囲９０２ｂに決定する。また、定位位置決定部１０６０は、定位可能範囲９０２ｂにおいて隣り合う定位位置同士の間隔が均一となるように各通話相手由来の音声の定位位置９０３および９０４を決定する。
　通話者数が５である場合、定位位置決定部１０６０は、図９の（Ｃ）に示すように、定位可能範囲を、通話者数が５である場合に対応する定位可能範囲９０２ｃに決定する。また、定位位置決定部１０６０は、定位可能範囲９０２ｃにおいて隣り合う定位位置の間隔が均一となるように、定位可能範囲９０２ｃを４等分した定位位置９０５～９０９に、各通話相手由来の音声の定位位置をそれぞれ決定する。
　なお、本実施形態においても、定位位置決定部１０６０は、通話中に定位可能範囲および定位位置を変更してもよい。これにより、例えば、通話相手と通話した際に、予め決定された定位可能範囲における定位位置から聞こえる通話相手各々由来の音声が聞き分けにくい場合であっても、通話相手由来の音声の定位位置を、ユーザ２０１にとってより聞き分けやすい位置に変更することができる。
　〔通話端末１０の制御処理〕
　次に、図１０を参照して、本実施形態に係る通話端末１０の制御処理（通話端末の制御方法）の流れを説明する。図１０は、実施形態２に係る通話端末１０の制御処理の流れの一例を示すフローチャートである。
　ステップＳ２０１において、通話者数取得部１０１は、通話端末１の外部から通話相手の数を取得する。また、音声信号取得部１０２は、１以上の通話相手の各々の音声信号を取得（受信）する（受信工程、音声信号取得工程）。
　ステップＳ２０２において、定位位置決定部１０６０は、通話者数取得部１０１から取得した通話者数に基づき、音声の定位可能範囲を決定する。
　ステップＳ２０３において、定位位置決定部１０６０は、音声信号取得工程において取得した各音声信号に対応する定位位置を互いに重ならないように決定する。また、定位位置決定部１０６０は、決定した定位可能範囲において隣り合う定位位置の間隔が均一となるように、各定位位置を決定する（定位位置決定工程）。
　ステップＳ２０４において、音声信号再生部１０４は、各音声信号に対応する音声が、ステップＳ２０３の定位位置決定工程において決定した定位位置に定位するように当該音声を出力し、処理を終了する（音声出力工程）。
　＜実施形態３＞
　実施形態１に係る通話端末１の機能は、実施形態３に係る通話システム１００によって実現されてもよい。
　以下、実施形態３に係る通話システム１００について図１１を参照して説明する。なお、説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を割愛する。
　〔通話システム１００〕
　図１１は、実施形態３に係る通話システム１００の要部構成を示すブロック図である。通話システム１００は、通話端末２００と、通話サーバ３００とを備えている。また、通話サーバ３００は、定位位置決定部１０６を備えている。
　このように、通話システム１００は、通話端末２００が、実施形態１に係る通話端末１における定位位置決定部１０６を備える制御部１０３の代わりに、定位位置決定部１０６を備えていない制御部１０３００を備えており、定位位置決定部１０６を備える通話サーバ３００をさらに備えている。
　通話システム１００は、通話端末２００が、１以上の通話相手の各々の音声信号を受信し、通話システム１００は、通話端末２００が受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定部１０６を備え、通話端末２００は、受信した各音声信号に対応する音声が、定位位置決定部１０６が決定した定位位置に定位するように当該音声を出力する。
　より具体的には、図１１に示すように、通話システム１００は、通話端末２００の通話者数取得部１０１が通話相手の数を取得し、音声信号取得部１０２が通話相手各々の音声信号を取得する。通話サーバ３００の定位位置決定部１０６は、通話端末２００の音声信号取得部１０２で取得した各音声信号に対応する定位位置を互いに重ならないように決定する。通話端末２００の音声信号処理部１０７は、通話端末２００の音声信号取得部１０２から得られる通話相手各々の音声信号と、通話サーバ３００の定位位置決定部１０６から得られる各々の音声信号に対応する定位位置とに基づいて、音声信号再生部１０４から再生される音声を構築（生成）する。通話端末２００の音声信号再生部１０４は、各音声信号に対応する音声が、通話サーバ３００の定位位置決定部１０６が決定した定位位置に定位するように各音声を出力する。
　このように、通話システム１００は、全体として、実施形態１に係る通話端末１と同様に機能する。また、通話システム１００によれば、定位位置決定部１０６の処理を通話サーバ３００が行うことで、通話端末２００の処理量を低減させることができる。
　なお、上述の例では、通話システム１００は、通話端末２００の代わりに通話サーバ３００が定位位置決定部１０６を備えている場合について説明したが、本実施形態ではこれに限定されない。本実施形態では、通話端末２００は、少なくとも音声信号再生部１０４を備えていればよく、その他の部材を通話端末２００の代わりに通話サーバ３００が備えていてもよい。例えば、通話端末２００の代わりに通話サーバ３００が記憶部１０５、定位位置決定部１０６および制御部１０３００、すなわち、図１の記憶部１０５および制御部１０３を備えていたり、通話端末２００の代わりに通話サーバ３００が、制御部１０３および記憶部１０５に加え、通話者数取得部１０１および音声信号取得部１０２をさらに備えていたりしてもよい。この場合も、通話システム１００は、通話端末２００の処理量を減らしつつ、全体として、実施形態１に係る通話端末１と同様に機能することができる。
　〔ソフトウェアによる実現例〕
　通話端末１、１０の制御ブロック（特に定位位置決定部１０６、１０６０および音声信号再生部１０４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、通話端末１、１０は、各機能を実現するソフトウェアである通話プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記通話プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記通話プログラムを上記記録媒体から読み取って実行することにより、本実施形態の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記通話プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記通話プログラムは、該通話プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記通話プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

Claims (11)

  1. 　１以上の通話相手の各々の音声信号を受信する受信部と、
    　前記受信部で受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定部と、
    　各音声信号に対応する音声が、前記定位位置決定部が決定した前記定位位置に定位するように当該音声を出力する音声出力部と、を備えることを特徴とする通話端末。
  2. 　前記定位位置決定部は、前記通話相手の数に応じて、前記各音声信号に対応する定位位置を決定することを特徴とする請求項１に記載の通話端末。
  3. 　前記定位位置決定部は、隣り合う前記定位位置同士の間隔が均一となるように、前記各音声信号に対応する定位位置を決定することを特徴とする請求項１または２に記載の通話端末。
  4. 　前記定位位置の変更指示を受け付ける指示入力部を備え、
    　前記定位位置決定部は、前記変更指示に基づいて、前記各音声信号に対応する定位位置を変更することを特徴とする請求項１～３のいずれか１項に記載の通話端末。
  5. 　前記変更指示は、前記定位位置の回転指示であり、
    　前記定位位置決定部は、前記回転指示に基づいて、前記各音声信号に対応する定位位置を、前記音声の受聴者を中心として回転させることを特徴とする請求項４に記載の通話端末。
  6. 　前記通話端末の周囲の音を検知する検知部を備え、
    　前記定位位置決定部は、前記検知部が検知した音の発生源を避けるように、前記各音声信号に対応する定位位置を決定することを特徴とする請求項１～５のいずれか１項に記載の通話端末。
  7. 　定位可能範囲の入力を受け付ける範囲入力部を備え、
    　前記定位位置決定部は、前記定位可能範囲内において、前記各音声信号に対応する定位位置を決定することを特徴とする請求項１～６のいずれか１項に記載の通話端末。
  8. 　通話端末と、通話サーバとを備える通話システムであって、
    　前記通話端末は、１以上の通話相手の各々の音声信号を受信し、
    　前記通話システムは、前記通話端末が受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定部を備え、
    　前記通話端末は、受信した各音声信号に対応する音声が、前記定位位置決定部が決定した定位位置に定位するように当該音声を出力することを特徴とする通話システム。
  9. 　通話端末の制御方法であって、
    　前記通話端末が、１以上の通話相手の各々の音声信号を受信する受信工程と、
    　前記通話端末が、前記受信工程において受信した各音声信号に対応する定位位置を互いに重ならないように決定する定位位置決定工程と、
    　前記通話端末が、各音声信号に対応する音声が、前記定位位置決定工程において決定した前記定位位置に定位するように当該音声を出力する音声出力工程と、を含むことを特徴とする通話端末の制御方法。
  10. 　請求項１～７のいずれか１項に記載の通話端末としてコンピュータを機能させるための通話プログラムであって、前記定位位置決定部として前記コンピュータを機能させるための通話プログラム。
  11. 　請求項１０に記載の通話プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2019/028141 2018-07-27 2019-07-17 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体 WO2020022154A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020532319A JPWO2020022154A1 (ja) 2018-07-27 2019-07-17 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体
US17/263,538 US20210185174A1 (en) 2018-07-27 2019-07-17 Call terminal, call system, control method of call terminal, and non-transitory recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018141663 2018-07-27
JP2018-141663 2018-07-27

Publications (1)

Publication Number Publication Date
WO2020022154A1 true WO2020022154A1 (ja) 2020-01-30

Family

ID=69180430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028141 WO2020022154A1 (ja) 2018-07-27 2019-07-17 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体

Country Status (3)

Country Link
US (1) US20210185174A1 (ja)
JP (1) JPWO2020022154A1 (ja)
WO (1) WO2020022154A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022118671A1 (ja) * 2020-12-04 2022-06-09 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
GB2610605A (en) * 2021-09-10 2023-03-15 Nokia Technologies Oy Apparatus, methods and computer programs for repositioning spatial audio streams

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042396A (ja) * 1996-07-23 1998-02-13 Sanyo Electric Co Ltd 音像制御装置
JP2003169399A (ja) * 2001-11-30 2003-06-13 Advanced Telecommunication Research Institute International ステレオ音像制御装置および多対地間通話システムにおける対地側装置
JP2006114942A (ja) * 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体
JP2007116494A (ja) * 2005-10-21 2007-05-10 Yamaha Corp 音声会議装置
JP2009033298A (ja) * 2007-07-25 2009-02-12 Nec Corp 通信システム及び通信端末
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224305B2 (en) * 2007-10-31 2012-07-17 Centurylink Intellectual Property Llc System and method for extending conference communications access to local participants

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042396A (ja) * 1996-07-23 1998-02-13 Sanyo Electric Co Ltd 音像制御装置
JP2003169399A (ja) * 2001-11-30 2003-06-13 Advanced Telecommunication Research Institute International ステレオ音像制御装置および多対地間通話システムにおける対地側装置
JP2006114942A (ja) * 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体
JP2007116494A (ja) * 2005-10-21 2007-05-10 Yamaha Corp 音声会議装置
JP2009033298A (ja) * 2007-07-25 2009-02-12 Nec Corp 通信システム及び通信端末
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022118671A1 (ja) * 2020-12-04 2022-06-09 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
GB2610605A (en) * 2021-09-10 2023-03-15 Nokia Technologies Oy Apparatus, methods and computer programs for repositioning spatial audio streams

Also Published As

Publication number Publication date
JPWO2020022154A1 (ja) 2021-08-19
US20210185174A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
TWI450105B (zh) 用於多通道聲音內容之空間重組之方法、音訊呈現裝置與機器可讀取媒體
JP2020038375A (ja) ダッキング制御のためのメタデータ
US20140226842A1 (en) Spatial audio processing apparatus
EP2829048A1 (en) Placement of sound signals in a 2d or 3d audio conference
US11399254B2 (en) Apparatus and associated methods for telecommunications
US20190320281A1 (en) Complementary virtual audio generation
WO2017117293A1 (en) Simultaneous binaural presentation of multiple audio streams
WO2020022154A1 (ja) 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体
US20220351737A1 (en) Using Non-Audio Data Embedded in an Audio Signal
US11930350B2 (en) Rendering audio
CN113411703B (zh) 音频播放方法以及耳机盒、无线耳机和耳机套件
CN108650592B (zh) 一种实现颈带式环绕立体声的方法及立体声控制系统
US20120134499A1 (en) Audio Processing Devices, Multi-Channel Audio Application System, and Method Thereof
US20220095047A1 (en) Apparatus and associated methods for presentation of audio
JP2523367B2 (ja) 音声再生方式
US10206031B2 (en) Switching to a second audio interface between a computer apparatus and an audio apparatus
WO2020022155A1 (ja) 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体
US20230276187A1 (en) Spatial information enhanced audio for remote meeting participants
CN113852780B (zh) 一种音频数据处理方法及电子设备
WO2016009850A1 (ja) 音声信号再生装置、音声信号再生方法、プログラム、および、記録媒体
US11627429B2 (en) Providing spatial audio signals
Costerton A systematic review of the most appropriate methods of achieving spatially enhanced audio for headphone use
CN117931116A (zh) 音量调节方法、电子设备及介质
JP2022143165A (ja) 再生装置、再生システムおよび再生方法
CN112255791A (zh) Vr眼镜和观赏vr视频的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19841075

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020532319

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19841075

Country of ref document: EP

Kind code of ref document: A1