WO2020153027A1 - オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム - Google Patents

オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム Download PDF

Info

Publication number
WO2020153027A1
WO2020153027A1 PCT/JP2019/048428 JP2019048428W WO2020153027A1 WO 2020153027 A1 WO2020153027 A1 WO 2020153027A1 JP 2019048428 W JP2019048428 W JP 2019048428W WO 2020153027 A1 WO2020153027 A1 WO 2020153027A1
Authority
WO
WIPO (PCT)
Prior art keywords
face data
acoustic
acoustic coefficient
coefficient
audio
Prior art date
Application number
PCT/JP2019/048428
Other languages
English (en)
French (fr)
Inventor
本間　弘幸
徹 知念
芳明 及川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020567412A priority Critical patent/JPWO2020153027A1/ja
Priority to KR1020217020945A priority patent/KR20210118820A/ko
Priority to CN201980089410.9A priority patent/CN113302950A/zh
Priority to US17/423,854 priority patent/US11937069B2/en
Priority to DE112019006727.3T priority patent/DE112019006727T5/de
Publication of WO2020153027A1 publication Critical patent/WO2020153027A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Definitions

  • the present disclosure relates to an audio system, an audio playback device, a server device, an audio playback method, and an audio playback program.
  • Patent Document 1 discloses an acoustic control device capable of achieving a desired acoustic effect by using a head related transfer function.
  • An object of the present disclosure is to provide an audio system, an audio reproducing device, a server device, an audio reproducing method, and an audio reproducing program that realize a sound field suitable for a user.
  • the present disclosure includes, for example, A face data detection unit that detects face data based on input image data; An acoustic coefficient acquisition unit that outputs an acoustic coefficient corresponding to the face data output from the face data detection unit, An audio system including: an acoustic coefficient applying unit that applies an acoustic process based on the acoustic coefficient acquired by the acoustic coefficient acquiring unit to an audio signal.
  • the present disclosure includes, for example, A face data detection unit that detects face data based on input image data;
  • An audio reproduction device comprising: an acoustic coefficient application unit that applies audio processing based on an acoustic coefficient corresponding to face data to an audio signal.
  • the present disclosure includes, for example, A receiving unit for receiving face data transmitted from the audio reproducing device, An acoustic coefficient acquisition unit that outputs an acoustic coefficient corresponding to the received face data, It is a server device that transmits the acoustic coefficient output by the acoustic coefficient acquisition unit to the audio playback device.
  • the present disclosure includes, for example, Face data detection processing for detecting face data based on input image data, It is an audio reproducing method for performing acoustic processing based on the acoustic coefficient corresponding to face data, and acoustic coefficient applying processing for applying to an audio signal.
  • the present disclosure includes, for example, Face data detection processing for detecting face data based on input image data, An audio reproduction program that causes an information processing device to execute an acoustic coefficient applying process of applying an acoustic coefficient based on an acoustic coefficient corresponding to face data to an audio signal.
  • FIG. 1 is a block diagram showing the configuration of a general reproducing apparatus.
  • FIG. 2 is a diagram for explaining a three-dimensional VBAP, which is a type of panning process.
  • FIG. 3 is a block diagram showing the audio system according to the present embodiment.
  • FIG. 4 is a flowchart showing the personalized acoustic coefficient setting process according to the present embodiment.
  • FIG. 5 is a flowchart showing the personalized acoustic coefficient acquisition processing according to the present embodiment.
  • FIG. 6 is a flowchart showing the personalized acoustic coefficient recalculation processing according to the present embodiment.
  • FIG. 7 is a diagram showing how the test signal information is displayed.
  • a moving sound source is treated as an independent audio object, and the position information of the object is stored together with the signal data of the audio object. It can be encoded as metadata.
  • playback can be performed in various viewing environments with different numbers and arrangements of speakers, and a specific sound source that was difficult with the conventional encoding method is processed during playback (for example, volume adjustment or effect It is easily possible to add).
  • FIG. 1 shows a block diagram showing the configuration of a general reproducing apparatus 100.
  • the playback device 100 is configured to include a core decoding processing unit 101, a rendering processing unit 102, and a head related transfer function processing unit 103.
  • the core decoding processing unit 101 decodes an input bit stream input from the outside, and outputs an audio object signal and metadata including object position information and the like.
  • the object is one or a plurality of sound sources forming the audio signal to be reproduced
  • the audio object signal corresponds to the audio signal emitted from the sound source
  • the object position information is the position of the object as the sound source. Equivalent to.
  • the rendering processing unit 102 performs a rendering process on a speaker placed in the virtual space based on the decoded audio object signal and the object position information, and outputs a virtual speaker signal that reproduces a sound field in the virtual space.
  • the head-related transfer function processing unit 103 applies a general head-related transfer function to the virtual speaker signal, and outputs an audio signal for headphone or speaker reproduction.
  • the rendering processing unit 102 uses a method called three-dimensional VBAP (Vector Based Amplitude Panning). This is one of the rendering methods generally called panning, and among the speakers existing on the surface of the sphere with the listening position as the origin, the gain for the three speakers closest to the audio object also existing on the surface of the sphere is used. Is a method of rendering by distributing.
  • VBAP Vector Based Amplitude Panning
  • FIG. 2 is a diagram for explaining the three-dimensional VBAP.
  • the viewing position U11 is the origin O and sound is output from the audio object VSP2 on the surface of the sphere in the three-dimensional space.
  • the vector P distributes gain to the speakers SP1, SP2, SP3 on the same spherical surface as the audio object VSP2.
  • the vector P can be expressed as in Expression (1) using the vectors L1, L2, and L3 that represent the positions of the speakers SP1, SP2, and SP3.
  • Rendering can be performed by distributing the audio object signal to the speakers SP1, SP2, and SP3 using the gains thus obtained. Since the arrangement of the speakers SP1, SP2, and SP3 is fixed and is known information, the inverse matrix L123 -1 can be obtained in advance, and the processing can be performed with a relatively easy calculation amount.
  • the spatial resolution can be improved by arranging a large number of speakers in the space.
  • the transaural processing using the head related transfer function can reproduce the reproduction signals of a large number of virtual speakers arranged in the space in an approximate auditory sense with a small number of speakers arranged in the real space. Has been.
  • the head-related transfer function used for transaural processing changes greatly depending on the shape of the head and ears. Therefore, the head-related transfer function used in the transaural processing and the binaural processing for headphones currently on the market is obtained by inserting a microphone into the ear hole of a dummy head having an average human face shape and measuring the impulse response. Has been created.
  • the average head-related transfer function is insufficient because it depends on the shape and arrangement of the face, ears, etc., which differ for each individual, and it was difficult to faithfully reproduce the sound field. ..
  • the audio system according to the present embodiment has been made in view of such a situation, and acquires face data from an image acquired by a camera by using face recognition technology, and personalizes the acquired face data.
  • One of the purposes is to faithfully reproduce the sound field according to each individual by using the head related transfer function.
  • Various embodiments of the audio system according to the present embodiment will be described below.
  • FIG. 3 is a block diagram showing the audio system according to the present embodiment.
  • the audio system includes a playback device 300 that outputs an audio signal and a server device 200.
  • the playback device 300 and the server device 200 are communicatively connected via various communication lines such as the Internet. First, the audio reproducing function of the reproducing device 300 will be described.
  • the audio reproduction function of the reproduction device 300 is realized by the core decoding processing unit 301, the rendering processing unit 302, and the acoustic coefficient application unit 303.
  • the core decoding processing unit 301 has the same function as the core decoding processing unit 101 described in FIG. 1, decodes the input bit stream that is input, and outputs an audio object signal and object position information (meta information). ..
  • the rendering processing unit 302 has the same function as the rendering processing unit 102 described with reference to FIG. In the rendering processing unit 302, for example, a panning process such as the VBAP described above is executed and a virtual speaker signal is output.
  • the acoustic coefficient application unit 303 outputs an audio signal by applying various acoustic coefficients to the input virtual speaker signal.
  • the reproducing apparatus 300 can acquire image data of a user who has listened to the image.
  • the image data can be acquired from various information devices that are communicatively connected to the reproduction device 300, such as a television, a smart speaker, and a personal computer.
  • a camera is mounted on these information devices, and it is possible to capture an image of a user listening to an audio signal reproduced by the reproducing apparatus 300.
  • a mode may be adopted in which the camera is directly communication-connected to the reproducing apparatus 300 to acquire the image data.
  • a display device for displaying various information can be connected to the playback device 300 of the present embodiment.
  • the reproducing apparatus 300 can allow the user to select the acoustic coefficient by displaying various information.
  • An input device for selecting an acoustic coefficient is also connected to the reproducing device 300.
  • the input device in addition to a remote control device, a keyboard, a mouse, etc., it is also possible to use a smartphone owned by the user by communication connection.
  • FIG. 4 is a flowchart showing a personalized acoustic coefficient setting process performed by the playback device 300.
  • image data is first input to the face data detection unit 304 (S11), and the face data detection unit 304 executes face recognition processing based on the image data. (S12).
  • the face data detection unit 304 detects and outputs face data based on the recognition result.
  • a generally used technique can be applied to the face recognition processing.
  • the face data may be a face portion extracted from the image data, and various forms such as a facial feature amount such as the contour of the face, the positions of the eyes, nose and nose, the size, and the like can be adopted. Further, the face data may include the position of the user in the listening space or the direction in which the user is facing.
  • Face data as a recognition result is transmitted to the server device 200 (S13). This is performed by the face data transmission unit 305.
  • the server device 200 physically, not only wired and wireless but any medium can be used.
  • the logical format in addition to lossless compression and non-compression formats, it is also possible to use a light lossy compression method that allows collation from many face data on the server device 200.
  • the playback device 300 confirms whether or not at least one acoustic coefficient is received from the server device 200 (S14). This is done by the personalized acoustic coefficient receiver 306.
  • the personalized acoustic coefficient is timed out and the personalized acoustic coefficient setting process is ended.
  • the personalized acoustic coefficient is received from the server device 200 (S14: Yes)
  • the user can select the received personalized acoustic coefficient.
  • This processing is executed by the personalized acoustic coefficient selection unit 307.
  • the user's selection is made by an input device connected to the playback device 300.
  • the server device 200 transmits at least one candidate for the personalized acoustic coefficient in addition to the default personalized acoustic coefficient. Therefore, the user can select whether to use the default personalized acoustic coefficient or the candidate for the personalized acoustic coefficient.
  • the reproducing device 300 reproduces the test signal (S16) and displays the test signal information on the display device (S17). The user plays the test signal while listening to the audio signal output from the speaker while switching the personalized acoustic coefficient.
  • FIG. 7 shows an example of test signal information displayed on the display device.
  • the image display unit 308 causes the display device to display an image based on the test signal information.
  • the moving sound source A is displayed with the origin O as the center based on the position information.
  • the reproducing device 300 outputs an audio signal based on the test signal so as to be localized in the position information of the moving sound source A, with the viewing position of the user as the origin O.
  • the received personalized acoustic coefficient is used for the acoustic coefficient application unit 303.
  • the user determines whether or not the personalized acoustic coefficient is appropriate based on the position of the moving sound source A displayed on the display device and the sound (especially localization) heard by the user.
  • the locus of the moving sound source A is indicated by an arrow.
  • the moving sound source A takes a trajectory that rises while orbiting around the origin O. In this case, the user hears the localization of the rising sound while orbiting around him.
  • the user by using the default personalized acoustic coefficient and at least one candidate for the personalized acoustic coefficient, it is possible to allow the user to select a suitable personalized acoustic coefficient.
  • the user appropriately selects a candidate personalized acoustic coefficient using the input device and determines an appropriate personalized acoustic coefficient (S18).
  • the personalized acoustic coefficient is not selected (S15: No)
  • the received default personalized acoustic coefficient is used (S18).
  • the selection result of the personalized acoustic coefficient is transmitted to the server device 200 (S19).
  • the reproducing device 300 sets the determined personalized acoustic coefficient in the acoustic coefficient application unit 303 (S20).
  • the playback device 300 The above is the content of the personalized acoustic coefficient setting process executed by the playback device 300.
  • the sound field is reproduced with the personalized acoustic coefficient suitable for the face data, and the sound field is faithfully reproduced. It is possible to play back. Further, by allowing the user to select the personalized acoustic coefficient, it becomes possible to use a more suitable personalized acoustic coefficient. Then, by transmitting the determination result of the user to the server device 200 side, the server device 200 side can perform the learning process using the determination result and provide a more accurate personalized acoustic coefficient. ..
  • FIG. 5 is a flowchart showing the personalized acoustic coefficient acquisition process executed by the server device 200.
  • the server device 200 starts the personalized acoustic coefficient acquisition process by receiving the face data transmitted from the reproduction device 300.
  • the head related transfer function is used for the personalized acoustic coefficient of the present embodiment. It is possible to reproduce a sound field suitable for each individual by using the head related transfer function corresponding to the feature amount of each individual based on the face data.
  • the reception of the face data and the transmission of the personalized acoustic coefficient are executed by the personalized acoustic coefficient acquisition unit 201.
  • the personalized acoustic coefficient acquisition process it is determined whether the received face data exists in the storage unit 204 (S21).
  • a coefficient equivalent to the downmix processing that does not use the head related transfer function is transmitted as a personalized acoustic coefficient (S22).
  • the downmix process here means, for example, a process of multiplying each stereo channel by 0.5 to obtain a monaural signal when converting from stereo to monaural.
  • the personalized acoustic coefficient acquisition process ends.
  • a coefficient using a generalized head related transfer function with a wide listening area in the processing of S24 is transmitted as a personalized acoustic coefficient (S24).
  • the existing technology can be used for the process of expanding the listening area.
  • the generalized head-related transfer function means a function obtained by inserting a microphone into an ear hole of a model called a dummy head that simulates the shape of a general human face and ear and measuring the same. .. After transmitting the personalized acoustic coefficient (S24), the personalized acoustic coefficient acquisition process ends.
  • the face data includes the position information of each user, it is possible to set the positions of all users as the listening area and determine the personalized acoustic coefficient.
  • the server device 200 determines whether the face data registered in the storage unit 204 exists (S25). Specifically, the personalized acoustic coefficient acquisition unit 201 accesses the storage unit 204 and determines whether the input face data has been registered. If the face data exists (S25: Yes), the personalized acoustic coefficient associated with the face data is transmitted as the default personalized acoustic coefficient. Further, in this embodiment, at least one candidate for the personalized acoustic coefficient is transmitted together with the default personalized acoustic coefficient. Therefore, a plurality of personalized acoustic coefficients including the default personalized acoustic coefficient are transmitted to the playback device 300 (S26).
  • the candidate personalized acoustic coefficient is a personalized acoustic coefficient different from the default personalized acoustic coefficient, and is determined based on the received face data, or the default personalized acoustic coefficient is set. It is decided by a technique such as adjustment.
  • a plurality of personalized acoustic coefficients are determined and transmitted by analyzing the input face data (S27).
  • a face data analysis method it is conceivable to input face data to a neural network having learning coefficients obtained by machine learning, and transmit a plurality of candidates for personalized acoustic coefficients in order of likelihood.
  • the personalized acoustic coefficient with the highest likelihood order is set as the default.
  • the acquisition of the personalized acoustic coefficient for the unknown face data is also used when transmitting the candidates other than the registered personalized acoustic coefficient in S26.
  • the personalized acoustic coefficient recalculation process is a process performed by the server device 200, and is a process performed based on the selection result of the personalized acoustic coefficient transmitted from the reproduction device 300.
  • the server device 200 receives the selection result of the personalized acoustic coefficient transmitted from the reproduction device 300 (S31). This processing is performed by the personalized acoustic coefficient selection result receiving unit 202 in FIG.
  • the server device 200 receives the selection result together with the face data.
  • the server device 200 records the pair of personalized acoustic coefficient and face data received in the personalized acoustic coefficient setting process in the storage unit 204 (S32).
  • the learning process is executed using the pair of the personalized acoustic coefficient and the face data stored in the storage unit 204 (S33).
  • the learning process is a machine learning process for updating the determination algorithm of the personalized acoustic coefficient based on the face data.
  • CNN Convolution Neural Network
  • RNN Existing methods such as Recurrent Neural Network
  • the personalized acoustic coefficient recalculation processing it is possible to use the personalized acoustic coefficient suitable for the user by transmitting a plurality of personalized acoustic coefficients based on the face data and allowing the user to select the personalized acoustic coefficient. Furthermore, by learning the relationship between the face data and the personalized acoustic coefficient based on the selection result, it is possible to provide a more suitable personalized acoustic coefficient.
  • the server device 200 sends only the default personalized acoustic coefficient.
  • the user is able to adjust the received default personalized acoustic coefficient using the input device.
  • the personalized acoustic coefficient setting process the adjusted result is transmitted to the server device 200 as a selection result.
  • the server device 200 determines the algorithm for determining the personalized acoustic coefficient by performing the learning process based on the pair of the selection result and the face data. The adjustment of the personalized acoustic coefficient can be used together with the selection from the plurality of personalized acoustic coefficients described above.
  • the present disclosure it is possible to form a sound field suitable for a user by applying an acoustic coefficient according to the face data of the user who listens to the audio signal.
  • the effects described here are not necessarily limited and may be any effects described in the present disclosure. Further, the contents of the present disclosure should not be limitedly interpreted by the exemplified effects.
  • the present disclosure can also be realized by an apparatus, a method, a program, a system, etc.
  • a program that performs the functions described in the above-described embodiments can be downloaded, and a device that does not have the functions described in the embodiments can download the programs to perform the control described in the embodiments in the device. It will be possible.
  • the present disclosure can also be realized by a server that distributes such a program. The matters described in each of the embodiments and the modified examples can be appropriately combined.
  • a face data detection unit that detects face data based on input image data
  • An acoustic coefficient acquisition unit that outputs an acoustic coefficient corresponding to the face data output from the face data detection unit
  • An audio system comprising: an acoustic coefficient applying section that applies an acoustic process based on the acoustic coefficient acquired by the acoustic coefficient acquiring section to an audio signal.
  • the acoustic coefficient is a head related transfer function.
  • the acoustic coefficient acquisition unit When the individual corresponding to the input face data is not registered, the acoustic coefficient acquisition unit outputs the acoustic coefficient based on the analysis result of the input face data (1) to (3) Audio system described in one. (5) The audio coefficient acquisition unit outputs a plurality of audio coefficients. The audio system according to any one of (1) to (4). (6) If the individual corresponding to the input face data is registered, the acoustic coefficient acquisition unit outputs the acoustic coefficient corresponding to the individual and at least one candidate acoustic coefficient (5). system. (7) The audio system according to (5) or (6), wherein the acoustic coefficient acquisition unit outputs a plurality of candidate acoustic coefficients when an individual corresponding to the input face data is not registered.
  • the acoustic coefficient acquiring unit outputs the acoustic coefficient of a wide listening range when the face data detecting unit detects a plurality of face data, (1) to (7).
  • the audio system according to (8) wherein the acoustic coefficient acquisition unit outputs the acoustic coefficient of the wide listening range based on the position of the detected face data.
  • a selection unit that allows the user to select the output acoustic coefficients,
  • the audio coefficient recalculation unit that executes a learning process based on the selection result of the selection unit and the face data used by the acoustic coefficient acquisition unit is included. (5) to (9) system.
  • a selection unit that allows the user to select the output acoustic coefficients
  • An image display unit for displaying the object based on the position information
  • the audio system according to any one of (5) to (10), wherein the acoustic coefficient application unit outputs a sound image-localized audio signal based on position information of a displayed object.
  • a face data detection unit that detects face data based on input image data;
  • An audio reproducing apparatus comprising: an acoustic coefficient applying unit that applies an acoustic process based on an acoustic coefficient corresponding to face data to an audio signal.
  • a transmitting unit that transmits the detected face data to the server device,
  • a receiving unit for receiving face data transmitted from the audio reproducing device An acoustic coefficient acquisition unit that outputs an acoustic coefficient corresponding to the received face data, A server device that transmits the acoustic coefficient output by the acoustic coefficient acquisition unit to the audio reproducing device.
  • Face data detection processing for detecting face data based on input image data
  • An audio reproducing method for performing an acoustic coefficient applying process of applying an acoustic process based on an acoustic coefficient corresponding to face data to an audio signal.
  • Face data detection processing for detecting face data based on input image data
  • An audio reproduction program that causes an information processing apparatus to execute an acoustic coefficient applying process of applying an acoustic coefficient based on an acoustic coefficient corresponding to face data to an audio signal.
  • playback device 101 core decoding processing unit 102: rendering processing unit 103: head related transfer function processing unit 200: server device 201: personalized acoustic coefficient acquisition unit 202: personalized acoustic coefficient selection result reception unit 204: storage unit 300 : Playback device 301: Core decoding processing unit 302: Rendering processing unit 303: Acoustic coefficient application unit 304: Face data detection unit 305: Face data transmission unit 306: Personalized acoustic coefficient reception unit 307: Personalized acoustic coefficient selection unit 308: Image display section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

入力される画像データに基づいて顔データを検出する顔データ検出部と、顔データ検出部から出力された顔データに対応する音響係数を出力する音響係数取得部と、音響係数取得部で取得した音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用部と、を備える。

Description

オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム
　本開示は、オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラムに関する。
　現在、複数のスピーカを使用して、所望の音場を再現する技法が知られている。このような音場再現の技法により、立体的な音響空間を実現することが可能となる。特許文献１には、頭部伝達関数を使用し、所望の音響効果を達成できる音響制御装置が開示されている。
特開２０１５－２２８５７１号公報
　このような分野では、ユーザーに好適な音場を実現することが望まれている。本開示は、ユーザーに好適な音場を実現するオーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラムを提供することを目的の一つとする。
　本開示は、例えば、
　入力される画像データに基づいて顔データを検出する顔データ検出部と、
　顔データ検出部から出力された顔データに対応する音響係数を出力する音響係数取得部と、
　音響係数取得部で取得した音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用部と、を備える
　オーディオシステムである。
　本開示は、例えば、
　入力される画像データに基づいて顔データを検出する顔データ検出部と、
　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用部と、を備える
　オーディオ再生装置である。
　本開示は、例えば、
　オーディオ再生装置から送信された顔データを受信する受信部と、
　受信した顔データに対応する音響係数を出力する音響係数取得部と、
　音響係数取得部で出力された音響係数を、オーディオ再生装置に送信する
　サーバー装置である。
　本開示は、例えば、
　入力される画像データに基づいて顔データを検出する顔データ検出処理と、
　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用処理と、を行う
　オーディオ再生方法である。
　本開示は、例えば、
　入力される画像データに基づいて顔データを検出する顔データ検出処理と、
　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用処理と、を情報処理装置に実行させる
　オーディオ再生プログラムである。
図１は、一般的な再生装置の構成を示すブロック図である。 図２は、パニング処理の一種である３次元ＶＢＡＰを説明するための図である。 図３は、本実施形態に係るオーディオシステムを示すブロック図である。 図４は、本実施形態に係る個人化音響係数設定処理を示すフロー図である。 図５は、本実施形態に係る個人化音響係数取得処理を示すフロー図である。 図６は、本実施形態に係る個人化音響係数再計算処理を表すフロー図である。 図７は、テスト信号情報の表示の様子を示す図である。
　以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．一般技術の説明＞
＜２．一実施形態＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態に限定されるものではない。
＜１．一般技術の説明＞
　映画やゲーム等でオブジェクトオーディオ技術が使われ、オブジェクトオーディオを扱える符号化方式も開発されている。例えば、国際標準規格であるＭＰＥＧ規格などが知られている。
　このような符号化方式では、従来の２チャネルステレオ方式や５．１チャネル等のマルチチャンネルステレオ方式とともに、移動する音源等を独立したオーディオオブジェクトとして扱い、オーディオオブジェクトの信号データとともにオブジェクトの位置情報をメタデータとして符号化することができる。このようにすることで、スピーカの数、配置が異なる様々な視聴環境で再生が行え、また、従来の符号化方式では困難だった特定の音源を再生時に加工（例えば、音量の調整や、エフェクトの追加など）することが容易に可能となっている。
　図１には、一般的な再生装置１００の構成を示すブロック図が示されている。再生装置１００は、コアデコード処理部１０１、レンダリング処理部１０２、頭部伝達関数処理部１０３を備えて構成されている。コアデコード処理部１０１は、外部から入力される入力ビットストリームを復号し、オーディオオブジェクト信号と、オブジェクト位置情報等を含むメタデータを出力する。ここで、オブジェクトとは、再生されるオーディオ信号を構成する１乃至複数の音源であって、オーディオオブジェクト信号は、音源から発せられるオーディオ信号に相当し、オブジェクト位置情報は、音源となるオブジェクトの位置に相当する。
　レンダリング処理部１０２は、デコードされたオーディオオブジェクト信号と、オブジェクト位置情報に基づいて、仮想空間中に配置されたスピーカにレンダリング処理を行い、仮想空間における音場を再現した仮想スピーカ信号を出力する。頭部伝達関数処理部１０３は、仮想スピーカ信号に対し、一般的な頭部伝達関数を適用し、ヘッドフォンもしくはスピーカ再生のためのオーディオ信号を出力する。
　ここで、レンダリング処理部１０２では、３次元ＶＢＡＰ（Vector Based Amplitude Panning）と呼ばれる方式が用いられることが知られている。これは一般的にパニングと呼ばれるレンダリング手法の１つで、視聴位置を原点とする球表面上に存在するスピーカのうち、同じく球表面上に存在するオーディオオブジェクトに最も近い３個のスピーカに対しゲインを分配することでレンダリングを行う方式である。
　図２は、３次元ＶＢＡＰを説明するための図である。視聴位置Ｕ１１を原点Ｏとし、三次元空間中の球表面にあるオーディオオブジェクトＶＳＰ２から音を出力することを考えてみる。オーディオオブジェクトＶＳＰ２の位置を、原点Ｏ（視聴位置Ｕ１１）を始点とするベクトルＰとすると、ベクトルＰは、オーディオオブジェクトＶＳＰ２と同じ球表面にあるスピーカＳＰ１、ＳＰ２、ＳＰ３に対しゲインを分配することで表すことができる。したがって、ベクトルＰは、各スピーカＳＰ１、ＳＰ２、ＳＰ３の位置を表すベクトルＬ１、Ｌ２、及びＬ３を用いて式（１）のように表すことができる。
　　Ｐ＝ｇ１＊Ｌ１＋ｇ２＊Ｌ２＋ｇ３＊Ｌ３　　　　　　　（１）
　ここで、それぞれｇ１、ｇ２、及びｇ３は、スピーカＳＰ１、ＳＰ２、及びＳＰ３に対するゲインを表し、ｇ123＝［ｇ１ ｇ２ ｇ３］、Ｌ123＝［Ｌ１ Ｌ２ Ｌ３］とすると、式（１）は、以下の式（２）で表すことができる。
　　ｇ123＝ＰTＬ123-1　　　　　　　　　　　　　　　　　（２）
　このようにして求めたゲインを用いて、オーディオオブジェクト信号を各スピーカＳＰ１、ＳＰ２、ＳＰ３に分配することで、レンダリングを行うことができる。スピーカＳＰ１、ＳＰ２、ＳＰ３の配置は固定されており既知の情報であるため、逆行列Ｌ123-1は事前に求めておくことができ、比較的平易な計算量で処理を行うことができる。
　このようなパニング方式ではスピーカを空間中に多数配置することで空間解像度を高めることができる。しかし、映画館とは異なり一般の家庭では多数のスピーカを空間内に配置することは困難な場合が多い。このような場合に、頭部伝達関数を利用したトランスオーラル処理によって、空間中に配置した多数の仮想スピーカの再生信号を、実空間上に配置した少数のスピーカで聴覚近似的に再現できることが知られている。
　一方で、トランスオーラル処理に用いられる頭部伝達関数は、頭部や耳の形状によって大きく変化する。従って、現在市場に存在するトランスオーラル処理やヘッドフォン用のバイノーラル処理に用いられる頭部伝達関数は、人間の平均的な顔形状を持つダミーヘッドの耳穴にマイクロフォンを挿入しインパルス応答を測定することによって作成されている。しかしながら、実際には、個人毎に異なる顔、耳等の形状、配置によって左右されるため、平均的な頭部伝達関数では不十分であり、音場を忠実に再生することは困難であった。
　本実施形態に係るオーディオシステムは、このような状況に鑑みてなされたものであり、カメラによって取得された画像から顔認識技術を用いて顔データを取得し、取得した顔データに対応する個人化頭部伝達関数を使用することで、各個人に応じて、音場を忠実に再現することを一つの目的とするものである。以下に、本実施形態に係るオーディオシステムの各種実施形態を説明する。
＜２．一実施形態＞
　図３は、本実施形態に係るオーディオシステムを示すブロック図である。オーディオシステムは、オーディオ信号を出力する再生装置３００と、サーバー装置２００とを有して構成される。再生装置３００とサーバー装置２００とは、インターネット等、各種通信回線を介して通信接続されている。まず、再生装置３００のオーディオ再生機能について説明する。
　再生装置３００におけるオーディオ再生機能は、コアデコード処理部３０１、レンダリング処理部３０２、音響係数適用部３０３で実現される。コアデコード処理部３０１は、図１で説明したコアデコード処理部１０１と同様の機能を有し、入力される入力ビットストリームをデコードし、オーディオオブジェクト信号と、オブジェクト位置情報（メタ情報）を出力する。レンダリング処理部３０２は、図１で説明したレンダリング処理部１０２と同様の機能を有する。レンダリング処理部３０２では、例えば、先に説明したＶＢＡＰのようなパニング処理を実行し、仮想スピーカ信号を出力する。音響係数適用部３０３は、入力される仮想スピーカ信号に各種音響係数を適用することで、オーディオ信号を出力する。
　次に、音響係数適用部３０３で適用する各種音響係数を取得する方法について説明する。本実施形態の再生装置３００は、聴取するユーザーを撮影した画像データを取得することが可能となっている。画像データは、再生装置３００に通信接続された各種情報機器、例えば、テレビ、スマートスピーカ、パソコン等から取得することが可能である。これら情報機器にはカメラが搭載されており、再生装置３００で再生されるオーディオ信号を聴取するユーザーの様子を撮像することが可能となっている。なお、再生装置３００にカメラを搭載した情報機器を通信接続することに代え、再生装置３００にカメラを直接、通信接続し、画像データを取得する形態を採用してもよい。
　また、本実施形態の再生装置３００には、各種情報を表示するための表示装置を接続することが可能となっている。再生装置３００は、各種情報を表示することで、ユーザーに音響係数を選択させることが可能となっている。また、再生装置３００には、音響係数を選択させるための入力装置も接続される。入力装置としては、リモコン装置、キーボード、マウスといった形態以外に、ユーザーが所持するスマートフォンを通信接続して使用することも可能である。
　次に、再生装置３００で使用される個人化音響係数を得る方法について、図４のフローチャートを用いて説明を行う。図４は、再生装置３００で事項される個人化音響係数設定処理を示すフロー図である。
　再生装置３００で事項される個人化音響係数設定処理では、まず、顔データ検出部３０４に画像データが入力され（Ｓ１１）、顔データ検出部３０４は、画像データに基づいて顔認識処理を実行する（Ｓ１２）。顔データ検出部３０４は、認識結果に基づいて顔データを検出、出力する。顔認識処理については一般的に用いられている技術を適用することができる。なお、顔データは、画像データから抽出した顔部分であってもよいし、顔の輪郭や目耳鼻の位置、大きさといった顔の特徴量等、各種形態を採用することができる。また、顔データには、聴取空間におけるユーザーの位置、あるいは向いている方向を含めることとしてもよい。
　認識結果としての顔データはサーバー装置２００へ送信される（Ｓ１３）。これは顔データ送信部３０５によって行われる。サーバー装置２００への送信に関して、物理的には有線無線に限らずあらゆる媒体を用いることができる。また、論理的なフォーマットはロスレスな圧縮及び非圧縮フォーマットの他、サーバー装置２００上の多数の顔データから照合可能な程度の軽度な非可逆圧縮手法も用いることが可能である。
　ここで、サーバー装置２００上において受信された顔データから個人化音響係数を出力する手法については別途後述し、ここではサーバー装置２００から個人化音響係数が送信されたものとして説明を続ける。再生装置３００では、サーバー装置２００から１つ以上の音響係数を受信したか否かを確認する（Ｓ１４）。これは個人化音響係数受信部３０６によって行われる。顔データを送信してから一定期間の間に個人化音響係数が受信できない場合は、タイムアウトして個人化音響係数設定処理を終了する。
　一方、サーバー装置２００から個人化音響係数が受信された場合（Ｓ１４：Ｙｅｓ）、ユーザーは、受信した個人化音響係数を選択することが可能となっている。この処理は個人化音響係数選択部３０７によって実行される。ユーザーの選択は、再生装置３００に接続された入力装置によって行われる。本実施形態では、サーバー装置２００は、デフォルトの個人化音響係数に加え、少なくとも１つの個人化音響係数の候補を送信する。したがって、ユーザーは、デフォルトの個人化音響係数を使用するか、個人化音響係数の候補を使用するかを選択することが可能となっている。ユーザーが個人化音響係数を選択する場合（Ｓ１５：Ｙｅｓ）、再生装置３００は、テスト信号を再生（Ｓ１６）するとともに、テスト信号情報を表示装置に表示させる（Ｓ１７）。ユーザーは、個人化音響係数を切り替えながら、テスト信号を再生し、スピーカから出力されるオーディオ信号を聴取する。
　図７は、表示装置上に表示されたテスト信号情報の一例である。画像表示部３０８は、表示装置に対し、テスト信号情報に基づく映像を表示させる。本実施形態では、原点Ｏを中心として、位置情報に基づいて移動音源Ａを表示させる。その際、再生装置３００は、ユーザーの視聴位置を原点Ｏとして、移動音源Ａの位置情報に定位するようにテスト信号に基づくオーディオ信号を出力する。ここで、ユーザーはＸ軸正の方向を向いているとする。その際、音響係数適用部３０３には、受信した個人化音響係数が使用される。ユーザーは、表示装置に表示される移動音源Ａの位置と、自身が聞いている音（特に定位）を拠り所とし、個人化音響係数が適切か否かを決定する。図７には矢印で移動音源Ａの軌跡を示している。図から分かるように、この例では、移動音源Ａは、原点Ｏの周りを周回しながら上昇する軌跡を取っている。この場合、ユーザーは、自己の周りを周回しながら上昇する音の定位を聴取することになる。
　本実施形態では、デフォルトの個人化音響係数と、少なくとも１つの個人化音響係数の候補を使用することで、ユーザーに好適な個人化音響係数を選択させることを可能としている。ユーザーは入力装置を使用して、候補となる個人化音響係数を適宜選択し、適切な個人化音響係数を決定する（Ｓ１８）。一方、個人化音響係数を選択しない場合（Ｓ１５：Ｎｏ）には、受信したデフォルトの個人化音響係数が使用される（Ｓ１８）。個人化音響係数の選択結果は、サーバー装置２００に送信される（Ｓ１９）。そして、再生装置３００は、決定した個人化音響係数を音響係数適用部３０３に設定する（Ｓ２０）。
　以上が再生装置３００で実行される個人化音響係数設定処理の内容である。本実施形態では、送信した顔データに対応して、サーバー装置２００から受信した個人化音響係数を使用することで、顔データに適した個人化音響係数で音場を再現し、音場を忠実に再生することが可能となっている。また、ユーザーに対しても個人化音響係数を選択させることによって、更に好適な個人化音響係数を使用することが可能となる。そして、ユーザーの決定結果をサーバー装置２００側に送信することで、サーバー装置２００側では、決定結果を使用して学習処理を行い、さらに精度の高い個人化音響係数を提供することが可能となる。
　次に、サーバー装置２００側の処理について、図５及び図６のフローチャートを用いて説明を行う。図５は、サーバー装置２００で実行される個人化音響係数取得処理を示すフロー図である。サーバー装置２００は、再生装置３００から送信された顔データを受信することで、個人化音響係数取得処理を開始する。ここで、本実施形態の個人化音響係数には、頭部伝達関数を使用している。顔データに基づく各種個人の特徴量に応じた頭部伝達関数を使用することで、各個人に好適な音場を再現することが可能となっている。なお、顔データの受信、及び、個人化音響係数の送信は、個人化音響係数取得部２０１によって実行される。個人化音響係数取得処理が開始されると、受信した顔データが記憶部２０４内に存在するか否かが判定される（Ｓ２１）。
　顔データが存在しない場合（Ｓ２１：Ｎｏ）には、頭部伝達関数を用いないダウンミックス処理と等価な係数を個人化音響係数として送信する（Ｓ２２）。なお、ここでいうダウンミックス処理とは、例えば、ステレオからモノラルへ変換する場合に、ステレオの各チャネルに０．５を乗じて加算しモノラル信号を得るような処理を意味している。個人化音響係数を送信した（Ｓ２２）後、個人化音響係数取得処理を終了する。
　一方、顔データが存在する場合（Ｓ２１：Ｙｅｓ）、顔データが複数存在するかどうかの判定が行われる（Ｓ２３）。ここで顔データが複数存在するとは、再生装置３００を使用して聴取を行うユーザーが複数人居るということと等価である。顔データが複数存在する場合（Ｓ２３：Ｙｅｓ）、Ｓ２４の処理においてリスニングエリアの広い一般化された頭部伝達関数を用いた係数を個人化音響係数として送信する（Ｓ２４）。なお、リスニングエリアを広げる処理は、既存の技術を用いることができる。また、ここで一般化された頭部伝達関数とは、一般的な人の顔や耳の形状を模擬したダミーヘッドと呼ばれる模型の耳穴にマイクロフォンを挿入して測定して得られるものを意味する。個人化音響係数を送信した（Ｓ２４）後、個人化音響係数取得処理を終了する。なお、顔データにそれぞれのユーザーの位置情報が含まれる場合、全てのユーザーの位置をリスニングエリアとして設定し、個人化音響係数として決定することが可能である。
　次に、顔データが複数存在しなかった場合（Ｓ２３：Ｎｏ）、サーバー装置２００は、記憶部２０４内に登録された顔データが存在するかどうかの判定を行う（Ｓ２５）。具体的には、個人化音響係数取得部２０１が記憶部２０４にアクセスし、入力された顔データが登録済みか判定を行う。顔データが存在する場合（Ｓ２５：Ｙｅｓ）、顔データと紐付けられた個人化音響係数をデフォルトの個人化音響係数として送信する。また、本実施形態では、デフォルトの個人化音響係数とともに、少なくとも１つの個人化音響係数の候補を送信する。したがって、再生装置３００に対しては、デフォルトの個人化音響係数を含め、複数の個人化音響係数が送信される（Ｓ２６）。ここで、候補となる個人化音響係数は、デフォルトの個人化音響係数とは、異なる個人化音響係数であって、受信した顔データに基づいて決定される、あるいは、デフォルトの個人化音響係数を調整する等の手法で決定される。
　一方、顔データが記憶部２０４に存在しなかった場合（Ｓ２５：Ｎｏ）、入力された顔データを分析することで、複数の個人化音響係数を決定して送信する（Ｓ２７）。顔データの分析手法としては、機械学習によって得られた学習係数を持つニューラルネットワークに対して、顔データを入力し、複数の個人化音響係数の候補を尤度順に送信すること等が考えられる。再生装置３００では、尤度順の最も高い個人化音響係数がデフォルトとして設定される。なお、この未知の顔データに対する個人化音響係数の取得は、Ｓ２６において、登録された個人化音響係数以外の候補を送信する際にも用いられる。
　次に、図６のフローチャートを用いて個人化音響係数再計算処理について説明を行う。個人化音響係数再計算処理は、サーバー装置２００で行われる処理であり、再生装置３００から送信された個人化音響係数の選択結果に基づいて実行される処理である。サーバー装置２００は、再生装置３００から送信された個人化音響係数の選択結果を受信する（Ｓ３１）。この処理は、図３の個人化音響係数選択結果受信部２０２において行われる。
　図４で説明した個人化音響係数設定処理において、サーバー装置２００は、顔データとともに選択結果を受信する。サーバー装置２００は、個人化音響係数設定処理で受信した個人化音響係数と顔データのペアを記憶部２０４に記録する（Ｓ３２）。その後、記憶部２０４に記憶している個人化音響係数と顔データのペアを使用して学習処理を実行する（Ｓ３３）。ここで、学習処理は、顔データに基づく個人化音響係数の決定アルゴリズムを更新する機械学習処理であり、機械学習処理としては、ディープニューラルネットワークにとして知られるＣＮＮ（Convolution Neural Network）や、ＲＮＮ（Recurrent Neural Network）など、既存の手法を適用できる。更新された個人化音響係数の決定アルゴリズムは、図５で説明した個人化音響係数の候補を作成する際に使用される。
　以上、個人化音響係数再計算処理では、顔データに基づき個人化音響係数を複数送信し、ユーザーに選択させることで、ユーザーに好適な個人化音響係数を使用することが可能となっている。更に、選択結果に基づき、顔データと個人化音響係数の関係を学習することで、より好適な個人化音響係数を提供することが可能となっている。
　なお、本実施形態では、デフォルトの個人化音響係数と、候補となる個人化音響係数を送信しているが、このような形態に代え、以下に説明する形態を採用することもできる。この形態では、サーバー装置２００は、デフォルトの個人化音響係数のみを送信する。再生装置３００側では、ユーザーは、入力装置を使用して、受信したデフォルトの個人化音響係数を調整することが可能となっている。個人化音響係数設定処理では、調整された結果を選択結果として、サーバー装置２００に送信する。サーバー装置２００では、選択結果と顔データのペアに基づき、学習処理を実行することで、個人化音響係数の決定アルゴリズムを決定する。なお、この個人化音響係数の調整は、前述した複数の個人化音響係数の中からの選択と併用することも可能である。
　本開示の少なくとも実施形態によれば、聴取するユーザーの顔データに応じた音響係数をオーディオ信号に適用することで、ユーザーに好適な音場を形成することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバーにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。
　本開示は、以下の構成も採ることができる。
（１）
　入力される画像データに基づいて顔データを検出する顔データ検出部と、
　前記顔データ検出部から出力された顔データに対応する音響係数を出力する音響係数取得部と、
　前記音響係数取得部で取得した音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用部と、を備える
　オーディオシステム。
（２）
　前記音響係数は、頭部伝達関数である
　（１）に記載のオーディオシステム。
（３）
　前記音響係数取得部は、入力された顔データに対応する個人が登録されていた場合、当該個人に対応する音響係数を、音響係数として出力する
　（１）または（２）に記載のオーディオシステム。
（４）
　前記音響係数取得部は、入力された顔データに対応する個人が登録されていない場合、入力された顔データの分析結果に基づき、音響係数を出力する
　（１）から（３）の何れか１つに記載のオーディオシステム。
（５）
　前記音響係数取得部は、複数の音響係数を出力する
　（１）から（４）の何れか１つに記載のオーディオシステム。
（６）
　前記音響係数取得部は、入力された顔データに対応する個人が登録されていた場合、当該個人に対応する音響係数と、少なくとも１つの候補となる音響係数を出力する
　（５）に記載のオーディオシステム。
（７）
　前記音響係数取得部は、入力された顔データに対応する個人が登録されていない場合、複数の候補となる音響係数を出力する
　（５）または（６）に記載のオーディオシステム。
（８）
　前記音響係数取得部は、前記顔データ検出部が複数の顔データを検出した場合、広い聴取範囲の音響係数を出力する
　（１）から（７）の何れか１つに記載のオーディオシステム。
（９）
　前記音響係数取得部は、検出した顔データの位置に基づき、前記広い聴取範囲の音響係数を出力する
　（８）に記載のオーディオシステム。
（１０）
　出力された複数の音響係数をユーザーが選択可能な選択部と、
　前記選択部における選択結果と、前記音響係数取得部で使用した顔データに基づいて、学習処理を実行する音響係数再計算部を備える
　（５）から（９）の何れか１つに記載のオーディオシステム。
（１１）
　出力された複数の音響係数をユーザーが選択可能な選択部と、
　位置情報に基づき、オブジェクトを表示する画像表示部と、を備え、
　前記音響係数適用部は、表示されるオブジェクトの位置情報に基づいて、音像定位されオーディオ信号を出力する
　（５）から（１０）の何れか１つに記載のオーディオシステム。
（１２）
　入力される画像データに基づいて顔データを検出する顔データ検出部と、
　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用部と、を備える
　オーディオ再生装置。
（１３）
　検出した顔データをサーバー装置に送信する送信部と、
　顔データに対応する音響係数を受信する受信部を備えた
　（１２）に記載のオーディオ再生装置。
（１４）
　オーディオ再生装置から送信された顔データを受信する受信部と、
　受信した顔データに対応する音響係数を出力する音響係数取得部と、
　音響係数取得部で出力された音響係数を、前記オーディオ再生装置に送信する
　サーバー装置。
（１５）
　入力される画像データに基づいて顔データを検出する顔データ検出処理と、
　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用処理と、を行う
　オーディオ再生方法。
（１６）
　入力される画像データに基づいて顔データを検出する顔データ検出処理と、
　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用処理と、を情報処理装置に実行させる
　オーディオ再生プログラム。
１００：再生装置
１０１：コアデコード処理部
１０２：レンダリング処理部
１０３：頭部伝達関数処理部
２００：サーバー装置
２０１：個人化音響係数取得部
２０２：個人化音響係数選択結果受信部
２０４：記憶部
３００：再生装置
３０１：コアデコード処理部
３０２：レンダリング処理部
３０３：音響係数適用部
３０４：顔データ検出部
３０５：顔データ送信部
３０６：個人化音響係数受信部
３０７：個人化音響係数選択部
３０８：画像表示部

Claims (16)

  1. 　入力される画像データに基づいて顔データを検出する顔データ検出部と、
    　前記顔データ検出部から出力された顔データに対応する音響係数を出力する音響係数取得部と、
    　前記音響係数取得部で取得した音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用部と、を備える
    　オーディオシステム。
  2. 　前記音響係数は、頭部伝達関数である
    　請求項１に記載のオーディオシステム。
  3. 　前記音響係数取得部は、入力された顔データに対応する個人が登録されていた場合、当該個人に対応する音響係数を、音響係数として出力する
    　請求項１に記載のオーディオシステム。
  4. 　前記音響係数取得部は、入力された顔データに対応する個人が登録されていない場合、入力された顔データの分析結果に基づき、音響係数を出力する
    　請求項１に記載のオーディオシステム。
  5. 　前記音響係数取得部は、複数の音響係数を出力する
    　請求項１に記載のオーディオシステム。
  6. 　前記音響係数取得部は、入力された顔データに対応する個人が登録されていた場合、当該個人に対応する音響係数と、少なくとも１つの候補となる音響係数を出力する
    　請求項５に記載のオーディオシステム。
  7. 　前記音響係数取得部は、入力された顔データに対応する個人が登録されていない場合、複数の候補となる音響係数を出力する
    　請求項５に記載のオーディオシステム。
  8. 　前記音響係数取得部は、前記顔データ検出部が複数の顔データを検出した場合、広い聴取範囲の音響係数を出力する
    　請求項１に記載のオーディオシステム。
  9. 　前記音響係数取得部は、検出した顔データの位置に基づき、前記広い聴取範囲の音響係数を出力する
    　請求項８に記載のオーディオシステム。
  10. 　出力された複数の音響係数をユーザーが選択可能な選択部と、
    　前記選択部における選択結果と、前記音響係数取得部で使用した顔データに基づいて、学習処理を実行する音響係数再計算部を備える
    　請求項５に記載のオーディオシステム。
  11. 　出力された複数の音響係数をユーザーが選択可能な選択部と、
    　位置情報に基づき、オブジェクトを表示する画像表示部と、を備え、
    　前記音響係数適用部は、表示されるオブジェクトの位置情報に基づいて、音像定位されオーディオ信号を出力する
    　請求項５に記載のオーディオシステム。
  12. 　入力される画像データに基づいて顔データを検出する顔データ検出部と、
    　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用部と、を備える
    　オーディオ再生装置。
  13. 　検出した顔データをサーバー装置に送信する送信部と、
    　顔データに対応する音響係数を受信する受信部を備えた
    　請求項１２に記載のオーディオ再生装置。
  14. 　オーディオ再生装置から送信された顔データを受信する受信部と、
    　受信した顔データに対応する音響係数を出力する音響係数取得部と、
    　音響係数取得部で出力された音響係数を、前記オーディオ再生装置に送信する
    　サーバー装置。
  15. 　入力される画像データに基づいて顔データを検出する顔データ検出処理と、
    　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用処理と、を行う
    　オーディオ再生方法。
  16. 　入力される画像データに基づいて顔データを検出する顔データ検出処理と、
    　顔データに対応する音響係数に基づく音響処理を、オーディオ信号に施す音響係数適用処理と、を情報処理装置に実行させる
    　オーディオ再生プログラム。
PCT/JP2019/048428 2019-01-24 2019-12-11 オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム WO2020153027A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020567412A JPWO2020153027A1 (ja) 2019-01-24 2019-12-11 オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム
KR1020217020945A KR20210118820A (ko) 2019-01-24 2019-12-11 오디오 시스템, 오디오 재생 장치, 서버 장치, 오디오 재생 방법 및 오디오 재생 프로그램
CN201980089410.9A CN113302950A (zh) 2019-01-24 2019-12-11 音频系统、音频重放设备、服务器设备、音频重放方法和音频重放程序
US17/423,854 US11937069B2 (en) 2019-01-24 2019-12-11 Audio system, audio reproduction apparatus, server apparatus, audio reproduction method, and audio reproduction program
DE112019006727.3T DE112019006727T5 (de) 2019-01-24 2019-12-11 Audiosystem, audiowiedergabeeinrichtung, servereinrichtung, audiowiedergabeverfahren und audiowiedergabeprogramm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-009921 2019-01-24
JP2019009921 2019-01-24

Publications (1)

Publication Number Publication Date
WO2020153027A1 true WO2020153027A1 (ja) 2020-07-30

Family

ID=71736733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048428 WO2020153027A1 (ja) 2019-01-24 2019-12-11 オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム

Country Status (6)

Country Link
US (1) US11937069B2 (ja)
JP (1) JPWO2020153027A1 (ja)
KR (1) KR20210118820A (ja)
CN (1) CN113302950A (ja)
DE (1) DE112019006727T5 (ja)
WO (1) WO2020153027A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022075574A (ja) * 2020-11-05 2022-05-18 株式会社ソニー・インタラクティブエンタテインメント 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023230886A1 (zh) * 2022-05-31 2023-12-07 京东方科技集团股份有限公司 音频控制方法、控制装置、驱动电路以及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125499A (ja) * 2001-10-17 2003-04-25 Sony Corp 音響再生装置
JP2006115442A (ja) * 2004-09-14 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 高臨場感通信装置及び高臨場感通信方法
JP2010245946A (ja) * 2009-04-08 2010-10-28 Toyota Motor Corp 音伝達装置
JP2011223549A (ja) * 2010-03-23 2011-11-04 Panasonic Corp 音声出力装置
JP2013168924A (ja) * 2011-12-30 2013-08-29 Gn Resound As 頭部伝達関数を決定するシステムおよび方法
JP2014099797A (ja) * 2012-11-15 2014-05-29 Nippon Hoso Kyokai <Nhk> 頭部伝達関数選択装置、音響再生装置
JP2014131140A (ja) * 2012-12-28 2014-07-10 Yamaha Corp 通信システム、ａｖレシーバ、および通信アダプタ装置
JP2017034350A (ja) * 2015-07-29 2017-02-09 キヤノン株式会社 音響装置及びその制御方法、コンピュータプログラム
JP2017143468A (ja) * 2016-02-12 2017-08-17 キヤノン株式会社 情報処理装置および情報処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223713A (ja) * 2004-02-06 2005-08-18 Sony Corp 音響再生装置、音響再生方法
CN101175343B (zh) 2004-12-24 2010-04-21 松下电器产业株式会社 声像定位装置
JP2007028134A (ja) * 2005-07-15 2007-02-01 Fujitsu Ltd 携帯電話機
US11450331B2 (en) * 2006-07-08 2022-09-20 Staton Techiya, Llc Personal audio assistant device and method
JP6407568B2 (ja) 2014-05-30 2018-10-17 株式会社東芝 音響制御装置
WO2016145261A1 (en) * 2015-03-10 2016-09-15 Ossic Corporation Calibrating listening devices
SG10201510822YA (en) 2015-12-31 2017-07-28 Creative Tech Ltd A method for generating a customized/personalized head related transfer function
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
FI20165211A (fi) 2016-03-15 2017-09-16 Ownsurround Ltd Järjestely HRTF-suodattimien valmistamiseksi
US10028070B1 (en) * 2017-03-06 2018-07-17 Microsoft Technology Licensing, Llc Systems and methods for HRTF personalization
US10278002B2 (en) * 2017-03-20 2019-04-30 Microsoft Technology Licensing, Llc Systems and methods for non-parametric processing of head geometry for HRTF personalization
US10306396B2 (en) * 2017-04-19 2019-05-28 United States Of America As Represented By The Secretary Of The Air Force Collaborative personalization of head-related transfer function
US10149089B1 (en) * 2017-05-31 2018-12-04 Microsoft Technology Licensing, Llc Remote personalization of audio
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125499A (ja) * 2001-10-17 2003-04-25 Sony Corp 音響再生装置
JP2006115442A (ja) * 2004-09-14 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 高臨場感通信装置及び高臨場感通信方法
JP2010245946A (ja) * 2009-04-08 2010-10-28 Toyota Motor Corp 音伝達装置
JP2011223549A (ja) * 2010-03-23 2011-11-04 Panasonic Corp 音声出力装置
JP2013168924A (ja) * 2011-12-30 2013-08-29 Gn Resound As 頭部伝達関数を決定するシステムおよび方法
JP2014099797A (ja) * 2012-11-15 2014-05-29 Nippon Hoso Kyokai <Nhk> 頭部伝達関数選択装置、音響再生装置
JP2014131140A (ja) * 2012-12-28 2014-07-10 Yamaha Corp 通信システム、ａｖレシーバ、および通信アダプタ装置
JP2017034350A (ja) * 2015-07-29 2017-02-09 キヤノン株式会社 音響装置及びその制御方法、コンピュータプログラム
JP2017143468A (ja) * 2016-02-12 2017-08-17 キヤノン株式会社 情報処理装置および情報処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022075574A (ja) * 2020-11-05 2022-05-18 株式会社ソニー・インタラクティブエンタテインメント 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム
US11854555B2 (en) 2020-11-05 2023-12-26 Sony Interactive Entertainment Inc. Audio signal processing apparatus, method of controlling audio signal processing apparatus, and program
JP7450591B2 (ja) 2020-11-05 2024-03-15 株式会社ソニー・インタラクティブエンタテインメント 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
CN113302950A (zh) 2021-08-24
DE112019006727T5 (de) 2021-11-04
KR20210118820A (ko) 2021-10-01
US20220086587A1 (en) 2022-03-17
JPWO2020153027A1 (ja) 2021-12-02
US11937069B2 (en) 2024-03-19

Similar Documents

Publication Publication Date Title
US10440496B2 (en) Spatial audio processing emphasizing sound sources close to a focal distance
RU2661775C2 (ru) Передача сигнальной информации рендеринга аудио в битовом потоке
US7602921B2 (en) Sound image localizer
WO2018047667A1 (ja) 音声処理装置および方法
EP1416769A1 (en) Object-based three-dimensional audio system and method of controlling the same
US20130044884A1 (en) Apparatus and Method for Multi-Channel Signal Playback
JP2019533404A (ja) バイノーラルオーディオ信号処理方法及び装置
JP7479352B2 (ja) オーディオ装置及びオーディオ処理の方法
KR20110069112A (ko) 보청기 시스템에서 바이노럴 스테레오를 렌더링하는 방법 및 보청기 시스템
CN103354630A (zh) 用于使用基于对象的元数据产生音频输出信号的装置和方法
US20240098416A1 (en) Audio enhancements based on video detection
CN114067810A (zh) 音频信号渲染方法和装置
WO2020153027A1 (ja) オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム
KR102148217B1 (ko) 위치기반 오디오 신호처리 방법
TW201928945A (zh) 音訊場景處理技術
US11962991B2 (en) Non-coincident audio-visual capture system
CN114915874A (zh) 音频处理方法、装置、设备、介质及程序产品
RU2815366C2 (ru) Аудиоустройство и способ обработки аудио
RU2815621C1 (ru) Аудиоустройство и способ обработки аудио
US20230421981A1 (en) Reproducing device, reproducing method, information processing device, information processing method, and program
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
RU2798414C2 (ru) Аудиоустройство и способ обработки аудио
CN114128312B (zh) 用于低频效果的音频渲染
O’Dwyer Sound Source Localization and Virtual Testing of Binaural Audio

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911085

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567412

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19911085

Country of ref document: EP

Kind code of ref document: A1