JP7450591B2 - 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム - Google Patents

音声信号処理装置、音声信号処理装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP7450591B2
JP7450591B2 JP2021177972A JP2021177972A JP7450591B2 JP 7450591 B2 JP7450591 B2 JP 7450591B2 JP 2021177972 A JP2021177972 A JP 2021177972A JP 2021177972 A JP2021177972 A JP 2021177972A JP 7450591 B2 JP7450591 B2 JP 7450591B2
Authority
JP
Japan
Prior art keywords
audio
setting information
user
information
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021177972A
Other languages
English (en)
Other versions
JP2022075574A (ja
Inventor
朝 堀越
佑宜 唐津
俊良 齋藤
馨 山上
義道 北谷
エリック ベラン
ドーン ビクトリア
サンストン ブランドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2022075574A publication Critical patent/JP2022075574A/ja
Application granted granted Critical
Publication of JP7450591B2 publication Critical patent/JP7450591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Description

本発明は、音声信号処理装置、その制御方法、及びプログラムに関する。
ユーザが左右の耳に装着するヘッドフォンなどで再生する音声信号を生成する際に、ユーザの頭部における音響伝達に関わるパラメータ情報を用いて音声信号を加工することで、立体的な音響をユーザに感得させる、立体音響技術がある。
しかしながら、頭部の音響伝達に関わるパラメータ情報は、聴取者の頭部の形状などによって相違するため、事前に定めたパラメータ情報を利用する場合、聴取者によって立体感が異なって聴取されることが知られている。一方で、このパラメータ情報をユーザごとに設定しようとすると、専門的な装置を用いた計測が必要となってしまい、多数のユーザに対して最適なパラメータ情報を設定することは現実的でない。
本発明は上記実情に鑑みて為されたもので、ユーザに対してユーザごとに適した頭部の音響伝達に関わるパラメータ情報の選択を支援することのできる音声信号処理装置、その制御方法、及びプログラムを提供することを、その目的の一つとする。
上記従来例の問題点を解決するための本発明の一態様は、聴取者の頭部における音響伝達に関わる所定のパラメータ情報を用いて音声信号を生成する音声信号処理装置であって、予め定められた、互いに異なる前記所定のパラメータ情報をそれぞれ含む複数の音声設定情報を保持する保持手段と、前記保持された音声設定情報のうち、選択された音声設定情報に含まれる前記所定のパラメータ情報を用いて生成された音声信号を出力する音声出力手段と、ユーザから前記音声設定情報のいずれかを指定する指示を受け入れる指示受入手段と、前記指示受入手段が受け入れた指示により指定された音声設定情報を、ユーザを特定する情報に関連付けて格納する設定格納手段と、を含み、ユーザを特定する情報に関連付けて格納された音声設定情報に含まれる前記所定のパラメータ情報が、当該ユーザに対して出力する音声信号を生成する処理に供されることとしたものである。
本発明によると、ユーザごとに適した頭部の音響伝達に関わるパラメータ情報の選択を支援することが可能となる。
本発明の実施の形態にかかる音声信号処理装置の構成例及び接続例を表すブロック図である。 本発明の実施の形態に係る音声信号処理装置が利用するパラメータ情報の一例である頭部伝達関数の概要例を表す説明図である。 本発明の実施の形態にかかる音声信号処理装置の例を表す機能ブロック図である。 本発明の実施の形態にかかる音声信号処理装置が用いるデータベースの内容例を表す説明図である。 本発明の実施の形態にかかる音声信号処理装置が表示する画面例を表す説明図である。
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る音声信号処理装置1は、図1に例示するように、制御部11、記憶部12、操作制御部13、表示制御部14、及び通信部15を含んで構成される。またこの音声信号処理装置1は、ヘッドフォンやイヤフォンなど、ユーザが左右の耳に装着する音響デバイス2に対して、有線または無線にて接続されている。さらに音声信号処理装置1は、ユーザが保持するゲームコントローラや、マウス、キーボードその他の操作デバイス3と、家庭用テレビジョンやモニタ等の出力装置4とにそれぞれ有線または無線にて接続される。
制御部11は、CPU等を含むプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態の例では制御部11は、アプリケーションプログラムを実行する処理を行うほか、アプリケーション等から入力される指示に従って、ユーザが左右の耳に装着する音響デバイス2のそれぞれに鳴動させるための音声信号を生成して、音響デバイス2に出力する処理を実行する。またこの制御部11は、この音声信号の生成の際、聴取者となるユーザの頭部における音響伝達に関わる所定のパラメータ情報を用いた立体音響処理を行って音声信号を生成する。
本実施の形態の一例において、このパラメータ情報は、頭部伝達関数(HRTF:Head-Related Transfer Function)に関係する情報である。この頭部伝達関数はユーザの頭部の形状等による入射音波の物理的特性の変化を周波数領域で表したものであり、例えば図2に例示するように、音声信号の周波数に対する相対振幅で表される。
具体的に耳介や頭部が存在しない場所であれば、ある周波数の音声と、他の周波数の音声とは同じように伝播すると考えられるから、信号の相対振幅は、どの周波数であっても0dB(等倍)となると想定される(相対振幅が周波数に依存しない)。ところが耳介等の影響がある人の頭部では、周波数によって相対振幅が所定の量(例えば10dB)を超えて上側に振れる箇所(ピーク)Pが存在し、また所定の量(例えば10dB)を超えて下側に振れる箇所(ノッチ)Nが存在することが知られている。
本実施の形態の例では、制御部11は、予め定められた、互いに異なる頭部伝達関数に係る複数の音声設定情報を用意しておき、ユーザから当該複数の音声設定情報のいずれかを指定する指示を受け入れ、当該受け入れた指示により指定された音声設定情報を、ユーザを特定する情報に関連付けて格納する。
本実施の形態では、音声信号処理装置1のユーザは予め、ユーザを特定する情報(ユーザ名やメールアドレス、ネットワークアカウント名など)とパスワードなどの認証情報とを登録しておくものとする。
制御部11は、そして、ユーザに対して出力する音声信号を生成する際、当該ユーザを特定する情報に関連付けて格納された音声設定情報に係る頭部伝達関数を用いて生成された音声信号を、例えば通信部15を介して当該ユーザが装着する音響デバイス2に対して出力する。これらの制御部11の処理の内容については後に詳しく述べる。
記憶部12は、メモリデバイスやディスクデバイスを含むものであり、本実施の形態では、制御部11によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部12に格納されたものであってもよい。またこの記憶部12は、互いに異なる複数の音声設定情報を保持する。さらに記憶部12は制御部11のワークメモリとしても機能する。
操作制御部13は、操作デバイス3から入力される、ユーザの操作の内容を表す情報を取得し、制御部11に出力する。表示制御部14は、制御部11から入力される指示に従って情報を表示出力する。通信部15は、ネットワークインタフェース等であり、制御部11から入力される指示に従い、ネットワークを介して接続されるサーバ等との間で通信を行い、種々のデータを送受する。
またこの通信部15は、例えばブルートゥース(登録商標)等の近距離通信手段としても機能し、制御部11から入力される指示に従って、ユーザが装着する音響デバイス2に対して音声信号を出力する。
次に本実施の形態の制御部11の動作について説明する。本実施の形態の制御部11は、記憶部12に格納されたプログラムに従って動作することで、図3に例示するように、機能的に、アプリケーション実行部20と、システム処理部30とを含む構成を実現する。
また本実施の形態においてシステム処理部30は、ユーザ特定部31と、音声設定情報提示部32と、指定受入部33と、設定格納部34と、音声信号生成部35と、音声出力部36と、を機能的に含む。
アプリケーション実行部20は、ゲームアプリケーション等のプログラムを実行するモジュールであり、ゲームアプリケーションのプログラム等の指示に従い種々の処理を実行するものである。このアプリケーション実行部20は、ゲームアプリケーションのプログラム等により、音声信号を出力するべき旨の指示があったときには、当該指示された音声信号を生成して出力するよう、システム処理部30に要求する。
システム処理部30は、システムプログラムを実行するモジュールであり、アプリケーションプログラム実行のプロセス管理や、メモリ管理など種々の処理を実行するものである。本実施の形態において特徴的なことの一つは、このシステム処理部30が次に例示する音声信号処理を実行することである。なお、以下の例では、ユーザを特定する情報と音声設定情報を特定する情報とを関連付けて、音声設定情報データベースとして記憶部12に格納しておく(図4(a))。この音声設定情報を特定する情報は、ユーザが登録された当初は、予め定めたデフォルトの音声設定情報を特定する情報としておく。
ユーザ特定部31は、音声信号処理装置1を利用するユーザ(操作デバイス3を利用するユーザ)を、ユーザ名とパスワード等を用いて認証し、ユーザを特定する情報を取得する。なお、本実施の形態の音声信号処理装置1は、複数のユーザにより共用されてもよく、その場合は、各操作デバイス3を利用するユーザのそれぞれを特定する情報を取得するものとする。
そしてユーザ特定部31は、特定したユーザごとに、ユーザが利用する音響デバイス2と、操作デバイス3とをそれぞれ特定する情報を、ユーザを特定する情報に関連付けてログインデータベースとして記録する(図4(b))。ここで、音響デバイス2や操作デバイス3を特定する情報は、例えばこれらがブルートゥース(登録商標)等の近距離通信により接続されているときには、その通信で利用されるパブリックアドレス(MACアドレス)等を用いてもよい。このような、ユーザごとにユーザの利用するデバイスを特定する処理は、既に広く知られたものであるので、ここでの詳しい説明を省略する。
音声設定情報提示部32は、ユーザの指示などによって起動され、起動されると、記憶部12が保持する複数の音声設定情報の一覧を所定の感覚的基準に従った順序でユーザに提示する。またこの音声設定情報提示部32は、当該提示した一覧のうちから音声設定情報の一つを選択して試聴する旨の指示をユーザから受け入れて、選択された音声設定情報を用いて生成された音声信号を、当該指示を行ったユーザが装着する音響デバイス2に対して出力する。
具体的にここで音声設定情報提示部32が一覧として提示する音声設定情報は、既に述べたように、頭部伝達関数に関係する情報が互いに異っているものでよい。すなわち、本実施の形態のある例では、ピークまたはノッチが存在する周波数(ピーク周波数またはノッチ周波数)を互いに異ならせた頭部伝達関数を複数用意し、当該複数の頭部伝達関数のそれぞれに係る複数の音声設定情報(プリセット候補)R1,R2,…を記憶部12に格納しておく。
一例としてノッチ周波数を異ならせると、音源の設定が同じであっても音像の高さ方向(上下方向)の定位感が異なって感得されることが知られている。そこでここでの例では、音声設定情報提示部32は、感覚的基準に従った順序として、音像が高い位置として感得される順に、音声設定情報のプリセット候補R1,R2,…を配列して一覧として表示することとする(図5)。
またこのとき音声設定情報提示部32は、記憶部12に格納されている音声設定情報データベースに記録されている情報を参照して、音声設定情報提示部32を起動したユーザを特定する情報に関連付けて記録されている情報で特定される音声設定情報がどれであるかを、例えば一覧中の表示態様を、他の音声設定情報に係るものと異ならせる(例えば二重線で囲むなどする(図5(X))こととしてもよい。
さらに音声設定情報提示部32は、ユーザに対してこの一覧のうちからどのような音声設定情報を選択するべきであるかを案内する案内情報を表示する。具体的にここでの例では「音の位置が自分の耳の高さと同じと感じられる音声設定情報を選択してください」などと表示する。
また音声設定情報提示部32は、この一覧のうちから音声設定情報を選択して試聴する指示(単にカーソルを移動して選択したことをもって試聴する指示であるとしてもよい)をユーザから受けると、予め用意された音声の波形情報(選択される音声設定情報によらず共通の波形情報)の発生源(音源)を、仮想的な三次元空間内の所定の位置(選択される音声設定情報によらず共通の位置)に配したものとして設定する。また音声設定情報提示部32は、当該仮想的な三次元空間内の別の所定の位置(これも選択される音声設定情報によらず共通の位置)にユーザを配したものとして設定して、上記選択された音声設定情報を用いて、立体音響処理を行った音声信号を生成する。音声設定情報提示部32は、当該生成した音声信号を、指示を行ったユーザを特定する情報に関連付けられた情報で特定される音響デバイス2に対して出力する。
ここでの立体音響処理は、選択された音声設定情報に係る頭部伝達関数を用いてユーザの左右の耳に装着された音響デバイス2にそれぞれ出力する信号(左音声信号と右音声信号)を生成する処理であり、例えばバイノーラル処理などとして広く知られた処理を採用できるので、ここでの詳しい説明は省略する。
また指定受入部33は、ユーザが選択した音声設定情報を、当該ユーザに対応する音声設定情報として設定するべき旨の指示(設定指示)を受け入れる。指定受入部33は、この設定指示を受け入れると、選択された音声設定情報(プリセット候補R1,R2,…のいずれか)を特定する情報と、当該設定指示を行ったユーザを特定する情報とを設定格納部34に出力する。
設定格納部34は、記憶部12に格納されている音声設定情報データベースに記録されている情報のうち、指定受入部33から入力された、ユーザを特定する情報に関連付けられた音声設定情報を特定する情報を、指定受入部33から入力された音声設定情報を特定する情報に置き換えて、図4(a)に例示した音声設定情報データベースを更新する。
音声信号生成部35は、アプリケーションプログラムからの指示に応じて音声を鳴動するための処理を行う際、ユーザごとに設定された音声設定情報を参照して、各ユーザが装着する音響デバイス2に対して出力するべき音声信号を生成する。
具体的にこの音声信号生成部35は、記憶部12に格納されたログインデータベースを参照して、現在音声信号処理装置1を利用しているユーザを特定する情報を取得する。またここで取得したユーザを特定する情報に関連付けて音声設定情報データベースに記録されている、音声設定情報を特定する情報をユーザごとに取得しておく。
そして音声信号生成部35は、アプリケーション実行部20がアプリケーションプログラムを実行している間に、アプリケーション実行部20から音声信号を生成して出力するべき旨の要求を受け入れる。本実施の形態の一例では、この要求には仮想的な三次元空間中で音源の位置を表す情報及び音源が鳴動する音声の波形情報(以下、音源の波形情報と呼ぶ)と、当該三次元空間中でのユーザの位置及び姿勢(ユーザが向いている方向等)を表す情報とが含まれるものとする。なお、音声信号生成部35は、音源が複数ある場合は各音源の位置及び波形情報をアプリケーション実行部20から受け入れるものとする。
音声信号生成部35は、取得した情報で特定されるユーザごとに、当該ユーザに対応する音声設定情報と、当該三次元空間中でのユーザの位置及び姿勢を表す情報と、音源の位置を表す情報及び音源の波形情報(音源の設定を表す情報)とを用いて立体音響処理を行い、音声信号を生成する。この立体音響処理は既に述べたように、音源の設定を表す情報等に基づき、音声設定情報に含まれる頭部伝達関数を用いてユーザの左右の耳に装着された音響デバイス2にそれぞれ出力する信号(左音声信号と右音声信号)を生成する処理であり、バイノーラル処理などとして広く知られた処理を採用できるものである。
音声出力部36は、音声信号生成部35はユーザごとに生成した音声信号を、対応するユーザの装着する音響デバイス2に対して出力する。
[動作]
本実施の形態の音声信号処理装置1は、基本的に以上の構成を備えており、次のように動作する。音声信号処理装置1のユーザは、操作デバイス3を用いて予め登録したユーザ名とパスワードとを入力する。
音声信号処理装置1は、入力されたユーザ名とパスワードとを用いてユーザを認証し、ユーザの認証に成功すると、当該認証したユーザを特定する情報と、操作デバイス3を特定する情報とを関連付けて、ログインデータベースに記録する。
また音声信号処理装置1は、通信可能な音響デバイス2の一覧を表示して認証したユーザに選択させるなどして、認証したユーザが利用する音響デバイス2を特定する情報を取得し、当該取得した音響デバイス2を特定する情報を、ログインデータベースの、認証したユーザを特定する情報に関連付けて記録する。
またここでの例では、予め登録されたユーザを特定する情報と音声設定情報を特定する情報とを関連付けた音声設定情報データベースが記憶部12に格納されているものとする。この音声設定情報データベースでは、ユーザが設定を変更していなければ、予め定めたデフォルトの音声設定情報を特定する情報がユーザを特定する情報に関連付けて記録されているものとする。
次に音声信号処理装置1の動作について、
(1)設定変更の動作と、
(2)設定された音声設定情報を用いる動作と、
にわけて説明する。
[設定変更の動作]
音声信号処理装置1は、各種のシステム設定を行うべき旨の指示を受けてシステム設定項目の一覧を提示する。本実施の形態では、このシステム設定項目のうちに、立体音響効果をオンとするかオフとするかの設定と、立体音響効果をオンとした場合の、ユーザごとの音声設定情報に係る設定とを含むものとする。
なお本実施の形態の一例では、音声信号処理装置1は、立体音響効果をオフとした場合、ユーザごとの音声設定情報に係る設定を行うための画面への遷移は行わないよう制御する。例えばユーザごとの音声設定情報に係る設定画面に移行するためのアイコンを選択不能とする。
以下の説明では、立体音響効果をオンとする設定が行われているものとする。このとき音声信号処理装置1は、システム設定項目の一つとしてユーザごとの音声設定情報に係る設定画面に移行するためのアイコンを表示する。
ユーザがこのアイコンを選択するなどの操作をして、ユーザごとの音声設定情報に係る設定画面に移行すると、音声信号処理装置1は、音声設定情報を提示する処理を起動し、記憶部12が保持する複数の音声設定情報の一覧を所定の順でユーザに提示する。
一覧として提示する音声設定情報は、既に述べた例と同様、頭部伝達関数に関係する情報が互いに異っているものとし、特にノッチが存在する周波数(ノッチ周波数)を互いに異ならせた頭部伝達関数に係る音声設定情報を一覧として提示するものとする。
音声信号処理装置1は、ノッチ周波数の相違により、音源の設定が同じであっても音像の高さ方向(上下方向)の定位感が異なって感得されることを利用して、音像が高い位置として感得される順に配列して、音声設定情報のプリセット候補の一覧を表示する(図5)。
また音声信号処理装置1は、音声設定情報を提示する処理を起動したユーザを特定する情報に関連付けて、この処理開始の時点で記録されている音声設定情報を特定する情報(現在設定)を音声設定情報データベースから取得し、当該取得した現在設定に対応する一覧上の項目をハイライトして表示する。ここでハイライト表示は、一覧上の他の項目とは異なる態様で表示することを意味し、音声信号処理装置1は、例えば項目を二重線で囲むなどの表示を行う。また音声信号処理装置1は、「音の位置が自分の耳の高さと同じと感じられる音声設定情報を選択してください」などといった案内情報を表示する。
さらに音声信号処理装置1は、カーソルを表示する。本実施の形態の例では、カーソルは当初は、ハイライト表示した、現在設定に対応する一覧上の項目を指すようにしておく。
ユーザが、このカーソルを移動操作する指示を行うと、音声信号処理装置1は、当該指示を受けて、一覧に含まれる項目間でカーソルを移動する。また、カーソルが移動されたときには、音声信号処理装置1は、試聴の指示が行われたものとして、カーソルが指す音声設定情報(選択された音声設定情報)を利用した音声信号を、音声設定情報を提示する処理を起動したユーザが装着する音響デバイス2に出力する。
本実施の形態の例では、音声信号処理装置1は、予め用意された波形情報の音声を鳴動する音源を、仮想的な三次元空間内の所定の位置に配したものとして設定し、また当該仮想的な三次元空間内の別の所定の位置にユーザを配したものとして設定する。この設定は音声設定情報によらず共通のものとする。音声信号処理装置1は、そしてこの設定と、選択された音声設定情報とを用いて、立体音響処理を行った音声信号を生成する。そして音声信号処理装置1は、当該生成した音声信号を、音声設定情報を提示する処理を起動したユーザが装着する音響デバイス2に出力する。
なお、ここでは音声信号処理装置1が、音声設定情報が選択されるごとに立体音響処理を行って音声信号を生成するものとしているが、一覧に含まれる各音声設定情報に対応する音声信号を予め生成しておき、選択された音声設定情報に対応する、予め生成された音声信号を、音声設定情報を提示する処理を起動したユーザが装着する音響デバイス2に出力するようにしてもよい。
また音声信号処理装置1は、ユーザから選択されている音声設定情報を、当該ユーザが利用する音声設定情報として設定するべき旨の指示(決定指示)を受け入れると、記憶部12に格納されている音声設定情報データベースに記録されている情報のうち、音声設定情報を提示する処理を起動したユーザを特定する情報に関連付けられた音声設定情報を、選択されている音声設定情報に置き換えて音声設定情報データベースを更新して、音声設定情報を提示する処理を終了する。このときには、音声信号処理装置1は、音声設定情報を提示する画面の一つ前の画面、例えばシステム設定項目の一覧の表示画面に戻って処理を続ける。
また音声信号処理装置1は、決定指示が行われていない状態でユーザから設定をキャンセルする指示を受けると、音声設定情報データベースを更新することなく、音声設定情報を提示する処理を終了する。このときにも音声信号処理装置1は、音声設定情報を提示する画面の一つ前の画面、例えばシステム設定項目の一覧の表示画面に戻って処理を続ける。
[設定された音声設定情報を用いる動作]
音声信号処理装置1は、そしてアプリケーション等のプログラムの指示に従い種々の処理を実行しており、音声信号を出力するべき旨の指示があったときには、当該指示された音声信号を次の処理により生成する。
音声信号処理装置1は、アプリケーション等のプログラムの指示により、仮想的な三次元空間中で音源の位置を表す情報及び音源が鳴動する音声の波形情報(音源の波形情報)と、当該三次元空間中でのユーザの位置及び姿勢(ユーザが向いている方向等)を表す情報とを設定する。また音声信号処理装置1は、ログインデータベース及び音声設定情報データベースを参照して、現在音声信号処理装置1を利用しているユーザごとに、当該ユーザに対応する音声設定情報と、ユーザが装着している音響デバイス2を特定する情報とを取得する。
そして音声信号処理装置1は、現在音声信号処理装置1を利用しているユーザごとに、上記音源の位置等やユーザの位置等の設定と、ユーザに対応する音声設定情報を用いて立体音響処理を行い、音声信号を生成する。この立体音響処理は既に述べたように、音源の情報等に基づき、音声設定情報に含まれる頭部伝達関数を用いてユーザの左右の耳に装着された音響デバイス2にそれぞれ出力する信号(左音声信号と右音声信号)を生成する処理であり、バイノーラル処理などとして広く知られた処理を採用できる。
音声信号処理装置1は、ユーザごとに生成した音声信号を、対応するユーザが装着する音響デバイス2に対して送出して、当該音声信号を鳴動させる。
これにより各ユーザは、自己が設定した音声設定情報を用いて生成された音声信号を聴取することとなる。
[音声設定情報の候補の生成]
なお、ここまでの説明において音声信号処理装置1がユーザに提示する、音声設定情報の一覧に含まれる候補(プリセット候補)は、例えば頭部伝達関数に関係する情報を互いに異ならせたものであるとした。
このような頭部伝達関数の候補は、実際に複数の被験者の頭部伝達関数を測定して得た複数の頭部伝達関数のうちから選択して得ることができる。
この例では、頭部伝達関数の候補を生成する作業者は、プリセット候補として一覧に含める数n(nは2以上の整数、例えばn=4とする)よりも大きい数であるN人分(Nは、n≦Nなる整数)の被験者について頭部伝達関数を測定する。頭部伝達関数の測定の方法は広く知られているので、ここでの詳しい説明は省略する。
そして当該作業者は、N人分の頭部伝達関数のうちから、ピークまたはノッチが存在する周波数(ピーク周波数またはノッチ周波数)が互いに異なり(一般には互いに相違する)、それぞれの頭部伝達関数を利用して、同じ位置に定位された音源からの音声をレンダリングした音声信号を生成し、感得される音声の位置の高さが十分異なって聞こえるn個の頭部伝達関数を実験的に選択して、音声設定情報の候補として音声信号処理装置1の記憶部12に当該選択した頭部伝達関数を記録する。
このようにすると、被験者の耳介の形状等に応じて異なる頭部伝達関数が、ノッチ周波数に依存する、音像の定位位置の高さの相違として感得されるよう提示することが可能となり、ユーザは、音像の定位位置の高さという比較的理解しやすい指標により、自己の耳介形状に近い被験者の頭部伝達関数を選択できるようになる。またこの例では、実際に計測された頭部伝達関数を用いることで、より自然な音響効果が期待される。
もっとも、本実施の形態のこの例は一例であり、公知の研究による頭部伝達関数の合成方法によって複数のプリセット候補を得ても構わない。
この場合も、各プリセット候補を用いて立体音響処理された音声信号が、音像の定位位置など、比較的識別しやすい指標を備えたものとなるよう、プリセット候補を選択する。
[変形例]
またここまでの説明では、一種類の感覚的基準(音像の定位位置の高さ)によりプリセット候補のうち一つを選択することとしていたが本実施の形態はこれに限られず、まず音像の定位位置の高さによりプリセット候補群の一つを選択したのち、当該選択したプリセット候補群に含まれるプリセット候補の一つを別の種類の感覚的基準、例えば左右方向の音像の定位により選択させてもよい。
またここでプリセット候補は、頭部伝達関数を異ならせるのみでなく、例えば左右の音声信号の時間差などのパラメータを互いに異ならせるなど、頭部伝達関数に代えて、あるいは頭部伝達関数を異ならせるとともに、他の種類の音響パラメータが互いに異なっていてもよい。
1 音声信号処理装置、2 音響デバイス、3 操作デバイス、11 制御部、12 記憶部、13 操作制御部、14 表示制御部、15 通信部、20 アプリケーション実行部、30 システム処理部、31 ユーザ特定部、32 音声設定情報提示部、33 指定受入部、34 設定格納部、35 音声信号生成部、36 音声出力部。

Claims (6)

  1. 聴取者の頭部における音響伝達に関わる所定のパラメータ情報を用いて音声信号を生成する音声信号処理装置であって、
    予め定められた、互いに異なる前記所定のパラメータ情報をそれぞれ含む複数の音声設定情報を保持する保持手段と、
    前記保持された音声設定情報のうち、選択された音声設定情報に含まれる前記所定のパラメータ情報を用いて生成された音声信号を出力する音声出力手段と、
    ユーザから前記音声設定情報のいずれかを指定する指示を受け入れる指示受入手段と、
    前記指示受入手段が受け入れた指示により指定された音声設定情報を、ユーザを特定する情報に関連付けて格納する設定格納手段と、
    を含み、
    前記指示受入手段は、前記保持手段が保持する音声設定情報を、感得される音像の高さの順で配列して提示して、当該提示された音声設定情報のうち、当該音声設定情報を利用した音声信号における音像の高さが自分の耳の高さと同じと感じられる音声設定情報を選択するよう案内し、前記提示した音声設定情報のうちから、いずれかを指定するユーザの指示を受け入れ、
    ユーザを特定する情報に関連付けて格納された音声設定情報に含まれる前記所定のパラメータ情報が、当該ユーザに対して出力する音声信号を生成する処理に供される音声信号処理装置。
  2. 請求項に記載の音声信号処理装置であって、
    前記所定のパラメータ情報は頭部伝達関数に関係する情報であり、
    前記複数の音声設定情報は、前記所定のパラメータ情報により、音像の高さ方向の位置を互いに異ならせた音声設定情報である音声信号処理装置。
  3. 請求項1または2に記載の音声信号処理装置であって、
    前記所定のパラメータ情報は頭部伝達関数に関係する情報であり、
    前記複数の音声設定情報は、頭部伝達関数のピークまたはノッチ周波数を互いに異ならせることにより、音像の高さ方向の位置を互いに異ならせた音声設定情報である音声信号処理装置。
  4. 請求項1から3のいずれか一項に記載の音声信号処理装置であって、
    前記指示受入手段は、前記保持手段が保持する音声設定情報を、感得される音像の高さの順で配列して提示して、当該提示された音声設定情報のうち、当該音声設定情報を利用した音声信号における音像の高さが自分の耳の高さと同じと感じられる音声設定情報を選択するよう案内し、前記提示した音声設定情報の一部を候補群としてユーザに選択させたのち、当該選択された候補群に含まれる候補の一つを、前記感得される音像の高さとは別の種類の感覚的基準に基づいてユーザに指定させる音声信号処理装置。
  5. 聴取者の頭部における音響伝達に関わる所定のパラメータ情報を用いて音声信号を生成する音声信号処理装置の制御方法であって、
    保持手段が、予め定められた、互いに異なる前記所定のパラメータ情報をそれぞれ含む複数の音声設定情報を保持し、
    音声出力手段が、前記保持された音声設定情報のうち、選択された音声設定情報に含まれる前記所定のパラメータ情報を用いて生成された音声信号を出力し、
    指示受入手段が、前記保持手段が保持する音声設定情報を、感得される音像の高さの順で配列して提示して、当該提示された音声設定情報のうち、当該音声設定情報を利用した音声信号における音像の高さが自分の耳の高さと同じと感じられる音声設定情報を選択するよう案内し、前記提示した音声設定情報のうちから、いずれかを指定するユーザの指示を受け入れ、
    設定格納手段が、前記指示受入手段が受け入れた指示により指定された音声設定情報を、ユーザを特定する情報に関連付けて格納し、
    ユーザを特定する情報に関連付けて格納された音声設定情報に含まれる前記所定のパラメータ情報が、当該ユーザに対して出力する音声信号を生成する処理に供される音声信号処理装置の制御方法。
  6. 聴取者の頭部における音響伝達に関わる所定のパラメータ情報を用いて音声信号を生成するようコンピュータを機能させるプログラムであって、コンピュータを、
    予め定められた、互いに異なる前記所定のパラメータ情報をそれぞれ含む複数の音声設定情報を保持する保持手段と、
    前記保持された音声設定情報のうち、選択された音声設定情報に含まれる前記所定のパラメータ情報を用いて生成された音声信号を出力する音声出力手段と、
    前記保持手段が保持する音声設定情報を、感得される音像の高さの順で配列して提示して、当該提示された音声設定情報のうち、当該音声設定情報を利用した音声信号における音像の高さが自分の耳の高さと同じと感じられる音声設定情報を選択するよう案内し、前記提示した音声設定情報のうちから、いずれかを指定するユーザの指示を受け入れる指示受入手段と、
    前記指示受入手段が受け入れた指示により指定された音声設定情報を、ユーザを特定する情報に関連付けて格納する設定格納手段と、
    ユーザを特定する情報に関連付けて格納された音声設定情報に含まれる前記所定のパラメータ情報が、当該ユーザに対して出力する音声信号を生成する処理に供する手段と、
    として機能させるプログラム。
JP2021177972A 2020-11-05 2021-10-29 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム Active JP7450591B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063109933P 2020-11-05 2020-11-05
US63/109,933 2020-11-05

Publications (2)

Publication Number Publication Date
JP2022075574A JP2022075574A (ja) 2022-05-18
JP7450591B2 true JP7450591B2 (ja) 2024-03-15

Family

ID=81380469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021177972A Active JP7450591B2 (ja) 2020-11-05 2021-10-29 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US11854555B2 (ja)
JP (1) JP7450591B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142604A1 (ja) 2018-01-19 2019-07-25 シャープ株式会社 信号処理装置、信号処理システム、信号処理方法、信号処理プログラムおよび記録媒体
WO2020153027A1 (ja) 2019-01-24 2020-07-30 ソニー株式会社 オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111899A (ja) 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 両耳聴装置
JP4894386B2 (ja) 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
US8428269B1 (en) * 2009-05-20 2013-04-23 The United States Of America As Represented By The Secretary Of The Air Force Head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
AU2012394979B2 (en) * 2012-11-22 2016-07-14 Razer (Asia-Pacific) Pte. Ltd. Method for outputting a modified audio signal and graphical user interfaces produced by an application program
JP2020088632A (ja) 2018-11-27 2020-06-04 キヤノン株式会社 信号処理装置、音響処理システム、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142604A1 (ja) 2018-01-19 2019-07-25 シャープ株式会社 信号処理装置、信号処理システム、信号処理方法、信号処理プログラムおよび記録媒体
WO2020153027A1 (ja) 2019-01-24 2020-07-30 ソニー株式会社 オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム

Also Published As

Publication number Publication date
US11854555B2 (en) 2023-12-26
US20220139405A1 (en) 2022-05-05
JP2022075574A (ja) 2022-05-18

Similar Documents

Publication Publication Date Title
CN115525148A (zh) 音频文件的头部姿势混合
CN107168518B (zh) 一种用于头戴显示器的同步方法、装置及头戴显示器
CN105027580A (zh) 用于输出修改的音频信号的方法以及通过应用程序产生的图形用户界面
US9044632B2 (en) Information processing apparatus, information processing method and recording medium storing program
CN114073057B (zh) 使用客户端音频参数的服务器侧绘制音频的方法和系统
JPWO2019038888A1 (ja) 振動制御装置
US20240292175A1 (en) Audio System and Method of Determining Audio Filter Based on Device Position
KR20210008788A (ko) 전자 장치 및 그 제어 방법
US11070930B2 (en) Generating personalized end user room-related transfer function (RRTF)
JP7450591B2 (ja) 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム
JP5485276B2 (ja) 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
KR20210049785A (ko) 정보 처리 장치 및 방법, 그리고 프로그램
US10419870B1 (en) Applying audio technologies for the interactive gaming environment
JP6330325B2 (ja) ユーザインタフェース装置及び音響制御装置
US11146908B2 (en) Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11102606B1 (en) Video component in 3D audio
US12067222B2 (en) Quick and easy audio profile creation and use
JP2012185677A (ja) サーバ装置及びポータルページ生成方法
WO2022009783A1 (ja) 情報処理装置、情報処理方法、及び音響出力装置
US20240144938A1 (en) Quick audio profile using voice assistant
US20240231749A1 (en) Configuration of platform application with audio profile of a user
WO2022113638A1 (ja) 情報処理装置、情報処理方法
US11863956B2 (en) Methods and systems for balancing audio directed to each ear of user
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
JP2001290841A (ja) 情報提示装置、情報提示方法および情報提示プログラムを記録したコンピュータで読取可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230619

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230627

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7450591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150