JPWO2020138257A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JPWO2020138257A1
JPWO2020138257A1 JP2020562388A JP2020562388A JPWO2020138257A1 JP WO2020138257 A1 JPWO2020138257 A1 JP WO2020138257A1 JP 2020562388 A JP2020562388 A JP 2020562388A JP 2020562388 A JP2020562388 A JP 2020562388A JP WO2020138257 A1 JPWO2020138257 A1 JP WO2020138257A1
Authority
JP
Japan
Prior art keywords
head
transfer function
user
related transfer
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020562388A
Other languages
English (en)
Inventor
洋 玉置
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020138257A1 publication Critical patent/JPWO2020138257A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/308Electronic adaptation dependent on speaker or headphone connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Stereophonic System (AREA)

Abstract

本開示に係る情報処理装置は、ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行する実行部と、ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを提供する提供部とを備える。

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。詳しくは、頭部伝達関数の利用に関する。
音源から耳への音の届き方を数学的に表す頭部伝達関数を用いることで、ヘッドホン等における音像を立体的に再現する技術が利用されている。
頭部伝達関数は個人差が大きいことから、その利用時には、個人ごとに生成された頭部伝達関数を用いることが望ましい。例えば、ユーザの耳介を撮影した画像に基づいて頭部の三次元デジタルモデル(以下、「3Dモデル」と表記する)を生成し、生成した3Dモデルから当該ユーザの頭部伝達関数を算出する技術が知られている。
米国特許第9544706号明細書
従来技術によれば、各々のユーザに合わせて個別に算出された頭部伝達関数を情報処理に用いることができるため、音像の定位感を高めることができる。
しかしながら、上記の従来技術では、ユーザごとに算出された頭部伝達関数を適切に利用することができるとは限らない。例えば、ユーザは、単独のアプリケーション(音楽再生アプリ等)に限らず、スマートフォンにインストールされた複数のアプリケーションに対して自身の頭部伝達関数を適用させる等、頭部伝達関数の柔軟な利用を所望する場合がある。また、頭部伝達関数は、実際に使用される状況やユーザが使用する音響機器等に応じて調整が施された方が、より臨場感を高めたり正確な定位感を与えたりすることができる。しかし、従来技術は、ユーザごとの頭部伝達関数を算出するに過ぎず、ユーザが頭部伝達関数を柔軟に利用したり、状況に合わせて頭部伝達関数の利用態様を変えたりする等の処理を行うものではない。
そこで、本開示では、頭部伝達関数を適切に利用することができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行する実行部と、前記ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた前記識別子とを提供する提供部とを備える。
また、上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ユーザに対応した頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを取得する取得部と、前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子との一致を判定する判定部と、前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、当該頭部伝達関数を有効化するよう設定する設定部とを備える。
本開示の実施形態に係る情報処理システムを示す図である。 実施形態に係る情報処理の全体の流れを示した概念図である。 実施形態に係るユーザ端末の構成例を示す図である。 実施形態に係るBRIRテーブルの一例を示す図である。 実施形態に係るパラメータテーブルの一例を示す図である。 実施形態に係る情報処理の手順を示すフローチャート(1)である。 実施形態に係る情報処理の手順を示すフローチャート(2)である。 実施形態に係る情報処理の手順を示すフローチャート(3)である。 実施形態に係る情報処理の手順を示すフローチャート(4)である。 変形例に係る頭部伝達関数の利用態様を示す概念図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.実施形態
1−1.実施形態に係る情報処理システムの構成と情報処理の一例
1−2.実施形態に係る情報処理装置の構成
1−3.実施形態に係る情報処理の手順
2.変形例
2−1.情報処理システムの態様
2−2.音源の再生の態様
2−3.パラメータの利用
2−4.機器の態様
3.その他の実施形態
4.本開示に係る情報処理装置の効果
5.ハードウェア構成
(1.実施形態)
[1−1.実施形態に係る情報処理システムの構成と情報処理の一例]
まず、図1及び図2を用いて、本開示に係る情報処理システム1の構成、及び、情報処理システム1によって実行される情報処理の概要を説明する。図1は、本開示の実施形態に係る情報処理システム1を示す図である。本開示の実施形態に係る情報処理は、図1に示す情報処理システム1によって実現される。図1に示すように、情報処理システム1は、ユーザ端末10と、ヘッドホン50と、クラウドサーバ100と、サービスサーバ200とを含む。情報処理システム1に含まれる各装置は、図示しない有線又は無線ネットワークを用いて相互に通信を行う。なお、情報処理システム1を構成する各装置の台数は、図示したものに限られない。
ユーザ端末10は、本開示に係る情報処理装置の一例であり、頭部伝達関数(以下、HRTF(Head-Related Transfer Function)と表記する場合がある)を利用した情報処理を実行する情報処理端末である。ユーザ端末10は、例えば、撮影機能を有したスマートフォン等によって実現される。
ヘッドホン50は、ユーザが利用する音響機器の一例である。例えば、ヘッドホン50はBluetooth(登録商標)等の通信機能を有し、ユーザ端末10との無線通信を確立する。そして、ヘッドホン50は、ユーザの操作に従いユーザ端末10から送信された音声等を出力する。
クラウドサーバ100は、各ユーザに対応するHRTF(頭部伝達関数)を算出し、算出したHRTFをユーザ端末10に提供する。クラウドサーバ100は、ネットワークを介して、ユーザの耳を撮影した画像をユーザ端末10から取得し、取得した画像に基づいて当該ユーザのHRTFを算出する。
サービスサーバ200は、ユーザ端末10に音楽等の音源を提供するサーバ装置である。例えば、サービスサーバ200は、ユーザ端末10にインストールされた音楽再生アプリ等の制御に従い、ネットワークを介して、ストリーミング音源等をユーザ端末10に提供する。
上記のように、ユーザ端末10は、HRTFを利用した情報処理を実行する。HRTFは、人間の耳介(耳殻)や頭部の形状等を含む周辺物によって生じる音の変化を伝達関数として表現するものである。一般に、HRTFを求めるための測定データは、人間が耳介内に装着したマイクロホンやダミーヘッドマイクロホン等を用いて測定用の音響信号を測定することにより取得される。
例えば3D音響等の技術で利用されるHRTFは、ダミーヘッドマイクロホン等で取得された測定データや、多数の人間から取得された測定データの平均値等を用いて算出されることが多い。しかしながら、HRTFは個人差が大きいことから、より効果的な音響演出効果を実現するためには、ユーザ自身のHRTFを用いることが望ましい。すなわち、一般的なHRTFをユーザ自身のHRTFに置き換えることで、より臨場感のある音響体感をユーザに提供することができる。
ユーザ個人のHRTFを算出する手法の一例として、ユーザの耳の形状を撮影した画像からユーザのHRTFを算出する手法がある。例えば、クラウドサーバ100は、ユーザ端末10によって撮影されたユーザの耳の形状を含む画像を取得し、取得した画像に基づいてユーザ個人のHRTFを算出する。そして、クラウドサーバ100は、算出したHRTFをユーザ端末10に送信する。これにより、ユーザ端末10は、ユーザ個人のHRTFを用いて3D音響が再現された音を再生したり、臨場感のある動画再生を行ったりすることができる。
しかしながら、上記の手法の実現には、いくつかの課題が存在する。例えば、ユーザ端末10は、HRTFを送信したり管理したりする機能を有するアプリケーション(以下、単に「アプリ」と表記する)や、音楽再生用のアプリや動画再生用のアプリ等、様々な事業者が開発したアプリを動作させる。この場合、例えばOS(Operating System)の制約等により、HRTFを管理するアプリと音楽再生用アプリ等との間で、HRTFデータをやりとりできない場合がある。
また、HRTFデータをやりとりできたとしても、その運用が適切に行われない可能性もある。例えば、HRTFは、ユーザが実際に使用する音響機器(ヘッドホン50等)によらず算出可能であるが、より効果の高い音響効果を発揮するためには、機器のインピーダンスに合わせた出力値や、機器の出力部の形状等に基づく遅延時間等の変数(パラメータ)と合わせて利用されることが望ましい。しかしながら、ユーザが音楽再生用アプリ等を利用するときに、クラウドサーバ100やHRTFを管理するアプリがその利用を制御することはOSの制約上難しい。このため、クラウドサーバ100やHRTFを管理するアプリが意図しない使用態様でHRTFが利用されるおそれがある。
上記のように、HRTFに関して、複数のアプリをまたいで柔軟にHRTFを利用したり、ユーザの環境や機器の状況に合わせて適切にHRTFを利用させたりする点において、種々の課題が存在する。実施形態に係るユーザ端末10は、以下に説明する本開示の情報処理により、上記の課題を解決する。以下、本開示に係る情報処理の概要について、図1及び図2を用いて流れに沿って説明する。
図1に示すように、ユーザ端末10は、第1アプリ20及び第2アプリ30をインストール済みである。第1アプリ20は、例えば、クラウドサーバ100を管理する事業者から提供されるアプリである。第1アプリ20は、ユーザの耳を含む画像を撮影したり、撮影した画像をクラウドサーバ100に送信したり、クラウドサーバ100から送信されたHRTFを管理したりする機能を有する。
実施形態に係る情報処理において、まず、第1アプリ20は、ユーザの操作に従い、ユーザの耳を含む画像を撮影し、耳を含む画像を取得する(ステップS1)。続けて、第1アプリ20は、耳を含む画像をクラウドサーバ100に送信する(ステップS2)。なお、第1アプリ20は、クラウドサーバ100に画像を送信するための前処理として、画像に含まれるユーザの耳の映像を検出し、検出した耳の映像の範囲を画像から切り抜く処理等を行ってもよい。
クラウドサーバ100は、ユーザ端末10から送信された画像を取得する。そして、クラウドサーバ100は、画像からユーザのHRTFを算出する(ステップS3)。クラウドサーバ100がHRTFを算出する手法には、種々の手法が採用されてもよい。例えば、クラウドサーバ100は、耳の映像を含む2次元の画像が入力された場合に、耳に対応するHRTFを出力するよう学習されたモデルを用いて、HRTFを算出してもよい。あるいは、クラウドサーバ100は、耳の映像を含む2次元の画像からユーザ頭部の3Dモデルを生成し、生成した3DモデルからHRTFを算出してもよい。以下の説明では、ユーザ個人に応じて算出されたHRTFを個人化HRTF(personal HRTF)と表記し、一般的なHRTFと区別する場合がある。
なお、クラウドサーバ100は、算出した個人化HRTFにRIR(空間インパルス応答(Room Impulse Response))を畳み込んで、BRIR(両耳空間インパルス応答(Binaural Room Impulse Response))を生成してもよい。以下の説明では、ユーザ個人に応じて生成されたBRIRを個人化BRIR(personal BRIR)と表記し、一般的なBRIRと区別する場合がある。また、ユーザ端末10における音楽の再生時等に利用されるデータは、実際にはHRTFではなくBRIRである場合もあるが、以下の説明では、両者を相互に読み替えてもよいものとする。例えば、「生成したBRIRを送信する」といった記載は、算出したHRTFを送信する状況も含む。また、「BRIRを利用して再生する」といった記載は、HRTFを利用して再生する状況も含むものとする。
その後、クラウドサーバ100は、生成した個人化BRIRをユーザ端末10に送信する(ステップS4)。第1アプリ20は、個人化BRIRを取得する(ステップS5)。このように、ユーザは、自身の横顔を撮影してクラウドサーバ100に画像を送信することにより、自身の個人化BRIRを取得することができる。そして、第1アプリ20は、受信した個人化BRIRを記憶領域21に格納する(ステップS6)。
次に、図2を用いて、ユーザ端末10が個人化BRIRを使用して音楽等の再生を行う場合の処理の流れについて説明する。図2は、実施形態に係る情報処理の全体の流れを示した概念図である。
第1アプリ20は、ユーザから第1アプリ20を起動させる操作を契機として、記憶領域21に格納された個人化BRIRを取得する(ステップS11)。また、第1アプリ20は、ユーザ端末10に接続された機器を認識する。図2の例では、第1アプリ20は、Bluetooth等の無線接続によりユーザ端末10との間で通信が確立している、ヘッドホン50を認識する。
この場合、第1アプリ20は、接続された機器であるヘッドホン50に関する情報を取得する(ステップS12)。例えば、第1アプリ20は、機器を識別する識別子を取得する。識別子は、例えば機器がBluetooth機能を有する場合、BTデバイス名のような、当該機器を識別するための文字列や、個々の機器を識別する固有の文字列等である。また、識別子は、メーカーが独自に付与した機器のモデル名等であってもよい。
また、第1アプリ20は、接続された機器が通信機能を有する否かといった情報を取得してもよい。例えば、機器がBluetooth等の通信機能を有さない場合、機器は、識別子等の情報を送信できない場合がある。この場合、第1アプリ20は、ユーザ端末10に接続された機器が認識できない態様であることを示す情報を取得する。このような情報は、例えば、機器のタイプがActive(通信機能を有する)か、Passive(通信機能を有さない)か、といった情報で区別される。すなわち、第1アプリ20は、接続された機器がActiveかPassiveか、といった情報を取得する。図2の例では、ヘッドホン50は通信機能を有するため、第1アプリ20は、接続された機器であるヘッドホン50が「Active」であるという情報を取得する。
続いて、第1アプリ20は、個人化BRIRとユーザが利用する機器であるヘッドホン50の識別子とを対応付ける。対応付けとは、例えば、現時点でユーザ端末10に接続されている機器はヘッドホン50であることから、後述する第2アプリ30が、ヘッドホン50以外の機器での再生を制御するための制御情報を付与すること等である。より具体的には、対応付けとは、ある機器の最適化のための変数(以下、「機器最適化パラメータ」と表記する)が、他の機器に誤って使用されないよう制御するための制御情報を付与することである。
その後、第1アプリ20は、個人化BRIRやヘッドホン50に関する情報をクラウドサーバ100に送信(アップロード)する(ステップS13)。この処理は、第1アプリ20から第2アプリ30に直接データを渡すことができないことから、クラウドサーバ100を介して個人化BRIRの受け渡しを可能にするために行うものである。
クラウドサーバ100は、個人化BRIRとヘッドホン50に関する情報を取得する。そして、クラウドサーバ100は、ヘッドホン50の識別子に基づいて、保持する情報のうち、ヘッドホン50の機器最適化パラメータを特定する。
さらに、クラウドサーバ100は、個人化BRIRを第1アプリが取得可能にするため、個人化BRIRの取得用アドレスを発行する(ステップS14)。例えば、取得用アドレスとは、クラウドサーバ100にアクセスして個人化BRIRを取得するためのワンタイムURL(One-Time Uniform Resource Locator)である。このように、クラウドサーバ100は、取得用アドレスを介して個人化BRIRの受け渡しを行う。これにより、OS等の制約により、第1アプリ20から再生用アプリ(図2の例では第2アプリ30)に個人化BRIRの受け渡しができない状況であっても、ユーザ端末10は、第2アプリ30に個人化BRIRを渡すことができる。
また、クラウドサーバ100は、ヘッドホン50の機器最適化パラメータについても、取得用アドレスであるワンタイムURLを発行する。
そして、クラウドサーバ100は、発行した個人化BRIRの取得用アドレスと、ヘッドホン50の機器最適化パラメータの取得用アドレスとを第1アプリ20に送信する(ステップS15)。
第1アプリ20は、クラウドサーバ100から送信された個人化BRIRの取得用アドレスと、ヘッドホン50の機器最適化パラメータの取得用アドレスとを取得する(ステップS16)。なお、第1アプリ20は、ステップS16のタイミングで、個人化BRIRとヘッドホン50の識別子との対応付けを行ってもよい。
その後、例えばユーザの操作により第2アプリ30が起動されたことを契機として、第1アプリ20は、取得した情報を第2アプリ30に提供する(ステップS17)。具体的には、第1アプリ20は、個人化BRIRの取得用アドレス、ヘッドホン50の機器最適化パラメータの取得用アドレス、ヘッドホン50の識別子、ヘッドホン50のモデル名や機器のタイプ等の情報を第2アプリ30に提供する。
第2アプリ30は、音源や動画の再生等を行うためのアプリである。例えば、第2アプリ30は、ストリーミング音源の提供を行うサービスサーバ200を管理する事業者と同じ事業者等からユーザに提供される。なお、後述するように、第2アプリ30には、データ制御部31とプレイヤー34という処理部を有し、データ制御部31は共有ライブラリとして、第1アプリ20を提供する事業者から提供されるものであってもよい。すなわち、サービスサーバ200を管理する事業者は、第2アプリ30におけるプレイヤー34に該当する機能のみを提供してもよい。
第2アプリ30のデータ制御部31は、例えば、第1アプリ20やクラウドサーバ100とのデータのやりとりを行うための実行ファイルを含むライブラリ(Library)であり、SAL(Server Access Library)等と称される場合がある。
データ制御部31は、第1アプリ20から提供された個人化BRIRの取得用アドレスを介して、クラウドサーバ100から個人化BRIRを取得する(ステップS18)。また、データ制御部31は、第1アプリ20から提供された機器最適化パラメータの取得用アドレスを介して、クラウドサーバ100からヘッドホン50の機器最適化パラメータを取得する。
データ制御部31は、取得した個人化BRIR、及び、ヘッドホン50の機器最適化パラメータを記憶領域32に格納する(ステップS19)。
続いて、データ制御部31は、ユーザ端末10に接続されている機器を認識する。具体的には、データ制御部31は、ユーザ端末10との通信が確立しているヘッドホン50を認識する(ステップS20)。
そして、データ制御部31は、第1アプリ20によって個人化BRIRに対応付けられた機器の識別子と、現時点でユーザが利用しようとする機器を識別する識別子との一致を判定する。具体的には、データ制御部31は、ステップS12において第1アプリ20がHRTFに対応付けた機器の識別子と、ステップS20の時点で接続されている機器の識別子との一致を判定する。図2の例では、機器の識別子はともにヘッドホン50を示すものであるため、データ制御部31は、両者が一致したと判定する。
この場合、データ制御部31は、第2アプリ30の再生における設定が保持される設定ファイル(Config File)33を更新する。具体的には、データ制御部31は、取得した個人化BRIR、及び、機器最適化パラメータを再生処理で利用する(有効化する)ことを設定ファイル33に書き込む。
一方、データ制御部31は、第1アプリ20によって個人化BRIRに対応付けられた機器の識別子と、現時点でユーザが利用しようとする機器を識別する識別子とが一致しない場合、取得した個人化BRIRや機器最適化パラメータを有効化しないよう書き込む。
すなわち、データ制御部31は、第1アプリ20から渡された識別子(BTデバイス名等)と、現時点で接続中のヘッドホン50の識別子とを比較して、音源の再生に利用する個人化BRIRや機器最適化パラメータを決定する。そして、データ制御部31は、決定した内容に従って、設定ファイル33を更新する(ステップS21)。
このように、データ制御部31は、クラウドサーバ100から提供された個人化BRIRや機器最適化パラメータであっても、実際に使用される機器(ヘッドホン50)が変更されている場合、その利用を制限する。すなわち、データ制御部31は、実際に再生を行う第2アプリ30において機器の識別子を判定する段階を含むことにより、音楽が再生される際に、異なる機器の機器最適化パラメータが適用されることによって適切でない再生が行われることを防止できる。
その後、第2アプリ30は、ユーザが音楽の再生を所望した場合、プレイヤー34の機能を実行する。プレイヤー34は、音楽ファイル等の音源と、設定ファイル33に設定された情報とに基づいて、音楽や動画の再生を行う処理部である。
プレイヤー34は、設定ファイル33を読み込み、再生に個人化BRIRを利用することや、ヘッドホン50の機器最適化パラメータを利用することを認識する(ステップS22)。
続けて、プレイヤー34は、設定ファイル33に設定された情報に基づき、記憶領域32から、個人化BRIRや機器最適化パラメータを取得する(ステップS23)。
さらに、プレイヤー34は、ストリーミング音源等を提供するサービスサーバ200にアクセスし、音源を取得する(ステップS24)。
そして、プレイヤー34は、音源に個人化BRIRや機器最適化パラメータを畳み込みながら、音源の再生を行う。これにより、プレイヤー34は、ユーザ個人の耳の形状に合わせた伝達関数、及び、ヘッドホン50等の再生環境に最適化されたパラメータを利用した再生を行うことができる。
上記のように、本開示に係る情報処理装置の一例であるユーザ端末10は、ユーザに対応した個人化BRIR(もしくは個人化HRTF)と、当該ユーザが利用する機器を識別する識別子との対応付けを実行する。そして、ユーザ端末10は、ユーザに対応した個人化BRIRが提供される提供先である第2アプリ30に対して、個人化BRIRと、個人化BRIRに対応付けられた識別子とを提供する。
すなわち、ユーザ端末10は、個人化BRIRのみならず、個人化BRIRが利用される環境下において接続される機器の識別子を提供する。このように、ユーザ端末10は、ユーザがどのような機器を用いて個人化BRIRを利用しようとしているかといった情報も再生環境(第2アプリ30等)に提供することで、ユーザの環境に最適化した再生を行わせることができる。
また、ユーザ端末10は、ユーザに対応した個人化BRIRと、個人化BRIRに対応付けられた識別子とを取得し、個人化BRIRに対応付けられた識別子と、ユーザが利用する機器を識別する識別子との一致を判定する。そして、ユーザ端末10は、個人化BRIRに対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致する場合に、個人化BRIRを有効化するよう設定する。
このように、ユーザ端末10は、個人化BRIRが利用されようとする環境下において、現時点で接続されている機器を識別することで、クラウドサーバ100から提供された個人化BRIRや機器最適化パラメータを利用すべきか否かを判定する。これにより、ユーザ端末10は、再生時において、適切でない個人化BRIRの利用が行われたり、誤って異なる機器最適化パラメータが適用されたりすることを防止できる。結果として、ユーザ端末10は、ユーザの環境に最適化した再生を行わせることができる。
以上、本開示に係る情報処理の全体の流れの概要を説明した。図3以下では、ユーザ端末10の構成を説明するとともに、種々の処理の詳細を順に説明する。
[1−2.実施形態に係る情報処理装置の構成]
図3を用いて、本開示に係る情報処理装置の一例であるユーザ端末10の構成について説明する。図3は、本開示の実施形態に係るユーザ端末10の構成例を示す図である。図3に示すように、ユーザ端末10は、通信部11と、入力部12と、表示部13と、検知部14と、記憶部15と、制御部16とを有する。
通信部11は、例えば、NIC(Network Interface Card)等によって実現される。通信部11は、ネットワークN(インターネット等)と有線又は無線で接続され、ネットワークNを介して、クラウドサーバ100やサービスサーバ200、ヘッドホン50等との間で情報の送受信を行う。
入力部12は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部12は、ユーザ端末10に備えられた操作キー等によって実現される。表示部13は、各種情報を表示するための表示装置である。例えば、表示部13は、液晶ディスプレイ等によって実現される。なお、ユーザ端末10にタッチパネルが採用される場合には、入力部12の一部と表示部13とは一体化される。
検知部14は、各種センサの総称であり、ユーザ端末10に関する各種情報を検知する。具体的には、検知部14は、ユーザ端末10に対するユーザの操作や、ユーザ端末10の所在する位置情報や、ユーザ端末10と接続されている機器に関する情報や、ユーザ端末10における環境等を検知する。
また、検知部14は、センサの一例として、撮影を行うためのレンズおよびイメージセンサを有する。すなわち、検知部14は、例えばユーザが撮影機能を動作させるアプリを起動させた場合、カメラとしての機能を発揮する。
記憶部15は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部15は、情報処理に用いる各種データを記憶する。
図3に示すように、記憶部15は、BRIRテーブル151や、パラメータテーブル152といったデータテーブルを含む。BRIRテーブル151は、例えば図2に示した記憶領域21に対応する。パラメータテーブル152は、例えば図2に示した記憶領域32に対応する。
BRIRテーブル121は、クラウドサーバ100によって生成された個人化BRIRに関する情報を記憶する。図4に、本開示の実施形態に係るBRIRテーブル151の一例を示す。図4は、実施形態に係るBRIRテーブル151の一例を示す図である。図4に示した例では、BRIRテーブル151は、「個人化BRIRデータ」、「生成日時」といった項目を有する。
「個人化BRIRデータ」は、クラウドサーバ100によって生成された個人化BRIRのデータを示す。図4では、個人化BRIRデータを「A01」のように概念的に記載しているが、実際には、当該項目には、個人化BRIRを示す具体的な数値等が記憶される。
「生成日時」は、個人化BRIRデータが生成された日時を示す。ユーザ端末10は、複数回にわたり個人化BRIRを取得した場合には、最新の個人化BRIRのみをBRIRテーブル151に保持しておいてもよいし、複数の個人化BRIRをBRIRテーブル151に保持してもよい。
次に、パラメータテーブル122について説明する。パラメータテーブル122は、音源や動画の再生時に利用されるパラメータに関する情報を記憶する。図5に、本開示の実施形態に係るパラメータテーブル152の一例を示す。図5は、実施形態に係るパラメータテーブル152の一例を示す図である。図5に示した例では、パラメータテーブル152は、「設定ID」、「個人化BRIRデータ」、「機器最適化パラメータ」、「取得日時」といった項目を有する。
「設定ID」は、個人化BRIRと機器最適化パラメータとが対応付けられたことを示す設定を識別する識別情報を示す。「個人化BRIRデータ」は、図4に示した同一の項目に対応する。「機器最適化パラメータ」は、クラウドサーバ100から取得した機器最適化パラメータのデータを示す。図5では、機器最適化パラメータを「C01」のように概念的に記載しているが、実際には、当該項目には、機器最適化パラメータを示す具体的な数値等が記憶される。
「取得日時」は、個人化BRIR及び機器最適化パラメータをクラウドサーバ100から取得した日時を示す。ユーザ端末10は、複数回にわたり個人化BRIR及び機器最適化パラメータを取得した場合には、最新の個人化BRIR及び機器最適化パラメータのみをパラメータテーブル152に保持しておいてもよいし、複数の個人化BRIR及び機器最適化パラメータをBRIRテーブル151に保持してもよい。
図3に戻って説明を続ける。制御部16は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、ユーザ端末10内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部16は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
図3に示すように、制御部16は、第1アプリ制御部161と、第2アプリ制御部165とを有し、以下に説明する情報処理の機能や作用を実現または実行する。第1アプリ制御部161は、生成部162と、実行部163と、提供部164とを含む。第2アプリ制御部165は、取得部166と、判定部167と、設定部168と、再生部169とを含む。例えば、取得部166と、判定部167と、設定部168とは、図2に示したデータ制御部31に対応する。また、再生部169は、図2に示したプレイヤー34に対応する。なお、制御部16の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
生成部162は、HRTF及び個人化BRIRの生成に関する処理を制御する。具体的には、生成部162は、ユーザの耳を含む横顔の撮影に関する処理を制御する。また、生成部162は、撮影により得られた画像をクラウドサーバ100に送信する処理や、クラウドサーバ100によって生成された個人化BRIRを取得する処理を制御する。
生成部162は、撮影により得られた画像や、取得した個人化BRIRを記憶部15に適宜格納する。なお、生成部162は、ユーザ端末10によって撮影された画像をクラウドサーバ100に送信するのではなく、例えば外部のカメラ等によって撮影された画像を取得し、取得した画像をクラウドサーバ100に送信してもよい。
なお、生成部162は、既にユーザ用に生成された個人化HRTFや個人化BRIRがクラウドサーバ100に保持されている場合には、画像をクラウドサーバ100に送信せずに、個人化HRTFや個人化BRIRを取得する処理のみを制御してもよい。すなわち、生成部162が個人化HRTFや個人化BRIRを取得する処理は、特定の手法に限定されない。
実行部163は、ユーザに対応した個人化HRTFもしくは個人化BRIRと、ユーザが利用する機器を識別する識別子との対応付けを実行する。
例えば、実行部163は、ユーザが第1アプリを起動させたことを契機として、BRIRテーブル151に格納されている個人化BRIRを取得する。また、実行部163は、第1アプリが起動された時点で接続されているヘッドホン50を識別する識別子をヘッドホン50から取得する。そして、実行部163は、個人化BRIRとヘッドホン50の識別子との対応付けを行い、対応付けした情報とともに、クラウドサーバ100に個人化BRIRをアップロードする。
その後、実行部163は、クラウドサーバ100によって発行された個人化BRIR及びヘッドホン50の取得用のワンタイムURLを取得する。なお、実行部163は、取得用のワンタイムURLを取得した時点で、個人化BRIRとヘッドホン50の識別子との対応付けを行ってもよい。
提供部164は、ユーザに対応した個人化BRIRが提供される提供先に対して、個人化BRIRと、個人化BRIRに対応付けられた識別子とを提供する。提供先とは、例えば、ユーザ端末10内にインストールされた、第1アプリとは異なるアプリ(実施形態では第2アプリ)である。なお、提供先は、第2アプリに限らず、他の外部機器(例えば、ユーザ端末10と相互に通信可能な他の情報処理端末)等であってもよい。
提供部164は、提供先が個人化BRIRを取得するためのワンタイムURLを提供先に送信することにより、個人化BRIRを提供先に提供する。言い換えれば、提供部164は、ワンタイムURLを介して、個人化BRIRを提供先に提供する。これにより、提供部164は、例えばOSの制約等によって直接の受け渡しができない第2アプリに対しても、個人化BRIRを提供することができる。
また、提供部164は、識別子とともに、個人化BRIRとともに利用される際の機器に応じた変数(機器最適化パラメータ)を提供先に提供してもよい。
提供部164は、提供先が機器最適化パラメータを取得するためのワンタイムURLを提供先に送信することにより、機器最適化パラメータを提供先に提供する。すなわち、提供部164は、個人化BRIRと同様、ワンタイムURLを介して機器最適化パラメータを提供先に提供する。これにより、提供部164は、例えばOSの制約等によって直接の受け渡しができない第2アプリに対しても、機器最適化パラメータを提供することができる。
なお、提供部164は、ユーザ端末10と情報処理装置とヘッドホン50との通信が確立されている場合に、機器最適化パラメータを提供先に提供するようにしてもよい。すなわち、提供部164は、例えば第2アプリに機器最適化パラメータを提供しようとするタイミングにおいて、ヘッドホン50との通信が切断されている場合には、機器最適化パラメータを第2アプリに提供しなくてもよい。これにより、提供部164は、ユーザが利用しようとする機器と、渡した最適化パラメータとに齟齬が生じることを防止することができる。
取得部166は、ユーザに対応した個人化BRIRと、個人化BRIRに対応付けられた識別子とを取得する。
例えば、取得部166は、提供部164から提供されたワンタイムURLを介して、個人化BRIRをクラウドサーバ100から取得する。具体的には、取得部166は、ワンタイムURLにより示されたアクセス先にアクセスし、個人化BRIRの取得要求をクラウドサーバ100に対して行うことにより、個人化BRIRを取得する。
また、取得部166は、機器の識別子とともに、個人化BRIRとともに利用される際の機器に応じた機器最適化パラメータを取得してもよい。
例えば、取得部166は、提供部164から提供されたワンタイムURLを介して、機器最適化パラメータをクラウドサーバ100から取得する。具体的には、取得部166は、ワンタイムURLにより示されたアクセス先にアクセスし、機器最適化パラメータの取得要求をクラウドサーバ100に対して行うことにより、機器最適化パラメータを取得する。
取得部166は、取得した情報を適宜記憶部15に格納する。例えば、取得部166は、取得した個人化BRIR及び機器最適化パラメータを対応付けて、パラメータテーブル152に格納する。
判定部167は、個人化BRIRに対応付けられた識別子と、ユーザが利用する機器を識別する識別子との一致を判定する。
具体的には、判定部167は、提供部164から提供された、個人化BRIRに対応付けられたBTデバイス名等の識別子と、ユーザが現時点で利用している機器のBTデバイス名等の識別子との一致を判定する。
なお、判定部167は、ユーザ端末10との通信が確立している機器をユーザが利用する機器と判定する。例えば、判定部167は、OSの機能(ライブラリ等)を利用して、ユーザ端末10と接続されている機器を検出することにより、ユーザ端末10との通信が確立している機器を特定することができる。
なお、判定部167は、ユーザが現時点で利用している機器を検出できない場合や、機器の識別子を取得できない場合、個人化BRIRに対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致しないと判定してもよい。例えば、判定部167は、ユーザが現時点で利用する機器がPassiveであり、識別子を送信する機能を有しない機器である場合等には、個人化BRIRに対応付けられた識別子と機器の識別子とが一致しないと判定する。
設定部168は、個人化BRIRに対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致する場合に、個人化BRIRを有効化するよう設定する。なお、ユーザが利用する機器とは、音源を再生するタイミングなど、個人化BRIRを利用しようとするタイミングにおいて、ユーザ端末10との通信が確立している機器等をいう。
例えば、設定部168は、個人化BRIRに対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致した場合、クラウドサーバ100から取得した個人化BRIRが利用可能である旨を設定ファイルに書き込む。これにより、後述する再生部169は、パラメータテーブル152に格納された個人化BRIRを利用した再生を行うことができる。
なお、設定部168は、個人化BRIRに対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致しない場合には、個人化BRIR又は機器最適化パラメータを有効化しないよう設定してもよい。
これにより、設定部168は、再生状況が不明な環境において、個人化BRIRや機器最適化パラメータが誤って用いられることによって最適な音源再生が行われないなど、ユーザ体験を損ねる事態が発生すること等を防止できる。
なお、設定部168は、個人化BRIRと機器最適化パラメータのいずれも有効化しないよう設定してもよいし、個人化BRIRは有効化し、機器最適化パラメータを有効化しないよう設定してもよい。設定部168は、個人化BRIRを有効化しないよう設定した場合、音源の再生において、個人化BRIRではなく、複数のユーザに平均化された平均BRIRを用いるよう設定ファイルに書き込む。また、設定部168は、機器最適化パラメータを有効化しないよう設定した場合、音源の再生において、機器最適化パラメータではなく、全ての機器に共通して適用される標準的なパラメータを用いるよう設定ファイルに書き込む。
再生部169は、音源や動画を再生する。再生部169は、再生に際して、設定ファイルを読み込み、再生に用いるBRIRやパラメータを特定する。そして、再生部169は、設定ファイルに書き込まれた個人化BRIRや機器最適化パラメータをパラメータテーブル152から取得し、再生を行う。
例えば、再生部169は、サービスサーバ200にアクセスし、ストリーミングデータを取得し、取得したストリーミングデータを再生する。なお、再生部169は、ストリーミングデータに限らず、記憶部15に記憶された音源や動画を再生してもよい。
[1−3.実施形態に係る情報処理の手順]
次に、図6乃至図9を用いて、第1の実施形態に係る情報処理の手順について説明する。図6では、ユーザ端末10が個人化BRIRを取得するまでの処理の手順について説明する。図6は、実施形態に係る情報処理の手順を示すフローチャート(1)である。
図6に示すように、ユーザ端末10は、撮影処理等を介して、ユーザの耳画像を取得する(ステップS101)。続けて、ユーザ端末10は、耳画像をクラウドサーバ100に送信する(ステップS102)。
その後、ユーザ端末10は、耳画像に基づき生成された個人化BRIRを取得する(ステップS103)。そして、ユーザ端末10は、取得した個人化BRIRを記憶部15(BRIRテーブル151)に格納する(ステップS104)。
次に、図7を用いて、ユーザ端末10が個人化BRIRを第2アプリに提供する処理の手順について説明する。図7は、実施形態に係る情報処理の手順を示すフローチャート(2)である。
図7に示すように、ユーザ端末10は、第1アプリの起動を検出したか否かを判定する(ステップS201)。第1アプリの起動を検出しない場合(ステップS201;No)、ユーザ端末10は、起動を検出するまで待機する。
一方、第1アプリの起動を検出した場合(ステップS201;Yes)、ユーザ端末10は、ユーザ端末10と接続されている機器の情報(例えば、ヘッドホン50の識別子等)を取得する(ステップS202)。
その後、ユーザ端末10は、BRIRテーブル151に格納している個人化BRIRをクラウドサーバ100に送信する(ステップS203)。続けて、ユーザ端末10は、クラウドサーバ100によって発行された、個人化BRIRの取得用アドレスを取得する(ステップS204)。
また、ユーザ端末10は、機器最適化パラメータの取得用アドレスを取得したか否かを判定する(ステップS205)。機器最適化パラメータの取得用アドレスを取得した場合(ステップS205;Yes)、ユーザ端末10は、機器の識別子と個人化BRIRとを対応付ける(ステップS206)。
一方、機器最適化パラメータの取得用アドレスを取得していない場合(ステップS205;No)、ユーザ端末10は、機器の識別子と個人化BRIRとの対応付けを行わなくてもよい。機器最適化パラメータの取得用アドレスを取得していない場合とは、例えば、機器がPassiveであり、ステップS202で識別子を取得できなかった場合や、クラウドサーバ100が機器の最適化パラメータを保持していなかった場合等である。
そして、ユーザ端末10は、クラウドサーバ100から取得した取得用アドレス等の情報を第2アプリに提供する(ステップS207)。
次に、図8を用いて、ユーザ端末10が個人化BRIRを設定する処理の手順について説明する。図8は、実施形態に係る情報処理の手順を示すフローチャート(3)である。
図8に示すように、ユーザ端末10は、第2アプリの起動を検出したか否かを判定する(ステップS301)。第2アプリの起動を検出しない場合(ステップS301;No)、ユーザ端末10は、起動を検出するまで待機する。
一方、第2アプリの起動を検出した場合(ステップS301;Yes)、ユーザ端末10は、第1アプリから提供された情報を取得する(ステップS302)。
その後、ユーザ端末10は、提供された取得用アドレスを利用して、クラウドサーバ100から個人化BRIRを取得する(ステップS303)。続けて、ユーザ端末10は、取得した個人化BRIRを記憶部15(パラメータテーブル152)に格納する(ステップS304)。
また、ユーザ端末10は、第1アプリから、機器最適化パラメータの取得用アドレスを取得したか否かを判定する(ステップS305)。機器最適化パラメータの取得用アドレスを取得している場合(ステップS305;Yes)、ユーザ端末10は、取得用アドレスを利用して、クラウドサーバ100から機器最適化パラメータを取得する(ステップS306)。ユーザ端末10は、取得した機器最適化パラメータを記憶部15(パラメータテーブル152)に、個人化BRIRと対応付けて格納する(ステップS307)。
さらに、ユーザ端末10は、現時点で接続されている機器の情報を取得する(ステップS308)。そして、ユーザ端末10は、ステップS308で取得した機器の識別子が、個人化BRIRに対応付けられた識別子と一致するか否かを判定する(ステップS309)。
ステップS308で取得した機器の識別子が、個人化BRIRに対応付けられた識別子と一致する場合(ステップS309;Yes)、ユーザ端末10は、設定ファイルに個人化BRIRと機器最適化パラメータを使用する旨を登録する。言い換えれば、ユーザ端末10は、個人化BRIRと機器最適化パラメータとを有効化する(ステップS310)。
一方、ユーザ端末10は、機器最適化パラメータの取得用アドレスを第1アプリから取得しない場合(ステップS305;No)や、ステップS308で取得した機器の識別子が、個人化BRIRに対応付けられた識別子と一致しない場合(ステップS309;No)、ユーザ端末10は、設定ファイルに個人化BRIRと機器最適化パラメータを使用しない旨を登録する。言い換えれば、ユーザ端末10は、個人化BRIRと機器最適化パラメータとを有効化しないよう設定する(ステップS311)。
なお、ユーザ端末10は、ステップS311において、個人化BRIRと機器最適化パラメータとのいずれをも有効化しないよう設定するのではなく、機器最適化パラメータのみを有効化しないよう設定してもよい。例えば、ユーザ端末10は、機器がPassiveである場合等には、個人化BRIRのみをユーザに利用させてもよい。
次に、図9を用いて、ユーザ端末10が個人化BRIRを利用して再生を行う処理の手順について説明する。図9は、実施形態に係る情報処理の手順を示すフローチャート(4)である。
ユーザ端末10は、第2アプリのうちプレイヤーの起動を検出したか否かを判定する(ステップS401)。なお、プレイヤーの起動とは、例えば、第2アプリにおいてユーザが音源を再生する旨の操作を行ったこと等と読み替えてもよい。
プレイヤーの起動を検出しない場合(ステップS401;No)、ユーザ端末10は、起動を検出するまで待機する。一方、プレイヤーの起動を検出した場合(ステップS401;Yes)、ユーザ端末10は、設定ファイルを読み込む(ステップS402)。
続けて、ユーザ端末10は、サービスサーバ200から音源を取得する(ステップS403)。そして、ユーザ端末10は、設定ファイルに基づいて、例えば個人化BRIRや機器最適化パラメータ等を音源に畳み込みながら、音源を再生する(ステップS404)。
音源の再生中、ユーザ端末10は、接続している機器が変更されたか否かを判定する(ステップS405)。接続している機器が変更された場合(ステップS405;Yes)、すなわち、ユーザが利用しているヘッドホンが変更された場合や、通信が切断された場合には、設定ファイルを変更する(ステップS406)。例えば、ユーザ端末10は、個人化BRIRや機器最適化パラメータの有効化を解除し、これらの情報が再生に利用できないよう設定ファイルを変更する。
その後、ユーザ端末10は、再生の停止がユーザから要求されたか否かを判定する(ステップS407)。再生の停止がユーザから要求されない場合(ステップS407;No)、ユーザ端末10は、再生を継続するため、サービスサーバ200から音源を取得する処理を継続する。
一方、再生の停止がユーザから要求された場合(ステップS407;Yes)、ユーザ端末10は、音源の再生を停止する(ステップS408)。
(2.変形例)
上述した情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
[2−1.情報処理システムの態様]
実施形態では、個人化BRIRや機器最適化パラメータの取得用アドレスとしてワンタイムURLを例に挙げたが、この例に限られず、第2アプリがクラウドサーバ100からデータを取得可能な手法であれば、いずれの手法を用いてもよい。また、クラウドサーバ100は、ワンタイムURLを介して個人化BRIRをユーザ端末10に提供したのち、提供した個人化BRIRを削除してもよいし、一定期間保持していてもよい。
実施形態では、クラウドサーバ100が個人化BRIRを生成する例を示した。しかし、個人化BRIRは、クラウドサーバ100ではなく、ユーザ端末10が生成してもよい。この場合、クラウドサーバ100は、ユーザ端末10からアップロードされた個人化BRIRを保持し、要求があった場合に、取得用アドレスを発行する処理のみを行えばよい。
実施形態では、クラウドサーバ100は、クラウドネットワーク上に設置されることを前提としているが、この例に限られず、ユーザ端末10と通信可能であれば、クラウドサーバ100はLAN(Local Area Network)等のネットワーク上に設置されてもよい。
クラウドサーバ100は、個人化BRIRを生成する際に、ユーザの識別情報を取得し、識別情報と個人化BRIRとを対応付けて、個人化BRIRを保持するようにしてもよい。この場合、クラウドサーバ100は、起動のたびに第1アプリから個人化BRIRのアップロードを受けなくても、第2アプリに個人化BRIRを提供することができる。
実施形態では、クラウドサーバ100を1つのサーバとして記載したが、クラウドサーバ100は、複数台のサーバ装置から構成されてもよい。例えば、クラウドサーバ100は、個人化BRIRを生成する生成サーバと、個人化BRIRの取得用アドレスを発行したり、個人化BRIRを提供したりする提供サーバとに分割されてもよい。
実施形態では、ユーザ端末10内に第1アプリと第2アプリとがインストールされる例を示したが、第1アプリと第2アプリは、別の装置にインストールされるアプリであってもよい。例えば、ユーザ端末10は、第1アプリの機能のみを保持し、別の装置であるスマートスピーカー等にインストールされた第2アプリを制御することにより、音源の再生等を行ってもよい。
[2−2.音源の再生の態様]
クラウドサーバ100は、ユーザの個人化BRIRや機器最適化パラメータを保持しない場合、複数のユーザの平均的なBRIRや、特定の機器に依存しない標準的なパラメータをユーザ端末10に送信してもよい。
この点について、図10を用いて説明する。図10は、変形例に係る頭部伝達関数の利用態様を示す概念図である。
図10に示すように、第2アプリにおいて音源が再生される場合には、例えばパターン1とパターン2との態様が考えられる。パターン1は、機器を認識できない場合等、個人化BRIRや機器最適化パラメータが利用できない場合を示す。具体的には、パターン1は、ストリーミングデータと、サービスアプリ(再生用アプリ)と、ライブラリと、平均化BRIR及び標準パラメータの組み合わせ70によって運用される。一方、パターン2は、機器が認識可能であり、機器に対応したパラメータが存在する場合を示す。具体的には、パターン2は、ストリーミングデータと、サービスアプリと、ライブラリと、個人化BRIR及び機器最適化パラメータの組み合わせ80によって運用される。
[2−3.パラメータの利用]
ユーザ端末10は、機器最適化パラメータを再生のたびに取得するのではなく、予め複数の機器にそれぞれ対応した機器最適化パラメータを取得していてもよい。この場合、ユーザ端末10は、接続された機器の識別子に基づいて、当該機器の最適化パラメータを特定し、特定したパラメータを利用して再生等を行うことができる。また、ユーザ端末10は、例えば所有する機器パラメータのリストをユーザに提示し、ユーザにパラメータを選択させてもよい。これにより、例えばPassiveのヘッドホンしか所有していないユーザであっても、自身の個人化BRIRと、機器最適化パラメータとを利用した再生を行わせることができる。
なお、実施形態では、ユーザ端末10(第2アプリ)が、例えばPassiveのヘッドホン等については機器最適化パラメータを取得しない例を示した。しかし、ユーザ端末10は、Passiveのヘッドホン等の通信機能を有しない機器についても、機器最適化パラメータを取得してもよい。この場合、ユーザは、第1アプリにおいて機器の名称等を手動で選択する。なお、機器の名称等のリストは、クラウドサーバ100からユーザ端末10に提供される。そして、ユーザ端末10は、ユーザによって選択された機器の機器最適化パラメータに対応した取得用アドレスをクラウドサーバ100から取得する。
そして、ユーザ端末10は、取得した取得用アドレスを第2アプリに提供する。これにより、第2アプリは、Passiveのヘッドホン等に関する機器最適化パラメータの取得用アドレスを取得することができる。この場合、図8で示したステップS305は「Yes」への分岐となるため、ユーザは、Passiveのヘッドホンであっても、個人化BRIRや機器最適化パラメータを利用した音楽再生を享受することができる。なお、ユーザ端末10は、ユーザの状況に合わせて、個人化BRIRと機器最適化パラメータを利用した音楽再生のみならず、個人化BRIRのみを利用した(機器最適化パラメータでなく、標準的なパラメータ)音楽再生や、平均化BRIRのみを利用した音楽再生等、種々の関数や変数を組み合わせた音楽再生を適宜実行してもよい。
クラウドサーバ100は、個人化HRTFから個人化BRIRを生成する際には、例えばユーザが所在する位置や状況に応じて、異なるRIR(例えば、ユーザの室内環境にあったRIR等)を畳み込むようにしてもよい。これにより、クラウドサーバ100は、よりユーザの状況に合わせた個人化BRIRをユーザに提供することができる。この場合、クラウドサーバ100が個人化BRIRを生成するのではなく、複数のRIRを取得したユーザ端末10自身が、環境に合わせてRIRを特定し、個人化HRTFとの畳み込みを行ってもよい。
[2−4.機器の態様]
実施形態では、ヘッドホン50は、Bluetoothを利用してユーザ端末10とせ接続する例を示した。しかし、ヘッドホン50等の機器は、Bluetoothに限らず、種々の通信規格で接続を行ってもよい。
(3.その他の実施形態)
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
(4.本開示に係る情報処理装置の効果)
上述してきたように、本開示に係る情報処理装置(実施形態ではユーザ端末10)は、実行部(実施形態では実行部163)と、提供部(実施形態では提供部164)とを備える。実行部は、ユーザに対応した頭部伝達関数(実施形態では個人化HRTFや個人化BRIR)と、ユーザが利用する機器を識別する識別子との対応付けを実行する。提供部は、ユーザに対応した頭部伝達関数が提供される提供先に対して、頭部伝達関数と、頭部伝達関数に対応付けられた識別子とを提供する。
このように、本開示に係る情報処理装置は、頭部伝達関数が利用されようとする環境下において、現時点で接続されている機器を識別する。これにより、情報処理装置は、再生時において、適切でない機器が接続されていること等を認識できるので、適切に頭部伝達関数を利用することができる。
また、提供部は、提供先が頭部伝達関数を取得するためのワンタイムURL(One-Time URL)を提供先に送信することにより、頭部伝達関数を提供先に提供する。これにより、情報処理装置は、OS等の制約がある提供先に対しても、頭部伝達関数を提供することができる。
また、提供部は、識別子とともに、頭部伝達関数とともに利用される際の機器に応じた変数を提供先に提供する。これにより、情報処理装置は、機器に応じた最適な再生を行うことができる。
また、提供部は、提供先が変数を取得するためのワンタイムURLを提供先に送信することにより、変数を提供先に提供する。これにより、情報処理装置は、OS等の制約がある提供先に対しても、機器最適化パラメータ等の変数を提供することができる。
また、提供部は、情報処理装置と機器との通信が確立されている場合に、変数を提供先に提供する。これにより、情報処理装置は、音楽が再生される際に、取得した変数に適しない機器に変数が適用されることを防止できるので、適切でない再生が行われることを防止できる。
また、本開示に係る情報処理装置は、取得部(実施形態では取得部166)と、判定部(実施形態では判定部167)と、設定部(実施形態では設定部168)とを備える。取得部は、ユーザに対応した頭部伝達関数と、頭部伝達関数に対応付けられた識別子とを取得する。判定部は、頭部伝達関数に対応付けられた識別子と、ユーザが利用する機器を識別する識別子との一致を判定する。設定部は、頭部伝達関数に対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致する場合に、頭部伝達関数を有効化するよう設定する。
このように、本開示に係る情報処理装置は、頭部伝達関数を取得した時点で対応付けられている機器と、実際に接続されている機器との一致を判定し、その結果に基づいて、頭部伝達関数の有効化を設定する。これにより、情報処理装置は、再生時において、適切でない機器に頭部伝達関数が適用されることを防止できる。
また、取得部は、頭部伝達関数を取得するためのワンタイムURLを介して、頭部伝達関数を取得する。これにより、情報処理装置は、OS等の制約がある場合にも、頭部伝達関数を取得することができる。
また、取得部は、識別子とともに、頭部伝達関数とともに利用される際の機器に応じた変数を取得する。これにより、情報処理装置は、機器に応じた最適な再生を行うことができる。
また、取得部は、変数を取得するためのワンタイムURLを介して、変数を取得する。これにより、情報処理装置は、OS等の制約がある場合にも、変数を取得することができる。
また、判定部は、情報処理装置との通信が確立している機器をユーザが利用する機器と判定する。設定部は、頭部伝達関数に対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致する場合に、変数を有効化するよう設定する。これにより、情報処理装置は、再生時において、取得した頭部伝達関数に対応付けられた機器とは異なる機器が接続されているか否かを判定できるので、適切でない機器に変数が適用されることを防止できる。
また、設定部は、頭部伝達関数に対応付けられた識別子と、ユーザが利用する機器を識別する識別子とが一致しない場合には、頭部伝達関数又は変数を有効化しないよう設定する。これにより、情報処理装置は、機器に適さない変数等が利用されることを防止できる。
(5.ハードウェア構成)
上述してきた各実施形態に係るユーザ端末10やヘッドホン50やクラウドサーバ100やサービスサーバ200等の情報機器は、例えば図11に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係るユーザ端末10を例に挙げて説明する。図11は、ユーザ端末10の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係るユーザ端末10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部16等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部15内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行する実行部と、
前記ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた前記識別子とを提供する提供部と
を備えた情報処理装置。
(2)
前記提供部は、
前記提供先が前記頭部伝達関数を取得するためのワンタイムURL(One-Time URL)を当該提供先に送信することにより、当該頭部伝達関数を当該提供先に提供する
前記(1)に記載の情報処理装置。
(3)
前記提供部は、
前記識別子とともに、前記頭部伝達関数とともに利用される際の前記機器に応じた変数を前記提供先に提供する
前記(1)又は(2)に記載の情報処理装置。
(4)
前記提供部は、
前記提供先が前記変数を取得するためのワンタイムURL(One-Time URL)を当該提供先に送信することにより、当該変数を当該提供先に提供する
前記(3)に記載の情報処理装置。
(5)
前記提供部は、
前記情報処理装置と前記機器との通信が確立されている場合に、前記変数を前記提供先に提供する
前記(3)又は(4)に記載の情報処理装置。
(6)
コンピュータが、
ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行し、
前記ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた前記識別子とを提供する
情報処理方法。
(7)
コンピュータを、
ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行する実行部と、
前記ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた前記識別子とを提供する提供部と
として機能させるための情報処理プログラム。
(8)
ユーザに対応した頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを取得する取得部と、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子との一致を判定する判定部と、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、当該頭部伝達関数を有効化するよう設定する設定部と
を備えた情報処理装置。
(9)
前記取得部は、
前記頭部伝達関数を取得するためのワンタイムURL(One-Time URL)を介して、当該頭部伝達関数を取得する
前記(8)に記載の情報処理装置。
(10)
前記取得部は、
前記識別子とともに、前記頭部伝達関数とともに利用される際の前記機器に応じた変数を取得する
前記(8)又は(9)に記載の情報処理装置。
(11)
前記取得部は、
前記変数を取得するためのワンタイムURL(One-Time URL)を介して、当該変数を取得する
前記(10)に記載の情報処理装置。
(12)
前記判定部は、
前記情報処理装置との通信が確立している機器を前記ユーザが利用する機器と判定し、
前記設定部は、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、前記変数を有効化するよう設定する
前記(10)又は(11)に記載の情報処理装置。
(13)
前記設定部は、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致しない場合には、前記頭部伝達関数又は前記変数を有効化しないよう設定する
前記(10)〜(12)のいずれかに記載の情報処理装置。
(14)
コンピュータが、
ユーザに対応した頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを取得し、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子との一致を判定し、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、当該頭部伝達関数を有効化するよう設定する
情報処理方法。
(15)
コンピュータを、
ユーザに対応した頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを取得する取得部と、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子との一致を判定する判定部と、
前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、当該頭部伝達関数を有効化するよう設定する設定部と
として機能させるための情報処理プログラム。
1 情報処理システム
10 ユーザ端末
11 通信部
12 入力部
13 表示部
14 検知部
15 記憶部
151 BRIRテーブル
152 パラメータテーブル
16 制御部
161 第1アプリ制御部
162 生成部
163 実行部
164 提供部
165 第2アプリ制御部
166 取得部
167 判定部
168 設定部
169 再生部
50 ヘッドホン
100 クラウドサーバ
200 サービスサーバ

Claims (15)

  1. ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行する実行部と、
    前記ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた前記識別子とを提供する提供部と
    を備えた情報処理装置。
  2. 前記提供部は、
    前記提供先が前記頭部伝達関数を取得するためのワンタイムURL(One-Time URL)を当該提供先に送信することにより、当該頭部伝達関数を当該提供先に提供する
    請求項1に記載の情報処理装置。
  3. 前記提供部は、
    前記識別子とともに、前記頭部伝達関数とともに利用される際の前記機器に応じた変数を前記提供先に提供する
    請求項1に記載の情報処理装置。
  4. 前記提供部は、
    前記提供先が前記変数を取得するためのワンタイムURL(One-Time URL)を当該提供先に送信することにより、当該変数を当該提供先に提供する
    請求項3に記載の情報処理装置。
  5. 前記提供部は、
    前記情報処理装置と前記機器との通信が確立されている場合に、前記変数を前記提供先に提供する
    請求項3に記載の情報処理装置。
  6. コンピュータが、
    ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行し、
    前記ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた前記識別子とを提供する
    情報処理方法。
  7. コンピュータを、
    ユーザに対応した頭部伝達関数と、当該ユーザが利用する機器を識別する識別子との対応付けを実行する実行部と、
    前記ユーザに対応した頭部伝達関数が提供される提供先に対して、当該頭部伝達関数と、当該頭部伝達関数に対応付けられた前記識別子とを提供する提供部と
    として機能させるための情報処理プログラム。
  8. ユーザに対応した頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを取得する取得部と、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子との一致を判定する判定部と、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、当該頭部伝達関数を有効化するよう設定する設定部と
    を備えた情報処理装置。
  9. 前記取得部は、
    前記頭部伝達関数を取得するためのワンタイムURL(One-Time URL)を介して、当該頭部伝達関数を取得する
    請求項8に記載の情報処理装置。
  10. 前記取得部は、
    前記識別子とともに、前記頭部伝達関数とともに利用される際の前記機器に応じた変数を取得する
    請求項8に記載の情報処理装置。
  11. 前記取得部は、
    前記変数を取得するためのワンタイムURL(One-Time URL)を介して、当該変数を取得する
    請求項10に記載の情報処理装置。
  12. 前記判定部は、
    前記情報処理装置との通信が確立している機器を前記ユーザが利用する機器と判定し、
    前記設定部は、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、前記変数を有効化するよう設定する
    請求項10に記載の情報処理装置。
  13. 前記設定部は、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致しない場合には、前記頭部伝達関数又は前記変数を有効化しないよう設定する
    請求項10に記載の情報処理装置。
  14. コンピュータが、
    ユーザに対応した頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを取得し、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子との一致を判定し、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、当該頭部伝達関数を有効化するよう設定する
    情報処理方法。
  15. コンピュータを、
    ユーザに対応した頭部伝達関数と、当該頭部伝達関数に対応付けられた識別子とを取得する取得部と、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子との一致を判定する判定部と、
    前記頭部伝達関数に対応付けられた識別子と、前記ユーザが利用する機器を識別する識別子とが一致する場合に、当該頭部伝達関数を有効化するよう設定する設定部
    として機能させるための情報処理プログラム。
JP2020562388A 2018-12-28 2019-12-26 情報処理装置、情報処理方法及び情報処理プログラム Pending JPWO2020138257A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018246622 2018-12-28
JP2018246622 2018-12-28
PCT/JP2019/051058 WO2020138257A1 (ja) 2018-12-28 2019-12-26 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2020138257A1 true JPWO2020138257A1 (ja) 2021-11-04

Family

ID=71128751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020562388A Pending JPWO2020138257A1 (ja) 2018-12-28 2019-12-26 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (7)

Country Link
US (2) US11956621B2 (ja)
EP (1) EP3905725A4 (ja)
JP (1) JPWO2020138257A1 (ja)
KR (1) KR20210106992A (ja)
CN (1) CN113228711A (ja)
TW (1) TW202041053A (ja)
WO (1) WO2020138257A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113638A1 (ja) * 2020-11-25 2022-06-02 ソニーグループ株式会社 情報処理装置、情報処理方法
WO2023176191A1 (ja) * 2022-03-16 2023-09-21 ソニーグループ株式会社 プログラム、制御装置、補聴器、通信デバイス、補聴器システムおよび制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153398A (ja) 2001-11-09 2003-05-23 Nippon Hoso Kyokai <Nhk> ヘッドホンによる前後方向への音像定位装置およびその方法
US20060056638A1 (en) * 2002-09-23 2006-03-16 Koninklijke Philips Electronics, N.V. Sound reproduction system, program and data carrier
GB2438988B (en) * 2004-07-09 2009-07-15 Tricerion Ltd A method of secure data communication
CN101390443B (zh) 2006-02-21 2010-12-01 皇家飞利浦电子股份有限公司 音频编码和解码
JP2010118978A (ja) 2008-11-14 2010-05-27 Victor Co Of Japan Ltd 音像定位制御装置および音像定位制御方法
US9112863B2 (en) 2009-12-14 2015-08-18 International Business Machines Corporation Method, program product and server for controlling a resource access to an electronic resource stored within a protected data environment
BR112013017070B1 (pt) * 2011-01-05 2021-03-09 Koninklijke Philips N.V Sistema de áudio e método de operação para um sistema de áudio
US20130177166A1 (en) 2011-05-27 2013-07-11 Sony Ericsson Mobile Communications Ab Head-related transfer function (hrtf) selection or adaptation based on head size
CN104254843A (zh) * 2012-02-29 2014-12-31 雷蛇(亚太)私人有限公司 头戴式耳机装置与装置配置文件管理系统及方法
JP6050625B2 (ja) 2012-06-28 2016-12-21 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに情報通信システム
US9544706B1 (en) * 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions

Also Published As

Publication number Publication date
US20240205633A1 (en) 2024-06-20
WO2020138257A1 (ja) 2020-07-02
US11956621B2 (en) 2024-04-09
TW202041053A (zh) 2020-11-01
EP3905725A4 (en) 2022-03-16
EP3905725A1 (en) 2021-11-03
KR20210106992A (ko) 2021-08-31
US20220060841A1 (en) 2022-02-24
CN113228711A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US11785413B2 (en) Media content playback based on an identified geolocation of a target venue
US10003905B1 (en) Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter
CN106576203B (zh) 确定和使用房间优化传输函数
US11075609B2 (en) Transforming audio content for subjective fidelity
TWI640917B (zh) 頭戴式耳機裝置與裝置設定檔管理系統及方法
US20240205633A1 (en) Information processing apparatus, information processing method, and information processing program
JP2015513832A (ja) オーディオ再生システム及び方法
US11683654B2 (en) Audio content format selection
JP2021535648A (ja) バイノーラル録音を取得及び再生するための方法
US12028699B2 (en) Playing binaural sound clips during an electronic communication
CN109474882A (zh) 基于听音点追踪的声场重建方法、设备、存储介质及装置
US11113092B2 (en) Global HRTF repository
TW201817248A (zh) 聲音播放方法、系統及其非暫態電腦可讀取紀錄媒體
JPWO2020138258A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US10419870B1 (en) Applying audio technologies for the interactive gaming environment
US11736889B2 (en) Personalized and integrated virtual studio
US11792581B2 (en) Using Bluetooth / wireless hearing aids for personalized HRTF creation
EP4381745A1 (en) Combined hrtf for spatial audio plus hearing aid support and other enhancements

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240903