JPWO2020073023A5

JPWO2020073023A5 -

Info

Publication number: JPWO2020073023A5
Application number: JP2021518639A
Authority: JP
Publication date: 2022-10-13
Anticipated expiration: 2039-10-04

Description

本開示の実施例は、オーディオ信号をウェアラブル頭部デバイスのユーザに提示するためのシステムおよび方法を説明する。例示的方法によると、オーディオ信号に対応する源場所が、識別される。オーディオ信号に対応する音響軸が、決定される。ユーザの個別の左耳および右耳のそれぞれに関して、音響軸と個別の耳との間の角度が、決定される。ユーザの個別の左耳および右耳のそれぞれに関して、仮想スピーカアレイの仮想スピーカ位置が、決定され、仮想スピーカ位置は、源場所と、そして個別の耳の位置と同一線上にある。仮想スピーカアレイは、複数の仮想スピーカ位置を備え、複数の仮想スピーカ位置の各仮想スピーカ位置は、ユーザの頭部と同心の球体の表面上に位置し、球体は、第１の半径を有する。ユーザの個別の左耳および右耳のそれぞれに関して、仮想スピーカ位置および個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）が、決定され、源放射フィルタが、決定された角度に基づいて決定され、オーディオ信号は、個別の耳に関する出力オーディオ信号を発生させるために処理され、出力オーディオ信号は、ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、ユーザの個別の耳に提示される。オーディオ信号を処理するステップは、ＨＲＴＦおよび源放射フィルタをオーディオ信号に適用するステップを含む。
本発明は、例えば、以下を提供する。
（項目１）
ウェアラブル頭部デバイスのユーザにオーディオ信号を提示する方法であって、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
を含む、方法。
（項目２）
前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、項目１に記載の方法。
（項目３）
前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、項目１に記載の方法。
（項目４）
前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、項目１に記載の方法。
（項目５）
前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目１に記載の方法。
（項目６）
前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、項目１に記載の方法。
（項目７）
前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、項目１に記載の方法。
（項目８）
前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目１に記載の方法。
（項目９）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、項目１に記載の方法。
（項目１０）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、項目１に記載の方法。
（項目１１）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、項目１に記載の方法。
（項目１２）
前記角度は、方位角および高度角のうちの１つ以上のものを含む、項目１に記載の方法。
（項目１３）
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、項目１に記載の方法。
（項目１４）
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、項目１に記載の方法。
（項目１５）
前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、項目１に記載の方法。
（項目１６）
システムであって、
ウェアラブル頭部デバイスと、
１つ以上のスピーカと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ウェアラブル頭部デバイスのユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記１つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
を含む方法を実施するように構成される、１つ以上のプロセッサと、
を備える、システム。
（項目１７）
前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、項目１６に記載のシステム。
（項目１８）
前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、項目１６に記載のシステム。
（項目１９）
前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、項目１６に記載のシステム。
（項目２０）
前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目１６に記載のシステム。
（項目２１）
前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、項目１６に記載のシステム。
（項目２２）
前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、項目１６に記載のシステム。
（項目２３）
前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目１６に記載のシステム。
（項目２４）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、項目１６に記載のシステム。
（項目２５）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、項目１６に記載のシステム。
（項目２６）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、項目１６に記載のシステム。
（項目２７）
前記角度は、方位角および高度角のうちの１つ以上のものを含む、項目１６に記載のシステム。
（項目２８）
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、項目１６に記載のシステム。
（項目２９）
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、項目１５に記載のシステム。
（項目３０）
前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、項目１６に記載のシステム。
（項目３１）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、オーディオ信号をウェアラブル頭部デバイスのユーザに提示する方法を実施させ、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
を含む、非一過性コンピュータ可読媒体。
（項目３２）
前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３３）
前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３４）
前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３５）
前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３６）
前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３７）
前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３８）
前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３９）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４０）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４１）
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４２）
前記角度は、方位角および高度角のうちの１つ以上のものを含む、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４３）
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４４）
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４５）
前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、項目３１に記載の非一過性コンピュータ可読媒体。

Claims

ウェアラブル頭部デバイスのユーザにオーディオ信号を提示する方法であって、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記源場所と前記個別の耳との間の距離に基づいて、前記オーディオ信号を減衰させることであって、前記距離は、最小値においてクランピングされる、ことと、
前記ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、前記ユーザの前記個別の耳に前記出力オーディオ信号を提示することと
を含む、方法。
前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、請求項１に記載の方法。
前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、請求項１に記載の方法。
前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、請求項１に記載の方法。
前記オーディオ信号を処理することは、両耳間時間差を前記オーディオ信号に適用することをさらに含む、請求項１に記載の方法。
前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項１に記載の方法。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、請求項１に記載の方法。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、請求項１に記載の方法。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、請求項１に記載の方法。
前記角度は、方位角および高度角のうちの１つ以上のものを含む、請求項１に記載の方法。
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、請求項１に記載の方法。
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、請求項１に記載の方法。
前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、請求項１に記載の方法。
システムであって、
ウェアラブル頭部デバイスと、
１つ以上のスピーカと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ウェアラブル頭部デバイスのユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記源場所と前記個別の耳との間の距離に基づいて、前記オーディオ信号を減衰させることであって、前記距離は、最小値においてクランピングされる、ことと、
前記１つ以上のスピーカを介して、前記ユーザの前記個別の耳に前記出力オーディオ信号を提示することと
を含む方法を実施するように構成される、１つ以上のプロセッサと
を備える、システム。
前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、請求項１４に記載のシステム。
前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、請求項１４に記載のシステム。
前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、請求項１４に記載のシステム。
前記オーディオ信号を処理することは、両耳間時間差を前記オーディオ信号に適用することをさらに含む、請求項１４に記載のシステム。
前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項１４に記載のシステム。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、請求項１４に記載のシステム。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、請求項１４に記載のシステム。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、請求項１４に記載のシステム。
前記角度は、方位角および高度角のうちの１つ以上のものを含む、請求項１４に記載のシステム。
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、請求項１４に記載のシステム。
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、請求項１４に記載のシステム。
前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、請求項１４に記載のシステム。
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、オーディオ信号をウェアラブル頭部デバイスのユーザに提示する方法を実施させ、前記方法は、
前記オーディオ信号に対応する源場所を識別することと、
前記オーディオ信号に対応する音響軸を決定することと、
前記ユーザの個別の左耳および右耳のそれぞれに関して、
前記音響軸と個別の耳との間の角度を決定することと、
仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
前記決定された角度に基づいて、源放射フィルタを決定することと、
前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
前記源場所と前記個別の耳との間の距離に基づいて、前記オーディオ信号を減衰させることであって、前記距離は、最小値においてクランピングされる、ことと、
前記ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、前記ユーザの前記個別の耳に前記出力オーディオ信号を提示することと
を含む、非一過性コンピュータ可読媒体。
前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、請求項２７に記載の非一過性コンピュータ可読媒体。
前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、請求項２７に記載の非一過性コンピュータ可読媒体。
前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、請求項２７に記載の非一過性コンピュータ可読媒体。
前記オーディオ信号を処理することは、両耳間時間差を前記オーディオ信号に適用することをさらに含む、請求項２７に記載の非一過性コンピュータ可読媒体。
前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項２７に記載の非一過性コンピュータ可読媒体。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、請求項２７に記載の非一過性コンピュータ可読媒体。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、請求項２７に記載の非一過性コンピュータ可読媒体。
前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、請求項２７に記載の非一過性コンピュータ可読媒体。
前記角度は、方位角および高度角のうちの１つ以上のものを含む、請求項２７に記載の非一過性コンピュータ可読媒体。
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、請求項２７に記載の非一過性コンピュータ可読媒体。
前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、請求項２７に記載の非一過性コンピュータ可読媒体。
前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、請求項２７に記載の非一過性コンピュータ可読媒体。