JP7037671B2 - オーディオの提示のための装置および関連する方法 - Google Patents
オーディオの提示のための装置および関連する方法 Download PDFInfo
- Publication number
- JP7037671B2 JP7037671B2 JP2020571769A JP2020571769A JP7037671B2 JP 7037671 B2 JP7037671 B2 JP 7037671B2 JP 2020571769 A JP2020571769 A JP 2020571769A JP 2020571769 A JP2020571769 A JP 2020571769A JP 7037671 B2 JP7037671 B2 JP 7037671B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- user
- presentation
- information
- remote user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 18
- 238000004891 communication Methods 0.000 claims description 145
- 238000012544 monitoring process Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 230000008447 perception Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/21—Direction finding using differential microphone array [DMA]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Description
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信し、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信し、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信し、
前記プライマリオーディオの提示を提供し、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供する
手段を備える。
前記装置は、
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報に基づいて、前記現在のオーディオ提示情報に基づく前記セカンダリオーディオの提示を提供し、
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記1つ以上のオーディオソースのうちのどれもがオーディオを現在提示していないことを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの提示の提供、および
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記1つ以上のオーディオソースのうちの少なくとも1つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの非提示の提供
のうちの少なくとも1つを行う
手段を備える。
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報、および前記1つ以上のオーディオソースのうちの少なくとも1つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供し、
前記1つ以上のオーディオソースのうちの少なくとも1つの前記オーディオが前記セカンダリオーディオの提示に適応するように提示される、ボリュームまたは方向の前記範囲のうちの一方または両方の修正を提供する
ように構成されている。
前記オーディオコンテンツについてのデフォルトの知覚場所を規定する、デフォルトの知覚場所情報を受信し、
前記デフォルトの知覚場所から発生しているとして知覚されるように、空間オーディオとして前記オーディオコンテンツの少なくとも前記プライマリオーディオの提示を提供する
ように構成されている。
ユーザのユーザオーディオコンテンツを捕捉し、
前記ユーザと、前記リモートユーザデバイスのリモートユーザとの間の通信を提供するために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、前記捕捉されたユーザオーディオコンテンツを前記リモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記リモートユーザデバイスによる使用のための前記ユーザオーディオコンテンツの前記セカンダリオーディオの重要性を示す、前記ユーザから受信されるユーザ入力に基づくセカンダリオーディオの重要性情報を送信する
ように構成されている。
前記ユーザオーディオコンテンツのオーディオ分析、および
前記ユーザの判定された現在の場所
のうちの1つ以上に基づく。
前記ユーザモニタリング情報は、前記セカンダリオーディオがリモートユーザに少なくとも通知するために提示されているかどうかを示す。
前記ユーザモニタリング情報は、
前記装置が使用されるときに前記オーディオコンテンツがどこから知覚されるかを含む、基準方向に対して規定される方向を含む提示方向であって、前記リモートユーザデバイスによってリモートユーザに前記オーディオコンテンツを提示する際に使用するための当該提示方向、
前記リモートユーザデバイスによって前記リモートユーザに提示するための前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記1つ以上のオーディオソースのうちの少なくとも1つのオーディオ、および
前記オーディオが、前記リモートユーザデバイスによって、前記1つ以上のオーディオソースのうちの前記少なくとも1つの前記オーディオを前記リモートユーザに提示するために取り出され得る、前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記1つ以上のオーディオソースのうちの少なくとも1つへの参照
のうちの1つ以上を示す。
前記リモートユーザデバイスからリモートユーザモニタリング情報を受信し、
・ 提示位置に対応する位置から発生しているとして知覚されるような前記ユーザオーディオコンテンツの提示の提供であって、前記リモートユーザデバイスからの前記リモートユーザモニタリング情報が、前記ユーザオーディオコンテンツが前記リモートユーザデバイスによって提示されるときに知覚される、リモートユーザに対する位置を示す、前記提示位置を含む、当該提供、および
・ 前記リモートユーザに現在提示されている1つ以上のオーディオソースのうちの少なくとも1つの前記オーディオの提示の提供であって、前記リモートユーザデバイスから受信される前記リモートユーザモニタリング情報が、前記オーディオ、または前記リモートユーザに提示される前記1つ以上のオーディオソースのうちの前記少なくとも1つへの参照を含む、当該提供
のうちの1つ以上を行う
ように構成されている。
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
を含む。
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
の方法を実施するように構成されている。
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信する
手段を備える。
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信することと、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信することと、
を含む。
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信することと、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信することと、
の方法を実施するように構成されている。
少なくとも1つのプロセッサと、
コンピュータプログラムコードを含む、少なくとも1つのメモリと、
を備える装置が提供される。
前記少なくとも1つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサによって、前記装置に少なくとも、
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信させ、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信させ、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信させ、
前記プライマリオーディオの提示を提供させ、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供させる
ように構成されている。
少なくとも1つのプロセッサと、
コンピュータプログラムコードを含む少なくとも1つのメモリと、
を備える装置が提供される。
前記少なくとも1つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサによって、前記装置に少なくとも、
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信させ、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信させる
ように構成されている。
オーディオコンテンツの受信、
セカンダリオーディオの重要性情報の受信、および
現在のオーディオ提示情報の受信
の少なくとも一部に基づいて、入って来る通信オーディオコンテンツの提示を提供する手段を備えてもよい。
プライマリオーディオ、および前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオを含む、オーディオコンテンツをリモートユーザデバイスから受信するステップ900と、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信するステップ901と、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信するステップ902と、
前記プライマリオーディオの提示を提供するステップ903と、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供するステップ904と、
を示す。
Claims (15)
- プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信し、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信し、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信し、
前記プライマリオーディオの提示を提供し、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供する
手段を備える装置。 - 前記セカンダリオーディオの重要性情報は、重要であることおよび重要でないことを含む、少なくとも2つのレベルの重要性を規定し、
前記装置は、
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報に基づいて、前記現在のオーディオ提示情報に基づく前記セカンダリオーディオの提示を提供し、
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記1つ以上のオーディオソースのうちのどれもがオーディオを現在提示していないことを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの提示の提供、および
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記1つ以上のオーディオソースのうちの少なくとも1つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの非提示の提供
のうちの少なくとも1つを行う
ように構成される、請求項1に記載の装置。 - 前記手段は、
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報、および前記1つ以上のオーディオソースのうちの少なくとも1つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供し、
前記1つ以上のオーディオソースのうちの少なくとも1つの前記オーディオが前記セカンダリオーディオの提示に適応するように提示される、ボリュームまたは方向の前記範囲のうちの一方または両方の修正を提供する
ように構成されている、請求項2に記載の装置。 - 前記手段は、前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報、および前記1つ以上のオーディオソースのうちのどれもがオーディオを現在提示していないことを示す前記現在のオーディオ提示情報に基づいて、ユーザの周囲のすべての方向から発生しているとして知覚されるような前記セカンダリオーディオの提示を提供するように構成されている、請求項2または3に記載の装置。
- 前記現在のオーディオ提示情報に基づいて、前記1つ以上のオーディオソースの前記オーディオに対応付けられる方向または方向の範囲に重複しない、方向または方向の範囲から発生しているとして知覚されるように、空間オーディオとして前記プライマリオーディオの提示を提供するように構成される、請求項1から4のいずれかに記載の装置。
- 前記手段は、
前記オーディオコンテンツについてのデフォルトの知覚場所を規定する、デフォルトの知覚場所情報を受信し、
前記デフォルトの知覚場所から発生しているとして知覚されるように、空間オーディオとして前記オーディオコンテンツの少なくとも前記プライマリオーディオの提示を提供する
ように構成されている、請求項1から5のいずれかに記載の装置。 - 前記手段は、
ユーザのユーザオーディオコンテンツを捕捉し、
前記ユーザと、前記リモートユーザデバイスのリモートユーザとの間の通信を提供するために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、前記捕捉されたユーザオーディオコンテンツを前記リモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記リモートユーザデバイスによる使用のための前記ユーザオーディオコンテンツの前記セカンダリオーディオの重要性を示す、前記ユーザから受信されるユーザ入力に基づくセカンダリオーディオの重要性情報を送信する
ように構成されている、請求項1から6のいずれかに記載の装置。 - 前記セカンダリオーディオの重要性情報は、
前記ユーザオーディオコンテンツのオーディオ分析、および
前記ユーザの判定された現在の場所
のうちの1つ以上に基づく、請求項7に記載の装置。 - 前記手段は、前記捕捉されたユーザオーディオコンテンツに対応付けられた前記セカンダリオーディオの重要性情報が、前記ユーザオーディオコンテンツが重要でないことを示す判定時に、前記捕捉されたユーザオーディオコンテンツの前記送信の前に、プライマリオーディオおよびセカンダリオーディオとして分類されるものから、モノフォニックおよびステレオフォニックオーディオのうちの一方に、前記捕捉されたユーザオーディオコンテンツを修正するか、またはモノフォニックおよびステレオフォニックのうちの一方として前記ユーザオーディオコンテンツを捕捉するように構成されている、請求項7または8に記載の装置。
- 前記手段は、ユーザモニタリング情報を前記リモートユーザデバイスに送信するように構成されており、
前記ユーザモニタリング情報は、前記セカンダリオーディオがリモートユーザまたは前記リモートユーザデバイスに少なくとも通知するために提示されているかどうかを示す、請求項1から9のいずれかに記載の装置。 - 前記手段は、ユーザモニタリング情報を前記リモートユーザデバイスに送信するように構成されており、
前記ユーザモニタリング情報は、
前記装置が使用されるときに前記オーディオコンテンツがどこから知覚されるかを含む、基準方向に対して規定される方向を含む提示方向であって、前記リモートユーザデバイスによってリモートユーザに前記オーディオコンテンツを提示する際に使用するための当該提示方向、
前記リモートユーザデバイスによって前記リモートユーザに提示するための前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記1つ以上のオーディオソースのうちの少なくとも1つのオーディオ、および
前記オーディオが、前記リモートユーザデバイスによって、前記1つ以上のオーディオソースのうちの前記少なくとも1つの前記オーディオを前記リモートユーザに提示するために取り出され得る、前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記1つ以上のオーディオソースのうちの少なくとも1つへの参照
のうちの1つ以上を示す、請求項1から10のいずれかに記載の装置。 - 前記手段は、
前記リモートユーザデバイスからリモートユーザモニタリング情報を受信し、
・ 提示位置に対応する位置から発生しているとして知覚されるような前記ユーザオーディオコンテンツの提示の提供であって、前記リモートユーザデバイスからの前記リモートユーザモニタリング情報が、前記ユーザオーディオコンテンツが前記リモートユーザデバイスによって提示されるときに知覚される、リモートユーザに対する位置を示す、前記提示位置を含む、当該提供、および
・ 前記リモートユーザに現在提示されている1つ以上のオーディオソースのうちの少なくとも1つの前記オーディオの提示の提供であって、前記リモートユーザデバイスから受信される前記リモートユーザモニタリング情報が、前記オーディオ、または前記リモートユーザに提示される前記1つ以上のオーディオソースのうちの前記少なくとも1つへの参照を含む、当該提供
のうちの1つ以上を行う
ように構成されている、請求項7に記載の装置。 - プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
を含む方法。 - 装置の少なくとも1つのプロセッサ上で実行されると、前記装置に、
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
1つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で1つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記1つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
を遂行させるように構成されているプログラムコードを備える、コンピュータプログラム。 - リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信する
手段を備える装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18179707.7A EP3588988B1 (en) | 2018-06-26 | 2018-06-26 | Selective presentation of ambient audio content for spatial audio presentation |
EP18179707.7 | 2018-06-26 | ||
PCT/EP2019/065856 WO2020002023A1 (en) | 2018-06-26 | 2019-06-17 | An apparatus and associated methods for presentation of audio |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021528916A JP2021528916A (ja) | 2021-10-21 |
JP7037671B2 true JP7037671B2 (ja) | 2022-03-16 |
Family
ID=62909332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020571769A Active JP7037671B2 (ja) | 2018-06-26 | 2019-06-17 | オーディオの提示のための装置および関連する方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11228833B2 (ja) |
EP (1) | EP3588988B1 (ja) |
JP (1) | JP7037671B2 (ja) |
CN (1) | CN112313972B (ja) |
WO (1) | WO2020002023A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3599777B1 (en) * | 2018-07-24 | 2024-01-03 | Nokia Technologies Oy | An apparatus, system, method and computer program for providing spatial audio |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006114942A (ja) | 2004-10-12 | 2006-04-27 | Nippon Telegr & Teleph Corp <Ntt> | 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体 |
JP2016100677A (ja) | 2014-11-19 | 2016-05-30 | 株式会社国際電気通信基礎技術研究所 | 臨場感伝達システムおよび臨場感再現装置 |
WO2016172111A1 (en) | 2015-04-20 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
WO2017208820A1 (ja) | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1277180C (zh) * | 2002-04-26 | 2006-09-27 | 韩国电子通信研究院 | 用于适应音频信号的装置和方法 |
GB2415862B (en) | 2004-07-01 | 2007-03-28 | Motorola Inc | A method and a system for operating an ambience listening mode in a wireless communication system |
US7783594B1 (en) * | 2005-08-29 | 2010-08-24 | Evernote Corp. | System and method for enabling individuals to select desired audio |
ES2452348T3 (es) * | 2007-04-26 | 2014-04-01 | Dolby International Ab | Aparato y procedimiento para sintetizar una señal de salida |
EP2061201A1 (en) | 2007-11-16 | 2009-05-20 | Lucent Technologies Inc. | Method and system for enhancing a communication session with personalised ambience |
KR20110010443A (ko) | 2009-07-24 | 2011-02-01 | 뉴브로드테크놀러지(주) | 인터넷 전화의 원격 품질측정을 위한 자동응답과 루프백 방법 |
US9014058B2 (en) * | 2010-06-25 | 2015-04-21 | Cisco Technology, Inc. | Enhancement of audio conference productivity through gain biasing |
US20120166188A1 (en) | 2010-12-28 | 2012-06-28 | International Business Machines Corporation | Selective noise filtering on voice communications |
KR102185941B1 (ko) * | 2011-07-01 | 2020-12-03 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법 |
JP2015507762A (ja) * | 2011-12-22 | 2015-03-12 | ノキア コーポレイション | オーディオトラックの決定方法,装置およびコンピュータプログラム |
US9111542B1 (en) * | 2012-03-26 | 2015-08-18 | Amazon Technologies, Inc. | Audio signal transmission techniques |
US8903526B2 (en) * | 2012-06-06 | 2014-12-02 | Sonos, Inc. | Device playback failure recovery and redistribution |
EP2891339B1 (en) * | 2012-08-31 | 2017-08-16 | Dolby Laboratories Licensing Corporation | Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers |
WO2014099285A1 (en) * | 2012-12-21 | 2014-06-26 | Dolby Laboratories Licensing Corporation | Object clustering for rendering object-based audio content based on perceptual criteria |
US9344826B2 (en) * | 2013-03-04 | 2016-05-17 | Nokia Technologies Oy | Method and apparatus for communicating with audio signals having corresponding spatial characteristics |
US10219093B2 (en) * | 2013-03-14 | 2019-02-26 | Michael Luna | Mono-spatial audio processing to provide spatial messaging |
KR101984356B1 (ko) * | 2013-05-31 | 2019-12-02 | 노키아 테크놀로지스 오와이 | 오디오 장면 장치 |
EP2830333A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals |
US20150046943A1 (en) * | 2013-08-12 | 2015-02-12 | Sony Corporation | Automatic switching from primary to secondary audio during emergency broadcast |
EP2879131A1 (en) * | 2013-11-27 | 2015-06-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder, encoder and method for informed loudness estimation in object-based audio coding systems |
EP3264802A1 (en) * | 2016-06-30 | 2018-01-03 | Nokia Technologies Oy | Spatial audio processing for moving sound sources |
-
2018
- 2018-06-26 EP EP18179707.7A patent/EP3588988B1/en active Active
-
2019
- 2019-06-17 JP JP2020571769A patent/JP7037671B2/ja active Active
- 2019-06-17 WO PCT/EP2019/065856 patent/WO2020002023A1/en active Application Filing
- 2019-06-17 CN CN201980042786.4A patent/CN112313972B/zh active Active
- 2019-06-17 US US15/734,324 patent/US11228833B2/en active Active
-
2021
- 2021-12-07 US US17/544,211 patent/US20220095047A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006114942A (ja) | 2004-10-12 | 2006-04-27 | Nippon Telegr & Teleph Corp <Ntt> | 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体 |
JP2016100677A (ja) | 2014-11-19 | 2016-05-30 | 株式会社国際電気通信基礎技術研究所 | 臨場感伝達システムおよび臨場感再現装置 |
WO2016172111A1 (en) | 2015-04-20 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
WO2017208820A1 (ja) | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210227320A1 (en) | 2021-07-22 |
CN112313972B (zh) | 2021-09-10 |
CN112313972A (zh) | 2021-02-02 |
EP3588988A1 (en) | 2020-01-01 |
JP2021528916A (ja) | 2021-10-21 |
US11228833B2 (en) | 2022-01-18 |
WO2020002023A1 (en) | 2020-01-02 |
US20220095047A1 (en) | 2022-03-24 |
EP3588988B1 (en) | 2021-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8073125B2 (en) | Spatial audio conferencing | |
US11477598B2 (en) | Apparatuses and associated methods for spatial presentation of audio | |
US20140226842A1 (en) | Spatial audio processing apparatus | |
US11399254B2 (en) | Apparatus and associated methods for telecommunications | |
US20170195817A1 (en) | Simultaneous Binaural Presentation of Multiple Audio Streams | |
US11930350B2 (en) | Rendering audio | |
JP7037671B2 (ja) | オーディオの提示のための装置および関連する方法 | |
EP4085661A1 (en) | Audio representation and associated rendering | |
US10993064B2 (en) | Apparatus and associated methods for presentation of audio content | |
JPWO2020022154A1 (ja) | 通話端末、通話システム、通話端末の制御方法、通話プログラム、および記録媒体 | |
US12047766B2 (en) | Audio/video capturing using audio from remote device | |
US11665271B2 (en) | Controlling audio output | |
US11627429B2 (en) | Providing spatial audio signals | |
US20230262169A1 (en) | Core Sound Manager | |
JP2024041721A (ja) | ビデオ電話会議 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210125 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7037671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |