JP7037654B2 - キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 - Google Patents
キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 Download PDFInfo
- Publication number
- JP7037654B2 JP7037654B2 JP2020533103A JP2020533103A JP7037654B2 JP 7037654 B2 JP7037654 B2 JP 7037654B2 JP 2020533103 A JP2020533103 A JP 2020533103A JP 2020533103 A JP2020533103 A JP 2020533103A JP 7037654 B2 JP7037654 B2 JP 7037654B2
- Authority
- JP
- Japan
- Prior art keywords
- captured
- spatial audio
- content
- scene
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Stereophonic System (AREA)
- Television Signal Processing For Recording (AREA)
Description
(i)音声を含むシーンのキャプチャされた空間オーディオコンテンツに基づき、当該音声はこれがキャプチャされた前記シーンの方向を少なくとも示す情報と対応付けられ、さらに
(ii)前記シーンの対応するキャプチャされた視覚的画像群に、ユーザに対する提示用にフォーカスが当てられた、前記シーンの第1の部分を少なくとも示す情報を含むビジュアルフォーカス情報に基づき、
前記キャプチャされた視覚的画像群の提示を伴うように、前記キャプチャされた空間オーディオコンテンツの提示を行うように構成される手段を備える。このキャプチャされた空間オーディオコンテンツは、前記ユーザに対して、当該キャプチャされた空間オーディオコンテンツに示された方向から発せられる音声の知覚を提供するように構成された空間オーディオとして提示され、前記空間オーディオコンテンツは、前記第1の部分とは異なる前記シーンの第2の部分からキャプチャされた音声に選択的に適用される空間オーディオフォーカスを有して提示用に提供され、前記空間オーディオフォーカスは、前記シーンの他の場所からの音声に比べて、前記第2の部分に対応する方向を有する音声の可聴度を増加させる音声変更効果を含む。
a)前記ユーザからの、前記シーンの少なくとも1つの部分に対するユーザの選択と、
b1)前記ユーザが好む音声または音源の1つ以上を示すユーザ設定のプロファイル設定と、
b2)前記ユーザに対応付けられ、前記キャプチャされた空間オーディオコンテンツに聴覚的に存在し、またはキャプチャされたビジュアルコンテンツに視覚的に現れ、さらに、前記ユーザに事前に提示され、前記ユーザによって選択されたキャプチャされた別の視聴覚コンテンツにある共通の特徴に対する、前記ユーザによる1つ以上のユーザの選択を示す履歴データと、
c)前記ユーザに対応付けられ、前記キャプチャされた空間オーディオコンテンツに聴覚的に存在し、または前記キャプチャされたビジュアルコンテンツに視覚的に現れ、さらに、前記シーンのある決定された場所に対応する場所にいる前記ユーザに事前に提示されたキャプチャされた別の視聴覚コンテンツにある共通の特徴を示す履歴場所データと、
d)前記キャプチャされた空間オーディオコンテンツと、最近の時間または対応する時刻または時期を含む関連する時間にキャプチャされた、別の視聴覚コンテンツに共通の音声を示す履歴データを含む時間に特有のデータと、
の内の少なくとも1つに基づいて前記オーディオフォーカス情報を決定するように構成される手段を備える。
a)現在提示されている前記キャプチャされたビジュアルコンテンツの空間的広がり全体と、
b)現在提示されている前記キャプチャされたビジュアルコンテンツの空間的広がり全体の小区分と、
c)現在提示されており、前記ユーザによって選択された、前記キャプチャされたビジュアルコンテンツの一部と、
の内の少なくとも1つを含む。
i)提示用に提供された視界内にある当該シーンの空間的小区分を含む前記第1の部分と、
ii)光学的フォーカスが小さい表示用に提供された視野における残りの部分に比べて光学的フォーカスが当てられた、提示用に提供された前記視野の空間的小区分を含む前記第1の部分と、
の内の少なくとも1つについて、提示用にフォーカスが当てられる。
a)当該シーンの静止画像と、
b)当該シーンのビデオ画像群と、
c)任意の時点で前記ユーザに提示可能な空間的広がりよりも大きな空間的広がりを有する、当該シーンの仮想現実画像群と、
の1つを含む。
(i)ユーザへの提示用に提供された前記キャプチャされた視覚的画像群にフォーカスが当てられるべき、前記シーンの少なくとも第3の部分を定義するための、前記ビジュアルフォーカス情報における変更に基づき、さらに(ii)前記キャプチャされた視覚的画像群の提示を伴うために、前記キャプチャされた空間オーディオコンテンツの進行中の提示に基づき、
前記第2の部分とは異なる、前記シーンの第4の部分からキャプチャされた音声に選択的に適用された空間オーディオフォーカスにおける変更を行うように構成される手段を有する。
(i)前記シーン内の音源の変化および前記シーン内の音源の位置の変化の一方または両方を示す前記キャプチャされた空間オーディオコンテンツの分析に基づき、さらに(ii)前記キャプチャされた視覚的画像群の提示を伴うために、前記キャプチャされた空間オーディオコンテンツの進行中の提示に基づき、
前記第1の部分および前記第2の部分とは異なる、前記シーンの第4の部分からキャプチャされた音声に対して選択的に適用された前記空間オーディオフォーカスにおける変更を行うように構成される手段を有する。
(i)音声を含むシーンのキャプチャされた空間オーディオコンテンツに基づき、当該音声はこれがキャプチャされた前記シーンの方向を少なくとも示す情報と対応付けられ、さらに
(ii)前記シーンの対応するキャプチャされた視覚的画像群に、ユーザに対する提示用にフォーカスが当てられた、前記シーンの第1の部分を少なくとも示す情報を含むビジュアルフォーカス情報に基づき、
前記キャプチャされた視覚的画像群の提示を伴うように、前記キャプチャされた空間オーディオコンテンツの提示を行うことを含む。このキャプチャされた空間オーディオコンテンツは、前記ユーザに対して、当該キャプチャされた空間オーディオコンテンツに示された方向から発せられる音声の知覚を提供するように構成された空間オーディオとして提示され、前記空間オーディオコンテンツは、前記第1の部分とは異なる前記シーンの第2の部分からキャプチャされた音声に選択的に適用される空間オーディオフォーカスを有して提示用に提供され、前記空間オーディオフォーカスは、前記シーンの他の場所からの音声に比べて、前記第2の部分に対応する方向を有する音声の可聴度を増加させる音声変更効果を含む。
(i)音声を含むシーンのキャプチャされた空間オーディオコンテンツに基づき、当該音声はこれがキャプチャされた前記シーンの方向を少なくとも示す情報と対応付けられ、さらに
(ii)前記シーンの対応するキャプチャされた視覚的画像群に、ユーザに対する提示用にフォーカスが当てられた、前記シーンの第1の部分を少なくとも示す情報を含むビジュアルフォーカス情報に基づき、
前記キャプチャされた視覚的画像群の提示を伴うように、前記キャプチャされた空間オーディオコンテンツの提示を行うことを含む方法を実施するように構成される。
このキャプチャされた空間オーディオコンテンツは、前記ユーザに対して、当該キャプチャされた空間オーディオコンテンツに示された方向から発せられる音声の知覚を提供するように構成された空間オーディオとして提示され、前記空間オーディオコンテンツは、前記第1の部分とは異なる前記シーンの第2の部分からキャプチャされた音声に選択的に適用される空間オーディオフォーカスを有して提示用に提供され、前記空間オーディオフォーカスは、前記シーンの他の場所からの音声に比べて、前記第2の部分に対応する方向を有する音声の可聴度を増加させる音声変更効果を含む。
少なくとも1つのプロセッサと、
コンピュータプログラムコードを含む少なくとも1つのメモリと、を備え、
前記少なくとも1つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサによって、前記装置に少なくとも、
(i)音声を含むシーンのキャプチャされた空間オーディオコンテンツに基づき、当該音声はこれがキャプチャされた前記シーンの方向を少なくとも示す情報と対応付けられ、さらに
(ii)前記シーンの対応するキャプチャされた視覚的画像群に、ユーザに対する提示用にフォーカスが当てられた、前記シーンの第1の部分を少なくとも示す情報を含むビジュアルフォーカス情報に基づき、
前記キャプチャされた視覚的画像群の提示を伴うように、前記キャプチャされた空間オーディオコンテンツの提示を行わせるように構成される。このキャプチャされた空間オーディオコンテンツは、前記ユーザに対して、当該キャプチャされた空間オーディオコンテンツに示された方向から発せられる音声の知覚を提供するように構成された空間オーディオとして提示され、前記空間オーディオコンテンツは、前記第1の部分とは異なる前記シーンの第2の部分からキャプチャされた音声に選択的に適用される空間オーディオフォーカスを有して提示用に提供され、前記空間オーディオフォーカスは、前記シーンの他の場所からの音声に比べて、前記第2の部分に対応する方向を有する音声の可聴度を増加させる音声変更効果を含む。
(i)キャプチャされた空間オーディオコンテンツ;
(ii)ビジュアルフォーカス情報、および、任意で,
(iii)オーディオフォーカス情報。
a)当該シーンの静止画像と、
b)当該シーンのビデオ画像群と、
c)任意の時点でユーザに提示可能な空間的広がり113よりも大きな空間的広がりを有する、当該シーンの仮想現実画像群と、
の1つを含む。
(i)音声を含むシーンのキャプチャされた空間オーディオコンテンツに基づき、当該音声はこれがキャプチャされた前記シーンの方向を少なくとも示す情報と対応付けられ、さらに
(ii)前記シーンの対応するキャプチャされた視覚的画像群に、ユーザに対する提示用にフォーカスが当てられた、前記シーンの第1の部分を少なくとも示す情報を含むビジュアルフォーカス情報に基づき、
(701)キャプチャされた視覚的画像群の提示を伴うように、前記キャプチャされた空間オーディオコンテンツの提示を行う。このキャプチャされた空間オーディオコンテンツは、前記ユーザに対して、当該キャプチャされた空間オーディオコンテンツに示された方向から発せられる音声の知覚を提供するように構成された空間オーディオとして提示され、前記空間オーディオコンテンツは、前記第1の部分とは異なる前記シーンの第2の部分からキャプチャされた音声に選択的に適用される空間オーディオフォーカスを有して提示用に提供され、前記空間オーディオフォーカスは、前記シーンの他の場所からの音声に比べて、前記第2の部分に対応する方向を有する音声の可聴度を増加させる音声変更効果を含む。
Claims (17)
- 空間オーディオコンテンツの提示を行うように構成される手段を備えた装置であって、
前記空間オーディオコンテンツの提示は、音声を含むシーンのキャプチャされた空間オーディオコンテンツに基づいて行われ、前記音声は、前記シーンにおいて、前記音声がキャプチャされた方向を少なくとも示す情報と対応付けられ、
前記空間オーディオコンテンツの提示は、前記シーンの対応するキャプチャされた視覚的画像群の提示を伴うように行われ、前記視覚的画像群の提示は、前記装置のユーザに対する提示用にフォーカスが当てられた、前記シーンの第1の部分を少なくとも示す情報を含むビジュアルフォーカス情報に基づいて行われ、
前記手段は、前記空間オーディオコンテンツを、前記ユーザに対して、前記音声が、前記キャプチャされた空間オーディオコンテンツに示された前記方向から発せられたとの知覚を提供するように構成された空間オーディオを提示するように構成され、
前記手段は、前記空間オーディオコンテンツを、前記第1の部分とは異なる前記シーンの第2の部分からキャプチャされた音声に選択的に適用される空間オーディオフォーカスを有するように提示するように構成され、前記空間オーディオフォーカスは、前記シーンの他の場所からの音声に比べて、前記第2の部分に対応する方向を有する音声の可聴度を増加させる音声変更効果を含む、
装置。 - 前記空間オーディオフォーカスを、前記キャプチャされた視覚的画像群および前記キャプチャされた空間オーディオコンテンツが提示されることが意図される前記ユーザに特有のオーディオフォーカス情報に基づいて実行するように構成される、請求項1に記載の装置。
- a)前記ユーザからの、前記シーンの少なくとも1つの部分に対するユーザの選択と、
b1)前記ユーザが好む音声または音源の1つ以上を示すユーザ設定のプロファイル設定と、
b2)前記ユーザに対応付けられ、前記キャプチャされた空間オーディオコンテンツに聴覚的に存在し、またはキャプチャされた視覚的画像群に視覚的に現れ、さらに、前記ユーザに事前に提示され、前記ユーザによって選択されたキャプチャされた別の視聴覚コンテンツにある共通の特徴に対する、前記ユーザによる1つ以上のユーザの選択を示す履歴データと、
c)前記ユーザに対応付けられ、前記キャプチャされた空間オーディオコンテンツに聴覚的に存在し、または前記キャプチャされた視覚的画像群に視覚的に現れ、さらに、前記シーンのある決定された場所に対応する場所にいる前記ユーザに事前に提示されたキャプチャされた別の視聴覚コンテンツにある共通の特徴を示す履歴場所データと、
d)前記キャプチャされた空間オーディオコンテンツと、最近の時間または対応する時刻または時期を含む関連する時間にキャプチャされた、別の視聴覚コンテンツに共通の音声を示す履歴データを含む時間に特有のデータと、
の内の少なくとも1つに基づいて前記オーディオフォーカス情報を決定するように構成される手段を備える、請求項2に記載の装置。 - 前記シーンの前記第1の部分は、
a)現在提示されている前記キャプチャされた視覚的画像群の空間的広がり全体と、
b)現在提示されている前記キャプチャされた視覚的画像群の空間的広がり全体の小区分と、
c)現在提示されており、前記ユーザによって選択された、前記キャプチャされた視覚的画像群の一部と、
の内の少なくとも1つを含む、請求項1から3のいずれかに記載の装置。 - 前記キャプチャされた視覚的画像群およびキャプチャされた空間オーディオコンテンツは、ライブで提示され、選択的に適用された前記空間オーディオフォーカスを有する提示用の前記キャプチャされた空間オーディオコンテンツの提示は、前記キャプチャされた空間オーディオコンテンツをキャプチャするコンテンツキャプチャデバイスに対するフィードバックシグナリングの送信を行い、前記フィードバックシグナリングは、前記コンテンツキャプチャデバイスによる前記音声変更効果の適用を行うように構成される、請求項1から4のいずれかに記載の装置。
- 前記キャプチャされた視覚的画像群およびキャプチャされた空間オーディオコンテンツは事前に記録されたキャプチャされたコンテンツであり、前記キャプチャされた視覚的画像群は、前記ビジュアルフォーカス情報に応じて、視覚的画像群の被写界深度の位置および深さの一方または両方に関して、光学的フォーカスを変更できるような光学的に再フォーカス可能なフォーマットでキャプチャされる、請求項1から4のいずれかに記載の装置。
- 前記シーンの前記キャプチャされた視覚的画像群に基づいて、前記ユーザに対する提示用にフォーカスが当てられた前記ビジュアルフォーカス情報に定義された前記シーンの前記第1の部分を有する前記キャプチャされた視覚的画像群の提示を行うように構成される、請求項1から6のいずれかに記載の装置。
- 前記シーンの前記キャプチャされた視覚的画像群は、
a)当該シーンの静止画像と、
b)当該シーンのビデオ画像群と、
c)任意の時点で前記ユーザに提示可能な空間的広がりよりも大きな空間的広がりを有する、当該シーンの仮想現実画像群と、
の1つを含む、請求項1から7のいずれかに記載の装置。 - (i)ユーザへの提示用に提供された前記キャプチャされた視覚的画像群にフォーカスが当てられるべき、前記シーンの少なくとも第3の部分を定義するための、前記ビジュアルフォーカス情報における変更と、
(ii)前記キャプチャされた視覚的画像群の提示を伴うために、前記キャプチャされた空間オーディオコンテンツの進行中の提示と、
に基づき、
前記第2の部分とは異なる、前記シーンの第4の部分からキャプチャされた音声に選択的に適用された空間オーディオフォーカスにおける変更を行うように構成される手段を有する、請求項1から8のいずれかに記載の装置。 - (i)前記シーン内の音源の変化および前記シーン内の音源の位置の変化の一方または両方を示す前記キャプチャされた空間オーディオコンテンツの分析と、
(ii)前記キャプチャされた視覚的画像群の提示を伴うために、前記キャプチャされた空間オーディオコンテンツの進行中の提示と、
に基づき、
前記第1の部分および前記第2の部分とは異なる、前記シーンの第4の部分からキャプチャされた音声に対して選択的に適用された前記空間オーディオフォーカスにおける変更を行うように構成される手段を有する、請求項1から8のいずれかに記載の装置。 - 前記キャプチャされた視覚的画像群およびキャプチャされた空間オーディオコンテンツはライブで提示され、
前記装置は、キャプチャされた時点の前記キャプチャされた空間オーディオコンテンツの分析に基づいて、前記シーンの1つ以上の候補となる第2の部分を決定するように構成される手段を備え、前記装置は、前記空間オーディオフォーカスの適用のための前記候補となる第2の部分の1つ以上を選択するように構成される、請求項5に記載の装置。 - 前記キャプチャされた視覚的画像群および前記キャプチャされた空間オーディオコンテンツは事前に記録されたコンテンツであり、
前記装置は、少なくとも部分的に、提示用の前記キャプチャされた空間オーディオコンテンツの提供に先行する、前記キャプチャされた空間オーディオコンテンツの分析に基づいて、前記シーンの1つ以上の候補となる第2の部分を決定するように構成される手段を備え、前記装置は、前記空間オーディオフォーカスの適用のための前記候補となる第2の部分の1つ以上を選択するように構成される、請求項6に記載の装置。 - 空間オーディオフォーカスが設けられた音声は、ユーザが選択可能なリンクと共にさらに提示され、
前記装置は、前記リンクのユーザ選択によって、キャプチャされた別の視覚的画像群と、対応するキャプチャされた視覚的画像群の提示を行うように構成される手段を有し、
当該キャプチャされた別の視覚的画像群および対応するキャプチャされた視覚的画像群は、(i)前記空間オーディオフォーカスが設けられた音声と比較した聴覚的分析に基づいて、聴覚的に類似していると判定されたキャプチャされた空間オーディオコンテンツと、(ii)前記空間オーディオフォーカスが設けられた音声の決定された音源に関連する音源の画像群を含むと判断されたキャプチャされた視覚的画像群の内の1つ以上を有する、請求項1から12のいずれかに記載の装置。 - 前記ユーザに提示された空間オーディオコンテンツの複数の事例に基づくニューラルネットワークを使用して前記オーディオフォーカス情報を決定する手段を備える、請求項2又は3に記載の装置。
- 空間オーディオコンテンツを提示する方法であって、
前記空間オーディオコンテンツの提示は、音声を含むシーンのキャプチャされた空間オーディオコンテンツに基づいて行われ、前記音声は、前記シーンにおいて、前記音声がキャプチャされた方向を少なくとも示す情報と対応付けられ、
前記空間オーディオコンテンツの提示は、前記シーンの対応するキャプチャされた視覚的画像群の提示を伴うように行われ、前記視覚的画像群の提示は、ユーザに対する提示用にフォーカスが当てられた、前記シーンの第1の部分を少なくとも示す情報を含むビジュアルフォーカス情報に基づいて行われ、
前記空間オーディオコンテンツの提示は、前記空間オーディオコンテンツを、前記ユーザに対して、前記音声が、前記キャプチャされた空間オーディオコンテンツに示された前記方向から発せられたとの知覚を提供するように構成された空間オーディオを提示することを含み、
前記空間オーディオコンテンツの提示は、前記空間オーディオコンテンツを、前記第1の部分とは異なる前記シーンの第2の部分からキャプチャされた音声に選択的に適用される空間オーディオフォーカスを有するように提示することを含み、前記空間オーディオフォーカスは、前記シーンの他の場所からの音声に比べて、前記第2の部分に対応する方向を有する音声の可聴度を増加させる音声変更効果を含む、
方法。 - 前記空間オーディオフォーカスを、前記ユーザに特有のオーディオフォーカス情報に基づいて実行することを含む、請求項15に記載の方法。
- 装置の少なくとも一つのプロセッサで実行されると、前記装置に、請求項15又は16に記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17209901.2A EP3503102A1 (en) | 2017-12-22 | 2017-12-22 | An apparatus and associated methods for presentation of captured spatial audio content |
EP17209901.2 | 2017-12-22 | ||
PCT/EP2018/084321 WO2019121150A1 (en) | 2017-12-22 | 2018-12-11 | An apparatus and associated methods for presentation of captured spatial audio content |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021508193A JP2021508193A (ja) | 2021-02-25 |
JP2021508193A5 JP2021508193A5 (ja) | 2021-10-21 |
JP7037654B2 true JP7037654B2 (ja) | 2022-03-16 |
Family
ID=60957033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020533103A Active JP7037654B2 (ja) | 2017-12-22 | 2018-12-11 | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11223925B2 (ja) |
EP (1) | EP3503102A1 (ja) |
JP (1) | JP7037654B2 (ja) |
CN (1) | CN111512371B (ja) |
WO (1) | WO2019121150A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11468904B2 (en) * | 2019-12-18 | 2022-10-11 | Audio Analytic Ltd | Computer apparatus and method implementing sound detection with an image capture system |
US11678111B1 (en) | 2020-07-22 | 2023-06-13 | Apple Inc. | Deep-learning based beam forming synthesis for spatial audio |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015019371A (ja) | 2013-07-09 | 2015-01-29 | ノキア コーポレイション | オーディオ処理装置 |
US20160088417A1 (en) | 2013-04-30 | 2016-03-24 | Intellectual Discovery Co., Ltd. | Head mounted display and method for providing audio content by using same |
US20160269712A1 (en) | 2010-06-30 | 2016-09-15 | Lewis S. Ostrover | Method and apparatus for generating virtual or augmented reality presentations with 3d audio positioning |
JP2017201743A (ja) | 2016-05-02 | 2017-11-09 | 株式会社リコー | 画像管理システム、画像管理装置、プログラム及び情報端末 |
JP2019521440A (ja) | 2016-06-27 | 2019-07-25 | ノキア テクノロジーズ オーユー | 装置および関連する方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7559026B2 (en) | 2003-06-20 | 2009-07-07 | Apple Inc. | Video conferencing system having focus control |
US9015051B2 (en) * | 2007-03-21 | 2015-04-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Reconstruction of audio channels with direction parameters indicating direction of origin |
US8170222B2 (en) | 2008-04-18 | 2012-05-01 | Sony Mobile Communications Ab | Augmented reality enhanced audio |
EP2205007B1 (en) * | 2008-12-30 | 2019-01-09 | Dolby International AB | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction |
WO2012145176A1 (en) * | 2011-04-18 | 2012-10-26 | Dolby Laboratories Licensing Corporation | Method and system for upmixing audio to generate 3d audio |
US9632683B2 (en) * | 2012-11-08 | 2017-04-25 | Nokia Technologies Oy | Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures |
US8854447B2 (en) | 2012-12-21 | 2014-10-07 | United Video Properties, Inc. | Systems and methods for automatically adjusting audio based on gaze point |
US9892743B2 (en) * | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
US9596437B2 (en) | 2013-08-21 | 2017-03-14 | Microsoft Technology Licensing, Llc | Audio focusing via multiple microphones |
US9367939B2 (en) | 2013-10-22 | 2016-06-14 | Nokia Technologies Oy | Relevance based visual media item modification |
JP6256156B2 (ja) | 2014-03-31 | 2018-01-10 | 住友化学株式会社 | 熱可塑性エラストマー組成物 |
US9693009B2 (en) * | 2014-09-12 | 2017-06-27 | International Business Machines Corporation | Sound source selection for aural interest |
EP3112986B1 (en) * | 2015-07-03 | 2020-02-26 | Nokia Technologies Oy | Content browsing |
US20180249276A1 (en) * | 2015-09-16 | 2018-08-30 | Rising Sun Productions Limited | System and method for reproducing three-dimensional audio with a selectable perspective |
EP3151535A1 (en) * | 2015-09-29 | 2017-04-05 | Thomson Licensing | Plenoptic camera having an array of sensors for generating digital images and method of capturing an image using a plenoptic camera |
EP3174005A1 (en) * | 2015-11-30 | 2017-05-31 | Nokia Technologies Oy | Apparatus and method for controlling audio mixing in virtual reality environments |
KR102319880B1 (ko) * | 2016-04-12 | 2021-11-02 | 코닌클리케 필립스 엔.브이. | 포커스 거리에 가까운 사운드 소스들을 강조하는 공간 오디오 처리 |
EP3236345A1 (en) | 2016-04-22 | 2017-10-25 | Nokia Technologies Oy | An apparatus and associated methods |
-
2017
- 2017-12-22 EP EP17209901.2A patent/EP3503102A1/en not_active Ceased
-
2018
- 2018-12-11 JP JP2020533103A patent/JP7037654B2/ja active Active
- 2018-12-11 CN CN201880083288.XA patent/CN111512371B/zh active Active
- 2018-12-11 WO PCT/EP2018/084321 patent/WO2019121150A1/en active Application Filing
- 2018-12-11 US US16/772,469 patent/US11223925B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160269712A1 (en) | 2010-06-30 | 2016-09-15 | Lewis S. Ostrover | Method and apparatus for generating virtual or augmented reality presentations with 3d audio positioning |
US20160088417A1 (en) | 2013-04-30 | 2016-03-24 | Intellectual Discovery Co., Ltd. | Head mounted display and method for providing audio content by using same |
JP2015019371A (ja) | 2013-07-09 | 2015-01-29 | ノキア コーポレイション | オーディオ処理装置 |
JP2017201743A (ja) | 2016-05-02 | 2017-11-09 | 株式会社リコー | 画像管理システム、画像管理装置、プログラム及び情報端末 |
JP2019521440A (ja) | 2016-06-27 | 2019-07-25 | ノキア テクノロジーズ オーユー | 装置および関連する方法 |
Also Published As
Publication number | Publication date |
---|---|
US11223925B2 (en) | 2022-01-11 |
EP3503102A1 (en) | 2019-06-26 |
CN111512371A (zh) | 2020-08-07 |
US20200389755A1 (en) | 2020-12-10 |
WO2019121150A1 (en) | 2019-06-27 |
JP2021508193A (ja) | 2021-02-25 |
CN111512371B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110121695B (zh) | 虚拟现实领域中的装置及相关联的方法 | |
US10798518B2 (en) | Apparatus and associated methods | |
US20190139312A1 (en) | An apparatus and associated methods | |
US20180349088A1 (en) | Apparatus and Method for Controlling Audio Mixing in Virtual Reality Environments | |
US10887719B2 (en) | Apparatus and associated methods for presentation of spatial audio | |
US10993066B2 (en) | Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content | |
JP2020520576A5 (ja) | ||
JP7439131B2 (ja) | 空間オーディオをキャプチャする装置および関連する方法 | |
JP7037654B2 (ja) | キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法 | |
WO2019057530A1 (en) | APPARATUS AND ASSOCIATED METHODS FOR PRESENTING AUDIO IN THE FORM OF SPACE AUDIO | |
JP2021508193A5 (ja) | ||
EP3321795B1 (en) | A method and associated apparatuses | |
EP3588986A1 (en) | An apparatus and associated methods for presentation of audio | |
EP3734966A1 (en) | An apparatus and associated methods for presentation of audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210908 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20210908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7037654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |