JP7473676B2 - オーディオ処理方法、装置、可読媒体及び電子機器 - Google Patents
オーディオ処理方法、装置、可読媒体及び電子機器 Download PDFInfo
- Publication number
- JP7473676B2 JP7473676B2 JP2022559616A JP2022559616A JP7473676B2 JP 7473676 B2 JP7473676 B2 JP 7473676B2 JP 2022559616 A JP2022559616 A JP 2022559616A JP 2022559616 A JP2022559616 A JP 2022559616A JP 7473676 B2 JP7473676 B2 JP 7473676B2
- Authority
- JP
- Japan
- Prior art keywords
- relative position
- sound
- target object
- dimensional
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 230000000694 effects Effects 0.000 claims description 157
- 238000012545 processing Methods 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 25
- 239000000463 material Substances 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Stereophonic System (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
端末によってキャプチャされた生画像を取得するステップと、
前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定するステップと、
前記第1の3次元相対位置に応じて、効果音オブジェクトに対応する効果音音声であるターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する前記効果音オブジェクトとの位置関係に合致させるステップとを含む。
端末によってキャプチャされた生画像を取得するための第1の取得モジュールと、
前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定するための第1の決定モジュールと、
前記第1の3次元相対位置に応じて、効果音オブジェクトに対応する効果音音声であるターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する前記効果音オブジェクトとの位置関係に合致させるためのオーディオ処理モジュールとを含む。
コンピュータプログラムが記憶されている記憶装置と、
本開示の第1の態様に記載の方法のステップが実施されるように、前記記憶装置における前記コンピュータプログラムを実行するための処理装置と、を含む。
ユーザの生画像に対するアンカーマーク操作によって生成された第2のアンカー情報を取得した場合、第2のアンカー情報に基づいてターゲットオブジェクトの端末に対する3次元相対位置を第1の3次元相対位置として決定するステップを含み得る。
生画像にターゲットオブジェクトが存在しない場合、ターゲットオブジェクトに対応する履歴運動軌跡情報を取得するステップと、
履歴運動軌跡情報に基づいて、ターゲットオブジェクトの端末に対する3次元相対位置を第1の3次元相対位置として決定するステップと、を含む。
第1の3次元相対位置、及びターゲットオブジェクトとターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に基づいて、ターゲット音声の音源位置の端末に対する3次元相対位置を第2の3次元相対位置として決定するステップと、
第2の3次元相対位置に基づいて、ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおけるターゲット音声の音源位置及び第1の3次元相対位置を、ターゲットオブジェクトとターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるステップと、を含み得る。
ターゲット音声の付加説明情報を取得するステップを含み得る。
第2の3次元相対位置及び付加説明情報に基づいて、ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおけるターゲット音声の音源位置及び第1の3次元相対位置を、ターゲットオブジェクトとターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるステップを含み得る。
ターゲットオブジェクトに対応する画像素材を生画像の第1の3次元相対位置にオーバーレイして、生画像に対応するAR画像を生成するステップと、
AR画像を表示するステップと、を含む。
端末がサラウンド再生条件に適合するか否かを決定するステップと、
端末がサラウンド再生条件に適合すると決定した場合、3次元効果処理後に得られたオーディオを再生するステップと、を含み得る。
端末によってキャプチャされた生画像を取得するための第1の取得モジュール31と、
前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定するための第1の決定モジュール32と、
前記第1の3次元相対位置に応じて、効果音オブジェクトに対応する効果音音声であるターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する前記効果音オブジェクトとの位置関係に合致させるためのオーディオ処理モジュール33とを含む。
前記生画像から特徴を抽出して、前記生画像における第1のアンカー情報を取得するための第1の取得サブモジュールと、
予め記憶されている、前記ターゲットオブジェクトに対応する参照アンカー情報に基づいて、前記第1のアンカー情報が前記参照アンカー情報に一致するか否かを判断するための判断サブモジュールと、
前記第1のアンカー情報が前記参照アンカー情報に一致すると決定した場合、前記第1のアンカー情報に基づいて、前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するための第1の決定サブモジュールとを含む。
ユーザの前記生画像に対するアンカーマーク操作によって生成された第2のアンカー情報を取得した場合、前記第2のアンカー情報に基づいて前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するための第2の決定サブモジュールを含む。
前記生画像に前記ターゲットオブジェクトが存在しない場合、前記ターゲットオブジェクトに対応する履歴運動軌跡情報を取得するために用いられ、前記履歴運動軌跡情報は、前記端末が前記生画像の前にキャプチャした画像に対して運動追跡を行うことにより得られるものである第2の取得サブモジュールと、
前記履歴運動軌跡情報に基づいて、前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するための第3の決定サブモジュールとを含む。
前記第1の3次元相対位置、及び前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に基づいて、前記ターゲット音声の音源位置の前記端末に対する3次元相対位置を第2の3次元相対位置として決定するための第4の決定サブモジュールと、
前記第2の3次元相対位置に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるためのオーディオ処理サブモジュールと、を含む。
ターゲット音声の音源発声面積と、ターゲット音声の音源残響効果と、ターゲット音声の音源環境とのうちの少なくとも1つを含むターゲット音声の付加説明情報を取得するための第2の取得モジュールを含み、
前記オーディオ処理サブモジュールは、前記第2の3次元相対位置及び前記付加説明情報に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られた前記オーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるために用いられる。
前記ターゲットオブジェクトに対応する画像素材を前記生画像の前記第1の3次元相対位置にオーバーレイして、前記生画像に対応するAR画像を生成するための画像処理モジュールと、
前記AR画像を表示するための画像表示モジュールと、を含む。
前記端末がサラウンド再生条件に適合するか否かを決定するための第2の決定モジュールと、
前記端末が前記サラウンド再生条件に適合すると決定した場合、前記3次元効果処理後に得られた前記オーディオを再生するためのオーディオ再生モジュールとを含む。
端末によってキャプチャされた生画像を取得するステップと、
前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定するステップと、
前記第1の3次元相対位置に応じて、効果音オブジェクトに対応する効果音音声であるターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する前記効果音オブジェクトとの位置関係に合致させるステップと、を含む。
前記生画像から特徴を抽出して、前記生画像における第1のアンカー情報を取得するステップと、
予め記憶されている、前記ターゲットオブジェクトに対応する参照アンカー情報に基づいて、前記第1のアンカー情報が前記参照アンカー情報に一致するか否かを判断するステップと、
前記第1のアンカー情報が前記参照アンカー情報に一致すると決定した場合、前記第1のアンカー情報に基づいて、前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するステップとを含む。
ユーザの前記生画像に対するアンカーマーク操作によって生成された第2のアンカー情報を取得した場合、前記第2のアンカー情報に基づいて前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するステップを含む。
前記生画像に前記ターゲットオブジェクトが存在しない場合、前記ターゲットオブジェクトに対応する履歴運動軌跡情報を取得し、前記履歴運動軌跡情報は、前記端末が前記生画像を取得する前にキャプチャした画像に対して運動追跡を行うことにより得られるものであるステップと、
前記履歴運動軌跡情報に基づいて、前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するステップと、を含む。
前記第1の3次元相対位置、及び前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に基づいて、前記ターゲット音声の音源位置の前記端末に対する3次元相対位置を第2の3次元相対位置として決定するステップと、
前記第2の3次元相対位置に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるステップとを含む。
ターゲット音声の音源発声面積と、ターゲット音声の音源残響効果と、ターゲット音声の音源環境とのうちの少なくとも1つを含むターゲット音声の付加説明情報を取得するステップを含み、
前記第2の3次元相対位置に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させる前記ステップは、
前記第2の3次元相対位置及び前記付加説明情報に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られた前記オーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるステップを含む。
前記ターゲットオブジェクトに対応する画像素材を前記生画像の前記第1の3次元相対位置にオーバーレイして、前記生画像に対応するAR画像を生成するステップと、
前記AR画像を表示するステップと、を含む。
前記端末がサラウンド再生条件に適合するか否かを決定するステップと、
前記端末が前記サラウンド再生条件に適合すると決定した場合、前記3次元効果処理後に得られた前記オーディオを再生するステップと、を含む。
端末によってキャプチャされた生画像を取得するための第1の取得モジュールと、
前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定するための第1の決定モジュールと、
前記第1の3次元相対位置に応じて、効果音オブジェクトに対応する効果音音声であるターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する前記効果音オブジェクトとの位置関係に合致させるためのオーディオ処理モジュールとを含む。
コンピュータプログラムが記憶されている記憶装置と、
前記記憶装置における前記コンピュータプログラムを実行して、本開示の任意の実施例に記載の方法のステップを実施するための処理装置と、を含む。
Claims (11)
- 端末によってキャプチャされた生画像を取得するステップと、
前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定するステップと、
前記第1の3次元相対位置に応じて、効果音オブジェクトに対応する効果音音声であるターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する前記効果音オブジェクトとの位置関係に合致させるステップとを含み、
前記効果音オブジェクトが、前記ターゲットオブジェクトと異なる位置にあり、
前記第1の3次元相対位置に応じて、ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるステップは、
前記第1の3次元相対位置、及び前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に基づいて、前記ターゲット音声の音源位置の前記端末に対する3次元相対位置を第2の3次元相対位置として決定するステップと、
前記第2の3次元相対位置に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるステップとを含む、
ことを特徴とするオーディオ処理方法。 - 前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定する前記ステップは、
前記生画像から特徴を抽出して、前記生画像における第1のアンカー情報を取得するステップと、
予め記憶されている、前記ターゲットオブジェクトに対応する参照アンカー情報に基づいて、前記第1のアンカー情報が前記参照アンカー情報に一致するか否かを判断するステップと、
前記第1のアンカー情報が前記参照アンカー情報に一致すると決定した場合、前記第1のアンカー情報に基づいて、前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するステップとを含む、
ことを特徴とする請求項1に記載の方法。 - 前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定する前記ステップは、
ユーザの前記生画像に対するアンカーマーク操作によって生成された第2のアンカー情報を取得した場合、前記第2のアンカー情報に基づいて前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定する前記ステップは、
前記生画像に前記ターゲットオブジェクトが存在しない場合、前記ターゲットオブジェクトに対応する履歴運動軌跡情報を取得するステップであって、前記履歴運動軌跡情報は、前記端末が前記生画像を取得する前にキャプチャした画像に対して運動追跡を行うことにより得られるものであるステップと、
前記履歴運動軌跡情報に基づいて、前記ターゲットオブジェクトの前記端末に対する3次元相対位置を前記第1の3次元相対位置として決定するステップとを含む、
ことを特徴とする請求項1に記載の方法。 - ターゲット音声の音源発声面積と、ターゲット音声の音源残響効果と、ターゲット音声の音源環境とのうちの少なくとも1つを含む前記ターゲット音声の付加説明情報を取得するステップをさらに含み、
前記第2の3次元相対位置に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させる前記ステップは、
前記第2の3次元相対位置及び前記付加説明情報に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られた前記オーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させるステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記ターゲットオブジェクトに対応する画像素材を前記生画像の前記第1の3次元相対位置にオーバーレイして、前記生画像に対応する拡張現実(AR)画像を生成するステップと、
前記AR画像を表示するステップと、をさらに含む、
ことを特徴とする請求項1~請求項5のいずれか1項に記載の方法。 - 前記端末がサラウンド再生条件に適合するか否かを決定するステップと、
前記端末が前記サラウンド再生条件に適合すると決定した場合、前記3次元効果処理後に得られた前記オーディオを再生するステップと、をさらに含む、
ことを特徴とする請求項1~請求項6のいずれか1項に記載の方法。 - 端末によってキャプチャされた生画像を取得するための第1の取得モジュールと、
前記生画像に基づいて、ターゲットオブジェクトの前記端末に対する3次元相対位置を第1の3次元相対位置として決定するための第1の決定モジュールと、
前記第1の3次元相対位置に応じて、効果音オブジェクトに対応する効果音音声であるターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する前記効果音オブジェクトとの位置関係に合致させるためのオーディオ処理モジュールと、を含み、
前記効果音オブジェクトが、前記ターゲットオブジェクトと異なる位置にあり、
前記第1の決定モジュールは、さらに、
前記第1の3次元相対位置、及び前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に基づいて、前記ターゲット音声の音源位置の前記端末に対する3次元相対位置を第2の3次元相対位置として決定することに用いられ、
前記オーディオ処理モジュールは、さらに、
前記第2の3次元相対位置に基づいて、前記ターゲット音声に対して3次元効果処理を行い、3次元効果処理後に得られたオーディオにおける前記ターゲット音声の音源位置及び前記第1の3次元相対位置を、前記ターゲットオブジェクトと前記ターゲットオブジェクトに対応する効果音オブジェクトとの位置関係に合致させることに用いられる、
ことを特徴とするオーディオ処理装置。 - コンピュータプログラムが記憶されているコンピュータ可読媒体であって、前記コンピュータプログラムが処理装置によって実行されると、請求項1~請求項7のいずれか1項に記載の方法のステップが実施される、
コンピュータ可読媒体。 - コンピュータプログラムが記憶されている記憶装置と、
前記記憶装置における前記コンピュータプログラムを実行して、請求項1~請求項7のいずれか1項に記載の方法のステップを実施するための処理装置と、を含む、
ことを特徴とする電子機器。 - コンピュータプログラムが処理装置によって実行されると、請求項1から7のいずれか1項に記載の方法のステップが実施される、
コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010245598.6 | 2020-03-31 | ||
CN202010245598.6A CN113467603B (zh) | 2020-03-31 | 2020-03-31 | 音频处理方法、装置、可读介质及电子设备 |
PCT/CN2021/080298 WO2021197020A1 (zh) | 2020-03-31 | 2021-03-11 | 音频处理方法、装置、可读介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023519422A JP2023519422A (ja) | 2023-05-10 |
JP7473676B2 true JP7473676B2 (ja) | 2024-04-23 |
Family
ID=77865553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022559616A Active JP7473676B2 (ja) | 2020-03-31 | 2021-03-11 | オーディオ処理方法、装置、可読媒体及び電子機器 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220386061A1 (ja) |
EP (1) | EP4117313A4 (ja) |
JP (1) | JP7473676B2 (ja) |
KR (1) | KR20220148915A (ja) |
CN (1) | CN113467603B (ja) |
BR (1) | BR112022019908A2 (ja) |
WO (1) | WO2021197020A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230075908A (ko) * | 2021-11-23 | 2023-05-31 | 삼성전자주식회사 | 전자 장치 및 제어 방법 |
US20230245146A1 (en) * | 2022-01-28 | 2023-08-03 | Walmart Apollo, Llc | Methods and apparatus for automatic item demand and substitution prediction using machine learning processes |
CN114630145A (zh) * | 2022-03-17 | 2022-06-14 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种多媒体数据合成方法、设备及存储介质 |
CN115022710B (zh) * | 2022-05-30 | 2023-09-19 | 咪咕文化科技有限公司 | 一种视频处理方法、设备及可读存储介质 |
CN115050228B (zh) * | 2022-06-15 | 2023-09-22 | 北京新唐思创教育科技有限公司 | 一种素材收集方法及装置、电子设备 |
CN117348721A (zh) * | 2022-06-29 | 2024-01-05 | 中兴通讯股份有限公司 | 虚拟现实数据处理方法、控制器及虚拟现实设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013162285A (ja) | 2012-02-03 | 2013-08-19 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
WO2015068587A1 (ja) | 2013-11-05 | 2015-05-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2019097162A (ja) | 2017-11-27 | 2019-06-20 | ノキア テクノロジーズ オーユー | レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および/またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法 |
WO2019161314A1 (en) | 2018-02-15 | 2019-08-22 | Magic Leap, Inc. | Dual listener positions for mixed reality |
CN110164464A (zh) | 2018-02-12 | 2019-08-23 | 北京三星通信技术研究有限公司 | 音频处理方法及终端设备 |
US20190266803A1 (en) | 2016-11-08 | 2019-08-29 | 3Dqr Gmbh | Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008158640A (ja) * | 2006-12-21 | 2008-07-10 | Fuji Heavy Ind Ltd | 移動物体検出装置 |
US8170222B2 (en) * | 2008-04-18 | 2012-05-01 | Sony Mobile Communications Ab | Augmented reality enhanced audio |
US9037468B2 (en) * | 2008-10-27 | 2015-05-19 | Sony Computer Entertainment Inc. | Sound localization for user in motion |
CN101458434B (zh) * | 2009-01-08 | 2010-09-08 | 浙江大学 | 精确测量和预测乒乓球轨迹系统 |
CN102789642B (zh) * | 2011-05-16 | 2017-08-25 | 索尼公司 | 消失方向确定方法和装置、摄像机自标定方法和装置 |
US8831255B2 (en) * | 2012-03-08 | 2014-09-09 | Disney Enterprises, Inc. | Augmented reality (AR) audio with position and action triggered virtual sound effects |
CN104869524B (zh) * | 2014-02-26 | 2018-02-16 | 腾讯科技(深圳)有限公司 | 三维虚拟场景中的声音处理方法及装置 |
US9787846B2 (en) * | 2015-01-21 | 2017-10-10 | Microsoft Technology Licensing, Llc | Spatial audio signal processing for objects with associated audio content |
US9591427B1 (en) * | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
CN105879390A (zh) * | 2016-04-26 | 2016-08-24 | 乐视控股(北京)有限公司 | 虚拟现实游戏处理方法及设备 |
GB2557241A (en) * | 2016-12-01 | 2018-06-20 | Nokia Technologies Oy | Audio processing |
US9891884B1 (en) * | 2017-01-27 | 2018-02-13 | International Business Machines Corporation | Augmented reality enabled response modification |
CN107168518B (zh) * | 2017-04-05 | 2020-06-23 | 北京小鸟看看科技有限公司 | 一种用于头戴显示器的同步方法、装置及头戴显示器 |
US9754397B1 (en) * | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
CN106993249B (zh) * | 2017-04-26 | 2020-04-14 | 深圳创维-Rgb电子有限公司 | 一种声场的音频数据的处理方法及装置 |
EP3399398B1 (en) * | 2017-05-02 | 2022-04-13 | Nokia Technologies Oy | An apparatus and associated methods for presentation of spatial audio |
KR101988244B1 (ko) * | 2017-07-04 | 2019-06-12 | 정용철 | 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법 |
CN109752951B (zh) * | 2017-11-03 | 2022-02-08 | 腾讯科技(深圳)有限公司 | 控制系统的处理方法、装置、存储介质和电子装置 |
CN109246580B (zh) * | 2018-09-25 | 2022-02-11 | Oppo广东移动通信有限公司 | 3d音效处理方法及相关产品 |
CN109121069B (zh) * | 2018-09-25 | 2021-02-02 | Oppo广东移动通信有限公司 | 3d音效处理方法及相关产品 |
CN109327794B (zh) * | 2018-11-01 | 2020-09-29 | Oppo广东移动通信有限公司 | 3d音效处理方法及相关产品 |
CN109582273A (zh) * | 2018-11-26 | 2019-04-05 | 联想(北京)有限公司 | 音频输出方法、电子设备以及音频输出装置 |
US10810430B2 (en) * | 2018-12-27 | 2020-10-20 | At&T Intellectual Property I, L.P. | Augmented reality with markerless, context-aware object tracking |
CN110639204A (zh) * | 2019-10-18 | 2020-01-03 | 网易(杭州)网络有限公司 | 游戏数据处理方法、装置以及终端设备 |
-
2020
- 2020-03-31 CN CN202010245598.6A patent/CN113467603B/zh active Active
-
2021
- 2021-03-11 EP EP21779885.9A patent/EP4117313A4/en active Pending
- 2021-03-11 WO PCT/CN2021/080298 patent/WO2021197020A1/zh unknown
- 2021-03-11 JP JP2022559616A patent/JP7473676B2/ja active Active
- 2021-03-11 KR KR1020227035410A patent/KR20220148915A/ko active Search and Examination
- 2021-03-11 BR BR112022019908A patent/BR112022019908A2/pt unknown
-
2022
- 2022-08-10 US US17/885,468 patent/US20220386061A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013162285A (ja) | 2012-02-03 | 2013-08-19 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
WO2015068587A1 (ja) | 2013-11-05 | 2015-05-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US20190266803A1 (en) | 2016-11-08 | 2019-08-29 | 3Dqr Gmbh | Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device |
JP2019097162A (ja) | 2017-11-27 | 2019-06-20 | ノキア テクノロジーズ オーユー | レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および/またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法 |
CN110164464A (zh) | 2018-02-12 | 2019-08-23 | 北京三星通信技术研究有限公司 | 音频处理方法及终端设备 |
WO2019161314A1 (en) | 2018-02-15 | 2019-08-22 | Magic Leap, Inc. | Dual listener positions for mixed reality |
Also Published As
Publication number | Publication date |
---|---|
WO2021197020A1 (zh) | 2021-10-07 |
US20220386061A1 (en) | 2022-12-01 |
EP4117313A1 (en) | 2023-01-11 |
BR112022019908A2 (pt) | 2022-12-13 |
JP2023519422A (ja) | 2023-05-10 |
CN113467603B (zh) | 2024-03-08 |
EP4117313A4 (en) | 2023-11-22 |
KR20220148915A (ko) | 2022-11-07 |
CN113467603A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7473676B2 (ja) | オーディオ処理方法、装置、可読媒体及び電子機器 | |
CN109462776B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
US20210029305A1 (en) | Method and apparatus for adding a video special effect, terminal device and storage medium | |
WO2021203902A1 (zh) | 虚拟影像实现方法、装置、存储介质与终端设备 | |
JP6936298B2 (ja) | 三次元仮想ポートレートの口形の変化を制御する方法および装置 | |
JP7224554B1 (ja) | インタラクション方法、装置、電子機器及びコンピュータ可読記録媒体 | |
JP2023553101A (ja) | ライブストリーミングインタラクション方法、装置、デバイス及び媒体 | |
CN109600559B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
WO2023051185A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111050271B (zh) | 用于处理音频信号的方法和装置 | |
WO2020077914A1 (zh) | 图像处理方法、装置、硬件装置 | |
WO2021143574A1 (zh) | 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质 | |
CN113257218B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
CN114630057B (zh) | 确定特效视频的方法、装置、电子设备及存储介质 | |
JP2024513640A (ja) | 仮想対象のアクション処理方法およびその装置、コンピュータプログラム | |
US20230131975A1 (en) | Music playing method and apparatus based on user interaction, and device and storage medium | |
CN114697568B (zh) | 特效视频确定方法、装置、电子设备及存储介质 | |
CN109636917B (zh) | 三维模型的生成方法、装置、硬件装置 | |
CN114339582B (zh) | 双通道音频处理、方向感滤波器生成方法、装置以及介质 | |
WO2023140787A2 (zh) | 视频的处理方法、装置、电子设备、存储介质和程序产品 | |
US20220394325A1 (en) | Lyric video display method and device, electronic apparatus and computer-readable medium | |
JP2024525372A (ja) | ビデオ生成方法、装置、端末機器および記憶媒体 | |
CN111696566B (zh) | 语音处理方法、装置和介质 | |
CN116847147A (zh) | 特效视频确定方法、装置、电子设备及存储介质 | |
CN114449341B (zh) | 音频处理方法、装置、可读介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7473676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |