WO2024201719A1 - 映像音響分離装置、方法、およびプログラム - Google Patents

映像音響分離装置、方法、およびプログラム Download PDF

Info

Publication number
WO2024201719A1
WO2024201719A1 PCT/JP2023/012536 JP2023012536W WO2024201719A1 WO 2024201719 A1 WO2024201719 A1 WO 2024201719A1 JP 2023012536 W JP2023012536 W JP 2023012536W WO 2024201719 A1 WO2024201719 A1 WO 2024201719A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
image feature
video
image
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/012536
Other languages
English (en)
French (fr)
Inventor
公孝 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/012536 priority Critical patent/WO2024201719A1/ja
Priority to JP2025509341A priority patent/JPWO2024201719A1/ja
Publication of WO2024201719A1 publication Critical patent/WO2024201719A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to a video/audio separation device, method, and program that receives as input a video containing multiple objects, such as musical instruments, and corresponding audio signals, and obtains audio signals from different directions emitted by the multiple objects.
  • Non-Patent Document 1 In recent years, there has been an increasing need to not only separate monaural sound sources, but also to localize the separated sound sources to objects in the image and manage video and audio in an integrated manner. As a result, a monaural sound source separation technology has been proposed in which audio corresponding to individual objects included in the video is separated from the video and monaural audio, respectively, as in Non-Patent Document 1.
  • Ambisonics a sound recording and playback method called Ambisonics is being put into practical use, which uses four microphones arranged on the vertices of a regular tetrahedron and can capture sound from different directions, although the resolution is low.
  • Non-Patent Document 1 inputs an image that features only a single instrument into a pre-trained neural net, and separates only the audio spectrogram corresponding to that instrument from the mono audio mixed with multiple instrument sounds.
  • This technology restores the spatial audio by 1) using an audio neural net to separate the mono audio signal into multiple sound sources, 2) using a video neural net to divide the video into multiple small regions, calculates gains to be multiplied by the multiple sound sources for each small region, and 3) multiplies the multiple sound sources by the gains to generate audio corresponding to each small region.
  • the instrument player When a performance scene is recorded with a spherical camera, the instrument player will only be present in a specific area of the image.
  • the gain output by the technology described in Non-Patent Document 1 will ideally be a tensor in which only the elements corresponding to the small area of the player take nonzero values, with the other elements being zero. Also, even when focusing on each small area, if sound source separation is ideally achieved, only specific channels will take nonzero values, and the other elements will be zero. In other words, the ideal state is for the above gain tensor to have nonzero components in only a very small number of elements.
  • the present invention has been made in consideration of these circumstances, and aims to provide a video and audio separation device, method, and program that improves sound source separation performance while increasing the sparsity of the gain tensor output from a spherical image, without requiring additional training of a neural network.
  • the video/audio separation device of the first aspect of the present invention includes an image feature calculation unit that converts image signals of multiple images that constitute a part or all of a video into image features, an audio feature calculation unit that converts audio signals corresponding to the images into audio features consisting of multiple individual sound sources, an image feature optimization unit that optimizes the image features based on the audio features and a specified target sound source and outputs optimal image features, and a directional audio synthesis unit that generates audio for different directions based on the audio features and the optimal image features.
  • the first aspect of the present invention it is possible to minimize the error between the target sound source for each direction given as spatial sound and the output sound, thereby making it possible to improve the sound source separation performance without requiring additional learning of the neural network.
  • FIG. 1 is a diagram showing an example of the electronic configuration of a video and audio separation device according to this embodiment.
  • FIG. 2 is a diagram showing the flow of processing performed between each unit in the memory.
  • FIG. 3 is a flowchart showing an example of the operation of the video and audio separation device according to this embodiment.
  • FIG. 4 is a flowchart showing a detailed operation example of the image feature amount optimization unit.
  • FIG. 1 is a diagram showing an example of the electronic configuration of a video/audio separation device according to this embodiment.
  • the video/audio separation device 10 uses a sound source separation technology that receives an image signal a, which is a video signal containing multiple objects such as musical instruments, and a corresponding audio signal h as input, and obtains audio signals g for different directions emitted by the multiple objects.
  • image signal a is a video signal containing multiple objects such as musical instruments, and a corresponding audio signal h as input, and obtains audio signals g for different directions emitted by the multiple objects.
  • the electronic configuration of this video/audio separating device 10 includes a CPU 12, a recording medium reader 14, an input unit 16 that receives signals input to the video/audio separating device 10, an output unit 18 that outputs information generated by the video/audio separating device 10, a memory 20 in which various programs are stored, and a storage device 30, all of which are connected to one another via a bus 11.
  • a video/audio separating device 10 can be realized, without being limited to this, as a PC or a tablet terminal. Alternatively, it does not necessarily have to be configured with the same hardware, and can be realized by multiple pieces of hardware with distributed functions, such as the cloud.
  • the memory 20 stores programs for implementing image feature calculation processing, acoustic feature calculation processing, image feature optimization processing, and directional acoustic synthesis processing. That is, the image feature calculation unit 22, acoustic feature calculation unit 24, image feature optimization unit 26, and directional acoustic synthesis unit 28 are implemented by the programs stored in the memory 20.
  • the CPU 12 is a computer that controls the operation of each of the units 22, 24, 26, and 28 according to the programs stored in the memory 20.
  • the programs for these units 22, 24, 26, and 28 may be prestored in the memory 20, or may be read from an external recording medium 15, such as a memory card, via the recording medium reading unit 14 and stored in the memory 20.
  • the programs for these units 22, 24, 26, and 28 cannot be rewritten.
  • the memory 20 also has a writable data area 29 secured as an area for storing rewritable data. Furthermore, if the amount of data to be stored exceeds the capacity of the writable data area 29, the data may be stored in a storage device 30, such as a solid state drive (SSD) or hard disk drive (HDD).
  • SSD solid state drive
  • HDD hard disk drive
  • Figure 2 shows the flow of processing between each part in the memory.
  • the input unit 16 receives an image signal a of a plurality of images constituting all or part of a video.
  • the input unit 16 also receives an audio signal h of sound corresponding to the images.
  • the input unit 16 also receives a specified target sound source e.
  • the input unit 16 outputs the input image signal a, audio signal h, and target sound source e to the memory 20.
  • the image feature calculation unit 22 converts the image signal a output from the input unit 16 to the memory 20 into an image feature b.
  • the acoustic feature calculation unit 24 converts the acoustic signal h output from the input unit 16 to the memory 20 into an acoustic feature d consisting of multiple individual sound sources.
  • the acoustic signal h may be a monaural acoustic signal.
  • the acoustic feature calculation unit 24 separates the acoustic signal h, which is a monaural acoustic signal, into sound sources of multiple channels and outputs each sound source as an acoustic feature d.
  • the image feature optimization unit 26 optimizes the image feature b output from the image feature calculation unit 22 based on the acoustic feature d converted by the acoustic feature calculation unit 24 and the target sound source e output from the input unit 16 to the memory 20, to generate an optimal image feature f.
  • the image feature optimization unit 26 can generate the optimal image feature f, for example, as follows:
  • the image feature optimization unit 26 When outputting the optimal image feature f, the image feature optimization unit 26 stores a dual tensor with the same dimensions as the image feature b. Then, it performs a process of updating the dual tensor by applying a proximity operator to the weighted sum of the image feature b and the dual tensor.
  • the image feature optimization unit 26 then updates the image feature b by the weighted sum of the tensor product calculated from the image feature b and the acoustic feature d, the gradient of the error norm with respect to the target sound source e, and the dual tensor.
  • the image feature optimization unit 26 further performs convex projection on the updated image feature b to calculate the optimal image feature f.
  • the image feature optimization unit 26 repeats this series of processes until the update width of the dual tensor falls below a predetermined threshold or the number of updates reaches a predetermined number, generating the optimal image feature f.
  • the direction-specific sound synthesis unit 28 generates direction-specific sound g related to the sound feature d based on the sound feature d converted by the sound feature calculation unit 24 and the optimal image feature f generated by the image feature optimization unit 26.
  • the acoustic signal h may also be an Ambisonics signal acquired by four or more microphones.
  • the image feature calculation unit 22 sets multiple small regions for each of the multiple images based on the image signal a. Furthermore, for each of the multiple set small regions, the direction (elevation angle and azimuth angle) from the microphone used to acquire the Ambisonics signal is determined, and output as image feature b to the image feature optimization unit 26. The image feature b determined for each small region is used in the image feature optimization unit 26 as a gain to be multiplied by the individual sound source included in the acoustic feature d.
  • the target sound source e is calculated for each small region from the Ambisonics signal. That is, the target sound source e calculated from the Ambisonics signal corresponds to each sound from the direction of each small region.
  • the image feature optimization unit 26 can generate an optimal image feature f for each small region, for example, by using an optimization process that minimizes the error between the sound signal emitted from each small region and the target sound source e based on the image feature b and sound feature d.
  • the directional sound synthesis unit 28 generates directional sound g from the sound emanating from each small region based on the sound feature d and the optimal image feature f.
  • the output unit 18 outputs the direction-specific sound g generated by the direction-specific sound synthesis unit 28. Therefore, the output unit 18 can be realized as a speaker that outputs the sound g.
  • the video/audio separating device 10 operates in cooperation with the hardware that constitutes the device 10, such as the bus 11, CPU 12, recording medium reader 14, input unit 16, output unit 18, memory 20, and storage device 30, and the software that is each program stored in memory 20.
  • FIG. 3 is a flowchart showing an example of the operation of the video/audio separation device according to this embodiment.
  • the acoustic feature calculation unit 24 outputs an acoustic feature d from the acoustic signal h.
  • the acoustic feature d is, for example, a separated sound source S c (0 ⁇ c ⁇ C) obtained by separating the input monaural sound into one or more channels (here, C channel). Note that the 0th channel (W component) of the Ambisonics signal can be used for the monaural sound.
  • a pre-trained neural network can be used to separate the sound source, but any method that separates into multiple sound sources may be used (S1).
  • the image feature amount calculation unit 22 converts the image signal a of one or more images constituting a part or the whole of the video into an image feature amount b.
  • the image feature amount b is, for example, composed of a total of C gains given to each of the sound sources of the multiple channels output by processing step 1 for each small region, and can be a tensor amount w kc having a dimension of K x C (0 ⁇ k ⁇ K).
  • K is the number of small regions set in the image.
  • the image feature amount calculation unit 22 may use a neural network that receives a video signal as an input and outputs the image feature amount b (S2).
  • the image feature optimization unit 26 optimizes the image feature b using the sound sources of the multiple channels output by the acoustic feature calculation unit 24 and the input target sound source e, and outputs the optimized image feature f (S3).
  • processing step 3 The operation of the image feature optimization unit 26, i.e., processing step 3, is explained in detail below.
  • Figure 4 is a flowchart showing a detailed example of the operation of the image feature optimization unit.
  • the image feature optimization unit 26 initializes a dual tensor, which is a tensor having the same dimensions as the image feature b. Uniform random numbers, etc. may be used for the initialization (S30).
  • the image feature optimization unit 26 weights and adds the image feature b to the dual tensor, calculates a proximity operator for a convex conjugate function of the L1 norm as shown in the following equation, and outputs the updated dual tensor for each small region and each channel.
  • the update step ⁇ 1 is a predetermined constant.
  • a proximity operator for a convex function other than the L1 norm, such as the L21 norm may also be used as the proximity operator (S31).
  • the image feature optimization unit 26 calculates an update difference from the image feature b, the tensor product of the sound sources of multiple channels from the acoustic feature calculation unit 24, and a weighted sum of the gradient and dual tensor of the L2 norm related to the error of the target sound source e, and calculates an intermediate image feature w'kc as shown in the following formula.
  • the target sound source corresponding to the small region k is denoted by yk .
  • the update step ⁇ 2 is a constant determined in advance (S32).
  • the image feature optimization unit 26 calculates a convex projection of the intermediate image feature w'kc as shown in the following equation, and calculates an optimal image feature f for each small region and for each channel (S33).
  • the image feature optimization unit 26 repeats processing steps 3-1 to 3-3 until a stopping condition is satisfied.
  • the stopping condition can be satisfied when either the norm of the error between the updated dual tensor and the dual tensor before the update falls below a predetermined threshold value, or the number of iterations reaches a predetermined number (S34).
  • the direction-specific sound synthesis unit 28 calculates the tensor product of the sound sources of the multiple channels output from the sound feature calculation unit 24 and the optimal image feature f output from the image feature optimization unit 26, as shown in the following equation, to generate direction-specific sound g related to the sound feature d (S4).
  • the video and audio separation device to which the video and audio separation method according to this embodiment is applied can minimize the error between the target sound source for each direction given as spatial audio and the output audio, making it possible to improve the sound source separation performance without requiring additional learning of the neural network.
  • the present invention is not limited to the above-described embodiment, and various modifications can be made in the implementation stage without departing from the gist of the invention.
  • the above-described embodiment includes various inventions, and various inventions can be extracted by combinations selected from the multiple constituent elements disclosed. For example, if the problem can be solved and an effect can be obtained even if some constituent elements are deleted from all the constituent elements shown in the embodiment, the configuration from which these constituent elements are deleted can be extracted as an invention.
  • Video/audio separation device 11 Bus 12 CPU 14 Recording medium reading section 15 External recording medium 16 Input section 18 Output section 20 Memory 22 Image feature amount calculation section 24 Acoustic feature amount calculation section 26 Image feature amount optimization section 28 Direction-specific sound synthesis section 29 Writable data area 30 Storage device a Image signal b Image feature amount d Acoustic feature amount e Target sound source f Optimized image feature amount g Direction-specific sound h Acoustic signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本発明の第１の映像音響分離装置は、映像の一部または全部を構成する複数の画像の画像信号を画像特徴量に変換する画像特徴量算出部と、画像に対応する音響信号を、複数の個別音源からなる音響特徴量に変換する音響特徴量算出部と、画像特徴量を、音響特徴量と、指定された目標音源とに基づいて最適化して、最適画像特徴量を出力する画像特徴量最適化部と、音響特徴量と最適画像特徴量とに基づいて、方向別の音響を生成する方向別音響合成部とを備える。

Description

映像音響分離装置、方法、およびプログラム
　本発明は、例えば、楽器など複数のオブジェクトが収録された映像と、これに対応する音響信号とを入力として、上記複数のオブジェクトが発する方向別の音響信号を取得する、映像音響分離装置、方法、およびプログラムに関する。
　従来、コンテンツ制作において、収録したデータから不要なオブジェクトを抽出し、除去する技術は、制作の自由度を高める上で重要な役割を持つ。そのような目的の達成に向け、特許文献１のように音響分野ではモノラル音源分離技術が検討されてきた。
　近年では、モノラル音源を分離するだけでなく、分離後の音源を画像中のオブジェクトに定位させて映像と音響とを統合的に管理したいというニーズが高まり、非特許文献１のように、映像およびモノラル音響から、映像に含まれる個々のオブジェクトに対応する音響を、それぞれモノラル音響から分離するようなモノラル音源分離技術も提案されている。
　また、非特許文献２のように、正四面体の頂点上に配置した４つのマイクを用いることで、分解能は低いものの、方向別の音を取得可能な、アンビソニックスと呼ばれる収音再生方式の実用化も進められている。
日本国特開2019-144467号公報
H. Zhao, et al. "The sound of pixels", Proc. of The European Conference on Computer Vision (ECCV), 2018 MI. A. Gerzon, "Periphony: With-Height Sound Reproduction" J. Audio Eng. Soc., vol. 21, no.1, pp. 2-10, (1973 February)
　非特許文献１に記載の技術は、単一の楽器のみ登場する画像を、事前に学習したニューラルネットに入力し、当該楽器に対応する音響スペクトログラムのみを複数の楽器音が混入したモノラル音響から分離する。当該技術は、１）音響用ニューラルネットを用いてモノラル音響信号を複数の音源に分離し、２）映像用ニューラルネットを用いて映像を複数に分割して得た小領域毎に上記複数音源に乗じるゲインを算出し、３）上記複数の音源と上記ゲインとを乗じることで、各小領域に対応する音響を生成する手順で空間音響を復元する。
　しかし、音響用ニューラルネットによるモノラル音響の分離性能が完全でないことや、小領域毎に算出されるゲインの計算誤りにより、小領域毎に生成された音響に本来他領域に属するべき音源の音が混入するといった課題が生じる。
　演奏シーンなどを全天球カメラで収録した場合、楽器演奏者は画像の中の特定のエリアにだけ存在することになる。この場合、非特許文献１に記載の技術が出力するゲインは、理想的には当該演奏者の小領域に対応する要素でのみ非ゼロの値をとり、その他の要素はゼロのテンソルになると考えられる。また、各小領域に着目した場合も、音源分離が理想的に実現できている場合には、特定のチャンネルのみが非ゼロの値をとり、他の要素はゼロになると考えられる。すなわち上記ゲインテンソルはごく少数の要素でのみ非ゼロの成分を持つのが理想状態である。
　しかし、実際にはオブジェクトが存在しない小領域に対応する要素もゲインはゼロにはならず、それ故に分解能も高くならない。そこで、このようなゲインテンソルのスパース性を陽にモデル化することで、さらなる音源分離性能の改善が期待できる。
　本発明はこのような事情に鑑みてなされたものであり、全天球画像から出力されたゲインテンソルのスパース性を高めつつ、ニューラルネットの追加学習を必要とすることなく、音源分離性能を改善する映像音響分離装置、方法、およびプログラムを提供することを目的とする。
　上記課題を解決するために、本発明の第１の態様の映像音響分離装置は、映像の一部または全部を構成する複数の画像の画像信号を画像特徴量に変換する画像特徴量算出部と、画像に対応する音響信号を、複数の個別音源からなる音響特徴量に変換する音響特徴量算出部と、画像特徴量を、音響特徴量と、指定された目標音源とに基づいて最適化して、最適画像特徴量を出力する画像特徴量最適化部と、音響特徴量と最適画像特徴量とに基づいて、方向別の音響を生成する方向別音響合成部とを備える。
　本発明の第１の態様によれば、空間音響として与えられる方向毎の目標音源と出力音響との誤差を最小化することができるので、ニューラルネットの追加学習を必要とすることなく、音源分離性能を改善することが可能となる。
図１は、本実施形態に係る映像音響分離装置の電子構成例を示す構成図である。 図２は、メモリ内の各部間でなされる処理の流れを示す図である。 図３は、本実施形態に係る映像音響分離装置の動作例を示すフローチャートである。 図４は、画像特徴量最適化部の詳細な動作例を示すフローチャートである。
　以下に、本発明の各実施形態について図面を参照して説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明や、重複した説明は適宜省略する。
　先ず、本実施形態に係る映像音響分離方法が適用された映像音響分離装置の構成について説明する。
　図１は、本実施形態に係る映像音響分離装置の電子構成例を示す構成図である。
　映像音響分離装置１０には、図１に示すように、楽器など複数のオブジェクトが収録された映像の信号ある画像信号ａと、これに対応する音響信号ｈとを入力として、複数のオブジェクトが発する方向別の音響信号ｇを取得する音源分離技術が適用されている。
　この映像音響分離装置１０の電子構成は、バス１１によって互いに接続されたＣＰＵ１２、記録媒体読取部１４、映像音響分離装置１０へ入力される信号を受け取る入力部１６、映像音響分離装置１０によって生成された情報を出力する出力部１８、各種プログラムが格納されたメモリ２０、および記憶装置３０を備えている。このような映像音響分離装置１０は、限定される訳ではないが、ＰＣや、タブレット端末で実現することができる。あるいは、必ずしも同一のハードウェアで構成される必要もなく、例えばクラウドのように、機能を分散された複数のハードウェアによって実現することもできる。
　メモリ２０は、画像特徴量算出処理、音響特徴量算出処理、画像特徴量最適化処理、および方向別音響合成処理を実現するためのプログラムを記憶している。すなわち、画像特徴量算出部２２、音響特徴量算出部２４、画像特徴量最適化部２６、および方向別音響合成部２８は、メモリ２０に記憶されたプログラムによって実現される。
　ＣＰＵ１２は、コンピュータであって、メモリ２０に記憶されているこれらプログラムに従い各部２２，２４，２６，２８の動作を制御する。
　これら各部２２，２４，２６，２８のプログラムは、メモリ２０に予め記憶されていてもよいし、あるいはメモリカード等の外部記録媒体１５から記録媒体読取部１４を介してメモリ２０に読み込まれて記憶されたものであってもよい。これら各部２２，２４，２６，２８のプログラムは、書き換えできないようになっている。
　メモリ２０には、このような書き換え不可能なエリアの他に、書き換え可能なデータを記憶するエリアとして、書込可能データエリア２９が確保されている。また、記憶するデータ量が、書込可能データエリア２９の容量を超える場合には、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等からなる記憶装置３０に記憶してもよい。
　次に、各部２２，２４，２６，２８の動作について、図２を用いて説明する。
　図２は、メモリ内の各部間でなされる処理の流れを示す図である。
　入力部１６には、映像の一部または全部を構成する複数の画像の画像信号ａが入力される。入力部１６にはまた、画像に対応する音響の音響信号ｈも入力される。入力部１６にはまた、指定された目標音源ｅも入力される。
　入力部１６は、入力された画像信号ａ、音響信号ｈ、および目標音源ｅをメモリ２０へ出力する。
　画像特徴量算出部２２は、入力部１６からメモリ２０へ出力された画像信号ａを、画像特徴量ｂに変換する。
　音響特徴量算出部２４は、入力部１６からメモリ２０へ出力された音響信号ｈを、複数の個別音源からなる音響特徴量ｄに変換する。
　音響信号ｈは、モノラル音響信号である場合がある。この場合、音響特徴量算出部２４は、モノラル音響信号である音響信号ｈを、複数のチャンネルの音源に分離した各音源を、音響特徴量ｄとして出力する。
　画像特徴量最適化部２６は、画像特徴量算出部２２から出力された画像特徴量ｂを、音響特徴量算出部２４によって変換された音響特徴量ｄと、入力部１６からメモリ２０へ出力された目標音源ｅとに基づいて最適化して、最適画像特徴量ｆを生成する。
　画像特徴量最適化部２６は、例えば以下のように、最適画像特徴量ｆを生成することができる。
　画像特徴量最適化部２６は、最適画像特徴量ｆを出力する場合、画像特徴量ｂと同じ次元を持つ双対テンソルを内部に有しておく。そして、画像特徴量ｂと双対テンソルとの重み付き和に、近接作用素を適用することで、双対テンソルを更新する処理を行う。
　画像特徴量最適化部２６は次に、画像特徴量ｂと音響特徴量ｄとによって計算されたテンソル積と、目標音源ｅとの誤差ノルムに関する勾配と、双対テンソルとの重み付き和によって、画像特徴量ｂを更新する。
　画像特徴量最適化部２６はさらに、更新された画像特徴量ｂに対して凸射影を行い、最適画像特徴量ｆを算出する。
　画像特徴量最適化部２６は、これら一連の処理を、双対テンソルの更新幅が、事前に決定された閾値を下回るか、あるいは更新回数が所定回数に達するまで繰り返し、最適画像特徴量ｆを生成する。
　方向別音響合成部２８は、音響特徴量算出部２４によって変換された音響特徴量ｄと、画像特徴量最適化部２６によって生成された最適画像特徴量ｆとに基づいて、音響特徴量ｄに関する方向別の音響ｇを生成する。
　また、音響信号ｈは、４つ以上のマイクによって取得されたアンビソニックス信号である場合もある。
　この場合、画像特徴量算出部２２は、画像信号ａに基づいて、複数の画像のおのおのに、複数の小領域を設定する。さらに、設定された複数の小領域それぞれに対し、アンビソニックス信号の取得に用いられたマイクからの方向（仰角と方位角）を定め、画像特徴量ｂとして、画像特徴量最適化部２６へ出力する。各小領域に対して定められた画像特徴量ｂは、音響特徴量ｄに含まれる個別音源に乗じられるゲインとして、画像特徴量最適化部２６において使用される。
　また、目標音源ｅは、アンビソニックス信号から、各小領域に対して計算される。すなわち、アンビソニックス信号から計算された目標音源ｅは、各小領域の方向からの各音響に相当する。
　画像特徴量最適化部２６は、例えば、画像特徴量ｂと音響特徴量ｄとに基づいて小領域ごとに当該領域から発する音響信号と、目標音源ｅとの誤差を最小化するような最適化処理を使って、小領域毎の最適画像特徴量ｆを生成することができる。
　方向別音響合成部２８は、音響特徴量ｄと、最適画像特徴量ｆとに基づいて、小領域ごとに当該領域から発する音を、方向別の音響ｇとして生成する。
　出力部１８は、方向別音響合成部２８によって生成された方向別の音響ｇを出力する。したがって、出力部１８は、音響ｇを出力するスピーカとして実現できる。
　このように、映像音響分離装置１０は、映像音響分離装置１０を構成するバス１１、ＣＰＵ１２、記録媒体読取部１４、入力部１６、出力部１８、メモリ２０、および記憶装置３０等のハードウェアと、メモリ２０に記憶されている各プログラムであるソフトウェアとが協働して動作する。
　次に、本実施形態に係る映像音響分離装置の動作例について説明する。
　図３は、本実施形態に係る映像音響分離装置の動作例を示すフローチャートである。
　処理ステップ１では、音響特徴量算出部２４は、音響信号ｈから音響特徴量ｄを出力する。音響特徴量ｄは、例えば、入力したモノラル音響を１以上の複数のチャンネル（ここではＣチャンネルとする）に分離した分離音源Ｓｃである（０≦ｃ＜Ｃ）。なお、モノラル音響にはアンビソニックス信号のうち第０チャンネル（Ｗ成分）を用いることができる。音源の分離には、事前に学習済みのニューラルネットなどを用いることができるが、複数の音源に分離する手法であれば、何れの手法を用いてもよい（Ｓ１）。
　処理ステップ２では、画像特徴量算出部２２は、映像の一部または全部を構成する１以上の複数の画像の画像信号ａを、画像特徴量ｂに変換する。画像特徴量ｂは、例えば、小領域ごとに処理ステップ１が出力する複数のチャンネルの音源それぞれに与える合計Ｃ個のゲインで構成されており、ＫｘＣの次元を有するテンソル量ｗｋｃとすることができる（０≦ｋ＜Ｋ）。ここで、Ｋとは、画像に設定した小領域の数である。また、画像特徴量算出部２２に、映像信号を入力として画像特徴量ｂを出力するニューラルネットを用いてもよい（Ｓ２）。
　処理ステップ３では、画像特徴量最適化部２６は、音響特徴量算出部２４によって出力された複数のチャンネルの音源と、入力された目標音源ｅとを用いて、画像特徴量ｂの最適化を行い、最適画像特徴量ｆを出力する（Ｓ３）。
　以下、画像特徴量最適化部２６の動作、すなわち処理ステップ３の詳細を説明する。
　図４は、画像特徴量最適化部の詳細な動作例を示すフローチャートである。
　処理ステップ３－０では、画像特徴量最適化部２６は、画像特徴量ｂと同じ次元を持つテンソルである双対テンソルを初期化する。初期化には一様乱数などを用いてよい（Ｓ３０）。
　処理ステップ３－１では、画像特徴量最適化部２６は、双対テンソルに画像特徴量ｂを重み付け加算した上で、以下の式に示すように、Ｌ１ノルムの凸共役関数に関する近接作用素を計算し、更新された双対テンソルを小領域ごと、チャンネルごとに、出力する。以下の式において、更新ステップγ１は事前に定めた定数である。
Figure JPOXMLDOC01-appb-M000001
ここで、
Figure JPOXMLDOC01-appb-M000002
は、更新ステップを
Figure JPOXMLDOC01-appb-M000003
とするＬ１ノルムの近接作用素を表す。なお、近接作用素としてＬ２１ノルムなどＬ１ノルム以外の凸関数に関する近接作用素を用いても良い（Ｓ３１）。
　処理ステップ３－２では、画像特徴量最適化部２６は、画像特徴量ｂと、音響特徴量算出部２４からの複数のチャンネルの音源のテンソル積と、目標音源ｅの誤差に関するＬ２ノルムの勾配と双対テンソルとの重み付け和から更新差分を計算し、以下の式に示すように、中間画像特徴量ｗ’ ｋｃを計算する。なお、小領域ｋに対応する目標音源をｙｋとする。また、更新ステップγ２は事前に定めた定数である（Ｓ３２）。
Figure JPOXMLDOC01-appb-M000004
　処理ステップ３－３では、画像特徴量最適化部２６は、以下の式に示すように、中間画像特徴量ｗ’ ｋｃに対して凸射影を計算し、最適画像特徴量ｆを小領域ごと、チャンネルごとに、算出する（Ｓ３３）。
Figure JPOXMLDOC01-appb-M000005
　処理ステップ３－４では、画像特徴量最適化部２６は、処理ステップ３－１から３－３を停止条件が満たされるまで繰り返す。停止条件は、更新された双対テンソルと更新前の双対テンソルの誤差に関するノルムが事前に定めた閾値を下回るか、繰り返し回数が事前に定めた回数に達するかのいずれかが満たされる場合とすることができる（Ｓ３４）。
　図３に戻って示すように、処理ステップ４では、方向別音響合成部２８は、以下の式に示すように、音響特徴量算出部２４から出力される複数のチャンネルの音源と、画像特徴量最適化部２６から出力される最適画像特徴量ｆとのテンソル積を計算し、音響特徴量ｄに関する方向別の音響ｇを生成する（Ｓ４）。
Figure JPOXMLDOC01-appb-M000006
　以上説明したように、本実施形態に係る映像音響分離方法が適用された映像音響分離装置によれば、空間音響として与えられる方向毎の目標音源と出力音響との誤差を最小化することができるので、ニューラルネットの追加学習を必要とすることなく、音源分離性能を改善することが可能となる。
　本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　１０　映像音響分離装置
　１１　バス
　１２　ＣＰＵ
　１４　記録媒体読取部
　１５　外部記録媒体
　１６　入力部
　１８　出力部
　２０　メモリ
　２２　画像特徴量算出部
　２４　音響特徴量算出部
　２６　画像特徴量最適化部
　２８　方向別音響合成部
　２９　書込可能データエリア
　３０　記憶装置
　ａ　画像信号
　ｂ　画像特徴量
　ｄ　音響特徴量
　ｅ　目標音源
　ｆ　最適画像特徴量
　ｇ　方向別の音響
　ｈ　音響信号

 

Claims (8)

  1. 　映像の一部または全部を構成する複数の画像の画像信号を画像特徴量に変換する画像特徴量算出部と、
    　前記画像に対応する音響信号を、複数の個別音源からなる音響特徴量に変換する音響特徴量算出部と、
    　前記画像特徴量を、前記音響特徴量と、指定された目標音源とに基づいて最適化して、最適画像特徴量を出力する画像特徴量最適化部と、
    　前記音響特徴量と前記最適画像特徴量とに基づいて、方向別の音響を生成する方向別音響合成部と
    を備えることを特徴とする、映像音響分離装置。
  2. 　前記画像特徴量算出部は、前記複数の画像のおのおのに、複数の小領域を設定し、前記設定された複数の小領域それぞれに対し、前記音響特徴量に含まれる個別音源に乗じるゲインを、前記画像特徴量として出力することを特徴とする、請求項１に記載の映像音響分離装置。
  3. 　前記画像特徴量算出部は、前記複数の画像のおのおのに、複数の小領域を設定し、
    　前記目標音源は、前記複数の小領域が存在する各方向からの音響であることを特徴とする、請求項１に記載の映像音響分離装置。
  4. 　前記音響信号は、４つ以上のマイクによって取得されたアンビソニックス信号であり、
    　前記目標音源は、前記アンビソニックス信号を用いて計算されることを特徴とする、請求項１に記載の映像音響分離装置。
  5. 　前記音響特徴量算出部は、前記音響信号がモノラル音響信号である場合、前記モノラル音響信号を、複数のチャンネルの音源に分離し、
    　前記音響特徴量は、前記複数のチャンネルに分離された各音源であることを特徴とする、請求項１に記載の映像音響分離装置。
  6. 　前記画像特徴量最適化部は、
    　前記画像特徴量と同じ次元を持つ双対テンソルを内部に有し、前記画像特徴量と前記双対テンソルとの重み付き和に、近接作用素を適用することで、前記双対テンソルを更新する処理と、
    　前記画像特徴量と前記音響特徴量とによって計算されたテンソル積と、前記目標音源との誤差ノルムに関する勾配と、前記双対テンソルとの重み付き和によって、前記画像特徴量を更新する処理と、
    　前記更新された画像特徴量に対して凸射影を行い、前記最適画像特徴量を算出する処理とを、
    　前記双対テンソルの更新幅が、事前に決定された閾値を下回るか、あるいは更新回数が所定回数に達するまで繰り返す
    ことを特徴とする、請求項１に記載の映像音響分離装置。
  7. 　映像音響分離装置のプロセッサが、
    　映像の一部または全部を構成する複数の画像の画像信号を画像特徴量に変換するステップと、
    　前記画像に対応する音響の音響信号を、複数の個別音源からなる音響特徴量に変換するステップと、
    　前記画像特徴量を、前記音響特徴量と、指定された目標音源とに基づいて最適化して、最適画像特徴量を出力するステップと、
    　前記音響特徴量と前記最適画像特徴量とに基づいて、前記音響特徴量に関する方向別の音響を生成するステップと
    を実行することを特徴とする、映像音響分離方法。
  8. 　請求項１乃至６の何れか１項に記載の映像音響分離装置が備える各部として、コンピュータを機能させるためのプログラム。

     
PCT/JP2023/012536 2023-03-28 2023-03-28 映像音響分離装置、方法、およびプログラム Ceased WO2024201719A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/012536 WO2024201719A1 (ja) 2023-03-28 2023-03-28 映像音響分離装置、方法、およびプログラム
JP2025509341A JPWO2024201719A1 (ja) 2023-03-28 2023-03-28

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012536 WO2024201719A1 (ja) 2023-03-28 2023-03-28 映像音響分離装置、方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024201719A1 true WO2024201719A1 (ja) 2024-10-03

Family

ID=92904321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012536 Ceased WO2024201719A1 (ja) 2023-03-28 2023-03-28 映像音響分離装置、方法、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2024201719A1 (ja)
WO (1) WO2024201719A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174817A1 (en) * 2019-12-06 2021-06-10 Facebook Technologies, Llc Systems and methods for visually guided audio separation
US20210217182A1 (en) * 2020-01-09 2021-07-15 Yun Li Single-channel and multi-channel source separation enhanced by lip motion
JP2022529553A (ja) * 2019-04-25 2022-06-23 インターナショナル・ビジネス・マシーンズ・コーポレーション 敵対的生成ネットワークを用いた音声映像源分離および位置特定

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022529553A (ja) * 2019-04-25 2022-06-23 インターナショナル・ビジネス・マシーンズ・コーポレーション 敵対的生成ネットワークを用いた音声映像源分離および位置特定
US20210174817A1 (en) * 2019-12-06 2021-06-10 Facebook Technologies, Llc Systems and methods for visually guided audio separation
US20210217182A1 (en) * 2020-01-09 2021-07-15 Yun Li Single-channel and multi-channel source separation enhanced by lip motion

Also Published As

Publication number Publication date
JPWO2024201719A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
JP7517500B2 (ja) 再生装置、再生方法、およびプログラム
EP2974010B1 (en) Automatic multi-channel music mix from multiple audio stems
US10595144B2 (en) Method and apparatus for generating audio content
JP7597133B2 (ja) 再生装置、再生方法、およびプログラム
JP5773960B2 (ja) 音響再生装置とその方法とプログラム
CN106165444B (zh) 声场再现设备、方法和程序
WO2019116889A1 (ja) 信号処理装置および方法、学習装置および方法、並びにプログラム
EP3695617A1 (en) Spatial audio signal processing
CN118098260B (zh) 一种语音信号处理方法及相关设备
WO2019216414A1 (ja) 音響プログラム、音響装置、および音響システム
JP5679304B2 (ja) 多重極スピーカ群とその配置方法と、音響信号出力装置とその方法と、その方法を用いたアクティブノイズコントロール装置と音場再生装置と、それらの方法とプログラム
CN112740721A (zh) 信息处理装置、方法和程序
CN115171632B (zh) 音频处理方法、计算机设备和计算机程序产品
WO2022014326A1 (ja) 信号処理装置および方法、並びにプログラム
KR102054116B1 (ko) 맞춤형 무대 영상 제공 시스템
KR20220036210A (ko) 영상의 음질을 향상시키는 디바이스 및 방법
JP7425956B2 (ja) 音響エリア再生方法、および、音響エリア再生装置
CN111798866B (zh) 音频处理网络的训练及立体声重构方法和装置
WO2024201719A1 (ja) 映像音響分離装置、方法、およびプログラム
JP6970366B2 (ja) 音像再現装置、音像再現方法及び音像再現プログラム
WO2022018828A1 (ja) 応援支援方法、応援支援装置、およびプログラム
US20250220375A1 (en) Generating spatialized audio signals based on modal interpolation of impulse responses
CN118135975A (zh) 混响装置的训练方法、混响方法和混响装置的训练装置
CN117501359A (zh) 传送系统、音输出方法及程序
JP2017092832A (ja) 再生方法および再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930359

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509341

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509341

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930359

Country of ref document: EP

Kind code of ref document: A1